KR102639267B1 - Method and apparatus for diagnosing progressive supranuclear palsy using deep learning - Google Patents

Method and apparatus for diagnosing progressive supranuclear palsy using deep learning Download PDF

Info

Publication number
KR102639267B1
KR102639267B1 KR1020220019104A KR20220019104A KR102639267B1 KR 102639267 B1 KR102639267 B1 KR 102639267B1 KR 1020220019104 A KR1020220019104 A KR 1020220019104A KR 20220019104 A KR20220019104 A KR 20220019104A KR 102639267 B1 KR102639267 B1 KR 102639267B1
Authority
KR
South Korea
Prior art keywords
substantia nigra
network model
information
dimensional shape
image segmentation
Prior art date
Application number
KR1020220019104A
Other languages
Korean (ko)
Other versions
KR20230092674A (en
Inventor
조형준
이한솔
아벨 워르쿠 테세마
이재혁
Original Assignee
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산과학기술원 filed Critical 울산과학기술원
Publication of KR20230092674A publication Critical patent/KR20230092674A/en
Application granted granted Critical
Publication of KR102639267B1 publication Critical patent/KR102639267B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4082Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Neurosurgery (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Developmental Disabilities (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Psychology (AREA)
  • Image Analysis (AREA)

Abstract

본 명세서의 실시예들은 딥러닝을 이용하여 진행성 핵상 마비를 판단하는 기술이다. 구체적으로 합성곱 신경망(convolutional neural network)을 이용하여 중뇌의 흑질(substantia nigra) 영역을 분할하고, 분할된 흑질 영역의 부피, 표면적, 형상에 대한 분석을 통해 진행성 핵상 마비를 판단하는 기술이다. 상술한 과제를 달성하기 위한 본 명세서의 일 실시예에 따른 컴퓨터 장치는, 데이터 및 적어도 하나의 모듈을 저장할 수 있는 메모리; 및 뇌에 관한 복수개의 단층 이미지를 획득하고, 네트워크 모델을 이용하여, 상기 복수개의 단층 이미지 각각에서 흑질 영역을 추정하여 복수개의 흑질 분할 영역을 확인하며, 상기 복수개의 흑질 분할 영역에 기초하여 흑질 입체 형상을 추정하고, 상기 흑질 입체 형상에 기반하여 진행성 핵상 마비 증후군 여부를 결정하도록 제어하는 프로세서 를 포함하는 것을 특징으로 한다.Embodiments of the present specification are techniques for determining progressive supranuclear palsy using deep learning. Specifically, it is a technology that divides the substantia nigra region of the midbrain using a convolutional neural network and determines progressive supranuclear palsy through analysis of the volume, surface area, and shape of the divided substantia nigra region. A computer device according to an embodiment of the present specification for achieving the above-described problem includes: a memory capable of storing data and at least one module; and acquiring a plurality of tomographic images of the brain, using a network model to estimate the substantia nigra region in each of the plurality of tomographic images to identify a plurality of substantia nigra segmented regions, and substantia nigra based on the plurality of substantia nigra segmented areas. It is characterized by including a processor that controls to estimate the shape and determine whether progressive supranuclear palsy syndrome is present based on the substantia nigra three-dimensional shape.

Figure 112022016435164-pat00006
Figure 112022016435164-pat00006

Description

딥러닝을 이용한 진행성 핵상 마비를 판단하는 방법 및 장치{Method and apparatus for diagnosing progressive supranuclear palsy using deep learning}Method and apparatus for diagnosing progressive supranuclear palsy using deep learning}

본 명세서의 실시예들은 딥러닝을 이용하여 진행성 핵상 마비를 판단하는 기술이다. 구체적으로 합성곱 신경망(convolutional neural network)을 이용하여 중뇌의 흑질(substantia nigra) 영역을 분할하고, 분할된 흑질 영역의 부피, 표면적, 형상에 대한 분석을 통해 진행성 핵상 마비를 판단하는 기술이다.Embodiments of the present specification are techniques for determining progressive supranuclear palsy using deep learning. Specifically, it is a technology that divides the substantia nigra region of the midbrain using a convolutional neural network and determines progressive supranuclear palsy through analysis of the volume, surface area, and shape of the divided substantia nigra region.

비정형 파킨슨 증후군(Atypical Parkinsonism)은 파킨슨병과 유사한 증상을 보이면서 이에 더하여 추가적인 증상을 보이는 퇴행성 질환을 의미한다. 이러한 비정형 파킨슨 증후군에는 진행성 핵상 마비, 다 계통 위축, 피질 기저 핵 변성, 루이소체 치매 등이 포함된다.Atypical Parkinsonism refers to a degenerative disease that shows symptoms similar to Parkinson's disease but also shows additional symptoms. These atypical Parkinson's syndromes include progressive supranuclear palsy, multisystem atrophy, corticobasal nuclear degeneration, and Lewy body dementia.

그중 진행성 핵상 마비(Progressive supranuclear palsy, PSP)는 대표적인 비정형 파킨슨 증후군 중의 하나로서 파킨슨병과 다른 점은 질병의 초기부터 중심을 잡기 어려운 체위 불안정이 나타난다는 점에 차이가 있다. 또한 진행성 핵상 마비 환자는 목 주위 근육을 비롯한 몸 중심 근육의 경축이 나타나, 목을 뒤로 젖히면서 걷는 모습이 보이고, 눈의 운동을 조절하는 기능에 장애가 나타나 아래쪽을 바라보는 데 문제가 생기는 등의 임상증상이 발현된다.Among them, progressive supranuclear palsy (PSP) is one of the representative atypical Parkinson's syndromes. It differs from Parkinson's disease in that it presents with postural instability that makes it difficult to maintain balance from the beginning of the disease. Additionally, patients with progressive supranuclear paralysis have clinical symptoms such as spasticity of the muscles around the neck and other core muscles, walking with the neck tilted back, and problems with looking downward due to impaired ability to control eye movements. Symptoms appear.

대조군(healthy control)과 파킨슨병(Parkinson's disease) 환자로부터 비정형 파킨슨 증후군의 경우 치료 방식과 치료 약물의 차이가 있으므로, 비정형 파킨슨 증후군의 감별 진단에 관하여 환자에 대한 효과적인 치료를 위한 임상적 요구가 증대되고 있다. 종래 파킨슨병 및 비정형 파킨슨 증후군의 유형과 중증도는 주로 환자의 임상증상에 근거하여 진단되었으나 환자들 사이에서도 임상증상이 중복되어 비정형 파킨슨 증후군의 명확한 감별은 현실적으로 어려운 상황이다.Since there are differences in treatment methods and drugs for atypical Parkinson's syndrome between healthy controls and Parkinson's disease patients, the clinical need for effective treatment of patients with respect to differential diagnosis of atypical Parkinson's syndrome is increasing. there is. Conventionally, the type and severity of Parkinson's disease and atypical Parkinson's syndrome were mainly diagnosed based on the patient's clinical symptoms, but clinical symptoms overlap even among patients, making clear differentiation of atypical Parkinson's syndrome realistically difficult.

최근 자기공명영상(Magnetic Resonance Imaging, MRI)의 발달에 따라 흑질 내 MRI 신호의 변화에 기초하여 파킨슨병 및 비정형 파킨슨 증후군의 진단 및 추적 관찰을 수행하고 있으며 환자 뇌 내 Hummingbird 징후 또는 Morning glory 징후를 파악하는 정성적인 분석으로 진단을 수행하고 있다. With the recent development of Magnetic Resonance Imaging (MRI), diagnosis and follow-up of Parkinson's disease and atypical Parkinson's syndrome are being performed based on changes in MRI signals within the substantia nigra, and identifying Hummingbird signs or Morning glory signs in the patient's brain. Diagnosis is performed through qualitative analysis.

임상증상 및 흑질 내 MRI 신호의 변화에 따른 판단은 의료진의 역량에 따라 분석 결과가 상이할 수 있다는 문제가 있는바, 정량적으로 비정형 파킨슨 증후군의 구별하는 방법 및 장치가 문제 된다.Judgment based on changes in clinical symptoms and MRI signals within the substantia nigra has the problem that analysis results may differ depending on the capabilities of the medical staff, so methods and devices to quantitatively distinguish atypical Parkinson's syndrome are problematic.

전술한 배경 기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 기술이라 할 수 없다.The above-mentioned background technology is technical information that the inventor possessed for deriving the present invention or acquired in the process of deriving the present invention, and cannot necessarily be said to be technology disclosed to the general public before filing the application for the present invention.

KRKR 10-2020-0029313 10-2020-0029313 AA KRKR 10-2019-0105452 10-2019-0105452 AA

본 명세서에 기재된 다양한 실시예들은 상술한 문제점을 해결하기 위하여 제안된 것으로 본 명세서의 실시예들은 딥러닝을 이용하여 진행성 핵상 마비를 판단하는 방법 및 장치를 제공한다.Various embodiments described in this specification are proposed to solve the above-mentioned problems, and embodiments of this specification provide a method and device for determining progressive supranuclear palsy using deep learning.

상술한 과제를 달성하기 위한 본 명세서의 일 실시예에 따른 컴퓨터 장치에 의해 수행되는 방법은, 뇌에 관한 복수개의 단층 이미지를 획득하는 단계; 네트워크 모델을 이용하여, 상기 복수개의 단층 이미지 각각에서 흑질 영역을 추정하여 복수개의 흑질 분할 영역을 확인하는 단계; 상기 복수개의 흑질 분할 영역에 기초하여 흑질 입체 형상을 추정하는 단계; 및 상기 흑질 입체 형상에 기반하여 진행성 핵상 마비 증후군 여부를 결정하는 단계를 포함하는 것을 특징으로 한다.A method performed by a computer device according to an embodiment of the present specification for achieving the above-described task includes acquiring a plurality of tomographic images of the brain; Using a network model, estimating a substantia nigra region in each of the plurality of tomographic images and confirming a plurality of substantia nigra segmented regions; estimating a three-dimensional shape of the substantia nigra based on the plurality of substantia nigra segmented regions; and determining whether progressive supranuclear palsy syndrome exists based on the substantia nigra three-dimensional shape.

상술한 과제를 달성하기 위한 본 명세서의 일 실시예에 따른 컴퓨터 장치는, 데이터 및 적어도 하나의 모듈을 저장할 수 있는 메모리; 및 뇌에 관한 복수개의 단층 이미지를 획득하고, 네트워크 모델을 이용하여, 상기 복수개의 단층 이미지 각각에서 흑질 영역을 추정하여 복수개의 흑질 분할 영역을 확인하며, 상기 복수개의 흑질 분할 영역에 기초하여 흑질 입체 형상을 추정하고, 상기 흑질 입체 형상에 기반하여 진행성 핵상 마비 증후군 여부를 결정하도록 제어하는 프로세서를 포함하는 것을 특징으로 한다.A computer device according to an embodiment of the present specification for achieving the above-described problem includes: a memory capable of storing data and at least one module; and acquiring a plurality of tomographic images of the brain, using a network model to estimate the substantia nigra region in each of the plurality of tomographic images to identify a plurality of substantia nigra segmented regions, and substantia nigra based on the plurality of substantia nigra segmented areas. It is characterized by including a processor that controls to estimate the shape and determine whether progressive supranuclear palsy syndrome is present based on the substantia nigra three-dimensional shape.

상술한 과제를 달성하기 위한 본 명세서의 일 실시예에 따른 제1 컨볼루션 블록은, 제1 컨볼루션 레이어(first convolution layer), 제1 배치 정규화 레이어(first batch normalization layer), 제1 활성화 레이어(first activation layer), 드롭아웃 레이어(dropout layer), 제2 컨볼루션 레이어(second convolution layer), 제2 배치 정규화 레이어(second batch normalization layer), 제2 활성화 레이어(second activation layer)를 포함하는 것을 특징으로 한다.The first convolution block according to an embodiment of the present specification for achieving the above-described task includes a first convolution layer, a first batch normalization layer, and a first activation layer ( Features include a first activation layer, a dropout layer, a second convolution layer, a second batch normalization layer, and a second activation layer. Do it as

본 발명의 일 실시예에 따르면 Nested U-Net 신경망을 이용하여 자기공명영상에서 중뇌의 흑질 영역을 분할할 수 있다.According to one embodiment of the present invention, the substantia nigra region of the midbrain can be segmented in a magnetic resonance image using a nested U-Net neural network.

본 발명의 일 실시예에 따르면 흑질의 부피, 표면적, 및 형상을 정량적으로 분석하여 진행성 핵상 마비를 객관적으로 판단할 수 있다.According to one embodiment of the present invention, progressive supranuclear palsy can be objectively determined by quantitatively analyzing the volume, surface area, and shape of the substantia nigra.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않는다.The effects of the present invention are not limited to the effects mentioned above.

도 1은 본 발명의 일 실시예에 따른 진단 장치가 흑질 입체 형상을 추정하는 과정을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 네트워크 모델의 구조를 나타내는 도면이다.
도 3a는 본 발명의 일 실시예에 따른 제1 컨볼루션 블록(block)의 구조를 나타내는 도면이다.
도 3b는 본 발명의 일 실시예에 따른 제2 컨볼루션 블록(block)의 구조를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 장치의 진행성 핵상 마비 증후군 여부를 결정하는 동작을 나타내는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 장치가 네트워크 학습을 수행하는 동작을 나타내는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 진단 장치의 구성을 도식화한 블록도이다.
Figure 1 is a diagram schematically showing a process for estimating the three-dimensional shape of the substantia nigra by a diagnostic device according to an embodiment of the present invention.
Figure 2 is a diagram showing the structure of a network model according to an embodiment of the present invention.
FIG. 3A is a diagram showing the structure of a first convolution block according to an embodiment of the present invention.
FIG. 3B is a diagram showing the structure of a second convolution block according to an embodiment of the present invention.
Figure 4 is a flowchart showing the operation of determining whether a device has progressive supranuclear palsy syndrome according to an embodiment of the present invention.
Figure 5 is a flowchart showing an operation in which a device performs network learning according to an embodiment of the present invention.
Figure 6 is a block diagram illustrating the configuration of a diagnostic device according to an embodiment of the present invention.

본 발명은 다양하게 변형될 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.Since the present invention can be variously modified and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. The effects and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various forms.

각 블록은 특정 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 다른 실시예에서는 각 블록에 대해 언급된 기능들이 기재된 순서와 다르게 실행되는 것도 가능하다는 것에 주목해야 한다. 예를 들면, 두 개의 블록들이 잇달아 도시되더라도, 각 블록들에 대해 기재된 기능들은 실질적으로 동시에 수행될 수도 있고, 실행 조건 또는 환경이 달라짐에 따라 역순으로 수행될 수도 있다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다.Each block may represent a module, segment, or portion of code containing one or more executable instructions to execute a specific logical function. It should be noted that in other embodiments, it is possible for the functions mentioned for each block to be executed differently from the order described. For example, even if two blocks are shown one after another, the functions described for each block may be performed substantially simultaneously, or may be performed in reverse order as execution conditions or environments vary. In the following examples, singular terms include plural terms unless the context clearly dictates otherwise.

이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 본 명세서에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징 또는 구성요소가 부가될 가능성을 배제하는 것은 아니다.In the following embodiments, terms such as include or have mean that the features or components described in this specification exist, and do not exclude the possibility of adding one or more other features or components.

컴퓨터 또는 데이터 프로세싱 장비의 프로세서를 통해 실행되는 인스트럭션들은 흐름도 또는 블록도를 참조로 설명되는 각 기능을 수행하는 수단을 생성할 수 있다. 인스트럭션들은 컴퓨터 또는 데이터 프로세싱 장비 상에 탑재되어, 일련의 동작 단계들을 수행하기 위해 컴퓨터 등에서 실행되는 프로세스들을 생성할 수 있다.Instructions executed through a processor of a computer or data processing equipment may create a means of performing each function described with reference to a flowchart or block diagram. Instructions may be mounted on a computer or data processing equipment to create processes that are executed on the computer or the like to perform a series of operation steps.

이때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(Field Programmable Gate Array)또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어에 의해 수행되는 특정 기능을 수행하는 구성요소를 의미한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 의해 수행되는 것으로 한정되지 않는다. '~부'는 어드레싱할 수 있는 저장 매체에 저장된 데이터 형태로 존재할 수도 있고, 하나 또는 그 이상의 프로세서들이 특정 기능을 실행하도록 구성될 수도 있다. At this time, the term '~ part' used in this embodiment means a component that performs a specific function performed by software or hardware such as FPGA (Field Programmable Gate Array) or ASIC (Application Specific Integrated Circuit). However, '~ part' is not limited to being performed by software or hardware. The '~ part' may exist in the form of data stored in an addressable storage medium, and one or more processors may be configured to execute a specific function.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

본 발명에 따른 '이미지(image)'는 정지 영상이거나, 복수의 연속된 프레임으로 구성된 동영상에서 추출된 어느 한 프레임의 이미지일 수 있다. 또한 본 발명에 따른 이미지는 추론의 대상이 되는 추론 대상 이미지 또는 학습의 대상이 되는 학습 이미지 중 하나일 수 있다.An 'image' according to the present invention may be a still image or an image of one frame extracted from a video composed of a plurality of consecutive frames. Additionally, the image according to the present invention may be either an inference target image that is the target of inference or a learning image that is the target of learning.

본 발명에 따른 학습 이미지는 네트워크 모델의 학습을 위한 학습 데이터 셋(training data set)으로써 예컨대 이미지 분할(Image Segmentation)을 위한 이미지를 특징(features)으로, 분할 영역이 레이블링 된 이미지를 레이블(labels)로 하는 데이터셋을 의미할 수 있다. 본 발명의 실시예에 따른 특징(features)은 뇌에 관한 복수개의 단층 이미지로 예를 들면 R2 Star 맵, 자화율 강조 영상(Susceptibility-weighted imaging, SWI) 일 수 있으며, 레이블(labels)은 흑질 분할 영역일 수 있다.The learning image according to the present invention is a training data set for learning a network model, for example, images for image segmentation are used as features, and images with labeled segmentation areas are used as labels. It can refer to a data set of . Features according to an embodiment of the present invention may be a plurality of tomographic images of the brain, for example, an R2 Star map or susceptibility-weighted imaging (SWI), and the labels may be the substantia nigra segmented area. It can be.

본 발명에 따른 신경망 모델 또는 네트워크 모델이란 뇌 신경을 모사한 인공신경망 모델의 대표적인 예시로서, 예를 들면 특정 알고리즘을 사용한 인공신경망 모델로 한정되지 않는다. The neural network model or network model according to the present invention is a representative example of an artificial neural network model that simulates brain nerves, and is not limited to, for example, an artificial neural network model using a specific algorithm.

본 발명에 따른 네트워크 모델은 U-Net 또는 Nested U-Net일 수 있으며, 네트워크 모델은 이미지 분할(Image Segmentation)에 관한 합성곱 신경망으로서 분류(Classification)와 로컬라이제이션(Localization)을 동시에 수행할 수 있다.The network model according to the present invention may be U-Net or Nested U-Net, and the network model is a convolutional neural network for image segmentation and can simultaneously perform classification and localization.

도 1은 본 발명의 일 실시예에 따른 진단 장치가 흑질 입체 형상을 추정하는 과정을 개략적으로 나타내는 도면이다.Figure 1 is a diagram schematically showing a process for estimating the three-dimensional shape of the substantia nigra by a diagnostic device according to an embodiment of the present invention.

본 발명에 따른 진단 장치는 뇌 전체에 관한 입체 영상인 R2 Star 맵(11) 및/또는 자화율 강조 영상(13)을 획득할 수 있다. 이후 진단 장치는 자기공명영상에서 흑질 부위가 드러나는 이미지(10)를 추출하여 네트워크 모델에 입력으로 할 수 있다. 예를 들면 진단 장치는 R2 Star 맵(11) 및/또는 자화율 강조 영상(13) 중 흑질 부위가 드러나는 이미지(10)를 추출하여 네트워크 모델(20)에 입력할 수 있다. 흑질 부위가 드러나는 이미지(10)란 뇌 전체에 관한 입체 영상 중 흑질 부위를 포함하고 있는 영상을 의미할 수 있다.The diagnostic device according to the present invention can acquire an R2 Star map 11 and/or a susceptibility-weighted image 13, which are three-dimensional images of the entire brain. Afterwards, the diagnostic device can extract the image 10 showing the substantia nigra from the magnetic resonance image and use it as input to the network model. For example, the diagnostic device may extract an image 10 showing the substantia nigra from the R2 Star map 11 and/or the susceptibility-emphasized image 13 and input it into the network model 20. The image 10 showing the substantia nigra may refer to an image including the substantia nigra region among three-dimensional images of the entire brain.

또한 진단 장치는 동일 대상 뇌를 촬영한 R2 Star 맵(11), 자화율 강조 영상(13) 모두를 네트워크 모델(20)의 입력으로 하거나, R2 Star 맵 (11), 자화율 강조 영상(13) 중 하나를 네트워크 모델(20)의 입력으로 할 수 있다. In addition, the diagnostic device uses both the R2 Star map (11) and the susceptibility-weighted image (13) taken of the same target brain as input to the network model (20), or one of the R2 Star map (11) and the susceptibility-weighted image (13). can be used as an input to the network model (20).

진단 장치는 이미지(10)를 네트워크 모델(20)에 입력하여 제1 결과 데이터(23)와 제2 결과 데이터(21)를 출력하고, 제1 결과 데이터(23)와 제2 결과 데이터(21)의 평균을 기초로 하여, 임계값(threshold) 이상의 영역을 선택하여 흑질 분할 영역 데이터(25)를 생성할 수 있다. 흑질 분할 영역 데이터(25)는 흑질 부위가 드러나는 이미지(10)에서 흑질 영역을 분할(segmentation)한 데이터를 의미한다. The diagnostic device inputs the image 10 into the network model 20 and outputs first result data 23 and second result data 21, and the first result data 23 and the second result data 21 Based on the average of , substantia nigra segmented area data 25 can be generated by selecting an area greater than a threshold. The substantia nigra segmented area data 25 refers to data obtained by segmenting the substantia nigra area from the image 10 in which the substantia nigra area is revealed.

흑질 부위를 포함하고 있는 영상과 이에 관한 네트워크의 모델 출력인 흑질 영역을 분할(segmentation)한 데이터(25)가 대응되므로, 진단 장치가 흑질 부위를 포함하고 있는 영상 모두에 대해 흑질 영역을 분할(segmentation)한다면, 진단 장치는 복수개의 흑질 영역을 분할(segmentation)한 데이터(31)를 생성할 수 있다.Since the image containing the substantia nigra corresponds to the segmentation data 25 of the substantia nigra, which is the model output of the network, the diagnostic device can segment the substantia nigra for all images containing the substantia nigra. ), the diagnostic device can generate data 31 by segmenting a plurality of substantia nigra regions.

진단 장치는 복수개의 흑질 영역을 분할(segmentation)한 데이터(31)를 이용하여 흑질 입체 형상(33)을 추정할 수 있다. 진단 장치는 흑질 입체 형상(33)의 부피, 표면적, 곡률에 관한 판정 흑질 정보를 획득하고, 흑질 입체 형상(33)의 부피, 표면적, 곡률에 기초하여 진단을 수행할 수 있다.The diagnostic device can estimate the substantia nigra three-dimensional shape 33 using data 31 obtained by segmenting a plurality of substantia nigra regions. The diagnostic device may obtain determined substantia nigra information regarding the volume, surface area, and curvature of the substantia nigra three-dimensional shape 33 and perform diagnosis based on the volume, surface area, and curvature of the substantia nigra three-dimensional shape 33.

도 2는 본 발명의 일 실시예에 따른 네트워크 모델의 구조를 나타내는 도면이다. 네트워크 모델(20)은 도 1에서의 네트워크 모델(20)과 대응된다. 본 발명에 따른 네트워크 모델은 U-Net, Nested U-Net, 또는 변형된 형태의 U-Net일 수 있으며, 네트워크 모델은 이미지 분할(Image Segmentation)에 관한 합성곱 신경망으로서 분류(Classification)와 로컬라이제이션(Localization)을 동시에 수행할 수 있다.Figure 2 is a diagram showing the structure of a network model according to an embodiment of the present invention. The network model 20 corresponds to the network model 20 in FIG. 1. The network model according to the present invention may be U-Net, Nested U-Net, or a modified form of U-Net, and the network model is a convolutional neural network for image segmentation, classification and localization ( Localization) can be performed simultaneously.

도 2를 참고하면 설명을 위해 네트워크 모델(20)의 구조는 Nested U-Net의 변경된 형태의 모델인 것으로 가정하고 있다. 네트워크 모델(20)의 구조는 제1 컨볼루션 블록으로 구성된 노드(Xi,j)들과, 다운 샘플링(Down-Sampling), 업 샘플링(Up-Sampling), 스킵 경로(skip pathway)로 구성될 수 있다. 이때 i는 다운 샘플링 인덱스, j는 스킵 경로 인덱스이다.Referring to Figure 2, for explanation purposes, the structure of the network model 20 is assumed to be a modified version of the Nested U-Net. The structure of the network model 20 is composed of nodes (X i,j ) composed of the first convolution block, down-sampling, up-sampling, and skip path. You can. At this time, i is the down sampling index and j is the skip path index.

노드 X0,0 에서는 이미지가 배치 정규화 레이어를 통과한 데이터를 입력으로 하여 제1 컨볼루션 블록 연산을 거쳐 특징 맵(features map)을 출력으로 할 수 있다.At node

노드(Xi,j)에서는 제1 컨볼루션 블록의 연산이 수행될 수 있다. 일 예로 제1 컨볼루션 블록의 연산은 도 3a에서의 연산과 대응될 수 있다. 제1 컨볼루션 블록은 제1 컨볼루션 레이어(first convolution layer), 제1 배치 정규화 레이어(first batch normalization layer), 제1 활성화 레이어(first activation layer), 드롭아웃 레이어(dropout layer), 제2 컨볼루션 레이어(second convolution layer), 제2 배치 정규화 레이어(second batch normalization layer), 제2 활성화 레이어(second activation layer)를 포함할 수 있다.The operation of the first convolution block can be performed at the node (X i,j ). As an example, the operation of the first convolution block may correspond to the operation in FIG. 3A. The first convolution block includes a first convolution layer, a first batch normalization layer, a first activation layer, a dropout layer, and a second convolution layer. It may include a second convolution layer, a second batch normalization layer, and a second activation layer.

다운 샘플링(Down-Sampling)은 특징 맵(features map)을 입력으로 받아 max pooling을 수행하여 Backbone과 관련된 하위 level 노드에 전달할 수 있다. 본 발명의 실시예에 따르면 2Х2 max pooling, stride 2를 수행하여 이미지의 사이즈를 절반으로 할 수 있다. 이후 제1 컨볼루션 블록의 필터값을 두 배로 하여 채널의 깊이는 두 배로 할 수 있다. 예를 들면 X0,0의 출력 특징 맵 크기가 256Х256Х32라 가정하면 X0,1의 출력 특징 맵 크기는 128Х128Х64일 수 있다.Down-Sampling can receive a feature map as input, perform max pooling, and deliver it to a lower level node related to the backbone. According to an embodiment of the present invention, the size of the image can be halved by performing 2Х2 max pooling and stride 2. Afterwards, the depth of the channel can be doubled by doubling the filter value of the first convolution block. For example, assuming that the output feature map size of X 0,0 is 256Х256Х32, the output feature map size of

업 샘플링(Up-Sampling)은 특징 맵(features map)을 입력으로 받아 디콘볼루션을 수행하여 상위 레벨 노드에 전달할 수 있다.Up-Sampling can receive a feature map as input, perform deconvolution, and transmit it to a higher-level node.

스킵 경로(skip pathway)에서는 같은 level에 위치한 노드의 결과들과 하위 level 노드에서 업 샘플링 된 결과들을 연결(concatenate)하는 연산이 수행되고 노드에 값을 전달할 수 있다. 도 2를 참고하여 설명하면, 노드 X1,3 는 i)노드 X1,0, X1,1, X1,2 에서 출력된 특징 맵과 ii)X2,2 에서 출력된 특징 맵을 업 샘플링(Up-Sampling) 값 X2,2 up 을 연결한 값을 입력으로 할 수 있다.In the skip pathway, an operation is performed to concatenate the results of a node located at the same level with the results upsampled from a lower level node, and a value can be transmitted to the node. As explained with reference to Figure 2, node X 1,3 uploads i) the feature maps output from nodes X 1,0 , The value connected to the sampling ( Up - Sampling) value

이는 하기의 수학식 1에 의해 나타낼 수 있다.This can be expressed by Equation 1 below.

[수학식 1][Equation 1]

수학식 1에서의 xi,j 는 Xi,j 노드의 출력 값, H()는 제1 컨볼루션 블록 연산, U()는 업 샘플링 연산, [ ]는 연결 연산, i는 다운 샘플링 인덱스, j는 스킵 경로 인덱스이다.In Equation 1 , x i ,j is the output value of the j is the skip path index.

본 발명에 따른 네트워크 모델(20)에서 기본 최종 노드(201)를 X0,J 보조 최종 노드(203)를 X0,J-1로 정의할 수 있다. 이때 J는 스킵 경로 인덱스의 최대값을 의미하며 도 2를 참고하면 J=5, 기본 최종 노드(201)는 X0,5 보조 최종 노드(203)는 X0,4 일 수 있다.In the network model 20 according to the present invention , the basic final node 201 can be defined as At this time, J means the maximum value of the skip path index. Referring to FIG. 2, J = 5, the primary final node 201 may be X 0,5 , and the secondary final node 203 may be X 0,4 .

본 발명에 따른 네트워크 모델(20)에서는, 기본 최종 노드(201)에서의 출력 데이터를 제2 컨볼루션 블록에 입력으로 하는 연산이 수행될 수 있다. 이에 제1 결과 데이터가 생성될 수 있다. In the network model 20 according to the present invention, an operation may be performed using output data from the basic final node 201 as input to the second convolution block. Accordingly, first result data may be generated.

네트워크 모델(20)에서는, 보조 최종 노드(203)에서의 출력 데이터를 제2 컨볼루션 블록에 입력으로 하는 연산이 수행될 수 있다. 이에 제2 결과 데이터가 생성될 수 있다.In the network model 20, an operation may be performed using output data from the auxiliary final node 203 as input to the second convolution block. Accordingly, second result data may be generated.

제1 결과 데이터 및 제2 결과 데이터를 평균하고 임계값(threshold) 이상의 영역을 선택하여 최종 결과 데이터를 생성할 수 있다. 본 발명의 실시예에 따르면 최종 결과 데이터는 흑질 부위가 드러나는 이미지(10)에서 흑질 영역을 분할(segmentation)한 데이터(25)일 수 있다.Final result data may be generated by averaging the first result data and the second result data and selecting an area greater than a threshold. According to an embodiment of the present invention, the final result data may be data 25 obtained by segmenting the substantia nigra region from the image 10 in which the substantia nigra region is revealed.

도 3a는 본 발명의 일 실시예에 따른 제1 컨볼루션 블록(block)의 구조를 나타내는 도면이다.FIG. 3A is a diagram showing the structure of a first convolution block according to an embodiment of the present invention.

제1 컨볼루션 블록(300a)은 Xi,j 노드에서의 연산을 수행하기 위한 블록일 수 있다. 또한 제1 컨볼루션 블록(300a)은 다중 컨볼루션 레이어 연산을 수행하기 위한 블록일 수 있다. The first convolution block 300a may be a block for performing operations at nodes X i,j . Additionally, the first convolution block 300a may be a block for performing multiple convolution layer operations.

본 발명의 실시예에 따른 제1 컨볼루션 블록(300a)은 제1 컨볼루션 레이어(first convolution layer)(301a), 제1 배치 정규화 레이어(first batch normalization layer)(303a), 제1 활성화 레이어(first activation layer)(305a), 드롭아웃 레이어(dropout layer)(307a), 제2 컨볼루션 레이어(second convolution layer)(308a), 제2 배치 정규화 레이어(second batch normalization layer)(309a), 제2 활성화 레이어(second activation layer)(311a)를 포함할 수 있다.The first convolution block 300a according to an embodiment of the present invention includes a first convolution layer 301a, a first batch normalization layer 303a, and a first activation layer ( first activation layer (305a), dropout layer (307a), second convolution layer (308a), second batch normalization layer (309a), second It may include a second activation layer 311a.

제1 컨볼루션 블록(300a)은 노드에 입력으로 받은 특징 맵과 필터에 기반하여, 연산을 수행한다. 제1 컨볼루션 레이어(301a) 및 제2 컨볼루션 레이어(308a)에서는 필터를 이용하여 입력된 특징 맵의 특징들이 추출된다. 제1 컨볼루션 레이어(301a) 및 제2 컨볼루션 레이어(308a)에서는 필터에 기반하여 새로운 특징 맵을 출력으로 한다. 제1 배치 정규화 레이어(303a) 및 제2 배치 정규화 레이어(309a)에서는 데이터의 분포가 정규화될 수 있다. 제1 활성화 레이어(305a) 및 제2 활성화 레이어(311a)에서는 입력된 데이터의 가중 합을 출력 데이터로 변환될 수 있다. 활성화 레이어는 예를 들면 ReLU, elu, Maxout, tanh중 적어도 하나를 이용할 수 있다. 드롭아웃 레이어(307a)에서는 임의의 뉴런 노드를 제거하여 과적합을 방지하는 연산이 수행될 수 있다.The first convolution block 300a performs calculations based on the feature map and filter received as input to the node. In the first convolution layer 301a and the second convolution layer 308a, features of the input feature map are extracted using a filter. The first convolution layer 301a and the second convolution layer 308a output a new feature map based on the filter. The distribution of data may be normalized in the first batch normalization layer 303a and the second batch normalization layer 309a. In the first activation layer 305a and the second activation layer 311a, the weighted sum of input data may be converted into output data. The activation layer may use at least one of, for example, ReLU, elu, Maxout, or tanh. In the dropout layer 307a, an operation to prevent overfitting by removing random neuron nodes may be performed.

제1 컨볼루션 블록(300a)은 노드에 입력으로 받은 특징 맵과 필터값에 기반하여, 제1 컨볼루션 레이어(301a) 연산, 제1 배치 정규화 레이어(303a) 연산, 제1 활성화 레이어(305a) 연산, 드롭아웃 레이어(307a) 연산, 제2 컨볼루션 레이어(308a) 연산, 제2 배치 정규화 레이어(309a) 연산, 제2 활성화 레이어(311a) 연산을 순차적으로 수행하고 결과를 출력으로 할 수 있다.The first convolution block 300a performs a first convolutional layer 301a operation, a first batch normalization layer 303a operation, and a first activation layer 305a based on the feature map and filter value received as input to the node. The operation, dropout layer (307a) operation, second convolution layer (308a) operation, second batch normalization layer (309a) operation, and second activation layer (311a) operation can be performed sequentially and the result can be output. .

도 3b는 본 발명의 일 실시예에 따른 제2 컨볼루션 블록(block)의 구조를 나타내는 도면이다.FIG. 3B is a diagram showing the structure of a second convolution block according to an embodiment of the present invention.

본 발명에 따른 네트워크 모델(20)에서는, 기본 최종 노드(201)에서의 출력 데이터를 제2 컨볼루션 블록에 입력으로 하는 연산이 수행될 수 있다. 이에 제1 결과 데이터가 생성될 수 있다. 네트워크 모델(20)에서는, 보조 최종 노드(203)에서의 출력 데이터를 제2 컨볼루션 블록에 입력으로 하는 연산이 수행될 수 있다. 이에 제2 결과 데이터가 생성될 수 있다.In the network model 20 according to the present invention, an operation may be performed using output data from the basic final node 201 as input to the second convolution block. Accordingly, first result data may be generated. In the network model 20, an operation may be performed using output data from the auxiliary final node 203 as input to the second convolution block. Accordingly, second result data may be generated.

도 3b를 참고하면, 제2 컨볼루션 블록(300b)은 컨볼루션 레이어(convolution layer)(301b), 배치 정규화 레이어(batch normalization layer)(303b), 활성화 레이어(activation layer)(305b)에 의해 구성될 수 있으며, 기본 최종 노드(201)에서의 출력 데이터, 보조 최종 노드(203)에서의 출력 데이터를 입력으로 할 수 있다.Referring to FIG. 3b, the second convolution block 300b is composed of a convolution layer 301b, a batch normalization layer 303b, and an activation layer 305b. It can be input, and the output data from the basic final node 201 and the output data from the secondary final node 203 can be used as input.

제2 컨볼루션 블록(300b)은 컨볼루션 레이어(301b) 연산, 배치 정규화 레이어(303b) 연산, 활성화 레이어(305b) 연산을 순차적으로 수행하고 결과를 출력으로 할 수 있다.The second convolution block 300b may sequentially perform the convolution layer 301b operation, the batch normalization layer 303b operation, and the activation layer 305b operation and output the results.

도 4는 본 발명의 일 실시예에 따른 진단 장치의 진행성 핵상 마비 증후군 여부를 결정하는 동작을 나타내는 순서도이다.Figure 4 is a flowchart showing the operation of determining whether a diagnostic device has progressive supranuclear palsy syndrome according to an embodiment of the present invention.

도 4를 참고하면, 진단 장치는 S110 단계에서, 네트워크 모델을 사전 학습할 수 있다. 예를 들면 뇌에 관한 복수개의 학습 단층 이미지 및 복수개의 학습 단층 이미지 각각에 대응하는 흑질 영역 레이블링 이미지를 획득하고, 학습 단층 이미지 및 흑질 영역 레이블링 이미지 간의 연관 관계를 나타내는 네트워크 모델의 파라미터를 조정하여 네트워크 모델을 학습할 수 있다. 일 예로 네트워크 모델은 도 2에서의 네트워크 모델(20)과 대응될 수 있다.Referring to FIG. 4, the diagnostic device may pre-learn a network model in step S110. For example, a plurality of learning tomographic images of the brain and substantia nigra region labeling images corresponding to each of the plurality of learning tomography images are acquired, and the parameters of the network model representing the correlation between the learning tomography images and the substantia nigra region labeling images are adjusted to form a network. You can learn a model. As an example, the network model may correspond to the network model 20 in FIG. 2.

진단 장치는 S120 단계에서, 진행성 핵상 마비 증후군 환자, 파킨슨병 환자, 대조군의 대표 흑질 입체 형상을 생성할 수 있다. In step S120, the diagnostic device may generate representative substantia nigra three-dimensional shapes of progressive supranuclear palsy syndrome patients, Parkinson's disease patients, and control groups.

< 진행성 핵상 마비 증후군 >< Progressive supranuclear palsy syndrome >

사전 학습된 네트워크 모델에 진행성 핵상 마비 증후군 환자의 뇌에 대한 R2 Star 맵 및/또는 자화율 강조 영상을 입력으로 하면, 진행성 핵상 마비 증후군 환자의 흑질 분할 영역을 확인할 수 있다. 진단 장치는 흑질 분할 영역을 이용하여 진행성 핵상 마비 증후군 환자의 흑질 입체 형상을 추정할 수 있다. By inputting the R2 Star map and/or susceptibility-weighted image of the brain of a patient with progressive supranuclear palsy syndrome to the pre-trained network model, the substantia nigra segmented area of the patient with progressive supranuclear palsy syndrome can be confirmed. The diagnostic device can estimate the three-dimensional shape of the substantia nigra of a patient with progressive supranuclear palsy syndrome using the substantia nigra division area.

다수의 진행성 핵상 마비 증후군 환자에 대하여 위와 같은 과정을 반복하여 흑질 입체 형상의 부피, 표면적, 곡률에 관한 대표값 또는 평균값을 결정하고 대표 흑질 입체 형상을 생성할 수 있다. 예컨대 본 발명의 실시예에 따른 진행성 핵상 마비 증후군 환자의 흑질 입체 형상의 부피, 표면적, 곡률에 관한 대표값 또는 평균값은 제1 흑질 정보로 지칭할 수 있다.By repeating the above process for a number of patients with progressive supranuclear palsy syndrome, representative or average values for the volume, surface area, and curvature of the substantia nigra three-dimensional shape can be determined and a representative substantia nigra three-dimensional shape can be generated. For example, representative values or average values of the volume, surface area, and curvature of the substantia nigra three-dimensional shape of a patient with progressive supranuclear palsy syndrome according to an embodiment of the present invention may be referred to as first substantia nigra information.

< 파킨슨병 환자 ><Patients with Parkinson’s disease>

사전 학습된 네트워크 모델에 파킨슨병 환자의 뇌에 대한 R2 Star 맵 및/또는 자화율 강조 영상을 입력으로 하면, 파킨슨병 환자의 흑질 분할 영역을 확인할 수 있다. 진단 장치는 흑질 분할 영역을 이용하여 파킨슨병 환자의 흑질 입체 형상을 추정할 수 있다. By inputting the R2 Star map and/or susceptibility-weighted image of the brain of a Parkinson's disease patient into the pre-trained network model, the substantia nigra segmented area of the Parkinson's disease patient can be confirmed. The diagnostic device can estimate the three-dimensional shape of the substantia nigra of a Parkinson's disease patient using the substantia nigra segmented area.

다수의 파킨슨병 환자에 대하여 위와 같은 과정을 반복하여 흑질 입체 형상의 부피, 표면적, 곡률에 관한 대표값 또는 평균값을 결정하고 대표 흑질 입체 형상을 생성할 수 있다. 예컨대 본 발명의 실시예에 따른 파킨슨병 환자의 흑질 입체 형상의 부피, 표면적, 곡률에 관한 대표값 또는 평균값은 제2 흑질 정보로 지칭할 수 있다.By repeating the above process for a number of Parkinson's disease patients, representative or average values for the volume, surface area, and curvature of the substantia nigra three-dimensional shape can be determined and a representative substantia nigra three-dimensional shape can be generated. For example, representative values or average values of the volume, surface area, and curvature of the three-dimensional shape of the substantia nigra of a Parkinson's disease patient according to an embodiment of the present invention may be referred to as second substantia nigra information.

< 대조군 ><Control group>

사전 학습된 네트워크 모델에 이상소견 없는 대조군의 뇌에 대한 R2 Star 맵 및/또는 자화율 강조 영상을 입력으로 하면, 대조군의 흑질 분할 영역을 확인할 수 있다. 진단 장치는 흑질 분할 영역을 이용하여 대조군의 흑질 입체 형상을 추정할 수 있다. By inputting the R2 Star map and/or susceptibility-weighted image of the brain of the control group without abnormal findings to the pre-trained network model, the substantia nigra segmented area of the control group can be confirmed. The diagnostic device can estimate the three-dimensional shape of the control group's substantia nigra using the substantia nigra segmented area.

다수의 대조군에 대하여 위와 같은 과정을 반복하여 흑질 입체 형상의 부피, 표면적, 곡률에 관한 대표값 또는 평균값을 결정하고 대표 흑질 입체 형상을 생성할 수 있다. 예컨대 본 발명의 실시예에 따른 대조군의 흑질 입체 형상의 부피, 표면적, 곡률에 관한 대표값 또는 평균값은 제3 흑질 정보로 지칭할 수 있다.By repeating the above process for a number of control groups, representative or average values for the volume, surface area, and curvature of the substantia nigra three-dimensional shape can be determined and a representative substantia nigra three-dimensional shape can be generated. For example, representative values or average values of the volume, surface area, and curvature of the substantia nigra three-dimensional shape of the control group according to an embodiment of the present invention may be referred to as third substantia nigra information.

진단 장치는 S130 단계에서, 진단 대상이 되는 뇌에 관한 복수개의 단층 이미지를 획득할 수 있다. 예를 들면 진단 대상이 되는 뇌에 대한 R2 Star 맵 및/또는 자화율 강조 영상을 획득할 수 있다.The diagnostic device may acquire a plurality of tomographic images of the brain to be diagnosed in step S130. For example, an R2 Star map and/or susceptibility-weighted image of the brain that is a diagnostic target can be obtained.

진단 장치는 S140 단계에서, 사전 학습된 네트워크 모델을 이용하여, 복수개의 단층 이미지 각각에서 흑질 영역을 추정하여 복수개의 흑질 분할 영역을 확인할 수 있다.In step S140, the diagnostic device may identify a plurality of substantia nigra segmented areas by estimating the substantia nigra region from each of the plurality of tomographic images using a pre-trained network model.

진단 장치는 S150 단계에서, 복수개의 흑질 분할 영역에 기초하여 흑질 입체 형상을 추정할 수 있다. 예를 들면 복수개의 흑질 분할 영역을 연속적으로 쌓는 방식을 통해 흑질 입체 형상을 추정할 수 있다.In step S150, the diagnostic device may estimate the three-dimensional shape of the substantia nigra based on a plurality of substantia nigra segmented regions. For example, the three-dimensional shape of the substantia nigra can be estimated by sequentially stacking multiple substantia nigra segmented regions.

진단 장치는 S160 단계에서, 흑질 입체 형상에 기반하여 진행성 핵상 마비 증후군 여부를 결정할 수 있다. 예를 들면 진단 대상이 되는 뇌의 흑질 입체 형상을 추정하고, 흑질 입체 형상의 부피, 표면적 및 흑질 입체 형상의 곡률을 포함하는 판정 흑질 정보를 획득할 수 있다. 진단 장치는 판정 흑질 정보와 제1 흑질 정보, 제2 흑질 정보, 제3 흑질 정보를 비교하고, 가장 근접한 값을 가지는 흑질 정보에 기초하여 진행성 핵상 마비 증후군 여부를 결정할 수 있다.In step S160, the diagnostic device may determine whether progressive supranuclear palsy syndrome is present based on the substantia nigra three-dimensional shape. For example, the substantia nigra three-dimensional shape of the brain to be diagnosed can be estimated, and determined substantia nigra information including the volume and surface area of the substantia nigra three-dimensional shape and the curvature of the substantia nigra three-dimensional shape can be obtained. The diagnostic device may compare the determined substantia nigra information with the first substantia nigra information, the second substantia nigra information, and the third substantia nigra information, and determine whether progressive supranuclear palsy syndrome is present based on the substantia nigra information having the closest value.

도 5는 본 발명의 일 실시예에 따른 진단 장치가 네트워크 학습을 수행하는 동작을 나타내는 순서도이다.Figure 5 is a flowchart showing an operation in which a diagnostic device performs network learning according to an embodiment of the present invention.

도 5를 참고하면 진단 장치는 S210 단계에서, 뇌에 관한 복수개의 학습 단층 이미지를 획득할 수 있다.Referring to FIG. 5 , the diagnostic device may acquire a plurality of learning tomography images of the brain in step S210.

진단 장치는 S220 단계에서, 복수개의 학습 단층 이미지 각각에 대응하는 흑질 영역 레이블링 이미지를 획득할 수 있다. 이때 레이블링 이미지는 의료진이 직접 학습 단층 이미지 각각에 대하여 흑질 영역을 분할(segmentation)한 이미지를 지칭할 수 있다.In step S220, the diagnostic device may acquire a substantia nigra region labeling image corresponding to each of the plurality of learning tomographic images. At this time, the labeling image may refer to an image in which the medical staff directly segmented the substantia nigra region for each learning tomographic image.

진단 장치는 뇌에 관한 복수개의 학습 단층 이미지 및 복수개의 학습 단층 이미지 각각에 대응하는 흑질 영역 레이블링 이미지를 학습 데이터 셋으로 결정할 수 있다. 예컨대 학습 데이터 셋은 이미지 분할(Image Segmentation)을 위한 뇌에 관한 복수개의 학습 단층 이미지를 특징(features)으로, 복수개의 학습 단층 이미지 각각에 대응하는 흑질 영역 레이블링 이미지를 레이블(labels)로 하는 데이터셋을 의미할 수 있다.The diagnostic device may determine a plurality of learning tomographic images of the brain and substantia nigra region labeling images corresponding to each of the plurality of learning tomographic images as a learning data set. For example, the learning data set is a data set that uses a plurality of learning tomographic images of the brain for image segmentation as features and a labeling image of the substantia nigra region corresponding to each of the plurality of learning tomographic images as labels. It can mean.

진단 장치는 S230 단계에서 흑질 분할을 위한 네트워크 모델 학습을 수행할 수 있다. 학습 단층 이미지 및 흑질 영역 레이블링 이미지 간의 연관 관계를 나타내는 네트워크 모델의 파라미터를 조정하여 네트워크 모델을 학습할 수 있다. 일 예로 네트워크 모델은 도 2에서의 네트워크 모델(20)과 대응될 수 있다.The diagnostic device may perform network model learning for substantia nigra segmentation in step S230. The network model can be learned by adjusting the parameters of the network model representing the correlation between the learning tomographic image and the substantia nigra region labeling image. As an example, the network model may correspond to the network model 20 in FIG. 2.

도 6은 본 발명의 일 실시예에 따른 진단 장치의 구성을 도식화한 블록도이다.Figure 6 is a block diagram illustrating the configuration of a diagnostic device according to an embodiment of the present invention.

진단 장치(600)는 메모리(601), 프로세서(603)에 의해 구성되는 것으로 도시하였으나 반드시 이에 한정되는 것이 아니다. 메모리(601), 프로세서(603)는 각각 물리적으로 독립한 하나의 구성부로서 존재할 수 있다.The diagnostic device 600 is shown as being comprised of a memory 601 and a processor 603, but is not necessarily limited thereto. The memory 601 and the processor 603 may each exist as one physically independent component.

메모리(601)는 진단 장치(600)에서 프로세서(603)의 처리 또는 제어를 위한 프로그램 등 진단 장치(600) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 메모리(601)는 구동되는 다수의 응용 프로그램(Application program), 진단 장치(600)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 메모리(601)는 프로세서(603)에 포함된 롬(ROM), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(603)와 별도의 메모리로 구현될 수 있다.The memory 601 may store various data for the overall operation of the diagnostic device 600, such as a program for processing or controlling the processor 603 in the diagnostic device 600. The memory 601 can store a number of running application programs, data for operating the diagnostic device 600, and commands. The memory 601 may be implemented as internal memory such as ROM or RAM included in the processor 603, or may be implemented as a memory separate from the processor 603.

프로세서(603)는 진단 장치(600)를 전반적으로 제어하기 위한 구성일 수 있다. The processor 603 may be configured to generally control the diagnostic device 600.

구체적으로 프로세서(603)는 진단 장치(600)의 메모리(601)에 저장된 각종 프로그램을 이용하여 진단 장치(600)의 동작을 제어할 수 있다. 프로세서(603)는 CPU, 램(RAM), 롬(ROM), 시스템 버스 등을 포함할 수 있다. 프로세서(603)는 단일 CPU 또는 복수의 CPU(또는 DSP, SoC)로 구현될 수 있다. 일 실시예로, 프로세서(603)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(603)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array)형태로 구현될 수도 있다.Specifically, the processor 603 can control the operation of the diagnostic device 600 using various programs stored in the memory 601 of the diagnostic device 600. The processor 603 may include a CPU, RAM, ROM, and a system bus. The processor 603 may be implemented as a single CPU or multiple CPUs (or DSP, SoC). In one embodiment, the processor 603 may be implemented as a digital signal processor (DSP), a microprocessor, or a time controller (TCON) that processes digital signals. However, it is not limited to this. , central processing unit (CPU), micro controller unit (MCU), micro processing unit (MPU), controller, application processor (AP), or communication processor (CP) )), may include one or more of ARM processors, or may be defined by the corresponding term. In addition, the processor 603 may be implemented as a SoC (System on Chip) with a built-in processing algorithm, LSI (large scale integration). It can also be implemented in the form of an FPGA (Field Programmable Gate Array).

프로세서(603)는 예를 들면 뇌에 관한 복수개의 단층 이미지를 획득하고, 네트워크 모델을 이용하여, 상기 복수개의 단층 이미지 각각에서 흑질 영역을 추정하여 복수개의 흑질 분할 영역을 확인하며, 상기 복수개의 흑질 분할 영역에 기초하여 흑질 입체 형상을 추정하고, 상기 흑질 입체 형상에 기반하여 진행성 핵상 마비 증후군 여부를 결정하도록 제어할 수 있다.For example, the processor 603 acquires a plurality of tomographic images of the brain, uses a network model to estimate a substantia nigra region in each of the plurality of tomographic images, identifies a plurality of substantia nigra segmented regions, and identifies the plurality of substantia nigra segmented regions. The substantia nigra three-dimensional shape can be estimated based on the segmented area, and control can be made to determine whether there is progressive supranuclear palsy syndrome based on the substantia nigra three-dimensional shape.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, various modifications and variations can be made by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims also fall within the scope of the claims described below.

11: R2 Star 맵
13: 자화율 강조 영상
20: 네트워크 모델
201: 기본 최종 노드
203: 보조 최종 노드
21: 제2 결과 데이터
23: 제1 결과 데이터
25: 흑질 분할 영역 데이터
300a: 제1 컨볼루션 블록
300b: 제2 컨볼루션 블록
301a: 제1 컨볼루션 레이어
301b: 컨볼루션 레이어
303a: 제1 배치 정규화 레이어
303b: 연산, 배치 정규화 레이어
305a: 제1 활성화 레이어
305b: 연산, 활성화 레이어
307a: 드롭아웃 레이어
308a: 제2 컨볼루션 레이어
309a: 제2 배치 정규화 레이어
31: 복수개의 흑질 영역을 분할한 데이터
305b: 활성화 레이어
33: 흑질 입체 형상
600: 진단 장치
601: 메모리
603: 프로세서
11: R2 Star Map
13: Susceptibility highlighting video
20: Network model
201: Primary final node
203: Secondary final node
21: Second result data
23: First result data
25: Substantia nigra segment data
300a: first convolution block
300b: second convolution block
301a: first convolution layer
301b: convolution layer
303a: First batch normalization layer
303b: Computational, batch normalization layer
305a: first activation layer
305b: Computation, activation layer
307a: Dropout layer
308a: second convolution layer
309a: Second batch normalization layer
31: Data dividing multiple substantia nigra regions
305b: Activation layer
33: Substantia nigra three-dimensional shape
600: Diagnostic device
601: Memory
603: Processor

Claims (12)

컴퓨터 장치에 의해 수행되는 방법에 있어서,
뇌에 관한 복수개의 단층 이미지를 획득하는 단계;
이미지 분할(segmentation)에 관한 네트워크 모델을 이용하여, 상기 복수개의 단층 이미지 각각에서 흑질 영역을 추정하여 복수개의 흑질 분할(segmentation) 영역을 확인하는 단계;
상기 복수개의 흑질 분할 영역에 기초하여 흑질 입체 형상을 생성하는 단계; 및
상기 흑질 입체 형상에 기반하여 진행성 핵상 마비 증후군 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
In a method performed by a computer device,
Obtaining a plurality of tomographic images of the brain;
Using a network model for image segmentation, estimating a substantia nigra region in each of the plurality of tomographic images and confirming a plurality of substantia nigra segmentation regions;
generating a three-dimensional shape of the substantia nigra based on the plurality of substantia nigra segmented regions; and
A method comprising determining whether progressive supranuclear palsy syndrome exists based on the substantia nigra three-dimensional shape.
제1 항에 있어서,
상기 이미지 분할에 관한 네트워크 모델은,
뇌에 관한 복수개의 학습 단층 이미지 및 상기 복수개의 학습 단층 이미지 각각에 대응하는 흑질 분할 영역 레이블링 이미지를 획득하고, 상기 학습 단층 이미지 및 상기 흑질 분할 영역 레이블링 이미지 간의 연관 관계를 나타내는 상기 이미지 분할에 관한 네트워크 모델의 파라미터를 조정하여 사전 학습된 것을 특징으로 하는 방법.
According to claim 1,
The network model for image segmentation is,
A network for image segmentation that acquires a plurality of learning tomographic images of the brain and a substantia nigra segment labeling image corresponding to each of the plurality of learning tomography images, and indicates an association between the learning tomography image and the substantia nigra segment labeling image. A method of adjusting the parameters of a model to characterize it as pre-trained.
제1 항에 있어서,
상기 흑질 입체 형상에 기반하여 진행성 핵상 마비 증후군 여부를 결정하는 단계는,
상기 흑질 입체 형상의 부피, 표면적 및 상기 흑질 입체 형상의 곡률을 포함하는 판정 흑질 정보를 획득하는 단계; 및
제1 흑질 정보, 제2 흑질 정보 및 제3 흑질 정보와 상기 판정 흑질 정보를 비교하는 단계를 포함하고,
상기 제1 흑질 정보는, 상기 이미지 분할에 관한 네트워크 모델을 이용하여 추정한 진행성 핵상 마비 증후군 환자의 흑질 입체 형상과 관련된 정보이고,
상기 제2 흑질 정보는, 상기 이미지 분할에 관한 네트워크 모델을 이용하여 추정한 파킨슨병 환자의 흑질 입체 형상과 관련된 정보이고,
상기 제3 흑질 정보는, 상기 이미지 분할에 관한 네트워크 모델을 이용하여 추정한 정상인의 형상과 관련된 정보인 것을 특징으로 하는 방법.
According to claim 1,
The step of determining whether progressive supranuclear palsy syndrome is present based on the substantia nigra three-dimensional shape is,
Obtaining determined substantia nigra information including the volume and surface area of the substantia nigra three-dimensional shape and the curvature of the substantia nigra three-dimensional shape; and
Comparing first substantia nigra information, second substantia nigra information, and third substantia nigra information with the determined substantia nigra information,
The first substantia nigra information is information related to the three-dimensional shape of the substantia nigra of a patient with progressive supranuclear palsy syndrome estimated using the network model for image segmentation,
The second substantia nigra information is information related to the three-dimensional shape of the substantia nigra of a Parkinson's disease patient estimated using the network model for image segmentation,
The third substantia nigra information is information related to the shape of a normal person estimated using the network model for image segmentation.
삭제delete 제1 항에 있어서,
상기 이미지 분할에 관한 네트워크 모델은, 객체 분할(Segmentation)에 관한 U-Net 또는 Nested U-Net모델을 이용한 것을 특징으로 하는 방법.
According to claim 1,
A method characterized in that the network model for image segmentation uses a U-Net or Nested U-Net model for object segmentation.
컴퓨터 장치에 있어서,
데이터 및 적어도 하나의 모듈을 저장할 수 있는 메모리; 및
뇌에 관한 복수개의 단층 이미지를 획득하고, 이미지 분할에 관한 네트워크 모델을 이용하여, 상기 복수개의 단층 이미지 각각에서 흑질 영역을 추정하여 복수개의 흑질 분할(segmentation) 영역을 확인하며, 상기 복수개의 흑질 분할 영역에 기초하여 흑질 입체 형상을 생성하고, 상기 흑질 입체 형상에 기반하여 진행성 핵상 마비 증후군 여부를 결정하도록 제어하는 프로세서
를 포함하는 것을 특징으로 하는 컴퓨터 장치.
In computer devices,
a memory capable of storing data and at least one module; and
Acquire a plurality of tomographic images of the brain, use a network model for image segmentation, estimate the substantia nigra region in each of the plurality of tomographic images, identify a plurality of substantia nigra segmentation regions, and segment the plurality of substantia nigra. A processor that generates a substantia nigra three-dimensional shape based on the area and controls to determine whether progressive supranuclear palsy syndrome is present based on the substantia nigra three-dimensional shape.
A computer device comprising:
제6 항에 있어서,
상기 이미지 분할에 관한 네트워크 모델은,
뇌에 관한 복수개의 학습 단층 이미지 및 상기 복수개의 학습 단층 이미지 각각에 대응하는 흑질 분할 영역 레이블링 이미지를 획득하고, 상기 학습 단층 이미지 및 상기 흑질 분할 영역 레이블링 이미지 간의 연관 관계를 나타내는 상기 이미지 분할에 관한 네트워크 모델의 파라미터를 조정하여 사전 학습된 것을 특징으로 하는 컴퓨터 장치.
According to clause 6,
The network model for image segmentation is,
A network for image segmentation that acquires a plurality of learning tomographic images of the brain and a substantia nigra segment labeling image corresponding to each of the plurality of learning tomography images, and indicates an association between the learning tomography image and the substantia nigra segment labeling image. A computer device characterized by pre-training by adjusting the parameters of a model.
제6 항에 있어서,
상기 프로세서는,
상기 흑질 입체 형상의 부피, 표면적 및 상기 흑질 입체 형상의 곡률을 포함하는 판정 흑질 정보를 획득하며, 제1 흑질 정보, 제2 흑질 정보 및 제3 흑질 정보와 상기 판정 흑질 정보를 비교하고,
상기 제1 흑질 정보는, 상기 이미지 분할에 관한 네트워크 모델을 이용하여 추정한 진행성 핵상 마비 증후군 환자의 흑질 입체 형상과 관련된 정보이고, 상기 제2 흑질 정보는, 상기 이미지 분할에 관한 네트워크 모델을 이용하여 추정한 파킨슨병 환자의 흑질 입체 형상과 관련된 정보이고, 상기 제3 흑질 정보는, 상기 이미지 분할에 관한 네트워크 모델을 이용하여 추정한 정상인의 형상과 관련된 정보인 것을 특징으로 하는 컴퓨터 장치.
According to clause 6,
The processor,
Obtain determined substantia nigra information including the volume, surface area, and curvature of the substantia nigra three-dimensional shape, and compare the determined substantia nigra information with first substantia nigra information, second substantia nigra information, and third substantia nigra information,
The first substantia nigra information is information related to the three-dimensional shape of the substantia nigra of a patient with progressive supranuclear palsy syndrome estimated using the network model for image segmentation, and the second substantia nigra information is information related to the three-dimensional shape of the substantia nigra estimated using the network model for image segmentation. Information related to the estimated three-dimensional shape of the substantia nigra of a Parkinson's disease patient, and the third substantia nigra information is information related to the shape of a normal person estimated using the network model for image segmentation.
삭제delete 제6 항에 있어서,
상기 이미지 분할에 관한 네트워크 모델은, 객체 분할(Segmentation)에 관한 U-Net 또는 Nested U-Net모델을 이용한 것을 특징으로 하는 컴퓨터 장치.
According to clause 6,
A computer device characterized in that the network model for image segmentation uses a U-Net or Nested U-Net model for object segmentation.
제6 항에 있어서,
상기 이미지 분할에 관한 네트워크 모델은, 제1 컨볼루션 레이어(first convolution layer), 제1 배치 정규화 레이어(first batch normalization layer), 제1 활성화 레이어(first activation layer), 드롭아웃 레이어(dropout layer), 제2 컨볼루션 레이어(second convolution layer), 제2 배치 정규화 레이어(second batch normalization layer), 제2 활성화 레이어(second activation layer)를 포함하는 컨볼루션 블록(block)을 포함하는 것을 특징으로 하는 컴퓨터 장치.
According to clause 6,
The network model for image segmentation includes a first convolution layer, a first batch normalization layer, a first activation layer, a dropout layer, A computer device comprising a convolutional block comprising a second convolution layer, a second batch normalization layer, and a second activation layer. .
제6 항에 있어서,
상기 이미지 분할에 관한 네트워크 모델은, 제1 결과 데이터와 제2 결과 데이터를 연결하여 최종 결과 데이터를 생성하도록 구성된 것을 특징으로 하고,
상기 제1 결과 데이터는, 기본 최종 노드의 출력 데이터에 컨볼루션 블록 연산을 한 데이터이고, 상기 제2 결과 데이터는, 보조 최종 노드의 출력 데이터에 컨볼루션 블록 연산을 한 데이터인 것을 특징으로 하는 컴퓨터 장치.


According to clause 6,
The network model for image segmentation is characterized in that it is configured to generate final result data by connecting first result data and second result data,
The first result data is data obtained by performing a convolutional block operation on the output data of the primary final node, and the second result data is data obtained by performing a convolutional block operation on the output data of the auxiliary final node. Device.


KR1020220019104A 2021-12-17 2022-02-14 Method and apparatus for diagnosing progressive supranuclear palsy using deep learning KR102639267B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210182217 2021-12-17
KR1020210182217 2021-12-17

Publications (2)

Publication Number Publication Date
KR20230092674A KR20230092674A (en) 2023-06-26
KR102639267B1 true KR102639267B1 (en) 2024-02-22

Family

ID=86947884

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220019104A KR102639267B1 (en) 2021-12-17 2022-02-14 Method and apparatus for diagnosing progressive supranuclear palsy using deep learning

Country Status (1)

Country Link
KR (1) KR102639267B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101771513B1 (en) * 2016-06-15 2017-08-28 서울대학교 산학협력단 Method to remove impact of amount of myelin and nurve bunle directivity in R2* in the magnetic resonance imaging
JP2020534972A (en) * 2018-09-10 2020-12-03 ヒューロン カンパニー,リミテッド Parkinson's disease diagnostic equipment and method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102125127B1 (en) 2018-03-05 2020-06-19 고려대학교 산학협력단 Method of brain disorder diagnosis via deep learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101771513B1 (en) * 2016-06-15 2017-08-28 서울대학교 산학협력단 Method to remove impact of amount of myelin and nurve bunle directivity in R2* in the magnetic resonance imaging
JP2020534972A (en) * 2018-09-10 2020-12-03 ヒューロン カンパニー,リミテッド Parkinson's disease diagnostic equipment and method

Also Published As

Publication number Publication date
KR20230092674A (en) 2023-06-26

Similar Documents

Publication Publication Date Title
KR102058884B1 (en) Method of analyzing iris image for diagnosing dementia in artificial intelligence
CN111728609B (en) Electroencephalogram signal classification method, classification model training method, device and medium
Tian et al. Multi-path convolutional neural network in fundus segmentation of blood vessels
JP2019525786A (en) System and method for automatically detecting, locating, and semantic segmentation of anatomical objects
Suganthe et al. Diagnosis of Alzheimer's disease from brain magnetic resonance imaging images using deep learning algorithms
JP2022511965A (en) Organ volume measurement method using artificial neural network and its device
Sharma et al. Machine learning approach for detection of diabetic retinopathy with improved pre-processing
CN110674773A (en) Dementia recognition system, device and storage medium
CN113782184A (en) Cerebral apoplexy auxiliary evaluation system based on facial key point and feature pre-learning
CN113096137A (en) Adaptive segmentation method and system for OCT (optical coherence tomography) retinal image field
CN117764957A (en) Glaucoma image feature extraction training system based on artificial neural network
KR102639267B1 (en) Method and apparatus for diagnosing progressive supranuclear palsy using deep learning
CN114926396B (en) Mental disorder magnetic resonance image preliminary screening model construction method
KR20230106205A (en) Apparatus and methods for classifying neurodegenerative diseases image of amyloid-positive based on deep-learning
Boone et al. Image processing and hierarchical temporal memories for automated retina analysis
JP2020010804A (en) Medical image diagnosis support apparatus, program, and medical image diagnosis support method
CN111951228B (en) Epileptogenic focus positioning system integrating gradient activation mapping and deep learning model
Sengar et al. An efficient artificial intelligence-based approach for diagnosis of media haze disease
CN114400086A (en) Articular disc forward movement auxiliary diagnosis system and method based on deep learning
Meshram et al. MCBM: Implementation Of Multiclass And Transfer Learning Algorithm Based On Deep Learning Model For Early Detection Of Diabetic Retinopathy
Taş et al. Detection of retinal diseases from ophthalmological images based on convolutional neural network architecture.
Raja et al. Classification of spine image from MRI image using convolutional neural network
CN114092427B (en) Crohn&#39;s disease and intestinal tuberculosis classification method based on multi-sequence MRI image
US20240020830A1 (en) System and methods of predicting parkinson&#39;s disease based on retinal images using machine learning
EA044334B1 (en) METHOD FOR DIAGNOSIS OF ALZHEIMER&#39;S DISEASE

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right