KR102241312B1 - Apparatus and method for displaying consecutive nodule images automatically based on machine learning - Google Patents
Apparatus and method for displaying consecutive nodule images automatically based on machine learning Download PDFInfo
- Publication number
- KR102241312B1 KR102241312B1 KR1020190020067A KR20190020067A KR102241312B1 KR 102241312 B1 KR102241312 B1 KR 102241312B1 KR 1020190020067 A KR1020190020067 A KR 1020190020067A KR 20190020067 A KR20190020067 A KR 20190020067A KR 102241312 B1 KR102241312 B1 KR 102241312B1
- Authority
- KR
- South Korea
- Prior art keywords
- nodule
- slice
- region
- nodule region
- image
- Prior art date
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 26
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000002685 pulmonary effect Effects 0.000 description 3
- 208000019693 Lung disease Diseases 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pulmonology (AREA)
- Physiology (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명은 결절 이미지를 표시하는 장치 및 방법에 관한 것으로서, 상세하게는 의료영상에서 결절 위치가 지정되면 머신러닝 모델을 이용해 연속하는 의료영상마다 결절 부분을 자동으로 표시하는 머신 러닝 기반 결절 이미지 자동 연속 표시 장치 및 방법에 관한 것이다. 이를 위해, 본 발명에 따른 머신 러닝 기반 결절 이미지 자동 연속 표시 장치는 결절 영역의 위치에 해당하는 좌표값, 2D 슬라이스 번호 및 영상 파일을 입력받아 결절 영역을 3차원 영상으로 복원하는 3D 복원부와, 상기 3D 복원부에서 생성된 3D 결절 영역을 2D 슬라이스에 매핑(mapping)하는 매핑부와, 각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 최종적인 결절 영역을 2D 슬라이스마다 표시하는 분할부를 포함한다. The present invention relates to an apparatus and method for displaying a nodule image, and in detail, when a nodule position is specified in a medical image, a machine learning-based nodule image is automatically continuous using a machine learning model to automatically display a nodule part for each successive medical image. It relates to a display device and method. To this end, the apparatus for automatically continuous display of a nodule image based on machine learning according to the present invention includes a 3D reconstruction unit which receives a coordinate value corresponding to a location of a nodule region, a 2D slice number, and an image file to restore the nodule region to a 3D image, A mapping unit that maps the 3D nodule region generated by the 3D reconstruction unit to a 2D slice, and a segmentation unit that displays the final nodule region for each 2D slice by applying a convolutional neural network to the nodule region mapped to each 2D slice. Includes.
Description
본 발명은 결절 이미지를 표시하는 장치 및 방법에 관한 것으로서, 상세하게는 의료영상에서 결절 위치가 지정되면 머신러닝 모델을 이용해 연속하는 의료영상마다 결절 부분을 자동으로 표시하는 머신 러닝 기반 결절 이미지 자동 연속 표시 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for displaying a nodule image, and in detail, when a nodule position is specified in a medical image, a machine learning-based nodule image is automatically continuous using a machine learning model to automatically display a nodule part for each successive medical image. It relates to a display device and method.
최근 기계학습 또는 머신러닝(machine learning)이라는 기술이 소프트웨어 기술로부터 금융, 경제에 이르기까지 다양한 분야에 응용되고 있으며 특히 컴퓨터 비전 및 영상처리 분야의 비약적인 발전을 선도하는 핵심 기술로 자리 잡고 있다.Recently, a technology called machine learning or machine learning has been applied to various fields ranging from software technology to finance and economy, and is positioned as a key technology leading the rapid development of computer vision and image processing in particular.
이러한 기계학습 기술은 인공지능(AI)의 한 분야로 주어진 데이터로부터 패턴이나 특성을 학습하여 새로운 데이터에 대해 분석을 수행해낼 수 있도록 하는 알고리즘 및 관련 분야를 의미한다. 특히, 딥러닝(deep learning)이라는 기계학습 기법이 핵심 기술로 대두되면서 관련 기술 및 응용 분야에 대한 관심이 점차 높아지고 있다.This machine learning technology is a field of artificial intelligence (AI), which refers to algorithms and related fields that enable new data to be analyzed by learning patterns or characteristics from given data. In particular, as a machine learning technique called deep learning emerges as a core technology, interest in related technologies and applications is gradually increasing.
딥러닝 기법이란 생물의 신경계를 모방한 인공신경망(artificial neural network)의 모델로서, 기존의 인공신경망 모델이 얇은 층의 뉴런 모델들의 연결로 구성되어 있다면, 딥러닝 기법은 뉴런 모델의 층을 깊게 쌓아 올림으로써 신경망의 학습 능력을 높이는 모델을 적용하는 기술이다.The deep learning technique is a model of an artificial neural network that mimics the nervous system of an organism. If the existing artificial neural network model consists of a connection of thin layers of neuron models, the deep learning technique stacks the layers of the neuron model deeply. It is a technology that applies a model that increases the learning ability of a neural network by raising it.
여러 층으로 이루어진 인공신경망으로서의 딥러닝의 개념은 1970년대에 제안되었으나, 학습 계산의 복잡성 등으로 인해 정체되어 있다가 최근 여러 가지 연구를 통해 그 성능이 개선되고 관련 연구들이 음성인식 및 영상인식 등의 분야에서 뛰어난 결과를 보이면서 그 수요가 빠르게 증가하고 있다. The concept of deep learning as a multi-layered artificial neural network was proposed in the 1970s, but it has been stagnant due to the complexity of learning calculations, and the performance has been improved through recent studies. With outstanding results in the field, the demand is growing rapidly.
근래에 들어 인체기관이나 암 부위 등의 추출 및 분할(segmentation), 영상 정합(registration), 영상 검색 등 전반적인 의료진단 및 의료영상 분석 분야에서도 기계학습 기술이 널리 활용되고 있다.In recent years, machine learning technology is widely used in the field of overall medical diagnosis and medical image analysis, such as extraction and segmentation of human organs or cancer parts, image registration, and image search.
의료영상은 많은 질병을 진단하는데 유용한 수단이며 비침습적 진단을 제공하므로 다른 도구보다 큰 이점이 있다. 그런데 의료용 이미징 장치는 많은 양의 데이터를 생성하며 이러한 의료영상을 분석하는데 많은 시간을 필요로 한다. 이에 따라 기계학습 기반의 의료영상 진단에 대한 많은 연구개발이 수행되고 있다. Medical imaging is a useful tool for diagnosing many diseases and has a great advantage over other tools because it provides a non-invasive diagnosis. However, medical imaging devices generate a large amount of data and require a lot of time to analyze such medical images. Accordingly, a lot of research and development on medical image diagnosis based on machine learning is being conducted.
한편, 의료영상 중에서 CT 영상의 경우, 다수의 슬라이스 영상이 존재하는데, 진단자가 다수의 슬라이스 영상을 보면서 결절(nodule) 영역에 마크 표시를 할 수 있다. 일반적으로 진단자는 사용자 인터페이스를 사용하여 기준이 되는 슬라이스 영상에 화살표 또는 원이나 사각형 등의 도형을 마킹하는 방식으로 결절 위치를 표시한다. Meanwhile, in the case of a CT image among medical images, there are a plurality of slice images, and a diagnostician can mark a nodule area while viewing the plurality of slice images. In general, a diagnostician uses a user interface to mark a nodule position by marking an arrow or a shape such as a circle or a square on a slice image as a reference.
그런데 진단자가 기준 슬라이스 영상에만 마크 표시를 하고 다른 연속하는 슬라이스 영상에는 마크 표시를 하지 않는 것이 보통이다. 이것은 진단자가 결절 영역이 포함된 모든 슬라이스 영상에 마크 표시를 한다는 것이 번거롭고 사실상 정확한 결절 위치를 쉽게 알 수 없어서 마크 표시를 하는데 한계가 있다.However, it is common for the diagnoser to mark only the reference slice image and not mark other consecutive slice images. This is cumbersome to mark all slice images including the nodule region, and in fact, there is a limitation in marking the mark because the exact nodule position cannot be easily known.
따라서 결절 영역이 있는 슬라이스 영상에 결절 위치를 나타내는 마크가 표시된 마크스 영상을 연속적으로 자동 생성할 수 있는 모델에 대한 개발이 필요한 상황이다. Therefore, it is necessary to develop a model that can continuously and automatically generate a mark image in which a mark indicating a nodule position is displayed on a slice image with a nodule region.
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 CT 영상에서 결절 위치가 표시된 슬라이스 영상이 자동으로 연속 생성되도록 하는 것이다. The present invention has been devised to solve the above problems, and an object of the present invention is to automatically continuously generate slice images in which nodules are displayed in a CT image.
본 발명의 다른 목적은 사용자가 CT 영상에서 선택한 결절 영역이 픽셀 단위로 편집되어 정확하게 표시되도록 하는 것이다. Another object of the present invention is to accurately display a nodule region selected by a user in a CT image by editing it in pixel units.
또한, 본 발명의 다른 목적은 사용자가 CT 영상에서 선택한 결절 영역이 3차원 형태로 표시되도록 하는 것이다. In addition, another object of the present invention is to display a nodule region selected by a user in a CT image in a three-dimensional form.
이를 위하여, 본 발명에 따른 머신러닝 기반 결절 이미지 자동 연속 표시 장치는 특정 2D 슬라이스에서 결절 영역의 위치에 해당하는 좌표값, 특정 2D 슬라이스 번호 및 전체 영상 파일을 입력받아 결절 영역을 3차원 영상으로 복원하는 3D 복원부와, To this end, the machine learning-based automatic continuous display of nodule image according to the present invention receives a coordinate value corresponding to the position of a nodule region in a specific 2D slice, a specific 2D slice number, and an entire image file, and restores the nodule region to a 3D image. And a 3D restoration unit,
상기 3D 복원부에서 생성된 3D 결절 영역을 2D 슬라이스에 매핑(mapping)하는 매핑부와, A mapping unit for mapping the 3D nodule region generated by the 3D reconstruction unit to a 2D slice,
각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 최종적인 결절 영역을 2D 슬라이스마다 표시하는 분할부를 포함한다. It includes a segmentation unit that displays a final nodule region for each 2D slice by applying a convolutional neural network to the nodule region mapped to each 2D slice.
또한, 본 발명에 따른 머신러닝 기반 결절 이미지 자동 연속 표시 방법은 사용자 인터페이스를 통해 특정 2D 슬라이스에서 결절 영역의 위치가 선택되는 결절 위치 선택 단계와,In addition, the method for automatically continuous display of a nodule image based on machine learning according to the present invention includes the step of selecting a nodule position in which the position of the nodule region is selected in a specific 2D slice through a user interface,
상기 선택된 결절 영역을 3D 영상으로 복원하는 3D 복원 단계와, A 3D restoration step of restoring the selected nodule region into a 3D image,
상기 3D 결절 영역을 2D 슬라이스에 사상(mapping)하는 매핑 단계와, A mapping step of mapping the 3D nodule region to a 2D slice,
각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 최종적인 결절 영역을 2D 슬라이스마다 표시하는 연속 표시 단계를 포함한다. And a continuous display step of displaying a final nodule region for each 2D slice by applying a convolutional neural network to the nodule region mapped to each 2D slice.
또한, 본 발명에 따른 컴퓨터 판독 기록 매체는 결절 영역의 위치에 해당하는 좌표값, 2D 슬라이스 번호 및 영상 파일을 이용하여 결절 영역을 3차원 영상으로 복원하는 단계와,In addition, the computer-readable recording medium according to the present invention includes the steps of restoring a nodule region into a 3D image using a coordinate value corresponding to the position of the nodule region, a 2D slice number, and an image file,
상기 복원한 3D 결절 영역을 2D 슬라이스에 매핑(mapping)하는 단계와, Mapping the restored 3D nodule region to a 2D slice,
각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 결절 모양이 아닌 부분을 제외하면서 최종적인 결절 영역을 2D 슬라이스마다 연속적으로 표시하는 단계를 수행하기 위한 프로그램을 저장한다. A program for performing the step of continuously displaying the final nodule region for each 2D slice by applying a convolutional neural network to the nodule region mapped to each 2D slice is stored while excluding the non-nodular part.
상술한 바와 같이, 본 발명은 사용자가 폐 질환 진단 시에 특정 CT 슬라이스에서 의심되는 결절 영역을 선택하면 연속하는 다른 CT 슬라이스에서 결절 위치를 픽셀 단위로 자동 표시해 줌으로써 진단자가 폐암 등의 진단을 매우 편리하게 할 수 있게 된다. As described above, in the present invention, when a user selects a suspected nodule region in a specific CT slice when diagnosing lung disease, the nodule position is automatically displayed in pixels in another continuous CT slice, making it very convenient for the diagnoser to diagnose lung cancer, etc. You can do it.
또한, 본 발명은 특정 CT 슬라이스에서 진단자에 의해 선택된 결절에 대해 3차원 영상을 복원하여 진단자에게 2D 슬라이스의 연속 화면과 함께 3D 결절 영상을 표시함으로써 진단자가 폐암 등의 질병을 더욱 정확하게 진단할 수 있게 하는 효과가 있다. In addition, the present invention restores a 3D image of a nodule selected by the diagnoser in a specific CT slice and displays a 3D nodule image along with a continuous screen of 2D slices to the diagnoser so that the diagnoser can more accurately diagnose diseases such as lung cancer. It has the effect of making it possible.
도 1은 본 발명에 따른 머신러닝 기반 결절 이미지 자동 연속 표시 장치의 내부 구성도.
도 2는 본 발명에 따른 3D 결절 영상을 나타낸 도면.
도 3은 본 발명에 따른 결절 영역에 대응하는 CT 슬라이스를 나타낸 도면.
도 4는 본 발명에 따른 머신러닝 기반 결절 이미지 자동 연속 표시를 위한 처리 순서도.1 is an internal configuration diagram of a machine learning-based automatic continuous display of nodular images according to the present invention.
2 is a view showing a 3D nodule image according to the present invention.
3 is a diagram showing a CT slice corresponding to a nodule region according to the present invention.
4 is a flow chart of processing for automatic continuous display of nodule images based on machine learning according to the present invention.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configuration of the present invention and its effect will be clearly understood through the detailed description below.
도 1은 본 발명에 따른 머신러닝(machine learning) 기반 결절(nodule) 이미지 자동 연속 표시 장치(이하, 결절 표시 장치)의 내부 구성을 개략적으로 나타낸 것이다. 1 schematically shows the internal configuration of a machine learning-based automatic continuous display of nodule images (hereinafter, nodule display) according to the present invention.
도 1을 참조하면, 본 발명에 따른 결절 표시 장치는 3D 복원부(10), 매핑부(20), 분할부(30) 등을 주요 구성요소로 한다. 결절 표시 장치를 구성하는 3D 복원부(10), 매핑부(20), 분할부(30) 등은 소프트웨어 또는 하드웨어로 구현될 수 있다. Referring to FIG. 1, the nodule display device according to the present invention includes a
3D 복원부(10)는 검출된 결절을 3차원 영상으로 복원한다. 3D 복원부(10)에는 3D 복원 모델(3D reconstruction model)이 적용되어 있으며, 3D 복원 모델은 영상처리 기반 모델로 구성되며 영상처리 기반 모델에 머신러닝 기반으로 학습된 모델이 추가될 수 있다. 이에 따라, 3D 복원부(10)에는 영상처리 기반 3D 복원 모델 또는 머신러닝 기반으로 학습된 모델이 추가된 3D 복원 모델이 적용되어 있다. The
매핑부(20)는 3D 결절 영역을 2D 슬라이스(slice)에 사상(mapping)한다. 매핑부(20)는 3D 결절 영역에서 일정 간격으로 적층되어 있는 2D 슬라이스마다 3D 결절 영역의 단면 형상을 사상한다. The
분할부(30)는 각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 최종적인 결절 영역을 2D 슬라이스마다 연속적으로 표시한다. The
분할부(30)는 각 2D 슬라이스에 매핑된 결절 영역에 대해 2D 컨벌루션 신경망(2D CNN)을 적용하여 결절 모양이 아닌 부분을 결절 영역에서 제외하는 작업을 수행한다. 모든 2D 슬라이스에 대해 작업이 완료되면, 분할부(30)는 각 2D 슬라이스에 최종적인 결절 영역을 연속적으로 표시한다. 분할부(30)에 의해 출력된 최종적인 결절 영역을 실제 결절영역이라고 부르기로 한다.The
본 발명에 따른 결절 표시 장치는 머신러닝 기반으로 다양한 질병에 대한 병변(leison)의 위치를 표시할 수 있는데, 본 발명의 실시예에서는 결절 표시 장치가 폐 질환의 진단을 위한 폐 결절을 표시하는 것을 예로 들어 설명한다. The nodule display device according to the present invention can display the location of a lesion for various diseases based on machine learning. In an embodiment of the present invention, the nodule display device displays a pulmonary nodule for diagnosis of a lung disease. This will be explained with an example.
먼저, 3D 복원부(10)는 폐 CT 영상의 결절 위치에 해당하는 좌표값, 슬라이스 번호 및 폐 CT 영상 파일을 입력받아 결절 영역의 3차원 구조를 생성한다. First, the
3D 복원부(10)에 입력되는 결절 영역의 위치에 해당하는 좌표값은 사용자가 마우스 등의 사용자 인터페이스를 통해 화면 상의 CT 이미지에서 결절 위치를 선택하면 생성되는 값이다. The coordinate value corresponding to the position of the nodule region input to the
3D 복원부(10)에 적용된 3D 복원 모델이 결절 영역에 대한 3D 영상을 생성하는 과정은 다음과 같다. A process of generating a 3D image for a nodular region by the 3D reconstructing model applied to the
특정 CT 슬라이스에서 사용자에 의해 결절 위치가 선택되면, 결절 위치에 해당하는 좌표값(x, y)과 슬라이스 번호을 이용하여 CT 슬라이스의 좌표값(x,y)을 중심으로 폐 결절을 충분히 포함할 수 있는 크기의 정사각형 영역(예를 들어, 64mm*64mm)을 잘라낸다. 그리고 기준 CT 슬라이스에 연속된 이전/이후 CT 슬라이스 중에 정육면체(예를 들어, 64mm*64mm*64mm)에 포함되는 CT 슬라이스에서 같은 방식으로 정사각형 영역을 잘라낸다. 이렇게 잘라낸 각각의 2D 이미지를 결합하여 3D 복셀(voxel)을 구성함으로써, 3D 결절 영역을 생성하게 된다. When the nodule location is selected by the user in a specific CT slice, the pulmonary nodule can be sufficiently included based on the coordinate value (x,y) of the CT slice using the coordinate value (x, y) corresponding to the nodule location and the slice number. Cut out a square area (for example, 64mm*64mm) of a certain size. Then, a square area is cut out in the same way from a CT slice included in a cube (eg, 64mm*64mm*64mm) among CT slices before/after successive to the reference CT slice. By combining the 2D images cut out in this way to form a 3D voxel, a 3D nodule region is created.
이와 같이 생성된 3D 복셀 데이터는 매핑부(20)로 직접 입력되거나, 3D 복원부(10)에 머신러닝 기반으로 학습된 모델이 추가된 경우 3D 복셀 데이터는 3D CNN 기반의 모델에 입력된다. 3D CNN 기반의 모델은 3D 복셀 데이터를 분석하여 사용자가 선택한 결절 영역에 대한 실제 폐 결절 여부를 1차적으로 확인한다. The 3D voxel data generated as described above is directly input to the
도 2는 본 발명에 따른 3D 결절 영역을 나타낸 것이다. 2 shows a 3D nodular region according to the present invention.
도 2를 참조하면, (a)는 결절이 포함된 2D 슬라이스 영상을 나타내고, (b)와 (c)는 2D 슬라이스 영상에 포함된 결절을 3D 영상으로 복원한 것이다. Referring to FIG. 2, (a) shows a 2D slice image including a nodule, and (b) and (c) shows a nodule included in the 2D slice image as a 3D image.
(b)와 (c)에 도시된 3D 결절 영상은 진단 시스템의 디스플레이를 통해 표시되며, 사용자는 3D 결절 영상과 함께 3D 결절 영역에 대응하는 연속적인 슬라이스 영상을 볼 수 있다. The 3D nodular images shown in (b) and (c) are displayed through the display of the diagnostic system, and the user can view the 3D nodular image and a continuous slice image corresponding to the 3D nodular region.
도 3은 본 발명에 따른 결절 영역을 포함하는 CT 슬라이스를 나타낸 것이다. 3 shows a CT slice including a nodule region according to the present invention.
도 3을 참조하면, (a)는 결절 영역에 대응하는 3D 복셀 데이터(1)를 나타내고, (b)는 결절 위치를 기준으로 상하 5mm 간격으로 CT 슬라이스가 적층되어 있는 것을 나타낸다. Referring to FIG. 3, (a) shows
CT 슬라이스에는 결절 영역이 매핑되어 있으며, 각 CT 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 실제 결절 영역이 아닌 부분은 제외되고 실제 결절 영역만이 2D 슬라이스마다 연속 표시된다. The nodule region is mapped to the CT slice, and a convolutional neural network is applied to the nodule region mapped to each CT slice, so that the part that is not the actual nodule region is excluded, and only the actual nodule region is continuously displayed for each 2D slice.
도 4는 본 발명에 따른 머신러닝 기반 결절 이미지 자동 연속 표시를 위한 처리 과정을 나타낸 것이다. 4 shows a processing procedure for automatic continuous display of a nodule image based on machine learning according to the present invention.
도 4를 참조하면, 먼저 진단자는 CT 슬라이스를 보면서 마우스 등의 사용자인터페이스를 사용해 특정 CT 슬라이스에서 결절로 의심되는 영역을 선택한다(S10).Referring to FIG. 4, first, the diagnoser selects a region suspected to be a nodule in a specific CT slice using a user interface such as a mouse while looking at the CT slice (S10).
특정 CT 슬라이스에서 결절 영역의 위치를 선택하면, 특정 슬라이스 번호, 특정 슬라이스에서 결절 영역의 위치에 대응하는 좌표값(x, y) 및 전체 슬라이스 영상 파일을 이용해 진단자가 선택한 결절 영역에 대한 3D 이미지를 생성한다(S20).When selecting the location of the nodule region in a specific CT slice, a 3D image of the nodule region selected by the diagnoser is displayed using a specific slice number, coordinate values (x, y) corresponding to the location of the nodule region in a specific slice, and the entire slice image file. Generate (S20).
3D 결절 이미지는 특정 슬라이스의 좌표값을 기준으로 일정한 크기의 정사각형 영역을 잘라내고, 특정 슬라이스에 연속하는 전후 슬라이스에서도 일정한 크기의 정사각형 영역을 잘라낸 후 각각의 잘라낸 정사각형 이미지를 결합하여 결절 영역에 대한 3D 영상을 복원한다. The 3D nodule image cuts out a square area of a certain size based on the coordinate value of a specific slice, cuts out a square area of a certain size even in the front and rear slices consecutive to the specific slice, and combines the cut-out square images to 3D the nodular area. Restore the image.
이렇게 3D 영상이 복원되면, 3D 결절 영역에서 일정 간격으로 적층되어 있는 2D 슬라이스마다 3D 결절 영역의 단면 형상을 매핑한다(S30).When the 3D image is reconstructed in this way, the cross-sectional shape of the 3D nodule region is mapped for each 2D slice stacked at regular intervals in the 3D nodule region (S30).
결절 영역의 3차원 구조가 2D 슬라이스마다 매핑되면, 각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 최종적인 결절 영역을 2D 슬라이스마다 연속적으로 표시한다(S40).When the 3D structure of the nodule region is mapped for each 2D slice, a convolutional neural network is applied to the nodule region mapped to each 2D slice, and the final nodule region is continuously displayed for each 2D slice (S40).
즉, 각 2D 슬라이스에 매핑된 결절 영역에 대해 2D 컨벌루션 신경망(2D CNN)을 적용하여 결절 모양이 아닌 부분을 결절 영역에서 제외하면서 각 2D 슬라이스에 최종적인 결절 영역을 연속적으로 표시한다.That is, a 2D convolutional neural network (2D CNN) is applied to the nodule region mapped to each 2D slice, and the final nodule region is continuously displayed on each 2D slice while excluding non-nodular parts from the nodular region.
구체적으로, 2D 슬라이스에 매핑된 결절 영역마다 다른 2D CNN 모델을 사용하여 특징 맵을 추출하고, 각각의 2D CNN 모델을 통해 출력된 특징 맵을 결합(concatenation)한 후, 결합된 특징 맵을 또 다른 2D CNN 모델을 통해 분석하는 과정을 통해 진단자에 의해 선택된 결절 영역이 실제 결절 영역인지를 판단하게 된다. Specifically, a feature map is extracted using a different 2D CNN model for each nodule region mapped to a 2D slice, and feature maps output through each 2D CNN model are concatenated, and then the combined feature map is converted to another. Through the process of analyzing through the 2D CNN model, it is determined whether the nodule region selected by the diagnoser is the actual nodule region.
또한, 각 2D 슬라이스에 매핑된 결절 영역을 결합하여 3D 복셀 데이터로 재구성한 후 3D 컨벌루션 신경망(3D CNN)을 적용하여 최종적인 결절 영역을 확정하고, 최종적인 결절 영역에 대해서 각 2D 슬라이스에 연속적으로 표시할 수 있다. In addition, the nodule region mapped to each 2D slice is combined and reconstructed into 3D voxel data, and then the final nodule region is determined by applying a 3D convolutional neural network (3D CNN). Can be displayed.
구체적으로, 3D 복셀 데이터가 3D 컨벌루션층(convolution layer), 활성함수(ReLU) 및 풀링층(pooling layer)를 통과하면서 특징맵으로 변환되고, 이 변환된 특징맵이 완전 연결(fully connected)되어 신경망(neural network)을 거쳐 활성함수를 통해 실제 결절 영역인지 여부가 판단된다. Specifically, 3D voxel data is converted into a feature map while passing through a 3D convolution layer, an activation function (ReLU), and a pooling layer, and the converted feature map is fully connected to the neural network. It is determined whether it is a real nodule region through an activation function through a (neural network).
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 변형의 한 예로서 분할부에 적용되는 컨벌루션 신경망을 2D 컨벌루션 및 3D 컨벌루션의 결합 등으로 확장할 수 있다. The above description is merely illustrative of the present invention, and various modifications may be made without departing from the spirit of the present invention by those of ordinary skill in the technical field to which the present invention belongs. As an example of transformation, a convolutional neural network applied to a segmentation unit can be extended by combining 2D convolution and 3D convolution.
따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다. Therefore, the embodiments disclosed in the specification of the present invention do not limit the present invention. The scope of the present invention should be interpreted by the following claims, and all technologies within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.
10: 3D 복원부 20: 매핑부
30: 분할부10: 3D restoration unit 20: mapping unit
30: division
Claims (9)
상기 3D 복원부에서 생성된 3D 결절 영역을 2D 슬라이스에 매핑(mapping)하는 매핑부와,
각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 최종적인 결절 영역을 2D 슬라이스마다 표시하는 분할부를 포함하는 머신러닝 기반 결절 표시 장치.A 3D restoration unit for restoring the nodule region into a 3D image by receiving a coordinate value corresponding to the position of the nodule region in a specific 2D slice, a specific 2D slice number, and an entire image file;
A mapping unit for mapping the 3D nodule region generated by the 3D reconstruction unit to a 2D slice,
A machine learning-based nodule display device including a segmentation unit that displays a final nodule region for each 2D slice by applying a convolutional neural network to the nodule region mapped to each 2D slice.
상기 결절 영역의 위치에 해당하는 좌표값은 사용자에 의해 특정 2D 슬라이스에서 결절 영역이 선택되면 생성되어 상기 3D 복원부로 입력되는 것을 특징으로 하는 머신러닝 기반 결절 표시 장치.The method of claim 1,
The machine learning-based nodule display device, wherein the coordinate value corresponding to the location of the nodule region is generated when a nodule region is selected from a specific 2D slice by a user and is input to the 3D restoration unit.
상기 3D 복원부는 상기 특정 2D 슬라이스 및 상기 특정 2D 슬라이스에 연속된 전후 2D 슬라이스에서 상기 좌표값을 중심으로 일정 크기의 정사각형 영역을 잘라내어, 각각 잘라낸 2D 이미지를 결합하여 3D 복셀(voxel) 데이터로 구성하는 것을 특징으로 하는 머신러닝 기반 결절 표시 장치. The method of claim 1,
The 3D restoration unit cuts a square area of a predetermined size around the coordinate value from the specific 2D slice and the 2D slices before and after consecutive to the specific 2D slice, and combines the cut 2D images to form 3D voxel data. Machine learning-based nodule display device, characterized in that.
상기 분할부는 2D 슬라이스 각각에 대해 2D 컨벌루션 신경망 또는 3D 컨벌루션 신경망을 적용하여 결절 모양이 아닌 부분을 제외하면서 실제 결절영역을 표시하는 것을 특징으로 하는 머신러닝 기반 결절 표시 장치.The method of claim 1,
The segmentation unit applies a 2D convolutional neural network or a 3D convolutional neural network to each 2D slice to display an actual nodule region while excluding a non-nodular part.
사용자 인터페이스를 통해 특정 2D 슬라이스에서 결절 영역의 위치가 선택되는 결절 위치 선택 단계와,
상기 선택된 결절 영역을 3D 영상으로 복원하는 3D 복원 단계와,
상기 3D 결절 영역을 2D 슬라이스에 사상(mapping)하는 매핑 단계와,
각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 최종적인 결절 영역을 2D 슬라이스마다 표시하는 연속 표시 단계를 포함하는 머신러닝 기반 결절 표시 방법.In the machine learning-based nodule display method in which each step is performed in a computer-implemented machine learning-based nodule display device,
A nodule location selection step in which the location of the nodule region in a specific 2D slice is selected through the user interface,
A 3D restoration step of restoring the selected nodule region into a 3D image,
A mapping step of mapping the 3D nodule region to a 2D slice,
Machine learning-based nodule display method comprising a continuous display step of displaying a final nodule region for each 2D slice by applying a convolutional neural network to the nodule region mapped to each 2D slice.
상기 3D 복원 단계는 상기 선택된 결절 영역의 위치에 해당하는 좌표값, 특정 2D 슬라이스 번호 및 전체 영상 파일에 근거하여 상기 선택된 결절 영역에 대한 3D 영상을 생성하는 것을 특징으로 하는 머신러닝 기반 결절 표시 방법.The method of claim 5,
The 3D reconstruction step comprises generating a 3D image for the selected nodule region based on a coordinate value corresponding to the position of the selected nodule region, a specific 2D slice number, and an entire image file.
상기 3D 복원 단계는 상기 특정 2D 슬라이스 및 상기 특정 2D 슬라이스에 연속된 전후 2D 슬라이스에서 상기 좌표값을 중심으로 일정 크기의 정사각형 영역을 잘라내어, 각각 잘라낸 2D 이미지를 결합하여 3D 복셀(voxel) 데이터로 구성하는 것을 특징으로 하는 머신러닝 기반 결절 표시 방법.The method of claim 6,
In the 3D restoration step, a square area of a certain size is cut around the coordinate value from the specific 2D slice and the 2D slices before and after consecutive to the specific 2D slice, and the cut 2D images are combined to form 3D voxel data. Machine learning-based nodule display method, characterized in that.
상기 연속 표시 단계는 2D 슬라이스 각각에 대해 2D 컨벌루션 신경망 또는 3D 컨벌루션 신경망을 적용하여 결절 모양이 아닌 부분을 제외하면서 실제 결절영역을 표시하는 것을 특징으로 하는 머신러닝 기반 결절 표시 방법. The method of claim 5,
In the continuous display step, a 2D convolutional neural network or a 3D convolutional neural network is applied to each 2D slice to display an actual nodule region while excluding a non-nodular part.
상기 복원한 3D 결절 영역을 2D 슬라이스에 매핑(mapping)하는 단계와,
각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 결절 모양이 아닌 부분을 제외하면서 최종적인 결절 영역을 2D 슬라이스마다 연속적으로 표시하는 단계를 수행하기 위한 프로그램이 저장된 컴퓨터 판독 기록 매체.Restoring the nodule region into a 3D image using a coordinate value corresponding to the location of the nodule region, a 2D slice number, and an image file; and
Mapping the restored 3D nodular region to a 2D slice,
A computer-readable recording medium storing a program for performing the step of continuously displaying a final nodule region for each 2D slice by applying a convolutional neural network to the nodular region mapped to each 2D slice, excluding a non-nodular part.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190020067A KR102241312B1 (en) | 2019-02-20 | 2019-02-20 | Apparatus and method for displaying consecutive nodule images automatically based on machine learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190020067A KR102241312B1 (en) | 2019-02-20 | 2019-02-20 | Apparatus and method for displaying consecutive nodule images automatically based on machine learning |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200101772A KR20200101772A (en) | 2020-08-28 |
| KR102241312B1 true KR102241312B1 (en) | 2021-04-16 |
Family
ID=72292019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190020067A KR102241312B1 (en) | 2019-02-20 | 2019-02-20 | Apparatus and method for displaying consecutive nodule images automatically based on machine learning |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102241312B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023090681A1 (en) * | 2021-11-16 | 2023-05-25 | 연세대학교 원주산학협력단 | Apparatus and method for diagnosing gastric diseases on basis of artificial intelligence discernment model and three-dimensional modeling |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469972B (en) * | 2021-06-30 | 2024-04-23 | 沈阳东软智能医疗科技研究院有限公司 | Method and device for labeling medical slice image, storage medium and electronic equipment |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110255761A1 (en) | 2007-06-26 | 2011-10-20 | University Of Rochester | Method and system for detecting lung tumors and nodules |
| US20180365829A1 (en) | 2017-06-20 | 2018-12-20 | Case Western Reserve University | Intra-perinodular textural transition (ipris): a three dimenisonal (3d) descriptor for nodule diagnosis on lung computed tomography (ct) images |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101587719B1 (en) * | 2014-06-10 | 2016-01-22 | 원광대학교산학협력단 | Apparatus for analysing medical image and method for classifying pulmonary vessel and pulmonary nodule |
| KR101980955B1 (en) * | 2016-08-22 | 2019-05-21 | 한국과학기술원 | Method and system for analyzing feature representation of lesions with depth directional long-term recurrent learning in 3d medical images |
| KR101857624B1 (en) | 2017-08-21 | 2018-05-14 | 동국대학교 산학협력단 | Medical diagnosis method applied clinical information and apparatus using the same |
-
2019
- 2019-02-20 KR KR1020190020067A patent/KR102241312B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110255761A1 (en) | 2007-06-26 | 2011-10-20 | University Of Rochester | Method and system for detecting lung tumors and nodules |
| US20180365829A1 (en) | 2017-06-20 | 2018-12-20 | Case Western Reserve University | Intra-perinodular textural transition (ipris): a three dimenisonal (3d) descriptor for nodule diagnosis on lung computed tomography (ct) images |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023090681A1 (en) * | 2021-11-16 | 2023-05-25 | 연세대학교 원주산학협력단 | Apparatus and method for diagnosing gastric diseases on basis of artificial intelligence discernment model and three-dimensional modeling |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200101772A (en) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10713856B2 (en) | Medical imaging system based on HMDS | |
| DE102015221998B4 (en) | A method of assisting a finder in locating a target structure in a breast, apparatus and computer program | |
| JP6530371B2 (en) | Interactive follow-up visualization | |
| US8970581B2 (en) | System and method for interactive contouring for 3D medical images | |
| CN112885453A (en) | Method and system for identifying pathological changes in subsequent medical images | |
| CN107067398A (en) | Complementing method and device for lacking blood vessel in 3 D medical model | |
| EP3910592A1 (en) | Image matching method, apparatus and device, and storage medium | |
| JP6824845B2 (en) | Image processing systems, equipment, methods and programs | |
| JP2019212296A (en) | Medical information processing device, method and program | |
| CN112529834A (en) | Spatial distribution of pathological image patterns in 3D image data | |
| JP2023139022A (en) | Medical image processing method, medical image processing device, medical image processing system, and medical image processing program | |
| TW201725554A (en) | Single chamber mapization system and method for cardiac medical image reconstructing a sequential sectional image of this chamber and performing mapization expansion | |
| KR20200082660A (en) | Pathological diagnosis method and apparatus based on machine learning | |
| KR102241312B1 (en) | Apparatus and method for displaying consecutive nodule images automatically based on machine learning | |
| DE112012002671T5 (en) | View a variety of registered images | |
| JP3692050B2 (en) | Image processing apparatus and method | |
| CN110993067A (en) | Medical image labeling system | |
| JP3989896B2 (en) | Medical image processing apparatus, region of interest extraction method, and program | |
| CN111899850A (en) | Medical image information processing method, display method and readable storage medium | |
| WO2021030995A1 (en) | Inferior vena cava image analysis method and product based on vrds ai | |
| WO2021081771A1 (en) | Vrds ai medical image-based analysis method for heart coronary artery, and related devices | |
| WO2020173054A1 (en) | Vrds 4d medical image processing method and product | |
| JP2015036084A (en) | Image processing system | |
| CN105844687A (en) | Device and method used for processing medical images | |
| US20170316619A1 (en) | Three-dimensional data processing system, method, and program, three-dimensional model, and three-dimensional model shaping device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |