KR20200110111A - Method and devices for diagnosing dynamic multidimensional disease based on deep learning in medical image information - Google Patents

Method and devices for diagnosing dynamic multidimensional disease based on deep learning in medical image information Download PDF

Info

Publication number
KR20200110111A
KR20200110111A KR1020190080524A KR20190080524A KR20200110111A KR 20200110111 A KR20200110111 A KR 20200110111A KR 1020190080524 A KR1020190080524 A KR 1020190080524A KR 20190080524 A KR20190080524 A KR 20190080524A KR 20200110111 A KR20200110111 A KR 20200110111A
Authority
KR
South Korea
Prior art keywords
image
disease diagnosis
lesion
deep learning
dynamic
Prior art date
Application number
KR1020190080524A
Other languages
Korean (ko)
Other versions
KR102259275B1 (en
Inventor
성의숙
이진춘
이일우
강종석
Original Assignee
부산대학교 산학협력단
한국과학기술정보연구원
부산대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단, 한국과학기술정보연구원, 부산대학교병원 filed Critical 부산대학교 산학협력단
Publication of KR20200110111A publication Critical patent/KR20200110111A/en
Application granted granted Critical
Publication of KR102259275B1 publication Critical patent/KR102259275B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

Disclosed are a dynamic multidimensional disease diagnosis device and method based on medical image information deep learning. According to an embodiment of the present invention, the dynamic multidimensional disease diagnosis method based on medical image information deep learning can comprise the following steps of: extracting an automated image including a lesion from an endoscopy image; generating a plurality of training data for the automated image through pre-processing; creating n convolutional layers (n is a natural number of 2 or more) by filtering the plurality of training data; selectively using the n convolutional layers and integrating the same into m fully connected layers (m is a natural number of 2 or more); and configuring a sequential combination of the n convolutional layers and the m fully connected layers to output an optimal structure layer including classification information for the lesion in the automated image.

Description

의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법 및 동적 다차원 질병진단 장치{METHOD AND DEVICES FOR DIAGNOSING DYNAMIC MULTIDIMENSIONAL DISEASE BASED ON DEEP LEARNING IN MEDICAL IMAGE INFORMATION}A dynamic multi-dimensional disease diagnosis method and dynamic multi-dimensional disease diagnosis based on deep learning of medical image information {METHOD AND DEVICES FOR DIAGNOSING DYNAMIC MULTIDIMENSIONAL DISEASE BASED ON DEEP LEARNING IN MEDICAL IMAGE INFORMATION}

본 발명은 내시경 검사를 통해, 촬영된 식도 이미지를 자동으로 추출하고, 딥러닝 기법을 통해 병변 여부를 확인 함으로써, 환자의 후두암을 빠르고 용이하게 진단해 낼 수 있게 지원하는, 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법 및 동적 다차원 질병진단 장치에 관한 것이다.The present invention is based on medical image information deep learning that supports to quickly and easily diagnose a patient's laryngeal cancer by automatically extracting a photographed esophageal image through an endoscopy and checking the presence of a lesion through a deep learning technique. The present invention relates to a dynamic multidimensional disease diagnosis method and a dynamic multidimensional disease diagnosis apparatus.

암은 일반적으로 증상이 있을 때 병원에 와서 내시경, 컴퓨터단층촬영(Comupted Tomography : CT), 자기 공영 영상 장치(Magnetic Resonance Imaging : MRI), 초음파(UltraSonography : US) 등으로 확인할 수 있다. 암이 의심 되면, 병원의 의사는 전신 마취 혹은 부분 마취 하에 조직검사를 시행하여 확진하는 과정을 수행하게 된다. 이러한 암의 확진 과정은, 진료를 보는 의사의 숙련도에 따라 영상검사를 통해 악성종양인지 여부를 판독하는 정확도가 달라질 수 있다.Cancer can generally be checked at the hospital when symptoms are present, such as endoscopy, Computed Tomography (CT), Magnetic Resonance Imaging (MRI), and UltraSonography (US). When cancer is suspected, a doctor in the hospital performs a biopsy under general anesthesia or partial anesthesia to confirm the diagnosis. In the process of confirming such a cancer, the accuracy of reading whether it is a malignant tumor through an imaging test may vary according to the skill level of the doctor who sees the treatment.

또한, 환자는 증상이 있을 때 내원하게 되므로, 내원 시, 종양이 이미 많이 진행된 경우가 종종 발생한다.In addition, since the patient is visited when symptoms are present, tumors often develop a lot when visiting the hospital.

근래에는 의료영상정보를 통해, 환자에게 암이 발병했는지의 여부를 간단하게 진단할 수 있는 방안도 제시되고 있다.Recently, a method for simply diagnosing whether a patient has cancer has been proposed through medical image information.

의료영상정보는 측정규격을 기준으로, 구조화 정보(측정된 최종 정보형식이 표준화된 것)와 비구조화 정보(측정된 최종 정보형식이 표준화되지 못한 것)로 구분될 수 있으며, 또한 의료장치에서 산출되는 영상의 수리학적 구성 구조(numerical image array shape)를 기준으로, 1차원 정보(예, 리스트, 혈액검사 등), 2차원 정보(예, 이미지 등), 3차원 정보(예CT, MR 등)로 구분될 수 있다.Medical image information can be divided into structured information (measured final information format is standardized) and unstructured information (measured final information format is not standardized), and calculated by medical devices. Based on the numerical image array shape, one-dimensional information (eg, list, blood test, etc.), two-dimensional information (eg, image, etc.), three-dimensional information (eg CT, MR, etc.) It can be classified as

최근 기계학습 기반의 인공지능 기술이 급격히 개발 확산 됨에 따라 의료진단정보를 기반으로 한 지능화된 질병질환 진단예측 기술의 확보에 관한 다양한 시도들이 이루어지고 있다. 이러한 진단예측 기술로는, 안저현미경기반 당뇨안저판독, 흉부 방사선촬영을 통한 결핵진단, 유방촬영술(Mammography)을 통한 유방암진단, 수부방사선 촬영을 통한 골연령진단 등을 예시할 수 있다.Recently, as machine learning-based artificial intelligence technology has been rapidly developed and spread, various attempts have been made to secure intelligent disease disease diagnosis prediction technology based on medical diagnosis information. Examples of such diagnostic prediction techniques include diabetic fundus reading based on a fundus microscope, tuberculosis diagnosis through chest radiography, breast cancer diagnosis through mammography, bone age diagnosis through hand radiography, and the like.

상기 기계학습기반 인공지능 기술과의 접목은 학습데이터의 형식이 요지 리스트 형태의 1차원 정보와 2차원 영상정보에 한정되어 있고, 무엇보다 구조화 정보를 대상으로 한 기술적 공통점이 있고, 정적인 의료진단 기능에 그 적용성이 제한될 수 있다. 이는 진단대상의 변병부위가 노출된 부위촬영 또는 촬영 장치물의 신체의 일부 고정식 측정을 실시하기 때문일 수 있다.The grafting of the machine learning-based artificial intelligence technology is limited to one-dimensional information and two-dimensional image information in the form of a summary list in the format of the learning data, and above all, there are technical commonalities for structured information, and static medical diagnosis. Its applicability to functions may be limited. This may be due to the fact that a portion of the body of the imaging device or a part of the body of the photographing apparatus is performed by photographing the area where the lesion area of the diagnosis target is exposed.

따라서, 의료영상진단 정보를 형식에 관계없이 측정할 수 있게 하여, 판독/진단의 기술적 용이성을 제공하고, 고도의 정밀의료 영상의 이용을 넓히는 하는 새로운 기술이 절실히 요구되고 있다.Accordingly, there is an urgent need for a new technology that enables medical imaging diagnosis information to be measured regardless of format, provides technical ease of reading/diagnosis, and broadens the use of highly precise medical images.

본 발명의 실시예는, 구조화 의료영상정보 뿐만 아니라, 내시경 촬영물에 관한 비구조화 의료영상정보를 대상으로 딥러닝 기반의 정적 및 동적으로 실시간 진단예측을 가능하게 하는, 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법 및 동적 다차원 질병진단 장치를 제공하는 것을 목적으로 한다.An embodiment of the present invention is to enable real-time diagnosis prediction based on deep learning, statically and dynamically, targeting not only structured medical image information, but also unstructured medical image information related to endoscopic photographs. The object of the present invention is to provide a multidimensional disease diagnosis method and a dynamic multidimensional disease diagnosis apparatus.

또한, 본 발명의 실시예는, 인체 삽입용 카메라의 픽셀 프레임 내부에 해당 변병부위가 최적 위치가 될 때, 활성화될 수 있는 서브 픽셀 프레임을 구성하여 실시간 구현 및 진단예측의 정교성을 재고할 수 있게 하는 것을 목적으로 한다.In addition, the embodiment of the present invention is capable of reconsidering the sophistication of real-time implementation and diagnosis prediction by configuring a sub-pixel frame that can be activated when a corresponding lesion is at an optimal position inside a pixel frame of a camera for human body insertion. It aims to do.

또한, 본 발명의 실시예는, 원시데이터의 전처리와 데이터 증강(data augmentation) 기법을 활용하고, 또한 모델 하이퍼 파라메타(hyper-parameter: 학습률, epoch, 배치크기, 등) 및 네트워크의 구조적 최적화를 위한 앙상블 기법을 이용하여, 예측모형의 정교성을 향상시키는 것을 목적으로 한다.In addition, the embodiment of the present invention utilizes the preprocessing and data augmentation technique of raw data, and also for structural optimization of the model hyper-parameter (learning rate, epoch, batch size, etc.) and network. The aim is to improve the sophistication of the prediction model by using the ensemble technique.

본 발명의 일실시예에 따른 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법은, 내시경 검사 이미지로부터 병변을 포함하는 자동화 이미지를 추출하는 단계; 전처리를 통해, 상기 자동화 이미지에 대한 다수의 학습 데이터를 생성하는 단계; 상기 다수의 학습 데이터에 대한 필터링 처리에 의해, n개의 합성곱 층(Convolutional layer)(상기 n은 2 이상의 자연수)을 작성하는 단계; 상기 n개의 합성곱 층을 선택적으로 이용하여, m개의 완전연결 층(Fully connected layer)(상기 m은 2 이상의 자연수)으로 통합하는 단계; 및 상기 n개의 합성곱 층과, 상기 m개의 완전연결 층과의 순차조합을 구성하여, 상기 자동화 이미지 내의 상기 병변에 대한 분류 정보를 포함하는 최적 구조층을 출력하는 단계를 포함할 수 있다.A dynamic multidimensional disease diagnosis method based on deep learning of medical image information according to an embodiment of the present invention includes: extracting an automated image including a lesion from an endoscopy image; Generating a plurality of training data for the automated image through preprocessing; Creating n convolutional layers (where n is a natural number of 2 or more) by filtering the plurality of training data; Selectively using the n convolutional layers and integrating them into m fully connected layers (where m is a natural number of 2 or more); And configuring a sequential combination of the n convolutional layers and the m fully connected layers, and outputting an optimal structure layer including classification information for the lesion in the automated image.

또한, 본 발명의 실시예에 따른 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 장치는, 내시경 검사 이미지로부터 병변을 포함하는 자동화 이미지를 추출하는 추출부; 전처리를 통해, 상기 자동화 이미지에 대한 다수의 학습 데이터를 생성하는 생성부; 상기 다수의 학습 데이터에 대한 필터링 처리에 의해, n개의 합성곱 층(상기 n은 2 이상의 자연수)을 작성하고, 상기 n개의 합성곱 층을 선택적으로 이용하여, m개의 완전연결 층(상기 m은 2 이상의 자연수)으로 통합하는 모델학습부; 및 상기 n개의 합성곱 층과, 상기 m개의 완전연결 층과의 순차조합을 구성하여, 상기 자동화 이미지 내의 상기 병변에 대한 분류 정보를 포함하는 최적 구조층을 출력하는 처리부를 포함하여 구성할 수 있다.In addition, a dynamic multidimensional disease diagnosis apparatus based on deep learning of medical image information according to an embodiment of the present invention includes: an extraction unit for extracting an automated image including a lesion from an endoscopy image; A generator for generating a plurality of learning data for the automated image through pre-processing; By filtering the plurality of training data, n convolutional layers (where n is a natural number greater than or equal to 2) are created, and m fully connected layers (m is A model learning unit that integrates into 2 or more natural numbers); And a processing unit configured to sequentially combine the n convolutional layers and the m fully connected layers to output an optimal structure layer including classification information on the lesion in the automated image. .

본 발명의 일실시예에 따르면, 구조화 의료영상정보 뿐만 아니라, 내시경 촬영물에 관한 비구조화 의료영상정보를 대상으로 딥러닝 기반의 정적 및 동적으로 실시간 진단예측을 가능하게 하는, 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법 및 동적 다차원 질병진단 장치를 제공할 수 있다.According to an embodiment of the present invention, deep learning based medical image information enables real-time diagnosis prediction based on deep learning for not only structured medical image information, but also unstructured medical image information related to endoscopic photographs. It is possible to provide a dynamic multidimensional disease diagnosis method and a dynamic multidimensional disease diagnosis apparatus.

또한, 본 발명의 일실시예에 따르면, 인체 삽입용 카메라의 픽셀 프레임 내부에 해당 변병부위가 최적 위치가 될 때, 활성화될 수 있는 서브 픽셀 프레임을 구성하여 실시간 구현 및 진단예측의 정교성을 재고할 수 있다.In addition, according to an embodiment of the present invention, a sub-pixel frame that can be activated when a corresponding lesion is at an optimal position inside a pixel frame of a camera for inserting a human body is configured to reconsider the sophistication of real-time implementation and diagnostic prediction. I can.

또한, 본 발명의 일실시예에 따르면, 원시데이터의 전처리와 데이터 증강 기법을 활용하고, 또한 모델 하이퍼파라메타(학습률, epoch, 배치크기, 등) 및 네트워크의 구조적 최적화를 위한 앙상블 기법을 이용하여, 예측모형의 정교성을 향상시킬 수 있다.In addition, according to an embodiment of the present invention, using a pre-processing of raw data and a data augmentation technique, and using a model hyperparameter (learning rate, epoch, batch size, etc.) and an ensemble technique for structural optimization of a network, The sophistication of the prediction model can be improved.

도 1은 본 발명의 일실시예에 따른, 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 장치의 내부 구성을 도시한 블록도이다.
도 2는 본 발명에 따른 신경망 구조 및 딥러닝 기반 인공지능화 프로세스의 일례를 설명하기 위한 도면이다.
도 3은 본 발명에 따른 신경망 구조 및 딥러닝 기반 인공지능화 프로세스의 다른 일례를 설명하기 위한 도면이다.
도 4는 본 발명에 따른 모든 구조적 조합에 따른 성능평가결과도를 설명하는 도면이다.
도 5는 본 발명의 내시경 검사 이미지의 일례를 보여주는 도면이다.
도 6은 본 발명에 따른 데이터 증강 처리를 설명하기 위한 도면이다.
도 7은 본 발명에 따라 자동화 이미지의 좌표를 변경하는 것을 예시하는 도면이다.
도 8은 본 발명에 따른 후두암 판별을 위한 개선된 딥러닝 파라미터의 일례를 설명하는 도면이다.
도 9는 본 발명에 따라 이미지를 평가하여 후두암 진단의 정확도를 평가하는 일례를 설명하기 위한 도면이다.
도 10은 본 발명에 따른 데이터 분절의 일례를 설명하기 위한 도면이다.
도 11은 본 발명의 일실시예에 따른, 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법의 순서를 도시한 흐름도이다.1 is a block diagram showing an internal configuration of a dynamic multidimensional disease diagnosis apparatus based on deep learning of medical image information according to an embodiment of the present invention.
2 is a diagram illustrating an example of a neural network structure and a deep learning-based artificial intelligence process according to the present invention.
3 is a view for explaining another example of a neural network structure and a deep learning-based artificial intelligence process according to the present invention.
4 is a diagram illustrating a performance evaluation result according to all structural combinations according to the present invention.
5 is a view showing an example of an endoscopy image of the present invention.
6 is a diagram for describing data enhancement processing according to the present invention.
7 is a diagram illustrating changing coordinates of an automated image according to the present invention.
8 is a diagram illustrating an example of an improved deep learning parameter for discriminating laryngeal cancer according to the present invention.
9 is a diagram for explaining an example of evaluating the accuracy of laryngeal cancer diagnosis by evaluating an image according to the present invention.
10 is a diagram for explaining an example of data segmentation according to the present invention.
11 is a flowchart illustrating a procedure of a dynamic multidimensional disease diagnosis method based on deep learning of medical image information according to an embodiment of the present invention.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings. However, since various changes may be made to the embodiments, the scope of the rights of the patent application is not limited or limited by these embodiments. It should be understood that all changes, equivalents, or substitutes to the embodiments are included in the scope of the rights.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for illustrative purposes only and should not be interpreted as limiting. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present invention. Does not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are assigned to the same components regardless of the reference numerals, and redundant descriptions thereof will be omitted. In describing the embodiments, when it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the embodiments, the detailed description thereof will be omitted.

도 1은 본 발명의 일실시예에 따른, 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 장치의 내부 구성을 도시한 블록도이다.1 is a block diagram showing an internal configuration of a dynamic multidimensional disease diagnosis apparatus based on deep learning of medical image information according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 장치(100)는, 추출부(110), 생성부(120), 모델학습부(130), 및 처리부(140)를 포함하여 구성할 수 있다.1, a dynamic multidimensional disease diagnosis apparatus 100 based on deep learning medical image information according to an embodiment of the present invention includes an extraction unit 110, a generation unit 120, a model learning unit 130, And it may be configured to include a processing unit 140.

먼저, 추출부(110)는 내시경 검사 이미지로부터 병변을 포함하는 자동화 이미지를 추출한다. 즉, 추출부(110)는 비정형 의료영상정보인 내시경 검사 이미지에서, 특정 부위의 이미지를 자동화 이미지로서 추출하는 역할을 할 수 있다.First, the extraction unit 110 extracts an automated image including a lesion from the endoscopy image. That is, the extraction unit 110 may serve to extract an image of a specific region as an automated image from an endoscopy image, which is unstructured medical image information.

여기서, 상기 특정 부위는, 질환이 의심되는 이미지 내의 임의 영역일 수 있고, 예컨대 내시경으로 검사를 진행하는 의사 등의 사용자에 의해 결정될 수 있다. 예를 들어, 목 통증이 있어, 내시경 검사를 진행하는 환자에 대해, 의사는 인체 내의 후두를 특정 부위로 결정할 수 있고, 추출부(110)는 결정된 후두를 경유하면서 촬영한 내시경 검사 이미지에서, 상기 후두를 촬영한 이미지를 선별하여 상기 자동화 이미지로 추출할 수 있다.Here, the specific region may be an arbitrary region in the image in which the disease is suspected, and may be determined by a user such as a doctor who performs an examination with an endoscope. For example, for a patient who has neck pain and undergoes an endoscopy, the doctor may determine the larynx in the human body as a specific region, and the extraction unit 110 is from the endoscopy image taken while passing through the determined larynx, An image of the larynx may be selected and extracted as the automated image.

상기 자동화 이미지의 추출에 있어, 추출부(110)는, 상기 내시경 검사 이미지 중에서, 상기 병변을 적어도 포함하는 이미지 영역을 지정한다. 즉, 추출부(110)는 질환으로 추정되는 내시경 검사 이미지 내의 특정 부위를 선별해야 할 특정 영역으로 지정하는 역할을 할 수 있다.In the extraction of the automated image, the extraction unit 110 designates an image region including at least the lesion from among the endoscopy images. That is, the extraction unit 110 may play a role of designating a specific region in an endoscopy image estimated to be a disease as a specific region to be selected.

실시예에 따라, 추출부(110)는 사용자(예, 내시경 검사를 진행하는 의사)가 내시경 검사 이미지 상에 마킹을 하면, 마킹된 선을 통해 상기 이미지 영역을 지정할 수 있다.According to an embodiment, when a user (eg, a doctor performing an endoscopy) marks an endoscopy image, the extraction unit 110 may designate the image area through the marked line.

이후, 추출부(110)는 상기 지정된 이미지 영역에 대해, 흑백을 전환하거나, 또는 규정된 사이즈로의 크기 조정을 통해, 상기 자동화 이미지를 추출한다. 즉, 추출부(110)는 지정된 이미지 영역을, 상기 내시경 검사 이미지로부터 추출하는 데에 있어, 기존 컬러 형식을 그레이 스케일 형식으로 전환하거나, 해상도를 낮게 변경한 후, 지정된 이미지 영역에 해당하는 자동화 이미지를 추출할 수 있다. 이는, 추출된 자동화 이미지를 간단한 원시 데이터 형태로 함으로써, 후술하는 생성부(120)에서 원시 데이터를 가까운 자동화 이미지를 이용하여, 다양한 형태의 학습 데이터를 용이하게 생성하도록 하기 위함이다.Thereafter, the extraction unit 110 extracts the automated image by converting black and white to the designated image area or adjusting the size to a prescribed size. That is, in extracting the specified image area from the endoscopy image, the extraction unit 110 converts the existing color format to a gray scale format or changes the resolution to a lower level, and then an automated image corresponding to the specified image area. Can be extracted. This is to facilitate the creation of various types of learning data by using an automated image close to the raw data in the generation unit 120 to be described later by converting the extracted automated image into a simple raw data form.

또한, 생성부(120)는 전처리를 통해, 상기 자동화 이미지에 대한 다수의 학습 데이터를 생성한다. 즉, 생성부(120)는 자동화 이미지가 가지고 있는 파라메타(예, 시야각, 기울기, 명암 등)에 편집(보정)을 가해, 자동화 이미지의 개수를 대폭적으로 증가시켜 복수 개의 학습 데이터를 생성하는 역할을 할 수 있다.In addition, the generation unit 120 generates a plurality of training data for the automated image through pre-processing. That is, the generation unit 120 plays a role of generating a plurality of learning data by significantly increasing the number of automated images by applying editing (correction) to parameters (eg, viewing angle, tilt, contrast, etc.) of the automated image. can do.

개수의 증가에 있어, 생성부(120)는 회전, 각도/틸트 변경, 및 zca-whitening 중 어느 하나의 전처리에 따른 상기 자동화 이미지에 대한 편집을 통해, 상기 학습 데이터의 개수를 증가시켜 생성할 수 있다.In the increase of the number, the generation unit 120 may generate the number of learning data by increasing the number of the training data through editing of the automated image according to any one of rotation, angle/tilt change, and zca-whitening. have.

예시된 전처리 기법 중, 회전은 후술하는 도 7에서와 같이, 상기 자동화 이미지 내에 2차원의 좌표축을 투영하고, 일정 방향으로 상기 2차원 좌표축을 회전시켜, 변화하는 자동화 이미지 각각을 학습 데이터로 생성하는 것일 수 있다.Among the exemplified pre-processing techniques, rotation projects a two-dimensional coordinate axis into the automated image and rotates the two-dimensional coordinate axis in a predetermined direction, as shown in FIG. 7 to be described later, thereby generating each of the changing automation images as learning data. Can be.

또한, 각도/틸트는 상기 자동화 이미지에 대해 3차원 회전을 구현하는 기법으로, 예컨대 자동화 이미지에 대한 상하좌우 기울기를 변경하고, 그 각각의 이미지를 상기 학습 데이터로서 생성하는 것일 수 있다.In addition, the angle/tilt is a technique for implementing a three-dimensional rotation of the automated image, and may be, for example, changing the vertical, left, and right tilt of the automated image and generating each image as the training data.

또한, zca-whitening(Zero-phase Component Analysis whitening)은 차원감소에 활용되는 PCA와 밀접하게 연관된 전처리 과정의 일종으로서, 특히, zca-whitening 을 적용하면 입력 데이터는 n차원을 유지하며 차원 감소는 일어나지 않는 특성을 있다. zca-whitening 은, 입력값을 더 쓸모있게 만드는 작업으로, 예컨대, 각 특징(Feature) 간에 서로 작은 상관관계(correlation)를 지니도록, 그리고 동일한 분산(variance)을 가지도록 하는 작업과 연관될 수 있다.In addition, zca-whitening (Zero-phase Component Analysis whitening) is a kind of preprocessing process that is closely related to PCA used for dimensionality reduction.In particular, when zca-whitening is applied, the input data remains n-dimensional and dimensional reduction does not occur. It does not have characteristics. zca-whitening is an operation that makes the input value more useful, for example, it can be associated with the operation of making each feature have a small correlation with each other and with the same variance. .

실시예에 따라, 생성부(120)는, 상기 병변을 중심으로, 상기 자동화 이미지의 사이즈를 크로핑(cropping)하여, 상기 학습 데이터의 개수를 증가시켜 생성할 수 있다.According to an exemplary embodiment, the generation unit 120 may generate by cropping the size of the automated image around the lesion to increase the number of training data.

상기 크로핑은 이미지의 크기를 변경하는 과정에서 화면을 조정하기 위하여 불필요한 부분을 제거하고 다른 부분을 확대하는 조작일 수 있다. 즉, 생성부(120)는 자동화 이미지를 확대/축소하여 다수 개로 편집 함에 있어, 병변 이외의 부분을 제거하여, 상기 병변이 이미지 주요 부분을 점유하여 보다 선명하게 표출되게 한다.The cropping may be an operation of removing unnecessary parts and enlarging other parts in order to adjust the screen in the process of changing the size of the image. That is, the generation unit 120 enlarges/reduces the automated image to edit a plurality of pieces, and removes a portion other than the lesion so that the lesion occupies the main portion of the image and is more clearly expressed.

이러한 학습 데이터 개수의 증가를 통해, 본 발명의 동적 다차원 질병진단 장치(100)는 안정적인 기계 학습을 위한 모 데이터를 충분히 확보할 수 있게 한다.Through the increase in the number of learning data, the dynamic multidimensional disease diagnosis apparatus 100 of the present invention can sufficiently secure parent data for stable machine learning.

모델학습부(130)는 상기 다수의 학습 데이터에 대한 필터링 처리에 의해, n개의 합성곱 층(상기 n은 2 이상의 자연수)을 작성한다. 즉, 모델학습부(130)는 전처리를 통해 다수가 된 학습 데이터에 대해, 목적하는 데이터(여기서는 병변이 위치하는 이미지 내 셀)를 선택적으로 뽑아내고, 이들 상호 간의 조합에 따라, n 개의 합성곱 층을 작성할 수 있다.The model learning unit 130 creates n convolutional layers (where n is a natural number greater than or equal to 2) by filtering the plurality of training data. That is, the model learning unit 130 selectively extracts the target data (here, the cells in the image where the lesion is located) for the training data that has become a large number through preprocessing, and according to a combination of these, n convolutions You can create layers.

또한, 모델학습부(130)는, 상기 n개의 합성곱 층을 선택적으로 이용하여, m개의 완전연결 층(상기 m은 2 이상의 자연수)으로 통합힌다. 즉, 모델학습부(130)는 복수의 합성곱 층 각각을, 다양한 형태의 조합으로 묶어, m개의 완전연결 층으로 통합할 수 있다.In addition, the model learning unit 130 selectively uses the n convolutional layers and integrates them into m fully connected layers (where m is a natural number of 2 or more). That is, the model learning unit 130 may combine each of the plurality of convolutional layers in various combinations and integrate them into m fully connected layers.

처리부(140)는 상기 n개의 합성곱 층과, 상기 m개의 완전연결 층과의 순차조합을 구성하여, 상기 자동화 이미지 내의 상기 병변에 대한 분류 정보를 포함하는 최적 구조층을 출력한다. 즉, 처리부(140)는 모델학습부(130)에서 생성/통합된 합성곱 층과 완전연결 층을 각각 일대일 조합하여 최소 n*m 개의 최적 구조층을 출력하는 역할을 할 수 있다.The processing unit 140 configures a sequential combination of the n convolutional layers and the m fully connected layers, and outputs an optimal structure layer including classification information on the lesion in the automated image. That is, the processing unit 140 may play a role of outputting at least n*m optimal structure layers by combining the convolutional layers generated/integrated by the model learning unit 130 and the fully connected layers one-to-one.

이때, 합성곱 층의 생성된 합성곱 필터가 활용되는 경우, 처리부(140)는 상기 n개의 합성곱 층에 반영된 각 합성곱 필터를, 크기 '16 내지 128' 중에서, l개(상기 l은 4 이상의 자연수)를 선택한다. 즉, 처리부(140)는 사전에 정한 크기 '16 내지 128' 중에서 l개의 합성곱 필터를 무작위로 선택할 수 있다. 상기 합성곱 필터의 선택 개수 l은 본 발명에서 바람직하게는 4(예, 16, 32, 64, 128)로 정할 수 있다.In this case, when the generated convolution filter of the convolutional layer is used, the processing unit 140 selects l convolution filters reflected in the n convolutional layers among the sizes '16 to 128' (where l is 4 Or more natural numbers). That is, the processing unit 140 may randomly select l convolution filters from among the predetermined sizes '16 to 128'. In the present invention, the number of selected convolution filters l may be preferably set to 4 (eg, 16, 32, 64, 128).

이후, 처리부(140)는 상기 순차조합에 의해 구성되는 상기 최적 구조층의 개수를, 'n * m * l' 로서 연산할 수 있다. 즉, 처리부(140)는, n 개 합성곱 층, m개의 완전연결 층, 4개의 합성곱 필터를 연산하여, n*m*4=64개 조합의 구조 테스트에 관한 최적 구조층을 출력할 수 있다.Thereafter, the processing unit 140 may calculate the number of the optimal structure layers configured by the sequential combination as'n * m * l'. That is, the processing unit 140 may calculate n convolutional layers, m fully connected layers, and 4 convolutional filters, and output an optimal structure layer for a structure test of n*m*4=64 combinations. have.

분류 정보는, 병변을 진단한 확정 정보일 수 있고, 예컨대 '후두암 30%' 등의 질환명과 진단 확률 등을 포함할 수 있다.The classification information may be confirmation information on which a lesion is diagnosed, and may include, for example, a disease name such as'laryngeal cancer 30%' and a diagnosis probability.

분류 정보의 작성에 있어, 처리부(140)는, 딥러닝 알고리즘을 통해 상기 최적 구조층 내 병변의 형태 특징과, 데이터베이스로부터 검색하는 후두암 후보 이미지의 형태 특징을 비교할 수 있다. 즉, 처리부(140)는 병변으로서의 후두암과 관련하여 표준화된 후두암 후보 이미지를 검색해두고, 최적 구조층의 출력에 따라 보다 선명화 된 병변을, 상기 검색된 후두암 후보 이미지와 형태적으로 비교할 수 있다.In creating classification information, the processor 140 may compare the shape characteristics of the lesion in the optimal structure layer and the shape characteristics of the laryngeal cancer candidate image retrieved from the database through a deep learning algorithm. That is, the processing unit 140 may search for a standardized laryngeal cancer candidate image in relation to laryngeal cancer as a lesion, and compare a more sharpened lesion according to the output of the optimal structure layer with the retrieved laryngeal cancer candidate image.

또한, 처리부(140)는 상기 비교 결과, 상기 형태 특징 간이 정해진 오차 이내에서 일치하면, 후두암 진단에 관한 상기 분류 정보를 만들어, 상기 최적 구조층에 포함시킨다. 즉, 처리부(140)는 표준화된 후두암 후보 이미지와, 병변이 형태적으로 유의미하게 일치하면, 해당 병변을 후두암으로 진단하고, 진단된 내용을 포함하여, 분류 정보로서 작성할 수 있다.In addition, the processing unit 140 generates the classification information related to laryngeal cancer diagnosis and includes it in the optimal structure layer when the comparison result matches the shape characteristics within a predetermined error. That is, if the standardized laryngeal cancer candidate image and the lesion are morphologically significant, the processing unit 140 diagnoses the lesion as laryngeal cancer, and includes the diagnosed contents, and may create classification information.

실시예에 따라, 처리부(140)는 상기 병변과 상기 후두암 후보 이미지와의 비교 결과를, 일치 정도에 따라 수치로 환산하고, 이를 포함하여 분류 정보를 생성할 수 있다.Depending on the embodiment, the processing unit 140 may convert a result of comparing the lesion with the laryngeal cancer candidate image into numerical values according to the degree of matching, and generate classification information including the result.

상술한 바와 같이, 분류 정보는 최적 구조층에 포함될 수 있다.As described above, the classification information may be included in the optimal structure layer.

다른 실시예에서, 처리부(140)는, 상기 후두암 진단에 따라, 상기 내시경 검사 이미지에 대해, 상기 병변을 중심으로 갖는 POI 박스를 마킹하고, 상기 분류 정보를, 상기 POI 박스에 태킹시킬 수 있다. 즉, 처리부(140)는 상기 내시경 검사 이미지 중에서, 사용자(의사)가 관심을 가져야 할 부분을 POI 박스로 마킹 하고, 진단된 질환명에 연결되어 보여지도록 할 수 있다. 상기 POI 박스는, 예컨대 자동화 이미지에 상응되는 크기로, 내시경 검사 이미지에 마킹될 수 있고, 또는 병변의 외형을 적어도 포함하는 최소 크기의 사각형으로, 내시경 검사 이미지에 마킹될 수 있다.In another embodiment, according to the diagnosis of laryngeal cancer, the processing unit 140 may mark a POI box having the lesion as a center on the endoscopy image, and tag the classification information on the POI box. That is, the processing unit 140 may mark a portion of the endoscopy image that should be of interest to the user (doctor) as a POI box, and connect the diagnosed disease name to be displayed. The POI box may be, for example, a size corresponding to an automated image, and may be marked on an endoscopy image, or may be a square having a minimum size including at least the appearance of a lesion, and may be marked on the endoscopy image.

이를 통해, 동적 다차원 질병진단 장치(100)는 본 발명에 따른 기계학습에 따라, 식도를 통과하면서 촬영된 내시경 검사 이미지 내에 포함되는 병변(후두암)에 대해, 그 실체적인 질환명 및 진단 정확도를 포함하여 디스플레이 함으로써, 이를 확인한 사용자(의사)로 하여금, 신속하고 용이하게 후두암을 최종 진단하도록 지원할 수 있다.Through this, the dynamic multidimensional disease diagnosis apparatus 100 includes the actual disease name and diagnosis accuracy for a lesion (laryngeal cancer) included in an endoscopy image taken while passing through the esophagus according to machine learning according to the present invention. By displaying and displaying, it is possible to support a user (doctor) who has confirmed this to quickly and easily diagnose laryngeal cancer.

본 발명의 일실시예에 따르면, 구조화 의료영상정보 뿐만 아니라, 내시경 촬영물에 관한 비구조화 의료영상정보를 대상으로 딥러닝 기반의 정적 및 동적으로 실시간 진단예측을 가능하게 할 수 있다.According to an embodiment of the present invention, it is possible to perform deep learning-based static and dynamic real-time diagnosis prediction for not only structured medical image information, but also unstructured medical image information about an endoscopic photograph.

또한, 본 발명의 일실시예에 따르면, 인체 삽입용 카메라의 픽셀 프레임 내부에 해당 변병부위가 최적 위치가 될 때, 활성화될 수 있는 서브 픽셀 프레임을 구성하여 실시간 구현 및 진단예측의 정교성을 재고할 수 있다.In addition, according to an embodiment of the present invention, a sub-pixel frame that can be activated when a corresponding lesion is at an optimal position inside a pixel frame of a camera for inserting a human body is configured to reconsider the sophistication of real-time implementation and diagnostic prediction. I can.

또한, 본 발명의 일실시예에 따르면, 원시데이터의 전처리와 데이터 증강 기법을 활용하고, 또한 모델 하이퍼 파라메타(학습률, epoch, 배치크기, 등) 및 네트워크의 구조적 최적화를 위한 앙상블 기법을 이용하여, 예측모형의 정교성을 향상시킬 수 있다.In addition, according to an embodiment of the present invention, by utilizing the pre-processing of raw data and data augmentation technique, and also using the model hyper parameter (learning rate, epoch, batch size, etc.) and the ensemble technique for structural optimization of the network, The sophistication of the prediction model can be improved.

도 2는 본 발명에 따른 신경망 구조 및 딥러닝 기반 인공지능화 프로세스의 일례를 설명하기 위한 도면이다.2 is a diagram illustrating an example of a neural network structure and a deep learning-based artificial intelligence process according to the present invention.

동적 다차원 질병진단 장치(100)는 내시경 검사 이미지 데이터로부터 자동화 이미지를 추출한다. 이후, 동적 다차원 질병진단 장치(100)는 자동화 이미지를, 전처리층으로 입력하여, 흑백으로 전환하거나, 사이즈를 조정하여 데이터를 증가(예, 200 * 200)시킬 수 있다. 또한, 동적 다차원 질병진단 장치(100)는 조정/증가된 자동화 이미지를, 입력층, 합성곱 복합층, 통합 층, 완전연결 층으로 연속적으로 통과시킨 후, 최종적으로 출력 층을 통해 최적 구조층을 출력할 수 있다.The dynamic multi-dimensional disease diagnosis apparatus 100 extracts an automated image from endoscopy image data. Thereafter, the dynamic multidimensional disease diagnosis apparatus 100 may input the automated image to the preprocessing layer, convert it to black and white, or adjust the size to increase data (eg, 200 * 200). In addition, the dynamic multidimensional disease diagnosis apparatus 100 continuously passes the adjusted/increased automated image through the input layer, the convolutional composite layer, the integrated layer, and the fully connected layer, and finally, the optimal structure layer through the output layer. Can be printed.

합성곱 복합층은 합성곱 층(convolution), 활성화 층(activation), 풀링 층(pooling), 비활성화 층(dropout)으로 구성될 수 있다. 또한, 합성곱 복합층은 필터 개수(n)을 적용하여, 통합 층으로 통합될 수 있다.The convolutional composite layer may be composed of a convolution layer, an activation layer, a pooling layer, and a dropout layer. In addition, the convolutional composite layer may be integrated into an integrated layer by applying the number of filters (n).

동적 다차원 질병진단 장치(100)는 비정형 이미지 데이터의 자동화 이미지 추출로 정형화를 실시할 수 있다.The dynamic multidimensional disease diagnosis apparatus 100 may perform standardization by automatic image extraction of unstructured image data.

또한, 동적 다차원 질병진단 장치(100)는 추출된 정형화 이미지의 흑백전환 그리고 사이즈를 100*100 ~ 400*400로 자동화 조정할 수 있다.In addition, the dynamic multi-dimensional disease diagnosis apparatus 100 can automatically adjust the black and white conversion and size of the extracted standardized image to 100*100 ~ 400*400.

또한, 동적 다차원 질병진단 장치(100)는 데이터 입력 층에 로딩되는 단계에서 데이터 증강을 통한 전처리 실시단계처리(각도조절, zca-whitening 적용)를 통해 15 ~ 20%의 정확도 개선효과를 달성할 수 있다.In addition, the dynamic multidimensional disease diagnosis apparatus 100 can achieve an accuracy improvement effect of 15 to 20% through pre-processing (angle adjustment, zca-whitening application) through data enhancement at the stage of loading into the data input layer. have.

또한, 동적 다차원 질병진단 장치(100)는 합성곱 층(n개)와 완전연결 층(m개)의 순차조합 구성(경우의 수는 n*m개) 및 자동 최적 구조 구현을 실시할 수 있다.In addition, the dynamic multi-dimensional disease diagnosis apparatus 100 may perform a sequential combination configuration of convolutional layers (n) and fully connected layers (m) (the number of cases is n*m) and an automatic optimal structure implementation. .

또한, 동적 다차원 질병진단 장치(100)는 상기 합성곱 층에 반영된 각 합성곱 필터의 개수를 32 ~ 256로 적용하여 최적화를 확인할 수 있다.In addition, the dynamic multidimensional disease diagnosis apparatus 100 may verify optimization by applying the number of each convolutional filter reflected in the convolutional layer to 32 to 256.

또한, 동적 다차원 질병진단 장치(100)는 합성곱 층(n개), 완전연결 층(m개), 합성곱 필터 4종(16, 32, 64, 128)를 순차 조합 함으로써, 64개(n*m*4) 조합의 구조를 테스트할 수 있다.In addition, the dynamic multidimensional disease diagnosis device 100 sequentially combines convolutional layers (n), fully connected layers (m), and four convolutional filters (16, 32, 64, 128). *m*4) You can test the structure of the combination.

또한, 동적 다차원 질병진단 장치(100)는 상기 합성곱 층에 평탄화 지수(regularization 또는 decay ratio) 1e-4 ~ 1e-6 를 반영 함으로써 5 ~ 10% 정확도의 개선효과를 달성할 수 있다.In addition, the dynamic multidimensional disease diagnosis apparatus 100 may achieve an improvement effect of 5 to 10% accuracy by reflecting the regularization or decay ratio 1e -4 to 1e -6 on the convolutional layer.

또한, 동적 다차원 질병진단 장치(100)는 최적의 인공지능 진단 정확도 구현을 위해 학습률 최적조건을 1e-2 ~ 1e-4 로, 비활성화률(dropout ratio)을 0.3 ~ 0.5로 확인할 수 있다.In addition, the dynamic multi-dimensional disease diagnosis apparatus 100 may determine an optimal learning rate condition of 1e -2 to 1e -4 and a dropout ratio of 0.3 to 0.5 in order to implement an optimal AI diagnosis accuracy.

이하, 전처리 사이즈 규격화 방법(Medical image auto cropping)에 대해 설명한다.Hereinafter, a method of preprocessing size standardization (medical image auto cropping) will be described.

먼저, 동적 다차원 질병진단 장치(100)는 후두내시경 이미지 안의 후두내강을 중심으로 크로핑하여 다수의 학습데이터셋을 구축할 수 있다.First, the dynamic multidimensional disease diagnosis apparatus 100 may construct a plurality of learning data sets by cropping around the laryngeal lumen in the laryngeal endoscopy image.

또한, 동적 다차원 질병진단 장치(100)는 CNN(Convolutional Neural Network)을 통해 후두내강 영역을 학습할 수 있다.Also, the dynamic multidimensional disease diagnosis apparatus 100 may learn a laryngeal lumen region through a convolutional neural network (CNN).

또한, 동적 다차원 질병진단 장치(100)는 분석 대상 후두내시경 이미지 내 후두내강 영역에 대해 경계 박스(bounding box)를 생성할 수 있다.In addition, the dynamic multi-dimensional disease diagnosis apparatus 100 may generate a bounding box for a region of the laryngeal lumen in an analysis target laryngeal endoscope image.

또한, 동적 다차원 질병진단 장치(100)는 이미지 핸들링 가능 모듈 및 프로그램(ex : OpenCV)을 통해 박스 영역을 크로핑 할 수 있다.In addition, the dynamic multidimensional disease diagnosis apparatus 100 may crop a box area through an image handling module and program (ex: OpenCV).

도 3은 본 발명에 따른 신경망 구조 및 딥러닝 기반 인공지능화 프로세스의 다른 일례를 설명하기 위한 도면이다.3 is a diagram illustrating another example of a neural network structure and a deep learning-based artificial intelligence process according to the present invention.

동적 다차원 질병진단 장치(100)는 비정형 이미지에 대해, 다양한 경로를 통해, 전처리화/특징화(preprocessing/featuring), 합성곱 층(Convolutional layer), 완전연결 층(Fully connected layer)을 거쳐, 최적화 구조를 설정할 수 있다.The dynamic multi-dimensional disease diagnosis apparatus 100 optimizes atypical images through various paths, through preprocessing/featuring, convolutional layers, and fully connected layers. Structure can be set.

도 3에서 동적 다차원 질병진단 장치(100)는 주어진 이미지 데이터에 최적화된 또는 학습이 잘되고 분류 성능을 잘 발휘하는 신경망 구조를 알 수 없기 때문에, 우선 임의 수준(합성곱 복합층 10개층 내외, 완전연결층 5개층 내외, 합성곱 필터 크기 16, 32, 64, 128, 256)으로 설정하고, 무작위 자동 조합으로 신경망 구조를 만들어 학습할 수 있다.In Fig. 3, the dynamic multidimensional disease diagnosis device 100 cannot know the neural network structure that is optimized for a given image data or is well trained and exhibits good classification performance, so first of all, it is at an arbitrary level (within and around 10 convolutional complex layers, fully connected). You can set the size of the convolution filter within and outside of 5 layers, 16, 32, 64, 128, 256), and create and learn a neural network structure with random automatic combination.

이때, 무한정 '필터 개수(n)'를 증가시키면 오히려 학습효과 낮아지는 것을 확인할 수 있어, 동적 다차원 질병진단 장치(100)는 필터 개수(n)을 32 ~128장 범위로 적용할 수 있다.At this time, it can be seen that if the number of filters (n) is increased indefinitely, the learning effect is rather lowered, so the dynamic multidimensional disease diagnosis apparatus 100 can apply the number of filters (n) in the range of 32 to 128.

이러한, 개선 효과는 로스함수(loss function)를 통한 학습반복회수(x축)와 로스값(실측과 예측의 차이값) 간의 분포도, 그리고 실제 진단 이미지를 적용한 정확도(AI 진단결과/임상적 진단결과)에 의해 검증할 수 있다. 또한, 개선 효과로는 로스함수의 값이 0로 수렴하는 정도가 빠르고, 15 ~ 20% 정확도 개선효과를 제시한 것일 수 있다.The improvement effect is the distribution between the number of iterations of learning (x-axis) and the loss value (the difference between the actual measurement and the prediction) through the loss function, and the accuracy of applying the actual diagnosis image (AI diagnosis result/clinical diagnosis result). ) Can be verified. In addition, as an improvement effect, the degree of convergence of the value of the loss function to 0 is fast, and the 15-20% accuracy improvement effect may be presented.

도 4는 본 발명에 따른 모든 구조적 조합에 따른 성능평가결과도를 설명하는 도면이다.4 is a diagram illustrating a performance evaluation result according to all structural combinations according to the present invention.

도 4에서, (a)는 동적 다차원 질병진단 장치(100)에 의한 학습과정의 단계별 모델 정확도에 대한 계산결과를 나타내고 있다.In FIG. 4, (a) shows the calculation result of the model accuracy for each step in the learning process by the dynamic multidimensional disease diagnosis apparatus 100.

(b)는 동적 다차원 질병진단 장치(100)에 의한 학습과정의 단계별 로스함수의 제로 수렴도에 대한 계산결과를 나타내고 있다.(b) shows the calculation result of the zero convergence degree of the loss function at each stage of the learning process by the dynamic multidimensional disease diagnosis apparatus 100.

(c)는 동적 다차원 질병진단 장치(100)에 의한 epoch(전체 학습데이터를 기준으로 1회 학습완료 분) 회수별 모델 정확도에 대한 계산결과를 나타내고 있다.(c) shows the calculation result of model accuracy for each number of epochs (one-time learning completion based on the total learning data) by the dynamic multidimensional disease diagnosis apparatus 100.

(d)는 동적 다차원 질병진단 장치(100)에 의한 epoch(전체 학습데이터를 기준으로 1회 학습완료 분) 회수별 모델 로스함수 제로 수렴도에 대한 계산결과를 나타내고 있다.(d) shows the calculation result of the zero convergence of the model loss function for each number of epochs (one-time learning completion based on the total learning data) by the dynamic multidimensional disease diagnosis apparatus 100.

도 4에서의 결과 계산값의 확인을 통해, 본 발명에 따른 모델의 최적화 및 성능은 그 우수성을 확인할 수 있다.By confirming the result calculated value in FIG. 4, the optimization and performance of the model according to the present invention can confirm the superiority.

동적 다차원 질병진단 장치(100)에 의한 학습에 있어, 데이터 증강기법을 적용한 이유는 i)제공된 데이터 모수가 매우 부족하기 때문이고(통상 3만장 정도는 신경 망에서 학습을 시켜야 성능이 발현되나, 제공된 것은 700장 정도임), ii)후두암 이미지의 병변 부위가 많이 흔들려 있는 관계로 변병부위의 외각선(outlier)으로 명암을 강화하여 병변 부위의 경계를 명확히 하기 위함(경계 부위 pixel값을 보정)이다.In the learning by the dynamic multi-dimensional disease diagnosis device 100, the reason for applying the data augmentation technique is that i) the provided data parameters are very insufficient (usually, about 30,000 sheets are learned in a neural network to achieve performance, but It is about 700 sheets), ii) Because the lesion area of the laryngeal cancer image is shaken a lot, it is to clarify the boundary of the lesion area by enhancing the contrast with the outlier of the lesion area (correcting the pixel value of the border area). .

이와 관련한 방법으로는, openAI 모듈인 keras, openCV 모듈에서 제공되는 기능을 활용할 수 있고, 특히 keras 모듈내에 있는 “zca-whitening=True“로 설정하여 기능을 작동시킬 수 있다.In this regard, the functions provided by the openAI module keras and openCV modules can be used, and in particular, the function can be operated by setting “zca-whitening=True” in the keras module.

도 5는 본 발명의 내시경 검사 이미지의 일례를 보여주는 도면이다.5 is a view showing an example of an endoscopy image of the present invention.

도 5(a)에서는 내시경 검사 이미지에서 환자의 후두를 마킹하여 특정한 것을 예시하고 있다.In Fig. 5(a), a specific thing is exemplified by marking the larynx of a patient in an endoscopy image.

동적 다차원 질병진단 장치(100)는 먼저 학습에 사용될 데이터셋을 만든다. 이후, 동적 다차원 질병진단 장치(100)는 전체 이미지에서 후두내강의 위치를 지정하여 학습용 부분 이미지를 추출하고, labelimg 프로그램을 활용하여 총 100개의 이미지를 통해 위치를 지정한다.The dynamic multidimensional disease diagnosis apparatus 100 first creates a dataset to be used for learning. Thereafter, the dynamic multidimensional disease diagnosis apparatus 100 extracts a partial image for learning by designating the position of the laryngeal lumen from the entire image, and designating the position through a total of 100 images using a labelimg program.

도 5(b)에서는 마킹된 후두에 대해, 그 정확도를 확률로 표현하는 것을 예시하고 있다.In Fig. 5(b), the accuracy of the marked larynx is expressed as a probability.

동적 다차원 질병진단 장치(100)는 딥러닝 모듈인 tensorflow의 object detection 알고리즘을 활용하여 해당 영역을 학습시킨다. 즉, 동적 다차원 질병진단 장치(100)는 지정된 부분을 하나의 object로 간주하게끔 하여, 후두내강 부분이 포함된 새로운 이미지가 들어왔을 경우 해당 부분만을 인식하고 경계 박스를 생성한다.The dynamic multidimensional disease diagnosis apparatus 100 learns a corresponding region using an object detection algorithm of tensorflow, which is a deep learning module. That is, the dynamic multidimensional disease diagnosis apparatus 100 considers a designated part as one object, and when a new image including a laryngeal lumen part is received, only the part is recognized and a bounding box is generated.

이후, 동적 다차원 질병진단 장치(100)는 도 5(a)에서 영역 지정한 100개의 이미지에 대해, 총 30,000번 학습을 진행하였고, 최종적으로 약 1%의 loss value를 도출한다.Thereafter, the dynamic multi-dimensional disease diagnosis apparatus 100 trains a total of 30,000 times for 100 images designated as areas in FIG. 5A, and finally derives a loss value of about 1%.

도 5(c)에서는 지정된 영역에 대해 크로핑하는 것을 예시하고 있다.Fig. 5(c) illustrates cropping for a designated area.

동적 다차원 질병진단 장치(100)는 박스를 기준으로 cropping하여 이미지 파일을 생성한다. 해당 작업은 도 (b)에서의 작업과 동시에 진행될 수 있고, tensorflow의 image 모듈 중 ‘crop_to_bounding_box’ 클래스를 사용한다.The dynamic multi-dimensional disease diagnosis apparatus 100 generates an image file by cropping based on a box. The work can be done at the same time as the work in Fig. (b), and the ‘crop_to_bounding_box’ class is used in the image module of tensorflow.

또한, 동적 다차원 질병진단 장치(100)는 박스의 ymin(y좌표의 최소값), xmin(x좌표의 최소값), ymax(y좌표의 최대값), xmax(x좌표의 최대값)을 계산하여 해당 영역을 jpeg이미지로 잘라낸다.In addition, the dynamic multi-dimensional disease diagnosis apparatus 100 calculates ymin (minimum value of y-coordinate), xmin (minimum value of x-coordinate), ymax (maximum value of y-coordinate), and xmax (maximum value of x-coordinate) of the box. The area is cropped into a jpeg image.

도 5(d)에서는 이미지의 사이즈를 자동화하여 조정하는 것을 예시하고 있다.In Fig. 5(d), it is exemplified that the image size is automatically adjusted.

도 5(d)에서, 동적 다차원 질병진단 장치(100)는 이미지 사이즈 일괄 변경 프로그램(XnViewMP)을 활용하여 이미지의 사이즈를 자동으로 조정한다. 또한, 동적 다차원 질병진단 장치(100)는 tensorflow 라이브러리를 활용하여 이미지 저장 시 사이즈 일괄적용이 가능하도록 새로 구현할 수 있다.In FIG. 5(d), the dynamic multi-dimensional disease diagnosis apparatus 100 automatically adjusts the size of an image using an image size batch change program (XnViewMP). In addition, the dynamic multidimensional disease diagnosis apparatus 100 may be newly implemented to enable batch application of size when storing images by using the tensorflow library.

도 6은 본 발명에 따른 데이터 증강 처리를 설명하기 위한 도면이다.6 is a diagram for explaining data enhancement processing according to the present invention.

동적 다차원 질병진단 장치(100)에서 활용하는 알고리즘은 openAI 소스인 keras, sklearn, openCV에서 제공되는 것을 사용할 수 있고, 본 발명에서는 keras모듈 내의 기능을 활용한다. 구동원리는 이미지 내의 pixel값의 분포를 좁게 변형(transformation)하는 기법을 채택할 수 있다. 이때, pixel값의 분포가 넓으면 다양한 음영을 제공하나 피사체의 경계분포의 모호성을 제공할 확률이 높아지고, 반면 분포가 좁으면 음영의 제공값이 단순해져 피사체의 경계가 강조되는 효과가 있다.Algorithms used in the dynamic multidimensional disease diagnosis apparatus 100 may be those provided by openAI sources such as keras, sklearn, and openCV, and in the present invention, functions in the keras module are utilized. As the driving principle, a technique of narrowly transforming the distribution of pixel values in an image can be adopted. In this case, if the distribution of pixel values is wide, various shades are provided, but the probability of providing the ambiguity of the boundary distribution of the subject increases. On the other hand, if the distribution is narrow, the shade provision value is simplified, thereby enhancing the boundary of the subject.

이에 따라, 동적 다차원 질병진단 장치(100)는 도 6(a)에서와 같이, 일반적인 이미지 픽셀값의 분포를, zca-whitening 처리된 이미지 픽셀값의 분포로서 샤프하게 변경할 수 있다.Accordingly, the dynamic multidimensional disease diagnosis apparatus 100 may sharply change the distribution of the general image pixel values as the distribution of the zca-whitening-processed image pixel values, as shown in FIG. 6(a).

도 6(b)에서 동적 다차원 질병진단 장치(100)는 손글씨 숫자를 zca-whitening 처리한 것을 예시한다.In FIG. 6(b), the dynamic multidimensional disease diagnosis apparatus 100 exemplifies the zca-whitening process of handwritten numbers.

도 7은 본 발명에 따라 자동화 이미지의 좌표를 변경하는 것을 예시하는 도면이다.7 is a diagram illustrating changing coordinates of an automated image according to the present invention.

도 7에서와 같이, 동적 다차원 질병진단 장치(100)는 한 장의 입력데이터를 기준으로 멀티데이터를 생산하여 학습할 수 있다. 이는 통상 3만장 정도의 이미지 학습데이터가 필요하나 본 내용에 있어서 절대적으로 학습데이터의 수가 적기 때문에 이에 대한 보완/대응 방안으로 활용하기 위함이다.As shown in FIG. 7, the dynamic multidimensional disease diagnosis apparatus 100 may produce and learn multi-data based on one piece of input data. This is to be used as a complementary/response method for this, because it requires about 30,000 image learning data, but the number of learning data is absolutely small in this content.

도 7에서 동적 다차원 질병진단 장치(100)는 좌표측을 기준으로 시계방향 회전 및 반시계방향으로 각각 회전하여 4개의 멀티데이터를 생산하는 것을 예시한다.In FIG. 7, the dynamic multi-dimensional disease diagnosis apparatus 100 exemplifies the production of four multi-data by rotating clockwise and counterclockwise respectively based on the coordinate side.

zca-whitening처리와 좌표축 변형에 따른 이미지 데이터의 증폭을 통해, 동적 다차원 질병진단 장치(100)는 데이터 증강을 구현하여 학술효율을 높이는데 활용할 수 있다.Through zca-whitening processing and amplification of image data according to coordinate axis deformation, the dynamic multidimensional disease diagnosis apparatus 100 can be utilized to enhance academic efficiency by implementing data enhancement.

도 8은 본 발명에 따른 후두암 판별을 위한 개선된 딥러닝 파라미터의 일례를 설명하는 도면이다.8 is a diagram illustrating an example of an improved deep learning parameter for discriminating laryngeal cancer according to the present invention.

데이터 입력 층에 로딩되는 단계에서, 동적 다차원 질병진단 장치(100)는 데이터 증강(data augmentation)을 통한 전처리 실시 처리(각도조절, zca-whitening 적용)에 의해 15 ~ 20%의 정확도를 개선할 수 있다.In the step of loading the data input layer, the dynamic multi-dimensional disease diagnosis device 100 can improve the accuracy of 15 to 20% by performing pre-processing through data augmentation (adjusting the angle, applying zca-whitening). have.

또한, 동적 다차원 질병진단 장치(100)는 합성곱 층에 반영된 각 합성곱 필터의 개수를 32 ~ 256로 적용 최적화 할 수 있다. 이러한 수치는, 합성곱 필터의 개수가, 32장 보다 작거나 256장 보다 많게 하면, 성능의 급격한 저하가 관찰되는 것에 비롯된다.In addition, the dynamic multidimensional disease diagnosis apparatus 100 may apply and optimize the number of each convolutional filter reflected in the convolutional layer to 32 to 256. This value is due to the fact that when the number of convolutional filters is less than 32 or more than 256, a sharp decrease in performance is observed.

또한, 동적 다차원 질병진단 장치(100)는 합성곱 층에 평탄화 지수(regularization 또는 decay ratio)를 1e-4 ~ 1e-6 범위로 반영함으로써 5 ~ 10% 정확도의 개선 효과를 얻을 수 있다.In addition, the dynamic multidimensional disease diagnosis apparatus 100 may obtain an improvement effect of 5 to 10% accuracy by reflecting a regularization or decay ratio in the range of 1e -4 to 1e -6 in the convolutional layer.

도 8에서와 같이, 동적 다차원 질병진단 장치(100)는 학습률 최적조건으로 1e-2 ~ 1e-4 의 개선 효과를 얻고, 또한 비활성화률(dropout ratio)로서 0.3 ~ 0.5 을 확인할 수 있다(도 8의 원 참조).As shown in FIG. 8, the dynamic multidimensional disease diagnosis apparatus 100 obtains an improvement effect of 1e -2 to 1e -4 as an optimal learning rate condition, and can confirm 0.3 to 0.5 as a dropout ratio (FIG. 8 ). See circle).

도 9는 본 발명에 따라 이미지를 평가하여 후두암 진단의 정확도를 평가하는 일례를 설명하기 위한 도면이다.9 is a diagram for explaining an example of evaluating the accuracy of laryngeal cancer diagnosis by evaluating an image according to the present invention.

도 9에서와 같이, 동적 다차원 질병진단 장치(100)는, 후두암 진단 이미지 데이터에 대해, 데이터 분절, 모델 구조 구성, 모델 최적화 변수 설정, 모델 저장, 정확도(AUC)평가를 거쳐, 후두암 진단의 정확도를 평가할 수 있다.As shown in FIG. 9, the dynamic multidimensional disease diagnosis apparatus 100 performs data segmentation, model structure configuration, model optimization variable setting, model storage, and accuracy (AUC) evaluation for laryngeal cancer diagnosis image data, and accuracy of laryngeal cancer diagnosis. Can be evaluated.

이중, 모델 구조 구성은 무작위로 구조를 만들어가면서 학습되는 모델을 설계하는 과정일 수 있다.Of these, the model structure construction may be a process of designing a model that is trained while making a structure at random.

도 10은 본 발명에 따른 데이터 분절의 일례를 설명하기 위한 도면이다.10 is a diagram for explaining an example of data segmentation according to the present invention.

도 10에서와 같이, 동적 다차원 질병진단 장치(100)는, 608개의 row data를 Benign 355개와, Malignant 253개로 나누고, 그 각각에서 20개의 test 를 분절할 수 있다.As shown in FIG. 10, the dynamic multidimensional disease diagnosis apparatus 100 divides 608 row data into 355 Benigns and 253 Malignants, and may segment 20 tests from each of them.

Test에 속한 이들 각각의 20개의 row data에 대해, 동적 다차원 질병진단 장치(100)는 평가를 수행할 수 있다(performance evaluation).For each of these 20 row data belonging to the test, the dynamic multidimensional disease diagnosis apparatus 100 may perform an evaluation (performance evaluation).

동적 다차원 질병진단 장치(100)는 모델 학습용, 모델 검증용, 실제 구현된 모델의 최종 평가용 등의 무작위 3개로 데이터를 분절할 수 있다. 또한, 동적 다차원 질병진단 장치(100)는 최종모델의 평가로서 recall, precision, AUC(area under curve on roc)값을 측정할 수 있다.The dynamic multidimensional disease diagnosis apparatus 100 may segment data into three random pieces, such as model training, model verification, and final evaluation of an actual model. In addition, the dynamic multidimensional disease diagnosis apparatus 100 may measure recall, precision, and area under curve on roc (AUC) values as evaluation of the final model.

이하, 도 11에서는 본 발명의 실시예들에 따른 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 장치(100)의 작업 흐름을 상세히 설명한다.Hereinafter, in FIG. 11, the work flow of the dynamic multidimensional disease diagnosis apparatus 100 based on deep learning of medical image information according to embodiments of the present invention will be described in detail.

도 11은 본 발명의 일실시예에 따른, 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법의 순서를 도시한 흐름도이다.11 is a flowchart illustrating a procedure of a dynamic multidimensional disease diagnosis method based on deep learning of medical image information according to an embodiment of the present invention.

본 실시예에 따른 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법은 상술한 동적 다차원 질병진단 장치(100)에 의해 수행될 수 있다.The dynamic multidimensional disease diagnosis method based on deep learning of medical image information according to the present embodiment may be performed by the dynamic multidimensional disease diagnosis apparatus 100 described above.

우선, 동적 다차원 질병진단 장치(100)는 내시경 검사 이미지로부터 병변을 포함하는 자동화 이미지를 추출한다(1110). 단계(1110)는 비정형 의료영상정보인 내시경 검사 이미지에서, 특정 부위의 이미지를 자동화 이미지로서 추출하는 과정일 수 있다.First, the dynamic multidimensional disease diagnosis apparatus 100 extracts an automated image including a lesion from an endoscopy image (1110). Step 1110 may be a process of extracting an image of a specific portion as an automated image from an endoscopy image, which is unstructured medical image information.

여기서, 상기 특정 부위는, 질환이 의심되는 이미지 내의 임의 영역일 수 있고, 예컨대 내시경으로 검사를 진행하는 의사 등의 사용자에 의해 결정될 수 있다. 예를 들어, 목 통증이 있어, 내시경 검사를 진행하는 환자에 대해, 의사는 인체 내의 후두를 특정 부위로 결정할 수 있고, 동적 다차원 질병진단 장치(100)는 결정된 후두를 경유하면서 촬영한 내시경 검사 이미지에서, 상기 후두를 촬영한 이미지를 선별하여 상기 자동화 이미지로 추출할 수 있다.Here, the specific region may be an arbitrary region in the image in which the disease is suspected, and may be determined by a user such as a doctor who performs an examination with an endoscope. For example, for a patient who has neck pain and undergoes endoscopy, the doctor may determine the larynx in the human body as a specific region, and the dynamic multidimensional disease diagnosis apparatus 100 is an endoscopic examination image taken while passing through the determined larynx. In, an image photographed of the larynx may be selected and extracted as the automated image.

상기 자동화 이미지의 추출에 있어, 동적 다차원 질병진단 장치(100)는, 상기 내시경 검사 이미지 중에서, 상기 병변을 적어도 포함하는 이미지 영역을 지정한다. 즉, 동적 다차원 질병진단 장치(100)는 질환으로 추정되는 내시경 검사 이미지 내의 특정 부위를 선별해야 할 특정 영역으로 지정할 수 있다.In the extraction of the automated image, the dynamic multidimensional disease diagnosis apparatus 100 designates an image region including at least the lesion from among the endoscopy images. That is, the dynamic multidimensional disease diagnosis apparatus 100 may designate a specific region in an endoscopy image estimated as a disease as a specific region to be selected.

실시예에 따라, 동적 다차원 질병진단 장치(100)는 사용자(예, 내시경 검사를 진행하는 의사)가 내시경 검사 이미지 상에 마킹을 하면, 마킹된 선을 통해 상기 이미지 영역을 지정할 수 있다.According to an embodiment, when a user (eg, a doctor performing an endoscopy) marks an endoscopy image, the dynamic multidimensional disease diagnosis apparatus 100 may designate the image region through the marked line.

이후, 동적 다차원 질병진단 장치(100)는 상기 지정된 이미지 영역에 대해, 흑백을 전환하거나, 또는 규정된 사이즈로의 크기 조정을 통해, 상기 자동화 이미지를 추출한다. 즉, 동적 다차원 질병진단 장치(100)는 지정된 이미지 영역을, 상기 내시경 검사 이미지로부터 추출하는 데에 있어, 기존 컬러 형식을 그레이 스케일 형식으로 전환하거나, 해상도를 낮게 변경한 후, 지정된 이미지 영역에 해당하는 자동화 이미지를 추출할 수 있다. 이는, 추출된 자동화 이미지를 간단한 원시 데이터 형태로 함으로써, 원시 데이터를 가까운 자동화 이미지를 이용하여, 다양한 형태의 학습 데이터를 용이하게 생성하도록 하기 위함이다.Thereafter, the dynamic multi-dimensional disease diagnosis apparatus 100 extracts the automated image by converting black and white to the designated image area or adjusting the size to a prescribed size. That is, the dynamic multidimensional disease diagnosis apparatus 100 converts the existing color format to a gray scale format or changes the resolution to a lower resolution in extracting the specified image area from the endoscopy image, and then corresponds to the specified image area. Automated images can be extracted. This is to facilitate the creation of various types of learning data by using the extracted automation image into a simple raw data form, using the close automation image of the raw data.

또한, 동적 다차원 질병진단 장치(100)는 전처리를 통해, 상기 자동화 이미지에 대한 다수의 학습 데이터를 생성한다(1120). 단계(1120)는 자동화 이미지가 가지고 있는 파라메타(예, 시야각, 기울기, 명암 등)에 편집(보정)을 가해, 자동화 이미지의 개수를 대폭적으로 증가시켜 복수 개의 학습 데이터를 생성하는 과정일 수 있다.In addition, the dynamic multidimensional disease diagnosis apparatus 100 generates a plurality of learning data for the automated image through pre-processing (1120). Step 1120 may be a process of generating a plurality of learning data by adding editing (correction) to parameters (eg, viewing angle, tilt, contrast, etc.) of the automated image, and significantly increasing the number of automated images.

개수의 증가에 있어, 동적 다차원 질병진단 장치(100)는 회전, 각도/틸트 변경, 및 zca-whitening 중 어느 하나의 전처리에 따른 상기 자동화 이미지에 대한 편집을 통해, 상기 학습 데이터의 개수를 증가시켜 생성할 수 있다.In the increase of the number, the dynamic multi-dimensional disease diagnosis apparatus 100 increases the number of the learning data through editing of the automated image according to any one of rotation, angle/tilt change, and zca-whitening. Can be generated.

예시된 전처리 기법 중, 회전은 상기 자동화 이미지 내에 2차원의 좌표축을 투영하고, 일정 방향으로 상기 2차원 좌표축을 회전시켜, 변화하는 자동화 이미지 각각을 학습 데이터로 생성하는 것일 수 있다.Among the illustrated pre-processing techniques, rotation may be to project a two-dimensional coordinate axis into the automation image and rotate the two-dimensional coordinate axis in a predetermined direction to generate each of the changing automation images as learning data.

또한, 각도/틸트는 상기 자동화 이미지에 대해 3차원 회전을 구현하는 기법으로, 예컨대 자동화 이미지에 대한 상하좌우 기울기를 변경하고, 그 각각의 이미지를 상기 학습 데이터로서 생성하는 것일 수 있다.In addition, the angle/tilt is a technique for implementing a three-dimensional rotation of the automated image, and may be, for example, changing the vertical, left, and right tilt of the automated image and generating each image as the training data.

또한, zca-whitening(Zero-phase Component Analysis whitening)은 차원감소에 활용되는 PCA와 밀접하게 연관된 전처리 과정의 일종으로서, 특히, zca-whitening 을 적용하면 입력 데이터는 n차원을 유지하며 차원 감소는 일어나지 않는 특성을 있다. zca-whitening 은, 입력값을 더 쓸모있게 만드는 작업으로, 예컨대, 각 특징(Feature) 간에 서로 작은 상관관계(correlation)를 지니도록, 그리고 동일한 분산(variance)을 가지도록 하는 작업과 연관될 수 있다.In addition, zca-whitening (Zero-phase Component Analysis whitening) is a kind of preprocessing process that is closely related to PCA used for dimensionality reduction.In particular, when zca-whitening is applied, the input data remains n-dimensional and dimensional reduction does not occur. It does not have characteristics. zca-whitening is an operation that makes the input value more useful, for example, it can be associated with the operation of making each feature have a small correlation with each other and with the same variance. .

실시예에 따라, 동적 다차원 질병진단 장치(100)는 상기 병변을 중심으로, 상기 자동화 이미지의 사이즈를 크로핑(cropping)하여, 상기 학습 데이터의 개수를 증가시켜 생성할 수 있다.According to an exemplary embodiment, the dynamic multidimensional disease diagnosis apparatus 100 may generate by cropping the size of the automated image centering on the lesion and increasing the number of training data.

상기 크로핑은 이미지의 크기를 변경하는 과정에서 화면을 조정하기 위하여 불필요한 부분을 제거하고 다른 부분을 확대하는 조작일 수 있다. 즉, 동적 다차원 질병진단 장치(100)는 자동화 이미지를 확대/축소하여 다수 개로 편집 함에 있어, 병변 이외의 부분을 제거하여, 상기 병변이 이미지 주요 부분을 점유하여 보다 선명하게 표출되게 한다.The cropping may be an operation of removing unnecessary parts and enlarging other parts in order to adjust the screen in the process of changing the size of the image. That is, the dynamic multi-dimensional disease diagnosis apparatus 100 removes a portion other than the lesion when expanding/reducing the automated image and editing it into multiple pieces, so that the lesion occupies the main portion of the image and is expressed more clearly.

이러한 학습 데이터 개수의 증가를 통해, 본 발명의 동적 다차원 질병진단 장치(100)는 안정적인 기계 학습을 위한 모 데이터를 충분히 확보할 수 있게 한다.Through the increase in the number of learning data, the dynamic multidimensional disease diagnosis apparatus 100 of the present invention can sufficiently secure parent data for stable machine learning.

계속해서, 동적 다차원 질병진단 장치(100)는 상기 다수의 학습 데이터에 대한 필터링 처리에 의해, n개의 합성곱 층(상기 n은 2 이상의 자연수)을 작성한다(1130). 단계(1130)는 전처리를 통해 다수가 된 학습 데이터에 대해, 목적하는 데이터(여기서는 병변이 위치하는 이미지 내 셀)를 선택적으로 뽑아내고, 이들 상호 간의 조합에 따라, n 개의 합성곱 층을 작성하는 과정일 수 있다.Subsequently, the dynamic multidimensional disease diagnosis apparatus 100 creates n convolutional layers (where n is a natural number of 2 or more) by filtering the plurality of learning data (1130). Step 1130 is to selectively extract target data (in this case, a cell in the image where the lesion is located) for the training data that has become a large number through preprocessing, and create n convolutional layers according to the combinations thereof. It can be a process.

또한, 동적 다차원 질병진단 장치(100)는 상기 n개의 합성곱 층을 선택적으로 이용하여, m개의 완전연결 층(상기 m은 2 이상의 자연수)으로 통합한다(1140). 단계(1140)는 복수의 합성곱 층 각각을, 다양한 형태의 조합으로 묶어, m개의 완전연결 층으로 통합하는 과정일 수 있다.In addition, the dynamic multidimensional disease diagnosis apparatus 100 selectively uses the n convolutional layers and integrates them into m fully connected layers (where m is a natural number of 2 or more) (1140). Step 1140 may be a process of tying each of the plurality of convolutional layers into various combinations and integrating them into m fully connected layers.

이후, 동적 다차원 질병진단 장치(100)는 상기 n개의 합성곱 층과, 상기 m개의 완전연결 층과의 순차조합을 구성하여, 상기 자동화 이미지 내의 상기 병변에 대한 분류 정보를 포함하는 최적 구조층을 출력한다(1150). 단계(1150)는 생성/통합된 합성곱 층과 완전연결 층을 각각 일대일 조합하여 최소 n*m 개의 최적 구조층을 출력하는 과정일 수 있다.Thereafter, the dynamic multidimensional disease diagnosis apparatus 100 constructs a sequential combination of the n convolutional layers and the m fully-connected layers, and provides an optimal structure layer including classification information for the lesion in the automated image. Output (1150). Step 1150 may be a process of outputting at least n*m optimal structure layers by combining the generated/integrated convolutional layers and the fully connected layers one-to-one.

이때, 합성곱 층의 생성된 합성곱 필터가 활용되는 경우, 동적 다차원 질병진단 장치(100)는 상기 n개의 합성곱 층에 반영된 각 합성곱 필터를, 크기 '16 내지 128' 중에서, l개(상기 l은 4 이상의 자연수)를 선택한다. 즉, 동적 다차원 질병진단 장치(100)는 사전에 정한 크기 '16 내지 128' 중에서 l개의 합성곱 필터를 무작위로 선택할 수 있다. 상기 합성곱 필터의 선택 개수 l은 본 발명에서 바람직하게는 4(예, 16, 32, 64, 128)로 정할 수 있다.In this case, when the generated convolutional filter of the convolutional layer is used, the dynamic multidimensional disease diagnosis apparatus 100 selects each convolutional filter reflected in the n convolutional layers, among the sizes '16 to 128', l ( L is a natural number of 4 or more). That is, the dynamic multidimensional disease diagnosis apparatus 100 may randomly select l convolution filters from among the predetermined sizes '16 to 128'. In the present invention, the number of selected convolution filters l may be preferably set to 4 (eg, 16, 32, 64, 128).

이후, 동적 다차원 질병진단 장치(100)는 상기 순차조합에 의해 구성되는 상기 최적 구조층의 개수를, 'n * m * l' 로서 연산할 수 있다. 즉, 동적 다차원 질병진단 장치(100)는 n 개 합성곱 층, m개의 완전연결 층, 4개의 합성곱 필터를 연산하여, n*m*4=64개 조합의 구조 테스트에 관한 최적 구조층을 출력할 수 있다.Thereafter, the dynamic multidimensional disease diagnosis apparatus 100 may calculate the number of the optimal structural layers formed by the sequential combination as'n * m * l'. That is, the dynamic multi-dimensional disease diagnosis apparatus 100 calculates n convolutional layers, m fully connected layers, and 4 convolutional filters to determine the optimal structural layer for a structural test of n*m*4=64 combinations. Can be printed.

분류 정보는, 병변을 진단한 확정 정보일 수 있고, 예컨대 '후두암 30%' 등의 질환명과 진단 확률 등을 포함할 수 있다.The classification information may be confirmation information on which a lesion is diagnosed, and may include, for example, a disease name such as'laryngeal cancer 30%' and a diagnosis probability.

분류 정보의 작성에 있어, 동적 다차원 질병진단 장치(100)는 딥러닝 알고리즘을 통해 상기 최적 구조층 내 병변의 형태 특징과, 데이터베이스로부터 검색하는 후두암 후보 이미지의 형태 특징을 비교할 수 있다. 즉, 동적 다차원 질병진단 장치(100)는 병변으로서의 후두암과 관련하여 표준화된 후두암 후보 이미지를 검색해두고, 최적 구조층의 출력에 따라 보다 선명화된 병변을, 상기 검색된 후두암 후보 이미지와 형태적으로 비교할 수 있다.In creating classification information, the dynamic multidimensional disease diagnosis apparatus 100 may compare the shape characteristics of the lesion in the optimal structure layer and the shape characteristics of the laryngeal cancer candidate image retrieved from the database through a deep learning algorithm. That is, the dynamic multi-dimensional disease diagnosis apparatus 100 searches for a standardized laryngeal cancer candidate image in relation to laryngeal cancer as a lesion, and compares a more sharpened lesion with the retrieved laryngeal cancer candidate image according to the output of the optimal structure layer. I can.

또한, 동적 다차원 질병진단 장치(100)는 상기 비교 결과, 상기 형태 특징 간이 정해진 오차 이내에서 일치하면, 후두암 진단에 관한 상기 분류 정보를 만들어, 상기 최적 구조층에 포함시킨다. 즉, 동적 다차원 질병진단 장치(100)는 표준화된 후두암 후보 이미지와, 병변이 형태적으로 유의미하게 일치하면, 해당 병변을 후두암으로 진단하고, 진단된 내용을 포함하여, 분류 정보로서 작성할 수 있다.In addition, the dynamic multidimensional disease diagnosis apparatus 100 generates the classification information related to laryngeal cancer diagnosis and includes it in the optimal structure layer when the comparison result matches the shape characteristics within a predetermined error. That is, the dynamic multi-dimensional disease diagnosis apparatus 100 may diagnose the lesion as laryngeal cancer and create classification information, including the diagnosed content, if the standardized laryngeal cancer candidate image and the lesion are morphologically significant.

실시예에 따라, 동적 다차원 질병진단 장치(100)는 상기 병변과 상기 후두암 후보 이미지와의 비교 결과를, 일치 정도에 따라 수치로 환산하고, 이를 포함하여 분류 정보를 생성할 수 있다.According to an embodiment, the dynamic multidimensional disease diagnosis apparatus 100 may convert a result of comparing the lesion and the candidate image of laryngeal cancer into numerical values according to a degree of agreement, and generate classification information including the result.

상술한 바와 같이, 분류 정보는 최적 구조층에 포함될 수 있다.As described above, the classification information may be included in the optimal structure layer.

다른 실시예에서, 동적 다차원 질병진단 장치(100)는 상기 후두암 진단에 따라, 상기 내시경 검사 이미지에 대해, 상기 병변을 중심으로 갖는 POI 박스를 마킹하고, 상기 분류 정보를, 상기 POI 박스에 태킹시킬 수 있다. 즉, 동적 다차원 질병진단 장치(100)는 상기 내시경 검사 이미지 중에서, 사용자(의사)가 관심을 가져야 할 부분을 POI 박스로 마킹 하고, 진단된 질환명에 연결되어 보여지도록 할 수 있다. 상기 POI 박스는, 예컨대 자동화 이미지에 상응되는 크기로, 내시경 검사 이미지에 마킹될 수 있고, 또는 병변의 외형을 적어도 포함하는 최소 크기의 사각형으로, 내시경 검사 이미지에 마킹될 수 있다.In another embodiment, according to the diagnosis of laryngeal cancer, the dynamic multi-dimensional disease diagnosis apparatus 100 marks the POI box having the lesion as the center of the endoscopy image, and tags the classification information on the POI box. I can. That is, the dynamic multidimensional disease diagnosis apparatus 100 may mark a portion of the endoscopy image that the user (doctor) should be interested in as a POI box, and connect to the diagnosed disease name to be displayed. The POI box may be, for example, a size corresponding to an automated image, and may be marked on an endoscopy image, or may be a square having a minimum size including at least the appearance of a lesion, and may be marked on the endoscopy image.

이를 통해, 동적 다차원 질병진단 장치(100)는 본 발명에 따른 기계학습에 따라, 식도를 통과하면서 촬영된 내시경 검사 이미지 내에 포함되는 병변(후두암)에 대해, 그 실체적인 질환명 및 진단 정확도를 포함하여 디스플레이 함으로써, 이를 확인한 사용자(의사)로 하여금, 신속하고 용이하게 후두암을 최종 진단하도록 지원할 수 있다.Through this, the dynamic multidimensional disease diagnosis apparatus 100 includes the actual disease name and diagnosis accuracy for a lesion (laryngeal cancer) included in an endoscopy image taken while passing through the esophagus according to machine learning according to the present invention. By displaying and displaying, it is possible to support a user (doctor) who has confirmed this to quickly and easily diagnose laryngeal cancer.

본 발명의 일실시예에 따르면, 구조화 의료영상정보 뿐만 아니라, 내시경 촬영물에 관한 비구조화 의료영상정보를 대상으로 딥러닝 기반의 정적 및 동적으로 실시간 진단예측을 가능하게 할 수 있다.According to an embodiment of the present invention, it is possible to perform deep learning-based static and dynamic real-time diagnosis prediction for not only structured medical image information, but also unstructured medical image information about an endoscopic photograph.

또한, 본 발명의 일실시예에 따르면, 인체 삽입용 카메라의 픽셀 프레임 내부에 해당 변병부위가 최적 위치가 될 때, 활성화될 수 있는 서브 픽셀 프레임을 구성하여 실시간 구현 및 진단예측의 정교성을 재고할 수 있다.In addition, according to an embodiment of the present invention, a sub-pixel frame that can be activated when a corresponding lesion is at an optimal position inside a pixel frame of a camera for inserting a human body is configured to reconsider the sophistication of real-time implementation and diagnostic prediction. I can.

또한, 본 발명의 일실시예에 따르면, 원시데이터의 전처리와 데이터 증강 기법을 활용하고, 또한 모델 하이퍼파라메타(학습률, epoch, 배치크기, 등) 및 네트워크의 구조적 최적화를 위한 앙상블 기법을 이용하여, 예측모형의 정교성을 향상시킬 수 있다.In addition, according to an embodiment of the present invention, using a pre-processing of raw data and a data augmentation technique, and using a model hyperparameter (learning rate, epoch, batch size, etc.) and an ensemble technique for structural optimization of a network, The sophistication of the prediction model can be improved.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited drawings, a person of ordinary skill in the art can apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments and claims and equivalents fall within the scope of the following claims.

100 : 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 장치
110 : 추출부 120 : 생성부
130 : 모델학습부 140 : 처리부100: Dynamic multi-dimensional disease diagnosis device based on deep learning of medical image information
110: extraction unit 120: generation unit
130: model learning unit 140: processing unit

Claims (14)

내시경 검사 이미지로부터 병변을 포함하는 자동화 이미지를 추출하는 단계;
전처리를 통해, 상기 자동화 이미지에 대한 다수의 학습 데이터를 생성하는 단계;
상기 다수의 학습 데이터에 대한 필터링 처리에 의해, n개의 합성곱 층(Convolutional layer)(상기 n은 2 이상의 자연수)을 작성하는 단계;
상기 n개의 합성곱 층을 선택적으로 이용하여, m개의 완전연결 층(Fully connected layer)(상기 m은 2 이상의 자연수)으로 통합하는 단계; 및
상기 n개의 합성곱 층과, 상기 m개의 완전연결 층과의 순차조합을 구성하여, 상기 자동화 이미지 내의 상기 병변에 대한 분류 정보를 포함하는 최적 구조층을 출력하는 단계
를 포함하는 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법.Extracting an automated image including the lesion from the endoscopy image;
Generating a plurality of training data for the automated image through preprocessing;
Creating n convolutional layers (where n is a natural number of 2 or more) by filtering the plurality of training data;
Selectively using the n convolutional layers and integrating them into m fully connected layers (where m is a natural number of 2 or more); And
Configuring a sequential combination of the n convolutional layers and the m fully connected layers, and outputting an optimal structure layer including classification information for the lesion in the automated image
A dynamic multidimensional disease diagnosis method based on deep learning of medical image information comprising a. 제1항에 있어서,
상기 자동화 이미지를 추출하는 단계는,
상기 내시경 검사 이미지 중에서, 상기 병변을 적어도 포함하는 이미지 영역을 지정하는 단계; 및
상기 지정된 이미지 영역에 대해, 흑백을 전환하거나, 또는 규정된 사이즈로의 크기 조정을 통해, 상기 자동화 이미지를 추출하는 단계
를 포함하는 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법.The method of claim 1,
Extracting the automated image,
Designating an image region including at least the lesion from among the endoscopy images; And
For the designated image area, converting black and white or extracting the automated image through resizing to a prescribed size
A dynamic multidimensional disease diagnosis method based on deep learning of medical image information comprising a. 제1항에 있어서,
상기 다수의 학습 데이터를 생성하는 단계는,
회전, 각도/틸트 변경, 및 zca-whitening 중 어느 하나의 전처리에 따른 상기 자동화 이미지에 대한 편집을 통해, 상기 학습 데이터의 개수를 증가시켜 생성하는 단계
를 포함하는 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법.The method of claim 1,
Generating the plurality of training data,
Generating by increasing the number of learning data through editing of the automated image according to any one of rotation, angle/tilt change, and zca-whitening
A dynamic multidimensional disease diagnosis method based on deep learning of medical image information comprising a. 제1항에 있어서,
상기 다수의 학습 데이터를 생성하는 단계는,
상기 병변을 중심으로, 상기 자동화 이미지의 사이즈를 크로핑(cropping)하여, 상기 학습 데이터의 개수를 증가시켜 생성하는 단계
를 포함하는 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법.The method of claim 1,
Generating the plurality of training data,
Generating by cropping the size of the automated image around the lesion to increase the number of training data
A dynamic multidimensional disease diagnosis method based on deep learning of medical image information comprising a. 제1항에 있어서,
상기 최적 구조층을 출력하는 단계는,
상기 n개의 합성곱 층에 반영된 각 합성곱 필터를, 크기 '16 내지 128' 중에서, l개(상기 l은 4 이상의 자연수)를 선택하는 단계; 및
상기 순차조합에 의해 구성되는 상기 최적 구조층의 개수를, 'n * m * l' 로서 연산하는 단계
를 포함하는 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법.The method of claim 1,
The step of outputting the optimal structure layer,
Selecting l (where l is a natural number greater than or equal to 4) each of the convolution filters reflected in the n convolutional layers from a size of '16 to 128'; And
Calculating the number of the optimal structural layers constituted by the sequential combination as'n * m * l'
A dynamic multidimensional disease diagnosis method based on deep learning of medical image information comprising a. 제1항에 있어서,
딥러닝 알고리즘을 통해 상기 최적 구조층 내 병변의 형태 특징과, 데이터베이스로부터 검색하는 후두암 후보 이미지의 형태 특징을 비교하는 단계; 및
상기 비교 결과, 상기 형태 특징 간이 정해진 오차 이내에서 일치하면,
후두암 진단에 관한 상기 분류 정보를 만들어, 상기 최적 구조층에 포함시키는 단계
를 더 포함하는 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법.The method of claim 1,
Comparing the shape characteristics of the lesion in the optimal structure layer and the shape characteristics of the laryngeal cancer candidate image retrieved from the database through a deep learning algorithm; And
As a result of the comparison, if the shape characteristics match within a predetermined error,
Creating the classification information related to the diagnosis of laryngeal cancer and including it in the optimal structure layer
A dynamic multidimensional disease diagnosis method based on deep learning of medical image information further comprising a. 제6항에 있어서,
상기 후두암 진단에 따라, 상기 내시경 검사 이미지에 대해, 상기 병변을 중심으로 갖는 POI(Point of Interest]) 박스를 마킹하는 단계; 및
상기 분류 정보를, 상기 POI 박스에 태킹시키는 단계
를 더 포함하는 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법.The method of claim 6,
Marking a POI (Point of Interest) box centered on the lesion on the endoscopy image according to the diagnosis of laryngeal cancer; And
Tagging the classification information to the POI box
A dynamic multidimensional disease diagnosis method based on deep learning of medical image information further comprising a. 내시경 검사 이미지로부터 병변을 포함하는 자동화 이미지를 추출하는 추출부;
전처리를 통해, 상기 자동화 이미지에 대한 다수의 학습 데이터를 생성하는 생성부;
상기 다수의 학습 데이터에 대한 필터링 처리에 의해, n개의 합성곱 층(상기 n은 2 이상의 자연수)을 작성하고, 상기 n개의 합성곱 층을 선택적으로 이용하여, m개의 완전연결 층(상기 m은 2 이상의 자연수)으로 통합하는 모델학습부; 및
상기 n개의 합성곱 층과, 상기 m개의 완전연결 층과의 순차조합을 구성하여, 상기 자동화 이미지 내의 상기 병변에 대한 분류 정보를 포함하는 최적 구조층을 출력하는 처리부
를 포함하는 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 장치.Extraction unit for extracting an automated image including the lesion from the endoscopy image;
A generator for generating a plurality of learning data for the automated image through pre-processing;
By filtering the plurality of training data, n convolutional layers (where n is a natural number greater than or equal to 2) are created, and m fully connected layers (m is A model learning unit that integrates into 2 or more natural numbers); And
A processing unit configured to sequentially combine the n convolutional layers and the m fully connected layers to output an optimal structure layer including classification information for the lesion in the automated image
A dynamic multidimensional disease diagnosis apparatus based on deep learning of medical image information comprising a. 제8항에 있어서,
상기 추출부는,
상기 내시경 검사 이미지 중에서, 상기 병변을 적어도 포함하는 이미지 영역을 지정하고,
상기 지정된 이미지 영역에 대해, 흑백을 전환하거나, 또는 규정된 사이즈로의 크기 조정을 통해, 상기 자동화 이미지를 추출하는
동적 다차원 질병진단 장치.The method of claim 8,
The extraction unit,
In the endoscopy image, an image region including at least the lesion is designated,
For the designated image area, converting black and white, or extracting the automated image through resizing to a prescribed size
Dynamic multi-dimensional disease diagnosis device. 제8항에 있어서,
상기 생성부는,
회전, 각도/틸트 변경, 및 zca-whitening 중 어느 하나의 전처리에 따른 상기 자동화 이미지에 대한 편집을 통해, 상기 학습 데이터의 개수를 증가시켜 생성하는
동적 다차원 질병진단 장치.The method of claim 8,
The generation unit,
Generated by increasing the number of learning data through editing of the automated image according to any one of rotation, angle/tilt change, and zca-whitening
Dynamic multi-dimensional disease diagnosis device. 제8항에 있어서,
상기 생성부는,
상기 병변을 중심으로, 상기 자동화 이미지의 사이즈를 크로핑(cropping)하여, 상기 학습 데이터의 개수를 증가시켜 생성하는
동적 다차원 질병진단 장치.The method of claim 8,
The generation unit,
Generated by cropping the size of the automated image around the lesion, increasing the number of training data
Dynamic multi-dimensional disease diagnosis device. 제8항에 있어서,
상기 처리부는,
상기 n개의 합성곱 층에 반영된 각 합성곱 필터를, 크기 '16 내지 128' 중에서, l개(상기 l은 4 이상의 자연수)를 선택하고,
상기 순차조합에 의해 구성되는 상기 최적 구조층의 개수를, 'n * m * l' 로서 연산하는
동적 다차원 질병진단 장치.The method of claim 8,
The processing unit,
For each convolutional filter reflected in the n convolutional layers, l (where l is a natural number greater than or equal to 4) selected from a size of '16 to 128',
The number of the optimal structural layers constituted by the sequential combination is calculated as'n * m * l'
Dynamic multi-dimensional disease diagnosis device. 제8항에 있어서,
상기 처리부는,
딥러닝 알고리즘을 통해 상기 최적 구조층 내 병변의 형태 특징과, 데이터베이스로부터 검색하는 후두암 후보 이미지의 형태 특징을 비교하고,
상기 비교 결과, 상기 형태 특징 간이 정해진 오차 이내에서 일치하면,
후두암 진단에 관한 상기 분류 정보를 만들어, 상기 최적 구조층에 포함시키는
동적 다차원 질병진단 장치.The method of claim 8,
The processing unit,
Through a deep learning algorithm, the shape characteristics of the lesion in the optimal structure layer and the shape characteristics of the laryngeal cancer candidate image searched from the database are compared,
As a result of the comparison, if the shape characteristics match within a predetermined error,
Create the classification information related to the diagnosis of laryngeal cancer, to include in the optimal structure layer
Dynamic multi-dimensional disease diagnosis device. 제13항에 있어서,
상기 처리부는,
상기 후두암 진단에 따라, 상기 내시경 검사 이미지에 대해, 상기 병변을 중심으로 갖는 POI 박스를 마킹하고,
상기 분류 정보를, 상기 POI 박스에 태킹시키는
동적 다차원 질병진단 장치.The method of claim 13,
The processing unit,
According to the diagnosis of laryngeal cancer, with respect to the endoscopy image, a POI box having the lesion as the center is marked,
Tagging the classification information to the POI box
Dynamic multi-dimensional disease diagnosis device.
KR1020190080524A 2019-03-13 2019-07-04 Method and device for confirming dynamic multidimensional lesion location based on deep learning in medical image information KR102259275B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190028554 2019-03-13
KR20190028554 2019-03-13

Publications (2)

Publication Number Publication Date
KR20200110111A true KR20200110111A (en) 2020-09-23
KR102259275B1 KR102259275B1 (en) 2021-06-01

Family

ID=72708473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190080524A KR102259275B1 (en) 2019-03-13 2019-07-04 Method and device for confirming dynamic multidimensional lesion location based on deep learning in medical image information

Country Status (1)

Country Link
KR (1) KR102259275B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6935663B1 (en) * 2021-02-08 2021-09-15 国立大学法人九州工業大学 Oral mucosal disease diagnosis support system, method and program
WO2022114357A1 (en) * 2020-11-25 2022-06-02 주식회사 아이도트 Image diagnosis system for lesion
KR20220147957A (en) 2021-04-28 2022-11-04 자이메드 주식회사 Apparatus and method for displaying tissue of biometric image
KR102600668B1 (en) 2022-10-18 2023-11-10 메디컬아이피 주식회사 Disease prediction method and apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014100570A (en) * 2012-11-16 2014-06-05 Samsung Electronics Co Ltd Computer auxiliary diagnostic method and device
KR101857624B1 (en) * 2017-08-21 2018-05-14 동국대학교 산학협력단 Medical diagnosis method applied clinical information and apparatus using the same
KR20180092797A (en) * 2017-02-10 2018-08-20 연세대학교 산학협력단 Apparatus and method for diagnosing a medical condition on the baisis of medical image
US20180263568A1 (en) * 2017-03-09 2018-09-20 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Clinical Image Classification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014100570A (en) * 2012-11-16 2014-06-05 Samsung Electronics Co Ltd Computer auxiliary diagnostic method and device
KR20180092797A (en) * 2017-02-10 2018-08-20 연세대학교 산학협력단 Apparatus and method for diagnosing a medical condition on the baisis of medical image
US20180263568A1 (en) * 2017-03-09 2018-09-20 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Clinical Image Classification
KR101857624B1 (en) * 2017-08-21 2018-05-14 동국대학교 산학협력단 Medical diagnosis method applied clinical information and apparatus using the same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
박현철 외 3명, 합성곱 신경망을 이용한 대장내시경 영상 분류, 한국차세대컴퓨팅학회 논문지, 한국차세대컴퓨팅학회, Vol.14, no.1, pp.89-98, 2018.02.29. 1부.* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022114357A1 (en) * 2020-11-25 2022-06-02 주식회사 아이도트 Image diagnosis system for lesion
JP6935663B1 (en) * 2021-02-08 2021-09-15 国立大学法人九州工業大学 Oral mucosal disease diagnosis support system, method and program
JP2022121091A (en) * 2021-02-08 2022-08-19 国立大学法人九州工業大学 Diagnosis supporting system of oral mucosal diseases, method, and program
KR20220147957A (en) 2021-04-28 2022-11-04 자이메드 주식회사 Apparatus and method for displaying tissue of biometric image
KR102600668B1 (en) 2022-10-18 2023-11-10 메디컬아이피 주식회사 Disease prediction method and apparatus

Also Published As

Publication number Publication date
KR102259275B1 (en) 2021-06-01

Similar Documents

Publication Publication Date Title
KR102259275B1 (en) Method and device for confirming dynamic multidimensional lesion location based on deep learning in medical image information
CN110807755B (en) Plane selection using locator images
JP6525912B2 (en) Image classification device, method and program
US10452957B2 (en) Image classification apparatus, method, and program
KR101943011B1 (en) Method for facilitating medical image reading and apparatus using the same
US20170046833A1 (en) 3D Reconstruction and Registration of Endoscopic Data
US20200090350A1 (en) Medical image generation, localizaton, registration system
US20200226752A1 (en) Apparatus and method for processing medical image
JP5584006B2 (en) Projection image generation apparatus, projection image generation program, and projection image generation method
Shen et al. Mass image synthesis in mammogram with contextual information based on GANs
CN110110808B (en) Method and device for performing target labeling on image and computer recording medium
CN113239755B (en) Medical hyperspectral image classification method based on space-spectrum fusion deep learning
CN112529834A (en) Spatial distribution of pathological image patterns in 3D image data
KR102258756B1 (en) Determination method for stage of cancer based on medical image and analyzing apparatus for medical image
KR102427171B1 (en) Method and Apparatus for providing object labeling within Video
CN112862745B (en) Training method and training system for tissue lesion recognition based on artificial neural network
JP2011161104A (en) Image generator, image generation method, and program thereof
WO2021081771A1 (en) Vrds ai medical image-based analysis method for heart coronary artery, and related devices
JP2023027751A (en) Medical image processing device and medical image processing method
KR102136107B1 (en) Apparatus and method for alignment of bone suppressed chest x-ray image
Paul et al. Computer-Aided Diagnosis Using Hybrid Technique for Fastened and Accurate Analysis of Tuberculosis Detection with Adaboost and Learning Vector Quantization
Morano et al. Deep Multimodal Fusion of Data with Heterogeneous Dimensionality via Projective Networks
Deng et al. CT Image Analysis and Clinical Diagnosis of New Coronary Pneumonia Based on Improved Convolutional Neural Network
WO2022226949A1 (en) Artificial neural network-based identification method and system for tissue lesion identification
CN107092774A (en) A kind of method and device that reference information is provided

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant