CN114127858A - 利用深度学习模型的影像诊断装置及其方法 - Google Patents

利用深度学习模型的影像诊断装置及其方法 Download PDF

Info

Publication number
CN114127858A
CN114127858A CN202080049224.5A CN202080049224A CN114127858A CN 114127858 A CN114127858 A CN 114127858A CN 202080049224 A CN202080049224 A CN 202080049224A CN 114127858 A CN114127858 A CN 114127858A
Authority
CN
China
Prior art keywords
deep learning
learning model
image
normal
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080049224.5A
Other languages
English (en)
Inventor
李文用
朴荣辰
千钟基
高荣晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seegene Medical Consortium
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Seegene Medical Consortium
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seegene Medical Consortium, Korea Advanced Institute of Science and Technology KAIST filed Critical Seegene Medical Consortium
Publication of CN114127858A publication Critical patent/CN114127858A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)

Abstract

本说明书中公开了利用深度学习模型的影像诊断装置以及方法，对于输入的医学影像中提取的特征，使用针对是正常但被判断为异常的概率分布和是异常但被判断为正常的概率分布赋予不同的加权值的加权损失函数，利用学习的深度学习模型，将输入的医学影像中包含的组织分类为疾病的正常和异常中的一个。

Description

利用深度学习模型的影像诊断装置及其方法
技术领域
本说明书提供了一种对影像中包含的组织进行疾病诊断的利用深度学习模型的影像诊断装置及其方法。
背景技术
一般来说，影像诊断装置是一种为了帮助医生的诊断而从医学影像中利用计算机自动判别有无疾病的技术。
一般的影像诊断装置，着眼于通过应用深度学习模型来提高对有无疾病的准确度，但即使提高对有无疾病的准确度，实质上也不能帮助医生进行诊断。
发明内容
所要解决的技术问题
本实施例可以提供一种利用深度学习模型的影像诊断装置及其方法，以提高影像诊断的特异性或影像诊断的灵敏度。
此外，本实施例还可以提供一种利用深度学习模型的影像诊断装置及其方法，能够使得因延误或错过疾病治疗时机而对患者造成致命问题的影像诊断错误最少。
解决技术问题的手段
在一方面，本实施例可以提供一种利用深度学习模型的影像诊断装置以及方法，对于从输入的医学影像中提取的特征，使用加权损失函数，利用已学习的深度学习模型，将输入的医学影像所包含的组织分类为疾病的正常和异常中的一个，所述加权损失函数对是正常但被判断为异常的概率分布和是异常但被判断为正常的概率分布赋予不同的加权值。
在另一方面，本实施例可以提供一种利用深度学习模型的影像诊断装置，包括：影像输入部，接收包含人体组织的医学影像的输入；分类部，对于从输入的医学影像中提取的特征，使用加权损失函数，利用已学习的深度学习模型，将输入的医学影像所包含的组织分类为疾病的正常和异常中的一个，所述加权损失函数对是正常但被判断为异常的概率分布和是异常但被判断为正常的概率分布赋予不同的加权值；以及结果输出部，输出分类部中分类的结果。
在又另一方面，本实施例可以提供一种利用深度学习模型的影像诊断方法，包括：影像输入步骤，接收包含人体组织的医学影像的输入；分类步骤，对于从输入的医学影像中提取的特征，使用加权损失函数，利用已学习的深度学习模型，将输入的医学影像所包含的组织分类为疾病的正常和异常中的一个，所述加权损失函数对是正常但被判断为异常的概率分布和是异常但被判断为正常的概率分布赋予不同的加权值；以及结果输出步骤，输出分类步骤中分类的结果。
发明效果
根据本实施例的利用深度学习模型的影像诊断装置及其方法能够提高影像诊断的特异性或影像诊断的灵敏度。
此外，根据本实施例的利用深度学习模型的影像诊断装置及其方法能够使得因延误或错过疾病治疗时机而对患者造成致命问题的影像诊断错误最少。
附图说明
图1是本发明的一实施例所涉及的利用深度学习模型的影像诊断装置的概念图。
图2是图1的分类部的概念图。
图3是图1的分类部所使用的深度学习模型的结构图。
图4a和图4b示出在图1的分类部所使用的深度学习模型中应用和不应用dropout技术时所有节点的连接状态。
图5是本发明的另一实施例所涉及的利用深度学习模型的影像诊断装置的概念图。
图6是本发明的又一个实施例所涉及的利用深度学习模型的影像诊断方法的流程图。
图7和图8是相对示出根据实验例3的灵敏度(sensitivity)、特异性(specificity)、准确度(accuracy)的图。
图9是本发明的又一个实施例所涉及的影像分类装置的概念图。
具体实施方式
下面，参考示例性附图详细说明本发明的一些实施例。在对每幅图的构成要素赋予附图标记时，对于相同的构成要素，即使在不同的附图中示出的情况下，也尽可能使用相同的附图标记。另外，在说明本实施例时，如果认为有关公知结构或功能的详细说明可能使本技术构思的主旨变得模糊，则可以省略其详细说明。当使用本说明书中提到的“包括”、“具有”、“由……组成”等时，除非使用“仅”，否则可以增加其他部分。构成要素以单数表示的，除非另有说明，否则也可以包括复数的情况。
另外，在说明本发明的构成要素时，可以使用第一、二、A、B、(a)、(b)等术语。这些术语只是为了将该构成要素与其他构成要素区分开来，该构成要素的本质、次序、顺序或数量等不受该术语的限定。
在对构成要素之间的位置关系的说明中，如果记载有两个以上的构成要素是“连接”、“结合”或“接合”等时，两个以上的构成要素可以直接“连接”、“结合”或“接合”，但也可以理解为，两个以上的构成要素还可以“经由”其他构成要素“连接”、“结合”或“接合”。在这里，其他构成要素也可以包含在相互“连接”、“结合”或“接合”的两个以上的构成要素中的一个以上中。
在对构成要素、动作方法或制作方法等相关的时间流向关系的说明上，例如，以“～后”、“～接着”、“～之后”、“～之前”等术语说明时间先后关系或流向先后关系时，除非使用“立即”或“直接”，否则也可以包括不连续的情况。
另一方面，如果涉及构成要素的数值或其对应信息(如级别等)时，即使没有单独的明确记载，也可以解释为数值或其对应信息包含基于各种因素(如工序上的因素、内部或外部冲击、噪声等)可能产生的误差范围。
本领域的技术人员应当理解，在本发明的详细说明和权利要求中，“学习”或“learning”是指通过程序计算进行机器学习(machine learning)的术语，它并不是指人类的教育活动等精神上的活动。
下面参考附图详细说明本发明的实施例。
图1是本发明的一实施例所涉及的利用深度学习模型的影像诊断装置的概念图。图2是图1的分类部的概念图。
参考图1，本发明的一实施例所涉及的利用深度学习模型的影像诊断装置10包括：影像输入部12，接收影像的输入；分类部14，使用被赋予不同加权值的加权损失函数，利用已学习的深度学习模型进行影像的分类；以及结果输出部16，输出分类部14中分类的结果。
影像输入部12可以接收包括生物组织、例如人体组织的医学影像的输入。例如，影像输入部12可以从对人体组织拍摄医学影像并存储所拍摄影像的医学影像系统接收医学影像。
医学影像可以是人体的组织，例如肝、胃、心脏、小肠、大肠等。此外，疾病可以是癌症、炎症、骨折等。在本说明书中，以医学影像为对人体大肠进行拍摄的影像、疾病为大肠癌为例进行说明，但本发明不限于此。
在本说明书中，深度学习模型(deep learning model)可以是多层堆叠人工神经网络的形式。即，深度学习模型(deep learning model)是通过在由多层网络组成的深层神经网络(deep neural network)中学习大量数据来自动学习每个影像的特征，由此将目标函数、即预测准确度的错误(error)最小化的方法来使网络进行学习的形式。
在本说明书中，深度学习模型(deep learning model)可以利用例如CNN(Convolutional Neural Network)、DHN(Deep Hierachical Network)、CDBN(Convolutional DeepBelief Network)、DDN(Deconvolutional Deep Network)等，但可以利用当前或将来的多种深度学习模型。本说明书以利用基于CNN的深度学习模型为例进行说明，但本发明不限于此，可以利用当前或将来的多种深度学习模型。
框架的作用是，提前创建在开发深度学习模型时共同使用的功能并以库的形式提供，使得能够很好地使用操作系统级别以下的系统软件或硬件平台。在本实施例中，深度学习框架可以利用当前公开或将来会公开的任何框架来开发深度学习模型。
一般来说，在医学中，特别是在诊断检查医学或预防医学中，作为影像诊断的衡量标准，准确度(accuracy)、灵敏度(sensivity)、特异性(speficity)等概念非常重要。
即，如表1所示，检查结果为阳性时，实际有疾病的称为真阳性(true positive)，实际没有疾病的称为假阳性(false positive)。检查结果为阴性时，实际有疾病的称为假阴性(false negative)，实际没有疾病的称为真阴性(true negative)。假阳性和假阴性分别是诊断结果错误，前者称为I型错误(type I error)，后者称为II型错误(type IIerror)。
[表1]
有疾病(患者) 无疾病(正常人)
检查结果阳性 真阳性(true positive) 假阳性(false positive)
检查结果阴性 假阴性(false negative) 真阴性(true negative)
此时，如果用数学式来表示准确度、特异性和灵敏度，则如数学式1至3所示。
[数学式1]
Figure BDA0003455148670000051
[数学式2]
Figure BDA0003455148670000052
[数学式3]
Figure BDA0003455148670000053
一般来说，深度学习模型可以用来分类该组织是否有病，以便进行影像诊断。一般的深度学习模型为了影像诊断，在分类该组织是否有病时，只专注于提高影像诊断的准确度。
提高影像诊断的准确度是同时最小化I型错误和II型错误。最小化I型错误是提高特异性，最小化II型错误是提高灵敏度。
如上所述，一般的深度学习模型只专注于提高影像诊断的准确度，因此无法专注于提高影像诊断的灵敏度或提高影像诊断的特异性。
分类部14利用专注于提高影像诊断的灵敏度或影像诊断的特异性的、基于加权损失函数的深度学习模型进行影像诊断。
特别是，在影像诊断检查中，为了治疗患者，与假阳性的I型错误相比，最大限度地减少假阴性的II型错误可能更为重要。这是因为，尽管影像诊断显示没有疾病，但真正有疾病的患者可能会延误或错过治疗时间，从而给患者带来致命的问题。
例如，分类部14可以利用专注于提高影像诊断的灵敏度的、基于加权损失函数的深度学习模型来执行影像诊断。
参考图2，分类部14使用被赋予不同加权值的加权损失函数(weight lossfunction)，利用学习的深度学习模型(deep learning model)将输入的医学影像所包含的组织分类为疾病的正常(normal)和异常(abnormal)之一。
一般来说，深度学习模型的目标是通过人工神经网络形式的模型对输入进行某种概率性的预测，并调整模型参数，使该预测与实际值(ground-truth)概率最大限度地相似。例如，如果实际值概率是y＝(1.0，0.0)，而深度学习模型的预测是Y＝(0.4，0.6)，那么模型参数就应该调整为使Y具有更“接近”y的值。这里，需要判断“接近”的衡量标准，换句话说，需要判断不同的方法。在深度学习领域，为此定义了损失函数。例如，在深度学习领域可以使用如数学式4那样的各种损失函数。
[数学式4]
损失函数(loss function)＝
L(abnormal|normal)+L(normal|abnormal)
在数学式4中，L(abnormal|normal)是正常但被判断为异常的概率分布。L(normal|abnormal)是异常但被判断为正常的概率分布。
如上所述，分类部14利用专注于提高影像诊断的特异性或提高影像诊断的准确度的、基于加权损失函数的深度学习模型进行影像诊断。
即，分类部14使用的损失函数可以是：针对是正常但被判断为异常的概率分布(L(abnormal|normal)和是异常但被判断为正常的概率分布L(normal|abnormal)赋予不同的加权值的加权损失函数(weighted loss function)。
换句话说，在分类部14使用的加权损失函数(weight loss function)可以是如数学式5所示的加权损失函数，该加权损失函数对于从输入的医学影像中提取的特征，对是正常但被判断为异常的概率分布和是异常但被判断为正常的概率分布赋予不同的加权值(W1，W2，W1≠W2)。
[数学式5]
加权损失函数(weighted loss function)＝
W1*L(abnormal|normal)+W2*L(normal|abnormal)
在数学式5中，W1是对是正常但被判断为异常的概率分布赋予的第一加权值。W2是对是异常但被判断为正常的概率分布赋予的第二加权值。W1、W2是大于0的实数。
特别是，在深度学习领域的分类问题上，一般使用如下述数学式6所示的交叉熵(cross entropy)。
[数学式6]
Figure BDA0003455148670000071
在数学式6中，yi＝{0(normal)，1(abnormal)}，
Figure BDA0003455148670000072
是各模型估计的估计值，为0至1的实数。
如果将数学式6中的交叉熵(cross entropy)应用到数学式5中的加权损失函数，则可以整理为数学式7。
[数学式7]
Figure BDA0003455148670000073
在数学式7中，yi＝{0(normal)，1(abnormal)}，
Figure BDA0003455148670000081
是各模型估计的估计值，为0至1的实数。
如上所述，在诊断检查中，为了治疗患者，使假阴性的II型错误最小化可能比使假阳性的I型错误最小化更重要。
为了着眼于提高影像诊断的准确度，加权损失函数(weight loss function)可以是：对是异常但被判断为正常的概率分布赋予的第二加权值W2大于对是正常但被判断为异常的概率分布赋予的第一加权值W1(W1＜W2)。
为了便于计算，第一加权值W1和第二加权值W2可以是自然数。例如，第一加权值W1可以是1，第二加权值W2可以是大于1的自然数。
图3是图1的分类部所使用的深度学习模型的结构图。
参考图3，分类部14所使用的深度学习模型包括：特征提取区域(featureextraction part)142，对输入的医学影像进行卷积(convolution)和子采样(subsampling)，以对医学影像提取特征(feature)；以及分类区域(classification part)144，针对提取的特征使用加权损失函数，以对输入的医学影像进行分类。
卷积(convolution)通过在卷积层(convolution lalyer)中利用多个过滤器对医学影像的每个区域创建特征图(feature map)。子采样(subsampling)或池化(pooling)通过在子采样层(subsampling layer)中缩小特征图(feature map)的大小，以提取对位置或旋转变化而不变的医学影像的特征(feature)。
特征提取区域142通过重复卷积(convolution)和/或子采样(subsampling)，可以从医学影像中提取从点、线、面等低级别的特征到复杂而有意义的高级别特征的各种级别的特征。
分类区域144将从特征提取区域142最终提取的特征作为对数学式7的加权损失函数的输入值来使用。
深度学习模型，例如基于CNN的深度学习模型的目标是：以最佳方式学习在特征提取区域142和分类区域(classification part)144中的各单个层中存在的参数。在深度学习模型中，数据的顺序将决定初始参数的值。
深度学习模型可以应用随机采样(数据顺序随机)和正则化技术(regulationtechnique)。随机采样是指训练数据集中学习的训练数据的顺序不同。
正则化技术是指减少过度学习包括噪音在内的训练数据的深度学习模型在测试或诊断中准确性反而下降的过拟合的技术。正则化技术可以是dropout技术或dropconnected技术等。
dropout技术是对特定节点从概率上将参数值指定为0并进行学习的方法。Dropconnected技术是减少节点之间的连接并进行学习的方法。以下作为正则化技术，以dropout技术为例进行说明，但可以是目前或将来能够减少过拟合的任何技术或算法。
图4a和图4b示出在图1的分类部使用的深度学习模型中应用和不应用dropout技术时所有节点的连接状态。在图4b中，
Figure BDA0003455148670000091
表示从各层中删除的节点。
参考图4b，分类部14使用的深度学习模型可以应用dropout技术，该dropout技术在用训练数据学习时，可以以特定概率p去除各层上的节点来进行学习，在学习完成后对实际影像进行分类时，可以按原样考虑所有节点，将每个节点所拥有的加权值乘以概率p。
dropout技术可以在深度学习模型学习时随机去除各层的节点来干扰学习，从而防止学习偏向于训练数据的过拟合(over-fit)。
图5是本发明的另一实施例所涉及的利用深度学习模型的影像诊断装置的概念图。
参考图5，本发明的另一实施例所涉及的利用深度学习模型的影像诊断装置110包括：影像输入部(未图示)，接收影像的输入；分类部114，使用被赋予不同加权值的加权损失函数，利用已学习的两个以上的深度学习模型分别分类影像；以及结果输出部116，组合分类部114中以两个以上的深度学习模型(Deep learning model1至N，N是大于2的自然数)分类的结果来输出最终结果。
影像输入部(未图示)可以与参考图1和图2说明的影像输入部12相同。
分类部114用已学习的两个以上的深度学习模型分别分类影像，并输出两个以上的深度学习模型分类的结果。分类部114可以理解为包括两个以上的分类部14或者两个以上的深度学习模型，该分类部14包括参考图3说明的特征提取区域142和分类区域144，该深度学习模型包括特征提取区域142和分类区域144。
深度学习模型中的全部或一部分可以应用参考4a和4b所述的dropout技术。
两个以上的深度学习模型可以是不同的深度学习模型。因此，不同的深度学习模型即使利用相同的加权实数函数对影像进行分类，也可以表现出不同的灵敏度或特异性。
作为一例，多个深度学习模型中的至少一部分可以是：使用相同的一个深度学习模型，但对于一个深度学习模型，通过调整学习中使用的训练数据的数量或顺序来进行学习的深度学习模型。
作为另一例，多个深度学习模型中的至少一部分可以是：使用相同的一个深度学习模型，但采用不同的dropout技术的深度学习模型。
本实施例可以应用随机采样(数据顺序随机)和dropout技术生成深度学习模型。
作为另一例，深度学习模型中的至少一部分可以是层深或层数不同的深度学习模型。例如，一个深度学习模型的层深或层数可以为35个，另一个深度学习模型的层深或层数可以为35个。
如上所述，两个以上的深度学习模型可以包括：使用结构上相同的一个深度学习模型来生成两个以上的不同的深度学习模型、或者生成在结构上不同的深度学习模型、以及它们的组合。
结果输出部116对两个以上深度学习模型的分类结果进行集成(ensemble)，将医学影像中包含的组织分类为疾病的正常和异常中的一个，并输出最终结果。
如上所述，由于深度学习模型不同，因此可以表现出不同的灵敏度或特异性。因此，通过集成深度学习模型的分类结果，可以提高灵敏度或特异性。
结果输出部116将两个以上深度学习模型的分类结果以基于多数票的集成、基于一致性的集成、基于不确定性的集成中的一个或两个以上为基础进行集成，将医学影像所包含的组织分类为疾病的正常和异常中的一个，最终输出分类结果。
多个深度学习模型使用非常灵活的非线性算法(highly flexible nonlinearalgorithms)。因此，多个深度学习模型的结果值可能会出现很大的偏差。可以减少将多个深度学习模型的分类结果以基于多数票的集成、基于一致性的集成、基于不确定性的集成中的一个或两个以上为基础集成的深度学习模型的结果值、即分类结果的偏差。
换句话说，每个深度学习模型根据学习方式、例如采样顺序、dropout的随机性而学习的内部参数不同。即使使用相同的数据、相同的深度学习模型分别进行学习，每个深度学习模型可以表现出不同的结果。因此，使用一个深度学习模型可能会导致判断错误。因此，本实施例可以生成各种深度学习模型，并通过集成技术将判断错误的危险降到最低。
结果输出部116作为将两个以上的深度学习模型的分类结果进行集成的集成模型(Ensemble Model)，可以应用基于多数票的集成、基于一致性的集成、基于不确定性的集成。
在集成模型中，基于多数票的集成是在两个以上的深度学习模型的分类结果中以多数票来决定最终的分类结果的模型。例如，如果深度学习模型的数量是5个，则3个深度学习模型的分类结果是正常(normal)，而2个深度学习模型的分类结果是异常(abnormal)，那么结果输出部116可以将作为多数分类结果的“正常”输出为最终的分类结果。
用于集成深度学习模型的分类结果的深度学习模型的数量不限于两个以上，但是为了以多数票决定最终分类结果可以是奇数。
在集成模型中，基于一致性的集成是将一致性的分类结果输出为最终的分类结果的模型。
例如，在上述例子中，如果5个深度学习模型的分类结果都是正常(normal)，则输出部116可以将作为多数分类结果的“正常”输出为最终的分类结果。又例如，在上述例子中，如果5个深度学习模型的分类结果都是异常(abnormal)，则输出部116可以将作为多数分类结果的“异常”输出为最终的分类结果。
如上所述，可以是3个深度学习模型的分类结果为正常(normal)，2个深度学习模型的分类结果为异常(abnormal)。作为集成模型而应用基于一致性的集成的结果输出部116可以反映加权损失函数的加权值的相对大小来最终决定分类结果。
例如，在加权损失函数中，当第二加权值W2大于第一加权值W1时，则异常但称其为正常可能更危险。只要一个深度学习模型判断为异常，则结果输出部116可以最终决定分类结果为异常。
相反，在加权损失函数中，当第一加权值W1大于第二加权值W2时，则正常但称其为异常可能更危险。只要一个模型判断为正常，则结果输出部116可以最终决定分类结果为正常。
作为集成模型，基于不确定性的集成是通过两个以上深度学习模型的分类结果的统计值来决定最终的分类结果。
在深度学习领域中，不确定性是指：当深度学习模型不完善或数据不完整时，要考虑深度学习模型学习时可能出现的各种问题，以概率给出结果。
如上所述，在生成深度学习模型的初期，可以用dropout技术任意去除节点，进行多次测试，并通过由此得出的结果的统计值，以概率的方式估计不确定性。
但是，这种方法的缺点是，当进行一次测试时，例如通过100次以上的测试，用结果的统计值来估计概率，因此能耗较大。也就是说，这种过程也可以应用于深度学习模式的学习过程中，但学习时间可能会非常长。
因此，不是在一个深度学习模型中应用dropout技术来计算各种结果值，而是从一开始就使用随机采样和dropout技术生成多个深度学习模型，并用它们的统计值(集成合计的分类结果)获得不确定性或不确定性值。
本实施例可以通过随机采样和dropout生成两个以上的深度学习模型，并从两个以上的深度学习模型中集成这些结果值、即集成分类结果，以示出不确定性值。
基于不确定性的集成可以利用平均可靠性(confidence average)或标准偏差(standard deviation)中的一个来集成两个以上的深度学习模型的分类结果。
平均可靠性Θ值不是不确定性值，而是单纯的集成值，标准偏差σ值是表示不确定性的指标之一。
平均可靠性Θ值或标准偏差σ值越低，最终分类结果的敏感度越高，或者特异性越低。与此相关，在实验例4和5中，在数学式7的加权损失函数中应用W1：W2＝1：50的情况下，实验证明，平均可靠性Θ值或标准偏差σ值越低，最终分类结果的敏感度越高。
以上参考图1至5说明了本发明的实施例所涉及的利用深度学习模型的影像诊断装置10、110。下面，参考图6，说明本发明的另一实施例所涉及的利用深度学习模型的影像诊断方法。
图6是本发明的又一实施例所涉及的利用深度学习模型的影像诊断方法的流程图。
参考图6，又一实施例所涉及的利用深度学习模型的影像诊断方法200包括以下步骤：影像输入步骤S210，接收包含人体组织的医学影像的输入；分类步骤S220，对于从输入的医学影像中提取的特征，使用对是正常但被判断为异常的概率分布和是异常但被判断为正常的概率分布赋予不同加权值的加权损失函数，利用已学习的深度学习模型，将输入的医学影像所包含的组织分类为疾病的正常和异常中的一个；以及结果输出步骤，输出分类步骤S220中分类的结果。
如参考图3说明的那样，深度学习模型可以包括：特征提取区域，针对输入的医学影像进行卷积和子采样，以对医学影像提取特征；以及分类区域，针对提取的特征使用加权损失函数，以对输入的医学影像进行分类。
如参考数学式4至7说明的那样，在加权损失函数中，第二加权值可以大于第一加权值，第二加权值是对是异常但被判断为正常的概率分布赋予的加权值，第一加权值是对是正常但被判断为异常的概率分布赋予的加权值。
与参考图5说明的一样，深度学习模型的数量可以为两个以上。在结果输出步骤S230中，可以输出将两个以上深度学习模型的分类结果进行集成而将医学影像所包含的组织分类为疾病的正常和异常中的一个的分类结果。
在参考图5对利用深度学习模型的图像诊断装置(110)如上所述的那样，多个深度学习模型的全部或一部分可以应用dropout技术，该dropout技术在用训练数据学习时，可以以特定概率p去除各层上的节点来学习，在学习完成并进行测试时，可以按原样考虑所有节点，对每个节点所拥有的加权值乘以该概率p。
多个深度学习模型中的至少一部分可以是：使用相同的一个深度学习模型，但对于一个深度学习模型，通过调整学习中使用的训练数据的数量或顺序来进行学习。
深度学习模型中的至少一部分可以与层深或层数不同的其他深度学习模型不同。
在结果输出步骤S230中，可以将两个以上的深度学习模型的分类结果以基于多数票的集成、基于一致性的集成、基于不确定性的集成中的一个或两个以上为基础进行集成，并将医学影像所包含的组织分类为疾病的正常和异常中的一个，最终输出分类结果。
基于不确定性的集成可以利用平均可靠性或标准偏差中的一个来集成两个以上的深度学习模型的分类结果。
医学影像可以是人体组织，例如肝、胃、心脏、小肠、大肠等。此外，疾病可以是癌症、炎症、骨折等。例如，医学影像可以是从人体大肠拍摄的影像，疾病可以是大肠癌。
如上所述，一般的深度学习模型为了影像诊断，在分类该组织是否有病时，只专注于提高影像诊断的准确度。与此相反，上述的本发明的实施例所涉及的利用深度学习模型的影像诊断装置及其方法利用基于被赋予不同加权值的加权损失函数的深度学习模型，因此可以提高影像诊断的特异性或影像诊断的灵敏度。
上述的本发明的实施例所涉及的利用深度学习模型的影像诊断装置及其方法利用基于被赋予不同加权值的加权损失函数的深度学习模型，因此具有能够使得因延误或错过疾病治疗时机而对患者造成致命问题的假阴性II型错误最小化的效果。
上述的本发明的实施例所涉及的利用深度学习模型的影像诊断装置及其方法可以集成两个以上深度学习模型的分类结果，因此可以进一步提高影像诊断的特异性或影像诊断的灵敏度。
下面，通过应用本发明的实施例所涉及的利用深度学习模型的影像诊断装置及其方法的实验例证明可以进一步提高影像诊断的灵敏度，以能够使得因延误或错过疾病治疗时机而对患者造成致命问题的假阴性II型错误最小化。
实验例1
个别深度学习模型利用残差网络(resisual networks)，使用了densenet35。dropout技术对分类层(classification layer)或分类区域(在图3中为144)应用了p＝0.5概率。
[表2]
Figure BDA0003455148670000151
实验例1中使用的Densenet(Densely Connected Convolutional Networks：密集连通卷积网络)是2016年Gao Huang等人通过论文(https://arxiv.org/abs/1608.06993)发表的CNN模型之一。Densenet提出了将输入值继续向输出值的通道方向合并的密集连接(Dense connectivity)。在表2中，过渡层(transition layer)是指卷积层(convolutionlalyer)和子采样层(subsampling layer)的统称。如果通过过渡层(Transition Layer)，特征图的大小会减小。为了在Densenet中应用密集连接(Dense connectivity)，特征图的大小可以相同。将共享相同特征图大小的运算集合在一起构成密集块(dense block)，并在其中应用密集连接(dense connectivity)。
如果通过所有密集块(dense block)的特征图的数量是m个，则经过过渡层就会变成θm个(0＜θ≤1)。其中，θ值是指定的超参数(hyper parameter)。如果是1，则特征图的数量不会改变，而是继续积累。
在数学式7的加权损失函数中，如表3所示，在固定第一加权值W1的值的情况下，调整第二加权值W2的值，生成了个别深度学习模型(框架的第一步骤测试)。
[表3]
Figure BDA0003455148670000161
Figure BDA0003455148670000171
首先，将第一加权值W2的值调整为表3的2至100，并在表4中利用训练数据生成其他深度学习模型(框架的第二步骤测试)。
[表4]
正常 异常
训练 3536 3575
验证 401 401
测试 340 340
对生成的其他深度学习模型进行测试的结果如下表5。
[表5]
Figure BDA0003455148670000172
Figure BDA0003455148670000181
将表5中的灵敏度(sensitivity)、特异性(specificity)、准确度(accuracy)相对曲线化，则如图7和图8所示。
参考图7可知，针对在固定第一加权值W1的值的情况下、调整第二加权值W2的值的其他深度学习模型进行了测试的分类结果显示，在数学式7的加权损失函数中，第二加权值W2的值越大，灵敏度(sensitivity)与特异性(specificity)和准确度(accuracy)相比相对有所改善。
参考图8，针对在固定第一加权值W1的值的情况下、调整第二加权值W2的值的其他深度学习模型进行测试的分类结果显示，在数学式7的加权损失函数中，第二加权值W2的值越大，灵敏度(sensitivity)越小的情况相比，相对有所改善。
实验例2
个别深度学习模型利用残差网络(resisual networks)，使用了densenet35(参考表2)。dropout技术对分类层或分类区域(在图3中为144)应用了p＝0.5概率。
在数学式7的加权损失函数中，如表3所示，在固定第二加权值W2的值的情况下，调整第一加权值W1的值，生成了个别深度学习模型(框架的第一步骤测试)。
首先，将第一加权值W2的值固定为50，并利用表4中的训练数据，应用随机采样和dropout技术，生成了5个不同的深度学习模型(框架的第二步骤测试)。
对生成的5个不同深度学习模型进行测试的结果如下表6所示。在表6中，DenseNet35是在加权损失函数中应用W1：W2＝1：1、即一般损失函数的情况下，对5个不同深度学习模型进行测试的结果，DenseNet35_weight是在数学式7的加权损失函数中应用W1：W2＝1：50的情况下，对5个不同深度学习模型进行测试的结果。
[表6]
Figure BDA0003455148670000191
在表6中，对5个不同深度学习模型进行测试的分类结果显示，在数学式7的加权损失函数中应用W1:W2＝1:50的情况下，灵敏度(sensitivity)与特异性(specificity)和准确度(accuracy)相比有所改善。
实验例3
个别深度学习模型利用残差网络(resisual networks)，使用了densenet65。dropout技术对分类层(classification Layer)或分类区域(在图3中为144)应用了p＝0.5概率。densenet65除了层深、即层的数量为65个之外，基本上与实验例1中的densenet35相同。
在数学式7的加权损失函数中，如表3所示，在固定第二加权值W2的值的情况下，调整第一加权值W1的值，生成了个别深度学习模型(框架的第一步骤测试)。
首先，将第一加权值W2的值固定为50，并利用表4中的训练数据，应用随机采样和dropout技术，生成了5个不同的深度学习模型(框架的第二步骤测试)。
对生成的5个不同的深度学习模型进行测试的结果如下表7所示。在表7中，DenseNet65是在加权损失函数中应用W1：W2＝1：1、即一般损失函数的情况下，对5个不同的深度学习模型进行测试的结果，DenseNet 65weight是在加权损失函数中应用W1：W2＝1：50的情况下，对5个不同的深度学习模型进行测试的结果。
[表7]
Figure BDA0003455148670000201
在表7中，对5个不同的深度学习模型进行测试的分类结果显示，在加权损失函数中应用W1:W2＝1:50的情况下，灵敏度(sensitivity)与特异性(specificity)和准确度(accuracy)相比有所改善。
实验例4
将在实验例1和实验例2中分别生成的5个深度学习模型的分类结果进行集成，并将医学影像所包含的组织分类为疾病的正常和异常中的一个。
将5个深度学习模型的分类结果以基于多数票的集成、基于一致性的集成、基于不确定性的集成中的一个或两个以上为基础进行集成，并将医学影像所包含的组织分类为疾病的正常和异常中的一个。
在实验例4中，为了基于不确定性的集成，利用平均可靠性来对5个深度学习模型进行了集成(参见表8)。表8包含了实验例1和实验例2中的5个深度学习模型的分类结果以及对它们进行集成的分类结果。
[表8]
Figure BDA0003455148670000202
在实际利用深度学习模型的影像诊断装置上实施的情况下，平均可靠性Θ值可以被指定为首次达到100％灵敏度的值。例如，在表8中，在DenseNet35_weight的平均可靠性Θ值＝0.3、DenseNet65_weight的平均可靠性Θ值＝0.4的情况下，首次达到了100％的灵敏度，因此在实际利用深度学习模型的影像诊断装置中，可以利用这些平均可靠性值来对5个深度学习模型的分类结果进行集成。
实验例5
将在实验例1和实验例2中分别生成的5个深度学习模型的分类结果进行集成，并将医学影像所包含的组织分类为疾病的正常和异常中的一个。
将5个深度学习模型的分类结果以基于多数票的集成、基于一致性的集成、基于不确定性的集成中的一个或两个以上为基础进行集成，并将医学影像所包含的组织分类为疾病的正常和异常中的一个。
在实验例5中，为了基于不确定性的集成，利用标准偏差对5个深度学习模型进行了集成(参见表9)。表9包括实验例1和实验例2中的5个深度学习模型的分类结果以及对它们进行集成的分类结果。
[表9]
Figure BDA0003455148670000211
在实际利用深度学习模型的影像诊断装置上实施的情况下，标准偏差σ值可以被指定为首次达到100％灵敏度的值。例如，在表9中，在DenseNet35_weight的标准偏差σ＝0.3、DenseNet65_weight的标准偏差σ＝0.4的情况下，灵敏度首次达到100％，因此，在实际利用深度学习模型的影像诊断装置中，可以利用这些平均可靠性值对5个深度学习模型的分类结果进行集成。
通过实验例4和实验例5，将5个深度学习模型的分类结果以基于多数票的集成、基于一致性的集成、基于不确定性的集成中的一个或两个以上为基础进行集成，并将医学影像所包含的组织分类为疾病的正常和异常中的一个，结果表明灵敏度(sensitivity)进一步提高。
另外，通过实验例4和实验例5可知，越降低平均可靠性Θ值或标准偏差σ值，越能提高最终分类结果的灵敏度。具体而言，在实验例4和实验例5中可知，在数学式7的加权损失函数中应用W1：W2＝1：50的情况下，越降低平均可靠性Θ值或标准偏差σ值，越能提高最终分类结果的灵敏度。
另一方面，在专注于提高分类结果的灵敏度的情况下，特异性可能会相对降低，结果上来说准确度也降低。然而，通过实验例4和实验例5可知，不仅可以提高最终分类结果的灵敏度，而且可以最大限度地减少特异性和准确度的降低。
以上参考附图说明了本发明的实施例所涉及的利用深度学习模型的影像诊断装置及其诊断方法，但本发明不限于此。
例如，本发明还可以作为另一个实施例包括图9所示的影像分类装置310。该影像分类装置310基本上与参考图1至图5说明的利用深度学习模型的影像诊断装置10、110相同，但输入影像是普通影像而不是医学影像，其分类结果是普通影像的分类，而不是疾病有无的分类。例如，如图9所示，输入影像可以是手写体数字，分类结果是影像中包含的数字，影像分类装置310可以是数字分类装置。
影像分类装置310与利用深度学习模型的影像诊断装置10、110相同地，可以包括影像输入部312、分类部314、结果输出部316。它们的构成可以与利用深度学习模型的影像诊断装置10、110的影像输入部12、分类部14、114、结果输出部16、116实质上相同。
上述的利用深度学习模型的影像诊断装置10、110和影像分类装置310可以由包括处理器、存储器、用户输入装置以及演示装置中至少一部分的计算设备来实现。存储器是存储计算机可读软件、应用程序、程序模块、例程、指令(instructions)、和/或数据等的媒体，计算机可读软件、应用程序、程序模块、例程、指令在处理器上运行后可以执行特定任务。处理器可以读取存储在存储器中的计算机可读软件、应用程序、程序模块、例程、指令、和/或数据等并运行。用户输入装置可以是让用户输入使处理器执行特定任务的命令或输入执行特定任务所需数据的单元。用户输入装置可以包括物理或虚拟键盘或小键盘、键按钮、鼠标、操纵杆、轨迹球、触摸敏感输入单元或麦克风等。演示装置可以包括显示器、打印机、扬声器或振动装置等。
计算设备可以包括智能手机、平板电脑、笔记本电脑、台式机、服务器、客户端等各种设备。计算设备可以是一个单一的立式二进制装置，也可以包括在分布式环境中工作的多个计算设备，该分布式环境由多个通过通信网络相互协作的计算设备组成。
此外，上述影像诊断方法还可以由计算设备运行，该计算设备具有处理器和存储器，该存储器存储编码的计算机可读软件、应用程序、程序模块、例程、指令、和/或数据结构等，以便在处理器运行时能够执行利用深度学习模型的影像诊断方法。
上述的本实施例可通过各种手段实现。例如，本实施例可以通过硬件、固件(firmware)、软件或它们的结合等来实现。
以硬件实现为例，利用本实施例涉及的深度学习模型的影像诊断方法可以通过一个或多个ASICs(Application Specific Integrated Circuits，应用程序专用集成电路)、DSPs(Digital Signal Procuits，数字信号产品)、DSPDs(Digital Signal ProcessingDevices，数字信号处理设备)、PLDs(Programmable Logic Devices，可编程逻辑器件)、FPGAs(Field Programmable Gate Arrays，现场可编程门阵列)、处理器、控制器、微控制器或微处理器等实现。
例如，实施例所涉及的利用深度学习模型的影像诊断方法可以利用由半导体元件实现深层神经网络的神经元(neuron)和突触(Synapse)的人工智能半导体装置来实现。此时，半导体元件可以是目前使用的半导体元件，例如SRAM或DRAM、NAND等，也可以是下一代半导体元件、RAM或STT MRAM、PRAM等，也可以是它们的组合。
利用人工智能半导体装置来实现实施例所涉及的深度学习模型的影像诊断方法时，可以将通过软件学习深度学习模型的结果(加权值)转录到阵列布置的突触模仿元件上，也可以在人工智能半导体装置上进行学习。
通过固件或软件实现时，本实施例所涉及的利用深度学习模型的影像诊断方法可以以执行以上所述功能或动作的装置、程序或函数等形式实现。软件代码可以存储在存储器单元中，由处理器驱动。上述存储器单元位于上述处理器内部或外部，可以通过已公知的各种手段交换上述处理器和数据。
此外，上述“系统”、“处理器”、“控制器”、“组件”、“模块”、“接口”、“模型”或“单元”等术语，通常是指与计算机相关的实体硬件、硬件和软件的组合、软件或正在运行的软件。例如，上述构成要素可以是由处理器驱动的进程、处理器、控制器、控制处理器、对象、执行线程、程序和/或计算机，但不限于此。例如，在控制器或处理器上运行的应用程序和控制器或处理器都可以成为构成要素。一个以上的构成要素可以在进程和/或运行线程内，构成要素可以位于一个设备(如系统、计算设备等)或分散在两个以上的设备上。
以上说明只是对本发明的技术构思的例示说明，只要在本发明所属的技术领域具有普通知识的人，就可以在不脱离本技术构思的本质特性的范围内进行各种修改和变形。另外，本实施例不是为了限定本发明的技术构思，而是为了说明，因此，这些实施例并不限定本技术构思的范围。本发明的保护范围应以权利要求来解释，任何与之在同等范围内的技术构思应被解释为包括在本发明的权利范围内。
相关申请的交叉引用
本专利申请针对2019年07月05日向韩国申请的专利申请号第10-2019-0081416号，根据美国专利法119(a)条(35 u.s.c§119(a))主张优先权，并将其全部内容作为参考文献并入本专利申请中。同时，本专利申请对美国以外的国家也以上述理由主张优先权，并将其全部内容作为参考文献并入本专利申请中。

Claims (20)

1.一种利用深度学习模型的影像诊断装置，包括：
影像输入部，接收包含人体组织的医学影像的输入；
分类部，对于从输入的所述医学影像中提取的特征，使用加权损失函数，利用已学习的深度学习模型，将输入的所述医学影像所包含的组织分类为疾病的正常和异常中的一个，所述加权损失函数对是正常但被判断为异常的概率分布和是异常但被判断为正常的概率分布赋予不同的加权值；以及
结果输出部，输出所述分类部中分类的结果。
2.如权利要求1所述的利用深度学习模型的影像诊断装置，其中，
所述深度学习模型包括：特征提取区域，从输入的所述医学影像中，通过执行卷积和子采样，提取针对所述医学影像的特征；以及分类区域，对提取的特征使用所述加权损失函数，以对输入的所述医学影像进行分类。
3.如权利要求1所述的利用深度学习模型的影像诊断装置，其中，
在所述加权损失函数中，第二加权值大于第一加权值，所述第二加权值是对是异常而判断为正常的概率分布赋予的加权值，所述第一加权值是对是正常而判断为异常的概率分布赋予的加权值。
4.如权利要求3所述的利用深度学习模型的影像诊断装置，其中，
所述深度学习模型的数量为两个以上，
所述结果输出部集成所述两个以上的深度学习模型的分类结果，将所述医学影像所包含的组织分类为疾病的正常和异常中的一个。
5.如权利要求4所述的利用深度学习模型的影像诊断装置，其中，
所述两个以上的深度学习模型中的全部或一部分应用dropout技术，所述dropout技术在使用训练数据学习时，以特定概率去除各层上的节点进行学习，在学习完成并进行测试时，按原样考虑所有节点，对每个节点所拥有的加权值乘以所述概率。
6.如权利要求4所述的利用深度学习模型的影像诊断装置，其中，
所述两个以上的深度学习模型中的至少一部分使用相同的一个深度学习模型，但对于所述一个深度学习模型，通过调整学习中使用的训练数据的数量或顺序进行学习。
7.如权利要求4所述的利用深度学习模型的影像诊断装置，其中，
所述深度学习模型的至少一部分与层深或层数不同的深度学习模型不同。
8.如权利要求4所述的利用深度学习模型的影像诊断装置，其中，
所述结果输出部将所述两个以上深度学习模型的分类结果以基于多数票的集成、基于一致性的集成、基于不确定性的集成中的一个或两个以上为基础进行集成，并将所述医学影像所包含的组织分类为疾病的正常和异常中的一个。
9.如权利要求8所述的利用深度学习模型的影像诊断装置，其中，
所述基于不确定性的集成利用平均可靠性或标准偏差之一，对所述两个以上深度学习模型的分类结果进行集成。
10.如权利要求9所述的利用深度学习模型的影像诊断装置，其中，
所述医学影像为从所述人体大肠拍摄的影像，所述疾病为大肠癌。
11.一种利用深度学习模型的影像诊断方法，包括：
影像输入步骤，接收包含人体组织的医学影像的输入；
分类步骤，对于从输入的所述医学影像中提取的特征，使用加权损失函数，利用已学习的深度学习模型，将输入的所述医学影像中包含的组织分类为疾病的正常和异常中的一个，所述加权损失函数对是正常但被判断为异常的概率分布和是异常但被判断为正常的概率分布赋予不同的加权值；以及
结果输出步骤，输出所述分类步骤中分类的结果。
12.如权利要求11所述的利用深度学习模型的影像诊断方法，其中，
所述深度学习模型包括：特征提取区域，从输入的医学影像中，通过执行卷积和子采样，提取针对所述医学影像的特征；以及分类区域，对提取的特征使用所述加权损失函数，以对输入的所述医学影像进行分类。
13.如权利要求11所述的利用深度学习模型的影像诊断方法，其中，
在所述加权损失函数中，第二加权值大于第一加权值，所述第二加权值是对是异常而判断为正常的概率分布赋予的加权值，所述第一加权值是对是正常而判断为异常的概率分布赋予的加权值。
14.如权利要求13所述的利用深度学习模型的影像诊断方法，其中，
所述深度学习模型的数量为两个以上，
在所述结果输出步骤中，集成所述两个以上的深度学习模型的分类结果，将所述医学影像所包含的组织分类为疾病的正常和异常中的一个。
15.如权利要求14所述的利用深度学习模型的影像诊断方法，其中，
所述两个以上的深度学习模型中的全部或一部分应用dropout技术，所述dropout技术在使用训练数据学习时，以特定概率去除各层上的节点进行学习，在学习完成并进行测试时，按原样考虑所有节点，对每个节点所拥有的加权值乘以所述概率。
16.如权利要求14所述的利用深度学习模型的影像诊断方法，其中，
所述两个以上的深度学习模型中的至少一部分使用相同的一个深度学习模型，但对于所述一个深度学习模型，通过调整学习中使用的训练数据的数量或顺序进行学习。
17.如权利要求14所述的利用深度学习模型的影像诊断方法，其中，
所述深度学习模型的至少一部分与层深或层数不同的深度学习模型不同。
18.如权利要求14所述的利用深度学习模型的影像诊断方法，其中，
在所述结果输出步骤中，将所述两个以上深度学习模型的分类结果以基于多数票的集成、基于一致性的集成、基于不确定性的集成中的一个或两个以上为基础进行集成，并将所述医学影像所包含的组织分类为疾病的正常和异常中的一个。
19.如权利要求18所述的利用深度学习模型的影像诊断方法，其中，
所述基于不确定性的集成利用平均可靠性或标准偏差之一，对所述两个以上深度学习模型的分类结果进行集成。
20.如权利要求19所述的利用深度学习模型的影像诊断方法，其中，
所述医学影像为从所述人体大肠拍摄的影像，所述疾病为大肠癌。
CN202080049224.5A 2019-07-05 2020-06-30 利用深度学习模型的影像诊断装置及其方法 Pending CN114127858A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190081416A KR102132375B1 (ko) 2019-07-05 2019-07-05 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
KR10-2019-0081416 2019-07-05
PCT/KR2020/008502 WO2021006522A1 (ko) 2019-07-05 2020-06-30 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법

Publications (1)

Publication Number Publication Date
CN114127858A true CN114127858A (zh) 2022-03-01

Family

ID=71602414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080049224.5A Pending CN114127858A (zh) 2019-07-05 2020-06-30 利用深度学习模型的影像诊断装置及其方法

Country Status (7)

Country Link
US (1) US20220270756A1 (zh)
EP (1) EP3996103A4 (zh)
JP (1) JP7304594B2 (zh)
KR (1) KR102132375B1 (zh)
CN (1) CN114127858A (zh)
BR (1) BR112022000075A2 (zh)
WO (1) WO2021006522A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058467A (zh) * 2023-10-10 2023-11-14 湖北大学 一种胃肠道病变类型识别方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7456512B2 (ja) 2020-08-31 2024-03-27 日本電気株式会社 学習装置、学習方法および学習プログラム
KR20230041921A (ko) * 2021-09-17 2023-03-27 주식회사 온택트헬스 체내 장기 또는 근육의 이상 유무를 판단하는 방법 및 장치
WO2023074829A1 (ja) * 2021-10-29 2023-05-04 国立大学法人大阪大学 認知機能評価システム、及び学習方法
KR102437348B1 (ko) * 2021-12-20 2022-08-29 (주)씨어스테크놀로지 웨어러블 심전도 신호 분석 방법
US20240161458A1 (en) * 2022-11-10 2024-05-16 Samsung Electronics Co., Ltd. Method and device with object classification

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012123718A1 (en) * 2011-03-14 2012-09-20 The University Of Warwick Histology analysis
US10269114B2 (en) * 2015-06-12 2019-04-23 International Business Machines Corporation Methods and systems for automatically scoring diagnoses associated with clinical images
KR101908680B1 (ko) * 2016-08-30 2018-10-17 주식회사 루닛 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
JP6765911B2 (ja) * 2016-09-15 2020-10-07 三菱重工業株式会社 分類装置、分類方法およびプログラム
KR101880678B1 (ko) * 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR101879207B1 (ko) * 2016-11-22 2018-07-17 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
CN112513999A (zh) 2017-10-13 2021-03-16 人工智能技术公司 眼科疾病和病症的基于深度学习的诊断和转诊
EP3477553B1 (en) * 2017-10-27 2023-08-30 Robert Bosch GmbH Method for detecting an anomalous image among a first dataset of images using an adversarial autoencoder

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058467A (zh) * 2023-10-10 2023-11-14 湖北大学 一种胃肠道病变类型识别方法及系统
CN117058467B (zh) * 2023-10-10 2023-12-22 湖北大学 一种胃肠道病变类型识别方法及系统

Also Published As

Publication number Publication date
BR112022000075A2 (pt) 2022-03-22
JP2022549051A (ja) 2022-11-24
JP7304594B2 (ja) 2023-07-07
EP3996103A1 (en) 2022-05-11
WO2021006522A1 (ko) 2021-01-14
KR102132375B1 (ko) 2020-07-09
EP3996103A4 (en) 2023-08-02
US20220270756A1 (en) 2022-08-25

Similar Documents

Publication Publication Date Title
CN114127858A (zh) 利用深度学习模型的影像诊断装置及其方法
CN111127389B (zh) 用于医疗保健的可扩展人工智能模型生成系统和方法
Elmuogy et al. An efficient technique for CT scan images classification of COVID-19
Shah et al. Pneumonia detection using convolutional neural networks
JP2022534567A (ja) プロトコル構成を決定するための統合ニューラルネットワーク
Chagas et al. A new approach for the detection of pneumonia in children using CXR images based on an real-time IoT system
Barhoom et al. Diagnosis of pneumonia using deep learning
Erdem et al. Detection of Pneumonia with a Novel CNN-based Approach
Naralasetti et al. Deep Learning Models for Pneumonia Identification and Classification Based on X-Ray Images.
Toofanee et al. Dfu-siam a novel diabetic foot ulcer classification with deep learning
Gravelines Deep learning via stacked sparse autoencoders for automated voxel-wise brain parcellation based on functional connectivity
Chen Classification of atypical femur fracture with deep neural networks
izza Rufaida et al. Residual convolutional neural network for diabetic retinopathy
Wan et al. Depth-wise convolution with attention neural network (DWA) for pneumonia detection
Zahedinasab et al. Using deep convolutional neural networks with adaptive activation functions for medical CT brain image Classification
Aljawarneh et al. Pneumonia detection using enhanced convolutional neural network model on chest x-ray images
Sengar et al. An efficient artificial intelligence-based approach for diagnosis of media haze disease
Meshram et al. MCBM: Implementation Of Multiclass And Transfer Learning Algorithm Based On Deep Learning Model For Early Detection Of Diabetic Retinopathy
Unnisa et al. Deep neural network architecture and applications in healthcare
Diolkar COVID-19 Detection using Chest X-Ray Images by Artificial Intelligence
Mushtaq et al. Convolution Neural Networks for Disease Prediction: Applications and Challenges
Kumar et al. Abnormality Detection in Smartphone-Captured Chest Radiograph Using Multi-pretrained Models
Alhatemi et al. A Weighted Ensemble Approach with Multiple Pre-Trained Deep Learning Models for Classification of Stroke
Roy et al. TransDL: A transfer learning-based concatenated model for Covid-19 identification and analysis of posteroanterior chest X-ray images
Harshini et al. Machine Learning Approach for Various Eye Diseases using Modified Voting Classifier Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination