CN116134535A - 利用半监督学习对疾病发病区域进行注解的方法及执行其的诊断系统 - Google Patents
利用半监督学习对疾病发病区域进行注解的方法及执行其的诊断系统 Download PDFInfo
- Publication number
- CN116134535A CN116134535A CN202080104689.6A CN202080104689A CN116134535A CN 116134535 A CN116134535 A CN 116134535A CN 202080104689 A CN202080104689 A CN 202080104689A CN 116134535 A CN116134535 A CN 116134535A
- Authority
- CN
- China
- Prior art keywords
- training
- image block
- slice
- neural network
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 63
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 241
- 238000013528 artificial neural network Methods 0.000 claims abstract description 153
- 238000003745 diagnosis Methods 0.000 claims abstract description 57
- 230000000750 progressive effect Effects 0.000 claims abstract description 12
- 230000004913 activation Effects 0.000 claims description 13
- 206010060862 Prostate cancer Diseases 0.000 claims description 12
- 208000000236 Prostatic Neoplasms Diseases 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 210000001519 tissue Anatomy 0.000 description 9
- 238000011176 pooling Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30081—Prostate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Abstract
本发明公开利用半监督学习(semi‑supervised learning)对疾病发病区域进行注解的方法及执行其的诊断系统。本发明一实施方式提供的方法包括如下步骤:利用神经网络的诊断系统生成图像块级别分类神经网络及像素级别分类神经网络,上述图像块级别分类神经网络通过接收作为对作为生物图像的规定切片进行分割后的一部分的图像块来预测在上述图像块是否存在规定疾病的分类结果,上述像素级别分类神经网络通过接收上述图像块并按照构成上述图像块的各个像素预测上述疾病的相关分类结果;通过上述利用神经网络的诊断系统获得多个训练用切片图像,在上述多个训练用切片图像分别标记有与其相应的切片级别诊断结果;以及通过上述利用神经网络的诊断系统利用上述多个训练用切片图像来以渐进方式训练上述图像块级别分类神经网络及上述像素级别分类神经网络。
Description
技术领域
本发明涉及利用半监督学习(semi-supervised learning)对疾病发病区域进行注解的方法及执行其的诊断系统,更详细地,涉及如下方法及执行其的诊断系统,即,可利用在切片级别标记有诊断结果的训练数据执行图像块级别及像素级别的半监督学习,并且,可利用通过半监督学习训练的神经网络对疾病发病区域自动进行注解。
背景技术
在病理学或病理科中所执行的主要业务中的一种为通过读取患者的生物图像(例如,患者的生物组织切片)来判断特定疾病相关状态或症状。这种诊断依赖于长期熟练的医务人员的经验和知识。在当前趋势下,读取对生物组织进行数字成像形成的切片图像的方式正在逐渐增加。
另一方面,随着机器学习的发展,正在积极尝试通过计算机系统实现图像识别或分类等业务的自动化。尤其是,正在尝试利用作为机器学习的一种的神经网络(例如,利用卷积神经网络(CNN,Convolution neural network)的深度学习方法)使以往由熟练的医务人员执行的诊断业务实现自动化,作为代表例有通过利用神经网络(例如,卷积神经网络)的深度学习基于图像进行的疾病诊断。尤其,通过利用神经网络(例如,卷积神经网络)的深度学习的诊断并非简单实现熟练的医务人员的经验和知识自动化,而是在通过自学找出特征要素来导出需要解答的过程中,反而存在从图像中找出熟练的医务人员不得而知的疾病因子的特征的情况。
通常,通过利用生物图像的神经网络的疾病诊断利用作为生物图像的切片碎片,即,图像块(pathch,也称为图像子块(tile))。也就是说,针对相应图像块图像,熟练的医务人员需注解(annotaion)特定疾病的状态(例如,是否发现癌症),将这种经注解的多个图像子块用作训练数据来学习神经网络。在此情况下,上述神经网络可以利用卷积神经网络。
然而,在通常情况下,相比于其他注解工作,在图像块图像注解发病区域的区域注解过程需消耗大量时间及费用。因此,为了训练对发病区域进行预测的神经网络而收集学习数据需消耗大量时间及费用。
相反,对整个切片的诊断作为现有医疗行动中的普通过程,可从医院机构等轻易获取标记切片级别诊断结果的学习数据。因此,除基于能够轻易获取的标记切片级别诊断结果的切片数据执行图像块单位相关诊断的神经网络外,当前亟需通过执行像素级别的诊断来预测疾病发病区域的神经网络及用于学习这种神经网络的方案。
现有技术文献
专利文献:韩国公开专利10-2016-0034814“具有神经网络的客户端装置及包括其的系统”
发明内容
技术问题
本发明所要实现的技术目的在于,提供如下的方法及系统,即,通过学习图像块级别神经网络仅利用切片级别诊断结果执行半监督学习来预测图像块单位的诊断结果,并且,可通过学习像素级别神经网络预测像素单位的诊断结果,由此,可对疾病发病区域进行注解。
技术方案
本发明一实施方式提供的方法包括如下步骤:利用神经网络的诊断系统生成图像块级别分类神经网络及像素级别分类神经网络,上述图像块级别分类神经网络通过接收作为对作为生物图像的规定切片进行分割后的一部分的图像块来预测在上述图像块是否存在规定疾病的分类结果,上述像素级别分类神经网络通过接收上述图像块并按照构成上述图像块的各个像素预测上述疾病的相关分类结果;通过上述利用神经网络的诊断系统获得多个训练用切片图像,在上述多个训练用切片图像分别标记有与其相应的切片级别诊断结果;以及通过上述利用神经网络的诊断系统利用上述多个训练用切片图像来以渐进方式训练上述图像块级别分类神经网络及上述像素级别分类神经网络,以渐进方式训练上述图像块级别分类神经网络及上述像素级别分类神经网络的步骤包括:步骤(a),分别对于上述多个训练用切片生成与上述训练用切片相应的训练数据,与上述训练用切片相应的训练数据包括用于训练上述图像块级别分类神经网络的图像块级别训练数据及用于训练上述像素级别分类神经网络的像素级别训练数据;步骤(b),利用与上述多个训练用切片分别相应的图像块级别训练数据训练上述图像块级别分类神经网络;步骤(c),利用与上述多个训练用切片分别相应的像素级别训练数据训练上述像素级别分类神经网络;以及步骤(d),至少反复执行一次上述步骤(a)至上述步骤(c)。
在一实施例中,生成与上述训练用切片相应的训练数据的步骤可包括如下步骤:向上述图像块级别分类神经网络分别输入与上述训练用切片相应的多个图像块图像来获取对与上述训练用切片相应的多个图像块图像的各个分类结果,与上述训练用切片相应的多个图像块图像为按照规定尺寸分割上述训练用切片的多个图像;基于对与上述训练用切片相应的多个图像块图像的各个预测结果,从与上述训练用切片相应的多个图像块图像中确定与上述训练用切片相应的代表图像块图像;以及将与上述训练用切片相应的代表图像块图像标记为上述训练用切片图像的切片级别诊断结果并生成与上述训练用切片图像相应的图像块级别训练数据。
在一实施例中,生成与上述训练用切片相应的训练数据的步骤可包括如下步骤:向上述图像块级别分类神经网络分别输入与上述训练用切片相应的多个图像块图像来获取对与上述训练用切片相应的多个图像块图像的各个分类结果,与上述训练用切片相应的多个图像块图像为按照规定尺寸分割上述训练用切片的多个图像;基于对与上述训练用切片相应的多个图像块图像的各个预测结果,从与上述训练用切片相应的多个图像块图像中确定与上述训练用切片相应的代表图像块图像;通过对输出上述代表图像块图像的相关预测结果的上述分类神经网络执行梯度加权类激活映射(Gradient-weighted ClassActivation Mapping)来生成与上述代表图像块图像相应的掩码;以及将与上述训练用切片相应的代表图像块图像标记为与上述代表图像块图像相应的掩码并生成与上述训练用切片相应的像素级别训练数据。
在一实施例中,上述方法还可包括如下步骤:向完成训练的上述像素级别分类神经网络输入规定的诊断对象图像块图像来按照分别构成上述诊断对象图像块图像的各个像素获取上述疾病的相关分类结果;以及基于按照分别构成上述诊断对象图像块图像的各个像素获取的分类结果,在上述诊断对象图像块图像注解上述疾病的发病区域。
在一实施例中,上述疾病可以为前列腺癌。
本发明再一实施方式提供的计算机程序为了执行上述方法而存储于设置在数据处理装置的计算机可读介质。
本发明还有一实施方式提供的利用神经网络的诊断系统包括:处理器;以及存储器,用于存储计算机程序,当上述处理器执行上述计算机程序时,使得上述利用神经网络的诊断系统执行上述方法。
本发明另一实施方式提供的利用神经网络的诊断系统包括:存储模块,用于存储图像块级别分类神经网络及像素级别分类神经网络,上述图像块级别分类神经网络通过接收作为对作为生物图像的规定切片进行分割后的一部分的图像块来预测在上述图像块是否存在规定疾病的分类结果,上述像素级别分类神经网络通过接收上述图像块并按照构成上述图像块的各个像素预测上述疾病的相关分类结果;获取模块,用于获取多个训练用切片图像,在上述多个训练用切片图像分别标记有与其相应的切片级别诊断结果;以及学习模块,利用上述多个训练用切片图像来以渐进方式训练上述图像块级别分类神经网络及上述像素级别分类神经网络,上述学习模块为了以渐进方式训练上述图像块级别分类神经网络及上述像素级别分类神经网络而反复执行两次以上训练过程,上述训练过程包括如下步骤:分别对于上述多个训练用切片生成与上述训练用切片相应的训练数据,与上述训练用切片相应的训练数据包括用于训练上述图像块级别分类神经网络的图像块级别训练数据及用于训练上述像素级别分类神经网络的像素级别训练数据;利用与上述多个训练用切片分别相应的图像块级别训练数据训练上述图像块级别分类神经网络;以及利用与上述多个训练用切片分别相应的像素级别训练数据训练上述像素级别分类神经网络。
在一实施例中,生成与上述训练用切片相应的训练数据的步骤可包括如下步骤:向上述图像块级别分类神经网络分别输入与上述训练用切片相应的多个图像块图像来获取对与上述训练用切片相应的多个图像块图像的各个分类结果,与上述训练用切片相应的多个图像块图像为按照规定尺寸分割上述训练用切片的多个图像;基于对与上述训练用切片相应的多个图像块图像的各个预测结果,从与上述训练用切片相应的多个图像块图像中确定与上述训练用切片相应的代表图像块图像;以及将与上述训练用切片相应的代表图像块图像标记为上述训练用切片图像的切片级别诊断结果并生成与上述训练用切片图像相应的图像块级别训练数据。
在一实施例中,生成与上述训练用切片相应的训练数据的步骤可包括如下步骤:向上述图像块级别分类神经网络分别输入与上述训练用切片相应的多个图像块图像来获取对与上述训练用切片相应的多个图像块图像的各个分类结果,与上述训练用切片相应的多个图像块图像为按照规定尺寸分割上述训练用切片的多个图像;基于对与上述训练用切片相应的多个图像块图像的各个预测结果,从与上述训练用切片相应的多个图像块图像中确定与上述训练用切片相应的代表图像块图像;通过对输出上述代表图像块图像的相关预测结果的上述分类神经网络执行梯度加权类激活映射(Gradient-weighted ClassActivation Mapping)来生成与上述代表图像块图像相应的掩码;以及将与上述训练用切片相应的代表图像块图像标记为与上述代表图像块图像相应的掩码并生成与上述训练用切片相应的像素级别训练数据。
在一实施例中,利用神经网络的诊断系统还可包括注解模块,向完成训练的上述像素级别分类神经网络输入规定的诊断对象图像块图像来按照分别构成上述诊断对象图像块图像的各个像素获取上述疾病的相关分类结果,基于按照分别构成上述诊断对象图像块图像的各个像素获取的分类结果,在上述诊断对象图像块图像注解上述疾病的发病区域。
发明的效果
根据本发明的技术思想,本发明提供的方法及系统具有如下效果,即,可通过学习图像块级别神经网络仅利用切片级别诊断结果执行半监督学习来预测图像块单位的诊断结果,并且,可通过学习像素级别神经网络预测像素单位的诊断结果,由此,可对疾病发病区域进行注解。
附图说明
以下,为了进一步充分理解本发明的具体说明所引用的附图而简单说明各个附图。
图1为示出根据本发明技术思想利用半监督学习学习神经网络并利用其对疾病发病区域进行注解的方法的工作环境的图。
图2为示出本发明一实施例的诊断系统的简要结构的图。
图3为示出本发明一实施例的诊断系统利用多个训练用切片图像以渐进方式训练图像块级别分类神经网络及像素级别分类神经网络的过程的流程图。
图4为本发明一实施例的诊断系统生成一个训练用切片相应的训练数据过程的具体例示图。
具体实施方式
本发明可施加多种变化并具有多个实施例,因此,在附图例示特定实施例详细说明具体实施方式。但是,本发明并不限定于特定实施方式,包括属于本发明的思想及技术范围内的所有修改、等同技术方案及代替技术方案。在说明本发明的过程中,当判断有关公知技术的具体说明有可能不必要地混淆本发明的主旨时,将省略其详细说明。
“第一”、“第二”等术语用于说明多种结构要素,上述结构要素并不限定于上述术语。上述术语仅用于对一个结构要素和其他结构要素进行区分。
在本申请中,所使用的术语仅用于说明特定实施例,并不具有限定本发明的含义。除非在文脉上明确表示其他含义,否则单数的表达包括复数的表达。
在本说明书中,“包括”或“具有”等术语仅用于指定本说明书中所记载的特征、数字、步骤、工作、结构要素、部件或它们的组合的存在,并不预先排除一个或一个以上的其他特征、数字、步骤、工作、结构要素、部件或它们的组合的存在或附加可能性。
并且,在本说明书中,当某一结构要素向另一结构要素“传输”数据时,除包括上述结构要素直接向上述另一结构要素传输上述数据的含义外,还包括通过至少一个其他结构要素向上述另一结构要素传输上述数据的含义。与此相反,当某一结构要素向另一结构要素“直接传输”数据时,是指上述结构要素未通过其他结构要素向上述另一结构要素传输上述数据的含义。
以下,参照附图以本发明实施例为中心详细说明本发明。其中,各个附图所示的相同附图标记表示相同部件。
图1为示出根据本发明技术思想利用半监督学习学习神经网络并利用其对疾病发病区域进行注解的方法的工作环境的图。参照图1,本发明技术思想的方法可由诊断系统100执行。
在本发明的技术思想中,诊断系统100可以为计算系统。或者,可设置在规定服务器10实现本发明的技术思想。上述服务器10是指数据处理装置,具有用于实现本发明技术思想的运算能力,除使得客户端能够通过网络访问的数据处理装置外,由个人计算机、便携式终端等可执行特定服务的任何装置均可定义为服务器,因此,本发明所属技术领域的普通技术人员可轻松推导。
上述服务器10可包括处理器及存储装置。上述处理器是指运算装置,可驱动用于实现本发明技术思想的程序。上述存储装置是指数据存储装置,可存储用于实现本发明技术思想所需的程序及各种数据,根据实例,也可由多个存储装置实现。并且,除上述服务器10包括的主记忆装置外,上述存储装置也可以为设置在上述处理器的临时存储装置或存储器等。
在图1中,所示的上述诊断系统100为一个物理装置,但根据需求,本发明技术思想的诊断系统100也可由多个物理装置有机结合实现,因此,本发明所属技术领域的普通技术人员可轻松推导。
图2为示出本发明一实施例的诊断系统100的简要结构的图。
参照图2,上述系统100可包括存储模块110、生成模块120、获取模块130、学习模块140及注解模块150。根据本发明实施例,上述结构要素中的部分结构要素并非实现本发明所需的必要结构要素,并且,根据实施例,上述诊断系统100可包括更多的结构要素。例如,上述系统100还可包括控制模块(未图示),用于控制上述系统100的其他结构(例如,存储模块110、生成模块120、获取模块130、学习模块140及注解模块150等)相关功能和/或资源。并且,根据实施例,上述系统100还可包括用于实现本发明技术思想所需的各种信息和/或用于存储数据的数据库200(DB,Database)。
上述系统100是指用于实现本发明技术思想所需的硬件资源(resource)和/或设置有软件的逻辑结构,并不意味着一个物理结构要素或一个装置。即,上述系统100是指为了实现本发明技术思想而设置的硬件和/或软件的逻辑结合,在必要情况下,设置在相互隔开的装置并执行各自功能,也可集合用于实现本发明技术思想的逻辑结构来实现。并且,上述系统100也可意味着用于实现本发明技术思想的各个功能或按照作用实现的结构集合。例如,存储模块110、获取模块120、学习模块130及注解模块140可分别设置在不同物理装置,或者,也可设置在相同物理装置。并且,根据实例,分别构成上述存储模块110、获取模块120、学习模块130及注解模块140的软件和/或硬件的结合可设置在不同物理装置,设置在不同物理装置的结构可通过有机结合实现各个上述模块。
并且,在本说明书中,模块是指用于实现本发明技术思想的硬件及用于驱动上述硬件的软件在功能、结构层面上的结合。例如,上述模块是指规定代码和用于执行上述规定代码的硬件资源(resource)的逻辑单位,并不限定于物理连接的代码或一种硬件,因此,本发明所属技术领域的普通技术人员可轻松推导。
上述数据库200可存储作为病理图像的多个训练用切片。上述训练用切片可以为多种生物图像,例如,组织图像、活检图像等。在上述多个训练用切片中,可分别标记有切片级别的疾病诊断结果。
例如,上述疾病可以为前列腺癌,以下,虽然以前列腺癌为中心进行说明,但是,本发明技术思想并不局限于前列腺癌,因此,本发明所属技术领域的普通技术人员可轻松推导。
另一方面,标记在各个训练用切片的切片级别诊断结果可以为专业医务人员预先基于相应切片作出的疾病的相关判断结果。
例如,除特定疾病的发现与否(阴性/阳性)外,切片相关诊断结果可包括特定疾病的进展程序(或者,进展程度相应概率)。例如,当本发明技术思想应用于前列腺癌的诊断时,诊断结果可包括作为前列腺癌相关进展程度指标的格里森分级(Gleason Pattern)或格利森评分(Gleason Score)。例如,格利森评分具有2至10的值,在通常情况下,将6至10的值视作癌,数字越大,表示发现前列腺癌的程度越严重。格里森分级可分为1级至5级。
上述存储模块110可存储有图像块级别分类神经网络160及像素级别分类神经网络170,上述图像块级别分类神经网络160及像素级别分类神经网络170可通过生成模块120生成。
上述图像块级别分类神经网络160可接收图像块并预测在上述图像块是否存在规定疾病的分类结果。
在此情况下,图像块可以为按照规定尺寸分割规定切片的部分图像。即,一个切片可被分割成多个图像块,上述图像块级别分类神经网络160可接收图像块来执行图像块级别诊断。在执行诊断之前,上述图像块级别分类神经网络160可通过学习模块140预先学习。
另一方面,执行图像块级别诊断的上述图像块级别分类神经网络160输出的信息可以为如下信息,即,用于判断在上述图像块相应组织是否发现特定疾病(例如,特定类型的癌症)。例如,上述图像块级别分类神经网络160输出的信息可以为在上述图像块相应组织发现特定疾病(例如,特定类型的癌症)的概率。在此情况下,当上述图像块级别分类神经网络160输出的概率值为特定基准值(阈值)以上时,可判断在上述图像块发现疾病(例如,前列腺癌)。
当然,根据实施例,除是否发现特定疾病外,上述图像块级别分类神经网络160也可输出表示特定疾病进展程度的信息(或者,上述进展程度相应概率)。例如,当本发明技术思想应用于前列腺癌的诊断时,上述图像块级别分类神经网络160输出的信息可包括作为前列腺癌相关进展程度指标的格里森分级(Gleason Pattern)或格利森评分(GleasonScore)。另一方面,可按照多种方式设定上述图像块级别分类神经网络160使用的阈值,由此,可基于阈值将特定图像块判断为发现疾病的图像块,即,疾病图像块或正常图像块。
另一方面,上述像素级别分类神经网络170可接收图像块并按照构成上述图像块的各个像素预测上述疾病的相关分类结果。按照像素输出分类结果上述像素级别分类神经网络170可执行用于区分疾病发病区域的分割。
上述像素级别分类神经网络170可按照构成图像块的各个像素输出疾病发病状态或疾病发病概率,由判断为发病的像素或发病概率大于规定阈值的像素构成的区域可被判断为发病区域。
根据实施例,上述像素级别分类神经网络170可按照各个像素预测疾病是否发病(或疾病的发病概率)和/或疾病的进展程度(或上述进展程度相应概率)并输出。
另一方面,在执行分割(即,按照像素预测诊断结果)之前,上述像素级别分类神经网络170可通过学习模块140预先学习。
在本说明书中,神经网络是指表示定义神经网络的一系列设计事项的信息集合。在一实施例中,上述诊断神经网络160、170可以为卷积神经网络。
众所周知,上述卷积神经网络可包括输入层、多个隐藏层及输出层。多个隐藏层可分别包括卷积层及池化层(或子采样层)。
卷积神经网络可由用于定义上述各个层的函数、筛选、步长(stride)、权重因子等定义。并且,输出层可被定义为全连接(fully connected)的前馈层(FeedForward layer)。
构成卷积神经网络的各层相关设计事项被广为人知。例如,多个层包括的层数、可分别对用于定义上述多个层的卷积函数、池化函数、激活函数使用公知函数,也可利用为了实现本发明技术思想而单独定义的函数。
作为卷积函数的一例有离散卷积和等。作为池化函数的一例有最大池化(maxpooling)、平均池化(average pooling)等。作为激活函数的一例有S型(sigmoid)、双曲正切(tanh)、线性整流(ReLU,rectified linear unit)等。
若定义这种卷积神经网络的设计事项,则定义设计事项的卷积神经网络可存储于存储装置。而且,若学习上述卷积神经网络,则可确定与各个层相应的权重因子。
即,卷积神经网络的学习是指各个层确定权重因子的进程。而且,若学习卷积神经网络,则学习的卷积神经网络可从输入层接收输入数据并通过预定义的输出层输出输出数据。
本发明实施例的神经网络可从上述已知的设计事项中选择一个或多个来定义,也可由独立的设计事项定义上述神经网络。
再次参照图2,上述获取模块130可获取用于与上述图像块级别分类神经网络160及上述像素级别分类神经网络170相关的半监督学习的训练数据。即,上述获取模块130可获取多个训练用切片图像,上述多个训练用切片图像分别标记有与其相应的切片级别诊断结果。例如,上述获取模块130可从上述数据库200获取训练用切片图像。
上述学习模块140可利用上述多个训练用切片图像以渐进方式训练上述图像块级别分类神经网络160及上述像素级别分类神经网络170,渐进训练过程的一例如图3所示。
参照图3,上述获取模块130可获得标记有切片级别诊断结果的N个(N为2以上的整数)切片图像S1至SN(步骤S100)。
接着,上述学习模块140可执行生成学习数据的过程。更详细地,上述学习模块140可分别对上述N个训练用切片生成与上述训练用切片相应的训练数据(步骤S110、步骤S120)。在此情况下,与训练用切片相应的各个训练数据可包括用于训练上述图像块级别分类神经网络160的图像块级别训练数据及用于训练上述像素级别分类神经网络170的像素级别训练数据。例如,与第K切片(K为1≤K≤N的整数)相应的训练数据可包括图像块级别训练数据T(K,1)及像素级别训练数据(K,2)(参照步骤S120)。
若通过步骤S110生成N个训练用数据,则上述学习模块140可利用N个图像块级别训练用数据(即,与第一训练用切片相应的图像块级别训练数据T(1,1)至与第N训练用切片相应的像素级别训练数据T(N,1))训练图像块级别分类神经网络160。
并且,上述学习模块140可利用N个像素级别训练用数据(即,与第一训练用切片相应的像素级别训练数据T(1,2)至与第N训练用切片相应的像素级别训练数据T(N,2))训练像素级别分类神经网络170。
另一方面,若上述学习模块140完成一次对图像块级别分类神经网络160及像素级别分类神经网络170的学习,则可判断是否满足规定训练条件,在满足条件的情况下,可结束训练(步骤S150)。
例如,在上述学习模块140反复训练规定次数的情况下,可判断满足训练条件。或者,在上述学习模块140学习的图像块级别分类神经网络160和/或像素级别分类神经网络170满足规定条件的情况下,可判断满足训练条件。
另一方面,在一实施例中,在生成学习数据的过程中,上述学习模块140可利用仍在训练过程中的上述图像块级别分类神经网络160。
图4为学习模块140生成一个训练用切片(切片SK)相应训练数据过程(即,图3的步骤S120)的具体例示图。
参照图4,上述学习模块140可向上述图像块级别分类神经网络160输入构成训练用切片SK的各个图像块,上述图像块级别分类神经网络160可预测与各个图像块相应的图像块级别诊断结果(步骤S122)。
并且,上述学习模块140可对接收各个图像块的图像块级别分类神经网络执行梯度加权类激活映射(Gradient-weighted Class Activation Mapping)来生成与各个图像块相应的掩码图像(步骤S123)。梯度加权类激活映射作为用于生成定位映射的技术,可强调对图像结果预测产生重大影响的区域。
例如,上述学习模块140可在接收特定图像块的图像块级别分类神经网络160执行梯度加权类激活映射(Gradient-weighted Class Activation Mapping)生成的定位映射中屏蔽具有规定临界值以上的像素来生成相应图像块的掩码图像。
另一方面,上述学习模块140可基于通过步骤S122获得的上述图像块级别分类神经网络160的各个图像块的相关诊断结果从构成训练用切片SK的各个图像块中确定代表图像块RK(步骤S124)。例如,若上述图像块级别分类神经网络160为输出疾病发病概率的神经网络,则上述学习模块140可将发病概率最高的图像块确定为代表图像块。或者,上述学习模块140也可将发病概率为规定值以上的至少一个图像块确定为代表图像块。
另一方面,在步骤S124中,若确定代表图像块RK,则上述学习模块140可将代表图像块RK标记为训练用切片SK的标签LK并生成与切片SK相应的图像块级别训练数据T(K,1)(步骤S125)。
并且,上述学习模块140可将代表图像块RK标记为与RK相应的掩码图像并生成与切片SK相应的像素级别训练数据T(K,2)。
如上所述,根据参照图3及图4说明的训练方法,从切片级别训练数据(即,标记有切片级别诊断结果的切片图像)自动生成用于训练图像块级别分类神经网络160及像素级别分类神经网络的训练数据来训练各个神经网络。因此,可实现仅以切片级别训练数据训练图像块级别分类神经网络160及像素级别分类神经网络的半监督学习。
并且,基于图像块级别分类神经网络160的预测结果生成训练数据,随着以这种方式生成的训练数据再次用于图像块级别分类神经网络160的训练,可通过渐进方式的训练提高图像块级别分类神经网络160。
另一方面,再次参照图2,上述注解模块150可利用完成训练的上述像素级别分类神经网络170执行生物图像的注解。
即,上述注解模块150可向完成训练的上述像素级别分类神经网络170输入规定的诊断对象图像块图像来按照构成上述诊断对象图像块图像的各个像素获取上述疾病的相关分类结果,可基于按照分别构成上述诊断对象图像块图像的各个像素获取的分类结果在上述诊断对象图像块图像注解上述疾病的发病区域。
并且,在本说明书中,虽然主要说明了本发明技术思想应用于前列腺癌的一例,但是,除特定组织外,考虑到相应组织及周围组织的状态,当本发明技术思想应用于需要诊断上述特定组织的其他疾病时,可实现精确的诊断,因此,本发明所属技术领域的普通技术人员可轻松推导。
另一方面,根据实例,上述诊断系统100可包括:处理器;以及存储器,用于存储上述处理器执行的程序。上述处理器可包括单核处理器及多核处理器。存储器可包括高速随机存取存储器、一个以上磁盘存储装置、闪存装置或其他非易失性固态存储装置等非易失性存储器。处理器及其他结构要素对存储器的访问可通过存储控制器来控制。
另一方面,本发明实施例的方法可由计算机可读程序指令实现并存储在计算机可读记录介质中,本发明实施例的控制程序及对象程序也可存储在计算机可读记录介质。计算机可读记录介质包括用于存储计算机系统可读数据的所有类型记录装置。
存储在记录介质的程序指令为用于本发明而特别设计的,或者,也可以为软件领域的普通技术人员能够使用的已知程序指令。
例如,计算机可读记录介质包括硬盘、软盘及磁盘等磁性介质(magnetic media)、CD-ROM及DVD等光记录介质(optical media)、光磁软盘(floptical disk)等磁光介质(magneto-optical medium)及只读存储器(ROM)、随机存取存储器(RAM)、闪存等用于存储并执行程序指令的硬件装置。并且,计算机可读记录介质分散在通过网络连接的计算机系统,可存储并执行计算机通过分散方式读取的代码。
除由编译器生成的机器代码外,程序指令包括由使用解释器等以电子方式处理信息的装置,例如,包括计算机能够执行的高级语言代码。
为了执行本发明的工作,上述硬件装置可作为一个以上软件模块进行工作,反之亦然。
本发明的以上说明仅用于示例,应当理解的是,本发明所属技术领域的普通技术人员可在不改变本发明技术思想或基本特征的情况下轻易改变其他实施方式。因此,以上说明的实施例在所有层面上仅为示例,不应理解为限定含义。例如,被说明为单一型的各个结构要素可被分散实施,同样,分散的结构要素也可通过结合方式实施。
相比于上述详细说明,本发明的范畴应基于发明要求保护范围表示,发明要求保护范围的含义、范围及从与其等同概念导出的所有变更或变形的实施方式均属于本发明的范畴。
产业上的可利用性
本发明可用于利用半监督学习对疾病发病区域进行注解的方法及执行其的诊断系统。
Claims (11)
1.一种方法,其特征在于,包括如下步骤:
利用神经网络的诊断系统生成图像块级别分类神经网络及像素级别分类神经网络,上述图像块级别分类神经网络通过接收作为对作为生物图像的规定切片进行分割后的一部分的图像块来预测在上述图像块是否存在规定疾病的分类结果,上述像素级别分类神经网络通过接收上述图像块并按照构成上述图像块的各个像素预测上述疾病的相关分类结果;
通过上述利用神经网络的诊断系统获得多个训练用切片图像,在上述多个训练用切片图像分别标记有与其相应的切片级别诊断结果;以及
通过上述利用神经网络的诊断系统利用上述多个训练用切片图像来以渐进方式训练上述图像块级别分类神经网络及上述像素级别分类神经网络,
以渐进方式训练上述图像块级别分类神经网络及上述像素级别分类神经网络的步骤包括:
步骤(a),分别对于上述多个训练用切片生成与上述训练用切片相应的训练数据,与上述训练用切片相应的训练数据包括用于训练上述图像块级别分类神经网络的图像块级别训练数据及用于训练上述像素级别分类神经网络的像素级别训练数据;
步骤(b),利用与上述多个训练用切片分别相应的图像块级别训练数据训练上述图像块级别分类神经网络;
步骤(c),利用与上述多个训练用切片分别相应的像素级别训练数据训练上述像素级别分类神经网络;以及
步骤(d),至少反复执行一次上述步骤(a)至上述步骤(c)。
2.根据权利要求1所述的方法,其特征在于,生成与上述训练用切片相应的训练数据的步骤包括如下步骤:
向上述图像块级别分类神经网络分别输入与上述训练用切片相应的多个图像块图像来获取对与上述训练用切片相应的多个图像块图像的各个分类结果,与上述训练用切片相应的多个图像块图像为按照规定尺寸分割上述训练用切片的多个图像;
基于对与上述训练用切片相应的多个图像块图像的各个预测结果,从与上述训练用切片相应的多个图像块图像中确定与上述训练用切片相应的代表图像块图像;以及
将与上述训练用切片相应的代表图像块图像标记为上述训练用切片图像的切片级别诊断结果并生成与上述训练用切片图像相应的图像块级别训练数据。
3.根据权利要求1所述的方法,其特征在于,生成与上述训练用切片相应的训练数据的步骤包括如下步骤:
向上述图像块级别分类神经网络分别输入与上述训练用切片相应的多个图像块模块来获取对与上述训练用切片相应的多个图像块图像的各个分类结果,与上述训练用切片相应的多个图像块图像为按照规定尺寸分割上述训练用切片的多个图像;
基于对与上述训练用切片相应的多个图像块图像的各个预测结果,从与上述训练用切片相应的多个图像块图像中确定与上述训练用切片相应的代表图像块图像;
通过对输出上述代表图像块图像的相关预测结果的上述分类神经网络执行梯度加权类激活映射来生成与上述代表图像块图像相应的掩码;以及
将与上述训练用切片相应的代表图像块图像标记为与上述代表图像块图像相应的掩码并生成与上述训练用切片相应的像素级别训练数据。
4.根据权利要求1所述的方法,其特征在于,还包括如下步骤:
向完成训练的上述像素级别分类神经网络输入规定的诊断对象图像块图像来按照分别构成上述诊断对象图像块图像的各个像素获取上述疾病的相关分类结果;以及
基于按照分别构成上述诊断对象图像块图像的各个像素获取的分类结果,在上述诊断对象图像块图像注解上述疾病的发病区域。
5.根据权利要求1所述的方法,其特征在于,上述疾病为前列腺癌。
6.一种计算机程序,其特征在于,为了执行根据权利要求1至5中任一项所述的方法而存储于设置在数据处理装置的计算机可读介质。
7.一种利用神经网络的诊断系统,其特征在于,包括:
处理器;以及
存储器,用于存储计算机程序,
当上述处理器执行上述计算机程序时,使得上述利用神经网络的诊断系统执行根据权利要求1至5中任一项所述的方法。
8.一种利用神经网络的诊断系统,其特征在于,包括:
存储模块,用于存储图像块级别分类神经网络及像素级别分类神经网络,上述图像块级别分类神经网络通过接收作为对作为生物图像的规定切片进行分割后的一部分的图像块来预测在上述图像块是否存在规定疾病的分类结果,上述像素级别分类神经网络通过接收上述图像块并按照构成上述图像块的各个像素预测上述疾病的相关分类结果;
获取模块,用于获取多个训练用切片图像,在上述多个训练用切片图像分别标记有与其相应的切片级别诊断结果;以及
学习模块,利用上述多个训练用切片图像来以渐进方式训练上述图像块级别分类神经网络及上述像素级别分类神经网络,
上述学习模块为了以渐进方式训练上述图像块级别分类神经网络及上述像素级别分类神经网络而反复执行两次以上训练过程,
上述训练过程包括如下步骤:
分别对于上述多个训练用切片生成与上述训练用切片相应的训练数据,与上述训练用切片相应的训练数据包括用于训练上述图像块级别分类神经网络的图像块级别训练数据及用于训练上述像素级别分类神经网络的像素级别训练数据;
利用与上述多个训练用切片分别相应的图像块级别训练数据训练上述图像块级别分类神经网络;以及
利用与上述多个训练用切片分别相应的像素级别训练数据训练上述像素级别分类神经网络。
9.根据权利要求8所述的利用神经网络的诊断系统,其特征在于,生成与上述训练用切片相应的训练数据的步骤包括如下步骤:
向上述图像块级别分类神经网络分别输入与上述训练用切片相应的多个图像块图像来获取对与上述训练用切片相应的多个图像块图像的各个分类结果,与上述训练用切片相应的多个图像块图像为按照规定尺寸分割上述训练用切片的多个图像;
基于对与上述训练用切片相应的多个图像块图像的各个预测结果,从与上述训练用切片相应的多个图像块图像中确定与上述训练用切片相应的代表图像块图像;以及
将与上述训练用切片相应的代表图像块图像标记为上述训练用切片图像的切片级别诊断结果并生成与上述训练用切片图像相应的图像块级别训练数据。
10.根据权利要求8所述的利用神经网络的诊断系统,其特征在于,生成与上述训练用切片相应的训练数据的步骤包括如下步骤:
向上述图像块级别分类神经网络分别输入与上述训练用切片相应的多个图像块图像来获取对与上述训练用切片相应的多个图像块图像的各个分类结果,与上述训练用切片相应的多个图像块图像为按照规定尺寸分割上述训练用切片的多个图像;
基于对与上述训练用切片相应的多个图像块图像的各个预测结果,从与上述训练用切片相应的多个图像块图像中确定与上述训练用切片相应的代表图像块图像;
通过对输出上述代表图像块图像的相关预测结果的上述分类神经网络执行梯度加权类激活映射来生成与上述代表图像块图像相应的掩码;以及
将与上述训练用切片相应的代表图像块图像标记为与上述代表图像块图像相应的掩码并生成与上述训练用切片相应的像素级别训练数据。
11.根据权利要求8所述的利用神经网络的诊断系统,其特征在于,还包括注解模块,向完成训练的上述像素级别分类神经网络输入规定的诊断对象图像块图像来按照分别构成上述诊断对象图像块图像的各个像素获取上述疾病的相关分类结果,基于按照分别构成上述诊断对象图像块图像的各个像素获取的分类结果,在上述诊断对象图像块图像注解上述疾病的发病区域。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2020/009721 WO2022019356A1 (ko) | 2020-07-23 | 2020-07-23 | 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116134535A true CN116134535A (zh) | 2023-05-16 |
Family
ID=79728717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080104689.6A Pending CN116134535A (zh) | 2020-07-23 | 2020-07-23 | 利用半监督学习对疾病发病区域进行注解的方法及执行其的诊断系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230298753A1 (zh) |
EP (1) | EP4170678A4 (zh) |
JP (1) | JP7430025B2 (zh) |
CN (1) | CN116134535A (zh) |
WO (1) | WO2022019356A1 (zh) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2884008A1 (fr) * | 2005-03-31 | 2006-10-06 | France Telecom | Systeme et procede de localisation de points d'interet dans une image d'objet mettant en oeuvre un reseau de neurones |
CN103679185B (zh) * | 2012-08-31 | 2017-06-16 | 富士通株式会社 | 卷积神经网络分类器系统、其训练方法、分类方法和用途 |
US10417525B2 (en) | 2014-09-22 | 2019-09-17 | Samsung Electronics Co., Ltd. | Object recognition with reduced neural network weight precision |
KR101944536B1 (ko) * | 2016-12-11 | 2019-02-01 | 주식회사 딥바이오 | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법 |
KR101887194B1 (ko) * | 2018-06-20 | 2018-08-10 | 주식회사 뷰노 | 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치 |
KR101919908B1 (ko) * | 2018-05-14 | 2018-11-20 | 주식회사 뷰노 | 의료 영상의 레이블링을 지원하는 방법 및 이를 이용한 장치 |
KR102174379B1 (ko) | 2018-08-27 | 2020-11-04 | 주식회사 딥바이오 | 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법 |
KR102261473B1 (ko) | 2018-11-30 | 2021-06-07 | 주식회사 딥바이오 | 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템 |
KR102236948B1 (ko) * | 2019-01-25 | 2021-04-06 | 주식회사 딥바이오 | 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템 |
US10430946B1 (en) | 2019-03-14 | 2019-10-01 | Inception Institute of Artificial Intelligence, Ltd. | Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques |
-
2020
- 2020-07-23 WO PCT/KR2020/009721 patent/WO2022019356A1/ko unknown
- 2020-07-23 CN CN202080104689.6A patent/CN116134535A/zh active Pending
- 2020-07-23 US US18/017,397 patent/US20230298753A1/en active Pending
- 2020-07-23 JP JP2023502693A patent/JP7430025B2/ja active Active
- 2020-07-23 EP EP20946016.1A patent/EP4170678A4/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2023535338A (ja) | 2023-08-17 |
US20230298753A1 (en) | 2023-09-21 |
WO2022019356A1 (ko) | 2022-01-27 |
JP7430025B2 (ja) | 2024-02-09 |
EP4170678A1 (en) | 2023-04-26 |
EP4170678A4 (en) | 2024-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110366759B (zh) | 用神经网络诊断疾病的系统及其方法 | |
KR102236948B1 (ko) | 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템 | |
CN112889116B (zh) | 检索病理图像的系统及方法 | |
CN112639997B (zh) | 一种利用神经网络进行分割的疾病诊断系统和方法 | |
JP7146300B2 (ja) | ツーフェーズ疾病診断システム及び該方法 | |
CN115699024A (zh) | 疾病严重程度判断用神经网络学习方法及系统 | |
CN112740335A (zh) | 基于神经网络的疾病诊断系统和方法 | |
CN112567474B (zh) | 利用多重颜色模型和神经网络的疾病诊断系统和方法 | |
CN113056793A (zh) | 基于监督学习的一致性诊断方法及其系统 | |
JP7299658B2 (ja) | ニューラルネットワーク及び非局所的ブロックを用いてセグメンテーションを行う疾病診断システム及び方法 | |
CN115777107A (zh) | 通过自动编码器及多实例学习进行的神经网络学习方法以及执行其的计算系统 | |
CN112037212A (zh) | 一种基于深度学习的肺结核dr影像识别方法 | |
EP4318497A1 (en) | Training method for training artificial neural network for determining breast cancer lesion area, and computing system performing same | |
CN112567466A (zh) | 诊断结果生成系统及其方法 | |
CN116134535A (zh) | 利用半监督学习对疾病发病区域进行注解的方法及执行其的诊断系统 | |
EP4170677A1 (en) | Disease diagnosis method using neural network trained by using multi-phase biometric image, and disease diagnosis system performing same | |
KR102226897B1 (ko) | 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템 | |
JP2022074088A (ja) | 病変検出人工知能パイプライン・コンピューティング・システムのための方法、コンピュータ・プログラム、および装置(病変検出人工知能パイプライン・コンピューティング・システム) | |
CN114049358A (zh) | 肋骨实例分割、计数与定位的方法及系统 | |
KR102723336B1 (ko) | 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법 및 그 시스템 | |
EP4293685A1 (en) | Prognosis prediction method using result of disease diagnosis through neural network and system therefor | |
Ayitey Junior et al. | The use of Efficientnet_b0 network to identify COVID-19 in chest X-ray images | |
KR20240033470A (ko) | 훈련을 위한 의료 영상을 생성하기 위한 방법 및 장치 | |
CN118196478A (zh) | 组织病理图像识别方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |