CN110366759B - 用神经网络诊断疾病的系统及其方法 - Google Patents
用神经网络诊断疾病的系统及其方法 Download PDFInfo
- Publication number
- CN110366759B CN110366759B CN201780076613.5A CN201780076613A CN110366759B CN 110366759 B CN110366759 B CN 110366759B CN 201780076613 A CN201780076613 A CN 201780076613A CN 110366759 B CN110366759 B CN 110366759B
- Authority
- CN
- China
- Prior art keywords
- neural network
- layer
- image
- output
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 164
- 201000010099 disease Diseases 0.000 title claims abstract description 73
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000003745 diagnosis Methods 0.000 claims abstract description 71
- 210000001519 tissue Anatomy 0.000 claims description 42
- 206010060862 Prostate cancer Diseases 0.000 claims description 17
- 210000004907 gland Anatomy 0.000 claims description 11
- 208000000236 Prostatic Neoplasms Diseases 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 2
- 230000001747 exhibiting effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 16
- 238000013527 convolutional neural network Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000002372 labelling Methods 0.000 description 9
- 238000005192 partition Methods 0.000 description 9
- 210000004940 nucleus Anatomy 0.000 description 8
- 210000004027 cell Anatomy 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 206010061818 Disease progression Diseases 0.000 description 5
- 230000005750 disease progression Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000007170 pathology Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 210000002421 cell wall Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
- G16B40/20—Supervised data analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30081—Prostate
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computational Linguistics (AREA)
- Pathology (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Bioethics (AREA)
- Biotechnology (AREA)
Abstract
本发明公开了一种使用神经网络的疾病诊断系统及其方法。使用所述神经网络的疾病诊断系统包括：包含于生物图像的预设定图像分块作为输入层并包括多个第1层和输出层的微观神经网络；以及包括所述图像分块和所述图像分块的至少一个相邻图像分块的宏观图像分块作为输入层并包括多个第2层和所述输出层的宏观神经网络，所述输出层包括至少一个表现所述图像分块所对应的生物组织的所述疾病状态的状态通道。
Description
技术领域
本发明涉及一种利用神经网络诊断疾病的系统及其方法。具体来说，是通过神经网络进行学习，使用学到的神经网络输入生物组织的图像时，能够诊断预设定疾病(例如前列腺癌)的系统及其方法。
背景技术
病理学或病理科所执行的主要任务之一是读取患者的生物图像，判断特定疾病的状态或征兆并进行诊断。这种诊断方式依赖于长期训练有素的医疗人员的经验和知识。
最近，随着机器学习的发展，正在积极尝试依靠计算机系统执行自动化识别和分类图像等任务。尤其是正在尝试利用机器学习中的神经网络(例如，使用卷积神经网络(Convolution neurla network,CNN)的深度学习方式)使原来资深医疗人员的诊断自动化执行。
尤其是通过用神经网络(例如CNN)这一深度学习的诊断，并不是单纯地将以往资深医疗人员的经验和知识自动化，还可以通过自我学习找到特征因子并导出所需的答案，因此有时候反而可以从图像中找到资深医疗人员尚未接触的疾病因子的特征。
一般来说，通过利用生物图像的神经网络的疾病诊断是利用生物图像的片段即图像分块(tile)。即，对于相应分块，资深医疗人员将特定疾病的状态(例如癌症表达与否)进行注记(annotation)，并使用经注记的多个图像分块作为训练数据来学习神经网络。这种时候，上述神经网络可以使用卷积神经网络。
但是，通过这种方式，经学习的神经网络只能通过相应图像分块的图像属性来判断相应图像分块的疾病状态，实际上，在判断特定疾病的特定生物组织的状态时，不仅需要考虑上述特定生物组织本身，还需要考虑上述特定生物组织的周围组织的状态(例如，形状、特定模式是否存在等)。但是传统方法的弊病是不适用于这种情况。
已有技术文献
-专利文献
韩国公开专利10-2016-0034814“伴随着神经网络的客户端设备及包含其的系统”。
发明的具体描述
技术课题
本发明要实现的技术课题是提供一种利用神经网络的诊断系统及其方法，为了判断特定图像分块的状态(例如疾病表达与否、或显现疾病状态的指标等)，不仅将上述特定的图像分块用于学习，还包括周围的图像分块，从而提高准确度。
此外所提供的这种利用神经网络的诊断系统及其方法，不仅可以输出图像分块的疾病状态的信息，还可以输出判断这种状态所依据的因子的有关信息。
发明内容
为了完成上述技术课题，在包括处理器和神经网络存储器的系统中得以实现，使用生物图像和上述神经网络的疾病诊断系统将上述生物图像中包含的定义图像分块作为输入层，包括了包含多个第1层和输出层的微观神经网络；以及将包括所述图像分块和所述图像分块的至少一个相邻图像分块的宏观图像分块作为输入层，包括了包含多个第2层和所述输出层的宏观神经网络。所述输出层至少包含一个显现对应于所述图像分块的生物组织的所述疾病状态的状态通道。
所述输出层，可基于第1前层和第2前层各自的输出数据而定，第1前层包括在所述第1层中且是所述输出层的前一层，第2前层包括在所述第2层中且是所述输出层的前一层。
所述宏观神经网络的特征是与所述微观神经网络相比具有较大的步幅(stride)。
所述输出层，可以包含至少一个表现与所述状态通道和所述状态通道的值相关联的关联因子的表达程度的关联因子通道。
特征是所述疾病是前列腺癌。
所述状态通道可能是与所述图像分块相对应的生物组织具有预设定范围的格里森模式值的概率的表现通道。
所述关联因子通道可以包含表现与所述图像分块相对应的生物组织的细胞核满足特定条件的概率的通道、表现与所述图像分块相对应的生物组织被归类为单细胞层的概率的通道、表现与所述图像分块相对应的生物组织被归类为高密度腺体(gland)的概率的通道，或者表现与所述图像分块相对应的生物组织被归类为正常基质(stroma)的概率的通道中的至少一个通道。
为了解决上述技术难题，在包含处理器和存储神经网络的存储器的系统中实施且使用生物图像和所述神经网络的疾病诊断系统包括所述生物图像中包括的输入预设定图像分块的输入层、若干层以及输出层，所述输出层包括至少一个表现与所述分块相对应生物组织的所述疾病状态的状态通道以及至少一个表现与所述状态通道的值相关联的关联因子的表达程度的关联因子通道。
为了解决上述技术难题，一种在包含处理器和存储神经网络的存储器的系统中实施，且使用生物图像和神经网络的疾病诊断系统的操作方法包括：将所述生物图像中包含的预设定图像分块作为输入层输入且包含多个第1层和输出层的微观神经网络以及包括将所述图像分块和所述图像分块的至少一个相邻的图像分块的宏观图像分块作为输入层输入且包括多个第2层和所述输出层的宏观神经网络的存储步骤；使所述图像分块和所述输出层相对应，利用所述图像分块上已被标注(annotation)的标注信息分别学习所述微观神经网络和所述宏观神经网络的步骤，上述输出层至少包含一个状态通道的步骤。所述输出层至少包括一个表现与所述图像分块相对应的生物组织的所述疾病状态的状态通道。
一种使用所述神经网络的疾病诊断方法还可能包括：经学习的所述微观神经网络和所述宏观神经网络的所述神经网络输入包含于诊断目标生物图像的目标图像分块的步骤；以及通过所述神经网络输出与所述输出层相对应的输出数据的步骤。
所述输出层可基于第1前层和第2前层各自的输出数据而定，第1前层包括在所述各第1层中且是所述输出层的前一层，第2前层包括在所述第2层中且是所述输出层的前一层。
为了解决上述技术难题，一种在包括处理器和存储神经网络的存贮装备的系统中实施的，利用生物图像和所述神经网络的疾病诊断系统的操作方法包括：包括接收输入所述生物图像中包含的预设定图像分块的输入层、若干层及输出层的神经网络的存储步骤；以及使用与所述图像分块和所述输出层相对应的所述图像分块的标注信息来学习所述神经网络的步骤，所述输出层可以包括至少一个显现所述图像分块所对应的生物组织的所述疾病状态的状态通道，以及至少一个表现与所述状态通道的值相关联的关联因子的表达程度的关联因子通道。
上述方法可以通过数据处理器中安装的计算机程序和能够运行上述计算机程序的数据处理器中的硬件来实施。
发明的效果
根据本发明的技术思想，在对特定图像分块进行诊断时，同时考虑到了即包括上述特定图像分块又包括周边图像分块的宏观图像分块，因为提供了能够判断所述特定图像分块的疾病状态的神经网络，因此可提供更高的诊断准确度。
此外，神经网络不仅输出有关疾病状态的信息，还输出与这些状态相关的因子的信息，从而可提高诊断系统所判断的疾病状态信息的可信度，并且可以通过确认上述状态的信息及其依据，对错误判断进行验证。
附图的简单说明
为了充分理解本发明在具体说明时所使用的附图，在此提供各附图的简要说明。
图1是使用本发明技术思想所涉及的神经网络的一种疾病诊断系统的系统结构的简明示意图。
图2是利用本发明的实施例所涉及的神经网络的一种疾病诊断系统的逻辑结构的示意图。
图3是利用本发明的实施例所涉及的神经网络的一种疾病诊断系统的硬件配置的示意图。
图4是本发明的实施例涉及的神经网络的组成的示意图。
图5是本发明的实施例涉及的神经网络的输出层的示意图。
图6是用来学习本发明的实施例涉及的神经网络的注记信息的一个示例图。
图7至图10是本发明的实施例涉及的神经网络中的关联因子的示意图。
图11是使用本发明的实施例涉及的神经网络诊断结果的示意图。
图12是经过使用本发明的实施例涉及的神经网络的一种疾病诊断系统诊断的生物图像的示意图。
具体实施方式
对本发明可进行各种转换并可有多种实施例，在图中举例说明的特定实施例是为了进行更具体的说明。但是，这并不代表将本发明限定于特定的实施方式，而是应该理解为只要是在本发明的思想和技术范围内，还可以包括所有的转换、同类物品及替代品。在对本发明进行说明时，一旦认为相关公开技术的具体说明可能会导致本发明的要旨含糊不清，则将省略对其的详细说明。
第1、第2等术语可用于描述各种组件，但上述组件不应受上述术语的限制。上述术语仅用于将一个组件与另一个组件区分开来。
本说明书中使用的术语仅用于说明特定的实施例，并不存在对本发明进行限定的意图。单数的表达中也包括了复数的表达，除非在上下文中是明显不同的。
在本说明书中，应理解“包含”、“或”、“具有”等术语指的是说明书中列出的特征、数字、步骤、动作、组件、零件或它们的组合的存在，而不会首先排除一个或多个其他特征，或数字、步骤、动作、组件、零件或它们的组合的存在或附加可能性。
此外，在本说明书中，在任意一个组件将数据“传送”至另一个组件的情况下，则所述组件是指可将上述数据直接传送到所述其他组件，也可以通过至少又一个其他组件将上述数据传输到所述其他组件。相反，如果任意一个组件将数据“直接传送”到另一个组件，则是指所述数据将从所述组件传输到所述其他组件，而不是通过其他的组件。
以下将参考附图，围绕本发明的实施例具体说明本发明。各附图中所显示的相同的参照符号代表相同的构件。
图1是使用本发明技术思想所涉及的神经网络的一种疾病诊断系统的简明系统结构的示意图。
参考图1，使用本发明的技术思想所涉及的神经网络的一种诊断疾病的系统(以下简称诊断系统100)可以安装在预设的服务器10上，以实现本发明的技术思想。所述服务器10是指为了实现本发明技术思想的具有计算能力的数据处理器，对服务器进行定义时，不仅可以是通常通过网络连接客户端的数据处理器，也可以是能够执行特定服务如私人电脑、移动终端等可执行特定服务的任意设备，因此本发明技术领域的普通专家都能够轻松地推断出来。
如图3所示，所述服务器10可以包括处理器11和存储器12。所述处理器11可以是指能够驱动实现本发明技术思想的程序(12-1)的计算设备，所述处理器11可以使用所述程序(12-1)和根据本发明技术思想定义的神经网络(Nerual Network,12-2)来执行诊断。
所述存储器12可以是指能够存储所述程序(12-1)和神经网络(12-2)的数据的一种存储手段，也可以根据实施例通过多种存储手段加以实现。所指的所述存储器12不仅可以包括所述服务器10所含的主要记忆装置，还可能包括所述处理器11可能包含的暂存器或记忆卡等。
所述诊断系统100在图1或图3中是通过任意一种物理设备实现的，但根据需要可以将多个物理设备有机地结合在一起，并根据本发明的技术思想来实现诊断系统100，这是本发明技术领域的普通专家很容易推断出来的。
在本说明书中，所述诊断系统100执行诊断可以指通过输入表达生物组织的生物图像，输出本说明书中定义的输出数据的一系列过程。所述输出数据可以指所述诊断系统100使用的神经网络的输出层输出的信息，所述输出数据可包括与所述生物图像中包含的图像分块所对应的生物组织表现出特定疾病的一些状态认知的状态信息。这些状态信息可以是所述输出层中包含的状态通道输出的信息。
例如，状态信息可能是某些疾病(例如某些类型的癌症)是否在与所述图像分块对应的组织中表达出来的概率信息。或者，如后文所述，可能只是特定疾病是否显现出来，也有可能是显现出特定疾病发展程度的信息(或是与发展程度相对应的概率)。例如，如后文所述，如果本发明的技术思想用于前列腺癌的诊断，则所述状态信息可能包括格里森模式(Gleason Pattern)或格里森评分(Gleason Score)等显现前列腺癌发展程度的指标。例如，格里森模式的值为2到5，数值越大，表示前列腺癌的发病率就越高。因此，所述状态信息也可以指诊断目标图像分块所对应的生物组织的格里森模式的特定值(例如，3、4或5)所对应的概率。
所述状态信息可以存在多个。例如，第1状态信息可以表示格里森模式为3的概率，第2状态信息可以表示格里森模式为4的概率，第3状态信息可以表示格里森模式为5的概率，和这些第1状态信息、第2状态信息以及第3状态信息相对应的状态通道都可以在所述输出层进行定义。根据实施例，表现出格里森模式一定范围内(例如3至5、4至5等)概率的状态信息可以定义。也就是说，一个状态信息可对应于显现疾病发展状态的多个指标。
输出层中包含的状态通道理当可以根据学习时如何标注(annotation)相应的图像分块来确定。
一方面，根据本发明的技术思想，所述输出层不仅可以包含状态通道，还可以包含相关因子通道。这些技术思想将在之后描述。
如果所述诊断系统100包含在预设定的服务器10中并已实施，则所述诊断系统100还至少可以与一个能连接到所述服务器10的客户端(例如20、20-1)进行通信。在这种情况下，所述客户端(例如20，20-1)可以将生物图像传送到所述诊断系统100，所述诊断系统100可以基于本发明的技术思想对传送的生物图像执行诊断。而且，还可以将诊断结果发送到所述客户端(例如，20、20-1)。
所述诊断系统100可以根据本发明的技术思想，利用神经网络进行诊断。当然，为了执行这种诊断，可以先执行学习所述神经网络的过程。
因此，所述诊断系统100可能是根据本发明的技术思想，使用所学习的神经网络和所述神经网络执行诊断的程序从外部接收并执行诊断的一种系统，也可能是执行所述神经网络学习的系统。此外，所述诊断系统100并不是通用的数据处理器，而是为实现本发明的技术思想而制备的专用设备，在这种情况下，还可能具备用来扫描生物图像的其他工具。
根据本发明的技术思想，诊断系统100使用的神经网络可能包括微观神经网络和宏观神经网络。
所述微观神经网络可以指使用一个特定的图像分块进行学习的网络，并可以利用所述图像分块本身的图像属性执行一系列程序来对所述图像分块进行诊断。
所述宏观神经网络可以指一种网络，不仅包含所述图像分块，还可以是包含所述图像分块，使用包含所述图像分块的至少一个相邻图像分块的宏观图像分块进行学习，并利用所述整个宏观图像分块的图像属性执行一系列程序来诊断上述图像分块。
因此，根据本发明的技术思想，神经网络具有的特征是不仅仅考虑所述特定图像分块本身的图像来对特定图像分块进行诊断，还可能同时考虑到与所述特定图像分块相邻的至少一个图像分块的图像，并执行所述特定图像分块的诊断。通过这些技术思想，实际上，为了诊断与特定图像分块相对应的生物组织，不仅需要考虑所述生物组织，还需要考虑所述生物组织的周围组织的状态，这对疾病的诊断至关重要，从而达到提高准确度的效果。此外，如果将生物图像分割为多个图像分块，那么图像分块的分割方式或分割区域在生物组织具体位置可能会对诊断结果产生重大的影响。
为了实施这些技术思想，所述诊断系统100在理论上可能具有如图2所示的配置。
图2是使用本发明实施例涉及的神经网络的疾病诊断系统的逻辑结构的图解。
参考图2，所述诊断系统100包括控制模块110和存储神经网络的神经网络模块120。此外，所述诊断系统100还可包括预处理模块130。
所述诊断系统100可以指具有实现本发明技术思想所需的硬件资源(resource)和/或软件的逻辑配置，不一定是指一个物理组件，也不一定是指一个设备。即，所述诊断系统100可以是指为实现本发明的技术思想而配备的硬件和/或软件的逻辑组合，必要时可以安装在相互隔离的设备上，执行各自的功能，从而可作为实施本发明技术思想的一组逻辑配置来完成。例如，所述控制模块110、所述神经网络模块120、和/或所述预处理模块130可以位于互不相同的物理设备上，也可以位于同一个物理设备上。另外，根据实施例，构成所述控制模块110、所述神经网络模块120和/或所述预处理模块130中每个模块的软件和/或硬件的组合也位于互不相同的物理设备上，位于不同物理设备上的配置还可以有机地结合在一起，完成各自的所述模块。
本说明书中的模块还可以指执行本发明的技术思想的硬件，以及驱动所述硬件的软件的功能和结构组合。例如，所述模块可以是指用来执行所述预设定代码的硬件资源(resource)的逻辑单位，不一定是指物理连接的代码，也不一定是指一种硬件，本发明技术领域的普通专家可以很容易地推断出来。
所述控制模块110可以控制所述诊断系统100中包含的其他配置(例如，所述神经网络模块120和/或所述预处理模块130)，以实现本发明的技术思想。
此外，所述控制模块110可以使用存储在所述神经网络模块120中的神经网络并根据本发明的技术思想进行诊断。如上所述，执行诊断可以是指输出层中定义的至少一个通道的通道值的输出。每个通道值都可体现出与诊断目标图像分块对应的通道所定义的信息相对应的概率。
所述神经网络模块120可以存储神经网络。所述神经网络可以指表达定义神经网络的一系列设计的信息的集合。在本说明书中，所述神经网络可能是卷积神经网络。
众所周知，所述卷积神经网络可以包含输入层、多个隐层和输出层。多个隐层中的每一层都可以包括卷积层和池化层(或子采样层)。
卷积神经网络可以通过函数、过滤、步幅、重量因子等来分别定义这些层。另外，输出层可定义为全连接(fully connected)的前馈层(FeedForward layer)。
构成卷积神经网络的每一层的设计是众所周知的。例如，对每个卷积函数、池函数、激活函数可使用已公布的函数来定义包括于若干层中的层数、所述若干层，也可以使用其他被定义的函数来实现本发明的技术思想。
举例来说，卷积函数有离散卷积和等；池函数可使用最大池(max pooling)、平均池(average pooling)等。激活函数可能是S形函数(sigmoid)、双曲函数(tanh)、ReLU函数(ReLU(rectified linear unit))等。
这些卷积神经网络的设计定义之后，设计经定义的卷积神经网络可以存储在存储器上。而且，所述卷积神经网络一经学习，与每一层相对应的重量因子就可能被特定。
即，卷积神经网络的学习可以指确定每一层重量因子的过程。而且，卷积神经网络一经学习，经学习的卷积神经网络就可以在输入层接收输入数据的输入，并通过预定义的输出层输出输出数据。
根据本发明的实施例，神经网络可以通过上述广泛周知的设计中任选一个或多个进行定义，也可以为所述神经网络定义独立的设计。
所述控制模块110可以将输入数据输入存储在所述神经网络模块120中的神经网络，即学习的神经网络。并且可以通过执行神经网络定义的计算来输出输出数据。
所述预处理模块130可以在使用神经网络执行诊断之前对所需的生物图像进行预处理。例如，所述生物图像的预处理可能包括将所述生物图像分成预定义大小的图像分块的过程，并且可以根据需要以适合所述神经网络的方式进行适当的图像处理。对此，这一发明技术领域的普通专家可以轻松推断出来。
另一方面，根据本发明的技术思想，如上所述，神经网络具有包括微观神经网络和宏观神经网络这一技术特点。具体的例子将参考图4进行详细说明。
图4是本发明实施例涉及的神经网络的组成的示意图。
参考图4，本发明技术思想所涉及的神经网络200包括微观神经网络和宏观神经网络。
微观神经网络包括若干层210和输出层230。多个层210包括输入层211和多个隐层212。
宏观神经网络包括若干层220和所述输出层230。所述若干层220包括输入层221和多个隐层222。
所述微观神经网络被定义为接收特定图像分块30的输入，以输出特定图像分块的诊断结果，即输出层230中定义的输出数据。
此外，所述宏观神经网络包含所述特定图像分块30，被定义为接收输入至少包含一个所述特定图像分块30的相邻图像分块的宏观图像分块40，并输出所述特定图像分块的诊断结果。
即，本发明技术思想涉及的神经网络200为了输出特定图像分块30的诊断结果，不仅要考虑特定图像分块30的图像属性，还要考虑所述特定图像分块30的相邻图像分块的图像属性，才能输出诊断结果。
所述宏观图像分块40在图4中举例说明了围绕图像分块的图像分块3被使用的情况，当然还可能有各种各样的实施例。
所述输出层230可以接收输入包含于所述微观神经网络中的所述输出层230之前的层即第1前层(212-1)，以及包含于宏观神经网络的所述输出层230之前的层即第2前层(222-1)的每一个输出数据，从而输出所述输出层230中定义的输出数据。所述第1前层(212-1)、所述第2层前层(222-1)和所述输出层230可以是全连接的(fully connected)。
定义所述输出层230的前馈函数(Feedforward)可以用输入层输入的输入数据通过神经网络200作为结果输出到输出层230，并输出输出数据的各种函数中的任意一个。
最终，为了对特定图像分块30执行诊断，所述神经网络200将所述特定图像分块30的图像属性与包含所述特定图像分块30的宏观图像分块40的图像属性结合在一起考虑并学习，以输出与大量训练数据的注记值相应的输出层230的输出数据。
即，为了学习所述神经网络200，使用了大量训练数据，大量训练数据可以包含一对特定图像分块30和宏观图像分块40。而且，宏观图像分块40也可以利用所述特定图像分块30的注记信息进行学习。
然后，所述神经网络200通过同时考虑所述特定图像分块30和所述宏观图像分块40的图像属性，可以学习以输出与所述特定图像分块30的注记信息相对应的输出数据。
并且，经学习的神经网络200将成为诊断目标的图像分块和与所述目标图像分块相对应的宏观图像分块分别作为微观神经网络和宏观神经网络的输入层的输入数据接收输入，从而可以输出所述目标图像分块的诊断结果，即输出层230的输出数据。
另一方面，所述宏观神经网络的特点是与微观神经网络相比，具有更大的步幅。这可能是指在宏观神经网络中，与微观神经网络相比，更加间歇性地提取宏观图像分块40中含有的图像属性。这可能是指宏观神经网络为了诊断所述特定的图像分块30，并不需要和微观神经网络一样经过提取非常密集的图像属性并将提取的图像属性抽象化的过程。反而具有可以限制非特定图像分块30的相邻图像分块的图像属性在一定程度上对诊断产生过多影响的效果。因此，使宏观神经网络的步幅值大于微观神经网络，可以完成更有效的网络设计。根据一个例子，所述微观神经网络中使用的步幅值可以是1，宏观神经网络中使用的步幅值可以是2或3等。
此外，没有必要对所有隐层普遍应用较大的步幅值，对于只适用于最初几个卷积层的步幅值，宏观神经网络可能会比微观神经网络的更大。
另一方面，所述输出层230可以输出作为诊断目标的特定图像分块30的诊断结果。诊断结果至少可包含所述特定图像分块30的疾病状态的信息。有关疾病状态的信息可能只是指特定疾病在特定图像分块30中表达与否(或概率值)的信息。
但是，根据疾病的种类，疾病状态的信息也可能包括更具体地体现疾病发展程度的信息。以下虽然只是以所述诊断系统100诊断的疾病类型为前列腺癌的情况为例，但本发明的技术思想并不仅限于应用于前列腺癌，本发明技术领域的普通专家都可以轻松地推断出来。
图5是本发明的实施例涉及的神经网络的输出层的示意图。
参考图5，本发明的实施例涉及的输出层230可能包含至少一个通道(例如，从231至238)。
如上所述，所述输出层230可能至少包含一个显现疾病状态信息的状态通道(例如236、237、238)。所述各状态通道(例如236、237、238)可以分别是体现疾病发展程度的信息。例如，第1状态通道236可以是显示前列腺癌发展程度的指标格里森模式的数值中第1数值(例如格里森模式3)的拥有概率的信息。第2状态通道237和第3状态通道238可以是分别显示格里森模式的数值中的不同值，即第2数值(如格里森模式4)和第3数值(如格里森模式5)的拥有概率的信息。如果根据疾病的种类定义发展程度体现指标，那么状态通道根据发展程度定义不仅能够简单地表达疾病，还能诊断出该疾病的发展程度。
另一方面，根据本发明的技术思想，所述输出层230中不仅包括所述状态通道的值，即成为诊断目标的图像分块是否显现出疾病或疾病发展到哪一程度的信息，还至少包括一个体现与所述状态通道的值相关联的关联因子表达程度的关联因子通道(如232、233、234、235)。
即，所述关联因子通道(如232、233、234、235)可以是指疾病是否显现出来，或者判断疾病发展程度时所依据的独立因子是否表达的信息。例如，前列腺癌的发病或发展程度可以通过考虑单个或多个独立因子，例如细胞核的状态是否满足预设定的条件、腺体(gland)细胞壁是否形成一层、腺体是否密集到一定程度以上，以及/或基质的形态是否正常等，来判断前列腺癌是否发病或发展到何种程度。
即，这些独立因子的组合决定了状态通道的通道值，根据本发明的技术思想，这些独立因子本身定义为独立的通道，当然独立因子的表达与否也是通过学习来执行诊断的。
像这样在输出层230上定义关联因子通道(如232、233、234、235)，可以解决的难题是如果实际上只有状态通道存在，那么医务人员不知道导出该状态通道输出值的原因。即，根据本发明的技术思想，还可以提供状态通道的输出值，如诊断系统100判断疾病是否表达或疾病发展到何种程度的判断依据的独立因子是否表达，即关联因子通道(如232、233、234、235)的输出值。因此，所获取的效果是诊断系统100的诊断结果更具可信度。此外，可以方便地确认关联因子通道(例如232、233、234、235)的输出值与状态通道的输出值是否相互匹配，在学习过程中也能判断所述诊断系统100的学习是否正常进行，从而对神经网络200的学习本身也是有效的。并且还证实了，在分别学习关联因子通道(如232、233、234、235)的情况下，神经网络200具有更加准确的诊断率。这实际上可能是指输出层230中包含关联因子通道(如232、233、234、235)，神经网络200在判断状态通道的输出值时考虑到了各独立因子。
所述诊断系统100在为诊断前列腺癌而学习的情况下，所述关联因子通道可能包含体现与所述图像分块相对应的生物组织的细胞核满足特定条件的概率的通道。例如，所述特定条件可能包括核相对较大、颜色较深、核仁清晰可见、核接近圆形等条件，满足这些条件的程度越高，前列腺癌的发病率或发展程度偏高的概率就越大。
此外，所述关联因子通道(例如232、233、234、235)可以包括体现所述图像分块所对应的生物组织归类为单细胞层即腺体细胞壁明显可见一层的概率的通道。如果单细胞层的特征表达，那么前列腺癌发病的概率或发展程度可能会很高。
另外，所述关联因子通道(如232、233、234、235)还可以包括体现所述图像分块所对应的生物组织被归类为高密度腺体的概率的通道。例如，在一定范围内腺体是否过于密集，一旦超过了预设数量，那么前列腺癌发病的概率或发展程度可能会很高。
此外，所述关联因子通道(如232、233、234、235)还可以包含体现出所述图像分块相对应的生物组织归类为正常基质(stroma)的概率的通道。即，如果拥有正常的基质状态，那么前列腺癌发病的概率或发展程度可能会较低。
学习了的神经网络200要将所述输出层230中定义的每个通道值输出到输出数据中，不仅必须注记训练数据，即图像分块和宏观图像分块分别对应于输出层230的各通道的注记值，为此可能还需要能够注记所述通道值的专业人才。
在本发明的实施例中，所述输出层230中包含的各通道中，预设定的通道(例如231)可能不代表任何有含义的信息。换句话说，相关通道可能是不用于学习和诊断的通道。这是因为在设计网络时，输出层230有2倍个数的通道是有利的情况下，那么设计输出层230时可能就会设计为至少包含一个未使用的通道。
结果，本发明的技术思想涉及的诊断系统100使用的神经网络200的特点是，为了诊断成为诊断目标的任意一个图像分块，不仅考虑到所述图像分块，还考虑到包含所述图像分块的宏观图像分块的图像，从而能够执行更准确的诊断。
另外，所述神经网络200不仅仅将状态通道输出到输出数据，还包含至少一个关联因子通道，因此不仅可以确保诊断结果的可信度，对神经网络200的学习也十分有效，并且输出层中包含关联因子通道对状态通道的诊断结果本身也具有提高准确度的效果。
图6是本发明的实施例涉及的学习神经网络的标注信息的一个示例图。
参考图6，根据本发明的技术思想，为了学习神经网络200，可能需要宏观图像分块的标注信息，如图6所述。在图6中，对于存在于所述宏观图像分块中央的图像分块，输出层230中定义的每个通道的值都被标注。例如，如图6底部记载所示，8个通道的值分别标注，第一个通道是未使用通道，第二个通道如上所述是与细胞核相关的关联因子通道，第三个通道是与单细胞层相关的关联因子通道，第四个通道是与高密度腺体相关的关联因子通道，第五个通道是正常基质相关的关联因子通道，第六个通道是格里森模式值为3的状态通道，第七个通道是格里森模式值为4的状态通道，第八个通道是格里森模式值为5的状态通道。此外，标注可以是指对位于所述宏观图像分块中央的图像分块标注为具有格里森模式为4的状态。当然，图6中虽未图示，但可以对作为格里森模式为4的判断依据的关联因子通道进行进一步的标注。
包含这些标注信息和经标注的所述图像分块以及所述图像分块的宏观图像分块被用作训练数据，从而所述神经网络200可以学习。
图7至图10是本发明实施例涉及的神经网络中关联因子的示意图。
图7至图10显示了如上所述与关联因子通道相对应的值用标注(或诊断)图像分块的一个实施例来图示。图7显示的是在各图像分块中满足细胞核的条件的图像分块被反转；图8显示的是与单细胞层相对应的图像分块被反转。此外，图9显示与高密度腺体相对应的图像分块被反转；图10显示的是与正常基质相对应的图像分块被反转的情况。
因此，根据本发明的技术思想所涉及的诊断系统100，不仅可以从包含大量图像分块的生物图像中提取特定疾病表达或与特定发展状况相对应的各图像分块，还可以单独提取表达特定独立因子的图像分块。
图11是用来说明使用本发明的实施例涉及的神经网络的诊断结果的附图。
参考图11，使用本发明的实施例涉及的神经网络200的一种诊断系统100可以输出图11所示的各图像分块的中央图像分块的诊断结果，如图11底部所示。
例如，诊断系统100使用学习的神经网络200，图11中所示的图像分块的中央图像分块判断为，第一关联因子通道的值为0.90，第二关联因子通道的值为0.73，第三关联因子通道的值为0.95，第四关联因子通道的值为0，第一状态通道的值为0.64，第二状态通道的值为0.4，第三状态通道的值为0。
由此可判断所述中央图像分块格里森模式3的概率高，细胞核满足特定条件的概率高，单细胞层所对应的概率高，以及与高密度腺体相对应的概率高。
图12是通过使用本发明实施例涉及的神经网络的一种疾病诊断系统诊断的生物图像的示意图。
图12显示，根据本发明的技术思想，通过诊断系统100，根据生物图像中前列腺癌发病部位的发展程度而显示的不同的结果。图12中绿色标记的部分是与格里森模式3相对应的生物组织，紫色标记的部分是与格里森图案4相对应的生物组织，红色标记的部分是与格里森图案5相对应的生物组织。
因此，本发明的技术思想涉及的诊断系统100能够自动绘制并有效而迅速地诊断以往的病理学和资深医疗人员花费了很长时间诊断的结果。另外，根据疾病的发展程度，将状态通道定义为包含在多个输出层中，从而伴随着生物组织中疾病发展程度的差异，可以如图12所示差别化表示。
另外，如上所述，所述单个图像分块的诊断结果表明，与仅学习单个图像分块并使用它来构成执行诊断的神经网络相比，同时考虑单个图像分块和包括所述单个图像分块的宏观图像分块的情况下诊断的准确度更高了。
此外，尽管本说明书主要描述了本发明的技术思想在前列腺癌中的应用，但如果本发明的技术思想应用于对特定组织的诊断时，不仅要考虑特定组织，而且还需要考虑该组织周边组织的状态的其他疾病时，可以做出准确的诊断。对此，本发明技术领域的普通专家可以很容易地做出推断。
使用本发明实施例涉及的神经网络的一种疾病诊断方法可以作为计算机可读的代码在计算机可读的记录媒体上实现。计算机可读的记录媒体包括储存着计算机系统可读数据的各种记录装备。计算机可读媒体有ROM、RAM、CD-ROM、磁带、硬盘、软盘和数据存储光盘等。此外，计算机可读的记录媒体分布在网络连接的计算机系统中，以分布方式存储和执行计算机可读代码。并且，本发明所属技术领域的程序员可轻松推断出实现本发明的各功能性(functional)程序、代码和代码段。
本发明参考附图所示的一个实施例进行了说明，但这只是一个例子，如果是具备本技术领域常规知识的人会很清楚可以基于此进行各种改变和同等的其他实施例。因此，本发明真正的技术保护范围应由所附权利要求范围的技术思想来确定。
产业化可能性
本发明可用于使用神经网络的疾病诊断系统及其方法。
Claims (6)
1.一种使用神经网络的疾病诊断系统，其特征在于，
在包含处理器和神经网络存储装备的系统中得以实现，使用生物图像和上述神经网络的疾病诊断系统，该诊断系统包括：
将上述生物图像中包含的定义图像分块输入至输入层，并包含多个第1层和输出层的微观神经网络；以及
将包括所述图像分块和所述图像分块的至少一个相邻图像分块的宏观图像分块输入至输入层，并包含多个第2层和所述输出层的宏观神经网络；
所述输出层，至少包含一个表现对应于所述图像分块的生物组织的疾病状态的状态通道；
所述宏观神经网络具有比所述微观神经网络更大的步幅；
所述输出层包括：所述状态通道；及
至少一个表现与所述状态通道的值关联的关联因子的表达程度的关联因子通道；
所述疾病是前列腺癌；
所述状态通道是所述图像分块所对应的生物组织具有事先设定范围的格里森模式值的概率的通道；
所述输出层，
基于第1前层和第2前层各自的输出数据而定，第1前层包括在所述第1层中且是所述输出层的前一层，第2前层包括在所述第2层中且是所述输出层的前一层。
2.根据权利要求项1所述的一种使用神经网络的疾病诊断系统，其特征在于，所述微观神经网络中使用的步幅值可为1，宏观神经网络中使用的步幅值可为2或3。
3.根据权利要求项1所述的一种使用神经网络的疾病诊断系统，其特征在于，所述关联因子通道包含表现与所述图像分块相对应的生物组织的细胞核满足特定条件的概率的通道；
表现与所述图像分块相对应的生物组织被归类为单细胞层的概率的通道；
表现与所述图像分块相对应的生物组织被归类为高密度腺体的概率的通道，或者表现与所述图像分块相对应的生物组织被归类为正常基质的概率的通道中的至少一个通道。
4.一种使用神经网络的疾病诊断方法，其特征在于，
在包含处理器和存储神经网络的存储器的系统中实施，且使用生物图像和神经网络的疾病诊断系统的操作方法包括：
将所述生物图像中包含的预设定图像分块作为输入层输入且包含多个第1层和输出层的微观神经网络以及包括将所述图像分块和所述图像分块的至少一个相邻的图像分块的宏观图像分块作为输入层输入且包括多个第2层和所述输出层的宏观神经网络的存储步骤；
使所述图像分块和所述输出层相对应，利用所述图像分块上已被标注的标注信息分别学习所述微观神经网络和所述宏观神经网络的步骤，
上述输出层，
至少包括一个表现与所述图像分块相对应的生物组织的所述疾病状态的状态通道；
所述宏观神经网络具有比微观神经网络更大的步幅；
所述输出层包括：所述状态通道；及
至少一个表现与所述状态通道的值关联的关联因子的表达程度的关联因子通道；
所述输出层，
基于第1前层和第2前层各自的输出数据而定，第1前层包括在所述第1层中且是所述输出层的前一层，第2前层包括在所述第2层中且是所述输出层的前一层。
5.根据权利要求4所述的一种使用神经网络的疾病诊断方法，其特征在于，
经学习的所述微观神经网络和所述宏观神经网络的所述神经网络输入包含于诊断目标生物图像的目标图像分块的步骤；以及
通过所述神经网络输出与所述输出层相对应的输出数据的步骤。
6.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序安装在数据处理器中，以实施权利要求项4至5中任意一项记载的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160168176A KR101944536B1 (ko) | 2016-12-11 | 2016-12-11 | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법 |
| KR10-2016-0168176 | 2016-12-11 | ||
| PCT/KR2017/014219 WO2018106005A1 (ko) | 2016-12-11 | 2017-12-06 | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110366759A CN110366759A (zh) | 2019-10-22 |
| CN110366759B true CN110366759B (zh) | 2024-03-01 |
Family
ID=62492265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780076613.5A Active CN110366759B (zh) | 2016-12-11 | 2017-12-06 | 用神经网络诊断疾病的系统及其方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11074686B2 (zh) |
| EP (1) | EP3553789B1 (zh) |
| JP (1) | JP6851094B2 (zh) |
| KR (1) | KR101944536B1 (zh) |
| CN (1) | CN110366759B (zh) |
| ES (1) | ES2962851T3 (zh) |
| WO (1) | WO2018106005A1 (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101944536B1 (ko) * | 2016-12-11 | 2019-02-01 | 주식회사 딥바이오 | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법 |
| KR102172213B1 (ko) * | 2018-06-04 | 2020-10-30 | 주식회사 딥바이오 | 투 페이스 질병 진단 시스템 및 그 방법 |
| KR102162895B1 (ko) | 2018-06-04 | 2020-10-07 | 주식회사 딥바이오 | 듀얼 클래스를 지원하는 질병 진단 시스템 및 그 방법 |
| KR102215269B1 (ko) * | 2018-08-07 | 2021-02-15 | 주식회사 딥바이오 | 진단 결과 생성 시스템 및 방법 |
| KR102185893B1 (ko) * | 2018-08-07 | 2020-12-02 | 주식회사 딥바이오 | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법 |
| KR102151723B1 (ko) * | 2018-08-07 | 2020-09-03 | 주식회사 딥바이오 | 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법 |
| KR102174379B1 (ko) * | 2018-08-27 | 2020-11-04 | 주식회사 딥바이오 | 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법 |
| KR102226899B1 (ko) * | 2018-11-16 | 2021-03-11 | 주식회사 딥바이오 | 지도학습기반의 합의 진단방법 및 그 시스템 |
| KR102226897B1 (ko) * | 2019-01-25 | 2021-03-11 | 주식회사 딥바이오 | 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템 |
| KR102226898B1 (ko) * | 2019-01-25 | 2021-03-11 | 주식회사 딥바이오 | 커스터마이징 진단 시스템 제공방법 및 그 시스템 |
| US11361434B2 (en) | 2019-01-25 | 2022-06-14 | Otonexus Medical Technologies, Inc. | Machine learning for otitis media diagnosis |
| KR102236948B1 (ko) * | 2019-01-25 | 2021-04-06 | 주식회사 딥바이오 | 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템 |
| KR102329546B1 (ko) * | 2019-07-13 | 2021-11-23 | 주식회사 딥바이오 | 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법 |
| US11488014B2 (en) * | 2019-10-22 | 2022-11-01 | International Business Machines Corporation | Automated selection of unannotated data for annotation based on features generated during training |
| EP3828816A1 (en) * | 2019-11-28 | 2021-06-02 | Siemens Healthcare GmbH | Patient follow-up analysis |
| KR20210137828A (ko) * | 2020-05-11 | 2021-11-18 | 의료법인 성광의료재단 | 기계학습 예측모델을 이용한 난소암 진단 방법 및 이를 적용하는 시스템 |
| US20230298753A1 (en) * | 2020-07-23 | 2023-09-21 | Deep Bio Inc. | Method for annotating pathogenic site of disease by means of semi- supervised learning, and diagnosis system for performing same |
| US20230289957A1 (en) * | 2020-07-23 | 2023-09-14 | Deep Bio Inc. | Disease diagnosis method using neural network trained by using multi-phase biometric image, and disease diagnosis system performing same |
| KR102254755B1 (ko) * | 2020-11-10 | 2021-05-21 | 주식회사 딥바이오 | 딥러닝 기반의 병리 슬라이드 이미지 고해상도 변환 방법 및 이를 수행하는 컴퓨팅 시스템 |
| KR102246319B1 (ko) * | 2021-01-07 | 2021-05-03 | 주식회사 딥바이오 | 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템 |
| WO2022164133A1 (ko) * | 2021-01-26 | 2022-08-04 | 주식회사 뷰노 | 의료 영상의 병변 평가 방법 |
| KR102316525B1 (ko) | 2021-03-08 | 2021-10-22 | 주식회사 딥바이오 | Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6004267A (en) * | 1997-03-07 | 1999-12-21 | University Of Florida | Method for diagnosing and staging prostate cancer |
| CN101639937A (zh) * | 2009-09-03 | 2010-02-03 | 复旦大学 | 一种基于人工神经网络的超分辨率方法 |
| JP2012235796A (ja) * | 2009-09-17 | 2012-12-06 | Sharp Corp | 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置 |
| CN106203327A (zh) * | 2016-07-08 | 2016-12-07 | 清华大学 | 基于卷积神经网络的肺部肿瘤识别系统及方法 |
| WO2016193979A1 (en) * | 2015-06-03 | 2016-12-08 | Innereye Ltd. | Image classification by brain computer interface |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5790761A (en) * | 1992-12-11 | 1998-08-04 | Heseltine; Gary L. | Method and apparatus for the diagnosis of colorectal cancer |
| WO1996012187A1 (en) * | 1994-10-13 | 1996-04-25 | Horus Therapeutics, Inc. | Computer assisted methods for diagnosing diseases |
| US5638823A (en) * | 1995-08-28 | 1997-06-17 | Rutgers University | System and method for noninvasive detection of arterial stenosis |
| US7037267B1 (en) * | 1999-11-10 | 2006-05-02 | David Lipson | Medical diagnostic methods, systems, and related equipment |
| US8346482B2 (en) * | 2003-08-22 | 2013-01-01 | Fernandez Dennis S | Integrated biosensor and simulation system for diagnosis and therapy |
| US20050136509A1 (en) * | 2003-09-10 | 2005-06-23 | Bioimagene, Inc. | Method and system for quantitatively analyzing biological samples |
| US7935055B2 (en) * | 2003-09-19 | 2011-05-03 | Siemens Medical Solutions Usa, Inc. | System and method of measuring disease severity of a patient before, during and after treatment |
| FR2884008A1 (fr) | 2005-03-31 | 2006-10-06 | France Telecom | Systeme et procede de localisation de points d'interet dans une image d'objet mettant en oeuvre un reseau de neurones |
| US9779213B2 (en) * | 2008-07-25 | 2017-10-03 | Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud | System for evaluating a pathological stage of prostate cancer |
| JP5589366B2 (ja) | 2009-11-27 | 2014-09-17 | ソニー株式会社 | 情報処理装置、情報処理方法及びそのプログラム |
| CN103679185B (zh) | 2012-08-31 | 2017-06-16 | 富士通株式会社 | 卷积神经网络分类器系统、其训练方法、分类方法和用途 |
| AU2015261891A1 (en) | 2014-05-23 | 2016-10-13 | Ventana Medical Systems, Inc. | Systems and methods for detection of biological structures and/or patterns in images |
| KR101563569B1 (ko) | 2014-05-28 | 2015-10-28 | 한국과학기술원 | 학습형 다이내믹 시각 이미지 패턴 인식 시스템 및 방법 |
| US10417525B2 (en) | 2014-09-22 | 2019-09-17 | Samsung Electronics Co., Ltd. | Object recognition with reduced neural network weight precision |
| JP2016064004A (ja) * | 2014-09-25 | 2016-04-28 | 大日本印刷株式会社 | 医用画像表示処理方法、医用画像表示処理装置およびプログラム |
| WO2016189605A1 (ja) | 2015-05-22 | 2016-12-01 | 株式会社Ｕｂｉｃ | データ分析に係るシステム、制御方法、制御プログラム、および、その記録媒体 |
| KR101944536B1 (ko) * | 2016-12-11 | 2019-02-01 | 주식회사 딥바이오 | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법 |
| US9934364B1 (en) * | 2017-02-28 | 2018-04-03 | Anixa Diagnostics Corporation | Methods for using artificial neural network analysis on flow cytometry data for cancer diagnosis |
-
2016
- 2016-12-11 KR KR1020160168176A patent/KR101944536B1/ko active IP Right Grant
-
2017
- 2017-12-06 US US16/468,173 patent/US11074686B2/en active Active
- 2017-12-06 JP JP2019552437A patent/JP6851094B2/ja active Active
- 2017-12-06 CN CN201780076613.5A patent/CN110366759B/zh active Active
- 2017-12-06 EP EP17879144.8A patent/EP3553789B1/en active Active
- 2017-12-06 WO PCT/KR2017/014219 patent/WO2018106005A1/ko active Application Filing
- 2017-12-06 ES ES17879144T patent/ES2962851T3/es active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6004267A (en) * | 1997-03-07 | 1999-12-21 | University Of Florida | Method for diagnosing and staging prostate cancer |
| CN101639937A (zh) * | 2009-09-03 | 2010-02-03 | 复旦大学 | 一种基于人工神经网络的超分辨率方法 |
| JP2012235796A (ja) * | 2009-09-17 | 2012-12-06 | Sharp Corp | 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置 |
| WO2016193979A1 (en) * | 2015-06-03 | 2016-12-08 | Innereye Ltd. | Image classification by brain computer interface |
| CN106203327A (zh) * | 2016-07-08 | 2016-12-07 | 清华大学 | 基于卷积神经网络的肺部肿瘤识别系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2962851T3 (es) | 2024-03-21 |
| WO2018106005A1 (ko) | 2018-06-14 |
| JP2020502712A (ja) | 2020-01-23 |
| EP3553789B1 (en) | 2023-08-16 |
| EP3553789A4 (en) | 2020-07-08 |
| US11074686B2 (en) | 2021-07-27 |
| EP3553789C0 (en) | 2023-08-16 |
| CN110366759A (zh) | 2019-10-22 |
| JP6851094B2 (ja) | 2021-03-31 |
| US20190385306A1 (en) | 2019-12-19 |
| EP3553789A1 (en) | 2019-10-16 |
| KR20180066983A (ko) | 2018-06-20 |
| KR101944536B1 (ko) | 2019-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110366759B (zh) | 用神经网络诊断疾病的系统及其方法 | |
| CN112384989B (zh) | 一种两阶段疾病诊断系统及其方法 | |
| CN112639997B (zh) | 一种利用神经网络进行分割的疾病诊断系统和方法 | |
| CN112567474B (zh) | 利用多重颜色模型和神经网络的疾病诊断系统和方法 | |
| EP3872818A2 (en) | Method for providing diagnostic system using semi-supervised learning, and diagnostic system using same | |
| CN112740335A (zh) | 基于神经网络的疾病诊断系统和方法 | |
| JP7299658B2 (ja) | ニューラルネットワーク及び非局所的ブロックを用いてセグメンテーションを行う疾病診断システム及び方法 | |
| CN112567466A (zh) | 诊断结果生成系统及其方法 | |
| JP7109815B2 (ja) | デュアルクラスに対応できる疾病診断システム及び該方法 | |
| EP4293685A1 (en) | Prognosis prediction method using result of disease diagnosis through neural network and system therefor | |
| EP4170678A1 (en) | Method for annotating pathogenic site of disease by means of semi-supervised learning, and diagnosis system for performing same | |
| CN117015832A (zh) | 利用基于神经网络的疾病的诊断结果的预后预测方法及其系统 | |
| CN116797844A (zh) | 基于组织扫描切片训练机器炎细胞识别的方法 | |
| CN118351407A (zh) | 一种融合多模态学习的免疫固定电泳图谱分析方法 | |
| CN117198499A (zh) | 用于处理全切片图像以检测癌的计算机系统和诊断癌病例的分拣系统 | |
| CN118196478A (zh) | 组织病理图像识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |