CN112639997A - 一种利用神经网络进行分割的疾病诊断系统和方法 - Google Patents

一种利用神经网络进行分割的疾病诊断系统和方法 Download PDF

Info

Publication number
CN112639997A
CN112639997A CN201980056199.0A CN201980056199A CN112639997A CN 112639997 A CN112639997 A CN 112639997A CN 201980056199 A CN201980056199 A CN 201980056199A CN 112639997 A CN112639997 A CN 112639997A
Authority
CN
China
Prior art keywords
image block
neural network
disease
image
slide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980056199.0A
Other languages
English (en)
Other versions
CN112639997B (zh
Inventor
曺浚宁
金善禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
One Hundred Euro Ltd
Original Assignee
One Hundred Euro Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by One Hundred Euro Ltd filed Critical One Hundred Euro Ltd
Publication of CN112639997A publication Critical patent/CN112639997A/zh
Application granted granted Critical
Publication of CN112639997B publication Critical patent/CN112639997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开一种疾病诊断系统及其方法，能够通过神经网络执行学习，并利用学习的神经网络分割生物组织图像中存在疾病的区域。提供一种疾病诊断系统，根据本发明的一个方面，在包括处理器和存储神经网络的存储设备的系统中实现，是一种利用生物图像幻灯片和所述神经网络的一种疾病诊断系统。所述系统包括图像块级别分割神经网络，对所述幻灯片分割成预设大小的每一个预设图像块，将所述图像块输入到输入层并确定所述图像块中疾病存在的区域；所述图像块级分割神经网络，包括图像块级别分类神经网络，将所述图像块输入到输入层并输出与所述图像块上是否存在所述疾病有关的图像块级别分类结果；以及图像块级别分割结构，接收图像块级别分类神经网络上包括的隐含层中2个以上的特征映射提取层上分别生成的特征映射，并确定所述图像块中疾病存在的区域。

Description

一种利用神经网络进行分割的疾病诊断系统和方法
技术领域
本发明涉及一种基于神经网络的疾病诊断系统及其方法。具体来说涉及一种通过神经网络进行学习，能够利用学习的神经网络分割生物组织图像中疾病区域的一种疾病诊断系统及其方法。
背景技术
病理学或病理科的主要工作之一就是执行诊断，即读取患者的生物图像，然后判断特定疾病的状态或征兆。这种诊断方式主要依靠医务人员长期而丰富的经验和知识。
近期，随着机器学习的发展，正在积极尝试通过计算机实现图像识别或分类等业务的自动化。尤其是，正在尝试利用机器学习的一种即神经网络(例如，使用卷积神经网络(Convolution neural network，CNN)的深度学习方法)使以往由资深医务人员操作的诊断业务实现自动化。
特别是，通过使用神经网络(例如CNN)深度学习进行诊断，并不只是让以往资深医务人员的丰富经验和知识实现自动化，而是通过自主学习找到特征因素并推导出想要的答案，有时候反而能在图像中发现这些医务人员所不能了解的疾病因素的特征。
通常，用使用生物图像的神经网络诊断疾病时会使用生物图像的碎片，即图像块(patch，也称为图像子块(tile))。也就是说，熟知该图像子块的医务人员将对特定疾病的状态(例如癌症表达与否)进行标注(annotation)，并将这些已标注的大量的图像子块用作训练数据来学习神经网络。此时，所使用的所述神经网络可以是卷积神经网络。
但是，在这种方式下，学习的神经网络只能根据对应图像子块的图像特征来判断该图像子块的疾病状态，而实际上，针对特定疾病判断其特定生物组织的状态时，有的时候不仅要考虑所述特定生物组织本身，还要考虑所述特定生物组织的周围组织的现状(例如形状、特定模式是否存在等)。但是，传统方式的不足之处就是并不适用于此类情况。
一方面，在传统的学习中，生物图像或图像块的颜色本身将作为输入数据输入。例如，当生物图像或图像块处于RGB形态，由RGB的三个通道值定义的输入数据可直接使用。但在这种情况下，根据与生物图像相对应的生物组织染色所用的染色试剂的特性，染色组织的颜色可能会各不相同，这将直接影响到学习的神经网络。因此，可能需要强化神经网络的学习方式，以学习这种并非根源性组织图像特征的因染色等导致的非根源性颜色特征。
另外，按照每一个图像块判断图像块单元的诊断结果所涉及的疾病表达与否，在这种情况下，虽然可以输出特定图像块疾病是否表达，但是从广泛的范围来看，有很大可能会判断为疾病没有表达。因此，很有必要以每一图像块的诊断结果为基础，去判断包括相应图像块的所有幻灯片中疾病是否表达。
另外，按照每一个图像块判断图像块单元的诊断结果所涉及的疾病表达与否(即将各图像块进行分类)，当图像块单元的诊断结果直接可视化时，实际上可能会发生不是组织(细胞组织)的那部分也被可视化的问题。因此，可能需要一种能够区分图像块中疾病区域的图像分割，以更加精确地掌握被确诊为疾病的组织部分。
*先前的技术文献
-专利文献
韩国公开专利10-2016-0034814“伴随神经网络的客户端设备和包含该设备的系统”。
发明内容
技术课题
本发明旨在解决的技术课题是提供一种基于神经网络的诊断系统及其方法，不仅能够通过特定图像块区分疾病是否发病，还能区分相应图像块中发生疾病的区域。尤其是，为了在能够判断图像块中是否存在疾病的分类神经网络体系结构中进行分割而添加子体系结构，从而提供一种能够有效分割用来区分发生疾病区域的诊断系统及其方法。
另外，提供一种诊断系统及其方法，疾病是否表达时使用的神经网络具备的并非是根源性的图像特征，而是强烈的色彩特征。
另外还提供一种使用神经网络的诊断系统及其方法，为了判断对应于特定图像块的疾病状态(例如疾病是否表达或体现疾病状态的指标等)，在神经网络学习中使用的不仅是所述特定图像分块，还包括周围图像子块，从而提高精准度。
另外，提供一种诊断系统及其方法，不仅使用各图像块诊断结果自身，还包括相应图像块的广泛生物组织中所述各图像块的诊断结果，从而使诊断更有效更精确。
技术解决方法
根据本发明的一个方面，在包括处理器和存储神经网络的存储设备的系统中实现，在利用生物图像幻灯片和所述神经网络的疾病诊断系统中，所提供的一种疾病诊断系统包括：所述系统，包括图像块级别分割神经网络，对所述幻灯片分割成预设大小的每一个预设图像块，将所述图像块输入到输入层并确定所述图像块中疾病存在的区域；所述图像级分割神经网络，包括将所述图像块输入到输入层并输出与所述图像块上是否存在所述疾病有关的图像块级别分类结果；图像块级别分割结构，输入图像块级别分类神经网络和所述图像块级别分类神经网络上包括的隐含层中2个以上的特征映射提取层上分别生成的特征映射，并确定所述图像块中疾病存在的区域。
在一个实施例中，所述图像块级别分割结构包括：包括所述2个以上的特征提取层各自对应的卷积节点的卷积子体系结构(所述每一个卷积节点对与其对应的从特征提取层输入的特征映射进行卷积或2个以上互不相同的卷积)；以及基于所述卷积子体系结构中生成的卷积结果确定所述图像块中疾病存在区域的分割子体系结构。
在一个实施例中，所述图像块级别分割体系结构可以进一步包含对从所述分割子体系结构输出的结果执行中心-交叉的交叉子体系结构。
在一个实施例中，图像块级别分类神经网络的特点是，对于所述图像块，将包括3个原始色彩信息通道和灰色通道的4个通道信息输入到输入层。
在一个实施例中，所述系统还包括幻灯片诊断引擎，标记将所述幻灯片中包括的多个图像块每一个图像块级别分类结果归类为疾病的图像块，基于该标记结果，输出所述幻灯片上是否存在疾病的幻灯片级别诊断结果。
在一个实施例中，所述幻灯片诊断引擎的特点可以是，以既定的方式对判断为癌症的图像块进行聚类，形成多个集群，并对形成的每一个集群输入多个聚类特征作为输入值，输出包含所述集群的所述幻灯片的所述幻灯片级别诊断结果。
在一个实施例中，特点在于所述疾病可能是前列腺癌。
根据本发明的另一方面，提供了一种疾病诊断方法，即在包括处理器和存储神经网络的存储设备的系统中实现，且使用生物图像幻灯片和所述神经网络的一种疾病诊断方法，所述系统包括的步骤为对所述幻灯片分割为既定大小的每个预设图像块，将所述图像块输入至所述神经网络的输入层，确定所述图像块中疾病存在区域。所述神经网络包括：将所述图像块输入至输入层，然后输出所述图像块中是否存在所述疾病的相关图像块级别分类结果的图像块级别分类神经网络；以及接收所述图像块级别分类神经网络中包括的隐含层中2个以上特征映射提取层中分别生成的特征映射，确定所述图像块中疾病存在区域的图像块级别分割体系结构。
在一个实施例中，所述图像块级别分割体系结构包括：卷积子体系结构，包括与所述2个以上特征提取层相对应的卷积节点(所述卷积节点分别对从各自相应的特征提取层输入的特征映射进行卷积或进行2个以上互不相同的卷积)；以及分割子体系结构，基于所述卷积子体系结构中生成的卷积结果，确定所述图像块中疾病存在的区域。
在一个实施例中，所述图像块级别分割体系结构可以进一步包含对所述分割子体系结构中输出的结果执行中心-交叉的交叉子体系结构。
在一个实施例中，所述神经网络的特点可以是，对所述图像块，将包含3种原始色彩信息通道和灰色通道的4种通道信息输入到输入层。
在一个实施例中，所述疾病诊断方法还可以包括一个步骤，所述系统，对所述幻灯片中包括的多个图像块中的每一图像块分类结果中分类为疾病的图像块进行标记，并根据标记结果，在所述幻灯片上输出疾病存在与否的幻灯片级别诊断结果。
在一个实施例中，输出所述幻灯片级别诊断结果的步骤可以包括：所述系统，将判断为疾病的图像块以既定的方式进行聚类后形成多个集群的步骤；向每一个形成的集群输入作为特征值的多个聚类特征，并输出包含所述集群的所述幻灯片的所述幻灯片级别诊断结果的步骤。
根据本发明的另一方面，提供一种记录在媒介上的计算机程序，安装在数据处理设备中以执行上述方法。
发明的效果
根据本发明的技术思想，提供一种基于神经网络的疾病诊断系统及其方法，不仅能够执行用来判断各图像块疾病是否发生的图像块分类，还能够执行区分相应图像块中疾病发生区域的图像块级别分割。
此外，根据本发明的技术思想，提供一种基于神经网络的诊断系统及其方法，所输入的输入数据不仅包括图像块的原始色彩色值(例如，RGB 3通道值)，同时还增加了灰度值作为输入数据使用，从而可以防止错漏仅使用灰度值时可能发生的颜色差异所体现的与疾病相关的图像特；同时在疾病表达与否的诊断中，可具备颜色的多种因素引起的变量上(variaton)的强烈特征，而非根源性图像特征。
另外，根据本发明的技术思想，提供的一种神经网络在对特定图像块进行诊断的同时，还考虑包括所述特定图像块的周边图像块在内的宏观图像块，能够判断所述特定图像块的疾病状态，从而可有效提高诊断的精确度。
此外，根据本发明的技术思想，为了解决仅根据各图像块诊断结果自身判断包含该图像块的幻灯片中疾病表达与否这一问题，利用集群和各聚类特征(特点)重新判断在包括该图像块的幻灯片中疾病是否表达，从而使诊断具有效、更精确。
附图说明
为了更好地理解本发明的具体阐述中引用的附图，提供了每一附图的简要说明。
图1是一种基于本发明技术思想的使用多色模型和神经网络的疾病诊断系统的系统结构概略示意图。
图2是本发明的一个实施例涉及的使用神经网络的疾病诊断系统的硬件配置示意图。
图3是本发明的一个实施例涉及的使用神经网络的疾病诊断系统的理论性结构示意图。
图4是本发明一个实施例涉及的图像块级别分割神经网络的整体结构示意图。
图5a和图5b是本发明的另一个实施例涉及的图像块分类神经网络的一个示例的结构示意图。
图6是本发明的一个实施例涉及的图像块分类神经网络的一个示例的结构示意图。
图7是本发明的一个实施例涉及的图像块级别诊断方法的实验结果的示意图。
图8是本发明的一个实施例涉及的图像块级别分割体系结构的整体结构示意图。
图9是本发明的一个实施例涉及的图像块级别分割神经网络的具体示例的示意图。
图10是本发明的一个实施例涉及的两相疾病诊断方法的概念说明图。
图11是本发明的一个实施例涉及的基于图像块级别诊断结果的标记结果的示意图。
图12是本发明的一个实施例涉及的幻灯片级别诊断方法的实验结果示意图。
具体实施方式
本发明可以进行多种转换，可以有多种实施例，将在图纸上举例说明特定实施例，并在详细说明中进行具体阐述。但是，这并不是要将本发明限定于特定的实施形式，而应理解为包含在本发明思想及技术范围内的所有转换、等价物或替代物。在对本发明进行说明时，在认为有关已知技术的具体说明反而会使本发明的要点含糊时，则省略详细说明。
“第一”、“第二”等术语可以用于对各种组件的说明，但所述组件不能被所述术语限制。所述各术语仅用于将一个组件与其他组件区分开来。
本申请中使用的术语只是用于说明特定实施例，并不是对本发明的限制。单数的表达包括复数的表达，除非上下文中有明显不同的意思。
本说明书中“包含”或“具有”等术语是指说明书中记载的特征、数字、步骤、动作、组件、零件或它们的组合的存在，应理解为并不是事先排除一个或多个其他特征、数字、步骤、动作、组件、零件或它们的组合的存在或附加可能性。
另外，在本说明书中，一个组件将数据“传输”到另一个组件时，则意味着所述组件可以直接将所述数据传输到所述其他组件，也可以通过至少一个其他组件将所述数据传输到所述其他组件。相反，如果任意一个组件将数据“直接传输”到另一个组件，则意味着所述数据并不通过另外的组件就将从所述组件传输到其他组件。
以下，参照所附图纸，围绕本发明的实施例详细说明本发明。每个图形中提供的相同参考符号代表相同的部件。
图1是基于本发明技术思想的使用多色模型和神经网络的疾病诊断系统的系统结构的概略示意图。
参考图1，一种基于本发明技术思想的使用多色模型和神经网络的疾病诊断系统(以下简称诊断系统100)可以安装在预设服务器10上以实现本发明的技术思想。所述服务器10是指具有可实现本发明技术思想的计算能力的数据处理装置，可将通常可通过网络将客户端可以连接的数据处理装置以及个人计算机、移动终端等能够执行特定服务的任何设备定义为服务器，本发明技术领域的普通专家能够很容易地推论出这一点。
如图2所示，所述服务器10可以包括处理器11和存储器12。所述处理器11可以指能够驱动实现本发明技术思想的程序(12-1)的运算装置，所述处理器11可利用所述程序(12-1)和基于本发明技术思想而定义的神经网络(Nerual Network，12-2)进行诊断。如后所述，所述神经网络(12-2)可以包括进行图像块级别诊断的图像块级别分割神经网络。另外，所述图像块级别分割神经网络可以对确定图像块中疾病存在的区域的图像块级进行分割。
根据实施例，所述神经网络(12-2)还可以包括执行幻灯片级别诊断的神经网络。根据实施例，执行所述幻灯片级别诊断的配置不仅可以通过神经网络实现，还可以通过多种机器学习技术实现。根据本发明的技术思想，执行上述幻灯片级别诊断的诊断引擎使用的是公知的XGBoost，但是也可以通过多种方式的机器运行技术所涉及的诊断引擎实现，并且这些诊断引擎可以存储在所述存储设备12中。
所述存储器12可指存储所述程序(12-1)、神经网络(12-2)和/或储存执行幻灯片级别诊断的诊断引擎的数据存储手段，也可以通过实施例所涉及的多种存储手段实现。另外，所述存储器12所指的不仅包括所述服务器10中包括的主存储器，还包括所述处理器11中可能包括的临时存储器或内存等。
所述诊断系统100在图1或图2中所示的是通过任何一种物理装置实现。根据需要，可以通过多个物理装备有机结合来实现基于本发明技术思想的诊断系统100，这一点本发明技术领域的普通专家可以很容易地推论出来。
本说明书中，所述诊断系统100执行诊断，可以指输入生物组织表达了的生物图像，即幻灯片的全部或所述幻灯片的部分图像块，然后输出本说明书中定义的输出数据的一系列过程。
根据一个实施例，所述诊断系统100可以执行两相诊断。第一阶段可以是执行图像块级别诊断的过程，在此过程中，所述诊断系统100可以分别接收幻灯片的图像块输入，并输出该图像块上疾病是否表达，和/或在相应图像块上确定疾病发病的区域。为此，神经网络可以学习并实现。
第二阶段可以通过第一阶段的诊断结果在幻灯片上输出疾病表达与否。这一过程可以使用神经网络或预设的机器学习技术。
也就是说，根据图像块的诊断结果，即使部分图像块被判断为疾病表达了，但也有可能不认为在包含该图像块的整个幻灯片上相应的生物组织上表达了疾病。例如，判断为疾病表达的图像块在幻灯片内分散、或是数量少、密集度等其他判断为疾病表达的图像块的物理特性(例如位置、大小、密集度等)对判断在该幻灯片上疾病是否真实表达具有重要意义。因此，第二阶段可以根据图像块诊断结果和基于这些诊断结果判断的图像块(即被诊断为疾病表达的图像块)的特性来判断幻灯片上疾病表达与否，从而使诊断更有效更精准。
另一方面，执行图像块级别诊断的神经网络是根据本发明的技术思想的，不仅可以利用该图像块执行诊断，还可以进一步考虑该图像块的周边图像块来执行诊断。这些技术思想曾在本申请人申请的韩国专利申请(申请编号10-2016-0168176，利用神经网络诊断疾病的系统及其方法，以下简称“先前的申请”)中具体公开。如此，非常外围的领域，即与仅仅考虑与图像块相对应的领域执行诊断的操作相比，同时考虑到其周围的领域可以提高诊断的精确度。此外，根据本发明的技术思想，不仅是在特定图像块的周边图像块上，而是进一步综合考虑整个幻灯片上各图像块的位置、密集度和集群的大小等物理特征，可以更准确地判断幻灯片上是否存在疾病。先前的申请作为本发明的参考资料包括在内，其内容可视为本说明书中记载的内容。
当然，根据本发明的另一个实施例，可以使用单向神经网络，而不是像先前的申请一样使用微观网络和宏观网络，即双向神经网络。例如，本发明实施例涉及的神经网络可能和图6所示的一样。
在任何情况下，所述神经网络只要是被定义为输入图像块后，能够输出所输入的图像块是否表达了疾病的一种神经网络就足够了。此时，所述神经网络的特点是，除了原始输入值(例如，RGB 3通道)外，还增加输入灰色通道作为输入值执行诊断，从而完成学习。
另一方面，执行图像块级别诊断的神经网络输出的状态信息可以是指特定疾病(例如特定种类的癌症)在所述图像块相应组织上表达与否的概率的信息。当特定标准值(阈值)以上的概率出现时，所述神经网络可以将所述图像块判断为疾病(例如前列腺癌)表达的图像块。
当然，所述神经网络所显现的信息不仅是先前的申请中所公开的特定疾病表达与否的信息，还可以是指特定疾病的进展程度(或所述进展程度所对应的概率)。例如，将本发明的技术思想应用于前列腺癌的诊断时，体现前列腺癌进展程度的指标“格里森模式(Gleason Pattern)”或“格里森评分(Gleason Score)”可以包含在所述神经网络输出的状态信息中。例如，格利森评分的分值为2到5，数字越大，表明前列腺癌表达的程度就越严重。因此，所述状态信息也可以是指作为诊断对象的图像块所对应的生物组织其所对应的格利森评分的特定值(例如3、4或5)的概率。
所述状态信息可以存在多个。例如，第一状态信息可以表示格利森评分为3的概率，第二状态信息可以表示格利森评分为4的概率，第三状态信息可以表示格利森评分为5的概率，与这些第一状态信息、第二状态信息和第三状态信息相对应的状态通道都可以在所述输出层上加以定义。根据实施例，状态信息也可以被定义为表示格利森评分有一定范围(例如3至5，4至5等)的概率。也就是说，一个状态信息可与表达疾病进展状态的多个指标相对应。
在这种情况下，所述神经网络在格利森评分为3以上的状态信息超过预设的阈值时，则可以判断所述图像块是疾病图像块，即疾病表达的图像块。
另一方面，所述神经网络利用的阈值可多样化设定。根据实施例，可使用多个所述阈值。当然，根据阈值，特定的图像块可以判断为疾病表达的图像块，即疾病图像块，也可以判断为正常图像块。
根据本发明的技术思想，所述神经网络利用的阈值可能是多个，在这种情况下，根据多个阈值中的每个值，诊断出的疾病图像块可能会有所不同。因此，阈值不同，则疾病图像块在幻灯片上分布的特性也会有所不同。因此，随着使用阈值的不同，幻灯片上诊断结果的准确度当然也会不同。
因此，如后文所述的本发明的技术思想可以多重考虑依据多个阈值分别诊断出的疾病图像块在幻灯片上所具有的物理特性，从而使幻灯片诊断引擎执行幻灯片的诊断。这一技术思想将在后文中阐述。
当所述诊断系统100包括在预设的服务器10中并实现时，所述诊断系统100还可以与可连接到所述服务器10的至少一个客户端(例如20、20-1)进行通信。在这种情况下，所述客户端(例如20，20-1)可以将生物图像传输到所述诊断系统100，所述诊断系统100可对所传输的生物图像执行基于本发明技术思想的诊断。并且，诊断结果也可以被发送到所述客户端(例如20，20-1)。
所述诊断系统100使用基于本发明技术思想的神经网络执行图像块级别诊断。当然，为了执行这种诊断，可以首先执行学习所述神经网络的过程。
另外，如上所述，幻灯片级别诊断也可以使用预设的神经网络。
因此，根据本发明的技术思想，所述诊断系统100可以是学习的神经网络和从外部接收利用所述神经网络执行诊断的程序并执行诊断的系统，也可以是执行所述神经网络学习的系统。另外，所述诊断系统100可以配置为实施本发明技术思想的专用装置而非通用的数据处理装置，在这种情况下，还可以具备扫描生物图像的各种手段等。
所述神经网络可以具有执行所述特定图像块的诊断的特征是，在对特定图像块进行诊断时，不仅要考虑如先前的申请中所公开的所述特定图像块本身的图像，还要考虑与所述特定图像块相邻的至少一个图像块的图像。通过这些技术思想，在实际中为了诊断与特定图像块相对应的生物组织，不仅要考虑所述生物组织，还要考虑所述生物组织的周边组织的状态，这对于疾病的诊断很有意义，能有效提高精确度。另外，将生物图像分割成多个图像块时，图像块的分割方式的不同或经分割的区域是生物组织的哪一部位均可对诊断结果产生巨大影响。
当然，如上所述，所述神经网络可能不具有先前的申请中公开的特征，但无论在何种情况下，所述神经网络都可能是为了对各图像块进行诊断而学习的神经网络。
这时，所述神经网络可以接受额外的通道作为图像块中包含的每个像素的输入值，这与以往不同。所述附加通道可能是每个像素的灰度值。因此，所述神经网络可以接受每一图像块的输入，同时接受所述图像块中包含的各像素的原始值(例如，RGB)的3个通道以及额外附加的通道(灰色通道)的输入。
在这种情况下，当生物图像的颜色可能会因与疾病相关的图像特征无关的因素(例如，诊断机构的特质、染色试剂等)而发生变化时，可能会产生强大的效果。当然，假如只是单纯地利用灰色通道而不利用原始值时可能会发生的问题，即与疾病相关的图像特征用颜色反映并表示出来时，这些重要信息可能无法在学习中得到反馈，类似这类问题也可以得到解决。
为了实现这种技术思想，从理论上来说所述诊断系统100可具备如图3所示的配置。
图3是基于本发明的一个实施例所涉及的神经网络的疾病诊断系统的逻辑结构示意图。
参考图3，所述诊断系统100可包括控制模块110和储存着所述神经网络和/或幻灯片诊断引擎的诊断模块120。另外，所述诊断系统100还可以包括预处理模块130。根据本发明的实施例，所述组件中的某些组件可能不一定对应于实现本发明所必需的必要组件，并且实施例涉及的所述诊断系统100还可能包含更多的组件。例如，所述诊断系统100可以进一步包含用于与所述客户端(例如20，20-1)通信的通信模块(未图示)。
所述诊断系统100可以指具有实现本发明技术思想所需的硬件资源(resource)和/或软件的逻辑配置，并不一定意味着一个物理组件或一个设备。也就是说，所述诊断系统100可以是指为实现本发明的技术思想而具备的硬件和/或软件的逻辑结合，必要时可以配置为安装在相互隔开的设备上，执行各自的功能，以实现本发明的技术思想的逻辑组件的集合。此外，所述诊断系统100还可以指为实现本发明技术思想的按各自的功能或作用而配置的各组件集合。例如，所述控制模块110、所述诊断模块120、和/或所述预处理模块130可分别位于各不相同的物理装置，也可位于同一物理装置。另外，根据实施例，所述控制模块110、所述诊断模块120和/或所述预处理模块130的软件和/或硬件的结合也可分别位于互不相同的物理装置，位于各不相同的物理装置的各组件可以相互有机组合并配置成各所述模块。
此外，本说明书中的模块可以指用于执行本发明技术思想的硬件和用于驱动所述硬件的软件在功能上和结构上的组合。例如，所述模块可以指用于执行预设代码和所述预设代码的硬件资源(resource)的逻辑单元，并不一定指物理连接的代码或是一种硬件，这一点本发明技术领域的普通专家很容易推论出来。
所述控制模块110可以控制所述诊断系统100中包含的其他配置(例如所述诊断模块120和/或预处理模块130)，以实现本发明的技术思想。
另外，所述控制模块110可使用所述诊断模块120中储存的神经网络和/或幻灯片诊断引擎执行基于本发明技术思想的诊断。
所述控制模块110可以接收存储在所述诊断模块120中的图像块级别神经网络，也就是学习的神经网络中的输入数据，即各图像块的输入。这时，可以输入如前所述在原始值上附加了灰度值的值。当然，灰色通道值可以通过将像素的值转换为灰度值来获得。并且可以执行由神经网络定义的演算后输出输出数据，即输出与图像块相对应的疾病表达概率相对应的特征值。此外，根据实施例，为了进行后述的幻灯片级别诊断，还可以根据所述特征值是否为预设的阈值而输出该图像块的疾病表达与否。
所述诊断模块120可以包括执行图像块级别诊断的图像块诊断引擎和执行幻灯片级别诊断的幻灯片诊断引擎。
如上所述，所述图像块级别诊断引擎可以通过基于本发明技术思想涉及的深度学习的神经网络来实现。所述幻灯片诊断引擎可以使用基于深度学习的神经网络，也可以使用预定的机器运行(例如XGBoost)引擎，而不是神经网络。
所述神经网络可以指定义神经网络的一系列设计事项的表达信息的集合。在本说明书中，所述神经网络可以是卷积神经网络。
众所周知，所述卷积神经网络可以包含输入层、多个隐含层和输出层。多个隐含层的每一个都可以包含卷积层和池化层(或子采样层)。
卷积神经网络可以由函数、筛选、卷积步长(stride)、权重因子等来定义这样的一些层。此外，输出层可定义为完全连接(fully connected)的前馈层(FeedForward layer)。
构成卷积神经网络的各层的设计事项广为人知。例如，对于多个层中包含的层数、定义所述多个层的卷积函数、池函数、激励函数可以分别使用已知的函数，也可以使用为实现本发明的技术思想而单独定义的函数。
如上所述，执行图像块级别诊断的神经网络可以是图像块级别分割神经网络，它不仅可以判断图像块中是否存在疾病，还可以执行用来确定该图像块中疾病发病区域的分割。
本发明一个实施例涉及的图像块级别分割神经网络是以为了判断图像块中是否存在疾病而进行分类的神经网络(后述的“图像块级别分类神经网络”)为基础，在此可配置为子体系结构的组合形式，以进行分割。这样的图像块级别分割神经网络的结构如图4所示。
图4是本发明的一个实施例所涉及的图像块级别分割神经网络的整体结构示意图。
如图4所示，本发明一个实施例涉及的图像块级别分割神经网络400可以包括图像块级别分类神经网络200和图像块级别分割体系结构500。
所述图像块级别分类神经网络200可以将作为分割幻灯片的部分图像块输入到输入层，并输出所述图像块中是否存在所述疾病的有关图像块级别分类结果(例如，如图4所示的分数)。这被称为分类，在分类过程中，所述图像块级别分类神经网络200可以作为内部包含的部分隐含层中的中间产物对输入(即图像块)生成特征。特别是，当接收图像等二维以上矩阵的输入时，由于所生成的特征是二维矩阵的形式而使用特征映射这一术语。另一方面，以下将所述图像块级别神经网络200中包含的隐含层中生成特征映射的层称为特征映射提取层。
另一方面，所述图像块级别分割体系结构500可以输入包含在所述图像块级别分类神经网络200中的隐含层中2个以上的特征映射提取层分别生成的特征映射(如图4中所示的f1、f2、f3)，并在确定所述图像块中疾病存在区域后输出。
图4是图像块级别分类神经网络200在执行分类的过程中生成三个特征映射图(f1、f2、f3)的示例的示意图，但根据实施例，当然也有可能生成更多或更少的特征映射。
另一方面，根据本发明的实施例，执行图像块级别分类的图像块级别分类神经网络200使用了公知的密纹网(Dense Net)，此时，如先前的申请中所公开的，设计诊断对象时不仅可以考虑特定图像块，还可以考虑周围的图像块。此外，可以利用多种神经网络，在任何情况下，所述图像块级别分类神经网络200都可以定义为接收特定图像块作为输入，并输出与该特定图像块的疾病表达概率相对应的特征值。
图5是用于说明本发明的实施例涉及的图像块级别分类神经网络200的结构的示意图。
参考图5，本发明技术思想涉及的图像块级别分类神经网络200包括微观神经网络和宏观神经网络。
首先，参考图5a，正如先前的申请中所公开的那样，微观神经网络包括多层210和输出层230。多层210包括输入层211和多个隐含层212。
宏观神经网络包括多层220和所述输出层230。所述多层220包括输入层221和多个隐含层222。
所述微观神经网络被定义为接受特定图像块30的输入，并输出特定图像块的诊断结果，即输出层230中定义的各输出数据。
另外，所述宏观神经网络被定义为接受包括所述特定图像块30以及包含所述特定图像块30的相邻图像块中至少一个宏观图像块40的输入，并输出所述特定图像块的诊断结果。
也就是说，本发明的技术思想涉及的神经网络200为了输出特定图像块30的诊断结果，不仅可以考虑特定图像块30的图像特征，还可以考虑与所述特定图像块30相邻的各图像块的图像特征来输出诊断结果。
虽然所述宏观图像块40在图5中所显示的是围绕图像块的3×3图像块的状况，但应该可以有多种实施例。
所述输出层230可以接受所述微观神经网络中包含的所述输出层230的前一层-第1前层(212-1)和宏观神经网络中包含的所述输出层230的前一层-第2前层(222-1)的每一个输出数据的输入，从而输出所述输出层230中定义的输出数据。所述第1前层(212-1)、所述第2前层(222-1)和所述输出层230可以是全连接(fully connected)。
定义所述输出层230的前馈(Feedforward)函数可以使用由输入层输入的输入数据作为结果通过神经网络200由输出层230输出输出数据的各种函数中的一种。
最终，所述图像块级别分类神经网络200为了对特定图像块30执行诊断而学习时，同时考虑所述特定图像块30的图像特征和包含所述特定图像块30的宏观图像块40的图像特征，然后输出与大量训练数据的标注值相对应的输出层230的输出数据。
也就是说，为了学习所述图像块分类神经网络200，使用了大量的训练数据，大量的训练数据可以包括一对特定图像块30和宏观图像块40。而且，宏观图像块40也可以利用所述特定图像块30的标注信息进行学习。
这样，所述图像块分类神经网络200的学习可以同时考虑所述特定图像块30和所述宏观图像块40的图像特征，以输出与所述特定图像块30的标注信息相对应的输出数据。
而且，学习的神经网络200如果将成为诊断对象的目标图像块和对应于所述目标图像块的宏观图像块分别作为微观神经网络和宏观神经网络的输入层的输入数据输入，则可以输出所述目标图像块的诊断结果，即输出层230的输出数据。
如图5a所示，所述输出层230可以将成为诊断对象的特定图像块30的诊断结果作为输出数据输出。诊断结果至少可以包含所述特定图像块30的疾病状态的信息。疾病状态的有关信息可能仅仅是指特定疾病是否在特定图像块30中表达(或概率值)的信息。但是，根据疾病的种类，疾病状态的有关信息还可能包括体现疾病发展程度的更加具体的信息。
所述输出层并不仅仅如先前的申请中所公开的那样输出疾病的表达与否，而可以设计为输出多种附加信息。例如，可以包括体现疾病发展程度的信息和/或与所述状态通道的值相关联的关联因子的表达程度的关联因子信息。对此，由于先前的申请中已经具体公开，所以将省略详细的说明。
当使用图5a中所示的神经网络200时，还可以存在输入所述输出层230的输出数据后，输出与最终输入的图像块的疾病的表达概率相对应的特征值的层，虽然并未在图5a中图示。
另外，如图5b所示，所述图像块分类神经网络200可以设计为具有代替图5a所示的输出多个状态通道和相关因子通道的层，且输出与所输入的图像块的疾病的表达概率相对应的特征值的层240。
根据本发明的另一个实施例，图像块级别分类神经网络200可以设计为具有单一路径，而不是如图5a所示的具有两条路径(微观网络和宏观网络各自的路径)的方式。这些实施例可能与图6所示相同。
图6是本发明的另一个实施例涉及的图像块分类神经网络200的一个示例的结构示意图。
参考图6，如上所述，图像块分类神经网络200可以定义为接收图像块单元的输入，并判断输入的图像块是否存在疾病。这时，如图所示，所述神经网络可以输入4通道(例如，RGB通道和灰色通道)数据。
如图6所示，输入的数据可定义为通过卷积层、最大池等多个层后输出数据，即输出所输入的图像块是否疾病图像块。这种神经网络可以是使用公知的Dense Net模型的神经网络。并且可知，此时本发明的技术思想所涉及的所述神经网络与原来的Dense Net模型相比增加了1×1卷积，具有通过其确认内部特征映射的效果。另外，虽然双弯曲(Signoid)函数被用作激励函数，但各种激励函数都有可能被使用。
可以其他多种方式执行图像块级别诊断的神经网络可以被定义，这一点本发明技术领域的普通专家很容易推论出来。
关于如何接收包括灰度通道在内的4个通道的输入，执行图像块级别分类的方法的诊断结果可以如图7所示。
图7是本发明的一个实施例涉及的图像块级别诊断方法的实验结果的示意图。在图7的实验中应用的神经网络，除了输入每个像素值的原始3通道外，还可以额外输入灰色通道值。
参考图7，所述神经网络使用标记为癌症的62358个图像块和标记为常规(正常)的108300个图像块作为训练数据集来学习所述神经网络，并使用了标记为癌症的8963个图像块和15499个常规图像块作为验证集。并且使用了14898个癌症图像块和19089个常规图像块作为测试集。而且，此时的实验结果准确度、精准度、敏感度、特征如图10所示，分别体现出了高性能。而且，与只使用原始3通道作为像素值相比，性能确实得到了提高。
另一方面，图8是所述图像块级别分割体系结构500的整体结构的示意图。
参考图8，所述图像块级别分割体系结构500可以包括卷积子体系结构510、分割子体系结构520，根据实施例，还可以包括交叉子体系结构530。
如上所述，在所述图像块级别分类神经网络200中执行分类的过程中，每个特征提取层都可以生成特征映射(f1、f2、f3)，每个特征映射都可以输入所述卷积子体系结构510中包括的卷积节点(511-1至511-3)。
每个卷积节点(511-1至511-3)分别对应于所述图像块级别分类神经网络200中包含的2个以上特征提取层，并且可以对其从所对应的特征提取层输入的特征映射(f1至f3)进行卷积或2个以上互不相同的卷积。另一方面，根据实施例，每个卷积节点(511-1至511-3)也可以在上采样或下采样后执行卷积。
每个卷积节点(511-1至511-3)可以执行一个或两个以上的卷积，生成一个或两个以上的结果。根据实施例，所述卷积节点(511-1至511-3)执行的卷积是扩张性卷积(Dilated convolution；也称为萎缩性卷积(Atrous convolution))。扩张性卷积与常规的卷积不同，不是从相邻的像素中提取特征，而是以预设的间距(rate)执行卷积的一种方法。例如，所述卷积节点中的任何一个(例如511-2)执行1x1扩张性卷积、间距为6的3x3扩张性卷积、间距为12的3x3扩张性卷积、间距为18的3x3扩张性卷积，生成4个卷积结果(特征值)。
另一方面，所述分割子体系结构520可以根据所述卷积子体系结构510中生成的卷积结果，确定所述图像块中疾病存在的区域。
所述分割子体系结构520可以对所述卷积子体系结构510中生成的卷积结果结果执行预设的运算。所述分割子体系结构520执行的运算可以定义为串联(concatenation)和/或卷积的组合。根据实施例，串联和卷积可以采用多种方式组合。
另一方面，根据实施例，所述交叉子体系结构53)可以对所述分割子体系结构520中输出的结果进行中心-交叉，从而生成分割的最终结果。这是因为基于所述卷积子体系结构510和分割子体系结构520的结果中相对来说较为中心的部分更能够准确地反映结果。
图9是本发明一个实施例涉及的图像块级别分割神经网络的具体示例的示意图。
参考图9，所述图像块级别分割神经网络中包含的图像块级别分类神经网络200可以执行分类。为了分类，所述图像块级别分类神经网络200可以将图像块输入至输入层，并在第一特征提取层L1上通过卷积和pooling运算生成四分之一大小的低特征映射f1。接着，经过第一Dense模块和第一过渡模块(denseblock1，transition1)和第二Dense模块和第二过渡模块(denseblock2，transition2)在第二特征提取层L2上生成1/16大小的特征映射f2。依次经过第三Dense模块和第三过渡模块(denseblock1，transition1)、第四Dense模块(denseblock4)和1x1卷积在第三特征提取层L3生成1/16大小的终端特征映射f3。然后，可以通过平均池化输出是否疾病的分值。
另一方面，在所述图像块级别分割体系结构500中，可以利用所述图像块级别分类神经网络200中生成的各个特征来执行分段。
具体来说，包含在卷积子体系结构510中的每个卷积节点510可以对与其对应的特征提取层输入的特征映射执行至少一个预定义方式的卷积。在图9的示例中，第一卷积节点(511-1)可以对与其对应的第一特征提取层L1输入的特征映射f1执行1x1卷积。第二卷积节点(511-2)可以对与其对应的第二特征提取层L2输入的特征映射f2执行1x1卷积、间距为6的3x3扩张性卷积、间距为12的3x3扩张性卷积和间距为18的3x3扩张性卷积来生成四个卷积结果(特征)。第三卷积节点(511-3)可以对与其对应的第三特征提取层L3输入的特征映射f3进行2倍上采样之后执行1x1卷积。
一方面，所述分割子体系结构520可以输入所述卷积子体系结构510中生成的结果并执行预定义的运算。如图9中的示例所述，所述分割子体系结构520将第2卷积节点(511-2)和第3卷积节点(511-3)生成的卷积结果(特征)全部结合并(concatenate)执行1x1卷积，再将其与卷积节点(511-1)中生成的卷积结果(特征)结合后执行3x3卷积。
然后，可以在所述交叉子体系结构530上执行中心-交叉。
如此，使用具有本发明技术特征的神经网络可以大大提高分割的精确度。为了提高传统神经网络中的分割精确度，必须很好地从输入数据中提取特征，并且好好设定训练前神经网络的初始权值并进行训练，这是公知的经验。然而如上所述，根据本发明的技术思想，分割是通过基于图像块级别分类神经网络结合具有特定结构的分割子体系结构的方式的神经网络来执行的，并且在图像块级别分类过程中提取的各特征很好地反映输入数据的特征。因此，在分割过程中直接使用可以起到提高分割精确度的作用。
再次参考图3，所述诊断模块120可以包括幻灯片诊断引擎，并且所述幻灯片诊断引擎也可以通过所述控制模块110学习并实现。
所述幻灯片诊断引擎可以根据所述神经网络的输出结果对疾病图像块进行标记。标记可以是指区分幻灯片中的疾病图像块。根据一个示例，所述幻灯片诊断引擎可以将疾病图像块与其他图像块区分表示并创建热图。并且基于生成的热图，聚类多个疾病图像块。根据一个实施例，所述幻灯片诊断引擎至少可以聚类2个疾病图像块。但是，有两个或更多聚类集群可用于幻灯片诊断。
所述幻灯片诊断引擎可以为每个集群计算出预设的特征值。然后学习，以将运算所得特征值作为输入数据输入，然后输出与输入数据相应的幻灯片疾病是否表达。
此外，可以通过考虑多个阈值来学习所述幻灯片诊断引擎。这使我们能够输出幻灯片诊断结果，而这些结果十分有助于设置阈值。对此将在后文中加以阐述。
所述预处理模块130可以在使用神经网络执行诊断之前对生物图像进行必要的预处理。例如，所述生物图像的预处理可包括将所述生物图像修补成预设大小的图像块，如上所述，还可计算出图像块特定像素的灰度值。此外，本发明技术领域的普通专家能够容易地推断出，可以根据需要用适合所述神经网络的方式进行适当的图像处理。
图10是说明本发明实施例涉及的两相疾病诊断方法的概念示意图。
如图10所示，生物组织对应的生物图像，即，从幻灯片取样的各图像块，可用于神经网络200学习。可对所述各图像块进行取样，标记为癌症的图像块和标记为正常的图像块具有一定比例。
并且，如上所述，所述神经网络200接收包括灰色通道在内的图像块输入数据的输入后学习，其结果是所述神经网络200学习后输出每一个图像块是否为癌症(或概率值)。
这样，所述神经网络200如图10的下面部分所示，输入幻灯片时，可以对每个幻灯片中包含的每个图像块执行图像块级别的诊断。
并且，所述幻灯片诊断引擎可以根据图像块级别诊断结果标记疾病图像块。例如，可以生成热图，如图10所示，。
此外，图11是本发明的一个实施例涉及的图像块级别诊断结果的标记结果的示意图，图11a显示的是由熟练的专家标记的生物组织的图像，图11b显示的是通过学习的所述神经网络200生成的热图。从图11可知，诊断可能非常准确。
另一方面，根据生成的热图，所述幻灯片诊断引擎可以生成聚类集群。所述幻灯片诊断引擎可以使用预设的聚类算法对疾病图像块进行聚类。根据本发明的实施例，所述幻灯片诊断引擎通过公知的DBSCAN算法执行聚类，但是也可以使用各种聚类技术。
所述幻灯片诊断引擎可以根据聚类结果生成的各集群提取聚类特征。
所述聚类特征可以是能够表示与疾病表达相关的特征的特征值。
根据一个示例，所述聚类特征可以包括集群中包含的疾病图像块的数量、图像块疾病概率值的平均值、图像块疾病概率值的最大值和图像块疾病概率值的最小值。当包含这些聚类功能时，我们可以确认幻灯片诊断引擎的诊断结果相对较高。
此外，根据实施例，所述聚类特征还可以包括每个集群的长轴(major axis)、短轴(minor axis)、面积(area)和密度(density)。这与集群的物理特性密切相关，如果将这些集群特性结合起来使用，诊断性能可以得到提高。
另一方面，根据每个图像块是否被判断为疾病图像块，所述集群的位置、大小等聚类特征可能不同。并且，这取决于在图像块级别诊断中使用的阈值。
根据本发明的技术思想，可以同时使用多个阈值进行幻灯片级别诊断。
根据一个示例，虽然本发明的实施例中使用了5个互不相同的阈值，但也可以有各种各样的实施例。
而且，根据每个阈值，特定图像块被诊断为疾病图像块的结果可能会有所不同，因此聚类结果也可能随之而不同。
根据本发明的实施例，所述幻灯片诊断引擎以N(例如5)个阈值和所述N个阈值中的每一个为标准，以预设的方式对疾病表达的图像块进行聚类，形成了M(例如2)个集群。
并且对形成的各个聚类分别计算出P(例如上述8个聚类图像块特征)个聚类特征。并且，在这种情况下，对于一张幻灯片可以提取M×N×P(例如80)个聚类特征。
并且，可以学习幻灯片诊断引擎，使这些特征值作为输入值输入，并作为输出数据输出所述幻灯片是否存在疾病。
这一实施例得出的实验结果如图12所示。
图12是本发明的一个实施例涉及的幻灯片级别诊断方法的实验结果示意图。
图12所示的实验结果显示的是上述8个聚类特征全部使用，使用阈值为5个，使用2个集群的情况下的实验结果。在这些实施例中，使用了训练数据组中的478张癌症表达幻灯片和218张正常幻灯片；另外，使用了确认组中117张癌症表达幻灯片和57张正常幻灯片、测试组中1302张癌症表达幻灯片和1658张正常幻灯片。
并且，当时的实验结果精确度、精密度、灵敏度和特异性分别如图12所示，表现出很高的性能。
此外，本说明书主要说明了本发明技术思想适用于前列腺癌的一个例子，但对于其他疾病也有必要运用本发明的技术思想，不仅要考虑特定组织，同时还需要考虑到该组织的周围组织的状态来对所述特定组织进行诊断，从而可进行更准确的诊断并使诊断结果可视化，这一点本发明技术领域的普通专家可以很容易地推断出来。
另一方面，根据实施例，所述诊断系统100可以包括处理器和存储由所述处理器所执行程序的内存。所述处理器可以包括单核CPU或多核CPU。内存可以包括高速随机访问内存，也可以包括非易失性内存，如一个或多个磁光盘存储设备、闪存装备或其他非易失性固态内存设备。处理器和其他组件对内存的访问可以由内存控制器控制。
另一方面，通过本发明的实施例涉及的神经网络的诊断方法可以以计算机可读的程序命令的形式实现，并存储在计算机可读的记录介质中，本发明的实施例涉及的控制程序和目标程序也可以存储在计算机可读的记录介质中。计算机可读的记录介质包括存储计算机系统可读数据的所有类型的记录设备。
记录在记录介质上的程序命令可能是专门为本发明设计和配置的，也可能是软件领域的业内人士都知道并使用的。
计算机可读记录介质例如硬盘、软盘和磁带之类的磁性介质(magnetic media)、诸如CD-ROM和DVD之类的光学介质(optical media)、诸如软盘(floptical disk)等光磁介质(magneto-optical media)、诸如储存并执行ROM、RAM、闪存等程序命令的特别配置的硬件装置。此外，计算机可读的记录介质分散在联网的计算机系统中，可以以分布式方式存储和运行计算机可读的代码。
程序命令的例子不仅包括编译器创建的机器语言代码，还包括使用解释器等以电子方式处理信息的设备，例如计算机可以执行的高级语言代码。
所述硬件设备可以配置为一个或多个软件模块来执行本发明的运作，反之同样如此。
本发明的前述说明仅用于举例说明，具备本发明所属技术领域常规知识的人可以理解，在不改变本发明的技术思想或本质特征的情况下，可以轻易地更改为其他具体形式。因此，以上所述各实施例应该理解为从各方面来说都只是例子，并不限定于此。例如，描述为单一形式的各个组件可以分开实施，同样，描述为分散的各组件也可以在组合的形式下实施。
本发明的范围如后述的专利权利请求范围所示，并不通过上述详细说明体现出来，专利权利要求范围的意义和范围以及从其统一概念导出的所有改变或变形的形式都应被解释为包含在本发明的范围内。
工业应用的可能性
本发明可运用于“使用执行分割的神经网络的一种疾病诊断系统及其方法”。

Claims (14)

1.一种疾病诊断系统，其在包含处理器和存储神经网络的存储设备的系统中实现，在使用生物图像幻灯片和所述神经网络的疾病诊断系统，
所述系统包括：
图像块级别分割神经网络，对所述幻灯片分割成预设大小的每一个预设图像块，将所述图像块输入到输入层并确定所述图像块中疾病存在的区域；
所述图像块级别分割神经网络，包括：
图像块级别分类神经网络，将所述图像块输入到输入层并输出与所述图像块上是否存在所述疾病有关的图像块级别分类结果；以及
图像块级别分割结构，接收所述图像块级别分类神经网络上包括的隐含层中2个以上的特征映射提取层上分别生成的特征映射，并确定所述图像块中疾病存在的区域。
2.根据权利要求1所述的种疾病诊断系统：
所述图像块级别分割结构包括：
包括所述2个以上的特征提取层各自对应的卷积节点的卷积子体系结构-所述每一个卷积节点对与其对应的从特征提取层输入的特征映射进行卷积或2个以上互不相同的卷积；以及
基于所述卷积子体系结构中生成的卷积结果确定所述图像块中疾病存在区域的分割子体系结构。
3.根据权利要求2所述的疾病诊断系统：
所述图像块级别分割体系结构进一步包含对从所述分割子体系结构输出的结果执行中心-交叉的交叉子体系结构。
4.根据权利要求1所述的疾病诊断系统，其特征在于；
图像块级别分类神经网络，对于所述图像块，将包括3个原始色彩信息通道和灰色通道的4个通道信息输入到输入层。
5.根据权利要求1所述的疾病诊断系统，
所述系统还包括幻灯片诊断引擎，标记将所述幻灯片中包括的多个图像块每一个图像块级别分类结果归类为疾病的图像块，基于该标记结果，输出所述幻灯片上是否存在疾病的幻灯片级别诊断结果。
6.根据权利要求5所述的疾病诊断系统，其特征在于，
所述幻灯片诊断引擎是，以既定的方式对判断为癌症的图像块进行聚类，形成多个集群，并对形成的每一个集群输入多个聚类特征作为输入值，输出包含所述集群的所述幻灯片的所述幻灯片级别诊断结果。
7.根据权利要求1所述的疾病诊断系统，其特征在于，所述疾病是前列腺癌。
8.一种疾病诊断方法，
是一种在包括处理器和存储神经网络的存储设备的系统中实现的，且使用生物图像幻灯片和所述神经网络的一种疾病诊断方法，
所述系统包括的步骤为对所述幻灯片分割为既定大小的每个预设图像块，将所述图像块输入至所述神经网络的输入层，确定所述图像块中疾病存在区域。
所述神经网络包括：
将所述图像块输入至输入层，然后输出所述图像块中是否存在所述疾病的相关图像块级别分类结果的图像块级别分类神经网络；以及
接收所述图像块级别分类神经网络中包括的隐含层中2个以上特征映射提取层中分别生成的特征映射，确定所述图像块中疾病存在区域的图像块级别分割体系结构。
9.根据权利要求8所述的疾病诊断方法，
所述图像块级别分割体系结构包括；
卷积子体系结构，包括与所述2个以上特征提取层相对应的卷积节点-所述卷积节点分别对从各自相应的特征提取层输入的特征映射进行卷积或进行2个以上互不相同的卷积；以及
分割子体系结构，基于所述卷积子体系结构中生成的卷积结果，确定所述图像块中疾病存在的区域。
10.根据权利要求9所述的疾病诊断方法：
所述图像块级别分割体系结构进一步包含对所述分割子体系结构中输出的结果执行中心-交叉的交叉子体系结构。
11.根据权利要求8所述疾病诊断方法，其特征在于；
对所述图像块，将包含3个原始色彩信息通道和灰色通道的4个通道信息输入到输入层。
12.根据权利要求8所述的疾病诊断方法：
还包括一个步骤，所述系统，对所述幻灯片中包括的多个图像块中的每一图像块级别分类结果中分类为疾病的图像块进行标记，基于该标记结果，输出所述幻灯片上是否存在疾病的幻灯片级别诊断结果。
13.根据权利要求12所述的疾病诊断方法，
输出所述幻灯片级别诊断结果的步骤包括：
所述系统，将判断为疾病的图像块以既定的方式进行聚类后形成多个集群的步骤；以及
并对形成的每一个集群输入多个聚类特征作为输入值，输出包含所述集群的所述幻灯片的所述幻灯片级别诊断结果的步骤。
14.一种记录在媒介上的计算机程序，安装在数据处理设备中以执行权利要求8至权利要求13中任意一项中记载的方法。
CN201980056199.0A 2018-08-27 2019-08-07 一种利用神经网络进行分割的疾病诊断系统和方法 Active CN112639997B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0100310 2018-08-27
KR1020180100310A KR102174379B1 (ko) 2018-08-27 2018-08-27 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
PCT/KR2019/009847 WO2020045848A1 (ko) 2018-08-27 2019-08-07 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법

Publications (2)

Publication Number Publication Date
CN112639997A true CN112639997A (zh) 2021-04-09
CN112639997B CN112639997B (zh) 2024-08-30

Family

ID=69644468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980056199.0A Active CN112639997B (zh) 2018-08-27 2019-08-07 一种利用神经网络进行分割的疾病诊断系统和方法

Country Status (6)

Country Link
US (1) US20210248745A1 (zh)
EP (1) EP3828896A4 (zh)
JP (1) JP7216447B2 (zh)
KR (1) KR102174379B1 (zh)
CN (1) CN112639997B (zh)
WO (1) WO2020045848A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102329546B1 (ko) 2019-07-13 2021-11-23 주식회사 딥바이오 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
EP3828816A1 (en) * 2019-11-28 2021-06-02 Siemens Healthcare GmbH Patient follow-up analysis
US20230289957A1 (en) * 2020-07-23 2023-09-14 Deep Bio Inc. Disease diagnosis method using neural network trained by using multi-phase biometric image, and disease diagnosis system performing same
US20230298753A1 (en) 2020-07-23 2023-09-21 Deep Bio Inc. Method for annotating pathogenic site of disease by means of semi- supervised learning, and diagnosis system for performing same
US20240156416A1 (en) * 2021-03-16 2024-05-16 Deep Bio Inc. Prognosis prediction method using result of disease diagnosis through neural network and system therefor
KR102588116B1 (ko) * 2021-04-19 2023-10-11 주식회사 바스젠바이오 엑스레이 영상에서 골절을 검출하는 방법
KR102603525B1 (ko) * 2021-06-28 2023-11-16 전남대학교산학협력단 X-ray 이미지를 이용한 무릎 골 종양 검출 시스템 및 방법
KR102430796B1 (ko) * 2022-03-14 2022-08-09 주식회사 딥바이오 딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160253466A1 (en) * 2013-10-10 2016-09-01 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes
CN106023239A (zh) * 2016-07-05 2016-10-12 东北大学 基于乳腺子区域密度聚类的乳腺肿块分割系统及方法
CN107909102A (zh) * 2017-11-10 2018-04-13 天津大学 一种组织病理图像的分类方法
CN108334909A (zh) * 2018-03-09 2018-07-27 南京天数信息科技有限公司 基于ResNet的宫颈癌TCT数字切片数据分析方法
CN108388841A (zh) * 2018-01-30 2018-08-10 浙江大学 基于多特征深度神经网络的宫颈活检区域识别方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2015261891A1 (en) * 2014-05-23 2016-10-13 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images
US10417525B2 (en) 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
JP6685706B2 (ja) * 2015-01-07 2020-04-22 キヤノン株式会社 画像処理装置及び画像処理方法
US9836839B2 (en) * 2015-05-28 2017-12-05 Tokitae Llc Image analysis systems and related methods
WO2017051945A1 (ko) * 2015-09-24 2017-03-30 주식회사 뷰노코리아 질환 모델 기반의 의료 정보 서비스 제공 방법 및 장치
US10049450B2 (en) * 2015-12-03 2018-08-14 Case Western Reserve University High-throughput adaptive sampling for whole-slide histopathology image analysis
JP6906898B2 (ja) * 2016-03-10 2021-07-21 キヤノン株式会社 眼科撮影装置
KR101944536B1 (ko) * 2016-12-11 2019-02-01 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
WO2018140596A2 (en) 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
US10573003B2 (en) * 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
US11341631B2 (en) * 2017-08-09 2022-05-24 Shenzhen Keya Medical Technology Corporation System and method for automatically detecting a physiological condition from a medical image of a patient
EP3625765B1 (en) * 2017-12-29 2024-03-20 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors
US10878569B2 (en) * 2018-03-28 2020-12-29 International Business Machines Corporation Systems and methods for automatic detection of an indication of abnormality in an anatomical image
KR101889725B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160253466A1 (en) * 2013-10-10 2016-09-01 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes
CN106023239A (zh) * 2016-07-05 2016-10-12 东北大学 基于乳腺子区域密度聚类的乳腺肿块分割系统及方法
CN107909102A (zh) * 2017-11-10 2018-04-13 天津大学 一种组织病理图像的分类方法
CN108388841A (zh) * 2018-01-30 2018-08-10 浙江大学 基于多特征深度神经网络的宫颈活检区域识别方法及装置
CN108334909A (zh) * 2018-03-09 2018-07-27 南京天数信息科技有限公司 基于ResNet的宫颈癌TCT数字切片数据分析方法

Also Published As

Publication number Publication date
EP3828896A1 (en) 2021-06-02
KR20200027066A (ko) 2020-03-12
CN112639997B (zh) 2024-08-30
JP2021535472A (ja) 2021-12-16
US20210248745A1 (en) 2021-08-12
EP3828896A4 (en) 2022-05-04
WO2020045848A1 (ko) 2020-03-05
KR102174379B1 (ko) 2020-11-04
JP7216447B2 (ja) 2023-02-01

Similar Documents

Publication Publication Date Title
CN112639997B (zh) 一种利用神经网络进行分割的疾病诊断系统和方法
CN110366759B (zh) 用神经网络诊断疾病的系统及其方法
KR102236948B1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
CN112183635A (zh) 一种多尺度反卷积网络实现植物叶部病斑分割与识别方法
CN112567474B (zh) 利用多重颜色模型和神经网络的疾病诊断系统和方法
CN112384989B (zh) 一种两阶段疾病诊断系统及其方法
CN112740335A (zh) 基于神经网络的疾病诊断系统和方法
EP3989237A2 (en) Disease diagnosis system and method for performing segmentation by using neural network and unlocalized block
CN112567466A (zh) 诊断结果生成系统及其方法
EP4318497A1 (en) Training method for training artificial neural network for determining breast cancer lesion area, and computing system performing same
CN115641317A (zh) 面向病理图像的动态知识回溯多示例学习及图像分类方法
KR20200092801A (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
EP4170678A1 (en) Method for annotating pathogenic site of disease by means of semi-supervised learning, and diagnosis system for performing same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant