CN112740335A - 基于神经网络的疾病诊断系统和方法 - Google Patents

基于神经网络的疾病诊断系统和方法 Download PDF

Info

Publication number
CN112740335A
CN112740335A CN201980052666.2A CN201980052666A CN112740335A CN 112740335 A CN112740335 A CN 112740335A CN 201980052666 A CN201980052666 A CN 201980052666A CN 112740335 A CN112740335 A CN 112740335A
Authority
CN
China
Prior art keywords
image
slide
neural network
pixel
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980052666.2A
Other languages
English (en)
Inventor
曺浚宁
金善禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
One Hundred Euro Ltd
Deep Bio Inc
Original Assignee
One Hundred Euro Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by One Hundred Euro Ltd filed Critical One Hundred Euro Ltd
Publication of CN112740335A publication Critical patent/CN112740335A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4375—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the male reproductive system
    • A61B5/4381—Prostate evaluation or disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4842—Monitoring progression or stage of a disease
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

通过神经网络进行学习，基于学习的神经网络输入活体组织的图像时，可以诊断出预设疾病(例如前列腺癌)，并公开了一种可视化的系统及其方法，以便准确掌握被诊断为疾病的组织(细胞组织)部位。根据本发明的一方面，提供一种诊断系统，是在包含处理器和存储神经网络的存储设备的系统中实现的，是一种使用生物图像幻灯片和所述神经网络的疾病诊断系统，所述诊断系统包括:生成所述幻灯片分割成预设大小的各预设图像块是否存在疾病的图像块级别诊断结果的图像块神经网络；基于所述幻灯片中包含的多个图像块的各图像块诊断结果生成与所述幻灯片相相应的图像块级别热图图像的热图生成模块；基于与所述幻灯片相对应的HSV(色调‑饱和度‑明度)模型生成与所述幻灯片相对应的组织掩膜图像的组织掩膜生成模块；以及基于所述图像块级别的热图图像和所述组织掩膜图像生成与所述幻灯片相对应的疾病诊断可视化图像的可视化模块。

Description

基于神经网络的疾病诊断系统和方法
技术领域
本发明涉及一种基于神经网络的疾病诊断系统及其方法。具体来说涉及一种通过神经网络进行学习的可视化系统及其方法，利用经学习的神经网络输入生物组织的图像，从而可以诊断出预设疾病(如前列腺癌)，并精确定位疾病诊断的组织(tissue,人、动植物细胞的组织)部位。
背景技术
病理学或病理科主要工作之一就是读取患者的生物图像，所进行的诊断是判断特定疾病的状态或征兆。这种诊断方式长期依赖于医务人员丰富的经验和知识。
近期，随着机器学习的发展，正在积极尝试通过计算机实现识别或分类图像等工作任务的自动化。尤其是，正在尝试利用机器学习的一种即神经网络(例如，使用卷积神经网络(Convolution neural network，CNN)的深度学习方法)使以往由资深医务人员熟练操作的诊断工作实现自动化。
特别是，通过使用神经网络(例如CNN)深度学习而进行的诊断，并不只是使以往资深医务人员的丰富经验和知识实现自动化，而是通过自学找到特征因素并推导出想要的答案，有时候反而能在图像中发现资深医务人员所不了解的疾病因素的特征。
通常，通过使用生物图像的神经网络诊断疾病时会使用生物图像的碎片，即图像块(patch，也称为图像子块(tile))。也就是说，熟知该图像子块的医务人员将对特定疾病的状态(例如，癌症是否表达)进行标注(annotation)，并将这些已标注的大量的图像子块用作训练数据来学习神经网络。此时，所述神经网络可以是卷积神经网络。
但是，在这种方式下，经学习的神经网络只能根据对应图像子块的图像特征来判断该图像子块的疾病状态，而实际上，针对特定疾病判断特定生物组织的状态时，不仅要考虑所述特定生物组织本身，还要考虑所述特定生物组织的周围组织的状态(例如，形状、特定模式是否存在等)。但是，传统方式的不足之处是并不适用于此类情况。
另一方面，在传统的学习中，生物图像或图像块的颜色本身将作为输入数据输入。也就是说，通常由RGB的三个通道值定义的输入数据将被直接使用。
但是，在这种情况下，根据与生物图像相对应的生物组织染色所用的染色试剂的特性，经染色的组织的颜色可能会各不相同，这将直接影响到学习的神经网络。
因此，可能有必要强化神经网络的学习方式，以应对这种并非根源性组织图像特征的因染色等导致的非根源性颜色特征。
另外，根据图像块单元的诊断结果，按照各图像块判断疾病表达与否，当每一图像块的诊断结果直接可视化时，实际上可能会发生不是组织(细胞组织)的那部分也被可视化的问题。因此，可能需要一种能够精确掌握确诊为疾病的组织部分的可视化方法。
*先前的技术文献
-专利文献
韩国公开专利10-2016-0034814“伴随神经网络的客户端设备和包含该设备的系统”。
发明内容
技术课题
本发明旨在攻克的技术课题是提供一种将所述特定图像块以及周围图像块用于学习，使准确率得到进一步提高的基于神经网络的诊断系统及其方法，以判断有关特定图像块的疾病的状态(例如，疾病表达与否或显现疾病状态的指标等)。
另外，提供一种诊断系统及其方法，所利用的神经网络在诊断疾病表达与否时，具备非根源性图像特征的强烈的颜色特征。
另外，还提供了一种能够精确掌握疾病表达的组织部位的可视化方法以及可执行该方法的基于神经网络的诊断系统。
技术解决方法
根据本发明的一个方面，在包括处理器和存储神经网络的存储设备的系统中实现，在利用生物图像幻灯片和所述神经网络的疾病诊断系统中，所述诊断系统提供的一种诊断系统包括:图像块神经网络，生成所述幻灯片分割成预设大小的每一个预设图像块是否存在疾病的图像块级别诊断结果；热图生成模块，基于所述幻灯片中包含的多个图像块中的每一图像块诊断结果而生成与所述幻灯片相对应的图像块级别热图图像；组织掩模图像生成模块，基于与所述幻灯片相对应的HSV(Hue-Saturation-Value)模型，生成与所述幻灯片相对应的组织掩模图；以及可视化模块，基于所述图像块级别热图图像和所述组织掩模图像生成与所述幻灯片相对应的疾病诊断可视化图像。
在一个实施例中的所述组织掩膜生成模块，针对与所述幻灯片相对应的S空间进行图像二值化并生成第1二值化结果(这里，与所述幻灯片相对应的S空间是指与所述幻灯片相对应的HSV模型的饱和度值(Saturation)空间)，针对与所述幻灯片相对应的1-V空间进行图像二值化并生成第2二值化结果(这里，与所述幻灯片相对应的V空间是所述幻灯片相对应的HSV模块的名义值(value)空间)，基于所述第1二值化结果和所述第2二值化结果可生成所述幻灯片相对应的组织掩膜图像。
在一个实施例中，所述第1二值化结果和所述第2二值化结果包含与所述幻灯片中的每个像素相对应的二进制值(这里，所述二进制值为0或1)，所述组织掩膜生成模块对于所述幻灯片中的每个像素，当与所述像素相对应的第1二值化结果的二进制值或与所述像素相对应的第1二值化结果的二进制值为1，则可以判断与所述像素相对应的组织掩膜图像上的像素为组织像素，否之则可以判断与所述像素相对应的组织掩膜图像上的像素为非组织像素。
在一个实施例中的所述可视化模块，可以将条件随机场(Conditional RandomField)应用于所述图像块级别热图图像和所述组织掩膜图像，从而生成与所述幻灯片相对应的疾病诊断可视化图像。
在一个实施例中，特点在于所述条件随机场的标签个数为2，并可将所述图像块级别热图图像中包含的像素中特定阈值以下的像素转换为0。
在一个实施例中，特点在于所述疾病的可能是前列腺癌。
根据本发明的另一方面，提供了一种方法，即在包括处理器和存储设备的系统中实现且基于生物图像和神经网络对疾病进行诊断的一种方法，包括：所述诊断系统利用所述神经网络生成图像块级别诊断结果的步骤，即所述幻灯片分割为预设大小的每个预设图像块中是否存在疾病；所述诊断系统基于所述幻灯片中包含的多个图像块中的每一图像块诊断结果生成与所述幻灯片相对应的图像块级别热图图像的热图图像生成步骤；所述诊断系统基于与所述幻灯片相对应的HSV(Hue-Saturation-Value)模型，生成与所述幻灯片相对应的组织掩膜图像的组织掩膜生成步骤；以及所述诊断系统基于所述图像块级热图图像和所述组织掩膜图像，生成与所述幻灯片相对应的疾病诊断可视化图像的可视化步骤。
在一个实施例中，所述组织掩膜的生成步骤包括：对与所述幻灯片相对应的S空间进行图像二值化并生成第1二值化结果的步骤(这里，与所述幻灯片相对应的S空间是指与所述幻灯片相对应的HSV模型的饱和度值(Saturation)空间)；对与所述幻灯片对应的`1-V空间进行图像二值化并生成第2二值化结果的步骤(其中，与所述幻灯片对应的V空间是与所述幻灯片相对应的HSV模型的名义值(Value)空间)；以及基于所述第1二值化结果和所述第2二值化结果生成与所述幻灯片对应的组织掩膜图像的步骤。
在一个实施例中，所述第1二值化结果和所述第2二值化结果包含与所述幻灯片中的每个像素相对应的二进制值(其中所述二进制值为0或1)，基于所述第1二值化结果和所述第2二值化结果生成与所述幻灯片相对应的组织掩膜图像的步骤包括：对于所述幻灯片中的每个像素，如果与所述像素对应的第1二值化结果的二进制值或与所述像素相对应的第1二值化结果的二进制值为1，则可以将与所述像素对应的组织掩膜图像上的像素判断为组织像素，否之则可以将与所述像素对应的组织掩膜图像上的像素判断为非组织像素。
在一个实施例中，所述可视化步骤可以包括将条件随机场(Conditional RandomField)应用于所述图像块级别热图图像和所述组织掩膜图像，从而生成与所述幻灯片相对应的疾病诊断可视化图像的步骤。
在一个实施例中，特点在于所述条件随机场的标签个数为2，且将所述图像块级别热图图像中包含的像素中特定阈值以下的像素转换为0。
根据本发明的另一方面，提供一种计算机程序，为了实施所述方法，安装在数据处理装置中，且记录在媒介上。
发明的效果
根据本发明的技术思想，在对特定图像块进行诊断时，所考虑的是一种宏观图像块，即不仅包括所述特定图像块，还包括周边图像块，提供能够判断所述特定图像块疾病状态的神经网络，从而有效提供更高的诊断精确度。
此外，根据本发明的技术思想，所输入的输入数据，不仅有图像块的原始颜色值(例如，RGB 3通道值)，同时还将灰度值作为输入数据使用，所以可以防止忽略仅使用灰度值时可能发生的颜色差异所体现的与疾病相关的图像特征，同时在疾病表达与否的诊断中，可能具备颜色的多种因素引起的变量上(variaton)强烈的特征，而非根源性图像特征。
另外，根据本发明的技术思想，所产生的效果是在判断疾病表达的图像块内，只有组织部分可以被区分并可视化。
附图说明
为了更好地理解本发明的具体阐述中引用的图表，提供了每个附图的简要说明。
图1所示的是基于一种本发明技术思想的使用神经网络的疾病诊断系统的系统结构概略图。
图2是本发明的一个实施例涉及的基于神经网络的疾病诊断系统的逻辑结构示意图。
图3是本发明的一个实施例涉及的基于神经网络的一种疾病诊断系统的硬件组成示意图。
图4是本发明一个实施例涉及的神经网络的一个示例的结构示意图。
图5是本发明的另一个实施例涉及的神经网络的一个示例的结构示意图。
图6a是幻灯片的一个示例的示意图。
图6b是图6a中幻灯片的热图的一个示例的示意图。
图6c是图6a中幻灯片的组织掩膜图像的一个示例的示意图。
图6d是诊断为疾病的部位可视化结果图像的一个示例的示意图。
具体实施方式
本发明可以进行多种转换，可以有多种实施例，将在图纸上举例说明特定实施例，并在详细说明中进行具体阐述。但是，这并不是要将本发明限定于特定的实施形式，而应理解为包含在本发明思想及技术范围内的所有转换、等价物或替代物。在对本发明进行说明时，在认为有关已知技术的具体说明反而会使本发明的要点含糊时，则省略详细说明。
第一、第二等术语可以用于对各种组件的说明，但所述组件不能被所述术语限制。所述各术语仅用于将一个组件与其他组件区分开来。
本申请中使用的术语只是用于说明特定实施例，并不是要限制本发明。单数的表达包括复数的表达，除非上下文中有明显不同的意思。
本说明书中“包含”或“具有”等术语是指说明书中记载的特征、数字、步骤、动作、组件、零件或它们的组合的存在，应理解为并不是事先排除一个或多个其他特征、数字、步骤、动作、组件、零件或它们的组合的存在或附加可能性。
另外，在本说明书中，一个组件将数据“传输”到另一个组件时，则意味着所述组件可以直接将所述数据传输到所述其他组件，也可以通过至少一个其他组件将所述数据传输到所述其他组件。相反，如果任意一个组件将数据“直接传输”到另一个组件，则意味着所述数据将从所述组件传输到其他组件，而并非通过其他组件。
以下，参照所附图纸，围绕本发明的实施例详细说明本发明。每个图形中提供的相同参考符号代表相同的部件。
图1所示的是一种本发明技术思想所涉及的利用神经网络的疾病诊断系统的系统结构概略图。
参考图1，一种使用本发明的技术思想所涉及的神经网络的疾病诊断系统(以下简称诊断系统100)可以安装在预设服务器10上以实现本发明的技术思想。所述服务器10是指具有可实现本发明技术思想的计算能力的数据处理装置，可将通常可通过网络将客户端可以连接的数据处理装置以及个人计算机、移动终端等能够执行特定服务的任何设备定义为服务器，本发明技术领域的普通专家能够轻易地推断出这一点。
如图3所示，所述服务器10可以包括处理器11和存储器12。所述处理器11可以指能够驱动实现本发明技术思想的程序(12-1)的运算装置，所述处理器11可利用所述程序(12-1)和神经网络(Nerual Network，12-2)进行诊断。所述神经网络(12-2)可以包括执行图像块级别诊断的图像块神经网络。
所述存储器12可指存储所述程序(12-1)和神经网络(12-2)的数据存储手段，也可以根据实施例通过多种存储手段实现。另外，所述存储器12所指的不仅包括所述服务器10中包括的主存储器，还包括所述处理器11中可能包括的临时存储器或内存等。
虽然所述诊断系统100在图1或图3中所示的是通过任何一个物理设备实现的，但本发明技术领域的普通专家将能够容易地推断出，可以按照本发明的技术思想并根据需要将多个物理设备有机地组合以实现诊断系统100。
本说明书中，所述诊断系统100执行诊断，可以指输入生物组织表达了的生物图像，即幻灯片的全部或所述幻灯片一部分的图像块，然后输出本说明书中定义的输出数据的一系列过程。
根据本发明的一个实施例，所述诊断系统100可以执行图像块级别诊断。图像块级别诊断可能意味着将所述幻灯片分割为图像块单元，并诊断被分割的各图像块中是否表达了疾病。因此，所述诊断系统100可以接受幻灯片上的各图像块的输入，并输出在该图像块上疾病是否表达。为此，神经网络可以学习并实现。
另一方面，执行图像块级别诊断的神经网络根据本发明的技术思想，不仅可以利用该图像块进行诊断，还可以进一步考虑该图像块的周边图像块来执行诊断。这些技术思想曾在本申请人申请的韩国专利申请(申请编号10-2016-0168176，利用神经网络诊断疾病的系统及其方法，以下简称“先前的申请”)中具体公开。如此，非常外围的领域，即与单独考虑与图像块相对应的领域执行诊断相比较，同时考虑到其周围的领域时，可以提高诊断的精确度。此外，根据本发明的技术思想，不仅是在特定图像块的周边图像块上，而是进一步综合考虑整个幻灯片上各图像块的位置、密集度和集群的大小等物理特征，可以更准确地判断幻灯片上是否存在疾病。先前的申请作为本发明的参考资料包括在内，其内容可视为本说明书中所载的内容。
另一方面，根据图像块级别诊断输出的状态信息可以是指特定疾病(例如，特定种类的癌症)在所述图像块所对应组织上是否表达的概率的信息。所述诊断系统100在出现特定标准值(阈值)以上的概率时，可以判断所述图像块为疾病(例如前列腺癌)表达的图像块。
当然，所述诊断系统100所显现的信息不仅是先前的申请中所公开的特定疾病的表达与否，还可以是指特定疾病的进展程度(或所述进展程度所对应的概率)。例如，将本发明的技术思想应用于前列腺癌的诊断时，则显现前列腺癌进展程度的指标“格里森模式(Gleason Pattern)”或“格里森评分(Gleason Score)”可以包含在所述神经网络输出的状态信息中。例如，格利森评分的分值为2到5，数字越大，说明前列腺癌表达的程度就越严重。因此，所述状态信息可能是指成为诊断对象的图像块所对应的生物组织对应格利森评分的特定值(例如3、4或5)的概率。
所述状态信息可以存在多个。例如，第一状态信息可以表示格利森评分为3的概率，第二状态信息可以表示格利森评分为4的概率，第三状态信息可以表示格利森评分为5的概率，与这些第一状态信息、第二状态信息和第三状态信息相对应的状态通道都可以在所述输出层上定义。根据实施例，状态信息也可以被定义为表示格利森评分有一定范围(例如，3至5，4至5等)的概率。也就是说，一个状态信息可与表达疾病进展状态的多个指标相对应。
在这种情况下，所述神经网络在格利森评分为3以上的状态信息超过预设的阈值时，则可以判断所述图像块是疾病图像块，即疾病表达的图像块。
另一方面，所述神经网络利用的阈值可多样化设定。根据实施例，可使用多个所述阈值。当然，根据阈值，特定的图像块可以判断为疾病表达的图像块，即疾病图像块，也可以判断为普通图像块。
根据本发明的技术思想，所述神经网络利用的阈值可能是多个，在这种情况下，根据多个阈值中的每个值，诊断出的疾病图像块可能会有所不同。
另一方面，所述诊断系统100还可以对执行的图像块级别诊断结果进行可视化。本说明书中对诊断结果的可视化可能意味着对诊断结果判断是疾病的部分赋予预设的视觉效果。视觉效果可能意味着视觉感知的效果。例如，通过可视化判断为疾病的部分可以用不同的颜色表示或强调。
当所述诊断系统100包含在预设的服务器10中并实施时，所述诊断系统100还可以与至少一个可连接到所述服务器10的客户端(例如，20、20-1)进行通信。在这种情况下，所述客户端(例如，20，20-1)可以将生物图像传输到所述诊断系统100，所述诊断系统100可以对所传输的生物图像执行基于本发明的技术思想的诊断。并且，诊断结果也可以被发送到所述客户端(例如，20，20-1)。
当然，为了执行这些诊断，可以先执行使所述神经网络学习的过程。
因此，所述诊断系统100可以是从外部接收基于本发明的技术思想学习的神经网络和利用所述神经网络来执行诊断的系统，也可以是执行所述神经网络的学习的系统。另外，所述诊断系统100可以是为了实现本发明的技术思想而制作的专用装置，而非通用的数据处理装置，在这种情况下，还可以具备用来扫描生物图像的手段等。
所述神经网络可以具有执行所述特定图像块的诊断的特征是，在对特定图像块进行诊断时，不仅要考虑如先前的申请中所公开的所述特定图像块本身的图像，还要考虑与所述特定图像块相邻的至少一个图像块的图像。通过这些技术思想，实际上为了诊断与特定图像块相对应的生物组织，不仅要考虑所述生物组织，还要考虑所述生物组织的周边组织的状态，这对于疾病的诊断很有意义，能有效提高精确度。另外，将生物图像分割成多个图像块时，图像块的分割方式的不同或经分割的区域是生物组织的哪一部位均可能会对诊断结果产生巨大影响。
当然，如上所述，所述神经网络可能不具有先前的申请中公开的特征，无论是在何种情况下，所述神经网络都可以为了对各图像块进行诊断的学习的神经网络。
这时，所述神经网络可以接受额外的通道作为图像块中每个像素的输入值，这与以往不同。所述附加通道可能是每个像素的灰度值。因此，所述神经网络可以接受每一图像块的输入，同时接受所述图像块中包含的各像素的原始值(例如，RGB)的3个通道以及额外附加的通道—灰色通道—作为输入。
在这种情况下，当生物图像的颜色可能会因与疾病相关的图像特征无关的因素(例如，诊断机构的特征、染色试剂等)而发生变化时，则可能会产生强大的效果。当然，如果只是单纯地利用灰色通道而不利用原始值时可能会发生问题，即与疾病相关的图像特征用颜色反映并表示出来时，这些重要信息可能无法在学习中得到反映的问题，这些问题也可以得到解决。
本发明的技术思想涉及的诊断系统100所利用的神经网络可包括微观神经网络和宏观神经网络。
所述微观神经网络可以是指利用特定的一个图像块进行学习，利用所述图像块自身的图像特征对所述图像块进行诊断的一系列过程的网络。
所述宏观神经网络可以是指利用的不仅是所述图像块，而是利用包含所述图像块以及至少一个所述图像块的相邻图像块的宏观图像块来进行学习的，并利用所述宏观图像块的整体图像特征对所述图像块进行诊断的一系列过程的网络。
因此，本发明的技术思想涉及的神经网络在对所述特定图像块进行诊断时所具有的特征是，对特定图像块进行诊断时不仅考虑所述特定图像块本身的图像，还考虑到至少一个所述特定图像块的相邻图像块的图像。通过这一技术思想，实际上，在诊断与特定图像块相对应的生物组织时，不仅要考虑所述生物组织，还要考虑所述生物组织的周围组织的状态，这十分有助于疾病的诊断，能有效提高准确度。另外，将生物图像分割成多个图像子块时，图像子块的分割方式或所分割的区域处于生物组织的哪一位置可能会对诊断结果产生巨大影响。
为了实现这种技术思想，所述诊断系统100逻辑上可以具有与图2相同的配置。
图2是基于本发明的一个实施例所涉及的神经网络的疾病诊断系统的逻辑结构示意图。
参考图2，所述诊断系统100可包括控制模块110、存储神经网络的神经网络模块120、预处理模块130、热图生成模块140、组织掩膜生成模块150。根据本发明的实施例，所述组件中的部分组件也可能不一定是对应于实现本发明所必需的必要组件，并且实施例涉及的所述诊断系统100当然可能包含更多的组件。例如，所述诊断系统100可以进一步包含用于与所述客户端(例如，20，20-1)通信的通信模块(未图示)。
所述诊断系统100可以指具有实现本发明技术思想所需的硬件资源(resource)和/或软件的逻辑性配置，并不一定意味着一个物理组件或一个设备。也就是说，所述诊断系统100可以是指为实现本发明的技术思想而具备的硬件和/或软件的逻辑结合，必要时可以配置为安装在彼此间隔的设备上，执行各自的功能，以实现本发明的技术思想的逻辑组件的集合。此外，所述诊断系统100还可以指为实现本发明技术思想的按各自的功能或作用而配置的各组件集合。例如，所述控制模块110、神经网络模块120、预处理模块130、热图生成模块140、组织掩膜生成模块150和/或可视化模块160可分别处于各不相同的物理装置，也可处于同一物理装置。根据另一个实施例，分别构成所述控制模块110、神经网络模块120、预处理模块130、热图生成模块140、组织掩膜生成模块150和/或可视化模块160的软件和/或硬件的结合也可以处于互不相同的物理装置，处于各不相同的物理装置的各组件可以相互有机组合并配置成各所述模块。
此外，本说明书中的模块可以指用于执行本发明技术思想的硬件和用于驱动所述硬件的软件在功能上和结构上的组合。例如，所述模块可以指用于执行预设代码和所述预设代码的硬件资源(resource)的逻辑单元，并不一定指物理连接的代码或是一种硬件，这一点本发明技术领域的普通专家很容易推论。
所述控制模块110可以控制所述诊断系统100中包含的其他配置(例如，所述神经网络模块120、预处理模块130、热图生成模块140、组织掩膜生成模块150、可视化模块160等)的功能和/或资源。
所述控制模块110可以利用存储在所述神经网络模块120中的神经网络进行本发明技术思想所涉及的图像块级别诊断。如上所述，图像块级别诊断可以通过本发明技术思想涉及的基于深度学习的神经网络来实现。也就是说，在所述控制模块110的控制下，所述神经网络可以生成所述幻灯片被分割为预设大小的每个预设图像块中是否存在疾病的图像块级别诊断结果。
所述神经网络可能是指表达定义神经网络的一系列设计事项的信息的集合。在本说明书中，所述神经网络可以是卷积神经网络。
众所周知，所述卷积神经网络可以包含输入层、多个隐含层和输出层。多个隐含层的每一个都可以包含卷积层和池化层(或子采样层)。
卷积神经网络可以由函数、筛选、卷积步长(stride)、权重因子等来定义各个层。此外，输出层可定义为完全连接的前馈层(FeedForward layer)。
构成卷积神经网络的各层的设计事项广为人知。例如，对于多个层中包含的层数、用来定义所述多个层的卷积函数、池函数、激励函数可以分别使用已知的函数，也可以使用为实现本发明的技术思想而单独定义的函数。
根据本发明的实施例，进行图像块级别诊断的神经网络使用的是公开的DenseNet，此时，设计时可如先前的申请中所公开的，不仅可以考虑成为诊断对象的特定图像块，还可以考虑周围的图像块。此外，还可以使用各种神经网络，在任何情况下，所述神经网络都可以定义为接收特定图像块的输入，并输出与该特定图像块的疾病表达概率相对应的特征值。
所述控制模块110可以接收存储在所述神经网络模块120中的神经网络，即学习的神经网络中的输入数据，即各图像块输入。这时，如上所述，可以输入在原始值上附加了灰色通道值的值。当然，灰色通道值可以通过将像素的值转换为灰度值来获得。并且可以执行由神经网络定义的演算后输出输出数据，即与图像块相对应的疾病表达概率相对应的特征值。此外，根据实施例，为了进行后述的幻灯片级别诊断，还可以根据所述特征值是否为预设的阈值而输出该图像块表达了疾病与否。
所述神经网络模块120可以存储神经网络。所述神经网络可以指表达定义神经网络的一系列设计事项的信息的集合。在本说明书中，所述神经网络可以是卷积神经网络。
众所周知，所述卷积神经网络可以包含输入层、多个隐含层和输出层。多个隐含层的每一个都可以包含卷积层和池化层(或子采样层)。
卷积神经网络可以由函数、筛选、卷积步长(stride)、权重因子等来定义各个层。此外，输出层可定义为完全连接的前馈层(FeedForward layer)。
构成卷积神经网络的各层的设计事项广为人知。例如，对于多个层中包含的层数、定义所述多个层的卷积函数、池函数、激励函数可以分别使用已知的函数，也可以使用为实现本发明的技术思想而单独定义的函数。
举例来说，卷积函数可以是离散卷积和等。池函数可以是极大池化(max-pooling)、均值池化(average-pooling)等。激励函数可以是sigmoid、tanh、RELU(Rectified Linear Unit)等。
定义了这些卷积神经网络的设计事项后，定义了设计事项的卷积神经网络就可以存储在存储设备上。并且，当所述卷积神经网络学习后，每个层对应的权重因子可以是特定的。
也就是说，卷积神经网络的学习可以是指由各层的权重因子决定的过程。而且，当卷积神经网络学习后，所学习的卷积神经网络可以在输入层上接受输入数据的输入，并通过事先定义的输出层输出输出数据。
本发明的实施例涉及的神经网络可以通过选择所述众所周知的设计事项中的任何一个或多个来定义，也可以为所述神经网络定义独立的设计事项。
所述诊断模块110可以将输入数据输入到存储在所述神经网络模块120中的神经网络，即学习的神经网络中。并且可以在执行神经网络定义的演算后输出输出数据。
所述预处理模块130可以利用神经网络进行诊断前所需的生物图像的预处理。例如，所述生物图像的预处理可以包括将所述生物图像(即幻灯片)分割为预设大小的图像块(图像子块)的图像分割过程，并根据需要以适合于所述神经网络的方式进行适当的图像处理，这一点本发明技术领域的普通专家可以容易地推论出来。
另一方面，本发明的技术思想涉及的神经网络具有的技术特征为包括如上所述的微观神经网络和宏观神经网络。这类例子将参考图4进行具体说明。
图4是本发明的实施例涉及的神经网络的结构示意图。
参考图4，本发明的技术思想涉及的神经网络200包括微观神经网络和宏观神经网络。
微观神经网络包括多层210和输出层230。多层210包括输入层211和多个隐含层212。
宏观神经网络包括多层220和所述输出层230。所述多层220包括输入层221和多个隐含层222。
所述微观神经网络被定义为接受特定图像块30的输入，并输出特定图像块的诊断结果，即输出层230中定义的各输出数据。
另外，所述宏观神经网络被定义为接受包括所述特定图像块30以及包含所述特定图像块30的相邻图像块中至少一个宏观图像块40的输入，并输出所述特定图像块的诊断结果。
也就是说，本发明的技术思想涉及的神经网络200为了输出特定图像块30的诊断结果，不仅可以考虑特定图像块30的图像特征，还可以考虑与所述特定图像块30相邻的各图像块的图像特征来输出诊断结果。
虽然所述宏观图像块40在图4中所显示的是围绕图像块的3×3图像块的状况，但应该可以有多种实施例。
所述输出层230可以接受所述微观神经网络中包含的所述输出层230的前一层的第1前层(212-1)和宏观神经网络中包含的所述输出层230的前一层--第2前层(222-1)的每一个输出数据的输入，从而输出所述输出层230中定义的输出数据。所述第1前层(212-1)、所述第2前层(222-1)和所述输出层230可以是全连接。
定义所述输出层230的前馈(Feedforward)函数可以使用由输入层输入的输入数据作为结果通过神经网络200由输出层230输出输出数据的各种函数中的一种。
最终，所述神经网络200为了对特定图像块30进行诊断而学习时，同时考虑所述特定图像块30的图像特征和包含所述特定图像块30的宏观图像块40的图像特征，然后输出与大量训练数据的标注值相对应的输出层230的输出数据。
也就是说，为了学习所述神经网络200，使用了大量的训练数据，大量的训练数据可以包括一对特定图像块30和宏观图像块40。而且，宏观图像块40也可以利用所述特定图像块30的标注信息进行学习。
这样，所述神经网络200的学习可以同时考虑所述特定图像块30和所述宏观图像块40的图像特征，以输出与所述特定图像块30的标注信息相对应的输出数据。
而且，学习的神经网络200如果将成为诊断对象的目标图像块和对应于所述目标图像块的宏观图像块分别作为微观神经网络和宏观神经网络的输入层的输入数据输入，则可以输出所述目标图像块的诊断结果，即输出层230的输出数据。
如图4a所示，所述输出层230可以将成为诊断对象的特定图像块30的诊断结果作为输出数据输出。诊断结果至少可以包含所述特定图像块30的疾病状态的信息。关于疾病状态的信息可能仅仅是指特定疾病是否在特定图像块30中表达(或概率值)的信息。但是，根据疾病的种类，关于疾病状态的信息还可能包括显示疾病发展程度的更加具体的信息。
输出层并不仅仅如先前的申请中所公开的那样输出疾病的表达与否，而可以设计为输出多种附加信息。例如，可以包括显示疾病发展程度的信息和/或与所述状态通道的值相关联的关联因子的表达程度的关联因子信息。对此，由于先前的申请中已经详细公开，所以将省略详细的说明。
当使用图4a中所示的神经网络200时，还可以存在输入所述输出层230的输出数据后，输出与最终输入的图像块的疾病的表达概率相对应的特征值的并未在图4a中示意的层。
或者，如图4b所示，所述神经网络可以设计为具有代替图4a所示的输出多个状态通道和相关因子通道的层，且输出与所输入的图像块的疾病的表达概率相对应的特征值的层240。
根据本发明的另一个实施例，用于图像块级别诊断的神经网络可以设计为具有单一路径，而不是如图4所示的具有两条路径(微观网络和宏观网络各自的路径)的方式。这些实施例可能与图5所示相同。
图5是例举本发明的另一个实施例涉及的神经网络的结构示意图。
参考图5，如上所述，神经网络可以定义为接受图像块单元的输入，并判断输入的图像块是否存在疾病。这时，如图所示，所述神经网络可以输入4通道(例如，RGB通道和灰色通道)的数据。
这种神经网络可以是使用公知的Dense Net模型的神经网络。并且可知，此时本发明的技术思想所涉及的所述神经网络与原来的Dense Net型号相比增加了1×1卷积，具有通过其确认内部特征图的效果。另外，虽然Signoid函数被用作激励函数，但各种活动函数都有可能被使用。
可以其他多种方式进行图像块级别诊断的神经网络可以被定义，这点本发明技术领域的普通专家易于推论出来。
再次参考图2，所述热图生成模块140可以基于所述幻灯片中包含的多个图像块中的每个图像块的诊断结果生成与所述幻灯片相对应的图像块级别热图图像。
所述热图生成模块140可以根据每个图像块的诊断结果来标记疾病图像块。在所述的图像块级别诊断中，每个图像块都根据是否为疾病进行分类(classified)，从而整个疾病图像块都可以标记为疾病。所述热图生成模块140可以生成如图6a所示的幻灯片热图。例如，所述热图生成模块140可以生成如图6b所示的热图。如图6b所示，以热图的形式将图像块级别诊断结果可视化，从而可使疾患部位显现出网格形状。
同时，所述组织掩模生成模块150可以在所述幻灯片上生成组织掩模图像。例如，所述组织掩模生成模块150可以生成如图6c所示的组织掩模图像。
所述组织掩模生成模块150生成组织掩模图像的方法具有以下特征。
更具体地进行如下说明。所述组织掩模生成模块150可以基于与所述幻灯片相对应的色调饱和度值(HSV)模型生成与所述幻灯片相对应的组织掩模图像。
在一个实施例中，所述组织掩模生成模块150可以在对应于所述幻灯片的S空间上执行图像二值化，以生成第1二值化结果。此时，所述幻灯片对应的S空间是由与所述幻灯片对应的HSV模型的饱和度值(Saturation)组成的空间。
所述组织掩模生成模块150可以利用大津阈值分割法(Otsu Threshholding)作为图像二值化方法。大津阈值分割法是一种应用于计算机视觉或图像处理领域的基于聚类的图像阈值化技巧。
此外，所述组织掩模生成模块150可以通过对与所述幻灯片相对应的空间“1-V”执行图像二值化来生成第2二值化结果。此时，所述幻灯片上对应的V空间是由所述幻灯片上对应的HSV模型的名义值(Value)组成的空间(即具有w×h的大小，V通道的值(名义值)组成的矩阵(w是图像的宽度，h是图像的高度))，1-V空间是大小为w×h的填满了1的矩阵中减去V通道的值的空间。
另一方面，所述组织掩膜生成模块150可基于所述第1二值化结果和所述第2二值化结果生成与所述幻灯片相应的组织掩膜图像。
所述第1二值化结果和所述第2二值化结果可以包含对应于所述幻灯片的每个像素相对应的二进制值(例如0或1或者是0或255)，所述组织掩模生成模块150对应于所述幻灯片的每个像素，对应于所述像素的第1二值化结果的二进制值或与所述像素相对应的第1二值化结果的二进制值为1(或255)时，所述像素相对应的组织掩膜图像上的像素可判断为组织像素(该组织的像素)，否之(即当二进制值为0时)所述像素相对应的组织掩膜图像上的像素可判断为非组织像素(非该组织的像素)，由此可以生成与所述幻灯片对应的组织掩模图像。综上所述，所述组织掩膜生成模块150可以通过S空间的图像二值化结果和对1-V空间的图像二值化结果的逻辑求和演算来生成组织掩膜图像。
另一方面，所述可视化模块160可基于所述图像块级别热图图像和所述组织掩膜图像生成与所述幻灯片对应的疾病诊断可视化图像。例如，所述可视化模块160可以生成疾病诊断可视化图像，如图6d中所示。
在一个实施例中，所述可视化模块160可以将条件随机场(Conditional RandomField)应用于所述图像块级别热图图像和所述组织掩膜图像，从而生成与所述幻灯片相对应的疾病诊断可视化图像。特别是，所述条件随机场的标签数为2，其特征是将所述图像块级别热图图像中包含的像素中阈值以下的像素转换为0。
更为详细的说明如下。
所述可视化模块160可以输入原始组织图像(即幻灯片或图像块)、所述组织掩膜生成模块150生成的组织掩膜图像和所述热图生成模块140生成的所述图像块级别热图图像。从每个输入值的大小来看，原来的组织图像是RGB 3通道，因此大小为w×h×3，组织掩膜图像的大小为w×h，图像块级别热图图像也为w×h。另一方面，所述可视化模块160可以将w×h的图像块级别热图图像转换为w×h×2。此时，w×h×[0]上包含原始图像块级别的热图图像，w×h×[1]上包含1-图像块级别热图图像的每个像素值。之后，对DMEN＝3取softmax函数，每个像素构成显现疾病(例如前列腺癌)的概率空间，根据这一概率，CRF算法会影响实际组织图像的形状并使其变形，从而使疾病图像可视化，以符合实际组织的形状。
特别是，在本发明的一个优选实施例中，所述组织掩膜生成模块150通过S空间的图像二值化结果和对1-V空间的图像二值化结果的逻辑求和运算，同时应用组织掩膜图像的生成方法和条件随机场(Conditional Random Field)的方法，可以非常准确地可视化幻灯片上诊断为疾病的部分。
将最终可视化结果的一个例子图6d和格子形状的热图-图6b进行比较，可以看出，图6d的形状更加模糊。
另一方面，本发明技术思想涉及的诊断结果可视化方法也可适用于以图像块为单位得出诊断结果的一般分类方法的诊断结果。在图像块单元一般分类的情况下，即使不是组织的部分也显示为疾病(见图6a)，但通过应用本发明技术思想涉及的诊断结果可视化方法，只有被诊断为疾病的组织部分才会与其他部分明确区分开来。
另一方面，本说明书主要说明了本发明技术思想适用于前列腺癌的一个例子，但对于其他疾病也有必要运用本发明的技术思想，不仅要考虑特定组织，同时还需要考虑到该组织的周围组织的状态来对所述特定组织进行诊断，从而可进行更准确的诊断并使诊断结果可视化，这一点本发明技术领域的普通专家可以很容易地推断出来。
另一方面，根据实施例，所述诊断系统100可以包括处理器和存储由所述处理器所执行程序的内存。所述处理器可以包括单核CPU或多核CPU。内存可以包括高速随机访问内存，也可以包括非易失性内存，如一个或多个磁光盘存储设备、闪存装备或其他非易失性固态内存设备。处理器和其他组件对内存的访问可以由内存控制器控制。
另一方面，通过本发明的实施例涉及的神经网络的诊断方法可以以计算机可读的程序命令的形式实现，并存储在计算机可读的记录介质中，本发明的实施例涉及的控制程序和目标程序也可以存储在计算机可读的记录介质中。计算机可读的记录介质包括存储计算机系统可读数据的所有类型的记录设备。
记录在记录介质上的程序命令可能是专门为本发明设计和配置的，也可能是软件领域的业内人士都知道并使用的。
计算机可读记录介质例如硬盘、软盘和磁带之类的磁性介质(magnetic media)、诸如CD-ROM和DVD之类的光学介质(optical media)、诸如软盘(floptical disk)等光磁介质(magneto-optical media)、诸如储存并执行ROM、RAM、闪存等程序命令的特别配置的硬件装置。此外，计算机可读的记录介质分散在联网的计算机系统中，可以以分布式方式存储和运行计算机可读的代码。
程序命令的例子不仅包括编译器创建的机器语言代码，还包括使用解释器等以电子方式处理信息的设备，例如计算机可以执行的高级语言代码。
所述硬件设备可以配置为一个或多个软件模块来执行本发明的运作，反之同样如此。
本发明的前述说明仅用于举例说明，具备本发明所属技术领域常规知识的人可以理解，在不改变本发明的技术思想或本质特征的情况下，可以轻易地更改为其他具体形式。因此，以上所述各实施例应该理解为从各方面来说都只是例子，并不限定于此。例如，描述为单一形式的各个组件可以分开实施，同样，描述为分散的各组件也可以在组合的形式下实施。
本发明的范围如后述的专利权利请求范围所示，并不通过上述详细说明体现出来，专利权利要求范围的意义和范围以及从其统一概念导出的所有改变或变形的形式都应被解释为包含在本发明的范围内。
工业应用的可能性
本发明可应用于“基于神经网络诊断疾病的系统和方法”。

Claims (12)

1.一种诊断系统，其在包含处理器和存储神经网络的存储设备的系统中实现，在使用生物图像幻灯片和所述神经网络的疾病诊断系统，
所述诊断系统包括：
图像块神经网络，生成所述幻灯片分为预设大小的每个预设图像块是否存在疾病的图像块级别诊断结果；
热图生成模块，基于所述幻灯片中包含的多个图像块中的每个图像块的诊断结果，生成与所述幻灯片相对应的图像块级别的热图图像；
组织掩膜生成模块，基于与所述幻灯片相对应的HSV模型，生成与所述幻灯片相对应的组织掩膜图像；和
可视化模块，基于所述图像块级热图图像和所述组织掩膜图像生成与所述幻灯片对应的疾病诊断可视化图像的的诊断系统。
2.根据权利要求1所述的诊断系统，
所述组织掩膜生成模块，
对与所述幻灯片相对应的S空间执行图像二值化，生成第1二值化结果(这里与所述幻灯片相对应的S空间是与所述幻灯片相对应的HSV模型的饱和度值(Saturation)空间)，
对与所述幻灯片相对应的1-V空间执行图像二值化，生成第2二值化结果(这里与所述幻灯片相对应的V空间是与所述幻灯片相对应的HSV模型的名义值(Value)空间)，
基于所述第1二值化结果和所述第2二值化结果，生成与所述幻灯片对应的组织掩膜图像。
3.根据权利要求2所述的诊断系统，
所述第1二值化结果和所述第2二值化结果包含对应于所述幻灯片的每个像素的二进制值(这里，所述二进制值为0或1)，
所述组织掩模生成模块，针对所述幻灯片的每个像素，
当所述像素对应的第1二值化结果的二进制值或所述像素相对应的第1二值化结果的二进制值为1时，可判断与所述像素相对应的组织掩膜图像上的像素为组织像素，否之，则判断与所述像素相对应的组织掩膜图像上的像素是非组织像素。
4.根据权利要求1所述的诊断系统，
所述可视化模块，将条件随机场应用于所述图像块级别热图图像和所述组织掩模图像以生成对应于所述幻灯片的疾病诊断可视化图像。
5.根据权利要求4所述的诊断系统，其特征在于，
所述条件随机场是标签的个数为2，将所述图像块级别热图图像中包含的像素中低于阈值的像素转换为0。
6.根据权利要求1所述的诊断系统，其特征在于，所述疾病为前列腺癌。
7.一种方法，其在包含处理器和存储装置的系统中实现，使用生物图像和神经网络的疾病诊断系统所执行的方法包括：
诊断步骤，所述诊断系统基于所述神经网络生成所述幻灯片被分割成预设大小的每个预设图像块是否存在疾病的图像块级别诊断结果；
热图图像生成步骤，所述诊断系统基于所述幻灯片中包含的多个图像块各自的诊断结果，生成与所述幻灯片相对应的图像块级别的热图图像；
组织掩膜生成阶段，所述诊断系统基于与所述幻灯片相对应的HSV模型，生成与所述幻灯片相对应的组织掩膜图像；和
可视化步骤，所述诊断系统基于所述图像块级别热图图像和所述组织掩膜图像生成与所述幻灯片对应的疾病诊断可视化图像。
8.根据权利要求6所述的方法，
所述组织掩膜的生成步骤包括：
对与所述幻灯片相对应的S空间执行图像二值化以生成第1二值化结果的步骤(这里，与所述幻灯片相对应的S空间是与所述幻灯片相对应的HSV模型的饱和度值(Saturation)空间)；
对与所述幻灯片相对应的`1-V空间执行图像二值化，以生成第2二值化结果(这里，与所述幻灯片相对应的V空间是与所述幻灯片相对应的HSV模型的名义值(Value)空间)；和
基于所述第1二值化结果和所述第2二值化结果，生成与所述幻灯片相对应的组织掩膜图像的步骤。
9.根据权利要求8所述的方法，包括：
所述第1二值化结果和所述第2二值化结果包含与所述幻灯片中的每个像素相对应的二进制值(这里所述二进制值为0或1)，
基于所述第1二值化结果和所述第2二值化结果，生成与所述幻灯片对应的组织掩膜图像的步骤，
对于所述幻灯片的各像素，
与所述像素对应的第1二值化结果的二进制值或与所述像素对应的第1二值化结果的二进制值为1时，判断与所述像素对应的组织掩膜图像上的像素是组织像素，否之，则判断与所述像素对应的组织掩膜图像上的像素是非组织像素的步骤。
10.根据权利要求6的方法，包括：
所述可视化步骤包括
将条件随机场应用于所述图像块级别热图图像和所述组织掩膜图像，从而生成与所述幻灯片相对应的疾病诊断可视化图像的步骤。
11.根据权利要求10所述的方法，其特征在于，
所述条件随机场，标签的个数为2，所述图像块级别热图图像中包含的像素中低于特定阈值的像素转换为0。
12.一种计算机存储介质，安装在数据处理装置上，其用于记录执行权利要求6至权利要求8中任何一项所述的方法的计算机程序。
CN201980052666.2A 2018-08-07 2019-08-07 基于神经网络的疾病诊断系统和方法 Pending CN112740335A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180092011A KR102185893B1 (ko) 2018-08-07 2018-08-07 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
KR10-2018-0092011 2018-08-07
PCT/KR2019/009844 WO2020032559A2 (ko) 2018-08-07 2019-08-07 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법

Publications (1)

Publication Number Publication Date
CN112740335A true CN112740335A (zh) 2021-04-30

Family

ID=69413822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980052666.2A Pending CN112740335A (zh) 2018-08-07 2019-08-07 基于神经网络的疾病诊断系统和方法

Country Status (7)

Country Link
US (1) US20210304405A1 (zh)
EP (1) EP3819912B1 (zh)
JP (1) JP2021533470A (zh)
KR (1) KR102185893B1 (zh)
CN (1) CN112740335A (zh)
ES (1) ES2969065T3 (zh)
WO (1) WO2020032559A2 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116324874A (zh) * 2020-11-06 2023-06-23 威里利生命科学有限责任公司 对前列腺癌预后的人工智能预测
KR102246319B1 (ko) * 2021-01-07 2021-05-03 주식회사 딥바이오 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
KR20220114351A (ko) * 2021-02-08 2022-08-17 전남대학교산학협력단 Ppg 기반 스펙트로그램 및 cnn에 기반하는 통증 평가 방법 및 장치
KR102517326B1 (ko) * 2021-02-08 2023-04-05 전북대학교산학협력단 다중분광 영상에 기반을 둔 산림 병해충 탐지 장치
KR102430796B1 (ko) * 2022-03-14 2022-08-09 주식회사 딥바이오 딥러닝 모델의 분산 훈련을 위한 전체 슬라이드 이미지 분배 방법 및 이를 수행하는 컴퓨팅 시스템
KR102642137B1 (ko) * 2022-08-08 2024-03-06 한국과학기술원 딥 러닝 모델의 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140233826A1 (en) * 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN107492099A (zh) * 2017-08-28 2017-12-19 京东方科技集团股份有限公司 医学图像分析方法、医学图像分析系统以及存储介质
CN107609503A (zh) * 2017-09-05 2018-01-19 刘宇红 智能癌变细胞识别系统及方法、云平台、服务器、计算机
US20180114317A1 (en) * 2016-10-21 2018-04-26 Nantomics, Llc Digital histopathology and microdissection

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4777024B2 (ja) * 2005-09-06 2011-09-21 キヤノン株式会社 画像処理装置および画像処理装置の制御方法
KR101590483B1 (ko) * 2013-11-25 2016-02-01 조선대학교산학협력단 형태학적 연산을 이용한 이미지 분할 처리방법
US10417525B2 (en) 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
US20160358069A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Neural network suppression
US10839510B2 (en) * 2015-08-19 2020-11-17 Colorado Seminary, Which Owns And Operates The University Of Denver Methods and systems for human tissue analysis using shearlet transforms
US20170215728A1 (en) * 2016-02-01 2017-08-03 University Of Washington Applanation tonometer
US9589374B1 (en) * 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
KR101944536B1 (ko) * 2016-12-11 2019-02-01 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
US11379688B2 (en) * 2017-03-16 2022-07-05 Packsize Llc Systems and methods for keypoint detection with convolutional neural networks
CN108230257A (zh) * 2017-11-15 2018-06-29 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140233826A1 (en) * 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
US20180114317A1 (en) * 2016-10-21 2018-04-26 Nantomics, Llc Digital histopathology and microdissection
CN107492099A (zh) * 2017-08-28 2017-12-19 京东方科技集团股份有限公司 医学图像分析方法、医学图像分析系统以及存储介质
CN107609503A (zh) * 2017-09-05 2018-01-19 刘宇红 智能癌变细胞识别系统及方法、云平台、服务器、计算机

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AUDREY G. CHUNG: "Prostate Cancer Detection via a Quantitative Radiomics-Driven Conditional Random Field Framework", IEEE ACCESS, pages 2531 - 2541 *
CLARA, MOSQUERA-LOPEZ;SOS, AGAIAN;ALEJANDRO, VELEZ-HOYOS;IAN, THOMPSON: "Computer-Aided Prostate Cancer Diagnosis From Digitized Histopathology: A Review on Texture-Based Systems.", IEEE REVIEWS IN BIOMEDICAL ENGINEERING, vol. 8, pages 1 - 17 *

Also Published As

Publication number Publication date
JP2021533470A (ja) 2021-12-02
WO2020032559A3 (ko) 2020-03-26
KR102185893B1 (ko) 2020-12-02
US20210304405A1 (en) 2021-09-30
EP3819912C0 (en) 2023-10-18
KR20200016658A (ko) 2020-02-17
EP3819912A4 (en) 2022-05-04
EP3819912B1 (en) 2023-10-18
WO2020032559A2 (ko) 2020-02-13
ES2969065T3 (es) 2024-05-16
EP3819912A2 (en) 2021-05-12

Similar Documents

Publication Publication Date Title
CN112740335A (zh) 基于神经网络的疾病诊断系统和方法
CN110366759B (zh) 用神经网络诊断疾病的系统及其方法
KR102236948B1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
KR102174379B1 (ko) 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
JP7146300B2 (ja) ツーフェーズ疾病診断システム及び該方法
Alnussairi et al. Malaria parasite detection using deep learning algorithms based on (CNNs) technique
JP7299658B2 (ja) ニューラルネットワーク及び非局所的ブロックを用いてセグメンテーションを行う疾病診断システム及び方法
CN112567466A (zh) 诊断结果生成系统及其方法
JP6345332B1 (ja) 分類装置、分類方法、プログラム、ならびに、情報記録媒体
JP7152810B2 (ja) 多色モデル及びニューラルネットワークを用いた疾病診断システム及び方法
KR102304609B1 (ko) 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템
KR102226897B1 (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
JP2023535144A (ja) 多相の生体画像を用いて学習されたニューラルネットワークを用いた疾患診断方法、およびそれを行う疾患診断システム
JP7430025B2 (ja) 半教師あり学習を用いて疾患の発症領域に対するアノテーションを行うための方法、およびそれを行う診断システム
Ng et al. Medical Image Recognition: An Explanation and Hands-On Example of Convolutional Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination