CN112567474B - 利用多重颜色模型和神经网络的疾病诊断系统和方法 - Google Patents

利用多重颜色模型和神经网络的疾病诊断系统和方法 Download PDF

Info

Publication number
CN112567474B
CN112567474B CN201980053724.3A CN201980053724A CN112567474B CN 112567474 B CN112567474 B CN 112567474B CN 201980053724 A CN201980053724 A CN 201980053724A CN 112567474 B CN112567474 B CN 112567474B
Authority
CN
China
Prior art keywords
image block
disease
slide
image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980053724.3A
Other languages
English (en)
Other versions
CN112567474A (zh
Inventor
李尚勋
金善禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
One Hundred Euro Ltd
Original Assignee
One Hundred Euro Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by One Hundred Euro Ltd filed Critical One Hundred Euro Ltd
Publication of CN112567474A publication Critical patent/CN112567474A/zh
Application granted granted Critical
Publication of CN112567474B publication Critical patent/CN112567474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明揭示一种系统及其方法，所述系统及方法通过神经网络进行学习，从而利用经过学习的神经网络，以不同的多种颜色模型将生物体组织的图像进行输入，以此诊断预定的疾病(例如前列腺癌)。根据本发明的一个方面，作为在包括处理器和存储神经网络的存储装置的系统中实现，并使用生物体图像即幻灯片和所述神经网络的疾病诊断系统，所述系统包括：预处理模块，所述预处理模块对于通过将所述幻灯片按预定大小分割而形成的各个图像块，生成对应于所述图像块的第1图像信息至第K图像信息(其中，K为2或更大的整数)‑此处，第i图像信息(i为1<＝i<＝K的任意整数)由与第i颜色模型(color model)相对应的至少一个通道值组成，并且第1颜色模型至第K颜色模型都是不同的颜色模型；以及图像块神经网络，所述图像块神经网络对于所述每个分割的图像块，接收与所述图像块相对应的所述第1图像信息至第N图像信息作为输入层，输出所述图像块是否存在疾病的图像块级别诊断结果。

Description

利用多重颜色模型和神经网络的疾病诊断系统和方法
技术领域
本发明涉及一种利用多重颜色模型和神经网络的疾病诊断系统和方法。更详细地涉及一种系统及其方法，所述系统及其方法能够通过使神经网络进行学习，利用经过学习神经网络，通过以不同颜色模型的形式输入生物组织的图像来诊断预定疾病(例如前列腺癌)。
背景技术
病理学或病理科执行的主要任务之一是读取患者的生物体图像并执行诊断以确定特定疾病的状态或症状。这种诊断是一种取决于医务人员的长期熟练的经验的方法。
近年来，由于机器学习的发展，正在积极尝试通过使用计算机系统将诸如图像识别或分类等任务自动化。特别地，正在尝试使用机器学习的一种即神经网络(例如，使用卷积神经网络(Convolution neurla network，CNN)的深度学习方法)来把以往通过熟练的医务人员执行的诊断自动化。
特别地，通过使用神经网络(例如，CNN)的深度学习进行诊断并不是简单地使熟练的医务人员的经验和知识自动化，而是可以通过自学发现特征元素以得出所需的答案，因此，在某些情况下，反而在图像中发现了经验丰富的医务人员不了解的疾病因素的特征。
通常，使用生物体图像通过神经网络来诊断疾病，会使用一个生物体图像的分块，即图像块(patch)(也称为瓦片(tile))。即，对于相关瓦片，经验丰富的医务人员将特定疾病的状态(例如，是否表达了癌症)进行注解(annotation)，并使用注解的多个瓦片作为训练数据来使神经网络进行学习。此时，所述神经网络可以是卷积神经网络。
但是，在这种方式下，经过学习的神经网络仅根据相关瓦片的图像特征来判断相关瓦片的疾病状态，而实际上，在对特定疾病判断特定生物体组织的状态时，不仅要考虑所述特定生物体组织本身，还要考虑所述特定生物体组织的周围组织的状态(例如，形状、特定模式是否存在等)。但是，传统的方式存在不适用于这种情况的问题。
另一方面，在传统的学习中，将生物体图像或图像块的颜色本身作为输入数据进行输入。也就是说，当生物体图像或图像块为RGB形式时，定义为RGB的三个通道值的输入数据将被直接利用。
但是，在这种情况下，根据与生物体图像相对应的生物体组织染色所用的染色试剂的特性，染色组织的颜色可能会各不相同，这将直接影响到接受学习的神经网络。
因此，可能有必要以更强劲的方式来让神经网络学习，以应对不是根源性的组织的图像特征的、由于染色而引起的非根源的颜色特征。
现行技术文献
专利文献
韩国公开专利10-2016-0034814“具有神经网络的客户端设备和包括该客户端设备的系统”
发明内容
技术课题
本发明所要实现的技术性课题是提供一种利用神经网络的诊断系统及其方法，所述诊断系统及其方法，利用多重颜色模型，在诊断疾病的表达与否上，对非根本性图像特性的颜色具有强劲特性。
另外，本发明要实现的技术课题是提供一种利用神经网络的诊断系统及其方法，为了确定特定瓦片的疾病状态(例如，疾病是否表达，或者显示疾病状态的指标等)，学习中不仅利用所述特定瓦片，而且利用周围的瓦片以进一步提高准确率。
另外，提供一种诊断系统及其方法，不是利用每个图像块诊断结果本身，而是利用所述图像块诊断结果，对于包括所述图像块的较大范围的生物体组织的疾病表达与否进行有效和高准确度的诊断。
技术解决方法
根据本发明的一个方面，提供一种疾病诊断系统，作为在包括处理器和存储神经网络的存储装置的系统中实现，并使用生物体图像即幻灯片和所述神经网络的疾病诊断系统，所述系统包括预处理模块，所述预处理模块对于通过将所述幻灯片按预定大小分割而形成的各个图像块，生成对应于所述图像块的第1图像信息至第K图像信息(其中，K为2或更大的整数)-此处，第i图像信息(i为1<＝i<＝K的任意整数)由与第i颜色模型(colormodel)相对应的至少一个通道值组成，并且第1颜色模型至第K颜色模型都是不同的颜色模型-以及图像块神经网络，所述图像块神经网络对于所述每个分割的图像块，接收与所述图像块相对应的所述第1图像信息至第N图像信息作为输入层，输出所述图像块是否存在疾病的图像块级别诊断结果。
在一个实施例中，所述第1颜色模型至第K颜色模型，其特征在于可以分别是RGB模型、HSV模型、CMYK模型、YCbCr模型、灰色(Gray)模型中的任何一种。
在一个实施例中，所述系统还可以包括幻灯片诊断引擎，所述幻灯片诊断引擎根据所述幻灯片中包括的多个图像块的每个图像块级别诊断结果，标记被判断为癌症的图像块，并且基于标记结果，输出所述幻灯片是否存在疾病的幻灯片级别诊断结果。
在一个实施例中，所述幻灯片诊断引擎，其特征在于，以预定方式对判断为癌症的图像块进行群集处理，形成多个群集，对每个形成的群集接收多个群集特征作为输入值，输出包含所述群集的所述幻灯片的所述幻灯片级别诊断结果。
在一个实施例中，所述疾病，其特征在于可以是前列腺癌。
根据本发明的另一个方面，提供一种疾病诊断系统，作为在包括处理器和存储神经网络的存储装置的系统中实现，并使用生物体图像即幻灯片和所述神经网络的疾病诊断系统，所述系统包括图像块神经网络，所述图像块神经网络对于通过将所述幻灯片按预定大小分割而形成的各个图像块，接收与所述图像块相对应的所述第1图像信息至第K图像信息作为输入层，输出所述图像块是否存在疾病的图像块级别诊断结果；以及幻灯片诊断引擎，所述幻灯片诊断引擎根据所述幻灯片中包括的多个图像块的每个图像块级别诊断结果，标记被判断为癌症的图像块，并且基于标记结果，输出所述幻灯片是否存在疾病的幻灯片级别诊断结果，所述第i图像信息(i为1<＝i<＝K的任意整数)由与第i颜色模型(colormodel)相对应的至少一个通道值组成，并且第1颜色模型至第K颜色模型都是不同的颜色模型。
根据本发明的另一个方面，提供一种疾病诊断方法，作为在包括处理器和存储神经网络的存储装置的系统中实现，并使用生物体图像即幻灯片和所述神经网络的疾病诊断方法，包括所述系统对于通过将所述幻灯片按预定大小分割而形成的各个图像块，生成对应于所述图像块的第1图像信息至第K图像信息(其中，K为2或更大的整数)的步骤-此处，第i图像信息(i为1<＝i<＝K的任意整数)由与第i颜色模型(color model)相对应的至少一个通道值组成，并且第1颜色模型至第K颜色模型都是不同的颜色模型-以及对于所述每个分割的图像块，接收与所述图像块相对应的所述第1图像信息至第N图像信息作为输入层，输出所述图像块是否存在疾病的图像块级别诊断结果的步骤。
在一个实施例中，所述第1颜色模型至第K颜色模型，其特征在于可以分别是RGB模型、HSV模型、CMYK模型、YCbCr模型、灰色(Gray)模型中的任何一种。
在一个实施例中，所述疾病诊断方法还可以包括：所述系统根据所述幻灯片中包括的多个图像块的每个图像块级别诊断结果，标记被判断为癌症的图像块，并且基于标记结果，输出所述幻灯片是否存在疾病的幻灯片级别诊断结果的步骤。
在一个实施例中，所述疾病诊断方法的特征在于，所述输出幻灯片级别诊断结果的步骤包括以预定方式对判断为癌症的图像块进行群集处理，形成多个群集的步骤；以及对每个形成的群集接收多个群集特征作为输入值，输出包含所述群集的所述幻灯片的所述幻灯片级别诊断结果的步骤。
根据本发明的另一个方面，提供一种疾病诊断方法，作为在包括处理器和存储神经网络的存储装置的系统中实现，并使用生物体图像即幻灯片和所述神经网络的疾病诊断方法，包括所述系统对于通过将所述幻灯片按预定大小分割而形成的各个图像块，接收对应于所述图像块的所述第1图像信息至第K图像信息作为输入层，输出所述图像块是否存在疾病的图像块级别诊断结果的步骤；以及根据所述幻灯片中包括的多个图像块的每个图像块级别诊断结果，标记被判断为癌症的图像块，并且基于标记结果，输出所述幻灯片是否存在疾病的幻灯片级别诊断结果的步骤，所述第i图像信息(i为1<＝i<＝K的任意整数)由与第i颜色模型(color model)相对应的至少一个通道值组成，并且第1颜色模型至第K颜色模型都是不同的颜色模型。
根据本发明的另一个方面，提供记录在媒介上的计算机程序，所述程序安装在数据处理装置上并用于执行所述方法。
发明的效果
根据本发明的技术思想，不仅利用输入的输入数据即相当于图像块的原色模型的颜色值(例如RGB 3通道值)，还进一步利用相当于其他颜色模型的通道值(例如，HSV 3通道值、灰色通道值等)作为输入数据，从而不仅能够很好地反映通过颜色差异显示的与疾病相关的图像特性，而且对于作为在疾病表达与否的诊断中不是根源性图像特性的颜色的多种因素而产生的变化(variaton)具有强劲的特性。
另外，根据本发明的技术思想，提供一种神经网络，所述神经网络在对特定图像块执行诊断时，通过考虑包括所述特定图像块，并且还包括周围图像块的宏观图像块，以判断所述特定图像块的疾病状态，从而具有更高的诊断准确度的效果。
此外，根据本发明的技术思想，为了解决仅根据图像块诊断结果本身就确定包含所述图像块的幻灯片已表达疾病时存在的问题，在包含所述图像块的幻灯片中，利用群集和群集的特征(features)重新判断疾病的表达情况，因此具有执行有效、高准确度诊断的效果。
附图说明
提供每个附图的简要描述以便更充分地理解在本发明的详细描述中引用的附图。
图1是表示根据本发明的技术思想，利用多重颜色模型及神经网络的疾病诊断系统的示意性系统构成的图。
图2是用于说明根据本发明的实施例，利用多重颜色模型及神经网络的疾病诊断系统的逻辑性构成的图。
图3是用于说明根据本发明的实施例，利用多重颜色模型及神经网络的疾病诊断系统的硬件构成的图。
图4是用于说明根据本发明的实施例的神经网络的示例性构成的图。
图5a及图5b是用于说明根据本发明的另一实施例的神经网络的示例性构成的图。
图6是用于说明根据本发明的实施例的两阶段疾病诊断方法的概念的图。
图7是示出根据本发明的一个实施例的图像块级别诊断方法的实验结果的图。
图8是示出根据本发明的一个实施例的图像块级别诊断结果的标记结果的图。
图9是示出根据本发明的一个实施例的幻灯片级别诊断方法的实验结果的图。
具体实施方式
本发明可以进行各种变形，可以具有各种实施方式，而在附图中示出了具体的实施方式，并在详细的说明中进行了详细说明。但是，这并不是要将本发明限于这些实施方式，而应理解为包括本发明的精神和技术范围内的所有转换、等同或替代。在描述本发明时，如果确定相关的已知技术的详细描述可能使本发明的主题不清楚，则将省略其详细描述。
诸如第1和第2的术语可以用于描述各种组件，但是这些组件不应受到这些术语的限制。这些术语仅用于将一个组件与另一个组件区分开的目的。
在本申请中使用的术语仅用于描述特定的实施例，而无意于限制本发明。除非上下文另外明确指出，否则单数表达包括复数表达。
在本说明书中，诸如“包括”或“具有”等的术语旨在表示说明书中所描述的特征、数字、步骤、动作、构成要素、部件或其组合的存在，但应当理解并不预先排除其他一个或多个特征、数字、步骤、动作、构成要素、部件或其组合的存在或增加的可能性。
另外，在本说明书中，当一个组件将数据“传输”到另一组件时，意味着该组件可以直接将所述数据传输到所述另一组件，或者通过至少一个其他组件将所述数据传输到所述另一组件。相反，当一个组件将数据“直接传输”到另一组件时，这意味着所述数据是从该组件没有通过其他组件而被传输到所述另一组件。
在下文中，将参考附图围绕本发明的实施例来详细描述本发明。各图中相同的附图代码表示相同的构件。
图1是表示根据本发明的技术思想，利用多重颜色模型及神经网络的疾病诊断系统的示意性系统构成的图。
参考图1，根据本发明的技术思想，利用多重颜色模型及神经网络的疾病诊断系统(以下简称诊断系统，100)可以安装在预定的服务器10上，以实现本发明的技术思想。所述服务器10是指具有用于实现本发明的技术思想的计算能力的数据处理设备，本领域普通技术人员将容易推断出服务器通常不仅可以被定义为客户端可通过网络访问的数据处理设备，还可以是诸如个人计算机和便携式终端等可执行特定服务的任何设备。
如图3所示，所述服务器10可以包括处理器11和存储装置12。所述处理器11可以指能够驱动实现本发明技术思想的程序12-1的运算装置，所述处理器11利用所述程序12-1和本发明技术思想定义的神经网络(Nerual Network，12-2)执行诊断。所述神经网络12-2，如随后将描述，还可以包括执行图像块级别诊断的图像块神经网络。所述图像块神经网络可以利用多重颜色模型执行图像块级别诊断。
使用多重颜色模型进行诊断，意味着通过接收相互都相同的多个颜色模型各自的通道值(或多个通道值)作为输入层来诊断疾病的存在与否。如果利用K个(其中K是2以上的整数)颜色模型即第1颜色模型至第K颜色模型，那么所述图像块神经网络可以接收分别与第1颜色模型至第K颜色模型相对应的通道值作为输入层。例如，如果使用RGB颜色模型、HSV颜色模型和灰色模型，所述图像块神经网络可以接收RGB 3通道、HSV通道和灰色通道。
根据本发明的实施例，利用多重颜色模型的图像块级别诊断中，可以使用RGB模型、HSV模型、CMYK模型、YCbCr模型、灰色(Gray)模型中的至少一部分。
根据实施例，所述神经网络12-2还可以包括执行幻灯片级别诊断的神经网络。根据实施例，执行所述幻灯片级别诊断的配置不仅可以通过神经网络实现，还可以通过多种机器学习技术实现。根据本发明的技术思想，执行所述幻灯片级诊断的诊断引擎使用了已知的极端梯度提升(XGBoost)，但可以根据多种方式的机器学习技术来实现诊断引擎，并且这些诊断引擎可以存储在所述存储装置12中。
如图3所示，所述服务器10可以包括处理器11和存储装置12。所述处理器11可以指能够驱动实现本发明技术思想的程序12-1的运算装置，所述处理器11利用所述程序12-1和本发明技术思想定义的神经网络(Nerual Network，12-2)执行诊断。所述神经网络12-2，如随后将描述，还可以包括执行图像块级别诊断的图像块神经网络。根据实施例，所述神经网络12-2还可以包括执行幻灯片级别诊断的神经网络。根据实施例，执行所述幻灯片级别诊断的配置不仅可以通过神经网络实现，还可以通过多种机器学习技术实现。根据本发明的技术思想，执行所述幻灯片级诊断的诊断引擎使用了已知的极端梯度提升(XGBoost)，但可以根据多种方式的机器学习技术来实现诊断引擎，并且这些诊断引擎可以存储在所述存储装置12中。
所述存储装置12可以是指能够存储所述程序12-1、神经网络12-2、和/或执行幻灯片级别诊断的诊断引擎的数据存储手段，并且可以根据实施例以多种存储手段来实现。另外，所述存储装置12不仅可以指所述服务器10中包括的主存储装置，还可以指包含所述处理器11中可以包括的临时存储装置或存储器等。
尽管所述诊断系统100在图1或图3中被示为以某一个物理设备来实现，但是本发明技术领域的普通专家能够容易地推断出根据需要本发明的技术思想的诊断系统100可以通过有机地组合多个物理设备来实现。
在本说明书中，所述诊断系统100执行诊断可以指接收表现生物体组织的生物体图像即接收幻灯片的全部或作为所述幻灯片的一部分的图像块，并输出在本说明书中定义的输出数据的一系列处理。
根据一个示例，所述诊断系统100可以执行两阶段(two phase)诊断。第1阶段可以是执行图像块级别诊断的过程，在此过程中，所述诊断系统100可以按幻灯片上的图像块接收输入，并在输出在相关图像块上的疾病表达与否。显然，神经网络可以进行学习从而实现所述过程。
第2阶段可以通过第1阶段的诊断结果输出在幻灯片上的疾病表达与否。这样的过程可以使用神经网络或预定的机器学习技术。
也就是说，根据图像块的诊断结果，即使部分图像块被判定为表达了疾病，但在包含该图像块的整个幻灯片上，也有可能不被判定为表达了疾病。例如，被判定为表达疾病的图像块在幻灯片中分散开来，或数量少的情况，或者密集度等被判定为表达疾病的图像块的其他物理特性(例如位置、大小、密集度等)在实际对应的幻灯片上对判断疾病是否表达可能具有重要意义。因此，第2阶段可以根据图像块诊断结果和基于这些诊断结果判断的图像块(即被诊断为表达疾病的图像块)的特性，来判断幻灯片上疾病表达与否，从而可以执行有效且高准确度的诊断。
另一方面，执行图像块级别诊断的神经网络，根据本发明的技术思想，不是仅利用对应图像块执行诊断，而是还可以进一步考虑该图像块的周围图像块来执行诊断。这些技术思想曾在本申请人申请的韩国专利申请(申请编号10-2016-0168176，利用神经网络的疾病诊系统及其方法，以下简称“先前的申请”)中详细揭示。因此，与仅考虑非常分支的区域即与图像块相对应的领域执行诊断相比，同时考虑其周围区域进行诊断时，可以提高诊断的准确率。而且，根据本发明的技术思想，不仅在特定图像块的周围图像块上，而且在整个幻灯片上，进一步考虑图像块的位置、密集度和群集的大小等物理特性，因此可以具有更准确地判断幻灯片上是否存在疾病的效果。先前的申请作为本发明的参考资料包括在内，其内容可视为在本说明书中也被记载。
显然，根据本发明的其他实施例，可以使用单向(one-way)神经网络，而不是像先前的申请一样使用微观网络和宏观网络，即双向(two-way)方式的神经网络。例如，根据本发明的实施例的神经网络可以如图5所示。
在任何情况下，所述神经网络只要被定义为接收图像块后，输出被输入的图像块上是否表达疾病就足够了。
此时，所述神经网络的特点是，学习接收与各图像块相应的多个颜色模型的各通道值作为输入值来进行诊断。
如果K个(K是2以上的整数)的颜色模型即第1颜色模型至第K颜色模型被使用，那么可以训练所述神经网络通过分别接收第1颜色模型至第K颜色模型各自对应的通道值(或多个通道值)进行诊断。换句话来说，可以训练所述神经网络针对各个图像块接收与所述图像块相对应的第1图像信息至第K图像信息作为输入层，输出所述图像块是否存在疾病的图像块疾病诊断结果，其中所述第i图像信息(i为1<＝i<＝K的任意整数)由与第i颜色模型相对应的至少一个通道值组成。
另一方面，执行图像块级别诊断的神经网络输出的状态信息可以是显示所述图像块对应组织是否表达了特定疾病(例如，特定种类的癌症)的概率的信息。出现特定标准值(门槛值)以上的概率时，所述神经网络可以将所述图像块判断为表达疾病(例如前列腺癌)的图像块。
当然，如先前的申请所揭示，所述神经网络输出的状态信息不仅可以指是否表达特定疾病的信息，而且还可以指特定疾病的进展程度的信息(或与所述进展程度相对应的概率)。例如，当将本发明的技术思想用于前列腺癌的诊断时，表示前列腺癌进展程度的指标的格里森模式(Gleason Pattern)或格里森评分(Gleason Score)可以包含在所述神经网络输出的状态信息中。例如，格里森评分的值为2到5，数值越大表示前列腺癌的表达程度越严重。因此，所述状态信息可以是与作为诊断对象的图像块相对应的生物体组织对应于格里森评分的特定值(例如3、4或5)的概率。
所述状态信息可以有多个。例如，第1状态信息可以是格里森评分为3的概率，第2状态信息可以是格里森评分为4的概率，第3状态信息可以是格里森评分为5的概率，与这些第1状态信息、第2状态信息和第3状态信息相对应的状态通道都可以在所述输出层定义。根据实施例，可能会定义为表示格利森评分具有一定范围(例如，3至5、4至5等)的概率的状态信息。也就是说，一个状态信息可以对应于表达疾病进展情况的多个指标。
在这种情况下，如果格利森评分为3以上的状态信息超过预定的门槛值，所述神经网络则可以判断所述图像块是疾病图像块，即疾病表达的图像块。
另一方面，所述神经网络利用的门槛值可以以多种方式设置。根据实施例，可以使用多个门槛值。当然，根据不同的门槛值，特定的图像块可以被判定为疾病表达的图像块即疾病图像块，也可以被判定为正常图像块。
根据本发明的技术思想，所述神经网络利用的门槛值可能是多个，在这种情况下，根据多个门槛值中的每个值，诊断出的疾病图像块可能会有所不同。因此，根据门槛值的不同，疾病图像块在幻灯片上的配置特性也会有所不同。因此，在使用某些门槛值时，幻灯片上的诊断结果的准确度也会有所不同。
因此，如随后所述，本发明的技术思想可实现为，根据多个门槛值中的每个值，对诊断出的疾病图像块在幻灯片上的物理特性进行多重考虑，从而使幻灯片诊断引擎执行幻灯片的诊断。这些技术思想将在后面描述。
当所述诊断系统100被包括在预定服务器10中并被实现时，所述诊断系统100可以与可访问所述服务器10的至少一个客户端(例如20、20-1)进行通信。在这种情况下，所述客户端(例如20、20-1)可以将生物体图像发送到所述诊断系统100，并且所述诊断系统100可以根据本发明的技术思想对所发送的生物体图像执行诊断。并且也可以将诊断结果发送给所述客户端(例如20、20-1)。
所述诊断系统100可以利用根据本发明技术思想的神经网络执行图像块级别诊断。当然，为了执行这种诊断，可以先执行所述神经网络的学习过程。在训练神经网络的过程中也可以利用所述多重颜色模型。
另外，如前所述，幻灯片级别诊断也同样，可以利用预定的神经网络。
因此，所述诊断系统100可以是从外部源接收根据本发明的技术思想而学习的神经网络和利用所述神经网络来进行诊断的程序来执行诊断的系统，并且也可以是执行所述神经网络的学习过程的系统。另外，所述诊断系统100可以不是通用的数据处理装置而可以是为了实现本发明的技术思想而制作的专用装置，在这种情况下，还可以设置用于扫描生物体图像的装置。
如先前的申请中所揭示，所述神经网络所具有的特征是，为了执行特定图像块的诊断，不是仅仅考虑所述特定图像块的图像，还考虑与所述特定图像块相邻的至少一个图像块的图像，以此来执行所述特定图像块的诊断。通过这样的技术思想所具有的效果是，实际上为了诊断特定图像块相对应的生物体组织，疾病诊断不仅考虑生物体组织本身，还要考虑所述生物体组织的周围组织，从而具有使其准确度提高到有意义的水平的效果。另外，当把生物体组织分割成多个图像块时，对于根据图像块的分割方式或分割的区域是生物体组织的什么位置而对诊断结果产生的影响，具有强劲的效果。
当然，如上所述，所述神经网络可能不具有先前的申请中所揭示的特征，在任何情况下，所述神经网络都可以是学习根据每个图像块进行诊断的神经网络。
这时，所述神经网络与以往不同，对于图像块中包含的每个像素，可以接收各个多重颜色模型的通道值作为输入值。也就是说，所述神经网络除了由图像块的原色模型定义的原始通道值外，还可以多接收一个或多个额外的颜色模型定义的通道值(或多个通道值)。例如，所述神经网络根据各个图像块接收输入时，接收与所述图像块中包含的像素的原色模型的各通道值(例如，RGB 3通道)的同时，可以接收额外的颜色模型的各通道值(例如，灰色通道值、HSV 3通道值、CMYK 4通道值和/或YCbCr 3通道值等)。
在这种情况下，当生物体图像的颜色因与疾病相关的图像特性无关的因素(例如，诊断机构的特性、染色试剂等)而发生变化时，本发明具有强劲的效果。另外，将一个图像用多种颜色模型来表现，将其全部利用，从而反映出与疾病相关的图像特性时，有更好地反映这些重要信息的优点。
为了实现这种技术思想，所述诊断系统100逻辑上可以具有与图2相同的构成。
图2是用于说明根据本发明的实施例，利用神经网络的疾病诊断系统的逻辑性构成的图。
参照图2，所述诊断系统100包括控制模块110和存储所述神经网络和/或幻灯片诊断引擎的诊断模块120。另外，所述诊断系统100还可以包括预处理模块130。根据本发明的实施例，所述组成要素中的一些构成要素可能不一定属于本发明实施所必需的构成要素，并且根据实施例，所述诊断系统100可能包含更多的构成要素。例如，所述诊断系统100还可以包括用于与所述客户端(例如，20,20-1)通信的通信模块(未示出)。
所述诊断系统100可以指包括实现本发明的技术思想所必需的硬件资源(resource)和/或软件的逻辑性构成，并不是必然指一个物理组件或一个装置。也就是说，所述诊断系统100可以是为实现本发明的技术思想而配置的硬件和/或软件的逻辑组合，并且如果有必要，可以通过将其安装在彼此分离的设备中以执行每个功能，将其实现为用于实现本发明的技术思想的逻辑构成的组合。另外，所述诊断系统100可以指用于实现本发明的技术思想的、分别实现每个功能或角色的构成的集合。例如，所述控制模块110，所述诊断模块120和/或所述预处理模块130中的每一个可以位于不同的物理设备中或在相同的物理设备中。另外，根据实施例，分别构成所述控制模块110、所述诊断模块120和/或所述预处理模块130的软件和/或硬件的组合也可以位于不同的物理设备中，位于不同物理设备中的组件可以彼此有机组合以实现所述每个模块。
另外，在本说明书中，术语“模块”可以表示用于执行本发明的技术思想的硬件和用于驱动所述硬件的软件的功能和结构组合。例如，所述模块可以表示预定代码和用于执行预定代码的硬件资源(resource)的逻辑单元，并且本发明的技术领域的普通专家可以容易地推断它不一定表示物理连接的代码或单一类型的硬件。
所述控制模块110可以控制包含在所述诊断系统100中的其他配置(例如，所述诊断模块120和/或所述预处理模块130等)，以实现本发明的技术思想。
另外，所述控制模块110可以利用存储在所述诊断模块120中的神经网络和/或幻灯片诊断引擎，执行根据本发明的技术思想的诊断。
所述诊断模块120可以包括执行图像块级别诊断的图像块诊断引擎和执行幻灯片级别诊断的幻灯片诊断引擎。
如上所述，所述图像块级别诊断引擎可以通过根据本发明技术思想的基于深度学习的神经网络来实现。所述幻灯片诊断引擎可以使用基于深度学习的神经网络，也可以使用预定的机器学习(例如XGBoost)引擎，而不是神经网络。
所述神经网络可以是表达定义神经网络的一系列设计项目的信息的集合。在本说明书中，所述神经网络可以是卷积神经网络。
所述卷积神经网络众所周知，可以包含输入层、多个隐藏层和输出层。多个隐藏层中的每一个都可以包含卷积层和池化层(或子采样层)。
卷积神经网络可以由定义这些层的函数、过滤器、步长(stride)、重量因子等来定义。此外，输出层可以被定义为全连接(fully connected)的前馈层(FeedForward layer)。
构成卷积神经网络的各个层的设计项目已众所周知。例如，对于多个层中需包含的层数、对用于定义所述多个层的卷积函数、池函数、激活函数中的每个函数可以利用已知的函数，也可以使用为实现本发明的技术思想而单独定义的函数。
根据本发明的实施例，执行图像块级别诊断的神经网络利用了已知的稠密连接网络(densenet)，此时，如先前的申请中所公开的，可以设计为不仅考虑作为诊断对象的特定图像块，还可以考虑周围的图像块。此外，各种神经网络也可以被利用，在任何情况下，所述神经网络都可以定义为接收特定图像块作为输入，并输出与该特定图像块的疾病表达概率相对应的特征值。
所述控制模块110可以使存储在所述诊断模块120中的神经网络即经过学习的神经网络接收输入数据，即按图像块接收输入。这时，如上所述，可以分别接收与各图像块的多重颜色模型相对应的通道值。
更具体来说，所述图像块级别神经网络可以接收与各个图像块相对应的所述第1图像信息至第K图像信息作为输入层，其中所述第i图像信息(i为1<＝i<＝K的任意整数)由与第i颜色模型相对应的至少一个通道值组成。
例如，如果是使用RGB颜色模型、HSV颜色模型、CMYK颜色模型的实施例，所述图像块级别神经网络根据各个图像块，可以接收第1图像信息即相关图像块相应的RGB 3通道值、第2图像信息即相关图像块相应的HSV3通道值及第3图像信息即相关图像块相应的CMYK4通道值。
当然，所接收的多个颜色模型的每个通道值可以通过将每个图像块的原始像素值转换成各自的颜色模型来获得。
并且可以执行神经网络定义的运算，从而输出数据，即与图像块相关的疾病表达概率相对应的特征值。此外，根据实施例，为了进行后述的幻灯片级别诊断，根据所述特征值是否达到预定的门槛值，还可以输出相关图像块是否表达了疾病。
另外，所述诊断模块120可以包括幻灯片诊断引擎，所述幻灯片诊断引擎也可以通过所述控制模块110进行学习而实现。
所述幻灯片诊断引擎可以根据所述神经网络的输出结果标记疾病图像块。标记可以指在幻灯片内区分疾病图像块。根据一个示例，所述幻灯片诊断引擎可以将疾病图像块与其他图像块区分开来标示，从而生成热图。而且，在生成的热图的基础上，可以将疾病图像块群集成多个。根据一个实施例，所述幻灯片诊断引擎可以将疾病图像块群集到至少两个。而且，其中最大的2个群集可以用于幻灯片诊断。但是，显然，也可以使用2个以上的群集进行幻灯片诊断。
所述幻灯片诊断引擎可以得出每个群集的预定的特征值。而且，学习将计算出的特征值作为输入数据从而输出与输入数据相对应的幻灯片是否表达疾病。
另外，所述幻灯片诊断引擎可以考虑多个门槛值进行学习。这样可以输出对于门槛值的设置较为强劲的幻灯片诊断结果。对此，将在后面进行描述。
所述预处理模块130可以在利用神经网络进行诊断前进行所需的生物体图像的预处理。例如，所述生物体图像的预处理可以包括将所述生物体图像拼接成预定义大小的图像块而进行图像块化的过程。
并且，根据实施例，所述预处理模块130可以将不同图像块的像素转换为多重颜色模型，计算出各颜色模型相应的通道值。即，所述预处理模块130可生成与图像块相应的第1图像信息至第K图像信息(其中，K为2以上的整数)。此时，第i图像信息(i为1<＝i<＝K的任意整数)由与第i颜色模型对应的至少一个通道值构成。例如，作为使用RGB颜色模型、HSV颜色模型、CMYK颜色模型的实施例，若相关图像块的原始像素由RGB 3通道值构成，那么所述前处理模块130可以将该图像块的各个像素的原始RGB 3通道值转换为HSV 3通道值和CMYK4通道值。
另外，本发明技术领域的普通专家可以容易地推断出根据需要所述预处理模块130也可以用适合所述神经网络的方式执行适当的图像处理。
图4是用于说明根据本发明的实施例的神经网络的构成的图。
参考图4，根据本发明的技术思想的神经网络200包括微观神经网络和宏观神经网络。
首先，参考图4a，正如先前的申请中所公开的，微观神经网络包括多个层210和输出层230。多个层210包括输入层211和多个隐藏层212。
宏观神经网络包括多个层220和所述输出层230。所述多个层220包括输入层221和多个隐藏层222。
所述微观神经网络被定义为接收特定图像块30，输出特定图像块的诊断结果，即输出层230中定义的输出数据。
另外，所述宏观神经网络被定义为接收包括所述特定图像块30并且包括至少一个与所述特定图像块30相邻的图像块的宏观图像块40，并输出所述特定图像块的诊断结果。
也就是说，根据本发明的技术思想，神经网络200为了输出特定图像块30的诊断结果，不仅可以考虑特定图像块30的图像特性，还可以考虑所述特定图像块30的相邻图像块的图像特性，来输出诊断结果。
所述宏观图像块40在图4中显示为围绕图像块使用3×3图像块的示例，但当然可以有多种实施例。
所述输出层230，接收所述微观神经网络中包含的就在所述输出层230之前的前一层即第1前层212-1和宏观神经网络中包含的就在所述输出层230之前的前一层即第2前层222-1的每一个输出数据，从而输出所述输出层230所定义的输出数据。所述第1前层212-1、所述第2前层222-1和所述输出层230可以是全连接(fully connected)。
定义所述输出层230的前馈(Feedforward)函数可以使用各种函数的任何一个，其中所述函数将作为输入层接收的输入数据通过神经网络200将结果即输出数据输出到输出层230。
最终，所述神经网络200为了对特定图像块30执行诊断，同时考虑到所述特定图像块30的图像特性和包含所述特定图像块30的宏观图像块40的图像特性，学习输出与大量训练数据的注解值相对应的输出层230的输出数据。
也就是说，为了使所述神经网络200进行学习，将使用多个训练数据，多个训练数据可以包括一对特定的图像块30和宏观图像块40。而且，宏观图像块40也可以利用所述特定图像块30的注解信息进行学习。
这样，所述神经网络200可以同时考虑所述特定图像块30和所述宏观图像块40的图像特性，并能够学习输出与所述特定图像块30的注解信息相对应的输出数据。
而且，经过学习的神经网络200如果将作为诊断对象的目标图像块和与所述目标图像块相对应的宏观图像块分别作为微观神经网络和宏观神经网络的输入层的输入数据将其接收，则可以输出所述目标图像块的诊断结果，即输出输出层230的输出数据。
所述输出层230可以输出输出数据即作为诊断对象的特定图像块30的诊断结果，如图4a所示。诊断结果至少可以包含所述特定图像块30的疾病状态的信息。关于疾病状态的信息可能仅仅是指特定疾病是否在特定图像块30中表达(或概率值)的信息。但是，根据疾病的种类，关于疾病状态的信息可能包括更具体地表示疾病发展程度的信息。
如上所述，输出层不仅可以像先前的申请中所公开的那样单纯地输出疾病的表达与否，还可以设计为输出多种额外的信息。例如，可以包括显示疾病进行程度的信息和/或显示与所述状态通道的值相关联的关联因子的表达程度的关联因子信息。对此，先前的申请中已详细公开，所以在此省略详细的说明。
如果使用图4a中示出的神经网络200，尽管在图4a中没有示出，显然还可以存在接收所述输出层230的输出数据，从而最终输出与输入的图像块的疾病的表达概率相对应的特征值的层。
或者，如图4b所示，所述神经网络可以设计为具有层240，该层代替如图4a所示的输出多个状态通道和相关因子通道的层，输出与输入的图像块的疾病的表达概率相对应的特征值。
根据本发明的其他实施例，用于诊断图像块级别的神经网络可以设计为具有单向路径，而不是如图4所示的具有双向路径(微观网络和宏观网络各自的路径)的方式。这些示例可以与图5所示相同。
图5a及图5b是用于说明根据本发明的其他实施例的神经网络的示例性构成的图。
参考图5a及图5b，如上所述，神经网络可以被定义为以图像块为单位接收输入，并判断输入的图像块是否存在疾病。这时，如图所示，所述神经网络可以接收多重颜色模型的各通道值的输入。如图5a所示，所述神经网络可以接收原始RGB 3通道和灰色通道(共4个通道)。或者如图5b所示，可以接收RGB 3通道值、HSV 3通道和CMYK 4通道(共10通道)。除此之外，还可以利用多种颜色模型的组合。
输入的数据如图5a及图5b所示，可以被定义为通过卷积层、最大池层等多个层后输出数据即输入的图像块是否是疾病图像块。这种神经网络可以是利用已知的稠密连接网络(densenet)模型的神经网络。而且，此时，根据本发明的技术思想，所述神经网络与以往的稠密连接网络(densenet)模型相比增加了1×1卷积，从而具有确认内部特征图的效果。另外，S型(Sigmoid,原文为Signoid)函数被用作激活函数，但也可以使用各种激活函数。
本发明技术领域的普通专家可以容易地推断出可以以其他多种方式定义执行图像块级别诊断的神经网络。
图7是表示根据本发明的一个实施例的图像块级别诊断方法的实验结果的图。在图7的实验中，适用了可接收各像素值的原始3通道外，还可以追加接收灰色通道值的神经网络。
参考图7，所述神经网络作为训练数据集利用标记为癌症的图像块62358个、标记为一般(正常)的图像块108300进行了所述神经网络的学习，作为验证集利用标记为癌症的图像块8963个、正常图像块15499个。而且，作为测试集，使用了14898个癌症图像块和19089个正常图像块。
当时的实验结果的准确率(accuracy)、精确率(precision)、灵敏度(sensitivity)、特异性(specificity)分别如图7所示，表现出非常高的性能。而且，与特征值仅使用原始像素值3个通道相比，确认了其性能有所提高。
图6是用于说明根据本发明的实施例的两阶段疾病诊断方法的概念的图。
如图6所示，与生物体组织相对应的生物形象，即从幻灯片中取样的图像块，可以用于神经网络200的学习。所述图像块可以是对标记为癌症的图像块和标记为正常的图像块进行采样，使其具有预定的比例。
而且如上所述，所述神经网络200通过接收进一步包含灰色通道的每个图像块的输入数据来学习，作为结果，所述神经网络200学习输出每个图像块是否为癌症(或概率值)。
这样，所述神经网络200如图6的下方所示，如果输入了幻灯片，则可以对每个幻灯片中包含的每个图像块执行图像块级别的诊断。
而且，所述幻灯片诊断引擎可以根据图像块级别诊断结果标记疾病图像块。例如，如图6所示，可以生成热图。
另外，图8是显示根据本发明的一个实施例的图像块级别诊断结果的标记结果的图，图8a表示由熟练的专家标记的活体组织的图像，图8b表示由经过学习的所述神经网络200生成的热图。从图8可以看出，本发明可以进行非常准确的诊断。
另一方面，根据生成的热图，所述幻灯片诊断引擎可以生成群集。所述幻灯片诊断引擎可以利用预定的聚类算法对疾病图像块进行群集。根据本发明的实施例，所述幻灯片诊断引擎通过已知的密度的聚类(DBSCAN)算法进行群集，但当然可以使用多种群集技术。
所述幻灯片诊断引擎可以按群集结果生成的群集提取群集特征。
所述群集特征可以是特征性的值，表示与疾病的表达相关的特征。
根据一个示例，所述群集特征可以包括群集中包含的疾病图像块的数量、各图像块被判定为疾病的概率值的平均值、各图像块被判定为疾病的概率值的最大值，以及各图像块被判定为疾病的概率值的最小值。可以确认，如果包括这些群集特征，幻灯片诊断引擎的诊断结果的性能会相对提高。
此外，根据实施例，所述群集特征可以进一步包括群集各自的主轴(major axis)、次轴(minor axis)、面积(area)和密度(density)。这与群集的物理特征密切相关，如果将这些群集特征一起使用于诊断，可以进一步提高诊断性能。
另一方面，所述群集根据每个图像块是否被判定为疾病图像块，其位置、大小和所述群集特征可能会有所不同。而且，这依赖于图像块级别诊断中使用的门槛值。
根据本发明的技术思想，多个门槛值可以一起用于幻灯片级别诊断。
根据一个示例，本发明的实施例使用了5个不同的门槛值，但可以有多种实施例。
而且，根据每个门槛值，特定图像块被诊断为疾病图像块的结果可能会有所不同，群集结果也可能会有所不同。
根据本发明的实施例，所述幻灯片诊断引擎以例如N(例如，5)个门槛值以及基于所述N个门槛值中的每一个，以预定的方式对疾病表达的图像块进行群集，形成了M(例如，2)个群集。
并且对形成的每个群集产生了P(例如所述8个群集特征)个群集特征。在这种情况下，对于一个幻灯片，可以提取M×N×P(例如，80)个群集特征。
而且，幻灯片诊断引擎可以学习接收这些特征值作为输入值，并作为输出数据输出所述幻灯片是否存在疾病。
通过这些实施例的实验结果见图9。
图9是表示根据本发明的一个实施例的幻灯片级诊断方法的实验结果的图。
图9所示的实验结果为，所述8个群集特征均已被使用，使用的门槛值为5个，使用了2个群集的情况下的实验结果。在这些实施例中，作为训练数据集使用了478个表达癌症的幻灯片和218个正常幻灯片。另外，作为验证集使用了117个表达癌症的幻灯片、57个正常幻灯片、作为测试集使用了1302个表达癌症的幻灯片、1658个正常幻灯片。
而且，当时的实验结果中准确率(accuracy)、精确率(precision)、灵敏度(sensitivity)、特异性(specificity)每一项都表现出了很高的性能，如图9所示。
此外，本说明书主要说明了本发明技术思想适用于前列腺癌的示例，但本发明技术领域的平均专家可以容易地推断出，同样对于其他疾病，即不仅需要考虑特定组织，而且还需要考虑到该组织的周围组织的状态来执行所述特定组织的诊断的其他疾病，应用本发明的技术思想时，也可以进行准确的诊断。
另外，根据实施例，所述诊断系统100可以包括处理器和存储由所述处理器执行的程序的内存。所述处理器可包括单芯CPU或多芯CPU。内存可包括高速随机存取存储器，还可以包括一个以上的磁盘存储器、闪存设备或其他非挥发性固体存储器设备等非挥发性内存。通过处理器和其他组件的内存的存取可以由内存控制器控制。
另一方面，根据本发明的实施例，通过多重颜色模型和神经网络的诊断方法可以以计算机可读程序命令形式实现，存储在计算机可读记录介质中，根据本发明实施例的控制程序及目标程序也可以存储在计算机可读记录介质中。计算机可读的记录介质包括存储计算机系统可读数据的所有类型的记录设备。
记录在记录介质上的程序指令可以针对本发明进行专门设计和配置，但也可以是软件领域的技术人员已知并且可使用的。
计算机可读记录介质的示例包括诸如硬盘、软盘和磁带的磁介质(magneticmedia)、诸如只读光盘(CD-ROM)和数字化视频光盘(DVD)的光学介质(optical media)、光盘(floptical disk)等磁光介质(magneto-optical media)及只读存储器(ROM)、随机存储器(RAM)、闪存等存储和执行程序指令而特别设置的硬件设备。计算机可读记录介质还可以分散在联网的计算机系统上，使得计算机可读代码可以以分散方式存储和执行。
程序指令的示例不仅包括诸如由编译器产生的机器语言代码，还包括通过使用解释器等以电子方式处理信息的设备如计算机执行的高级语言代码。
所述硬件设备可以被配置为通过一个或多个软件模块操作以执行本发明的操作，反之亦然。
本领域技术人员应理解，本发明的前述描述仅用于示例性说明，并且本领域普通技术人员可以容易地理解，在不改变本发明的技术思想或基本特征的情况下，可以进行各种改变和修改。因此，应理解，上述实施例在所有方面都是示例性的而非限制性的。例如，可以分散实现被描述为单一型的各组件，并且还可以以组合的形式实现被描述为分散的组件。
本发明的范围取决于下面的权利要求范围而不是上述详细说明，权利要求范围的意义及范围以及其均等概念导出的所有改变及变形的形态应被理解为都包含在本发明的范围内。
工业可用性
本发明可用于“利用多重颜色模型和神经网络的疾病诊断系统和方法”。

Claims (12)

1.一种疾病诊断系统，
作为在包括处理器和存储神经网络的存储装置的系统中实现，并使用生物体图像即幻灯片和所述神经网络的疾病诊断系统，
所述系统包括：
预处理模块，所述预处理模块对于通过将所述幻灯片按预定大小分割而形成的各个图像块，生成对应于所述图像块的第1图像信息至第K图像信息，其中，K为2以上的整数，此处，第i图像信息，i为1<＝i<＝K的任意整数，由与第i颜色模型相对应的至少一个通道值组成，并且第1颜色模型至第K颜色模型都是不同的颜色模型；以及
图像块神经网络，所述图像块神经网络对于每个分割而形成的所述图像块，接收与所述图像块相对应的所述第1图像信息至第K图像信息作为输入层，输出所述图像块是否存在疾病的图像块级别诊断结果。
2.根据权利要求1所述的疾病诊断系统，其特征在于，
所述第1颜色模型至第K颜色模型，分别是RGB模型、HSV模型、CMYK模型、YCbCr模型、灰色模型中的任何一种。
3.根据权利要求1所述的疾病诊断系统，其特征在于，
所述系统还包括幻灯片诊断引擎，所述幻灯片诊断引擎根据所述幻灯片中包括的多个图像块的每个图像块级别诊断结果，标记被判断为癌症的图像块，并且基于标记结果，输出所述幻灯片是否存在疾病的幻灯片级别诊断结果。
4.根据权利要求3所述的疾病诊断系统，其特征在于，
所述幻灯片诊断引擎，以预定方式对判断为癌症的图像块进行群集处理，形成多个群集，对每个形成的群集接收多个群集特征作为输入值，输出包含所述群集的所述幻灯片的所述幻灯片级别诊断结果。
5.根据权利要求1所述的疾病诊断系统，其特征在于，
所述疾病是前列腺癌。
6.一种疾病诊断系统，
作为在包括处理器和存储神经网络的存储装置的系统中实现，并使用生物体图像即幻灯片和所述神经网络的疾病诊断系统，
所述系统包括：
图像块神经网络，所述图像块神经网络对于通过将所述幻灯片按预定大小分割而形成的各个图像块，接收与所述图像块相对应的第1图像信息至第K图像信息作为输入层，输出所述图像块是否存在疾病的图像块级别诊断结果；以及
幻灯片诊断引擎，所述幻灯片诊断引擎根据所述幻灯片中包括的多个图像块的每个图像块级别诊断结果，标记被判断为癌症的图像块，并且基于标记结果，输出所述幻灯片是否存在疾病的幻灯片级别诊断结果，
第i图像信息，i为1<＝i<＝K的任意整数，由与第i颜色模型相对应的至少一个通道值组成，并且第1颜色模型至第K颜色模型都是不同的颜色模型。
7.一种疾病诊断方法，
作为在包括处理器和存储神经网络的存储装置的系统中实现，并使用生物体图像即幻灯片和所述神经网络的疾病诊断方法，包括：
所述系统对于通过将所述幻灯片按预定大小分割而形成的各个图像块，生成对应于所述图像块的第1图像信息至第K图像信息的步骤，其中，K为2以上的整数，此处，第i图像信息，i为1<＝i<＝K的任意整数，由与第i颜色模型相对应的至少一个通道值组成，并且第1颜色模型至第K颜色模型都是不同的颜色模型；以及
对于每个分割而形成的所述图像块，接收与所述图像块相对应的所述第1图像信息至第K图像信息作为输入层，输出所述图像块是否存在疾病的图像块级别诊断结果的步骤。
8.根据权利要求7所述的疾病诊断方法，其特征在于，
所述第1颜色模型至第K颜色模型，分别是RGB模型、HSV模型、CMYK模型、YCbCr模型、灰色模型中的任何一种。
9.根据权利要求7所述的疾病诊断方法，其特征在于，
所述疾病诊断方法还包括：
所述系统根据所述幻灯片中包括的多个图像块的每个图像块级别诊断结果，标记被判断为癌症的图像块，并且基于标记结果，输出所述幻灯片是否存在疾病的幻灯片级别诊断结果的步骤。
10.根据权利要求9所述的疾病诊断方法，其特征在于，
所述输出所述幻灯片是否存在疾病的幻灯片级别诊断结果的步骤包括：
以预定方式对判断为癌症的图像块进行群集处理，形成多个群集的步骤；以及
对每个形成的群集接收多个群集特征作为输入值，输出包含所述群集的所述幻灯片的所述幻灯片级别诊断结果的步骤。
11.一种疾病诊断方法，
作为在包括处理器和存储神经网络的存储装置的系统中实现，并使用生物体图像即幻灯片和所述神经网络的疾病诊断方法，包括：
所述系统对于通过将所述幻灯片按预定大小分割而形成的各个图像块，接收对应于所述图像块的第1图像信息至第K图像信息作为输入层，输出所述图像块是否存在疾病的图像块级别诊断结果的步骤；以及
根据所述幻灯片中包括的多个图像块的每个图像块级别诊断结果，标记被判断为癌症的图像块，并且基于标记结果，输出所述幻灯片是否存在疾病的幻灯片级别诊断结果的步骤，
第i图像信息，i为1<＝i<＝K的任意整数，由与第i颜色模型相对应的至少一个通道值组成，并且第1颜色模型至第K颜色模型都是不同的颜色模型。
12.一种计算机存储介质，安装在数据处理装置上，其用于记录执行权利要求7至权利要求11中任何一项所述的方法的计算机程序。
CN201980053724.3A 2018-08-07 2019-08-07 利用多重颜色模型和神经网络的疾病诊断系统和方法 Active CN112567474B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0092033 2018-08-07
KR1020180092033A KR102151723B1 (ko) 2018-08-07 2018-08-07 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
PCT/KR2019/009846 WO2020032561A2 (ko) 2018-08-07 2019-08-07 다중 색 모델 및 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법

Publications (2)

Publication Number Publication Date
CN112567474A CN112567474A (zh) 2021-03-26
CN112567474B true CN112567474B (zh) 2024-07-19

Family

ID=69415545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980053724.3A Active CN112567474B (zh) 2018-08-07 2019-08-07 利用多重颜色模型和神经网络的疾病诊断系统和方法

Country Status (6)

Country Link
US (1) US12045977B2 (zh)
EP (1) EP3819910A4 (zh)
JP (1) JP7152810B2 (zh)
KR (1) KR102151723B1 (zh)
CN (1) CN112567474B (zh)
WO (1) WO2020032561A2 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102329546B1 (ko) * 2019-07-13 2021-11-23 주식회사 딥바이오 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
KR102354476B1 (ko) 2021-03-15 2022-01-21 주식회사 딥바이오 뉴럴 네트워크를 이용한 방광병변 진단 시스템 제공방법 및 그 시스템
JP7360115B1 (ja) 2022-04-13 2023-10-12 株式会社Ridge-i 情報処理装置、情報処理方法及び情報処理プログラム
KR102485415B1 (ko) * 2022-06-02 2023-01-06 주식회사 딥바이오 패치 레벨 중증도 판단 방법, 슬라이드 레벨 중증도 판단 방법 및 이를 수행하는 컴퓨팅 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373137A (zh) * 2016-08-24 2017-02-01 安翰光电技术（武汉）有限公司 用于胶囊内窥镜的消化道出血图像检测方法
KR20180066983A (ko) * 2016-12-11 2018-06-20 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005050563A2 (en) 2003-11-17 2005-06-02 Aureon Biosciences Corporation Pathological tissue mapping
EP2257636A4 (en) 2008-07-03 2014-10-15 Nec Lab America Inc EPITHELIAL LAYER DETECTOR AND RELATED METHODS
WO2013049153A2 (en) * 2011-09-27 2013-04-04 Board Of Regents, University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
JP5995215B2 (ja) * 2012-05-14 2016-09-21 学校法人東京理科大学 癌細胞領域抽出装置、方法、及びプログラム
KR102154733B1 (ko) * 2013-01-16 2020-09-11 삼성전자주식회사 의료 영상을 이용하여 대상체에 악성 종양이 존재하는지 여부를 예측하는 장치 및 방법
AU2015261891A1 (en) 2014-05-23 2016-10-13 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images
US10417525B2 (en) 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
WO2017151759A1 (en) * 2016-03-01 2017-09-08 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Category discovery and image auto-annotation via looped pseudo-task optimization
WO2018076023A1 (en) 2016-10-21 2018-04-26 Nantomics, Llc Digital histopathology and microdissection
CN106780453A (zh) * 2016-12-07 2017-05-31 电子科技大学 一种基于深度信任网络实现对脑肿瘤分割的方法
CN107341506A (zh) * 2017-06-12 2017-11-10 华南理工大学 一种基于多方面深度学习表达的图像情感分类方法
CN108108772B (zh) * 2018-01-06 2021-08-10 天津大学 一种基于配电线路航拍图像的绝缘子污闪状态检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373137A (zh) * 2016-08-24 2017-02-01 安翰光电技术（武汉）有限公司 用于胶囊内窥镜的消化道出血图像检测方法
KR20180066983A (ko) * 2016-12-11 2018-06-20 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법

Also Published As

Publication number Publication date
EP3819910A2 (en) 2021-05-12
US20210295509A1 (en) 2021-09-23
US12045977B2 (en) 2024-07-23
CN112567474A (zh) 2021-03-26
WO2020032561A2 (ko) 2020-02-13
WO2020032561A3 (ko) 2020-03-26
KR20200016669A (ko) 2020-02-17
JP2021533471A (ja) 2021-12-02
EP3819910A4 (en) 2022-03-30
KR102151723B1 (ko) 2020-09-03
JP7152810B2 (ja) 2022-10-13

Similar Documents

Publication Publication Date Title
CN112567474B (zh) 利用多重颜色模型和神经网络的疾病诊断系统和方法
CN112384989B (zh) 一种两阶段疾病诊断系统及其方法
CN110366759B (zh) 用神经网络诊断疾病的系统及其方法
KR102174379B1 (ko) 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
KR102236948B1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
EP3819912B1 (en) System and method for disease diagnosis using neural network
JP7299658B2 (ja) ニューラルネットワーク及び非局所的ブロックを用いてセグメンテーションを行う疾病診断システム及び方法
US11995819B2 (en) Diagnosis result generation system and method
CN112236829B (zh) 一种支持双重类别的疾病诊断系统及其方法
KR20200092801A (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant