CN116114027A - 利用多相生物图像学习的利用神经网络的疾病诊断方法及执行其的疾病诊断系统 - Google Patents

利用多相生物图像学习的利用神经网络的疾病诊断方法及执行其的疾病诊断系统 Download PDF

Info

Publication number
CN116114027A
CN116114027A CN202080104657.6A CN202080104657A CN116114027A CN 116114027 A CN116114027 A CN 116114027A CN 202080104657 A CN202080104657 A CN 202080104657A CN 116114027 A CN116114027 A CN 116114027A
Authority
CN
China
Prior art keywords
neural network
diagnostic
training
biological
diagnosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080104657.6A
Other languages
English (en)
Inventor
曺浚宁
金善禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
One Hundred Euro Ltd
Original Assignee
One Hundred Euro Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by One Hundred Euro Ltd filed Critical One Hundred Euro Ltd
Publication of CN116114027A publication Critical patent/CN116114027A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开利用多相生物图像学习的利用神经网络的疾病诊断方法及执行其的疾病诊断系统。本发明一实施方式提供的方法包括如下步骤：通过利用神经网络的诊断系统生成利用生物图像预测规定疾病的相关诊断结果的诊断神经网络；通过上述利用神经网络的诊断系统获得多个训练用生物图像，在上述多个训练用生物图像分别标记有与其相应的上述疾病的相关诊断结果；以及通过上述利用神经网络的诊断系统利用上述多个训练用生物图像来训练上述诊断神经网络，训练上述诊断神经网络的步骤分别对上述多个训练用生物图像执行如下步骤：步骤(a)，向上述训练用生物图像插入具有不同特性的噪声来生成与上述训练用生物图像相应的K个噪声插入图像，上述K为2以上的整数；以及步骤(b)，向上述诊断神经网络输入与上述训练用生物图像相应的K个噪声插入图像来训练上述诊断神经网络。

Description

利用多相生物图像学习的利用神经网络的疾病诊断方法及执行其的疾病诊断系统
技术领域
本发明涉及利用神经网络的疾病诊断系统及其方法。更详细地，涉及利用多相生物图像学习的利用神经网络的疾病诊断方法及执行其的疾病诊断系统。
背景技术
在病理学或病理科中所执行的主要业务中的一种诊断为通过读取患者的生物切片(例如，通过活检等的组织图像切片)来判断特定疾病相关状态或症状。这种诊断依赖于长期熟练的医务人员的经验和知识。
最近，随着机器学习的发展，正在积极尝试通过计算机系统实现图像识别或分类等业务的自动化。尤其，正在尝试利用作为机器学习的一种的神经网络(例如，利用卷积神经网络(CNN，Convolution neural network)的深度学习方法)使由熟练的医务人员执行的诊断业务实现自动化。
尤其，通过利用神经网络(例如，卷积神经网络、深度学习网络)的深度学习的诊断并非简单实现熟练的医务人员的经验和知识自动化，而是在通过自学找出特征要素来导出需要解答的过程中，反而存在从图像中找出熟练的医务人员不得而知的疾病因子的特征的情况。
通常，通过利用作为扫描生物切片的图像的生物图像的神经网络的疾病的诊断利用作为生物图像或对应生物图像的碎片，即，图像块(pathch，也称为图像子块(tile))。也就是说，针对相应生物图像或图像块，熟练的医务人员需注解(annotaion)特定疾病的状态(例如，是否发现癌症)，将这种经注解的多个图像子块用作训练数据来学习神经网络。在此情况下，上述神经网络可以利用卷积神经网络。
另一方面，当前，大部分通过神经网络的诊断方式将已扫描的数据用于学习，并预测具有已扫描数据的诊断结果。即，通过现存的神经网络的诊断方式对固定数据的效果相对较好。但是，在噪声存在时呈现出相对脆弱的状态。例如，在通过显微镜实时拍摄的图像数据的情况下，在显微镜的摄像头中产生的噪声会大量包含在图像中，因这种摄像头自身的噪声问题，将发生诊断结果有可能继续改变的问题。
另一方面，基于神经网络的诊断速度通常比摄像头的帧率慢，因此，在通过显微镜诊断的部分继续移动的情况下，将发生基于摄像头的画面断开的问题。
现有技术文献
专利文献：韩国公开专利10-2016-0034814“具有神经网络的客户端装置及包括其的系统”
发明内容
技术问题
本发明所要实现的技术目的在于，提供不受摄像头的噪声影响而能够稳定执行诊断的利用神经网络的诊断系统及方法。
并且，本发明的再一目的在于，提供如下的诊断系统及方法，即，随着检测摄像头的移动，若摄像头移动或显示空画面时，则仅在未执行诊断而固定观察特定部位的情况下执行诊断来实现平滑的画面移动。
进而，本发明的另一目的在于，提供如下的神经网络结构，不仅通过特定生物图像来判断疾病是否发病，而且，可区分发现疾病的区域。尤其，提供如下的神经网络结构，即，通过在能够判断图像块中是否存在疾病的分类神经网络架构额外添加用于分割的子架构来有效执行用于区分发现疾病区域的分割。
技术方案
根据本发明一实施方式提供的方法包括如下步骤：通过利用神经网络的诊断系统生成利用生物图像预测规定疾病的相关诊断结果的诊断神经网络；通过上述利用神经网络的诊断系统获得多个训练用生物图像，在上述多个训练用生物图像分别标记有与其相应的上述疾病的相关诊断结果；以及通过上述利用神经网络的诊断系统利用上述多个训练用生物图像来训练上述诊断神经网络，训练上述诊断神经网络的步骤分别对上述多个训练用生物图像执行如下步骤：步骤(a)，向上述训练用生物图像插入具有不同特性的噪声来生成与上述训练用生物图像相应的K个噪声插入图像，上述K为2以上的整数；以及步骤(b)，向上述诊断神经网络输入与上述训练用生物图像相应的K个噪声插入图像来训练上述诊断神经网络。
在一实施例中，上述步骤(b)可包括如下步骤：连接(concatenation)所有与上述训练用生物图像相应的K个噪声插入图像生成与上述训练用生物图像相应的一个训练数据，与上述训练用生物图像相应的训练数据被标记为上述训练用生物图像的相关诊断结果；以及向上述诊断神经网络输入与上述训练用生物图像相应的训练数据来训练上述诊断神经网络。
在一实施例中，上述方法还包括诊断步骤，上述诊断步骤可包括如下步骤：获得通过图像传感器连续拍摄的K个诊断对象生物图像；以及向上述诊断神经网络输入上述K个诊断对象生物图像来预测上述疾病的相关诊断结果。
在一实施例中，上述诊断步骤还包括如下步骤，基于上述K个诊断对象生物图像判断上述图像传感器是否移动，向上述诊断神经网络输入上述K个诊断对象生物图像来预测上述疾病的相关诊断结果的步骤可包括如下步骤，当判断上述图像传感器没有移动时，向上述诊断神经网络输入上述K个诊断对象生物图像来预测上述疾病的相关诊断结果。
在一实施例中，上述方法还包括诊断步骤，上述诊断步骤可包括如下步骤：获得通过图像传感器连续拍摄的K个诊断对象生物图像；连接所有上述K个诊断对象生物图像来生成一个诊断对象数据；以及向上述诊断神经网络输入上述诊断对象数据来预测上述疾病的相关诊断结果。
在一实施例中，上述诊断神经网络为分割神经网络，通过输入层接收上述诊断对象数据来指定上述诊断对象生物图像中存在疾病的区域，上述分割神经网络可包括：分类神经网络，通过输入层接收上述诊断对象数据来输出上述生物图像是否存在上述疾病的分类结果；以及分割架构，通过接收上述分类神经网络包括的隐藏层中的两个以上特征映射提取层分别生成的特征映射来指定上述生物图像中存在疾病的区域。
在一实施例中，上述分割架构可包括：卷积子架构，包括分别与上述两个以上特征提取层相对应的卷积节点，上述卷积节点分别对从与其相应的特征提取层输入的特征映射执行卷积或两次以上的不同卷积；以及分割子架构，基于上述卷积子架构生成的卷积结果指定图像块中存在疾病的区域。
在一实施例中，本发明的特征在于，上述疾病可以为前列腺癌。
根据本发明再一实施方式提供的计算机程序为了执行上述方法而存储于设置在数据处理装置的计算机可读介质。
根据本发明另一实施方式提供的利用神经网络的诊断系统包括：处理器；以及存储器，用于存储计算机程序，当上述处理器执行上述计算机程序时，使得上述利用神经网络的诊断系统执行上述方法。
根据本发明又一实施方式提供的利用神经网络的诊断系统包括：存储模块，用于存储利用生物图像预测规定疾病的相关诊断结果的诊断神经网络；获取模块，用于获取多个训练用生物图像，上述多个训练用生物图像分别被标记有与其相应的上述疾病的相关诊断结果；以及学习模块，利用上述多个训练用生物图像训练上述诊断神经网络，上述学习模块分别对上述多个训练用生物图像执行如下步骤：步骤(a)，向上述训练用生物图像插入具有不同特性的噪声来生成与上述训练用生物图像相应的K个噪声插入图像，上述K为2以上的整数；以及步骤(b)，向上述诊断神经网络输入与上述训练用生物图像相应的K个噪声插入图像来训练上述诊断神经网络。
在一实施例中，上述步骤(b)可包括如下步骤：连接(concatenation)所有与上述训练用生物图像相应的K个噪声插入图像生成与上述训练用生物图像相应的一个训练数据，与上述训练用生物图像相应的训练数据被标记为上述训练用生物图像的相关诊断结果；以及向上述诊断神经网络输入与上述训练用生物图像相应的训练数据来训练上述诊断神经网络。
在一实施例中，上述利用神经网络的诊断系统还可包括诊断模块，获得通过图像传感器连续拍摄的K个诊断对象生物图像，向上述诊断神经网络输入上述K个诊断对象生物图像来预测上述疾病的相关诊断结果。
在一实施例中，上述诊断模块基于上述K个诊断对象生物图像判断上述图像传感器是否移动，当判断上述图像传感器没有移动时，可向上述诊断神经网络输入上述K个诊断对象生物图像来预测上述疾病的相关诊断结果。
在一实施例中，上述利用神经网络的诊断系统还可包括诊断模块，获得通过图像传感器连续拍摄的K个诊断对象生物图像，连接所有上述K个诊断对象生物图像来生成一个诊断对象数据，通过向上述诊断神经网络输入上述诊断对象数据来预测上述疾病的相关诊断结果。
发明的效果
根据本发明的技术思想，可提供不受摄像头的噪声影响而能够稳定执行诊断的利用神经网络的诊断系统及方法。
并且，可提供如下的诊断系统及方法，即，随着检测摄像头的移动，若摄像头移动或显示空画面时，则仅在未执行诊断而固定观察特定部位的情况下执行诊断来实现平滑的画面移动。
并且，可提供如下的神经网络结构，除按照生物图像判断疾病是否发病外，可有效执行在相应生物图像中区分疾病发病区域的分割。
附图说明
以下，为了进一步充分理解本发明的具体说明所引用的附图而简单说明各个附图。
图1为示出根据本发明技术思想利用多相生物图像学习神经网络并利用其诊断疾病的方法相关工作环境的图。
图2为示出本发明一实施例的疾病诊断系统的简要结构的图。
图3为示出本发明一实施例的诊断系统利用多个训练用生物图像学习诊断神经网络的过程的流程图。
图4为两个噪声附加图像结合用于学习的例示图。
图5为示出本发明一实施例的诊断系统对诊断对象生物图像进行诊断的过程的流程图。
图6为用于说明利用两个连续拍摄的诊断对象生物图像执行诊断的过程的图。
图7为用于说明本发明一实施例的用于分割的诊断神经网络的整体结构的图。
图8为用于说明本发明一实施例的分割架构的整体结构的图。
图9为示出本发明一实施例的分割用诊断神经网络的具体例的图。
具体实施方式
本发明可施加多种变化并具有多个实施例，因此，在附图例示特定实施例详细说明具体实施方式。但是，本发明并不限定于特定实施方式，包括属于本发明的思想及技术范围内的所有修改、等同技术方案及代替技术方案。在说明本发明的过程中，当判断有关公知技术的具体说明有可能不必要地混淆本发明的主旨时，将省略其详细说明。
“第一”、“第二”等术语用于说明多种结构要素，上述结构要素并不限定于上述术语。上述术语仅用于对一个结构要素和其他结构要素进行区分。
在本申请中，所使用的术语仅用于说明实施例，并不具有限定本发明的含义。除非在文脉上明确表示其他含义，否则单数的表达包括复数的表达。
在本说明书中，“包括”或“具有”等术语仅用于指定本说明书中所记载的特征、数字、步骤、工作、结构要素、部件或它们的组合的存在，并不预先排除一个或一个以上的其他特征、数字、步骤、工作、结构要素、部件或它们的组合的存在或附加可能性。
并且，在本说明书中，当某一结构要素向另一结构要素“传输”数据时，除包括上述结构要素直接向上述另一结构要素传输上述数据的含义外，还包括通过至少一个其他结构要素向上述另一结构要素传输上述数据的含义。与此相反，当某一结构要素向另一结构要素“直接传输”数据时，是指上述结构要素未通过其他结构要素向上述另一结构要素传输上述数据的含义。
以下，参照附图以本发明实施例为中心详细说明本发明。其中，各个附图所示的相同附图标记表示相同部件。
本发明可施加多种变化并具有多个实施例，因此，在附图例示特定实施例详细说明具体实施方式。但是，本发明并不限定于特定实施方式，包括属于本发明的思想及技术范围内的所有修改、等同技术方案及代替技术方案。在说明本发明的过程中，当判断有关公知技术的具体说明有可能不必要地混淆本发明的主旨时，将省略其详细说明。
“第一”、“第二”等术语用于说明多种结构要素，上述结构要素并不限定于上述术语。上述术语仅用于对一个结构要素和其他结构要素进行区分。
在本申请中，所使用的术语仅用于说明实施例，并不具有限定本发明的含义。除非在文脉上明确表示其他含义，否则单数的表达包括复数的表达。
在本说明书中，“包括”或“具有”等术语仅用于指定本说明书中所记载的特征、数字、步骤、工作、结构要素、部件或它们的组合的存在，并不预先排除一个或一个以上的其他特征、数字、步骤、工作、结构要素、部件或它们的组合的存在或附加可能性。
并且，在本说明书中，当某一结构要素向另一结构要素“传输”数据时，除包括上述结构要素直接向上述另一结构要素传输上述数据的含义外，还包括通过至少一个其他结构要素向上述另一结构要素传输上述数据的含义。与此相反，当某一结构要素向另一结构要素“直接传输”数据时，是指上述结构要素未通过其他结构要素向上述另一结构要素传输上述数据的含义。
以下，参照附图以本发明实施例为中心详细说明本发明。其中，各个附图所示的相同附图标记表示相同部件。
图1为示出根据本发明技术思想利用多相生物图像学习神经网络并利用其诊断疾病的方法相关工作环境的图。参照图1，根据本发明技术思想的方法可通过诊断系统100执行。
在本发明的技术思想中，诊断系统100可以为计算系统。或者，可设置在规定服务器10来实现本发明的技术思想。上述服务器10是指具有用于实现本发明技术思想的运算能力的数据处理装置，在通常情况下，除使得客户端(终端20)能够通过网络访问的数据处理装置外，个人计算机、便携式终端等可执行特定服务的任何装置可定义为服务器，因此，本发明所属技术领域的普通技术人员可轻松推导。
上述服务器10可包括处理器及存储装置。上述处理器是指运算装置，可运行用于实现本发明技术思想的程序。上述存储装置是指数据存储装置，可存储用于实现本发明技术思想所需的程序及各种数据，根据实例，也可由多个存储装置实现。并且，除上述服务器10包括的主记忆装置外，上述存储装置也可包括上述处理器能够包括的任何存储装置或存储器等。
当规定的服务器10包括上述诊断系统100时，上述诊断系统100可以与能够访问上述服务器10的至少一个客户端20进行通信。在此情况下，上述客户端20可向上述诊断系统100传输生物图像，上述诊断系统100可对所传输的生物图像执行本发明技术思想的诊断。而且，可向上述客户端20传输诊断结果。
上述诊断系统100可利用多个训练用生物图像学习用于诊断生物图像的神经网络，学习神经网络后，可利用学习的神经网络对客户端20提供的诊断对象图像进行诊断结果的预测。
上述客户端20可包括图像传感器21。上述图像传感器21可以为用于拍摄或扫描生物图像的传感器。上述图像传感器21可连续拍摄生物图像。例如，上述图像传感器21可按照每秒60帧拍摄生物图像。
在一实施例中，上述图像传感器21可以为摄像头。
在再一实施例中，上述图像传感器21可以为显微镜。在此情况下，上述图像传感器21可放大拍摄生物切片的特定部位，随着移动切片上的拍摄区域，要利用上述客户端20诊断生物图像的诊断人员可对生物切片的特定区域执行诊断。
在图1中，虽然示出的上述疾病诊断系统100为一个物理装置，但根据需求，本发明技术思想的诊断系统100可由多个物理装置有机结合而成，因此，本发明所属技术领域的普通技术人员可轻松推导。
并且，根据实施例，上述疾病诊断系统100也可直接设置在客户端20进行工作，而并非服务器10。
图2为示出本发明一实施例的疾病诊断系统100的简要结构的图。
参照图2，上述系统100可包括存储模块110、生成模块130、获取模块140、学习模块150及诊断模块160。在本发明实施例中，上述结构要素中的部分结构要素并非实现本发明所需的必要结构要素，并且，根据实施例，上述诊断系统100可包括更多的结构要素。例如，上述系统100还可包括控制模块(未图示)，用于控制上述系统100的其他结构(例如，存储模块110、生成模块130、获取模块140、学习模块150及诊断模块160等)相关功能和/或资源。并且，根据实施例，上述系统100还可包括用于实现本发明技术思想所需的各种信息和/或用于存储数据的数据库300(DB，Database)。
上述系统100是指用于实现本发明技术思想所需的硬件资源(resource)和/或设置有软件的逻辑结构，并不意味着一个物理结构要素或一个装置。即，上述系统100是指为了实现本发明技术思想而设置的硬件和/或软件的逻辑结合，在必要情况下，设置在相互隔开的装置并执行各自功能，也可集合用于实现本发明技术思想的逻辑结构来实现。并且，上述系统100也可意味着用于实现本发明技术思想的各个功能或按照作用实现的结构集合。例如，存储模块110、生成模块130、获取模块140、学习模块150及诊断模块160可分别设置在不同物理装置，或者，也可设置在相同物理装置。并且，根据实例，分别构成上述存储模块110、生成模块130、获取模块140、学习模块150及诊断模块160的软件和/或硬件的结合可设置在不同物理装置，设置在不同物理装置的结构可通过有机结合实现各个上述模块。
并且，在本说明书中，模块是指用于实现本发明技术思想的硬件及用于驱动上述硬件的软件在功能、结构层面上的结合。例如，上述模块是指规定代码和用于执行上述规定代码的硬件资源(resource)的逻辑单位，并不限定于物理连接的代码或一种硬件，因此，本发明所属技术领域的普通技术人员可轻松推导。
上述数据库200可存储多个训练用生物图像。上述训练用生物图像可以为多种生物图像，例如，组织图像、活检图像等。
并且，上述训练用生物图像可以为生物切片，也可以为分割生物切片一部分的图像块。
上述多个训练用生物图像可分别标记有疾病诊断结果。标记的诊断结果与上述疾病诊断系统100诊断的诊断结果可以为相同类型。分别标记在训练用生物图像的诊断结果可以为专业医务人员预先基于相应生物图像作出的疾病的相关判断结果。
例如，当上述疾病诊断系统100为用于预测疾病是否发病的分类结果的系统时，分别标记在多个训练用生物图像的诊断结果也可以与疾病是否发病有所关联。或者，作为生物图像的相关诊断结果的一例，根据实施例，除特定疾病的发现与否(阴性/阳性)外，生物图像的相关诊断结果可包括特定疾病的进展程序(或者，进展程度相应概率)。例如，当本发明的技术思想应用于前列腺癌的诊断时，诊断结果可包括作为前列腺癌相关进展程度指标的格里森分级(Gleason Pattern)或格利森评分(Gleason Score)。例如，格利森评分具有2至10的值，在通常情况下，将6至10的值视作癌，数字越大，表示发现前列腺癌的程度越严重。格里森分级可分为1级至5级。
当上述疾病诊断系统100为用于预测疾病发病区域或像素单位相关诊断结果的系统(即，分割执行系统)时，分别标记在多个训练用生物图像的诊断结果也可以与疾病发病区域或像素单位相关诊断结果有所关联。
另一方面，上述疾病可以为前列腺癌，以下，虽然以前列腺癌为中心进行说明，但是，本发明的技术思想并不局限于前列腺癌，因此，本发明所属技术领域的普通技术人员可轻松推导。
上述存储模块110可存储诊断神经网络120，上述诊断神经网络120可通过生成模块130生成。上述诊断神经网络120可以为利用生物图像预测规定疾病的相关诊断结果的神经网络。
上述存储模块110是指能够存储诊断神经网络120的数据存储装置，根据实例，可由多个存储装置实现。并且，除上述服务器10包括的主记忆装置外，上述存储模块110也可包括临时存储装置或存储器等。
上述诊断神经网络120可以为用于诊断图像块单位的生物图像的神经网络。在此情况下，图像块可以为规定切片被分割为规定尺度的部分图像。即，一个切片可被分割为多个图像块，上述诊断神经网络120可接收图像块来执行图像块级别诊断。在执行诊断之前，上述诊断神经网络120可通过学习模块150预先学习。
另一方面，上述诊断神经网络120输出的信息可以为如下信息，即，用于判断在上述图像块相应组织是否发现特定疾病(例如，特定类型的癌症)的信息或用于判断特定疾病发病区域的信息。例如，上述诊断神经网络160输出的信息可以为在上述图像块相应组织发现特定疾病(例如，特定类型的癌症)的概率。在此情况下，当上述诊断神经网络120输出的概率值为特定基准值(阈值)以上时，可判断在上述图像块发现疾病(例如，前列腺癌)。当然，根据实施例，除是否发现特定疾病外，上述诊断神经网络120也可输出表示特定疾病进展程度的信息(或者，上述进展程度相应概率)。例如，当本发明的技术思想应用于前列腺癌的诊断时，上述诊断神经网络120输出的信息可包括作为前列腺癌相关进展程度指标的格里森分级(Gleason Pattern)或格利森评分(Gleason Score)。另一方面，可按照多种方式设定上述诊断神经网络120使用的阈值，由此，可基于阈值将特定图像块判断为发现疾病的图像块，即，疾病图像块或正常图像块。
或者，上述诊断神经网络120可以为接收图像块并按照构成相应图像块的各个像素于此上述疾病的相关分类结果的神经网络。按照像素输出分类结果的上述诊断神经网络120可执行用于区分疾病发病区域的分割。在此情况下，上述诊断神经网络120可按照构成图像块的各个像素输出疾病是否发病或疾病的发病概率，由此，可将由判断为发病的像素或发病概率大于规定阈值的像素构成的区域判断为发病区域。
根据实施例，上述诊断神经网络120可按照各个像素预测疾病是否发病(或疾病的发病概率)和/或疾病的进展程度(或上述进展程度相应概率)并输出。
另一方面，在执行分割(即，按照像素预测诊断结果)之前，上述诊断神经网络120可通过学习模块150预先学习。
在本说明书中，神经网络是指表示定义神经网络的一系列设计事项的信息集合。在一实施例中，上述诊断神经网络120可以为卷积神经网络。
众所周知，上述卷积神经网络可包括输入层、多个隐藏层及输出层。多个隐藏层可分别包括卷积层及池化层(或子采样层)。
卷积神经网络可由用于定义上述各个层的函数、筛选、步长(stride)、权重因子等定义。并且，输出层可被定义为全连接(fully connected)的前馈层(FeedForward layer)。
构成卷积神经网络的各层相关设计事项被广为人知。例如，多个层包括的层数、可分别对用于定义上述多个层的卷积函数、池化函数、激活函数使用公知函数，也可利用为了实现本发明技术思想而单独定义的函数。
作为卷积函数的一例有离散卷积和等。作为池化函数的一例有最大池化(maxpooling)、平均池化(average pooling)等。作为激活函数的一例有S型(sigmoid)、双曲正切(tanh)、线性整流(ReLU，rectified linear unit)等。
若定义这种卷积神经网络的设计事项，则定义设计事项的卷积神经网络可存储于存储装置。而且，若学习上述卷积神经网络，则可确定各个层相应的权重因子。
即，卷积神经网络的学习是指各个层确定权重因子的进程。而且，若学习卷积神经网络，则学习的卷积神经网络可从输入层接收输入数据并通过预定义的输出层输出输出数据。
本发明实施例的神经网络可从上述已知的设计事项中选择一个或多个来定义，也可由独立的设计事项定义上述神经网络。
再次参照图2，上述获取模块140可获取用于上述诊断神经网络120的机器学习的训练数据。即，上述获取模块140可获取多个训练用生物图像，上述多个训练用生物图像分别标记有与其相应的诊断结果。例如，上述获取模块140可从上述数据库200获取训练用生物图像。
并且，在本说明书中，虽然主要说明了本发明的技术思想应用于前列腺癌的一例，但是，除特定组织外，考虑到相应组织及周围组织的状态，当本发明的技术思想应用于需要诊断上述特定组织的其他疾病时，可实现精确的诊断，因此，本发明所属技术领域的普通技术人员可轻松推导。
另一方面，上述学习模块150可利用上述多个训练用生物图像来训练上述诊断神经网络120。
更详细地，针对上述多个训练用生物图像，上述学习模块150可分别向上述训练用生物图像插入具有不同特性的噪声来生成与上述训练用生物图像相应的K个(其中，K为2以上的整数)噪声插入图像，可向上述诊断神经网络输入与上述训练用生物图像相应的K个噪声插入图像来训练上述诊断神经网络。
图3为示出本发明一实施例的上述诊断系统100利用多个训练用生物图像学习诊断神经网络120的过程的流程图。
参照图3，上述诊断系统100的获取模块140可获取分别标记有疾病的相关诊断结果的N个(N为2以上的蒸镀)训练用生物图像(步骤S100)。
接着，上述诊断系统100的诊断模块150可分别对上述N个训练用生物图像执行步骤S120至步骤S150(步骤S110)。
在利用第J训练用生物图像Sj的学习过程中，可通过步骤S120向训练用生物图像Sj插入具有不同特性的噪声来生成上述训练用生物图像Sj相应的K个(其中，K为2以上的整数)噪声插入图像T(J，1)至T(J，K)(步骤S120)。
例如，噪声插入图像T(J，1)至T(J，K)可以为分别向训练用生物图像Sj附加平均和/或分散不同的高斯噪声(Gaussian Noise)的图像。在附加高斯噪声的情况下，除平均和/或分散外，可改变各种参数，除高斯噪声外，可存在向生物图像附加多种噪声的实施例。
在步骤S130中，可连接(concatenation)所有上述训练用生物图像Sj相应的K个噪声插入图像T(J，1)至T(J，K)来生成上述训练用生物图像Sj相应的一个训练数据Uj。在此情况下，训练数据Uj可被标记为上述训练用生物图像Sj的标签(步骤S130)。
在步骤S140中，可向上述诊断神经网络120输入上述训练用生物图像Sj相应的训练数据Uj来训练上述诊断神经网络120。
图4为向一个训练用生物图像附加两个不同噪声生成的两个噪声附加图像结合用于学习的例示图(即，K为2的例)。
如图4所示，向作为学习对象的原图像分贝附加噪声1和噪声2来生成两个不同的噪声插入图像，使其结合后，可向上述诊断神经网络120输入其来执行学习。
再次参照图2，上述诊断模块160获取连续拍摄的K个诊断对象生物图像，可向通过上述学习模块150学习的上述诊断神经网络120输入上述K个诊断对象生物图像来预测上述疾病的相关诊断结果。在一实施例中，上述K个诊断对象生物图像可以为上述图像传感器21拍摄的生物图像。
图5为示出本发明一实施例的上述诊断系统100对诊断对象生物图像进行诊断的过程的流程图。
参照图5，上述诊断模块160可获取连续拍摄的K个诊断对象生物图像O1至OK(步骤S200)。
上述诊断模块160可基于上述K个诊断对象生物图像O1至OK判断是否满足规定诊断条件(步骤S210)。
在一实施例中，上述诊断模块160可基于上述K个诊断对象生物图像判断正在拍摄上述诊断对象图像的图像传感器21是否移动，当判断上述图像传感器21没有移动时，可判断为满足诊断条件。即，当图像传感器21以非移动的停止状态持续拍摄生物图像的特定部位时，上述诊断模块160可判断满足诊断条件。
例如，随着计算表示连续两个图片之间关系的数或数值，若所计算的数或数值在规定临界范围以内，则上述诊断模块160可判断图像传感器21没有移动。
或者，根据实施例，当判断图像传感器21没有移动且在上述K个诊断对象生物图像中拍摄有生物组织时，上述诊断模块160可判断满足诊断条件。除此之外，可预设多种诊断条件。
在没有满足诊断条件的情况下，无需执行疾病的相关诊断即可获取后续拍摄的K个生物图像(参照步骤S200、步骤S210)。
在满足诊断条件的情况下，上述诊断模块160可通过连接(concatenation)K个诊断对象生物图像O1至OK来生成诊断对象数据P(步骤S220)，由此，可向上述诊断神经网络120输入诊断对象数据P来预测疾病的相关诊断结果。
图6为用于说明利用两个连续拍摄的诊断对象生物图像执行诊断的过程的图。
如图6所示，随着从输入装置(例如，图像传感器21)获取的两个诊断对象图像(即，图像1、图像2)相结合，可输入到用于判断是否满足诊断条件的算法。在满足诊断条件的情况下，上述结合数据(即，诊断对象数据)可输入至学习的诊断神经网络120，由此，诊断神经网络120可预测诊断结果。
如上所述，根据实施例，上述诊断神经网络120可以为分割神经网络，执行用于在生物图像(例如，图像块)特定疾病发病区域的分割，为此，上述分割神经网络可具有非常独特的结构。
根据本发明一实施例，用于分割的诊断神经网络120以执行用于判断在生物图像是否存在疾病的分类的神经网络(下述“分类神经网络”)为基础向其结合用于分割的子架构来实现。上述诊断神经网络120的结构如图7所示。
图7为用于说明本发明一实施例的用于分割的诊断神经网络120的整体结构的图。
如图7所示，本发明一实施例的诊断神经网络120可包括分类神经网络200及分割架构260。
上述分类神经网络200通过输入层接收上述诊断对象数据来输出在上述诊断对象数据相应的诊断对象图像是否存在疾病的分类结果(例如，如图7所示的评分)。而这称为分类，在分类过程中，上述分类神经网络200可在内部包括部分隐藏层生成输入相关特性作为中间生成物。尤其，当作为输入接收图像等二维以上的矩阵时，由于生成的特征为二维矩阵的形态，因此，也使用称为特征映射的术语。另一方面，以下将上述分类神经网络200包括的隐藏层中用于生成特征映射的层称为特征映射提取层。
另一方面，上述分割架构260可接收上述分类神经网络200包括的隐藏层中的两个以上特征映射提取层分别生成的特征映射(例如，图4所示的f1、f2、f3)来指定并输出上述图像块中存在疾病的区域。
虽然，图7示出了在分类神经网络200执行分类的过程中生成三个特征映射f1、f2、f3的例，但根据实施例，也可生成更多或更少的特征映射。
另一方面，根据本发明实施例，执行分类的分类神经网络200利用公知的密集连接卷积网络(densenet)，在此情况下，除作为诊断对象的特定图像块外，应考虑周围图像块设计。除此之外，可应用多种神经网络，在任何情况下，上述分类神经网络200可接收特定图像块并输出与相应特定图像块的疾病发现概率相对应的特征值。
另一方面，图8为用于说明上述分割架构260的整体结构的图。
参照图8，上述分割架构260可包括卷积子架构261、分割子架构263，根据实施例，还可包括裁剪子架构264。
如上所述，在上述分类神经网络200执行的分类过程中，可通过各个特征提取层生成特征映射f1、f2、f3，各个特征映射可输入于上述卷积子架构261包括的卷积节点261-1至262-3。
各个卷积节点261-1至262-3分别与上述分类神经网络200包括的两个以上特征提取层相对应，可对从与其对应的特征提取层输入的特征映射f1至f3执行卷积或两次以上不同卷积。另一方面，根据实施例，各个卷积节点261-1至262-3可在放大(例如，上采样)或缩小(例如，下采样)之后执行卷积。
各个卷积节点261-1至262-3可通过执行一次或两次以上的卷积来生成一个或两个以上的结果。根据实施例，上述卷积节点261-1至262-3执行的卷积可以为膨胀卷积(Dilated convolution，也称为“空洞卷积(Atrous convolution)”)。不同于普通卷积，膨胀卷积是指留有预定间距(rate)执行卷积的方法，而并非从相邻像素提取特征。例如，上述卷积节点中的一个(例如，511-2)可执行1×1膨胀卷积、间距6的3×3膨胀卷积、间距12的3×3膨胀卷积、间距18的3×3膨胀卷积来生成4个卷积结果(特征)。
另一方面，上述分割子架构263可基于上述卷积子架构261生成的卷积结果来指定上述图像块中存在疾病的区域。
上述分割子架构263可对上述卷积子架构261生成的卷积结果执行规定运算。上述分割子架构263执行的运算可被定义为结合(concatenation)和/卷积的组合。根据实施例，结合及卷积可通过多种方式组合。
另一方面，根据实施例，上述裁剪子架构264可对上述分割子架构263输出的结果执行中心裁剪来生成用于分割的最终结果。这是因为，在上述卷积子架构261及分割子架构263的结果中，相对中心部分存在更加准确反映结果的倾向。
图9为示出本发明一实施例的分割用诊断神经网络120的具体例的图。
参照图9，上述诊断神经网络包括的分类神经网络200可执行分类。为了分类，上述分类神经网络200可通过输入层接收图像块，可通过卷积及池化运算从第一特征提取层L1生成1/4尺寸的初始特征映射f1。接着，可通过第一稠密连接模块denseblock1和第一过渡运算transitionl及第二稠密连接模块denseblock2和第二过渡运算transition2从第二特征提取层L2生成1/16尺寸的中间特征映射f2。随后，可依次通过第三稠密连接模块denseblock3和第三过渡运算transition3、第四稠密连接模块denseblock4、1×1卷积从第三特征提取层L3生成1/16尺寸的最终特征映射f3。然后，可通过平均池化输出用于判断是否疾病的评分。
另一方面，上述分割架构260可利用上述分类神经网络200生成的各个特征执行分割。
更详细地，卷积子架构261包括的各个卷积节点510可对从与其相应的特征提取层输入的特征映射执行预定方式的至少一个卷积。在图9的示例中，第一卷积节点262-1可对从与其相应的第一特征提取层L1输入的特征映射f1执行1×1卷积。第二卷积节点262-2可对从与其相应的第二特征提取层L2输入的特征映射f2执行1×1卷积、间距6的3×3膨胀卷积、间距12的3×3膨胀卷积、间距18的3×3膨胀卷积来生成4个卷积结果(特征)。第三卷积节点262-3可对从与其相应的第三特征提取层L3输入的特征映射f3进行2倍上采样后执行1×1卷积。
另一方面，上述分割子架构263可接收上述卷积子架构261生成的结果并执行预定运算。在图9的示例中，上述分割子架构263可结合(concatenate)所有第二卷积节点511-2及第三卷积节点511-3生成的卷积结果(特征)来执行1×1卷积，向其结合第一卷积节点511-1生成的卷积结果(特征)后，可执行3×3卷积。
随后，上述裁剪子架构264可执行中心裁剪。
如上所述，本发明可利用具有上述技术特征的神经网络来提高分割的精确度。众所周知，在通常情况下，神经网络为了提高分割精确度而需要从输入数据提取特征，在训练之前，应根据经验设定好神经网络的初始加权值来执行训练。然而，在本发明技术思想中，分割架构具有基于分类神经网络指定的结构，分割通过分割架构结合方式的神经网络执行，由此，在图像块级别分类过程中提取的特征可有效反映输入数据的特征。因此，具有能够将其直接用于分割过程来提高分割精确度的效果。
另一方面，在本说明书中，虽然主要说明了本发明的技术思想应用于前列腺癌的一例，但是，除特定组织外，考虑到相应组织及周围组织的状态，当本发明技术思想应用于需要诊断上述特定组织的其他疾病时，可实现精确的诊断，因此，本发明所属技术领域的普通技术人员可轻松推导。
另一方面，根据实例，上述诊断系统100可包括：处理器；以及存储器，用于存储上述处理器执行的程序。上述处理器可包括单核处理器及多核处理器。存储器可包括高速随机存取存储器、一个以上磁盘存储装置、闪存装置或其他非易失性固态存储装置等非易失性存储器。处理器及其他结构要素对存储器的访问可通过存储控制器来控制。
另一方面，本发明实施例的通过多相模型及神经网络的诊断方法可由计算机可读程序指令实现并存储在计算机可读记录介质中，本发明实施例的控制程序及对象程序也可存储在计算机可读记录介质。计算机可读记录介质包括用于存储计算机系统可读数据的所有类型记录装置。
存储在记录介质的程序指令为用于本发明而特别设计的，或者，也可以为软件领域的普通技术人员能够使用的已知程序指令。
例如，计算机可读记录介质包括硬盘、软盘及磁盘等磁性介质、CD-ROM及DVD等光记录介质、光磁软盘(floptical disk)等磁光介质(magneto-optical medium)及只读存储器(ROM)、随机存取存储器(RAM)、闪存等用于存储并执行程序指令的硬件装置。并且，计算机可读记录介质分散在通过网络连接的计算机系统，可存储并执行计算机通过分散方式读取的代码。
除由编译器生成的机器代码外，程序指令包括由使用解释器等以电子方式处理信息的装置，例如，包括计算机能够执行的高级语言代码。
为了执行本发明的工作，上述硬件装置可作为一个以上软件模块进行工作，反之亦然。
本发明的以上说明仅用于示例，应当理解的是，本发明所属技术领域的普通技术人员可在不改变本发明技术思想或基本特征的情况下轻易改变其他实施方式。因此，以上说明的实施例在所有层面上仅为示例，不应理解为限定含义。例如，被说明为单一型的各个结构要素可被分散实施，同样，分散的结构要素也可通过结合方式实施。
相比于上述详细说明，本发明的范畴应基于发明要求保护范围表示，发明要求保护范围的含义、范围及从与其等同概念导出的所有变更或变形的实施方式均属于本发明的范畴。
产业上的可利用性
本发明可用于利用多相生物图像学习的神经网络的疾病诊断方法及执行其的疾病诊断系统。

Claims (15)

1.一种方法，其特征在于，包括如下步骤：
通过利用神经网络的诊断系统生成利用生物图像预测规定疾病的相关诊断结果的诊断神经网络；
通过上述利用神经网络的诊断系统获得多个训练用生物图像，在上述多个训练用生物图像分别标记有与其相应的上述疾病的相关诊断结果；以及
通过上述利用神经网络的诊断系统利用上述多个训练用生物图像来训练上述诊断神经网络，
训练上述诊断神经网络的步骤分别对上述多个训练用生物图像执行如下步骤：
步骤(a)，向上述训练用生物图像插入具有不同特性的噪声来生成与上述训练用生物图像相应的K个噪声插入图像，上述K为2以上的整数；以及
步骤(b)，向上述诊断神经网络输入与上述训练用生物图像相应的K个噪声插入图像来训练上述诊断神经网络。
2.根据权利要求1所述的方法，其特征在于，上述步骤(b)包括如下步骤：
连接所有与上述训练用生物图像相应的K个噪声插入图像生成与上述训练用生物图像相应的一个训练数据，与上述训练用生物图像相应的训练数据被标记为上述训练用生物图像的相关诊断结果；以及
向上述诊断神经网络输入与上述训练用生物图像相应的训练数据来训练上述诊断神经网络。
3.根据权利要求1所述的方法，其特征在于，
还包括诊断步骤，
上述诊断步骤包括如下步骤：
获得通过图像传感器连续拍摄的K个诊断对象生物图像；以及
向上述诊断神经网络输入上述K个诊断对象生物图像来预测上述疾病的相关诊断结果。
4.根据权利要求3所述的方法，其特征在于，
上述诊断步骤还包括如下步骤，基于上述K个诊断对象生物图像判断上述图像传感器是否移动，
向上述诊断神经网络输入上述K个诊断对象生物图像来预测上述疾病的相关诊断结果的步骤包括如下步骤，当判断上述图像传感器没有移动时，向上述诊断神经网络输入上述K个诊断对象生物图像来预测上述疾病的相关诊断结果。
5.根据权利要求2所述的方法，其特征在于，
上述方法还包括诊断步骤，
上述诊断步骤包括如下步骤：
获得通过图像传感器连续拍摄的K个诊断对象生物图像；
连接所有上述K个诊断对象生物图像来生成一个诊断对象数据；以及
向上述诊断神经网络输入上述诊断对象数据来预测上述疾病的相关诊断结果。
6.根据权利要求5所述的方法，其特征在于，
上述诊断神经网络为分割神经网络，通过输入层接收上述诊断对象数据来指定上述诊断对象生物图像中存在疾病的区域，
上述分割神经网络包括：
分类神经网络，通过输入层接收上述诊断对象数据来输出上述生物图像是否存在上述疾病的分类结果；以及
分割架构，通过接收上述分类神经网络包括的隐藏层中的两个以上特征映射提取层分别生成的特征映射来指定上述生物图像中存在疾病的区域。
7.根据权利要求6所述的方法，其特征在于，上述分割架构包括：
卷积子架构，包括分别与上述两个以上特征提取层相对应的卷积节点，上述卷积节点分别对从与其相应的特征提取层输入的特征映射执行卷积或两次以上的不同卷积；以及
分割子架构，基于上述卷积子架构生成的卷积结果指定图像块中存在疾病的区域。
8.根据权利要求1所述的方法，其特征在于，上述疾病为前列腺癌。
9.一种计算机程序，其特征在于，为了执行根据权利要求1至8中任一项所述的方法而存储于设置在数据处理装置的计算机可读介质。
10.一种利用神经网络的诊断系统，其特征在于，包括：
处理器；以及
存储器，用于存储计算机程序，
当上述处理器执行上述计算机程序时，使得上述利用神经网络的诊断系统执行根据权利要求1至8中任一项所述的方法。
11.一种利用神经网络的诊断系统，其特征在于，包括：
存储模块，用于存储利用生物图像预测规定疾病的相关诊断结果的诊断神经网络；
获取模块，用于获取多个训练用生物图像，上述多个训练用生物图像分别被标记有与其相应的上述疾病的相关诊断结果；以及
学习模块，利用上述多个训练用生物图像训练上述诊断神经网络，
上述学习模块分别对上述多个训练用生物图像执行如下步骤：
步骤(a)，向上述训练用生物图像插入具有不同特性的噪声来生成与上述训练用生物图像相应的K个噪声插入图像，上述K为2以上的整数；以及
步骤(b)，向上述诊断神经网络输入与上述训练用生物图像相应的K个噪声插入图像来训练上述诊断神经网络。
12.根据权利要求11所述的利用神经网络的诊断系统，其特征在于，上述步骤(b)包括如下步骤：
连接所有与上述训练用生物图像相应的K个噪声插入图像生成与上述训练用生物图像相应的一个训练数据，与上述训练用生物图像相应的训练数据被标记为上述训练用生物图像的相关诊断结果；以及
向上述诊断神经网络输入与上述训练用生物图像相应的训练数据来训练上述诊断神经网络。
13.根据权利要求11所述的利用神经网络的诊断系统，其特征在于，上述利用神经网络的诊断系统还包括诊断模块，获得通过图像传感器连续拍摄的K个诊断对象生物图像，向上述诊断神经网络输入上述K个诊断对象生物图像来预测上述疾病的相关诊断结果。
14.根据权利要求13所述的利用神经网络的诊断系统，其特征在于，上述诊断模块基于上述K个诊断对象生物图像判断上述图像传感器是否移动，当判断上述图像传感器没有移动时，向上述诊断神经网络输入上述K个诊断对象生物图像来预测上述疾病的相关诊断结果。
15.根据权利要求12所述的利用神经网络的诊断系统，其特征在于，上述利用神经网络的诊断系统还包括诊断模块，获得通过图像传感器连续拍摄的K个诊断对象生物图像，连接所有上述K个诊断对象生物图像来生成一个诊断对象数据，通过向上述诊断神经网络输入上述诊断对象数据来预测上述疾病的相关诊断结果。
CN202080104657.6A 2020-07-23 2020-07-23 利用多相生物图像学习的利用神经网络的疾病诊断方法及执行其的疾病诊断系统 Pending CN116114027A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/009720 WO2022019355A1 (ko) 2020-07-23 2020-07-23 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템

Publications (1)

Publication Number Publication Date
CN116114027A true CN116114027A (zh) 2023-05-12

Family

ID=79728753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080104657.6A Pending CN116114027A (zh) 2020-07-23 2020-07-23 利用多相生物图像学习的利用神经网络的疾病诊断方法及执行其的疾病诊断系统

Country Status (5)

Country Link
US (1) US20230289957A1 (zh)
EP (1) EP4170677A4 (zh)
JP (1) JP2023535144A (zh)
CN (1) CN116114027A (zh)
WO (1) WO2022019355A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115831356B (zh) * 2023-02-20 2024-02-27 中国海洋大学 一种基于人工智能算法的辅助预测诊断方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189589A (ja) * 2006-01-16 2007-07-26 Sony Corp 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム
US10417525B2 (en) 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
KR101944536B1 (ko) * 2016-12-11 2019-02-01 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법
KR101898575B1 (ko) * 2018-01-18 2018-09-13 주식회사 뷰노 진행성 병변에 대한 미래 상태를 예측하는 방법 및 이를 이용한 장치
KR101919866B1 (ko) * 2018-02-22 2018-11-19 주식회사 뷰노 뼈 스캔 영상에서 암 전이 여부의 판정을 지원하는 방법 및 이를 이용한 장치
EP3776458B1 (en) * 2018-04-12 2022-05-04 Google LLC Augmented reality microscope for pathology with overlay of quantitative biomarker data
KR102174379B1 (ko) * 2018-08-27 2020-11-04 주식회사 딥바이오 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법
KR102226897B1 (ko) * 2019-01-25 2021-03-11 주식회사 딥바이오 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
CN110633758A (zh) * 2019-09-20 2019-12-31 四川长虹电器股份有限公司 针对小样本或样本不平衡的癌症区域检测定位的方法

Also Published As

Publication number Publication date
EP4170677A1 (en) 2023-04-26
WO2022019355A1 (ko) 2022-01-27
EP4170677A4 (en) 2024-03-27
JP2023535144A (ja) 2023-08-16
US20230289957A1 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
CN110689038A (zh) 神经网络模型的训练方法、装置和医学图像处理系统
US20090092299A1 (en) System and Method for Joint Classification Using Feature Space Cluster Labels
KR102236948B1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
US20210248745A1 (en) System and method for diagnosing disease using neural network performing segmentation
CN114445670B (zh) 图像处理模型的训练方法、装置、设备及存储介质
CN112889116A (zh) 检索病理图像的系统及方法
WO2021032062A1 (zh) 图像处理模型生成方法、图像处理方法、装置及电子设备
CN111275686A (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
WO2023221697A1 (zh) 图像识别模型的训练方法、装置、设备、介质
CN112037212A (zh) 一种基于深度学习的肺结核dr影像识别方法
JP7299658B2 (ja) ニューラルネットワーク及び非局所的ブロックを用いてセグメンテーションを行う疾病診断システム及び方法
CN113536697A (zh) 一种基于改进残差网络和wgan的轴承剩余寿命预测方法
CN114758137A (zh) 超声图像分割方法、装置及计算机可读存储介质
EP4290527A1 (en) Bladder lesion diagnosis method using neural network, and system thereof
CN115331146A (zh) 一种基于数据增强与特征融合的微小目标自适应检测方法
CN115205192A (zh) 根据头部ct图像的自动出血扩张检测
CN116114027A (zh) 利用多相生物图像学习的利用神经网络的疾病诊断方法及执行其的疾病诊断系统
KR102226897B1 (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
KR102446638B1 (ko) 유방암 병변 영역을 판별하기 위한 인공 신경망을 학습하기 위한 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
JP2024504958A (ja) 組織検体画像の生成方法、及びこれを行うコンピューティングシステム
CN111598144A (zh) 图像识别模型的训练方法和装置
EP4170678A1 (en) Method for annotating pathogenic site of disease by means of semi-supervised learning, and diagnosis system for performing same
CN113239978B (zh) 医学图像预处理模型与分析模型的相关方法和装置
CN113706449B (zh) 基于病理图像的细胞分析方法、装置、设备及存储介质
US20240156416A1 (en) Prognosis prediction method using result of disease diagnosis through neural network and system therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination