CN115699024A - 疾病严重程度判断用神经网络学习方法及系统 - Google Patents

疾病严重程度判断用神经网络学习方法及系统 Download PDF

Info

Publication number
CN115699024A
CN115699024A CN202180040649.4A CN202180040649A CN115699024A CN 115699024 A CN115699024 A CN 115699024A CN 202180040649 A CN202180040649 A CN 202180040649A CN 115699024 A CN115699024 A CN 115699024A
Authority
CN
China
Prior art keywords
learning
image
neural network
pathological section
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180040649.4A
Other languages
English (en)
Inventor
金善禹
郭兑荣
张鏸允
文礼赞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
One Hundred Euro Ltd
Original Assignee
One Hundred Euro Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by One Hundred Euro Ltd filed Critical One Hundred Euro Ltd
Publication of CN115699024A publication Critical patent/CN115699024A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及疾病严重程度判断用神经网络学习方法及系统，更详细地，涉及可利用赋予疾病严重程度标记(标签)的病理切片图像有效学习执行图像小片单位的疾病严重程度诊断的神经网络的方法及系统。

Description

疾病严重程度判断用神经网络学习方法及系统
技术领域
本发明涉及疾病严重程度判断用神经网络学习方法及系统，更详细地，涉及可利用赋予疾病严重程度标记(标签)的病理切片图像有效学习执行图像小片单位的疾病严重程度诊断的神经网络的方法及系统。
背景技术
近来，随着机器学习的发展，积极尝试通过计算机系统自动执行识别或分类图像等的业务。尤其，尝试了利用机器学习之一的神经网络(例如，利用卷积神经网络(Convolution Neural Network，CNN)的深度学习方式)来使人执行的各种分类或判断实现自动化，通过利用将神经网络(例如，CNN)用在其中的深度学习来读取生物图像(例如，患者的生物组织切片)，从而执行判断特定疾病的状态或征兆的诊断，这是代表性的一例。
基于生物组织图像等病理-切片-图像(Whole-Slide-Image)的分析自动判断疾病严重程度(例如，前列腺癌的格利森评分(Gleason score)、格利森等级组(Gleason gradegroup)、膀胱癌或乳腺癌等级(grade)等)的疾病严重程度诊断仪可提高患者的预后判断等病理诊断工作的生产性。
利用神经网络的疾病严重程度诊断仪大致可通过两种方式开发。第一方式为仅通过端到端(End-to-End)切片单元的疾病严重程度信息开发疾病严重程度诊断仪(切片单位的疾病严重程度诊断方式)。这是一种通过提取区域单位的特征并利用综合信息以切片单位诊断疾病严重程度的方式。虽然切片单位的疾病严重程度诊断方式存在只需切片单位的疾病严重程度信息即可学习神经网络而无需区域单位的疾病严重程度标记信息的优点，但是，存在切片单位的诊断结果相关解释力较弱且准确率较低的缺点。第二方式为分别开发图像小片(将切片分割为规定尺寸的区域)单位疾病严重程度诊断仪及切片单位疾病严重程度诊断仪的方式。这是一种通过综合区域单位的疾病严重程度诊断结果来诊断切片单位的疾病严重程度的方式。虽然这种方式可提高切片单位的诊断结果相关解释力，但是，存在为了学习神经网络而需要图像小片单位疾病严重程度标记信息的缺点。
另一方面，通常由医生执行诊断的病理切片未赋予有病变区域相关信息，但是，可赋予有病变有无信息。作为仅以对于病理切片的病变有无信息检测病变区域的检测器学习方法中的一个有称为“多实例学习(Multiple Instance Learning)”的学习方法。
以下，参照图1a及图1c说明本发明背景技术之一的多实例学习。
与将一个实例(instance)用作学习单位的单个实例学习不同，在多实例学习中，将作为实例的集合的实例包(Bag)作为学习单位。因此，在单个实例学习中，将对实例标上标签，相反在多实例学习中，将对实例包标上标签，而不是实例。除了学习单位层面之外，多实例学习与单个实例学习相似，但有如下的局限性。即，在执行二进制分类的过程中，若实例包为肯定(positive)，则存在于实例包的实例中的一个以上为肯定，若实例包为否定(negative)，则存在于实例包的所有实例为否定。
由于这种特征，多实例学习可用于利用神经网络从病理整体-切片-图像(WholeSlide Image)诊断病变的领域。为了学习诊断病变的神经网络，将使用按规定大小划分整体-切片-图像的图像图像小片来作为学习数据，而不是整体-切片-图像，这是因为与是否病变相关的信息(即，标签)存在于整体-切片-图像，而不是图像小片单位。
图1a为示出用于多实例学习的学习数据的一例的图。图1示出分别包含N个数据实例的M个实例包(B1至BM)。图1中，实例包Bi的标签被标为Li(其中，i为1≤i≤M的任意整数)，数据实例Dij为包含在实例包Bi中的第j个实例(其中，j为1≤j≤N的任意整数)。
图1b为示出表示通过多实例学习方法学习神经网络(NN)的步骤的一例的伪码(pseudo code)的图。图1b示出对学习数据学习1轮次(epoch)的步骤，在实际学习步骤中，可进行多轮次的学习。在图1b中，假设以图1a中所示的学习数据进行学习。
参照图1b，在多实例学习中，首先将执行步骤S10，即从各个实例包B1至BM提取学习数据实例T1至TM的步骤，之后将执行步骤S20，以所提取的学习数据实例训练神经网络(NN)。
若对步骤S10进行更详细的说明，则对实例包Bi执行如下的步骤(其中，i为1≤i≤M的任意整数)。
当前正在进行学习的神经网络(NN)将通过输入实例包Bi内的各个数据实例来计算相应实例为肯定(positive；例如，存在病变)的可能性(步骤S11、步骤S12)。
在实例包Bi内的所有数据实例中，将该数据实例的肯定可能性最大的数据实例Dik确定为学习数据实例Ti(步骤S13)，学习数据实例Ti的标签将成为向实例包Bi赋予的标签(步骤S14)。
在以上说明的现有多实例学习中，由于对一个实例包提取一个实例来用于学习，因而存在需要用大量的实例包来提高神经网络的性能的问题。例如，为了在用于检测病变的神经网络中利用现有的多实例学习，需要有大量的标有与是否存在病变相关的标志的整体-切片-图像。
并且，如上所述，在多实例学习中，由于将在学习数据实例的提取步骤中使用完成学习之前的神经网络，因而存在会在从一个实例包提取多个数据实例的情况下导致提取错误实例的可能性变高的问题。
发明内容
技术问题
本发明所要实现的技术目的在于，提供可利用赋予疾病严重程度标记(标签)的病理切片图像有效学习执行图像小片单位疾病严重程度诊断的神经网络的方法及系统，以便克服开发利用神经网络的疾病严重程度诊断仪的现有方式所存在的如下问题，即，i)在仅以切片单位疾病严重程度信息学习神经网络的情况下，诊断准确度降低，ii)为了学习执行图像小片单位疾病严重程度诊断的神经网络而需要图像小片单位疾病严重程度标记信息。
技术方案
本发明一实施方式提供的疾病严重程度判断用神经网络学习系统包括：病变判断用神经网络，当输入将病理切片图像分割为规定单位尺寸的各个图像小片时，作为已学习的神经网络输出用于判断在所输入的图像小片是否存在规定疾病引起的病变的判断结果；存储模块，用于存储疾病严重程度判断用神经网络，上述疾病严重程度判断用神经网络基于上述病理切片图像判断上述疾病严重程度；疾病严重程度判断用神经网络学习模块，基于规定的学习用图像学习上述疾病严重程度判断用神经网络；以及控制模块，用于控制上述疾病严重程度判断用神经网络学习模块，使得其分别针对标有上述疾病严重程度的多个病理切片图像，基于上述病理切片图像学习上述疾病严重程度判断用神经网络，上述疾病严重程度判断用神经网络学习模块包括：特征提取模块，用于从将上述学习用图像分割为上述单位尺寸的多个图像小片中分别提取在接收上述图像小片的上述病变判断用神经网络输出上述图像小片相关判断结果的过程中生成的特征；特征图生成模块，基于分别与构成上述学习用图像的上述多个图像小片相应的特征生成上述学习用图像相应的特征图；标签模块，基于上述学习用图像的严重程度标签对上述学习用图像相应的特征图进行标记；以及学习模块，向上述疾病严重程度判断用神经网络输入上述学习用图像相应的特征图来学习上述疾病严重程度判断用神经网络。
在本发明一实施例中，上述病变判断用神经网络通过病变判断用神经网络学习方法预先学习，上述病变判断用神经网络学习方法由病变判断用神经网络学习系统执行，上述病变判断用神经网络学习系统包括自动编码器，当输入具有上述单位尺寸的图像时，判断不存在上述疾病引起的病变的第一状态，还是存在上述疾病引起的病变的第二状态，上述病变判断用神经网络学习方法包括如下步骤：分别从标有上述第一状态或上述第二状态中的任一个标签的多个预学习用病理切片图像中，提取构成上述预学习用病理切片图像的图像小片中的一部分作为预学习用图像小片；以及基于分别与上述多个学习用图像相应的预学习用图像小片学习上述病变判断用神经网络，提取构成上述预学习用病理切片图像的图像小片中的一部分作为预学习用图像小片的步骤可包括如下步骤：向正在学习的上述病变判断用神经网络输入构成上述预学习用病理切片图像的各个预学习用图像小片，来计算各个图像小片构成上述预学习用病理切片图像的可能性；以及基于各个图像小片构成上述预学习用病理切片图像的可能性及上述自动编码器对于构成上述预学习用病理切片图像的各个图像小片中的至少一部分的判断结果来将构成上述预学习用病理切片图像的各个图像小片中的一部分判断为预学习用图像小片。
在本发明一实施例中，上述自动编码器仅通过正常图像小片进行预先学习，上述正常图像小片具有上述单位尺寸并不包括上述疾病引起的病变，基于各个图像小片构成上述预学习用病理切片图像的可能性及上述自动编码器对于构成上述预学习用病理切片图像的各个图像小片中的至少一部分的判断结果来将构成上述预学习用病理切片图像的各个图像小片中的一部分判断为预学习用图像小片的步骤可包括如下步骤：在上述预学习用病理切片图像被标为第一状态的情况下，按照从属于第二状态的可能性最高的图像小片到属于第二状态的可能性降低的图像小片的顺序向上述自动编码器进行输入来将被上述自动编码器判断为第一状态的前一部分图像小片判断成与上述学习用图像相对应的学习用图像小片；以及在上述预学习用病理切片图像被标记为第二状态的情况下，按照从属于第二状态的可能性最高的图像小片到属于第二状态的可能性降低的图像小片的顺序向上述自动编码器进行输入来将被上述自动编码器判断为第二状态的前一部分图像小片判断成与上述学习用图像相对应的学习用图像小片。
本发明再一实施方式提供的疾病严重程度判断用神经网络学习方法由计算系统执行，上述计算系统包括：病变判断用神经网络，当输入将病理切片图像分割为规定单位尺寸的各个图像小片时，作为已学习的神经网络输出用于判断在所输入的图像小片是否存在规定疾病引起的病变的判断结果；以及疾病严重程度判断用神经网络，基于上述病理切片图像判断上述疾病严重程度，上述疾病严重程度判断用神经网络学习方法包括如下步骤：获得分别标有上述疾病严重程度的多个病理切片图像；以及针对上述多个病理切片图像，分别基于上述病理切片图像学习上述疾病严重程度判断用神经网络，基于上述病理切片图像学习上述疾病严重程度判断用神经网络的步骤包括如下步骤：从将上述学习用图像分割为上述单位尺寸的多个图像小片中分别提取在接收上述图像小片的上述病变判断用神经网络输出上述图像小片相关判断结果的过程中生成的特征；基于分别与构成上述病理切片图像的上述多个图像小片相应的特征生成与上述病理切片图像相应的特征图；基于上述病理切片图像的严重程度标签对与上述病理切片图像相应的特征图进行标记；以及向上述疾病严重程度判断用神经网络输入与上述病理切片图像相应的特征图来学习上述疾病严重程度判断用神经网络。
在本发明一实施例中，上述病变判断用神经网络通过病变判断用神经网络学习方法预先学习，上述病变判断用神经网络学习方法由病变判断用神经网络学习系统执行，上述病变判断用神经网络学习系统包括自动编码器，当输入具有上述单位尺寸的图像时，判断不存在上述疾病引起的病变的第一状态，还是存在上述疾病引起的病变的第二状态，上述病变判断用神经网络学习方法包括如下步骤：分别从标有上述第一状态或上述第二状态中的任一个标签的多个预学习用病理切片图像中提取构成上述预学习用病理切片图像的图像小片中的一部分作为预学习用图像小片；以及基于分别与上述多个学习用图像相应的预学习用图像小片学习上述病变判断用神经网络，提取构成上述预学习用病理切片图像的图像小片中的一部分作为预学习用图像小片的步骤可包括如下步骤：向正在学习的上述病变判断用神经网络输入构成上述预学习用病理切片图像的各个预学习用图像小片，来计算各个图像小片构成上述预学习用病理切片图像的可能性；以及基于各个图像小片构成上述预学习用病理切片图像的可能性及上述自动编码器对于构成上述预学习用病理切片图像的各个图像小片中的至少一部分的判断结果来将构成上述预学习用病理切片图像的各个图像小片中的一部分判断为预学习用图像小片。
在本发明一实施例中，上述自动编码器仅通过正常图像小片进行预先学习，上述正常图像小片具有上述单位尺寸并不包括上述疾病引起的病变，基于各个图像小片构成上述预学习用病理切片图像的可能性及上述自动编码器对于构成上述预学习用病理切片图像的各个图像小片中的至少一部分的判断结果来将构成上述预学习用病理切片图像的各个图像小片中的一部分判断为预学习用图像小片的步骤可包括如下步骤：在上述预学习用病理切片图像被标为第一状态的情况下，按照从属于第二状态的可能性最高的图像小片到属于第二状态的可能性降低的图像小片的顺序向上述自动编码器进行输入来将被上述自动编码器判断为第一状态的前一部分图像小片判断成与上述学习用图像相对应的学习用图像小片；以及在上述预学习用病理切片图像被标为第二状态的情况下，按照从属于第二状态的可能性最高的图像小片到属于第二状态的可能性降低的图像小片的顺序向上述自动编码器进行输入来将被上述自动编码器判断为第二状态的前一部分图像小片判断成与上述学习用图像相对应的学习用图像小片。
本发明还有一实施方式提供设置于数据处理装置来执行上述方法的记录在介质的计算机程序。
本发明另一实施方式提供记录有用于执行上述方法的计算机程序的计算机可读记录介质。
本发明又一实施方式提供的计算系统包括处理器及存储器，在通过上述处理器运行上述存储器的情况下，上述计算系统执行上述方法。
本发明又一实施方式提供的利用神经网络的疾病严重程度诊断系统包括：上述病变判断用神经网络；以及神经网络存储模块，用于存储基于上述疾病严重程度判断用神经网络学习方法学习的疾病严重程度判断用神经网络；诊断特征提取模块，用于从将判断对象病理切片图像分割为多个的诊断图像小片中分别提取在接收上述诊断图像小片的上述病变判断用神经网络输出上述诊断图像小片相关判断结果的过程中生成的特征；以及疾病严重程度输出模块，向上述疾病严重程度判断用神经网络输入基于分别与构成上述判断对象病理切片图像的上述多个诊断图像小片相应的特征生成的特征图来输出上述疾病严重程度判断用神经网络的诊断结果。
在本发明一实施例中，疾病严重程度诊断系统还可包括病变区域输出模块，基于分别通过接收上述多个诊断图像小片的上述病变判断用神经网络获得的上述多个诊断图像小片相关判断结果，输出上述判断对象图像的热图。
发明的效果
根据本发明的技术思想，可提供能够利用赋予疾病严重程度标记(标签)的病理切片图像有效学习执行图像小片单位疾病严重程度诊断的神经网络的方法及系统。
并且，具有如下效果，即，可利用自动编码器及多实例学习方法仅以少量的学习数据即可提高神经网络的性能。
附图说明
以下，简单说明各个附图，以便充分理解本发明的具体说明所引用的附图。
图1a为示出用于多实例学习的学习数据的一例的图。
图1b为示出表示通过多实例学习方法学习神经网络的步骤的一例的伪码(pseudocode)的图。
图2为用于说明本发明技术思想的疾病严重程度判断用神经网络的学习方法的大致流程的图。
图3为简要示出包括通过本发明技术思想的疾病严重程度判断用神经网络的学习方法学习的疾病严重程度判断用神经网络在内的切片单位诊断仪的工作方式的一例的图。
图4为示出本发明一实施例的疾病严重程度判断用神经网络学习系统的简要结构的框图。
图5为简要示出本发明一实施例的疾病严重程度判断用神经网络学习系统包括的疾病严重程度判断用神经网络学习模块的结构的框图。
图6为示出本发明一实施例的疾病严重程度判断用神经网络学习方法的一例的流程图。
图7为示出包括完成学习的疾病严重程度判断用神经网络的判断系统的简要结构的图。
图8为示出本发明一实施例的用于执行病变判断用神经网络学习方法的病变判断用神经网络学习系统的简要结构的图。
图9为简要示出用于病变判断用神经网络学习方法的自动编码器的结构的图。
图10为示出本发明一实施例的病变判断用神经网络学习系统提取学习用数据实例的方法一例的图。
图11为示出图10的步骤S220的具体过程的一例的图。
图12为示出图11的步骤S221的具体过程的一例的图。
具体实施方式
本发明可产生多种变形，可有多种实施例，将在附图中例示多个特定实施例并在详细说明部分进行详细说明。但是，这并不意味着将本发明限定于特定实施方式，应理解为包括本发明的思想及技术范围中所包含的所有变形实施方式、等同实施方式以及代替实施方式。在对本发明进行说明的过程中，若判断对于相关公知技术的具体说明有可能使本发明的主旨变得模糊，则省略其详细说明。
“第一”、“第二”等的术语可用于说明多种结构要素，但上述结构要素并不限定于上述术语。上述术语仅用于区分一个结构要素和其他结构要素。
在本申请中使用的术语仅用于说明特定实施例，并不用于限定本发明。只要未在文中明确指出其他含义，则单数的表达包括复数的表达。
在本说明书中，“包括”或“具有”等的术语用于表示说明书中所记述的特征、数字、步骤、动作、结构要素、部件或它们的组合的存在，应理解为并不预先排除一个或一个以上的其他特征、数字、步骤、动作、结构要素、部件或它们的组合的存在或添加可能性。
并且，在本说明书中，在一个结构要素向其他结构要素“传送”数据的情况下，意味着上述结构要素可直接向上述其他结构要素传送数据，还可通过至少一个另外的结构要素向上述其他结构要素传送数据。相反，在一个结构要素向其他结构要素“直接传送”数据的情况下，意味着以不经过另外的结构要素的方式从上述结构要素向上述其他结构要素传送上述数据。
以下，参照附图并以本发明的多个实施例为中心来详细说明本发明。各个附图中的相同的附图标记表示相同的部件。
在本说明书中，神经网络包括多层感知器模型，可意味着表示定义人工神经网络的一连串设计事项的信息的集合。
在一实施例中，上述神经网络可以是卷积神经网络。众所周知，卷积神经网络可包括输入层、多个隐藏层以及输出层。多个隐藏层可分别包括卷积层及池化层(或子采样层)。
卷积神经网络可根据用于定义各自的层的函数、滤波、步长(stride)、权重因数等来定义。并且，输出层可被定义为全连接(fully connected)的前馈层(FeedForwardlayer)。
构成卷积神经网络的各个层的设计事项已广为知晓。例如，可对多个层中所包括的层的数量、用于定义多个上述层的卷积函数、池化函数、激活函数可分别采用已公知的多个函数，也可采用为了体现本发明的技术思想而单独定义的多个函数。
卷积函数的一例有离散卷积(卷积和)等。池化函数的一例有最大池化(maxpooling)、平均池化(average pooling)等。激活函数的一例可有sigmoid、tanh、ReLU(rectified linear unit)等。
若这些卷积神经网络的设计事项被定义，则可将设计事项被定义的卷积神经网络存储于存储装置。而且，若上述卷积神经网络进行学习，则与各个层相对应的权重因数可被特定。
即，卷积神经网络的学习可意味着各个层的多个权重因数被确定的程序。而且，若卷积神经网络进行学习，则学习后的卷积神经网络可在输入层接收输入数据，可通过预先定义的输出层输出输出数据。
本发明实施例的神经网络可通过选择如上所述的广为知晓的多个设计事项中的任一个或多个来定义，也可为了上述神经网络而定义单个设计事项。
上述神经网络可以为用于输入数据分类(classification)的分类神经网络。分类神经网络可以为用于将输入数据的判断结果分类为预先定义的n个(n为2以上的整数)结果中的一个的神经网络。
根据本发明的技术思想，通过疾病严重程度判断用神经网络学习方法学习的疾病严重程度判断用神经网络可以为用于从病理切片图像中判断规定疾病严重程度的神经网络。疾病严重程度用于离散区分疾病的严重程度，可根据疾病的种类预先定义，例如，疾病严重程度可根据疾病的种类分为前列腺癌的格利森评分(Gleason score)、格利森等级组(Gleason grade group)、膀胱癌或乳腺癌等级(grade)等。
图2为用于说明本发明技术思想的疾病严重程度判断用神经网络的学习方法的大致流程的图。
参照图2，可为了实现本发明技术思想的疾病严重程度判断用神经网络112的学习方法而需要设置有已学习的病变判断用神经网络111。若输入图像小片(例如，10-1)，则上述病变判断用神经网111可输出在图像小片10-1是否存在因规定疾病引起的病变的判断结果，可以为在执行上述疾病严重程度判断用神经网络112的学习过程前已学习的神经网络。其中，图像小片(例如，10-1)可以为将病理切片图像10(例如，组织切片图像)分割成规定单位尺寸的部分图像。
如图2所示，若学习用病理切片图像10以图像小片单位输入，则上述病变判断用神经网络111可输出在各个图像小片是否存在病变的判断结果。
另一方面，在上述病变判断用神经网络111输出各个图像小片是否存在病变的判断结果过程中，可在上述病变判断用神经网络111内生成与所输入的图像小片相应的特征，可合并构成上述学习用病理切片图像10的各个图像小片特征来生成与学习用病理切片图像10相应的特征图20。例如，学习用病理切片10可分割x行及y列形成各个图像小片，若各个图像小片的特征为z维，则上述特征图20可以为x*y*z维的数据，合并的各个特征之间的相对位置可以与其相应的各个图像小片之间的相对位置相同。
以这种方式生成的学习用病理切片图像10相应的特征图20可被标为上述学习用病理切片图像10的标签11。即，学习用病理切片图像10相应的特征图20的标签21可设定为与学习用病理切片图像10的标签11相同。
随后，被赋予标签21的特征图20输入于上述疾病严重程度判断用神经网络112，可用于学习上述疾病严重程度判断用神经网络112。
已学习的疾病严重程度判断用神经网络112可应用于切片单位疾病严重程度诊断仪，图3为简要示出包括通过本发明技术思想的疾病严重程度判断用神经网络的学习方法学习的疾病严重程度判断用神经网络在内的切片单位诊断仪的工作方式的一例的图。
参照图3，若作为诊断对象的诊断对象病理切片图像30被切割成图像小片(例如，30-1)输入于上述病变判断用神经网络111，则上述病变判断用神经网络111可生成各个图像小片的特征。随着合并各个图像小片特征的特征图40输入于上述疾病严重程度判断用神经网络112，上述疾病严重程度判断用神经网络112可输出与上述诊断对象病理切片图像30相应的疾病严重程度判断结果。
另一方面，切片单位疾病严重程度诊断仪可基于上述病变判断用神经网络111输出的在各个图像小片是否存在病变的判断结果输出诊断对象病理切片图像内的病变区域30。
图4为示出本发明一实施例的疾病严重程度判断用神经网络学习系统的简要结构的框图。
本发明技术思想的疾病严重程度判断用神经网络学习方法可由疾病严重程度判断用神经网络学习系统100执行。
上述疾病严重程度判断用神经网络学习系统100可以为计算装置。在本说明书中，计算装置可以为具有运算能力的数据处理装置，除客户端可通过网络访问的数据处理装置外，可包括服务器、个人计算机或移动终端杆等计算装置。
上述疾病严重程度判断用神经网络学习系统100可由一个物理装置实现，但应当理解的是，本发明所属技术领域的普通技术人员可根据需求有机结合多个物理装置来实现本发明技术思想的疾病严重程度判断用神经网络学习系统100。
参照图4，上述疾病严重程度判断用神经网络学习系统100可包括存储模块110、获得模块120、疾病严重程度判断用神经网络学习模块130及控制模块140。根据本发明实施例，在实现本发明的层面上，上述结构要素中的部分结构要素并非必不可少的结构要素，并且，根据实施例，上述神经网络学习系统100也可包括更多的结构要素。
上述控制模块140可控制上述疾病严重程度判断用神经网络学习系统100的其他结构(例如，存储模块110、获得模块120、疾病严重程度判断用神经网络学习模块130等)的功能和/或资源。并且，根据实施例，上述疾病严重程度判断用神经网络学习系统100还可包括数据库150(DB，Database)，用于存储实现本发明技术思想所需的各种信息和/或数据。
上述疾病严重程度判断用神经网络学习系统100可意味着设置有用于实现本发明技术思想所需的硬件资源(resource)和/或软件的逻辑结构，并不意味着一个物理结构或一个装置。即，上述系统100可意味着为了实现本发明技术思想而设置的硬件和/或软件的逻辑结合，根据需要，可在设置在相互隔开的装置并执行各自的功能，也可通过用于实现本发明技术思想的逻辑结构集合来实现。并且，上述系统100也可意味着用于实现本发明技术思想的各个功能或按照作用单独实现的结构集合。例如，存储模块110、获得模块120、疾病严重程度判断用神经网络学习模块130、控制模块140可分别设置在不同的物理装置，也可设置在相同的物理装置。并且，根据实例，当分别构成上述存储模块110、获得模块120、疾病严重程度判断用神经网络学习模块130、控制模块140的软件和/或硬件相结合时，也可设置在不同的物理装置，可通过有机结合设置在不同物理装置的结构来实现各个上述模块。
并且，在本说明书中，模块可意味着用于执行本发明技术思想的硬件及用于驱动上述硬件的软件的功能、结构上的结合。例如，上述模块可意味着规定代码和用于执行上述规定代码的硬件资源(resource)的逻辑单位，本发明所属技术领域的普通技术人员可轻松推导并不意味着物理连接的代码或一种硬件。
上述存储模块110可存储病变判断用神经网络111及疾病严重程度判断用神经网络112。
若输入将病理切片图像分割成规定单位尺寸的图像小片，则上述病变判断用神经网111可输出在所输入的图像小片是否存在因规定疾病引起的病变的判断结果。可以为在执行上述疾病严重程度判断用神经网络112的学习过程前已学习的神经网络。在一实施例中，上述病变判断用神经网络111可以为通过本发明一实施例的基于多实例学习及自动编码器的学习过程学习的神经网络，对于本发明一实施例的基于多实例学习及自动编码器的学习过程，将在后面进行说明。
上述疾病严重程度判断用神经网络112可以为用于从病理切片图像判断规定疾病严重程度的神经网络。更详细地，在上述病变判断用神经网络111针对将病理切片图像分割成上述单位尺寸的各个图像小片进行判断的过程中，上述病变判断用神经网络111可通过接收合并生成特征的特征图来判断所输入的特征图相关严重程度。
上述获得模块120可获得分别标签规定疾病严重程度的多个病理切片图像。
在一实施例中，上述获得模块120可获得存储在数据库150的多个病理切片图像。各个病理切片图像可以为整体-切片-图像。存储在上述数据库150的学习数据可具有是否存在病变的标签。
另一方面，根据实施例，上述获得模块120获得的病理切片图像也可由用户通过外部输入装置输入，而并非上述数据库150，也可以文件方式存储在硬盘驱动器(HDD)或固态驱动器(SDD)等存储装置。
上述疾病严重程度判断用神经网络学习模块130可基于标签有疾病严重程度的一个学习用图像学习上述疾病严重程度判断用神经网络112。
上述控制模块140可控制上述疾病严重程度判断用神经网络学习模块130，使得上述疾病严重程度判断用神经网络学习模块130分别针对标有上述疾病严重程度的多个病理切片图像基于上述病理切片图像学习上述疾病严重程度判断用神经网络。
并且，在一实施例中，上述控制模块140可依次反复执行将上述多个病理切片图像作为学习数据的学习过程(放大)。
图5为简要示出本发明一实施例的疾病严重程度判断用神经网络学习系统100包括的疾病严重程度判断用神经网络学习模块130的结构的框图。
参照图5，上述疾病严重程度判断用神经网络学习模块130可包括特征提取模块131、特征图生成模块132、标签模块133、学习模块134。
上述特征提取模块131可用于从将学习用图像分割为上述单位尺寸的多个图像小片中分别提取在接收上述图像小片的上述病变判断用神经网络111输出上述图像小片相关判断结果的过程中生成的特征。
即，上述特征提取模块131可将所输入的学习用图像分割成具有上述单位尺寸的图像小片，可向上述病变判断用神经网络111输入分割的各个图像小片来使得上述病变判断用神经网络111判断所输入的图像小片。在此情况下，上述特征提取模块131可提取在上述病变判断用神经网络111执行对于图像小片的判断过程中生成的特征。
在一实施例中，上述病变判断用神经网络111可以为多卷积神经网络，包括生成高级特征的高级特征生成层、生成中级特征的中级特征生成层、生成低等级特征的低等级特征生成层，在此情况下，上述特征提取模块131可提取在高级特征生成层、中级特征生成层、低等级特征生成层中的一个层生成的特征。
上述特征图生成模块132可通过合并构成上述学习用图像的上述多个图像小片相应的特征来生成上述学习用图像相应的特征图。例如，学习用病理切片10可分割x行及y列形成各个图像小片，若各个图像小片的特征为z维，则上述特征图生成模块132可生成x*y*z维的特征图，合并的各个特征之间的相对位置可以与其相应的各个图像小片之间的相对位置相同。
上述标签模块133可将上述学习用图像相应的特征图标签为上述学习用图像的严重程度标签。
上述学习模块134可向上述疾病严重程度判断用神经网络112输入上述学习用图像相应的特征图来学习上述疾病严重程度判断用神经网络112。当标签疾病严重程度的一个特征图输入于上述疾病严重程度判断用神经网络112时，上述疾病严重程度判断用神经网络112可生成对其的判断结果，随着所生成的判断结果与输入特征的标签之间的差异通过反向传播方式应用于上述疾病严重程度判断用神经网络112，可学习上述疾病严重程度判断用神经网络112。
图6为示出本发明一实施例的疾病严重程度判断用神经网络学习方法的一例的流程图。
参照图6，上述疾病严重程度判断用神经网络学习系统100可获得分别标签疾病严重程度的R个(R为2以上的整数)病理切片图像I1至IR(步骤S100)。
上述疾病严重程度判断用神经网络学习系统可对作为1到R的各个u执行如下过程。
上述疾病严重程度判断用神经网络学习系统100可将第u个病理切片图像Iu分割为S个(R为2以上的整数)图像小片Hu1至HuS(步骤S120)。如上所述，各个图像小片Hu1至HuS可以为按照病变判断用神经网络111能够接收的图像尺寸分割的图像。
上述疾病严重程度判断用神经网络学习系统100向病变判断用神经网络111输入分割的各个图像小片Hu1至HuS来提取与其相应的特征Fu1至FuS(步骤S130、步骤S140)。
随后，上述疾病严重程度判断用神经网络学习系统100可合并特征Fu1至特征FuS来生成特征图Mu(步骤S150)，可向上述疾病严重程度判断用神经网络112输入标为病理切片图像Iu的标签的特征图Mu来学习。
如上所述，根据本发明技术思想的疾病严重程度判断用神经网络学习方法，若输入图像小片，则可基于从发已学习的病变判断用神经网络生成的特征学习上述疾病严重程度判断用神经网络，从而输出在所输入的图像小片是否存在规定疾病引起的病变的判断结果。然而，在病变判断用神经网络生成图像小片相关判断结果的过程中，由于所生成的特征顺利反映图像小片所具有的抽象特征，因此，可期待已学习的病变判断用神经网络相关性能有所改善的效果。
另一方面，完成学习的疾病严重程度判断用神经网络112可应用于切片单位的疾病严重程度诊断系统。上述疾病严重程度诊断系统可以为诊断辅助装置，输出用于帮助医生判断疾病严重程度的预测结果。
图7为示出包括完成学习的疾病严重程度判断用神经网络112的判断系统200的简要结构的图。
参照图7，利用上述疾病严重程度判断用神经网络的判断系统200可包括神经网络存储模块210、图像小片单位判断模块220、诊断特征图生成模块240及疾病严重程度输出模块250。
上述神经网络存储模块210可存储通过上述疾病严重程度判断用神经网络学习方法学习的疾病严重程度判断用神经网络112。并且，上述神经网络存储模块310还可包括用于上述疾病严重程度判断用神经网络学习方法的病变判断用神经网络111。上述存储模块210可以为能够存储包括神经网络在内的各种信息及数据的存储装置。
上述图像小片单位判断模块220将规定的判断对象图像分割成多个诊断图像小片并输入于上述病变判断用神经网络111，由此，可获得与上述多个诊断图像小片相应的判断结果。
上述诊断特征图生成模块240可合并在上述病变判断用神经网络111判断上述多个诊断图像小片过程中生成的各个图像小片相应特征来生成特征图，所生成的特征图可输入于上述疾病严重程度判断用神经网络112。
上述疾病严重程度输出模块250可基于上述疾病严重程度判断用神经网络112的输出来输出疾病严重程度。
另一方面，上述判断系统200可用于接收病理切片图像并输出病变区域。在此情况下，上述判断系统200还可包括病变区域输出模块230。上述病变区域输出模块230可基于通过上述图像小片单位判断模块220获得的上述多个诊断图像小片相关判断结果来输出上述判断对象图像的格子图(热图)。上述格子图可意味着在视觉层面上区分第一状态的图像小片区域及第二状态的图像小片区域的图。
另一方面，如上所述，疾病严重程度判断用神经网络学习方法可利用已学习的病变判断用神经网络111。以下，详细说明上述病变判断用神经网络111的学习方法。
图8为示出本发明一实施例的用于执行病变判断用神经网络学习方法的病变判断用神经网络学习系统300的简要结构的图。
参照图8，上述病变判断用神经网络学习系统300可包括存储模块310、提取模块320及学习模块330。
上述存储模块310可存储病变判断用神经网络111及自动编码器113。
如上所述，上述病变判断用神经网络111可输出所输入的数据是否处于第一状态或第二状态的可能性，可用于对上述所输入的数据的二进制分类的神经网络。例如，上述病变判断用神经网络111可接收活体图像并判断在相应图像存在规定疾病(例如，癌症)引起的病变的可能性。即，上述病变判断用神经网络111可输出输入于上述病变判断用神经网络111的值处于第一状态或第二状态的可能性。第一状态是指不存在病变的正常状态(negative)，第二状态是指存在病变的非正常状态(positive)。
上述病变判断用神经网络111输出的可能性可以为上述病变判断用神经网络111内的损伤函数(例如，均方差(MSE，mean squared error))、交叉熵误差(CEE，crossentropy error)或两个向量之间的距离(例如，欧几里德距离、切比雪夫距离、曼哈顿距离等的函数)计算的值。
上述自动编码器113为主要用于非监督学习方法的神经网络结构。上述自动编码器113作为缩小输入值的维度并再次复原的非监督机器学习模型，具有学习用于学习的值所具备的特征的功能。更详细地，上述自动编码器113学习使输出值接近输入值的函数，通过编码器提取输入值的特征，通过编码器重建输入值。
图9为简要示出上述自动编码器113的结构的图。参照图3，自动编码器113可包括含卷积层的编码部分112-1及含卷积层的解码部分113-2。若通过编码器113输入原始数据x，则在编码部分113-1执行对于原始数据x的编码，可生成原始数据x的特征(z＝E(x))。随着所生成的特征z在解码部分113-2解码，可生成与原始数据x相应的复原数据(x’＝D(z))。
自动编码器也属于神经网络的一种，将先进行基于多个训练数据的学习，在自动编码器的学习步骤中，将对各个学习数据d执行以下的步骤1)至步骤3)。
1)向自动编码器113输入学习数据d并经过编码及解码过程来生成与学习数据d相对应的复原数据d'。
2)计算作为学习数据d与复原数据d'之差的误差e＝L(d,d')(L为损失函数)。
3)根据误差反向传播(error backpropagation)方法更新自动编码器113内的加权值。
另一方面，上述自动编码器113可用于判断输入值为第一状态还是第二状态。
在一实施例中，上述自动编码器113可以仅通过第一状态的学习数据预先学习，随着输入于学习规定预测对象值的上述自动编码器113，当上述自动编码器113复原(即，输出)的结果值与上述预测对象值的差为规定限制值以上时，可判断上述预测对象值为第二状态。
在再一实施例中，上述自动编码器113可以仅通过第二状态的数据预先学习，随着输入于学习规定预测对象值的上述自动编码器113，当上述自动编码器113复原(即，输出)的结果值与上述预测对象值的差为规定限制值以上时，可判断上述预测对象值为第一状态。
另一方面，根据实施例，上述自动编码器113可包括变分自动编码器(VAE，Variational AutoEncoder)。
再次参照图9，上述数据库340可存储用于学习上述病变判断用神经网络111的学习数据。如参照图1a说明的内容，学习数据可以为多实例学习用数据。即，存储在上述数据库340的学习数据可分别为包括多个数据实例的数据包。
在一实施例中，上述多个学习数据可分别为病理整体-切片-图像，构成各个学习数据的数据实例可以为将相应病理整体-切片-图像分割为规定尺寸的各个图像图像小片。在此情况下，数据包可以为一个完整的病理切片图像，相应数据包所包括的数据实例可以为将相应病理切片图像分割为规定尺寸的单个图像小片。
另一方面，存储在上述数据库340的学习数据可分别被标为第一状态或第二状态。例如，当上述多个学习数据为病理切片图像时，各个学习数据可标签对于病理切片图像的诊断结果(例如，是否存在病变等)。
另一方面，根据实施例，上述学习数据可以不储存在上述数据库340，而是由用户通过外部输入装置输入，也可以文件形式存储在硬盘驱动器(HDD)或固态驱动器(SDD)等存储装置。
上述提取模块320可执行提取步骤，针对标有第一状态或第二状态中的任一个标签的多个数据包，将上述数据包包括的数据实例中的一部分作为学习用实例提取。通过上述提取模块320提取的学习用实例可用于以后上述病变判断用神经网络111的学习。
图10为示出上述提取模块320提取学习用数据实例的方法一例的图。图10以学习数据如图1a所示的情况为示例。
参照图10，首先，上述提取模块320可分别针对数据包B1至BM执行步骤S210至步骤S230(步骤S200)。
另一方面，上述提取模块320可针对数据包Bi(i为1≤i≤M的任意整数)向神经网络111输入上述数据包Bi包括的各个数据实例Dij(j为1≤j≤M的任意整数)来计算上述数据包Bi包括的各个数据实例Dij的可能性Pij(步骤S210、步骤S211)。例如，Pij可以为第二状态，可将对于数据实例Dij的交叉熵损失函数(Cross-entropy Loss)计算为可能性Pij。
随后，上述提取模块320可基于上述数据包Bi包括的各个数据实例的可能性Pi1至PiN及上述自动编码器113对上述数据包包括的各个数据实例Di1至DiN中的至少一部分的判断结果来将上述数据包Bi包括的各个数据实例Di1至DiN中的一部分判断为学习用实例(步骤S220)，由此，可将判断的学习用实例标为标签Li(步骤S230)。
图11为示出图10的步骤S220的具体过程的一例的图。在图11的示例中，假设上述自动编码器113仅由第一状态(即，正常状态)的数据实例预先学习。
参照图11，在上述数据包被标为第一状态的情况下，上述提取模块320可从第二状态可能性最高的数据实例开始向上述自动编码器113依次输入第二状态可能性逐渐降低的数据实例来将被上述自动编码器判断为第一状态的前一部分数据实例判断为与上述数据包相应的学习用实例(步骤S221)。在此情况下，当输入于自动编码器113的数据实例与自动编码器113输出的输出数据之间的差异为规定限制值以上时，上述提取模块320可将输入于自动编码器113的数据实例判断为第一状态。
另一方面，在上述数据包被标为第二状态的情况下，上述提取模块320可从第二状态可能性最高的数据实例开始向上述自动编码器113依次输入第二状态可能性逐渐降低的数据实例来将被上述自动编码器判断为第二状态的前一部分数据实例判断为与上述数据包相应的学习用实例(步骤S222)。
图12为示出图11的步骤S221的具体过程的一例的图。
参照图12，上述提取模块320可按照第二状态的可能性逐渐降低的顺序排列数据包Bi内的数据实例Di1至DiN(步骤S2211)。
上述提取模块320可按照通过步骤S2211排列的顺序向自动编码器113输入Bi内的数据实例Ak(k为1≤k≤M的任一整数)来判断所输入的数据实例Ak的状态(步骤S2213)，在判断数据实例Ak为第一状态的情况下，可将数据实例Ak判断为学习用实例(步骤S2215)。
上述提取模块320可执行步骤S2213至步骤S2215直至循环结束或发现数据包Bi相应的学习用实例预定数量Z(参照步骤S2212、步骤S2216、步骤S2217)。
本发明所属技术领域的普通技术人员可参照图11轻易导出图10中的步骤S222的具体实例，因此，将省略详细说明。另一方面，图10及图11作为实现图9的步骤S220的一例，可通过多种方法实现图9的步骤S220。
通过如上所述的提取过程，上述提取模块320可从一个数据包提取多个数据实例作为学习用实例。在现有的多实例学习方法中，在从一个数据包提取多个学习用实例的情况下，由于提取错误学习数据实例的可能性相对较高，因此，可对神经网络的学习产生不良影响，但是，本发明技术思想的方法具有利用已学习的自动编码器过滤学习数据来减少提取错误学习数据实例的效果。
当然，根据实施例，上述病变判断用神经网络111也可通过未利用自动编码器的应用多实例学习方法的病变判断用神经网络学习方法预先学习。
更详细地，本实施例的未利用自动编码器的应用多实例学习方法的病变判断用神经网络学习方法可包括如下步骤：分别从标有上述第一状态或上述第二状态中的任一个标签的多个预学习用病理切片图像中提取构成上述预学习用病理切片图像的图像小片中的一部分作为预学习用图像小片；以及基于分别与上述多个学习用图像相应的预学习用图像小片学习上述病变判断用神经网络。在此情况下，提取构成上述预学习用病理切片图像的图像小片中的一部分作为预学习用图像小片的步骤可包括如下步骤：向正在学习的上述病变判断用神经网络输入构成上述预学习用病理切片图像的各个预学习用图像小片来计算各个图像小片构成上述预学习用病理切片图像的可能性；以及基于各个图像小片构成上述预学习用病理切片图像的可能性，将构成上述预学习用病理切片图像的各个图像小片中的一部分判断为预学习用图像小片。例如，可将构成上述预学习用病理切片图像的图像小片中计算的可能性最高的图像小片判断为预学习用图像小片。
再次参照图8，上述学习模块330可基于通过上述提取模块320提取的学习用实例学习上述病变判断用神经网络111。
众所周知，上述学习模块330可向上述神经网络111反向传播输入于病变判断用神经网络111的学习用实例与输出值之间的损伤误差来学习上述神经网络111。
上述病变判断用神经网络学习方法可将通过上述提取模块320执行的学习数据实例提取过程及通过上述学习模块330执行的学习过程作为一个轮次(epoch)并重复执行多个轮次来提高神经网络111的性能。
上述计算装置100可包括处理器及存储装置。上述处理器可意味着能够驱动用于体现本发明的技术思想的程序的运算装置，可执行上述程序和根据本发明的技术思想定义的神经网络学习方法。上述处理器可包括单核中央处理器(CPU)或多核中央处理器。上述存储装置可意味着能够存储体现本发明的技术思想所需的程序及各种数据的数据存储单元，也可根据实例来体现成多个存储单元。并且，上述存储装置不仅意味着上述计算装置所包括的主记忆装置，还可意味着将可包括在上述处理器的临时存储装置或存储器等包括在内的含义。存储器可包括高速随机存取存储器，也可包括一个以上的磁盘存储装置、快闪存储装置或其他非易失性固态存储装置等的非易失性存储器。通过处理器及其他结构要素进行的存储器存取可通过存储器控制器来实现控制。
另一方面，本发明实施例的方法能够以计算机可读的程序指令形态存储于计算机可读记录介质，本发明实施例的控制程序及对象程序也可存储于计算机可读记录介质。计算机可读记录介质包括存储可由计算机系统读取的数据的所有种类的记录装置。
记录在记录介质的程序指令可以是为了本发明特别设计、构成的，也可以是软件领域的技术人员公知并可使用的。
计算机可读记录介质的例包括：硬盘、软盘以及磁带等的磁性介质(magneticmedia)；只读光盘存储器(CD-ROM)、高密度数字视频光盘(DVD)等的光学介质(opticalmedia)；光磁软盘(floptical disk)等的磁光介质(magneto-optical media)；以及只读存储器(ROM)、随机存取存储器(RAM)、快闪存储器等为了存储及执行程序指令而特别构成的硬件装置。并且，计算机可读记录介质可分散在通过网络连接的计算机系统，可存储及执行可由计算机以分散方式读取的代码。
程序指令的例不仅包括由编译器制作的机器语言代码，还包括可由使用解译器等电子处理信息的装置(例如，计算机)运行的高级语言代码。
上述硬件装置能够为了执行本发明的动作而由一个以上的软件模块运行，反之亦然。
以上的对本发明的说明仅属于例示，本发明所属技术领域的普通技术人员可以理解可在不改变本发明的技术思想或必要特征的情况下轻松变形成其他具体实施方式。因此，以上记述的多个实施例从所有角度都应理解为例示性实施例，而不是限定性实施例。例如，以单一型说明的各个结构要素可被分散实施，同样，以分散型说明的多个结构要素能够以结合形态实施。
本发明的范围由所附的发明要求保护范围来表示，而不是上述详细说明，从发明要求保护范围的含义、范围以及其等同概念导出的所有变更或变形的实施方式应解释为包含在本发明的范围。
产业上的可利用性
本发明可用于疾病严重程度判断用神经网络学习方法及系统。

Claims (13)

1.一种疾病严重程度判断用神经网络学习系统，其特征在于，
包括：
病变判断用神经网络，当输入将病理切片图像分割为规定单位尺寸的各个图像小片时，作为已学习的神经网络输出用于判断在所输入的图像小片是否存在规定疾病引起的病变的判断结果；
存储模块，用于存储疾病严重程度判断用神经网络，上述疾病严重程度判断用神经网络基于上述病理切片图像判断上述疾病严重程度；
疾病严重程度判断用神经网络学习模块，基于规定的学习用图像学习上述疾病严重程度判断用神经网络；以及
控制模块，用于控制上述疾病严重程度判断用神经网络学习模块，使得其分别针对标有上述疾病严重程度的多个病理切片图像，基于上述病理切片图像学习上述疾病严重程度判断用神经网络，
上述疾病严重程度判断用神经网络学习模块包括：
特征提取模块，用于从将上述学习用图像分割为上述单位尺寸的多个图像小片中分别提取在接收上述图像小片的上述病变判断用神经网络输出上述图像小片相关判断结果的过程中生成的特征；
特征图生成模块，基于分别与构成上述学习用图像的上述多个图像小片相应的特征生成上述学习用图像相应的特征图；
标签模块，基于上述学习用图像的严重程度标签对上述学习用图像相应的特征图进行标记；以及
学习模块，向上述疾病严重程度判断用神经网络输入上述学习用图像相应的特征图，来学习上述疾病严重程度判断用神经网络。
2.根据权利要求1所述的疾病严重程度判断用神经网络学习系统，其特征在于，
上述病变判断用神经网络通过病变判断用神经网络学习方法预先学习，上述病变判断用神经网络学习方法由病变判断用神经网络学习系统执行，上述病变判断用神经网络学习系统包括自动编码器，当输入具有上述单位尺寸的图像时，判断不存在上述疾病引起的病变的第一状态，还是存在上述疾病引起的病变的第二状态，
上述病变判断用神经网络学习方法包括如下步骤：
分别从标有上述第一状态或上述第二状态中的任一个标签的多个预学习用病理切片图像中，提取构成上述预学习用病理切片图像的图像小片中的一部分作为预学习用图像小片；以及
基于分别与上述多个学习用图像相应的预学习用图像小片学习上述病变判断用神经网络，
提取构成上述预学习用病理切片图像的图像小片中的一部分作为预学习用图像小片的步骤包括如下步骤：
向正在学习的上述病变判断用神经网络输入构成上述预学习用病理切片图像的各个预学习用图像小片，来计算各个图像小片构成上述预学习用病理切片图像的可能性；以及
基于各个图像小片构成上述预学习用病理切片图像的可能性及上述自动编码器对于构成上述预学习用病理切片图像的各个图像小片中的至少一部分的判断结果，来将构成上述预学习用病理切片图像的各个图像小片中的一部分判断为预学习用图像小片。
3.根据权利要求2所述的疾病严重程度判断用神经网络学习系统，其特征在于，
上述自动编码器仅通过正常图像小片进行预先学习，上述正常图像小片具有上述单位尺寸并不包括上述疾病引起的病变，
基于各个图像小片构成上述预学习用病理切片图像的可能性及上述自动编码器对于构成上述预学习用病理切片图像的各个图像小片中的至少一部分的判断结果，来将构成上述预学习用病理切片图像的各个图像小片中的一部分判断为预学习用图像小片的步骤包括如下步骤：
在上述预学习用病理切片图像被标为第一状态的情况下，按照从属于第二状态的可能性最高的图像小片到属于第二状态的可能性降低的图像小片的顺序向上述自动编码器进行输入，来将被上述自动编码器判断为第一状态的前一部分图像小片判断成与上述学习用图像相对应的学习用图像小片；以及
在上述预学习用病理切片图像被标为第二状态的情况下，按照从属于第二状态的可能性最高的图像小片到属于第二状态的可能性降低的图像小片的顺序向上述自动编码器进行输入，来将被上述自动编码器判断为第二状态的前一部分图像小片判断成与上述学习用图像相对应的学习用图像小片。
4.根据权利要求1所述的疾病严重程度判断用神经网络学习系统，其特征在于，
上述病变判断用神经网络通过病变判断用神经网络学习方法预先学习，上述病变判断用神经网络学习方法由病变判断用神经网络学习系统执行，
上述病变判断用神经网络学习方法包括如下步骤：
分别从存在上述第一状态或上述第二状态中的任一个标签的多个预学习用病理切片图像中，提取构成上述预学习用病理切片图像的图像小片中的一部分作为预学习用图像小片；以及
基于分别与上述多个学习用图像相应的预学习用图像小片，学习上述病变判断用神经网络，
提取构成上述预学习用病理切片图像的图像小片中的一部分作为预学习用图像小片的步骤包括如下步骤：
向正在学习的上述病变判断用神经网络输入构成上述预学习用病理切片图像的各个预学习用图像小片，来计算各个图像小片构成上述预学习用病理切片图像的可能性；以及
基于各个图像小片构成上述预学习用病理切片图像的可能性，将构成上述预学习用病理切片图像的各个图像小片中的一部分判断为预学习用图像小片。
5.一种疾病严重程度判断用神经网络学习方法，由计算系统执行，上述计算系统包括：
病变判断用神经网络，当输入将病理切片图像分割为规定单位尺寸的各个图像小片时，作为已学习的神经网络输出用于判断在所输入的图像小片是否存在规定疾病引起的病变的判断结果；以及
疾病严重程度判断用神经网络，基于上述病理切片图像判断上述疾病严重程度，
上述疾病严重程度判断用神经网络学习方法的特征在于，包括如下步骤：
获得分别标有上述疾病严重程度的多个病理切片图像；以及
针对上述多个病理切片图像，分别基于上述病理切片图像学习上述疾病严重程度判断用神经网络，
基于上述病理切片图像学习上述疾病严重程度判断用神经网络的步骤包括如下步骤：
从将上述学习用图像分割为上述单位尺寸的多个图像小片中，分别提取在接收上述图像小片的上述病变判断用神经网络输出上述图像小片相关判断结果的过程中生成的特征；
基于分别与构成上述病理切片图像的上述多个图像小片相应的特征，生成与上述病理切片图像相应的特征图；
利用上述病理切片图像的严重程度标签，对上述病理切片图像相应的特征图进行标记；以及
向上述疾病严重程度判断用神经网络输入与上述病理切片图像相应的特征图，来学习上述疾病严重程度判断用神经网络。
6.根据权利要求5所述的疾病严重程度判断用神经网络学习方法，其特征在于，
上述病变判断用神经网络通过病变判断用神经网络学习方法预先学习，上述病变判断用神经网络学习方法由病变判断用神经网络学习系统执行，上述病变判断用神经网络学习系统包括自动编码器，当输入具有上述单位尺寸的图像时，判断不存在上述疾病引起的病变的第一状态，还是存在上述疾病引起的病变的第二状态，
上述病变判断用神经网络学习方法包括如下步骤：
分别从存在上述第一状态或上述第二状态中的任一个标签的多个预学习用病理切片图像中，提取构成上述预学习用病理切片图像的图像小片中的一部分作为预学习用图像小片；以及
基于分别与上述多个学习用图像相应的预学习用图像小片，学习上述病变判断用神经网络，
提取构成上述预学习用病理切片图像的图像小片中的一部分作为预学习用图像小片的步骤包括如下步骤：
向正在学习的上述病变判断用神经网络输入构成上述预学习用病理切片图像的各个预学习用图像小片，来计算各个图像小片构成上述预学习用病理切片图像的可能性；以及
基于各个图像小片构成上述预学习用病理切片图像的可能性及上述自动编码器对于构成上述预学习用病理切片图像的各个图像小片中的至少一部分的判断结果，来将构成上述预学习用病理切片图像的各个图像小片中的一部分判断为预学习用图像小片。
7.根据权利要求6所述的疾病严重程度判断用神经网络学习方法，其特征在于，
上述自动编码器仅通过正常图像小片进行预先学习，上述正常图像小片具有上述单位尺寸并不包括上述疾病引起的病变，
基于各个图像小片构成上述预学习用病理切片图像的可能性及上述自动编码器对于构成上述预学习用病理切片图像的各个图像小片中的至少一部分的判断结果，来将构成上述预学习用病理切片图像的各个图像小片中的一部分判断为预学习用图像小片的步骤包括如下步骤：
在上述预学习用病理切片图像被标为第一状态的情况下，按照从属于第二状态的可能性最高的图像小片到属于第二状态的可能性降低的图像小片的顺序向上述自动编码器进行输入，来将被上述自动编码器判断为第一状态的前一部分图像小片判断成与上述学习用图像相对应的学习用图像小片；以及
在上述预学习用病理切片图像被标为第二状态的情况下，按照从属于第二状态的可能性最高的图像小片到属于第二状态的可能性降低的图像小片的顺序向上述自动编码器进行输入，来将被上述自动编码器判断为第二状态的前一部分图像小片判断成与上述学习用图像相对应的学习用图像小片。
8.根据权利要求5所述的疾病严重程度判断用神经网络学习方法，其特征在于，
上述病变判断用神经网络通过病变判断用神经网络学习方法预先学习，上述病变判断用神经网络学习方法由病变判断用神经网络学习系统执行，
上述病变判断用神经网络学习方法包括如下步骤：
分别从标有存在上述第一状态或上述第二状态中的任一个标签的多个预学习用病理切片图像中提取构成上述预学习用病理切片图像的图像小片中的一部分作为预学习用图像小片；以及
基于分别与上述多个学习用图像相应的预学习用图像小片学习上述病变判断用神经网络，
提取构成上述预学习用病理切片图像的图像小片中的一部分作为预学习用图像小片的步骤包括如下步骤：
向正在学习的上述病变判断用神经网络输入构成上述预学习用病理切片图像的各个预学习用图像小片，来计算各个图像小片构成上述预学习用病理切片图像的可能性；以及
基于各个图像小片构成上述预学习用病理切片图像的可能性，将构成上述预学习用病理切片图像的各个图像小片中的一部分判断为预学习用图像小片。
9.一种记录在介质的计算机程序，其特征在于，设置于数据处理装置，用于执行根据权利要求5至8中任一项所述的方法。
10.一种计算机可读记录介质，其特征在于，记录有用于执行根据权利要求5至8中任一项所述的方法的计算机程序。
11.一种计算系统，其特征在于，
包括处理器及存储器，
在通过上述处理器运行上述存储器的情况下，上述计算系统执行根据权利要求5至8中任一项所述的方法。
12.一种利用神经网络的疾病严重程度诊断系统，其特征在于，包括：
权利要求5所述的病变判断用神经网络；以及
神经网络存储模块，用于存储基于根据权利要求5所述的疾病严重程度判断用神经网络学习方法学习的疾病严重程度判断用神经网络；
诊断特征提取模块，用于从将判断对象病理切片图像分割为多个的诊断图像小片中分别提取在接收上述诊断图像小片的上述病变判断用神经网络输出上述诊断图像小片相关判断结果的过程中生成的特征；以及
疾病严重程度输出模块，向上述疾病严重程度判断用神经网络输入基于分别与构成上述判断对象病理切片图像的上述多个诊断图像小片相应的特征生成的特征图，来输出上述疾病严重程度判断用神经网络的诊断结果。
13.根据权利要求12所述的疾病严重程度诊断系统，其特征在于，还包括病变区域输出模块，基于分别通过接收上述多个诊断图像小片的上述病变判断用神经网络获得的上述多个诊断图像小片相关判断结果，输出上述判断对象图像的热图。
CN202180040649.4A 2020-06-05 2021-06-03 疾病严重程度判断用神经网络学习方法及系统 Pending CN115699024A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200068641A KR102261475B1 (ko) 2020-06-05 2020-06-05 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템
KR10-2020-0068641 2020-06-05
PCT/KR2021/006967 WO2021246811A1 (ko) 2020-06-05 2021-06-03 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템

Publications (1)

Publication Number Publication Date
CN115699024A true CN115699024A (zh) 2023-02-03

Family

ID=76374818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180040649.4A Pending CN115699024A (zh) 2020-06-05 2021-06-03 疾病严重程度判断用神经网络学习方法及系统

Country Status (6)

Country Link
US (1) US20230229927A1 (zh)
EP (1) EP4148625A1 (zh)
JP (1) JP2023529584A (zh)
KR (1) KR102261475B1 (zh)
CN (1) CN115699024A (zh)
WO (1) WO2021246811A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102485415B1 (ko) * 2022-06-02 2023-01-06 주식회사 딥바이오 패치 레벨 중증도 판단 방법, 슬라이드 레벨 중증도 판단 방법 및 이를 수행하는 컴퓨팅 시스템
KR102642137B1 (ko) * 2022-08-08 2024-03-06 한국과학기술원 딥 러닝 모델의 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법
KR102586484B1 (ko) * 2022-09-05 2023-10-12 한국과학기술원 분류 과정에서 발생하는 불확실성을 고려한 조직 이미지 분류 장치 및 조직 이미지 분류 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3586306A4 (en) * 2017-02-21 2020-12-30 Koh Young Technology Inc. METHOD AND DEVICE FOR PROCESSING A HISTOLOGICAL IMAGE CAPTURED BY A MEDICAL IMAGING DEVICE
KR101849072B1 (ko) * 2017-08-29 2018-04-16 주식회사 뷰노 콘텐츠 기반 의료 영상 검색 방법 및 시스템
KR102073162B1 (ko) * 2018-04-13 2020-03-02 인하대학교 산학협력단 딥러닝 기반의 소형 물체 검출 기법
KR102246318B1 (ko) * 2018-10-05 2021-04-30 주식회사 딥바이오 병리 이미지 검색을 위한 시스템 및 방법

Also Published As

Publication number Publication date
JP2023529584A (ja) 2023-07-11
KR102261475B1 (ko) 2021-06-07
EP4148625A1 (en) 2023-03-15
US20230229927A1 (en) 2023-07-20
WO2021246811A1 (ko) 2021-12-09

Similar Documents

Publication Publication Date Title
CN109934293B (zh) 图像识别方法、装置、介质及混淆感知卷积神经网络
CN115699024A (zh) 疾病严重程度判断用神经网络学习方法及系统
CN110930397A (zh) 一种磁共振图像分割方法、装置、终端设备及存储介质
CN115777107A (zh) 通过自动编码器及多实例学习进行的神经网络学习方法以及执行其的计算系统
KR102246318B1 (ko) 병리 이미지 검색을 위한 시스템 및 방법
KR102236948B1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
Ashhar et al. Comparison of deep learning convolutional neural network (CNN) architectures for CT lung cancer classification
CN115359074B (zh) 基于超体素聚类及原型优化的图像分割、训练方法及装置
CN113496481B (zh) 一种少样本胸部X-Ray图像的辅助检测方法
CN113177554B (zh) 甲状腺结节识别与分割方法、系统、存储介质及设备
Sangeetha et al. Diagnosis of Pneumonia using Image Recognition Techniques
CN114266927A (zh) 一种无监督的显著性目标检测方法、系统、设备及介质
CN116189130A (zh) 基于图像标注模型的车道线分割方法及装置
KR102226897B1 (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
CN113888551A (zh) 基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法
CN112614092A (zh) 脊柱检测方法和装置
CN116114027A (zh) 利用多相生物图像学习的利用神经网络的疾病诊断方法及执行其的疾病诊断系统
CN116721772B (zh) 肿瘤治疗预后预测方法、装置、电子设备及存储介质
CN111199256A (zh) 图像优化网络的训练方法、图像处理方法及装置
JP7430025B2 (ja) 半教師あり学習を用いて疾患の発症領域に対するアノテーションを行うための方法、およびそれを行う診断システム
CN116630628B (zh) 一种主动脉瓣钙化分割方法、系统、设备及存储介质
Wu et al. E2ENet: Dynamic Sparse Feature Fusion for Accurate and Efficient 3D Medical Image Segmentation
Anima et al. On the Automated unruptured Intracranial Aneurysm segmentation from TOF-MRA using Deep Learning Techniques.
Vishnupriya et al. A Perlustration on the optimistic prognosis of chronic renal failure using Evolutionary Machine Learning and Deep Learning techniques
Cui Weakly Supervised Point Cloud Semantic Segmentation with Graph Convolutional Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination