CN109816623A - 图像解析方法、装置和程序及学习完了深层学习算法及其制造方法 - Google Patents

图像解析方法、装置和程序及学习完了深层学习算法及其制造方法 Download PDF

Info

Publication number
CN109816623A
CN109816623A CN201811371880.8A CN201811371880A CN109816623A CN 109816623 A CN109816623 A CN 109816623A CN 201811371880 A CN201811371880 A CN 201811371880A CN 109816623 A CN109816623 A CN 109816623A
Authority
CN
China
Prior art keywords
image
mentioned
sample
data
training data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811371880.8A
Other languages
English (en)
Inventor
吉田裕
关口阳介
袴田和巳
相原祐希
山田浩平
增本佳那子
K·杰恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sysmex Corp
National Cancer Center Japan
Original Assignee
Sysmex Corp
National Cancer Center Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sysmex Corp, National Cancer Center Japan filed Critical Sysmex Corp
Publication of CN109816623A publication Critical patent/CN109816623A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像解析方法、装置和程序及学习完了深层学习算法及其制造方法。具体而言，本发明提供对于组织或细胞的图像而生成显示肿瘤化状态的数据的图像解析方法。本发明的图像解析方法是使用神经网络结构的深层学习算法60而解析组织或细胞的图像的图像解析方法，其从含解析对象的组织或细胞的解析对象图像78生成解析用数据80，向深层学习算法60输入解析用数据80，由深层学习算法60生成显示解析对象图像78中的组织或细胞的肿瘤化状态的数据82、83。

Description

图像解析方法、装置和程序及学习完了深层学习算法及其制 造方法
【技术领域】
本发明涉及图像解析方法、图像解析装置、程序、学习完了深层学习算法的制造方法及学习完了深层学习算法。更具体而言，涉及含对于组织或细胞的图像的任意的位置而生成显示肿瘤化状态的数据的图像解析方法、图像解析装置、程序、学习完了深层学习算法的制造方法及学习完了深层学习算法。
【背景技术】
在专利文献1中公开了，在病理组织图像中将组织像分类为正常、良性肿瘤、前癌状态及癌状态的4个组，判断的图像诊断支援装置。图像分类手段从图像数据提取注视区域，算出显示注视区域的特征的特征量，基于算出的特征量而进行组的分类。特征量是在细胞核中的每单位面积的块的密度、块面积的密度、块的面积、块的粗度，及块的长度等。图像判断手段学习这样的特征量和判断结果的关系，基于学习完了的学习参数而进行判断。学习使用支持向量机等的学习算法而执行机械学习。
【现有技术文献】
【专利文献】
【专利文献1】特开2010-203949号公报
【发明的概要】
【发明要解决的课题】
在确定诊断是恶性肿瘤与否时，进行使用病理组织标本的病理组织学诊断。另外，病理组织学诊断作为手术中用于确定含恶性肿瘤的组织的切除部位的术中迅速诊断进行的也不少。术中迅速诊断在手术中在切开患者的患部的状态下等待，由病理组织学诊断进行肿瘤是否是恶性，是否切除的组织的断端残留有肿瘤，是否有淋巴节转移等的判断。由术中迅速诊断的结果决定等待的患者的其后的手术的方向性。
病理组织学诊断是医师、特别是病理医由显微镜等观察组织标本而进行诊断，但为了使可由组织标本的观察进行正确的确定诊断，有由熟练的病理专门医长的期间重复各种各样的病例的组织标本的观察的必要，病理医的培育也要求大量的时间。
病理医的不足是严重的，病理医不足的结果，患者的恶性肿瘤的确定诊断延迟，治疗开始延迟，或者还危惧不等待确定诊断而开始治疗的状态。另外，由于通常的组织学诊断和术中迅速诊断的两方集中在少的病理医，一人的病理医的业务量变得庞大，病理医自身的劳务状态也成为问题。但是，目前还未见到此问题的解除策。
从而，装置变得可支持病理组织学诊断，特别是其诊断越接近由人的眼的判断，越认为大贡献于病理医不足的解除、及病理医的劳务状态的改善。
在装置支持病理组织学诊断的点，在上述的专利文献1中记载的发明中，基于由机械学习的图像解析而进行标本组织的病理判断。在此方法中，有将特征量用人的手制成的必要。在将特征量用人的手制成的方法中，有该人的力量给图像解析的性能大影响的问题。
例如，在使用显微镜的组织学诊断或细胞学诊断中，观察对象之一是细胞核的状态，从细胞核1个1个大小或形态、以及多个细胞核的序列状态等，区别良性肿瘤和恶性肿瘤。因此，在病理组织学诊断中，可高精度地提取细胞核是非常地重要的，成为组织学诊断及细胞学诊断的基础。可对于进一步提取的核区域自动检测其是非肿瘤细胞的还是肿瘤细胞的，从而成为诊断的帮助。
本发明旨在提供对于组织或细胞的图像而生成显示肿瘤化状态的数据的图像解析方法、图像解析装置、程序、学习完了深层学习算法的制造方法及学习完了深层学习算法。
【用于解决课题的手段】
本发明的一实施方式是图像解析方法。在此一实施方式中，图像解析方法是使用神经网络结构的深层学习算法(60)而解析组织或细胞的图像的图像解析方法，其从含解析对象的组织或细胞的解析对象图像(78)生成解析用数据(80)(S21至S23)、向深层学习算法(60)输入解析用数据(80)(S24)、由深层学习算法(60)生成显示解析对象图像(78)中的组织或细胞的肿瘤化状态的数据(82.83)(S25至S28)。由此，生成显示解析对象图像中的组织或细胞的肿瘤化状态的数据变得可能。
解析对象图像是组织学诊断用标本的图像，解析对象图像(78)优选含由1个原色构成的色相，或含组合2个以上的原色的色相(R、G、B)。
解析对象图像是细胞学诊断用标本的图像，解析对象图像(78)优选含由1个原色构成的色相，或含组合2个以上的原色的色相(R、G、B)。
示肿瘤化状态的数据(82、83)优选为用于区别提示肿瘤细胞的核的区域和其以外的区域的数据。
示肿瘤化状态的数据(82、83)优选为表示肿瘤细胞的核的区域和其以外的区域的边界的数据。
深层学习算法(60)优选判断是肿瘤细胞的核、还是非肿瘤细胞的核。
优选对于1个解析对象图像(78)而针对每个指定像素数的区域生成多个解析用数据(80)。由此，使神经网络(60)的判别精度提升变得可能。
解析用数据(80)针对每个以指定的像素作为中心而含周边的像素的指定像素数的区域而生成，深层学习算法(60)优选对于输入的解析用数据(80)对于指定像素生成显示肿瘤化状态的标签。由此，使神经网络(60)的判别精度提升变得可能。
神经网络(60)的输入层(60a)的节点数优选与解析用数据(80)的指定像素数和组合的原色的数的积对应。由此，使神经网络(60)的判别精度提升变得可能。
标本是被染色的标本，解析对象图像(78)优选为将被染色的标本在显微镜的明场下摄像的图像。
在深层学习算法(60)的学习中使用的训练数据(74C、74NC)是将对于从个体采集的含肿瘤的组织试样的标本或从个体采集的含肿瘤细胞的试样的标本实施明场观察用染色而制作的标本的染色像在显微镜的明场下摄像的明场图像(70C、70NC)、及将对应于标本的或者在相同的标本实施荧光核染色而制作的标本的染色像在荧光显微镜的荧光观察下摄像的细胞核的荧光图像(71C、71NC)，其优选基于荧光图像(71C、71NC)的标本内的位置对应于取得的明场图像(70C、70NC)的标本内的位置的荧光图像(71C、71NC)而生成。
明场观察用染色优选在核染色中使用苏木精。
标本是组织试样的标本时，明场观察用染色优选为苏木精－曙红染色，标本是含细胞的试样的标本时，明场观察用染色优选为Papanicolaou染色。
训练数据(74C、74NC)优选含从明场图像(70C、70NC)及荧光图像(71C、71NC)提取的显示细胞的肿瘤化状态的标签值。由此，使神经网络(50)学习表示细胞的肿瘤化状态的标签值变得可能。
训练数据(74C、74NC)优选明场图像(70C、70NC)的每个像素含标签值。由此，使神经网络(50)学习表示细胞的肿瘤化状态的标签值变得可能。
训练数据(74C、74NC)优选针对每个在明场图像(70C、70NC)中的指定像素数的区域而生成。由此，以高的精度使神经网络(50)学习表示细胞的肿瘤化状态的标签值变得可能。
深层学习算法(60)优选将解析用数据(80)分类为显示解析对象图像(78)中所含的细胞的肿瘤化状态的类。由此，对于含细胞的解析对象图像的任意的位置而分类肿瘤化状态变得可能。
神经网络(60)的输出层(60b)优选为以Soft Max函数作为活化函数的节点。由此，神经网络(60)将含细胞的解析对象图像的任意的位置分类为有限个类变得可能。
深层学习算法(60)优选每次输入解析用数据(80)时，针对每单位像素生成显示解析对象图像(78)中所含的肿瘤化状态的数据(82)。由此，针对每个含细胞的解析对象图像的单位像素(1像素)，分类肿瘤化状态变得可能。
深层学习算法(60)优选对应于组织试样的种类或含细胞的试样的种类生成。由此，对应于含细胞的解析对象图像的类别而分开使用深层学习算法(60)变得可能，提升神经网络(60)的判别精度变得可能。
再者，优选使用对应于组织试样的种类或含细胞的试样的种类而从多个深层学习算法(60)之中选择的对应于试样的种类的深层学习算法(60)而处理解析用数据(80)。由此，对应于含细胞的解析对象图像的类别而分开使用深层学习算法(60)变得可能，提升神经网络(60)的判别精度变得可能。
本发明的一实施方式是图像解析装置。在此一实施方式中，图像解析装置(200A)是使用神经网络结构的深层学习算法(60)而解析组织或细胞的图像的图像解析装置，其具备从含解析对象的组织或细胞的解析对象图像(78)生成解析用数据(80)，向深层学习算法(60)输入解析用数据(80)，由深层学习算法(60)生成显示解析对象图像(78)中的组织或细胞的肿瘤化状态的数据(82.83)的处理部(20A)。由此，生成显示解析对象图像中的组织或细胞的肿瘤化状态的数据变得可能。
本发明的一实施方式是计算机程序。在此一实施方式中，计算机程序是使用神经网络结构的深层学习算法(60)而解析组织或细胞的图像的计算机程序，其为使计算机执行下列处理的程序：从含解析对象的组织或细胞的解析对象图像(78)生成解析用数据(80)的处理，向深层学习算法(60)输入解析用数据(80)的处理，及由深层学习算法(60)，生成显示解析对象图像(78)中的组织或细胞的肿瘤化状态的数据(82.83)的处理。由此，生成显示解析对象图像中的组织或细胞的肿瘤化状态的数据变得可能。
本发明的一实施方式是学习完了深层学习算法的制造方法。在此一实施方式中，学习完了深层学习算法(60)的制造方法包括：取得对应于对于肿瘤组织或肿瘤细胞进行摄像的第1训练用图像(70C)的第1训练数据(72r、72g、72b)的第1取得步骤(S10)，取得对应于显示第1训练用图像(70C)中的肿瘤细胞的核区域的第2训练用图像(71C)的第2训练数据(73C)的第2取得步骤(S13a)，取得对应于对于非肿瘤组织或非肿瘤细胞进行摄像的第3训练用图像(70NC)的第3训练数据(72r、72g、72b)的第3取得步骤(S10)，取得对应于显示第3训练用图像(70NC)中的是非肿瘤细胞的核区域的第4训练用图像(71NC)的第4训练数据(73NC)的第4取得步骤(S13b)，使神经网络(50)学习第1训练数据(72r、72g、72b)和第2训练数据(73C)的关系的学习步骤(S14～S20)，及使神经网络(50)学习第3训练数据(72r、72g、72b)和第4训练数据(73NC)的关系的学习步骤(S14～S20)。由此，制造用于生成显示解析对象图像中的组织或细胞的肿瘤化状态的数据的深层学习算法变得可能。
优选以第1训练数据(72r、72g、72b)和第3训练数据(72r、72g、72b)作为神经网络(50)的输入层(50a)，以第2训练数据(73C)和第4训练数据(73NC)作为对应于第1训练数据(72r、72g、72b)及第3训练数据(72r、72g、72b)各自的神经网络(50)的输出层(50b)。
在第1取得步骤之前优选还包括：从第1训练用图像(70C)生成第1训练数据(72r、72g、72b)的步骤(S10)，在第2取得步骤之前优选还包括：从第2训练用图像(71C)生成第2训练数据(73C)的步骤(S13a)，在第3取得步骤之前优选还包括：从第3训练用图像(70NC)生成第3训练数据(72r、72g、72b)的步骤(S10)，及在第4取得步骤之前优选还包括：从第4训练用图像(71NC)生成第4训练数据(73NC)的步骤(S13b)。由此，制造用于生成显示解析对象图像中的组织或细胞的肿瘤化状态的数据的深层学习算法变得可能。
第1训练用图像(70C)是含将对于从个体采集的组织试样或从个体采集的含细胞的试样实施明场观察用染色而制作的标本的染色像在显微镜的明场下摄像的肿瘤细胞的明场图像(70C)，第2训练用图像(71C)是将对组织试样或含细胞的试样实施荧光核染色而制作的标本的染色像在显微镜的荧光观察下摄像的荧光图像(71C)，其为在荧光图像(71C)的标本内的位置对应于取得的第1训练用图像(70C)的标本内的位置的荧光图像(71C)，第3训练用图像(70NC)是将对于从个体采集的组织试样或从个体采集的含细胞的试样实施明场观察用染色而制作的标本的染色像在显微镜的明场下摄像的含非肿瘤细胞的明场图像(70NC)，第4训练用图像(71NC)是将对组织试样或含细胞的试样实施荧光核染色而制作的标本的染色像在显微镜的荧光观察下摄像的荧光图像(71NC)，其优选为在荧光图像(71NC)的标本内的位置对应于取得的第3训练用图像(70NC)的标本内的位置的荧光图像(71NC)。
本发明的一实施方式是学习完了深层学习算法(60)。在此一实施方式中，学习完了深层学习算法(60)是以第1训练数据(72r、72g、72b)及第3训练数据(72r、72g、72b)作为神经网络(50)的输入层(50a)，以第2训练数据(73C)及第4训练数据(73NC)作为对应于第1训练数据(72r、72g、72b)及第3训练数据(72r、72g、72b)各自的神经网络(50)的输出层(50b)而使学习的深层学习算法(60)，其中第1训练数据(72r、72g、72b)从对肿瘤组织或肿瘤细胞进行摄像的第1训练用图像(70C)生成，第2训练数据(73C)显示在第1训练用图像(70C)中的肿瘤细胞的核区域的，第3训练数据(72r、72g、72b)从对非肿瘤组织或非肿瘤细胞进行摄像的第3训练用图像(70NC)生成，第4训练数据(73NC)显示在第3训练用图像(70NC)中的非肿瘤细胞的核的区域。
【发明的效果】
根据本发明，可对于组织或细胞的图像的任意的位置而生成显示肿瘤化状态的数据。
【附图的简单的说明】
【图1】是用于对深层学习方法的概要进行说明的模式图。
【图2】是用于对深层学习方法的概要进行说明的模式图。
【图3】是用于对训练数据的详细进行说明的模式图。
【图4】是用于对训练数据的详细进行说明的模式图。
【图5】是用于对图像解析方法的概要进行说明的模式图。
【图6】是第1实施方式涉及的图像解析系统的概略构成图。
【图7】是显示供应商侧装置100的硬件构成的框图。
【图8】是显示使用者侧装置200的硬件构成的框图。
【图9】是用于对第1实施方式涉及的深层学习装置100A的功能进行说明的框图。
【图10】是显示深层学习处理的顺序的流程图。
【图11】是用于对由神经网络的学习的详细进行说明的模式图。
【图12】是用于对第1实施方式涉及的图像解析装置200A的功能进行说明的框图。
【图13】是显示图像解析处理的顺序的流程图。
【图14】是第2实施方式涉及的图像解析系统的概略构成图。
【图15】是用于对第2实施方式涉及的统合型的图像解析装置200B的功能进行说明的框图。
【图16】是第3实施方式涉及的图像解析系统的概略构成图。
【图17】是用于对第3实施方式涉及的统合型的图像解析装置100B的功能进行说明的框图。
【图18】是实施例1中所示的从胃取得的癌组织标本的图像(HE染色)的解析结果。
【图19】是实施例1中所示的从胃取得的非癌组织(炎症组织)标本的图像(HE染色)的解析结果。
【图20】是实施例2中所示的由学习完了的神经网络从胃取得的癌组织标本的图像(HE染色)的解析结果。
【图21】是实施例2中所示的由学习完了的神经网络从胃取得的非癌组织标本的图像(HE染色)的解析结果。
【图22】是在实施例2中作为比较例示的由支持向量机的从胃取得的癌组织标本的图像(HE染色)的解析结果。
【图23】是在实施例2中作为比较例示的由支持向量机的从胃取得的非癌组织标本的图像(HE染色)的解析结果。
【具体实施方式】
以下，将本发明的概要及实施方式参照附带的附图而详细地说明。再者，在以下的说明及附图中，相同的符号设为表示相同或类似的构成要素，从而，省略关于相同或类似的构成要素的说明。
本发明涉及对组织或细胞的图像进行解析的图像解析方法，其使用神经网络结构的，优选为，折叠神经网络结构的深层学习算法的图像解析方法。
在本发明中，组织或细胞的图像是从组织试样的标本或含细胞的试样的标本取得的图像。组织试样的标本或含细胞的试样的标本从个体采集。个体不特别限制，优选为哺乳类，更优选为人。在从上述个体采集试样时，不问个体是生是死。上述组织只要是存在于个体内的，就不限制。作为从上述个体采集的组织，可举外科的切除组织、活体检查组织等。上述含细胞的试样只要是从个体采集的，就不限制。例如，可举咳痰、胸水、腹水、尿、脑脊髓液、骨髓、血液、囊肿液等。在上述组织、及上述含细胞的试样中，可含肿瘤细胞。上述肿瘤也可为良性及恶性之任一者。上述肿瘤也可为上皮性及非上皮性之任一者。作为上述肿瘤，优选是恶性上皮性肿瘤。恶性肿瘤不特别限制，作为恶性肿瘤，例如，可举出从气管、支气管或肺等发生的呼吸系统恶性肿瘤；从上咽头、食道、胃、十二指肠、空肠、回肠、盲肠、阑尾、升结肠、横结肠、S状结肠、直肠或肛门部等发生的消化管系恶性肿瘤；肝脏癌；胰腺癌；从膀胱、尿管或肾脏发生的泌尿器系恶性肿瘤；从卵巢、卵管及子宫等发生的女性生殖器系恶性肿瘤；乳腺癌；前列腺癌；皮肤癌；下丘脑、垂体、甲状腺、副甲状腺、肾上腺等的内分泌系恶性肿瘤；中枢神经系恶性肿瘤；从骨软部组织发生的恶性肿瘤等的实体瘤。更优选为，可举肺癌(扁平上皮癌、小细胞癌、大细胞癌、腺癌)等的呼吸系统上皮性恶性肿瘤；胃癌、十二指肠癌、大肠癌(S状结肠癌、直肠癌等)等的消化管系上皮性恶性肿瘤；肝脏癌；胰腺癌；膀胱癌；甲状腺癌；卵巢癌；乳腺癌；前列腺癌。最优选为，胃癌。
上述标本是指以可用显微镜等观察上述组织试样或含细胞的试样的方式加工的状态的例如显微镜用标本。上述标本可根据公知的方法而制作。例如，在组织标本的情况中，从上述个体采集组织之后，用指定的固定液(福尔马林固定等)固定组织，将该固定组织石蜡包埋，薄切石蜡包埋组织。将薄切切片放置在载玻片上。对于载有切片的载玻片实施用于用光学显微镜的观察，即用于明场观察的染色，进行指定的封入处理而标本完成。组织标本的典型例是组织学诊断用标本(病理标本)，染色是苏木精－曙红(HE)染色。
例如，在含细胞的试样的标本的情况中，将上述试样中的细胞由离心、涂抹等附着在载玻片上，用指定的固定液(乙醇等)固定，实施明场观察用的染色，进行指定的封入处理而标本完成。含细胞的试样的标本的典型例是细胞学诊断用标本(细胞学诊断标本)，染色是Papanicolaou染色。在上述细胞学诊断用标本中，也含上述组织标本用而采集的组织的押印标本。
HE染色、Papanicolaou染色一同核染色是苏木精。苏木精在组织细胞染色中作为核染色剂广泛使用(例如，免疫染色、凝集素染色、糖染色、脂肪染色、胶原纤维染色等)。因此，本发明能应用于将这样的苏木精在核染色中使用的标本整体中。
在上述图像解析中，使用使用4种训练用图像而训练的学习完了的深层学习算法。上述图像解析从自上述标本取得的含解析对象的组织或细胞的解析对象图像生成解析用数据。向上述深层学习算法输入上述解析用数据，生成显示存在于上述解析对象图像内的细胞的肿瘤化状态的数据。肿瘤化状态是指处于判别对象的关注像素的位置的组织是肿瘤。优选为，肿瘤化状态是指处于判别对象的关注像素的位置的组织是肿瘤与否。另外，显示肿瘤化状态的数据是显示存在于解析对象图像内的细胞的核区域是肿瘤细胞的核区域、还是非肿瘤细胞的核区域的数据。示肿瘤化状态的数据可为可区别肿瘤细胞的核区域、非肿瘤细胞的核区域和既非肿瘤细胞的核区域也非肿瘤细胞的核区域的区域的标签值等。
4种训练用图像之中，第1训练用图像是含从个体采集的含肿瘤的组织试样的标本或从个体采集的含肿瘤细胞的试样的标本中所含的肿瘤组织或肿瘤细胞的图像。此图像从以可由显微镜观察识别组织结构或细胞结构的方式染色的标本取得。上述染色只要是可识别组织结构或细胞结构，就不限制，优选为明场观察用的染色。上述明场观察用染色只要是至少细胞核和细胞核以外的部位可能以色相区别地进行染色，就不限制。在上述标本是哺乳类的组织标本时，例如，可举HE染色。另外，例如，在上述标本是含哺乳类的细胞的标本时，可举Papanicolaou染色。
从第1训练用图像生成第1训练数据和第1预备训练数据。第1训练数据是关于将第1训练用图像中所含的色相针对每个原色分离的单一色图像的信息。第1预备训练数据是显示第1训练用图像中所含的细胞是肿瘤细胞的核区域的二值化数据。第1训练用图像中所含的组织或细胞含肿瘤细胞，例如由医师的标本诊断判断。作为从第1训练用图像生成的第1预备训练数据，生成显示“是肿瘤细胞的区域”的标签值。
4种训练用图像之中，第2训练用图像是在第1训练用图像中显示何处是细胞的核区域的即显示“是细胞核区域”的正解是第1训练用图像的哪个区域的图像。上述细胞的图像优选为显示肿瘤细胞的核的区域的图像。此图像是对于与取得第1训练用图像的标本相同的标本、或者对应于取得第1训练用图像的标本的标本(例如，连续切片标本)实施对细胞核选择性地进行染色的荧光核染色，摄像的图像。作为上述荧光核染色，不限制，可举4',6-二脒基-2-苯基吲哚(DAPI)染色。从第2训练用图像生成第2预备训练数据。第2预备训练数据是通过使第2训练用图像二值化而生成的二值化数据，显示是细胞核的区域、还是其以外的区域。
第2预备训练数据和第1预备训练数据针对每个像素关联，向在第2预备训练数据之中显示细胞核区域的像素进一步赋予表示“是肿瘤细胞的核区域”的标签值。以第2预备训练数据内的细胞核的区域附表示“是肿瘤细胞的核区域”的标签值的数据作为第2训练用数据使用。
4种训练用图像之中，第3训练用图像是含从个体采集的组织试样的标本或从个体采集的含细胞的试样的标本中所含的非肿瘤组织或非肿瘤细胞的图像。此图像从以可由显微镜观察识别组织结构或细胞结构的方式染色的标本取得。上述染色只要是可识别组织结构或细胞结构，就不限制，优选为明场观察用的染色。上述明场观察用染色只要是至少细胞核和细胞核以外的部位可能以色相区别地进行染色，就不限制。在上述标本是哺乳类的组织标本时，例如，可举HE染色。另外，例如，在上述标本是含哺乳类的细胞的标本时，可举Papanicolaou染色。上述染色优选与取得第1训练用图像时的对标本实施的染色相同。
从第3训练用图像生成第3训练数据和第3预备训练数据。第3训练数据是关于将第3训练用图像中所含的色相针对每个原色分离的单一色图像的信息。第3预备训练数据是显示第3训练用图像中所含的细胞是非肿瘤细胞的区域的二值化数据。第3训练用图像中所含的组织或细胞含非肿瘤细胞，例如由医师的标本诊断判断。作为从第3训练用图像生成的第3预备训练数据，生成显示“是非肿瘤细胞的区域”的标签值。
4种训练用图像之中，第4训练用图像是在第3训练用图像中，显示何处是细胞的核区域，即显示“是细胞核区域”的正解是第3训练用图像的哪个区域的图像。上述细胞的图像优选为显示非肿瘤细胞的核的区域的图像。此图像是对于与取得第1训练用图像的标本相同的标本、或者与取得第3训练用图像的标本对应的标本(例如，连续切片标本)实施对细胞核选择性地进行染色的荧光核染色，摄像的图像。作为上述荧光核染色，不限制，可举4',6-二脒基-2-苯基吲哚(DAPI)染色。上述染色优选与取得第2训练用图像时的对标本实施的染色相同。从第4训练用图像生成第4预备训练数据。第4预备训练数据是通过使第4训练用图像二值化而生成的二值化数据，显示是细胞核的区域、还是其以外的区域。
第4预备训练数据和第3预备训练数据针对每个像素关联，向在第4预备训练数据之中显示细胞核区域的像素进一步赋予表示“是非肿瘤细胞的核区域”的标签值。以第2预备训练数据内的细胞核的区域中附表示“是非肿瘤细胞的核区域”的标签值的数据作为第4训练用数据使用。
训练数据含肿瘤部训练数据及非肿瘤部训练数据。
上述细胞的核的区域是指含1个或多个核的区域。
在本发明的概要及实施方式中，以将对HE染色的组织标本进行摄像的图像内所含的细胞的肿瘤化状态由深层学习算法判别的情况作为一例进行说明。
[深层学习方法及图像解析方法的概要]
以下，首先对于深层学习方法及图像解析方法的概要进行说明。接下来，对于本发明的多个实施方式各自而具体进行说明。
·深层学习方法的概要
在图1中，显示向使用含肿瘤组织和非肿瘤组织的全切片像70W的神经网络输入训练数据的例。以全切片像70W中所示的记号C表示的被实线包围的区域显示肿瘤组织的区域。记号R1表示作为第1训练用图像70C使用的区域。以记号NC表示的被实线包围的区域示非肿瘤组织的区域。记号R2表示作为第3训练用图像70NC(示于图2)使用的区域。第1训练用图像70C含肿瘤组织与否可在取得第1训练用图像70C之前判断，也可在取得第1训练用图像之后判断。对于第3训练用图像70NC含非肿瘤组织与否也同样，可在取得第3训练用图像70NC之前判断，也可在取得第3训练用图像70NC之后判断。
在图1中，第1训练用图像70C为了将HE染色的标本在显微镜的明场观察下例如作为彩色图像摄像，在第1训练用图像70C中含多个色相。
第1训练用图像(明场图像)70C可使用例如公知的光学显微镜、荧光显微镜或虚拟切片扫描仪等的图像取得装置而预先取得。在例示的中，在本实施方式中从图像取得装置取得的颜色摄像优选为颜色空间是RGB的24比特颜色。在RGB的24比特颜色中，优选以8比特(256阶段)表示红色、绿色及蓝色的各自的浓度(色浓度)。第1训练用图像(明场图像)70C只要是含1个以上的原色的图像即可。从第1训练用图像70C生成第1训练数据和第1预备训练数据70CL。
在本发明中，色相，例示性地，以光的3原色的组合，或者色的3原色的组合规定。第1训练数据是将从第1训练用图像70C生成的第1训练用图像70C中呈现的色相分离为各原色而针对每个原色生成，以对应于其浓度的符号表示的数据。在图1中得到分离为作为光的3原色的红(R)、绿(G)、蓝(B)的每原色的单一色的图像72R、72G、72B。
如果对于单一色的图像72R、72G、72B上的各像素而符号化各色的色浓度，则将图像整体对于每个R、G、B的各图像而成为对应于每像素的色浓度的符号化图72r、72g、72b。色浓度也可用表示各色256阶段的数值符号化。另外，色浓度也可对于表示各色256阶段的数值还进行预处理，例如，将各像素中的色浓度用以值0至值7的8阶段表示的数字符号化。在图1中例示性地显示的R、G、B各色的单一色图像中的色浓度符号化图72r、72g、72b将在各像素中的色浓度以值0至值7的8阶段(以色阶表示则为3色阶)的符号表示。图1中所示的色浓度符号化图72r、72g、72b成为第1训练数据。显示色浓度的符号在本说明书中也称为色浓度值。
在图1中，第1预备训练数据70CL是对于第1训练用图像70C中所含的组织，显示是肿瘤细胞的二值化数据。上述二值化数据可为图像数据，也可为对应于第1训练用图像70C内的各像素的标签值。例如，由于第1训练用图像70C是肿瘤组织，对于第1训练用图像70C内的各像素全部而作为表示是肿瘤细胞的标签值赋相同的数值。
在图1中，第2训练用图像71C是将荧光核染色的标本在荧光显微镜的荧光观察下用2色阶以上的灰度摄像或颜色摄像的图像。第2训练用图像71C可使用例如公知的荧光显微镜或虚拟切片扫描仪等明场图像取得装置而预先取得。从第2训练用图像71C生成第2预备训练数据71CN。
第2预备训练数据71CN是从对学习对象的组织进行摄像的第2训练用图像71C生成的显示学习对象的组织的细胞核的区域的二值化数据。
第2预备训练数据71CN通过将2色阶以上的灰度的或颜色的第2训练用图像71C由二值化处理作为白黑的荧光图像进行数据化而生成。通过将第2训练用图像71C二值化，区别细胞核的区域和其以外的区域，判别细胞核的区域。到底是细胞核的区域或其以外的区域之任一者的判断，例如，通过将图像内的各像素的色浓度与指定的条件(例如，色浓度的阈值)比较来进行。上述二值化数据可为图像数据，也可为对应于第2训练用图像71C内的各像素的标签。例如，在显示细胞核的区域的像素中附“1”、在细胞核的区域以外附“0”的标签。
接下来，生成第2训练数据73C。第2训练数据73C是从第1预备训练数据70CL和第2预备训练数据71CN生成的数据，作为真值像73C而使神经网络50作为正解学习的数据。由于第2训练数据73C从含肿瘤组织的第1训练用图像70C及第2训练用图像71C生成，显示组织或细胞的肿瘤化状态的正解是肿瘤细胞的核区域。在第2训练数据73C中，含区别表示对应于第2训练用图像71C的各像素的肿瘤细胞的核区域和此外的区域的标签值。例如表示肿瘤细胞的核区域的标签值是“1”、表示此外的区域的标签是“0”。图1中所示的第2训练数据73C为了说明的便利而以图像显示，但在输入到上述神经网络时，向各像素赋予区别表示肿瘤细胞的核区域和此外的区域的标签值。
在深层学习法中，以图1中所示的色浓度符号化图72r、72g、72b(也称为第1训练数据)及第2训练数据73C作为肿瘤部训练数据74C使用。具体而言，使以色浓度符号化图72r、72g、72b作为输入层50a，以第2训练数据73C作为输出层50b的神经网络50学习。即，使神经网络50学习R、G、B各色的色浓度符号化图72r、72g、72b和第2训练数据73C的对的关系。
在图2中，全切片像70W与图1同样。第3训练用图像70NC由于将HE染色的标本在显微镜的明场观察下作为彩色图像进行摄像，在第3训练用图像70NC中含多个色相。
第3训练用图像(明场图像)70NC用与第1训练用图像70C同样的方法生成。从第3训练用图像70NC生成第3训练数据和第3预备训练数据70NCL。
第3训练数据用与第1训练数据同样的方法生成。图3中所示的色浓度符号化图72r、72g、72b成为第3训练数据。
在图2中，第3预备训练数据70NCL是对于第3训练用图像70NC中所含的组织，显示是非肿瘤细胞的二值化数据。上述二值化数据可为图像数据，也可为对应于第3训练用图像70NC内的各像素的标签值。例如，由于第3训练用图像70NC是非肿瘤组织，对于第3训练用图像70NC内的各像素全部而作为表示是非肿瘤细胞的标签值赋相同的数值。显示是非肿瘤细胞的数值与表示肿瘤细胞的数值区别开来。
在图2中，第4训练用图像71NC是将荧光核染色的标本在荧光显微镜的荧光观察下用2色阶以上的灰度摄像或颜色摄像的图像。第4训练用图像71NC可使用例如公知的荧光显微镜或虚拟切片扫描仪等明场图像取得装置而预先取得。从第4训练用图像71NC生成第4预备训练数据71NCN。
第4预备训练数据71NCN用与第2预备训练数据71CN同样的方法生成。
接下来，生成第4训练数据73NC。第4训练数据73NC是从第3预备训练数据70NCL和第4预备训练数据71NCN生成的数据，作为真值像73NC而使神经网络50作为正解学习的数据。由于第4训练数据73NC从含非肿瘤组织的第3训练用图像70NC及第4训练用图像71NC生成，显示组织或细胞的肿瘤化状态的正解是非肿瘤细胞的核区域。在第4训练数据73NC中，含区别表示对应于第4训练用图像的各像素的非肿瘤细胞的核区域和此外的区域的标签值。例如表示非肿瘤细胞的核区域的标签值是“2”、表示此外的区域的标签值是“0”。图2中所示的第4训练数据73NC为了说明的便利而以图像显示，但在输入到上述神经网络时，各像素赋予区别表示肿瘤细胞的核区域和此外的区域的标签值。
在深层学习方法中，以图2中所示的色浓度符号化图72r、72g、72b(也称为第3训练数据)及第4训练数据73NC作为非肿瘤部训练数据74NC使用。具体而言，使以色浓度符号化图72r、72g、72b作为输入层50a，以第4训练数据73NC作为输出层50b的神经网络50学习。即，使神经网络50学习R、G、B各色的色浓度符号化图72r、72g、72b和第4训练数据73NC的对的关系。
参照图3(a)至(c)而说明肿瘤部训练数据74C的生成方法。肿瘤部训练数据74C是组合R、G、B各色的色浓度符号化图72r、72g、72b和第2训练数据73C的数据。肿瘤部训练数据74C在图3(a)中，其图像尺寸(训练数据每1个的大小)为了说明的便利而简便化，色浓度符号化图72r、72g、72b及第2训练数据73C有纵方向9个像素及横方向9个像素的合计81个像素。
在图3(b)中显示构成肿瘤部训练数据74C的像素的一例。图3(b)中的上段中所示的3个值74a是在各像素中的R、G、B各色的浓度值。例示性地，3个值以红(R)、绿(G)及蓝(B)的顺序储存。色浓度符号化图72r、72g、72b的各像素的色浓度值以值0至值7的8阶段表示。这是作为图像的预处理的一例，将摄像时以256阶段表示的各色的图像72R、72G、72B的亮度各自变换为8阶段的色浓度值的处理。色浓度值例如以最低的亮度(以RGB颜色256阶段表示之时的亮度值低的色阶组)作为色浓度值0，分配根据亮度的程度变高而缓慢地高的值，以最高的亮度(以RGB颜色256阶段表示之时的亮度值高的色阶组)作为色浓度值7。图3(b)中的下段中所示的值74b是第2训练数据73C的标签值。例如标签值1表示肿瘤细胞的细胞核，标签值0表示其以外的区域。即，在图1中所示的第2训练数据73C中，标签值从1至0改变的像素或从0至1改变的像素的位置相当于肿瘤细胞的核区域和其以外的区域的边界。
图3(c)中所示的肿瘤部训练数据75C是切出图3(a)中所示的肿瘤部训练数据74C的指定的像素数的区域(以下，记载为“窗尺寸”)的数据。窗尺寸的肿瘤部训练数据75C也为了说明的便利而简便化为3×3像素而显示，但实际的优选的窗尺寸例示性地是113×113像素左右，其中放入3×3个左右正常的胃上皮细胞的核的大小从学习效率的方面优选。例如，如图3(c)所示，设定3×3像素的窗W1，对于肿瘤部训练数据74C而使窗W1移动。窗W1的中心位于肿瘤部训练数据74C中的任一像素，例如，以黑框表示的窗W1内的肿瘤部训练数据74C被作为窗尺寸的肿瘤部训练数据75C切出。切出的窗尺寸的肿瘤部训练数据75C在图1中所示的神经网络50的学习中使用。
如图1所示，神经网络50的输入层50a的节点数对应于输入的窗尺寸的肿瘤部训练数据75C的像素数和图像中所含的原色的数(例如光的三原色是R、G、B这3个)的积。以窗尺寸的肿瘤部训练数据75C的各像素的色浓度值数据76作为神经网络的输入层50a，以对应于肿瘤部训练数据75C的各像素的第2训练数据73C的标签值74b之中位于中心的像素的标签值77作为神经网络的输出层50b，使神经网络50学习。各像素的色浓度值数据76是肿瘤部训练数据75C的各像素的R、G、B各色的色浓度值74a的集合数据。作为例示，在窗尺寸的肿瘤部训练数据75C是3×3像素时，由于对于各像素而针对R、G、B各自给各1个色浓度值74a，色浓度值数据76的色浓度值数成为“27”(3×3×3＝27)，神经网络50的输入层50a的节点数也成为“27”。
这样，输入到神经网络50的窗尺寸的肿瘤部训练数据75C不由使用者制成，可由计算机自动制成。由此，促进神经网络50的有效的深层学习。
如图3(c)所示，在初期状态，窗W1的中心位于肿瘤部训练数据74C的左上角。之后，由窗W1切出窗尺寸的肿瘤部训练数据75C，每次进行神经网络50的学习时，使窗W1的位置移动。具体而言，以窗W1的中心扫描肿瘤部训练数据74C的例如全部像素的方式，使窗W1以1像素单位移动。由此，从肿瘤部训练数据74C的全部像素切出的窗尺寸的肿瘤部训练数据75C在神经网络50的学习中使用。从而，可提升神经网络50的学习的程度，深层学习的结果，得到了有图5中所示的神经网络60结构的深层学习算法。
在图4中，显示非肿瘤部训练数据74NC。非肿瘤部训练数据74NC的生成方法与肿瘤部训练数据74C中的说明同样。但是，在非肿瘤部训练数据74NC中，例如设为标签值2表示非肿瘤细胞的核区域，标签值0表示其以外的区域。即，在图2中所示的第4训练数据73NC中，标签值从2至0改变的像素或从0至2改变的像素的位置相当于非肿瘤细胞的核区域和其以外的区域的边界。
肿瘤部训练数据74C和非肿瘤部训练数据74NC合起来成为表示肿瘤细胞的核区域的标签是1、表示非肿瘤细胞的核区域的标签是2，表示既非肿瘤细胞的核区域、也非肿瘤细胞的核区域的部分的标签是0的三值的数据，作为真值数据而使神经网络50学习。
·图像解析方法的概要
如图5所示，在图像解析方法中，从对含解析对象的组织或细胞的标本进行摄像的解析对象图像(明场图像)78生成解析用数据80。上述标本优选实施与第1训练用图像相同的染色。解析对象图像78也可使用例如公知的显微镜或虚拟切片扫描仪等而作为例如彩色图像取得。解析对象图像(明场图像)78只要是含1个以上的原色的图像即可。如果将颜色的解析对象图像78对于各像素用R、G、B各色的色浓度值符号化，则可将图像整体针对R、G、B各自表示为各像素中的色浓度值的符号化图(解析用色浓度符号化图79r、79g、79b)。在图5中例示性地显示的表示R、G、B各色的单一色图像中的色浓度的符号的色浓度符号化图79r、79g、79b代替3原色的各图像79R、79G、79B而显示以值0至值7的8阶段以符号表示的色浓度值。
解析用数据80是切出色浓度符号化图79r、79g、79b的指定的像素数的区域(即，窗尺寸)的数据，含解析对象图像78中所含的组织或细胞的色浓度值的数据。窗尺寸的解析用数据80也与肿瘤部训练数据75C及非肿瘤部训练数据75NC同样地，为了说明的便利而简便化为3×3像素而显示，但实际的优选的窗尺寸例示性地是113×113像素左右，其中放入3×3个左右正常的胃上皮细胞的核的大小从判别精度的方面优选，是例如以40倍的视野113×113像素左右。例如，设定3×3像素的窗W2，对于色浓度符号化图79r、79g、79b而使窗W2移动。窗W2的中心位于色浓度符号化图79r、79g、79b中的任一像素，如果将色浓度符号化图79r、79g、79b由例如3×3像素的黑框所示的窗W2切出，则得到了窗尺寸的解析用数据80。这样，解析用数据80从色浓度符号化图79r、79g、79b，针对每个以指定的像素作为中心而含周边的像素的区域而生成。指定的像素是指位于窗W2的中心的色浓度符号化图79r、79g、79b的像素，周边的像素是指以此指定的像素作为中心的窗尺寸的范围内所含的色浓度符号化图79r、79g、79b的像素。在解析用数据80中也与肿瘤部训练数据74C、非肿瘤部训练数据74NC同样地，对于各像素而色浓度值以红(R)、绿(G)及蓝(B)的顺序储存。
在图像解析方法中，使用有使用图1及图2中所示的窗尺寸的肿瘤部训练数据75C、非肿瘤部训练数据75NC而学习的神经网络的深层学习算法60而处理解析用数据80。通过对解析用数据80进行处理而生成显示解析对象的组织或细胞中的肿瘤化状态的数据83。
再参照图5，从R、G、B各色的色浓度符号化图79r、79g、79b切出的解析用数据80输入到构成深层学习算法的神经网络60。神经网络60的输入层60a的节点数对应于输入的像素数和图像中所含的原色的数的积。如果向神经网络60输入解析用数据80的各像素的色浓度值数据81，则从输出层60b输出位于解析用数据80的中心的像素的推定值82(三值)。例如推定值是1的情况，表示是肿瘤细胞的核区域，推定值是2的情况，表示不是肿瘤细胞的核区域，而是非肿瘤细胞的核区域，在推定值是0时，表示是细胞核以外的区域。即，从神经网络60的输出层60b输出的推定值82是针对解析对象图像的每个像素而生成的数据，显示在解析对象图像中的细胞的肿瘤化状态的数据。推定值82将是肿瘤细胞的核区域，是非肿瘤细胞的核区域，是细胞核以外的区域以例如值1、值2和值0的三值区别。推定值82也称为标签值，在关于神经网络的后述的说明中也称为类。神经网络60对于输入的解析用数据80，对于位于解析用数据80的中心的像素，生成显示细胞的肿瘤化状态的标签。换言之，神经网络60将解析用数据80分类为显示解析对象图像中所含的组织或细胞的肿瘤化状态的类。再者，各像素的色浓度值数据81是解析用数据80的各像素的R、G、B各色的色浓度值的集合数据。
之后，一边以窗W2的中心扫描R、G、B各色的色浓度符号化图79r、79g、79b的全部像素的方式使窗W2以1像素单位移动，一边将解析用数据80以窗尺寸切出。向神经网络60输入切出的解析用数据80。由此，作为显示解析对象图像中的组织或细胞的肿瘤化状态的数据，得到标签值83。在图5中所示的例中，通过对于标签值83而还进行肿瘤细胞核区域检测处理，得到显示肿瘤细胞核的区域的肿瘤细胞核区域强调图像84。肿瘤细胞核区域检测处理，具体而言，成为例如检测推定值82是值1的像素的处理，实际上成为判别肿瘤细胞核的区域的处理。肿瘤细胞核区域强调图像84是将由图像解析处理得到的细胞核的区域在解析对象的解析对象图像78重叠显示的图像。另外，也可在判别肿瘤细胞核的区域之后，进行将肿瘤细胞核和此外的区域(即，非肿瘤细胞核或细胞核以外)能识别地显示于显示装置的处理。例如，进行在将肿瘤细胞核的区域以色彩涂满的肿瘤细胞核的区域和其以外的区域之间描画线等的处理，将这些能识别地显示于显示装置。
＜第1实施方式＞
在第1实施方式中，对于实施在上述的概要中说明的深层学习方法及图像解析方法的系统的构成而具体进行说明。
[构成的概要]
参照图6，则第1实施方式涉及的图像解析系统具备深层学习装置100A和图像解析装置200A。供应商侧装置100作为深层学习装置100A运行，使用者侧装置200作为图像解析装置200A运行。深层学习装置100A使神经网络50使用训练数据进行学习，将由训练数据训练的深层学习算法60提供于使用者。由学习完了的神经网络60构成的深层学习算法通过记录介质98或网络99而从深层学习装置100A提供于图像解析装置200A。图像解析装置200A使用由学习完了的神经网络60构成的深层学习算法而进行解析对象的图像的解析。
深层学习装置100A例如由通用计算机构成，基于后述的流程图而进行深层学习处理。图像解析装置200A例如由通用计算机构成，基于后述的流程图而进行图像解析处理。记录介质98是例如DVD-ROM或USB存储器等的计算机能读取而非暂时性的有形的记录介质。
深层学习装置100A与摄像装置300连接。摄像装置300具备摄像元件301和荧光显微镜302，对设置在镜台309上的学习用的标本308的明场图像及荧光图像进行摄像。学习用的标本308实施上述的染色。深层学习装置100A取得由摄像装置300摄像的第1训练用图像70及第2训练用图像71。
图像解析装置200A与摄像装置400连接。摄像装置400具备摄像元件401和荧光显微镜402，对设置在镜台409上的解析对象的标本408的明场图像进行摄像。解析对象的标本408如上所述预先被染色。图像解析装置200A取得由摄像装置400摄像的解析对象图像78。
在摄像装置300、400中，可使用有对标本进行摄像的功能的公知的荧光显微镜或虚拟切片扫描仪等。摄像装置400只要是有对标本进行摄像的功能，就也可为光学显微镜。
[硬件构成]
参照图7，则供应商侧装置100(100A、100B)具备处理部10(10A、10B)、输入部16和输出部17。
处理部10具备：进行后述的数据处理的CPU(Central Processing Unit)11，在数据处理的作业区域中使用的存储器12，记录后述的程序及处理数据的记录部13，在各部之间传送数据的总线14，进行与外部机器的数据的输入输出的接口部15和GPU(GraphicsProcessing Unit)19。输入部16及输出部17与处理部10连接。例示性地，输入部16是键盘或鼠标等的输入装置，输出部17是液晶显示等的显示装置。GPU19作为辅助CPU11进行的计算处理(例如，并列计算处理)的加速器发挥功能。在即以下的说明中，CPU11进行的处理是指也包括CPU11以GPU19作为加速器使用而进行的处理。
另外，处理部10为了进行在以下的图10中说明的各步骤的处理，将本发明涉及的程序及学习前的神经网络50例如以执行形式预先记录在记录部13。执行形式是例如从编程言语由编译器变换而生成的形式。处理部10使用记录在记录部13的程序及学习前的神经网络50而进行处理。
在以下的说明中，只要是不特别说明，处理部10进行的处理就是指基于储存在记录部13或存储器12的程序及神经网络50而CPU11进行的处理。CPU11以存储器12作为作业区域，暂时存储必要的数据(处理途中的中间数据等)，在记录部13适宜记录计算结果等的长期保存的数据。
参照图8，则使用者侧装置200(200A、200B、200C)具备处理部20(20A、20B、20C)、输入部26和输出部27。
处理部20具备：进行后述的数据处理的CPU(Central Processing Unit)21，在数据处理的作业区域中使用的存储器22，记录后述的程序及处理数据的记录部23，在各部之间传送数据的总线24，进行与外部机器的数据的输入输出的接口部25和GPU(GraphicsProcessing Unit)29。输入部26及输出部27与处理部20连接。例示性地，输入部26是键盘或鼠标等的输入装置，输出部27是液晶显示等的显示装置。GPU29作为辅助CPU21进行的计算处理(例如，并列计算处理)的加速器发挥功能。即在以下的说明中，CPU21进行的处理是指也包括CPU21以GPU29作为加速器使用而进行的处理。
另外，处理部20为了进行在以下的图13中说明的各步骤的处理，将本发明涉及的程序及学习完了的神经网络结构的深层学习算法60例如以执行形式预先记录在记录部23。执行形式是例如从编程言语由编译器变换而生成的形式。处理部20使用记录在记录部23的程序及深层学习算法60而进行处理。
在以下的说明中，只要是不特别说明，处理部20进行的处理就是指基于储存在记录部23或存储器22的程序及深层学习算法60而实际上处理部20的CPU21进行的处理。CPU21以存储器22作为作业区域，暂时存储必要的数据(处理途中的中间数据等)，在记录部23适宜记录计算结果等的长期保存的数据。
[功能块及处理顺序]
·深层学习处理
参照图9，则第1实施方式涉及的深层学习装置100A的处理部10A具备训练数据生成部101、训练数据输入部102和算法更新部103。这些功能块通过将使计算机执行深层学习处理的程序安装到处理部10A的记录部13或存储器12上，CPU11执行此程序来实现。窗尺寸数据库104和算法数据库105记录在处理部10A的记录部13或存储器12。
学习用的标本的第1训练用图像70C、第2训练用图像71C、第3训练用图像70NC及第4训练用图像71NC设为由摄像装置300预先摄像，预先存储在处理部10A的记录部13或存储器12。神经网络50与例如解析对象的标本所来源的组织试样的类别(例如组织名)或含细胞的试样的种类对应而预先储存到算法数据库105。
深层学习装置100A的处理部10A进行图10中所示的处理。使用图9中所示的各功能块而进行说明，则步骤S10至S14、S19及S20的处理由训练数据生成部101进行。步骤S15的处理由训练数据输入部102进行。步骤S16至S18的处理由算法更新部103进行。
在接下来说明的步骤S10至S20中，对对于1对的第1训练用图像70C及第2训练用图像71C的对和1对的第3训练用图像70NC及第4训练用图像71NC的对的深层学习处理进行说明。第1训练用图像70C及第2训练用图像71C的对是用于学习关注像素是否是细胞核的区域并且是肿瘤细胞的细胞核，或者不是细胞核的区域的训练用图像的对。第3训练用图像70NC及第4训练用图像71NC的对是用于学习关注像素是否是细胞核的区域并且是非肿瘤细胞的细胞核，或者不是细胞核的区域的训练用图像的对。
在步骤S10中，处理部10A从输入的第1训练用图像70C生成R、G、B各色的色浓度符号化图72r、72g、72b。色浓度符号化图72r、72g、72b通过将第1训练用图像70C的各像素的R、G、B各色的色浓度值阶段性地表示而制成。在本实施方式中，以色浓度值作为值0至值7的8阶段，对于各R、G、B色阶图像而制成色浓度符号化图72r、72g、72b。色浓度值的分配例如以最低的亮度作为色浓度值0，分配根据亮度的程度变高而缓慢地高的值，以最高的亮度作为色浓度值7。
在步骤S11中，处理部10A生成显示第1训练用图像70C中的是学习对象的组织的肿瘤细胞的区域的第1预备训练数据70CL。第1预备训练数据70CL为了生成后述的三值的第2训练数据73C而使用。在第1预备训练数据70CL中，含表示含肿瘤细胞的区域的标签值。
例如，处理部10A含第1训练用图像70C的区域的宽的区域的图像(全切片像70W)显示于输出部17。进行判断的病理医将显示在输出部17的全切片像70W的图像用目测确认。病理医将判断为含肿瘤细胞的全切片像70W中的区域经例如输入部16而指定，在全切片像70W中例如记入红色等的实线。在全切片像中被红色的实线包围的区域是由病理医判断为含肿瘤细胞的区域。同样地，病理医对于第1训练用图像70C中判断为不含肿瘤细胞的全切片像70W中的区域而记入例如与红色不同的蓝色等的实线。在全切片像70W中被蓝色的实线包围的区域是由病理医判断为不含肿瘤细胞的区域。处理部10A也可代替将全切片像70W显示于输出部17而使由病理医进行判断而经I/F部15例如经网络99而取得由病理医的判断结束的全切片像70W。
处理部10A在从全切片像70W中被红色的实线包围的区域取得的明场图像的各像素中，作为表示是肿瘤区域的标签值，赋予例如值“1”。其后，处理部10A通过在进行由病理医的判断的全切片像之中，切出对应于第1训练用图像70C的区域的区域，生成显示学习对象的组织的肿瘤化状态的第1预备训练数据70CL。在从被蓝色的实线包围的区域取得的明场图像的各像素中，作为表示是非肿瘤区域的标签值，赋予例如值“2”。其后，处理部10A通过在进行由病理医的判断的全切片像之中，切出对应于第3训练用图像70NC的区域的区域，生成显示学习对象的组织的肿瘤化状态的第3预备训练数据70NCL。
再者，在由病理医的判断结果以红色及蓝色的实线表示的全切片像中，用红色包围的区域和用蓝色包围的区域不重叠，作为互相区别的区域显示。也有含肿瘤细胞的区域和不含肿瘤细胞的区域邻接，用红色包围的区域和用蓝色包围的区域邻接的情况。
在步骤S12中，处理部10A使输入的第2训练用图像71C的各像素的色阶二值化而生成显示学习对象的组织的细胞核区域的第2预备训练数据71CN。示细胞核区域的第2预备训练数据71CN为了生成后述的三值的第2训练数据73C而使用。二值化的处理，例如，通过将图像内的各像素的色阶与指定的阈值比较来进行。也可代替与阈值的比较而使用最大似然估计法而二值化。
在步骤S13a中，处理部10A从第1预备训练数据70CL和第2预备训练数据71CN生成第2训练数据73C。第2训练数据73C(三值化图像)为了生成使神经网络50作为正解学习的肿瘤部训练数据74C而使用。即处理部10A对于第1预备训练数据70CL及第2预备训练数据71CN的对应的相同的位置的像素而基于赋予像素的显示是肿瘤细胞的标签值和表示细胞核区域及其以外的区域的标签值而向各像素赋予显示是肿瘤细胞的核区域的标签值和显示是此外的区域的标签值。处理部10A通过对于第1预备训练数据70CL及第2预备训练数据71CN中所含的全部像素而针对每个像素进行这样的判断处理，生成第2训练数据73C。
作为每像素的判断的一例，处理部10A作为第2训练数据73C中针对每个像赋予的细胞的肿瘤化状态的标签值，例如，赋予值“1”及“0”的标签值之任一者。例如，向对应于肿瘤细胞的细胞核的像素赋予值“1”，向毕竟不是细胞核的区域的像素赋予值“0”。
例如，如果表示细胞核区域的第2预备训练数据71CN的关注像素的值是表示细胞核的区域的标签值，则处理部10A还参照显示肿瘤化状态的第1预备训练数据70CL的关注像素的标签值，以参照的关注像素的标签值作为显示第2训练数据73C的关注像素的肿瘤化状态的标签值赋予。如果参照的关注像素的值是例如表示是肿瘤细胞的区域的值“1”，则处理部10A向第2训练数据73C的关注像素赋予值“1”。与此相比，如果表示细胞核区域的第2预备训练数据71CN的关注像素的值是表示细胞核以外的区域的值，则处理部10A不参照第1预备训练数据70CL的关注像素的标签值，而向第2训练数据73C的关注像素赋予值“0”。
在步骤S13b中，处理部10A从第3预备训练数据70NCL和第4预备训练数据71NCN生成第4训练数据73NC。第4训练数据73NC为了生成使神经网络50作为正解学习的非肿瘤部训练数据74NC而使用。即处理部10A对于第3预备训练数据70NCL及第4预备训练数据71NCN的对应的相同的位置的像素而基于赋予像素的显示是非肿瘤细胞的标签值和表示细胞核区域及其例外的区域的标签值而向各像素赋予表示非肿瘤细胞的核区域的标签值和表示此外的区域的标签值。处理部10A通过对于第3预备训练数据70NCL及第4预备训练数据71NCN中所含的全部像素而针对每个像素进行这样的判断处理，生成第4训练数据73NC。
作为每像素的判断的一例，处理部10A作为第4训练数据73NC中针对每个像素赋予的显示细胞的肿瘤化状态的标签值，例如，赋予值“2”及“0”的标签值之任一者。例如，向对应于非肿瘤细胞的细胞核的像素赋予值“2”，向毕竟不是细胞核的区域的像素赋予值“0”。
例如，如果表示细胞核区域的第4预备训练数据71NCN的关注像素的值是表示细胞核的区域的标签值，则处理部10A还参照显示肿瘤化状态的第3预备训练数据70NCL的关注像素的标签值，以参照的关注像素的标签值作为第4训练数据73NC的关注像素的显示肿瘤化状态的标签值赋予。如果参照的关注像素的值是例如表示是非肿瘤细胞的区域的值“2”，则处理部10A向第2训练数据73C的关注像素赋予值“2”。与此相比，如果表示细胞核区域的第4预备训练数据71NCN的关注像素的值是表示细胞核以外的区域的值，则处理部10A不参照第3预备训练数据70NCL的关注像素的标签值，作为第4训练数据73NC的关注像素的显示肿瘤化状态的标签值，向关注像素赋予值“0”。
在步骤S14中，处理部10A通过输入部16而接受自深层学习装置100A侧的操作者的学习用的组织的类别的输入。处理部10A基于输入的组织的类别，参照窗尺寸数据库104而设定窗尺寸，参照算法数据库105而设定在学习中使用的神经网络50。在以胃的组织标本作为解析对象的本实施方式中，窗尺寸例如作为113×113像素。此像素尺寸是例如以40倍摄像的图像中的尺寸。例示性地，支持在2个至9个程度的多个细胞之中至少1个细胞的细胞核区域的整体形状含在窗内的尺寸。窗尺寸是1次的输入时输入到神经网络50的训练数据的单位，窗尺寸的肿瘤部训练数据75C的像素数和图像中所含的色彩的原色的数的积对应于输入层50a的节点数。窗尺寸与组织试样的类别或含细胞的试样的类别对应而预先记录在窗尺寸数据库104内。
在步骤S15中，处理部10A从作为色浓度符号化图72r、72g、72b的第1训练数据及第2训练数据73C生成窗尺寸的肿瘤部训练数据75C。具体而言，在上述的“深层学习方法的概要”中，如参照图3(a)至(c)而进行说明的一样，从组合第1训练数据及第2训练数据73C的肿瘤部训练数据74C，由窗W1制成窗尺寸的肿瘤部训练数据75C。另外，处理部10A从作为色浓度符号化图72r、72g、72b的第3训练数据及第4训练数据73C生成窗尺寸的非肿瘤部训练数据75NC。具体而言，在上述的“深层学习方法的概要”中，如参照图3(a)至(c)而进行说明的一样，从组合作为色浓度符号化图72r、72g、72b的第3训练数据及第4训练数据73NC的非肿瘤部训练数据74NC，由窗W1制成窗尺寸的非肿瘤部训练数据75NC。
在图10中所示的步骤S16中，处理部10A使用窗尺寸的肿瘤部训练数据75C及非肿瘤部训练数据75NC而使神经网络50学习。神经网络50的学习结果在每次使用窗尺寸的肿瘤部训练数据75C及非肿瘤部训练数据75NC而使神经网络50学习时蓄积。
在实施方式涉及的图像解析方法中，由于使用折叠神经网络，使用概率的梯度降低法，在步骤S17中，处理部10A判断蓄积预先确定的指定的试行次数的学习结果与否。学习结果蓄积指定的试行次数时，处理部10A进行步骤S18的处理，在学习结果未蓄积指定的试行次数时，处理部10A进行步骤S19的处理。
学习结果蓄积指定的试行次数时，在步骤S18中，处理部10A使用在步骤S16中蓄积的学习结果而更新神经网络50的结合权重w。在实施方式涉及的图像解析方法中，由于使用概率的梯度降低法，在指定的试行次数的学习结果蓄积的阶段，更新神经网络50的结合权重w。更新结合权重w的处理，具体而言，是后述的(式11)及(式12)中所示的实施由梯度降低法的计算的处理。
在步骤S19中，处理部10A判断对输入图像内的规定数的像素进行处理与否。当输入图像是肿瘤部训练数据74C及非肿瘤部训练数据75NC，对于肿瘤部训练数据74C及非肿瘤部训练数据75NC内的规定数的像素而进行步骤S16至步骤S18的一系列的处理时，结束深层学习处理。神经网络的学习无必然对于输入图像内的全部像素而进行的必要，处理部10A可对于输入图像内的一部分的像素、即规定数的像素进行处理而进行学习。规定数的像素也可为输入图像内的全部像素。
在不处理输入图像内的规定数的像素时，处理部10A在步骤S20中，如图3(c)所示，在肿瘤部训练数据74C内及非肿瘤部训练数据75NC中，使窗的中心位置以1像素单位移动。其后，处理部10A在移动后的新的窗位置中，进行步骤S16至步骤S18的一系列的处理。即，处理部10A在步骤S15中，在移动后的新的窗位置将肿瘤部训练数据74C或非肿瘤部训练数据75NC以窗尺寸切出。继而，处理部10A在步骤S16中，使用新切出的窗尺寸的肿瘤部训练数据75C及非肿瘤部训练数据75NC而使神经网络50学习。在步骤S17中，当蓄积指定的试行次数的学习结果时，处理部10A在步骤S18中，更新神经网络50的结合权重w。将每个这样的窗尺寸的神经网络50的学习对于肿瘤部训练数据74C及非肿瘤部训练数据75NC内的规定数的像素进行。
通过将以上说明的对于1对的输入图像的对的步骤S10至S20的深层学习处理对于不同的输入图像的多个对而重复进行，使神经网络50的学习的程度提升。由此，得到图5中所示的神经网络结构的深层学习算法60。
·神经网络的结构
如图11(a)所示，在第1实施方式中，使用深层学习类型的神经网络。深层学习类型的神经网络，如图11中所示的神经网络50一样，具备输入层50a、输出层50b和输入层50a及输出层50b之间的中间层50c，中间层50c由多个层构成。构成中间层50c的层的数可作为例如5层以上。
在神经网络50中，以层状配置的多个节点89在层间结合。由此，信息从输入侧的层50a向输出侧的层50b，仅向图中箭头D所示的一方向传播。在本实施方式中，输入层50a的节点数对应于输入的图像的像素数即图3(c)中所示的窗W1的像素数和各像素中所含的色彩的原色的数的积。由于可向输入层50a输入图像的像素数据(色浓度值)，使用者不从输入图像另行算出特征量，可向输入层50a输入输入图像。
·在各节点的计算
图11(b)是显示在各节点的计算的模式图。在各节点89，接受多个输入，计算1个输出(z)。图11(b)中所示的例的情况，节点89接受4个输入。节点89接受的总输入(u)用以下的(式1)表示。
【数1】
u＝w1x1+w2x2+w3x3+w4x4+b (式1)
在各输入中，各自带不同的权重。(式1)中，b是称为偏倚的值。节点的输出(z)成为对于(式1)所表示的总输入(u)的指定的函数f的输出，用以下的(式2)表示。函数f称为活化函数。
【数2】
z＝f(u) (式2)
图11(c)是显示节点间的计算的模式图。在神经网络50中，对于(式1)所表示的总输入(u)而输出用(式2)表示的结果(z)的节点以层状排列。前的层的节点的输出成为以下的层的节点的输入。在图11(c)中所示的例中，图中左侧的层的节点89a的输出成为图中右侧的层的节点89b的输入。右侧的层的各节点89b各自接受来自左侧的层的节点89a的输出。在左侧的层的各节点89a和右侧的层的各节点89b之间的各结合中，挂不同的权重。如果以左侧的层的多个节点89a的各自的输出作为x1～x4，则对于右侧的层的3个节点89b各自的输入用以下的(式3-1)～(式3-3)表示。
【数3】
u1＝w11x1+w12x2+w13x3+w14x4+b1 (式3-1)
u2＝w21x1+w22x2+w23x3+w24x4+b2 (式3-2)
u3＝w31x1+w32x2+w33x3+w34x4+b3 (式3-3)
使这些(式3-1)～(式3-3)一般化，则成为(式3-4)。其中，i＝1，…I、j＝1，…J。
【数4】
将(式3-4)应用于活化函数，则得到了输出。输出用以下的(式4)表示。
【数5】
zj＝f(uj) (j＝1,2,3) (式4)
·活化函数
在实施方式涉及的图像解析方法中，作为活化函数，使用标准化线形函数(rectified linear unit function)。标准化线形函数用以下的(式5)表示。
【数6】
f(u)＝max(u,0) (式5)
(式5)是z＝u的线形函数之中，以u＜0的部分作为u＝0的函数。在图11(c)中所示的例中，j＝1的节点的输出由(式5)，用以下的式表示。
【数7】
z1＝max((w11x1+w12x2+w13x3+w14x4+b1),0)
·神经网络的学习
将使用神经网络而表现的函数作为y(x:w)，则函数y(x:w)因使神经网络的参数w改变而改变。将以对于输入x而神经网络选择更适宜的参数w的方式调整函数y(x:w)称为神经网络的学习。当是给了多个使用神经网络而表现的函数的输入和输出的组。如果以对于某输入x的优选的输出作为d，则输入输出的组给定为{(x1，d1)，(x2，d2)，…，(xn，dn)}。将用(x,d)表示的各组的集合称为训练数据。具体而言，在图3(b)中所示的R、G、B各色的单一色图像中的每像素的色浓度值和真值像的标签的组、的集合是图3(a)中所示的训练数据。
神经网络的学习是指即使对于任何输入输出的组(xn，dn)，也以给输入xn之时的神经网络的输出y(xn:w)尽可能接近输出dn的方式调整权重w。误差函数(error function)是指测使用神经网络而表现的函数和训练数据的近度
【数8】
y(xn:w)≈dn
的尺度。误差函数也称为损失函数(loss function)。在实施方式涉及的图像解析方法中使用的误差函数E(w)用以下的(式6)表示。(式6)称为交叉熵(cross entropy)。
【数9】
对(式6)的交叉熵的算出方法进行说明。在在实施方式涉及的图像解析方法中使用的神经网络50的输出层50b中，即在神经网络的最终层中，使用用于将输入x对应于内容而分类为有限个类的活化函数。活化函数称为Soft Max函数(softmax function)，用以下的(式7)表示。再者，在输出层50b中，设为排列与类数k同数的节点。输出层L的各节点k(k＝1，…K)的总输入u从前层L-1的输出，设为以uk (L)给出。由此，输出层的第k的节点的输出用以下的(式7)表示。
【数10】
(式7)是Soft Max函数。以(式7)决定的输出y1，…，yK的总和常常成为1。
将各类表示为C1，…，CK，则输出层L的节点k的输出yK(即uk (L))表示给出的输入x属于类CK的概率。参照以下的(式8)。输入x分类为以(式8)表示的概率变得最大的类。
【数11】
在神经网络的学习中，将用神经网络表示的函数看作各类的事后概率(posteriorprobability)的模型，在这样的概率模型之下，评价对于训练数据的权重w的似然度(likelihood)，选择使似然度最大化的权重w。
将由(式7)的Soft Max函数的目标输出dn，仅在输出是正解的类时设为1，在输出是其以外时，设为0。当将目标输出以称为dn＝[dn1，…，dnK]的向量形式表示时，则例如输入xn的正解类是C3时，仅目标输出dn3成为1，此外的目标输出成为0。如果这样符号化，则事后分布(posterior)用以下的(式9)表示。
【数12】
对于训练数据{(xn，dn)}(n＝1，…，N)的权重w的似然度L(w)用以下的(式10)表示。使似然度L(w)的对数反转取符号，则导出(式6)的误差函数。
【数13】
学习是指将基于训练数据计算的误差函数E(w)对于神经网络的参数w而最小化。在实施方式涉及的图像解析方法中，误差函数E(w)用(式6)表示。
将误差函数E(w)对于参数w而最小化是与求出函数E(w)的局部的极小点相同的含意。参数w是节点间的结合的权重。权重w的极小点以任意的初期值作为出发点，由重复更新参数w的反复计算求出。在这样的计算的一例中，有梯度降低法(gradient descentmethod)。
在梯度降低法中，使用用以下的(式11)表示的向量。
【数14】
在梯度降低法中，将使现在的参数w的值向负的梯度方向(即)移动的处理重复几次。以现在的权重作为w(t)，以移动后的权重作为w(t+1)，则由梯度降低法的计算用以下的(式12)表示。值t是指使参数w移动的次数。
【数15】
记号
【数16】
ε
是决定参数w的更新量的大小的常数，称为学习系数。通过重复用(式12)表示的计算，伴随值t的增加而误差函数E(w(t))减少，参数w到达极小点。
再者，由(式12)的计算可对于全部训练数据(n＝1，…，N)实施，也可仅对于一部分的训练数据实施。仅对于一部分的训练数据进行的梯度降低法称为概率的梯度降低法(stochastic gradient descent)。在实施方式涉及的图像解析方法中，使用概率的梯度降低法。
·图像解析处理
参照图12，则第1实施方式涉及的图像解析装置200A的处理部20A具备解析用数据生成部201、解析用数据输入部202、解析部203和肿瘤细胞核区域检测部204。这些功能块通过将本发明涉及的使计算机执行图像解析处理的程序安装到处理部20A的记录部23或存储器22上，CPU21执行此程序来实现。窗尺寸数据库104和算法数据库105通过记录介质98或网络99而从深层学习装置100A提供，记录在处理部20A的记录部23或存储器22。
解析对象的组织的解析对象图像78设为由摄像装置400预先摄像，预先记录在处理部20A的记录部23或存储器22。含学习完了的结合权重w的深层学习算法60与解析对象的组织的标本所来源的组织试样的类别(例如组织名)或含细胞的试样的种类对应而储存到算法数据库105，作为作为使计算机执行图像解析处理的程序的一部分的程序模块发挥功能。即，深层学习算法60由具备CPU及存储器的计算机使用，以执行输出解析对象的组织中显示肿瘤化状态的数据的对应于使用目的的特有的信息的计算或加工的方式，使计算机发挥功能。具体而言，处理部20A的CPU21根据记录在记录部23或存储器22的深层学习算法60所规定的算法而进行基于学习完了的结合权重w的神经网络60的计算。处理部20A的CPU21对于输入到输入层60a的对解析对象的组织进行摄像的解析对象图像78进行计算，从输出层60b输出作为在解析对象的组织中显示肿瘤化状态的数据的三值图像83。
参照图13，则图像解析装置200A的处理部20A进行图13中所示的处理。使用图12中所示的各功能块而进行说明，则步骤S21及S22的处理由解析用数据生成部201进行。步骤S23、S24、S26及S27的处理由解析用数据输入部202进行。步骤S25及S28的处理由解析部203进行。步骤S29的处理由肿瘤细胞核区域检测部204进行。
在步骤S21中，处理部20A从输入的解析对象图像78生成R、G、B各色的色浓度符号化图79r、79g、79b。色浓度符号化图79r、79g、79b的生成方法与在图10中所示的深层学习处理时的步骤S10中的生成方法同样。
在图13中所示的步骤S22中，处理部20A通过输入部26，作为解析条件，接受自图像解析装置200A侧的使用者的组织的类别的输入。处理部20A基于输入的组织的类别，参照窗尺寸数据库104及算法数据库105而设定在解析中使用的窗尺寸，取得在解析中使用的深层学习算法60。窗尺寸是1次的输入时输入到神经网络60的解析用数据的单位，窗尺寸的解析用数据80的像素数和图像中所含的色彩的原色的数的积对应于输入层60a的节点数。窗尺寸与组织的类别对应而预先记录在窗尺寸数据库104内。窗尺寸是如图5中所示的窗W2一样，例如3×3像素。深层学习算法60也与组织试样的类别或含细胞的试样的类别对应而预先记录在图12中所示的算法数据库105内。
在图13中所示的步骤S23中，处理部20A从色浓度符号化图79r、79g、79b生成窗尺寸的解析用数据80。
在步骤S24中，处理部20A向深层学习算法60输入图5中所示的解析用数据80。窗的初期位置是与深层学习处理时的步骤S16同样地，例如位于窗内的3×3像素的中心的像素对应于解析对象图像的左上角的位置。处理部20A向输入层60a输入窗尺寸的解析用数据80中所含的3×3像素×3原色的合计27个色浓度值的数据81，则深层学习算法60向输出层60b输出判别结果82。
在图13中所示的步骤S25中，处理部20A记录输出到图5中所示的输出层60b的判别结果82。判别结果82是解析对象的位于色浓度符号化图79r、79g、79b的中心的像素的推定值(三值)。例如在推定值是值1时显示肿瘤细胞的细胞核，在推定值是值2时表示非肿瘤细胞的细胞核，在推定值是值0时表示细胞核以外。
在图13中所示的步骤S26中，处理部20A判断对输入图像内的全部像素进行处理与否。当输入图像是图5中所示的色浓度符号化图79r、79g、79b，对于色浓度符号化图79r、79g、79b内的全部像素而进行图13中所示的步骤S23至步骤S25的一系列的处理时，进行步骤S28的处理。
在不处理输入图像内的全部像素时，处理部20A在步骤S27中，与深层学习处理时的步骤S20同样地，在图5中所示的色浓度符号化图79r、79g、79b内，使窗W2的中心位置以1像素单位移动。其后，处理部20A在移动后的新的窗W2的位置进行步骤S23至步骤S25的一系列的处理。处理部20A在步骤S25中，记录对应于移动后的新的窗位置的判别结果82。通过对于解析对象图像内的全部像素进行每个这样的窗尺寸的判别结果82的记录，得到了解析结果的三值图像83。解析结果的三值图像83的图像尺寸与解析对象图像的图像尺寸相同。其中，在三值图像83中，推定值的值2、值1及值0可为附在各像素的数值数据，也可为代替推定值的值2、值1及值0而以例如对应于值2、值1及值0各自的显示色显示的图像。
在图13中所示的步骤S28中，处理部20A将解析结果的三值图像83输出到输出部27。
在步骤S29中，继步骤S28，处理部20A对于解析结果的三值图像83而还进行肿瘤细胞核区域检测处理。在三值图像83中，除了肿瘤细胞的细胞核和非肿瘤细胞的细胞核和细胞核之外，以三值区别表示。从而，在三值图像83中，通过检测像素的推定值从1至0改变的像素或从0至1改变的像素的位置，可判别肿瘤细胞的细胞核。另外，作为别的实施方式，可检测肿瘤细胞的细胞核和此外的区域(即，非肿瘤细胞核或细胞核以外)的边界、即肿瘤细胞核的区域。
任选地，处理部20A通过使得到的肿瘤细胞核的区域在解析对象的解析对象图像78重叠，制成肿瘤细胞核区域强调图像84。处理部20A将制成的肿瘤细胞核区域强调图像84输出到输出部27，结束图像解析处理。
以上、图像解析装置200A的使用者通过向图像解析装置200A输入解析对象的组织的解析对象图像78，作为解析结果，可取得三值图像83。三值图像83表示在解析对象的标本中的肿瘤细胞的细胞核、非肿瘤细胞的细胞核和细胞核以外，使用者在解析对象的标本中判别肿瘤细胞核的区域变得可能。
再者，图像解析装置200A的使用者作为解析结果，可取得肿瘤细胞核区域强调图像84。肿瘤细胞核区域强调图像84，例如，通过在解析对象的解析对象图像78以色彩涂满肿瘤细胞核的区域而生成。另外，在别的实施方式中，通过重叠肿瘤细胞核的区域和其以外的区域(即，非肿瘤细胞核或细胞核以外)的分界线来生成。由此，使用者在解析对象的组织中一眼掌握肿瘤细胞核的区域变得可能，一眼掌握肿瘤化状态变得可能。
在解析对象的标本中显示肿瘤细胞核的区域对于未见惯标本的者成为使掌握细胞核的肿瘤化状态的帮助。
＜第2实施方式＞
以下，对于与第1实施方式涉及的图像解析系统相异的点而说明第2实施方式涉及的图像解析系统。
[构成的概要]
参照图14，则第2实施方式涉及的图像解析系统具备使用者侧装置200，使用者侧装置200作为统合型的图像解析装置200B运行。图像解析装置200B例如由通用计算机构成，进行在第1实施方式中说明的深层学习处理及图像解析处理的两方的处理。即，第2实施方式涉及的图像解析系统是在使用者侧进行深层学习及图像解析的独立型的系统。第2实施方式涉及的图像解析系统在设置在使用者侧的统合型的图像解析装置200B担负第1实施方式涉及的深层学习装置100A及图像解析装置200A的两方的功能的点，与第1实施方式涉及的图像解析系统不同。
图像解析装置200B与摄像装置400连接。摄像装置400在深层学习处理时，取得学习用的组织的第1训练用图像70C及第2训练用图像71C，在图像解析处理时，取得解析对象的组织的解析对象图像78。
[硬件构成]
图像解析装置200B的硬件构成与图8中所示的使用者侧装置200的硬件构成同样。
[功能块及处理顺序]
参照图15，则第2实施方式涉及的图像解析装置200B的处理部20B具备训练数据生成部101、训练数据输入部102、算法更新部103、解析用数据生成部201、解析用数据输入部202、解析部203和肿瘤细胞核区域检测部204。这些功能块通过将使计算机执行深层学习处理及图像解析处理的程序安装到处理部20B的记录部23或存储器22上，CPU21执行此程序来实现。窗尺寸数据库104和算法数据库105记录在处理部20B的记录部23或存储器22均在深层学习时及图像解析处理时共同使用。学习完了的神经网络60与组织的类别或含细胞的试样的类别对应而预先储存到算法数据库105，由深层学习处理更新结合权重w而作为深层学习算法60，储存到算法数据库105。再者，作为学习用的第1训练用图像的第1训练用图像70C及第2训练用图像71C设为由摄像装置400预先摄像，预先记载在处理部20B的记录部23或存储器22。解析对象的标本的解析对象图像78也设为由摄像装置400预先摄像，预先记录在处理部20B的记录部23或存储器22。
图像解析装置200B的处理部20B在深层学习处理时，进行图10中所示的处理，在图像解析处理时，进行图13中所示的处理。使用图15中所示的各功能块而进行说明，则在深层学习处理时，步骤S10至S14、S19及S20的处理由训练数据生成部101进行。步骤S15的处理由训练数据输入部102进行。步骤S16至S18的处理由算法更新部103进行。在图像解析处理时，步骤S21及S22的处理由解析用数据生成部201进行。步骤S23、S24、S26及S27的处理由解析用数据输入部202进行。步骤S25及S28的处理由解析部203进行。步骤S29的处理由肿瘤细胞核区域检测部204进行。
第2实施方式涉及的图像解析装置200B进行的深层学习处理的顺序及图像解析处理的顺序与第1实施方式涉及的深层学习装置100A及图像解析装置200A各自进行的顺序同样。再者，第2实施方式涉及的图像解析装置200B在以下的方面与第1实施方式涉及的深层学习装置100A及图像解析装置200A不同。
在深层学习处理时的步骤S14中，处理部20B通过输入部26而接受自图像解析装置200B的使用者的学习用的组织的类别的输入。处理部20B基于输入的组织的类别，参照窗尺寸数据库104而设定窗尺寸，参照算法数据库105而设定在学习中使用的神经网络50。
以上、图像解析装置200B的使用者通过向图像解析装置200B输入解析对象图像78，作为解析结果，可取得三值图像83。再者，图像解析装置200B的使用者作为解析结果，可取得肿瘤细胞核区域强调图像84。
根据第2实施方式涉及的图像解析装置200B，使用者可以自身选择的种类的组织作为学习用的组织使用。这是指神经网络50的学习不委任供应商侧，使用者自身可提升神经网络50的学习的程度。
＜第3实施方式＞
以下，对于与第2实施方式涉及的图像解析系统相异的点而说明第3实施方式涉及的图像解析系统。
[构成的概要]
参照图16，则第3实施方式涉及的图像解析系统具备供应商侧装置100和使用者侧装置200。供应商侧装置100作为统合型的图像解析装置100B运行，使用者侧装置200作为终端装置200C运行。图像解析装置100B是例如由通用计算机构成，进行在第1实施方式中说明的深层学习处理及图像解析处理的两方的处理的云服务器侧的装置。终端装置200C是例如由通用计算机构成，通过网络99，向图像解析装置100B发送解析对象的图像，通过网络99，从图像解析装置100B接收解析结果的图像的使用者侧的终端装置。
第3实施方式涉及的图像解析系统在设置在供应商侧的统合型的图像解析装置100B担负第1实施方式涉及的深层学习装置100A及图像解析装置200A的两方的功能的点，与第2实施方式涉及的图像解析系统同样。一方面，第3实施方式涉及的图像解析系统具备终端装置200C，在将解析对象的图像的输入接口和解析结果的图像的输出接口提供于使用者侧的终端装置200C的点，与第2实施方式涉及的图像解析系统不同。即，第3实施方式涉及的图像解析系统是进行深层学习处理及图像解析处理的供应商侧将解析对象的图像及解析结果的图像的输入输出接口提供于使用者侧的云服务型的系统。
图像解析装置100B与摄像装置300连接，取得由摄像装置300摄像的学习用的组织的第1训练用图像70C及第2训练用图像71C。
终端装置200C与摄像装置400连接，取得由摄像装置400摄像的解析对象的组织的解析对象图像78。
[硬件构成]
图像解析装置100B的硬件构成与图7中所示的供应商侧装置100的硬件构成同样。终端装置200C的硬件构成与图8中所示的使用者侧装置200的硬件构成同样。
[功能块及处理顺序]
参照图17，则第3实施方式涉及的图像解析装置100B的处理部10B具备训练数据生成部101、训练数据输入部102、算法更新部103、解析用数据生成部201、解析用数据输入部202、解析部203和肿瘤细胞核区域检测部204。这些功能块通过将使计算机执行深层学习处理及图像解析处理的程序安装到处理部10B的记录部13或存储器12上，CPU11执行此程序来实现。窗尺寸数据库104和算法数据库105记录在处理部10B的记录部13或存储器12均在深层学习时及图像解析处理时共同使用。神经网络50与组织的类别对应而预先储存到算法数据库105，由深层学习处理更新结合权重w而作为深层学习算法60，储存到算法数据库105。
再者，学习用的第1训练用图像70C、第2训练用图像71C、第3训练用图像70NC及第4训练用图像71NC设为由摄像装置300预先摄像，预先记载在处理部10B的记录部13或存储器12。解析对象的组织的解析对象图像78也设为由摄像装置400预先摄像，预先记录在终端装置200C的处理部20C的记录部23或存储器22。
图像解析装置100B的处理部10B在深层学习处理时，进行图10中所示的处理，在图像解析处理时，进行图13中所示的处理。使用图17中所示的各功能块而进行说明，则在深层学习处理时，步骤S10至S14、S19及S20的处理由训练数据生成部101进行。步骤S15的处理由训练数据输入部102进行。步骤S16至S18的处理由算法更新部103进行。在图像解析处理时，步骤S21及S22的处理由解析用数据生成部201进行。步骤S23、S24、S26及S27的处理由解析用数据输入部202进行。步骤S25及S28的处理由解析部203进行。步骤S29的处理由肿瘤细胞核区域检测部204进行。
第3实施方式涉及的图像解析装置100B进行的深层学习处理的顺序及图像解析处理的顺序与第1实施方式涉及的深层学习装置100A及图像解析装置200A各自进行的顺序同样。再者，第3实施方式涉及的图像解析装置100B在以下的4个方面与第1实施方式涉及的深层学习装置100A及图像解析装置200A不同。
在图13中所示的图像解析处理时的步骤S21中，处理部10B从使用者侧的终端装置200C接收解析对象的组织的解析对象图像78，从接收的解析对象图像78生成R、G、B各色的色浓度符号化图79r、79g、79b。色浓度符号化图79r、79g、79b的生成方法与图10中所示的深层学习处理时的步骤S10中的生成方法同样。
在图13中所示的图像解析处理时的步骤S22中，处理部10B通过终端装置200C的输入部26，作为解析条件，接受自终端装置200C的使用者的组织的类别的输入。处理部10B基于输入的组织的类别，参照窗尺寸数据库104及算法数据库105而设定在解析中使用的窗尺寸，取得在解析中使用的深层学习算法60。
在图像解析处理时的步骤S28中，处理部10B向使用者侧的终端装置200C发送解析结果的三值图像83。在使用者侧的终端装置200C中，处理部20C将接收的解析结果的三值图像83输出到输出部27。
在图像解析处理时的步骤S29中，处理部10B，继步骤S28，对于解析结果的三值图像83而还进行肿瘤细胞核的区域的检测处理。作为任意的步骤，处理部10B通过使得到的肿瘤细胞核的区域在解析对象的解析对象图像78重叠，制成肿瘤细胞核区域强调图像84。处理部10B向使用者侧的终端装置200C发送制成的肿瘤细胞核区域强调图像84。在使用者侧的终端装置200C中，处理部20C将接收的肿瘤细胞核区域强调图像84输出到输出部27，结束图像解析处理。
以上、终端装置200C的使用者通过向图像解析装置100B发送解析对象的组织的解析对象图像78，作为解析结果，可取得三值图像83。再者，终端装置200C的使用者作为解析结果，可取得肿瘤细胞核区域强调图像84。
根据第3实施方式涉及的图像解析装置100B，使用者不从深层学习装置100A取得窗尺寸数据库104及算法数据库105，可享受图像解析处理的结果。由此，作为对解析对象的组织进行解析的服务，可作为云服务提供判别肿瘤细胞核的区域而提示肿瘤化状态的服务。
病理医的数全国性地不足。病理医在都市部的大医院中在籍，但在远隔地的医疗机关或即使是都市部但在诊所等的比较小规模的医疗机关中则几乎是不在籍的例。由图像解析装置100B及终端装置200C提供的云服务成为这样的远隔地或比较小规模的医疗机关中的组织学诊断或细胞学诊断的辅助。
＜其他形态＞
以上、将本发明由概要及特定的实施方式进行说明，但本发明不限于上述的概要及各实施方式。
在上述第1至第3实施方式中，以是胃肿瘤的情况作为一例进行说明，但作为处理对象的标本不限于此，可使用含前述的组织试样的标本或细胞的试样的标本。
在上述第1至第3实施方式中，在步骤S14中，处理部10A、20B、10B参照窗尺寸数据库104而设定窗尺寸的像素数，但也可由操作者或使用者直接设定窗尺寸。此时，变得无需窗尺寸数据库104。
在上述第1至第3实施方式中，在步骤S14中，处理部10A、20B、10B基于输入的组织的类别而设定窗尺寸的像素数，但也可代替组织的类别的输入而输入组织的尺寸。处理部10A、20B、10B基于输入的组织的尺寸，参照窗尺寸数据库104而设定窗尺寸的像素数即可。在步骤S22中也与步骤S14同样地，也可代替组织的类别的输入而输入组织的尺寸。处理部20A、20B、10B基于输入的组织的尺寸，参照窗尺寸数据库104及算法数据库105而设定窗尺寸的像素数，取得神经网络60即可。
对于输入组织的尺寸的实施方式，可为以尺寸作为数值直接输入，也可为例如以输入的用户界面作为下拉菜单，使使用者选择对应于使用者要输入的尺寸的指定的数值范围而进行输入。
另外，在步骤S14及步骤S22中，除了组织的类别或组织的尺寸之外，也可输入对第1训练用图像70C、第2训练用图像71C、第3训练用图像70NC及第4训练用图像71NC、及解析对象图像78进行摄像时的摄像倍率。对于输入摄像倍率的实施方式，可为以倍率作为数值直接输入，也可为例如以输入的用户界面作为下拉菜单，使使用者选择对应于使用者要输入的倍率的指定的数值范围而进行输入。
在上述第1至第3实施方式中，在深层学习处理时及图像解析处理时，为了说明的便利而将窗尺寸设定为3×3像素，但窗尺寸的像素数不限于此。窗尺寸也可例如对应于组织试样的类别、含细胞的试样的类别而设定。此时，窗尺寸的像素数和图像中所含的色彩的原色的数的积对应于神经网络50、60的输入层50a、60a的节点数即可。
在步骤S14中，处理部10A、20B、10B取得窗尺寸的像素数，再者，也可基于输入的摄像倍率而修正取得的窗尺寸的像素数。
在上述第1至第3实施方式中，在步骤S18中，处理部10A、20B、10B将深层学习算法60与组织的类别一对一对应而记录在算法数据库105。也可代替其而在步骤S18中，处理部10A、20B、10B在1个深层学习算法60对应多个组织的类别，记录在算法数据库105。
在上述第1至第3实施方式中，色相以光的3原色的组合，或者色的3原色的组合规定，但色相的数不限于3个。色相的数可作为向红(R)，绿(G)，蓝(B)加黄(Y)的4原色，也可作为从红(R)，绿(G)，蓝(B)的3原色减任一种的色相的2原色。或者，也可作为红(R)，绿(G)，蓝(B)的3原色之仅任1个(例如绿(G))的1原色。使用例如公知的显微镜或虚拟切片扫描仪等而取得的明场图像70C、70NC及解析对象图像78也不限于红(R)，绿(G)，蓝(B)的3原色的彩色图像，也可为2原色的彩色图像，只要是含1个以上的原色的图像即可。
在上述第1至第3实施方式中，在步骤S10中，处理部10A、20B、10B以色浓度符号化图72r、72g、72b作为各原色的3色阶的单一色图像生成，但色浓度符号化图72r、72g、72b的原色的色阶不限制于3色阶。色浓度符号化图72r、72g、72b的色阶也可为2色阶的图像，只要是1色阶以上的图像即可。同样地，在步骤S21中，处理部20A、20B、10B作为每个色浓度符号化图79r、79g、79b各原色的单一色图像生成，但制成色浓度符号化图时的原色的色阶不限制于3色阶。制成色浓度符号化图时的原色也可为2色阶的图像，只要是1色阶以上的图像即可。例示性地，可以色浓度符号化图72r、72g、72b、79r、79g、79b的色阶作为色浓度值是值0至值255的256阶段(8色阶)。
在上述第1至第3实施方式中，在步骤S10中，处理部10A、20B、10B从输入的第1训练用图像70C或第3训练用图像70NC生成R、G、B各色的色浓度符号化图72r、72g、72b，但输入的第1训练用图像70C也可预先色阶化。即，处理部10A、20B、10B也可例如从虚拟切片扫描仪等直接取得R、G、B各色的色浓度符号化图72r、72g、72b。同样地，在步骤S21中，处理部20A、20B、10B从输入的解析对象图像78生成R、G、B各色的色浓度符号化图79r、79g、79b，但输入的解析对象图像78也可预先色阶化。即，处理部20A、20B、10B也可例如从虚拟切片扫描仪等直接取得R、G、B各色的色浓度符号化图79r、79g、79b。
在上述第1至第3实施方式中，在从颜色的第1训练用图像70C、78生成色浓度符号化图72、79时的颜色空间中使用RGB，但颜色空间不限制于RGB。除了RGB之外，还可使用YUV、CMY、及CIE L*a*b*等的各种颜色空间。
在上述第1至第3实施方式中，在肿瘤部训练数据74C及解析用数据80中，对于各像素而浓度值以红(R)，绿(G)，蓝(B)的顺序储存，但储存及处理浓度值的顺序不限于此。例如浓度值也可以蓝(B)，绿(G)，红(R)的顺序储存，只要是在肿瘤部训练数据74C及非肿瘤部训练数据74NC中的浓度值的排序和解析用数据80中的浓度值的排序相同即可。
在上述第1至第3实施方式中，在步骤S12中，处理部10A、20B、10B使输入的第2训练用图像71C及第4训练用图像71NC的各像素的色阶二值化而生成第2预备训练数据71CN及第4预备训练数据71NCN，但也可取得预先二值化的第2预备训练数据71CN及第4预备训练数据71NCN。
在上述第1至第3实施方式中，处理部10A、10B作为一体的装置实现，但处理部10A、10B没必要是一体的装置，CPU11、存储器12、记录部13等也可配置在别处，这些经网络连接。对于处理部10A、10B、输入部16和输出部17也无必然配置在一处的必要，也可各自配置在别处而能以互相网络通信地连接。对于处理部20A、20B、20C也与处理部10A、10B同样。
在上述第1至第3实施方式中，训练数据生成部101、训练数据输入部102、算法更新部103、解析用数据生成部201、解析用数据输入部202、解析部203及肿瘤细胞核区域检测部204的各功能块在单一的CPU11或单一的CPU21中执行，但这些各功能块无必然在单一的CPU中执行的必要，也可用多个CPU分散执行。另外，这些各功能块可用多个GPU分散执行，也可用多个CPU和多个GPU分散执行。
在上述第2及第3实施方式中，将用于进行在图10及图13中说明的各步骤的处理的程序预先记录在记录部13、23。也可代替其而程序从例如DVD-ROM或USB存储器等的计算机能读取且非暂时的有形的记录介质98安装到处理部10B、20B。或者，也可将处理部10B、20B与网络99连接，经网络99而例如从外部的服务器(未图示)下载程序而安装。
在上述第1至第3实施方式中，输入部16、26是键盘或鼠标等的输入装置，输出部17、27作为液晶显示等的显示装置实现。也可代替其而将输入部16、26和输出部17、27一体化而作为触控面板式的显示装置实现。或者，也可输出部17、27由打印机等构成，打印解析结果的三值图像83或细胞核的肿瘤细胞核区域强调图像84而输出。
在上述第1至第3实施方式中，摄像装置300与深层学习装置100A或图像解析装置100B直接连接，但摄像装置300也可经网络99而与深层学习装置100A或图像解析装置100B连接。对于摄像装置400也同样地，摄像装置400与图像解析装置200A或图像解析装置200B直接连接，但摄像装置400也可经网络99而与图像解析装置200A或图像解析装置200B连接。
＜实施例＞
接下来示本发明的实施例，使本发明的特征更明确。
【实施例1】
用上述第2实施方式所示的独立型的系统进行深层学习处理及图像解析处理。作为学习及解析的对象的组织作为从胃取得的癌组织及非癌组织。非癌组织是发生炎症的组织而不被判断为癌的区域。对于已知含癌组织的图像和已知含非癌组织的图像各自而进行使用学习完了的深层学习算法的图像解析处理，确认解析结果适合。
学习数据及解析数据的详细如以下。
学习数据：
将全切片像512分割的图像4个(明细：对于含癌细胞核的区域而2个、对于不含癌细胞核的区域为2个)
验证用解析数据：
将全切片像512分割的图像2个(明细：对于含癌细胞核的区域而1个、对于不含癌细胞核的区域为1个)
[训练数据的制成及学习]
将HE染色的胃癌组织的明场图像及DAPI染色的胃癌组织的荧光图像的全切片像(WSI)使用虚拟切片扫描仪而进行颜色摄像。摄像倍率是40倍。其后，基于明场图像，使R、G、B各色的色浓度值色阶化，制成R、G、B各色的色浓度符号化图。另外，病理医用目测进行判断含有包含学习对象的组织的明场图像的区域的全切片像整体，在全切片像中，指定癌细胞的区域和不含癌细胞的区域。其后，通过进行指定为是癌细胞的核区域的区域和被指定为不含癌细胞的核区域的区域的判别，对于各自的区域而赋予区别区域的值(二值)。将含学习对象的组织的明场图像的区域从全切片像切出而生成第1预备训练数据及第3预备训练数据。
再者，作为学习对象的组织，采用含癌细胞的核的区域和不含癌细胞的核的区域，从全切片像多个切出各自的区域而作为二值化图像。
另外，基于DAPI染色的荧光图像，使用预先设定的阈值而将色浓度值二值化为细胞核的区域和其以外的区域而制成作为第2预备训练数据及第4预备训练数据的二值化图像。从通过病理医将明场像用目测判断而制成的显示癌化状态的二值化图像和从荧光图像制成的显示细胞核的区域的二值化图像制成作为真值像的第2训练数据及第4训练数据。
其后，组合作为肿瘤组织的色浓度符号化图的第1训练数据和第2训练数据而制成肿瘤部训练数据。另外，组合作为非肿瘤组织的色浓度符号化图的第3训练数据和第4训练数据而制成非肿瘤部训练数据。将制成的训练数据分割为113×113像素的窗尺寸，以分割的窗尺寸的训练数据作为输入层，使神经网络学习。作为窗尺寸采用的113×113像素，例示性地，是支持2个至9个程度的多个细胞之中至少1个细胞的细胞核区域的整体形状含在窗内的尺寸。
[解析对象图像的制成]
与训练数据同样地，将HE染色的胃癌组织的明场图像的全切片像使用虚拟切片扫描仪而进行颜色摄像。摄像倍率是40倍。其后，基于摄像的明场图像而制成R、G、B各色的色浓度符号化图，组合制成的R、G、B各色的色浓度符号化图而制成解析对象图像。
[解析结果]
以解析对象图像的各像素作为中心而制成113×113像素的窗尺寸的解析用数据，向学习完了的神经网络输入制成的窗尺寸的解析用数据。基于从神经网络输出的解析结果，分类为癌细胞核的区域、非癌细胞核的区域和细胞核以外的区域，将癌细胞核的区域的轮廓用白色包围，将非癌细胞核的区域的轮廓用黑色包围。解析结果示于图18及图19。
图18是从胃取得的癌组织标本的图像(HE染色)的解析结果。图18中，(a)是对癌组织进行HE染色而进行摄像的明场图像，解析对象的图像。(b)是将由解析处理得到的癌细胞核的轮廓和非癌细胞核的轮廓在(a)的明场图像重叠显示的图像。(c)是放大在(b)中被白色的虚线包围的区域的图像。在图18的(b)及(c)中，被白色包围的区域是癌细胞核的区域，被黑色包围的区域是非癌细胞核的区域。
解析对象的图像由于已知是含癌组织的图像，如果癌细胞核的区域被白色包围，则解析是适合的，如果癌细胞核的区域错误地被黑色包围，则解析是不适合的。如图18的(b)所示，尽管多少出现被黑色包围的区域，癌细胞核的区域多被白色包围，可确认在要判断为癌细胞的核区域的像素中，适合地正确进行判断。
图19是从胃取得的非癌组织标本的图像(HE染色)的解析结果。图19中，(a)是对非癌组织进行HE染色而进行摄像的明场图像，解析对象的图像。(b)是将由解析处理得到的癌细胞核的轮廓和非癌细胞核的轮廓在(a)的明场图像重叠显示的图像。(c)是放大在(b)中用白色的虚线包围的区域的图像。在图19的(b)及(c)中，被白色包围的区域是癌细胞核的区域，被黑色包围的区域是非癌细胞核的区域。
解析对象的图像由于已知是含非癌组织的图像，如果非癌细胞核的区域被黑色包围，则解析是适合的，如果非癌细胞核的区域错误地被白色包围，则解析是不适合的。如图19的(b)所示，几乎不出现被白色包围的区域，非癌细胞核的区域几乎全部被黑色包围，可确认在要判断为非癌细胞的核区域的像素中，适合地正确进行判断。
【实施例2】
进行使用在上述的实施例1中制成的学习完了的神经网络的解析结果和使用既有的机械学习算法的解析结果的比较。
在既有的机械学习算法中，使用支持向量机。在支持向量机的训练中，使用与在上述的实施例1中在神经网络的训练中使用的训练数据相同的训练数据。解析对象的图像使用与上述的实施例1中使用的图像相同的图像。解析结果示于图20至图23。再者，在图20及图21中，作为由神经网络的解析结果显示的图像是将显示癌化状态的标签值以各自的值分离为3个的图像。
图20是由学习完了的神经网络以从胃取得的癌组织标本的图像(HE染色)作为解析对象的图像的解析结果。图20中，(a)是解析对象的明场图像。(b)是显示判断为癌细胞的核的区域的图像，(c)是显示判断为非癌细胞的核的区域的图像，(d)是显示判断为细胞核以外的区域的图像。在图20的(b)中，白色的区域是判断为癌细胞的核的区域，在图20的(c)中，白色的区域是判断为非癌细胞的核的区域。
解析对象的图像由于已知是含癌组织的图像，在图20的(b)中，如果癌细胞核的区域以白色表示，则解析是适合的。如图20的(b)所示，癌细胞核的区域适合地以白色表示。另外，在图20的(c)中，错误地以白色表示的区域少。因此，可确认可对于已知是含癌组织的图像的解析对象的图像，将癌细胞核的区域和非癌细胞核的区域适合清楚地进行分类。
图21是由学习完了的神经网络的以从胃取得的非癌组织标本的图像(HE染色)作为解析对象的图像的解析结果。图21中，(a)是解析对象的明场图像。(b)是显示判断为癌细胞的核的区域的图像，(c)是显示判断为非癌细胞的核的区域的图像，(d)是显示判断为细胞核以外的区域的图像。在图21的(b)中，白色的区域是判断为癌细胞的核的区域，在图21的(c)中，白色的区域是判断为非癌细胞的核的区域。
解析对象的图像由于已知是含非癌组织的图像，在图21的(b)中，如果非癌细胞核的区域错误地以白色表示，则解析是不适合的。在图21的(b)中，错误地以白色表示的区域少。另外，如图21的(c)所示，非癌细胞核的区域适合地以白色表示。因此，可确认即使对于已知是含非癌组织的图像的解析对象的图像，也可对癌细胞核的区域和非癌细胞核的区域适合清楚地进行分类。
图22是作为比较例示的由支持向量机的以从胃取得的癌组织标本的图像(HE染色)作为解析对象的图像的解析结果。图22中，(a)是解析对象的明场图像。(b)是显示判断为癌细胞的核的区域的图像，(c)是显示判断为非癌细胞的核的区域的图像。另外，在(a)至(c)各自中，放大(i)中所示的图像的一部分的图像示于(ii)。扩大的区域的位置是在(a)至(c)中共同的。
图23是作为比较例示的由支持向量机的以从胃取得的非癌组织标本的图像(HE染色)作为解析对象的图像的解析结果。图23中，(a)是解析对象的明场图像。(b)是显示判断为癌细胞的核的区域的图像，(c)是显示判断为非癌细胞的核的区域的图像。另外，在(a)至(c)各自中，放大(i)中所示的图像的一部分的图像示于(ii)。扩大的区域的位置是在(a)至(c)中共同的。
参照图22的(b)及(c)和图23的(b)及(c)，则存在关于癌细胞核的区域或非癌细胞核的区域之任一者的倾向被认为能掌握。但是，无法在作为比较例示的由支持向量机的解析中，对癌细胞核的区域和非癌细胞核的区域清楚地进行分类。从而，可确认在实施例1中制成的使用学习完了的神经网络的解析相对于使用作为既有的机械学习算法的支持向量机的解析发挥有利的效果。
【符号的说明】
10(10A、10B)：处理部
20(20A、20B、20C)：处理部
11、21：CPU
12、22：存储器
13、23：记录部
14、24：总线
15、25：接口部
16、26：输入部
17、27：输出部
19、29：GPU
50：神经网络(深层学习算法)
50a：输入层
50b：输出层
50c：中间层
60：学习完了的神经网络(学习完了的深层学习算法)
60a：输入层
60b：输出层
60c：中间层
70W：全切片像
70C、70NC：学习用的明场图像(第1训练用图像)
70CL：第1预备训练数据
70NCL：第3预备训练数据
71C、71NC：学习用的荧光图像(第2训练用图像)
71CN、71NCN：第2预备训练数据
72r、72g、72b：在学习用的明场图像的R、G、B各色的单一色图像中的色浓度符号化图(第1训练数据)
73C、73NC：学习用的真值像(三值化图像、第2训练数据)
74C、74NC：训练数据
74a：明场图像的色阶化的色浓度值
74b：真值像的标签值
75C、75NC：窗尺寸的训练数据
76：色浓度值
77：真值像的标签值
78：解析对象的明场图像
79r、79g、79b：在解析对象的明场图像的R、G、B各色的单一图像中的色浓度符号化图
80：解析用数据
81：色浓度值
82：判别结果(像素的推定值)
83：解析结果的三值图像
84：肿瘤细胞核区域强调图像
89(89a、89b)：节点
98：记录介质
99：网络
100：供应商侧装置
100A：深层学习装置
100B：统合型的图像解析装置
101：训练数据生成部
102：训练数据输入部
103：算法更新部
104：窗尺寸数据库
105：算法数据库
200：使用者侧装置
200A：图像解析装置
200B：统合型的图像解析装置200C：终端装置
201：解析用数据生成部
202：解析用数据输入部
203：解析部
204：细胞核区域检测部
300、400：摄像装置
301、401：摄像元件
302、402：荧光显微镜
308、408：试样组织
309、409：镜台
W1：窗
W2：窗

Claims (20)

1.使用神经网络结构的深层学习算法解析组织或细胞的图像的图像解析方法，其包括：
从含解析对象的组织或细胞的解析对象图像生成解析用数据，
向上述深层学习算法输入上述解析用数据，
由上述深层学习算法生成显示上述解析对象图像中的组织或细胞的肿瘤化状态的数据。
2.权利要求1的图像解析方法，其中
上述解析对象图像是组织学诊断用标本的图像，
上述解析对象图像含由1个原色构成的色相，或含组合2个以上的原色的色相。
3.权利要求1的图像解析方法，其中
上述解析对象图像是细胞学诊断用标本的图像，
上述解析对象图像含由1个原色构成的色相，或含组合2个以上的原色的色相。
4.权利要求1的图像解析方法，其中上述显示肿瘤化状态的数据是用于区别提示肿瘤细胞的核的区域和其以外的区域的数据。
5.权利要求1的图像解析方法，其中上述显示肿瘤化状态的数据是显示肿瘤细胞的核的区域和其以外的区域的边界的数据。
6.权利要求1的图像解析方法，其中上述深层学习算法判断是肿瘤细胞的核、还是非肿瘤细胞的核。
7.权利要求1的图像解析方法，其中对于1个解析对象图像而针对每个指定像素数的区域生成多个上述解析用数据。
8.权利要求7的图像解析方法，其中
上述解析用数据针对每个以指定的像素作为中心而含周边的像素的上述指定像素数的区域而生成，
上述深层学习算法对于输入的上述解析用数据、对于上述指定像素生成显示肿瘤化状态的标签。
9.权利要求7的图像解析方法，其中上述神经网络的输入层的节点数对应于上述解析用数据的上述指定像素数和上述组合的原色的数的积。
10.权利要求2的图像解析方法，其中
上述标本是被染色的标本，
上述解析对象图像是将上述被染色的标本在显微镜的明场下摄像的图像。
11.权利要求1的图像解析方法，其中在上述深层学习算法的学习中使用的训练数据基于如下图像而生成：
将对于含从个体采集的肿瘤的组织试样的标本或含从个体采集的肿瘤细胞的试样的标本实施明场观察用染色而制作的标本的染色像在显微镜的明场下摄像的明场图像、及
作为将对应于上述标本的或者对相同的标本实施荧光核染色而制作的标本的染色像在荧光显微镜的荧光观察下摄像的细胞核的荧光图像，是在上述荧光图像的标本内的位置对应于上述取得的明场图像的标本内的位置的荧光图像。
12.权利要求11的图像解析方法，其中上述明场观察用染色在核染色中使用苏木精。
13.权利要求12的图像解析方法，其中
当上述标本是组织试样的标本时，上述明场观察用染色是苏木精－曙红染色，
当上述标本是含细胞的试样的标本时，上述明场观察用染色是Papanicolaou染色。
14.权利要求11的图像解析方法，其中上述训练数据含显示从上述明场图像及上述荧光图像提取的细胞的肿瘤化状态的标签值。
15.权利要求14的图像解析方法，其中上述训练数据将上述标签值含在每个上述明场图像的像素中。
16.权利要求11的图像解析方法，其中上述训练数据针对每个在上述明场图像中的指定像素数的区域而生成。
17.权利要求1的图像解析方法，其中上述深层学习算法将上述解析用数据分类为显示上述解析对象图像中所含的细胞的肿瘤化状态的类。
18.权利要求1的图像解析方法，其中上述神经网络的输出层是以Soft Max函数作为活化函数的节点。
19.使用神经网络结构的深层学习算法解析组织或细胞的图像的图像解析装置，其具备实施下列步骤的处理部：
从含解析对象的组织或细胞的解析对象图像生成解析用数据，
向上述深层学习算法输入上述解析用数据，
由上述深层学习算法生成显示上述解析对象图像中的组织或细胞的肿瘤化状态的数据。
20.学习完了深层学习算法的制造方法，其包括：
第1取得步骤，其取得对应于对肿瘤组织或肿瘤细胞进行摄像的第1训练用图像的第1训练数据，
第2取得步骤，其取得对应于显示上述第1训练用图像中的肿瘤细胞的核区域的第2训练用图像的第2训练数据，
第3取得步骤，其取得对应于对非肿瘤组织或非肿瘤细胞进行摄像的第3训练用图像的第3训练数据，
第4取得步骤，其取得对应于显示上述第3训练用图像中的非肿瘤细胞的核区域的第4训练用图像的第4训练数据，
使神经网络学习上述第1训练数据和上述第2训练数据的关系的学习步骤，及
使神经网络学习上述第3训练数据和上述第4训练数据的关系的学习步骤。
CN201811371880.8A 2017-11-17 2018-11-16 图像解析方法、装置和程序及学习完了深层学习算法及其制造方法 Pending CN109816623A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017222166A JP7076698B2 (ja) 2017-11-17 2017-11-17 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
JP2017-222166 2017-11-17

Publications (1)

Publication Number Publication Date
CN109816623A true CN109816623A (zh) 2019-05-28

Family

ID=64331744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811371880.8A Pending CN109816623A (zh) 2017-11-17 2018-11-16 图像解析方法、装置和程序及学习完了深层学习算法及其制造方法

Country Status (4)

Country Link
US (1) US11436718B2 (zh)
EP (1) EP3486835A1 (zh)
JP (1) JP7076698B2 (zh)
CN (1) CN109816623A (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7198577B2 (ja) * 2017-11-17 2023-01-04 シスメックス株式会社 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法
US11621058B2 (en) * 2018-02-08 2023-04-04 Ohio State Innovation Foundation Synthetic IHC-stained digital sides generated using artificial neural networks
US11011275B2 (en) * 2018-02-12 2021-05-18 Ai.Skopy, Inc. System and method for diagnosing gastrointestinal neoplasm
JP7217589B2 (ja) * 2018-02-27 2023-02-03 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
JP7137935B2 (ja) * 2018-02-27 2022-09-15 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
US10892050B2 (en) * 2018-04-13 2021-01-12 International Business Machines Corporation Deep image classification of medical images
JP6627069B2 (ja) * 2018-06-01 2020-01-08 株式会社フロンティアファーマ 画像処理方法、薬剤感受性試験方法および画像処理装置
BR112021019996A2 (pt) 2019-04-11 2021-12-07 Agilent Technologies Inc Treinamento de segmentação de instância baseado em aprendizagem profunda por meio de camadas de regressão
US11481619B2 (en) * 2019-07-10 2022-10-25 Adobe Inc. Incorporating black-box functions in neural networks
US11178368B2 (en) 2019-11-26 2021-11-16 Adobe Inc. Automatic digital parameter adjustment including tone and color correction
JP2021083431A (ja) 2019-11-29 2021-06-03 シスメックス株式会社 細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム
CN111161212B (zh) * 2019-12-05 2024-01-16 广州金域医学检验中心有限公司 数字病理切片有丝核分裂象统计方法、装置、设备和介质
CN112053342A (zh) * 2020-09-02 2020-12-08 陈燕铭 基于人工智能的脑垂体磁共振图像的提取识别方法和装置
CN112541876B (zh) * 2020-12-15 2023-08-04 北京百度网讯科技有限公司 卫星图像处理方法、网络训练方法、相关装置及电子设备
US11710235B2 (en) 2020-12-18 2023-07-25 PAIGE.AI, Inc. Systems and methods for processing electronic images of slides for a digital pathology workflow
KR102605248B1 (ko) * 2021-06-09 2023-11-23 사회복지법인 삼성생명공익재단 조기 대장암의 내시경 절제 검체 이미지를 이용한 림프절 전이 예측 방법 및 분석 장치
CN115797750B (zh) * 2023-02-02 2023-04-25 天津滨海迅腾科技集团有限公司 一种基于深度学习算法的大尺寸图像快速传输方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080144915A1 (en) * 2006-12-19 2008-06-19 Cytyc Corporation Method and system for processing an image of a biological specimen
JP2011527056A (ja) * 2008-07-03 2011-10-20 エヌイーシー ラボラトリーズ アメリカ インク 印環細胞検出器及び関連する方法
JP2011527178A (ja) * 2008-07-03 2011-10-27 エヌイーシー ラボラトリーズ アメリカ インク 上皮層検出器およびそれに関連する方法
CN102297873A (zh) * 2011-05-03 2011-12-28 杭州一二八医院 利用软x射线显微成像进行癌细胞图形识别的方法
CN105931226A (zh) * 2016-04-14 2016-09-07 南京信息工程大学 基于深度学习的自适应椭圆拟合细胞自动检测分割方法
US20170053398A1 (en) * 2015-08-19 2017-02-23 Colorado Seminary, Owner and Operator of University of Denver Methods and Systems for Human Tissue Analysis using Shearlet Transforms
CN106780466A (zh) * 2016-12-21 2017-05-31 广西师范大学 一种基于卷积神经网络的宫颈细胞图像识别方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0211068D0 (en) 2002-05-14 2002-06-26 Amersham Biosciences Uk Ltd Method for assessing biofilms
JP5315411B2 (ja) 2008-07-03 2013-10-16 エヌイーシー ラボラトリーズ アメリカ インク 有糸分裂像検出装置および計数システム、および有糸分裂像を検出して計数する方法
JP5321145B2 (ja) 2009-03-04 2013-10-23 日本電気株式会社 画像診断支援装置、画像診断支援方法、画像診断支援プログラム、及びその記憶媒体
JP5295906B2 (ja) 2009-08-03 2013-09-18 花王株式会社 毛髪特性データの取得方法
JP5338573B2 (ja) * 2009-08-31 2013-11-13 ソニー株式会社 蛍光像取得方法、蛍光像取得装置及び蛍光像取得プログラム
WO2012091056A1 (ja) 2010-12-28 2012-07-05 エスシーワールド株式会社 血液中の標的細胞の検査方法、標的細胞検索装置、及びバイオチップ
US20140220598A1 (en) 2011-09-09 2014-08-07 Tohoku University Biological substance detection method
US9189678B2 (en) * 2012-03-30 2015-11-17 Konica Minolta, Inc. Medical image processor and storage medium
WO2014152919A1 (en) * 2013-03-14 2014-09-25 Arizona Board Of Regents, A Body Corporate Of The State Of Arizona For And On Behalf Of Arizona State University Kernel sparse models for automated tumor segmentation
WO2014144234A1 (en) * 2013-03-15 2014-09-18 Sony Corporation Combining information of different levels for content-based retrieval of digital pathology images
JP6629762B2 (ja) * 2014-05-23 2020-01-15 ベンタナ メディカル システムズ， インコーポレイテッド 画像内の生物学的構造及び／又はパターンの検出のためのシステム及び方法
AU2017229088B2 (en) * 2016-03-07 2021-05-13 X-Zell Inc. Compositions and methods for identifying rare cells
US11315240B2 (en) * 2016-05-18 2022-04-26 Hoffmann-La Roche Inc. System and method of tumor classification
US10803582B2 (en) * 2016-07-04 2020-10-13 Nec Corporation Image diagnosis learning device, image diagnosis device, image diagnosis method, and recording medium for storing program
EP3539080B1 (en) * 2016-11-10 2022-03-23 F. Hoffmann-La Roche AG Distance-based tumor classification
US20190178867A1 (en) * 2016-12-31 2019-06-13 Flagship Biosciences, Inc. Method for Identification of Tissue Objects in IHC Without Specific Staining
CN110337644A (zh) * 2017-02-23 2019-10-15 谷歌有限责任公司 用于辅助病理学家标识放大的组织图像中的肿瘤细胞的方法和系统
US10769791B2 (en) * 2017-10-13 2020-09-08 Beijing Keya Medical Technology Co., Ltd. Systems and methods for cross-modality image segmentation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080144915A1 (en) * 2006-12-19 2008-06-19 Cytyc Corporation Method and system for processing an image of a biological specimen
JP2011527056A (ja) * 2008-07-03 2011-10-20 エヌイーシー ラボラトリーズ アメリカ インク 印環細胞検出器及び関連する方法
JP2011527178A (ja) * 2008-07-03 2011-10-27 エヌイーシー ラボラトリーズ アメリカ インク 上皮層検出器およびそれに関連する方法
CN102297873A (zh) * 2011-05-03 2011-12-28 杭州一二八医院 利用软x射线显微成像进行癌细胞图形识别的方法
US20170053398A1 (en) * 2015-08-19 2017-02-23 Colorado Seminary, Owner and Operator of University of Denver Methods and Systems for Human Tissue Analysis using Shearlet Transforms
CN105931226A (zh) * 2016-04-14 2016-09-07 南京信息工程大学 基于深度学习的自适应椭圆拟合细胞自动检测分割方法
CN106780466A (zh) * 2016-12-21 2017-05-31 广西师范大学 一种基于卷积神经网络的宫颈细胞图像识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GEERT LITJENS，ET AL.: "Deep learning as a tool for increased accuracy and efficiency of histopathological diagnosis", 《SCIENTIFIC REPORTS》, vol. 6, no. 1, pages 1 - 11, XP055560197, DOI: 10.1038/srep26286 *
KORSUK SIRINUKUNWATTANA，ET AL: "Locality Sensitive Deep Learning for Detection and Classification of Nuclei in Routine Colon Cancer Histology Images", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, vol. 35, no. 5, 1 May 2016 (2016-05-01), pages 1196 - 1206, XP055566546, DOI: 10.1109/TMI.2016.2525803 *

Also Published As

Publication number Publication date
EP3486835A1 (en) 2019-05-22
US20190156476A1 (en) 2019-05-23
JP7076698B2 (ja) 2022-05-30
JP2019095212A (ja) 2019-06-20
US11436718B2 (en) 2022-09-06

Similar Documents

Publication Publication Date Title
CN109816623A (zh) 图像解析方法、装置和程序及学习完了深层学习算法及其制造方法
CN109871735B (zh) 图像解析方法、装置及学习完了深层学习算法的制造方法
Xu et al. GAN-based virtual re-staining: a promising solution for whole slide image analysis
Komura et al. Machine learning approaches for pathologic diagnosis
ES2292973T3 (es) Metodo para video-microscopia y sistema asociado, y producto de programa de soporte logico informatico.
EP3692497B1 (en) Histopathological image analysis
KR101938435B1 (ko) 조직 절편의 이미지를 제공하는 방법
JP7217589B2 (ja) 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
CN110197714B (zh) 图像解析方法、装置、学习后的深度学习算法的生成方法
CN104854620B (zh) 图像处理装置、图像处理系统和程序
Zewdie et al. Classification of breast cancer types, sub-types and grade from histopathological images using deep learning technique
Chatterjee et al. A novel method for IDC prediction in breast cancer histopathology images using deep residual neural networks
CN115063592A (zh) 一种基于多尺度的全扫描病理特征融合提取方法及系统
Zarei et al. Automated prostate glandular and nuclei detection using hyperspectral imaging
US11222194B2 (en) Automated system and method for creating and executing a scoring guide to assist in the analysis of tissue specimen
Frankenstein et al. Automated 3D scoring of fluorescence in situ hybridization (FISH) using a confocal whole slide imaging scanner
CN107924462A (zh) 数字病理学中的服务器‑客户机架构
Sharma et al. Deep Learning for Predicting Pediatric Crohn's Disease Using Histopathological Imaging
Cyprys et al. Rigid and Elastic Registrations Benchmark on Re-stained Histologic Human Ileum Images
McGenity et al. AIM in Surgical Pathology
US20220138945A1 (en) Methods for Preparing Data from Tissue Sections for Machine Learning Using Both Brightfield and Fluorescent Imaging
Sáenz A Colour Wheel to Rule them All: Analysing Colour & Geometry in Medical Microscopy
CN116524323A (zh) 多中心病理图像细胞检测深度学习模型构建方法
JP2021032705A (ja) データセット生成システム及びデータセット生成方法
Lopez Characterization and Colocalization of Tissue-Based Biomarker Expression by Quantitative Image Analysis: Development and Extraction of Novel Features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination