CN109871735B - 图像解析方法、装置及学习完了深层学习算法的制造方法 - Google Patents

图像解析方法、装置及学习完了深层学习算法的制造方法 Download PDF

Info

Publication number
CN109871735B
CN109871735B CN201811362790.2A CN201811362790A CN109871735B CN 109871735 B CN109871735 B CN 109871735B CN 201811362790 A CN201811362790 A CN 201811362790A CN 109871735 B CN109871735 B CN 109871735B
Authority
CN
China
Prior art keywords
image
analysis
specimen
data
training data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811362790.2A
Other languages
English (en)
Other versions
CN109871735A (zh
Inventor
关口阳介
袴田和巳
相原祐希
山田浩平
增本佳那子
K·亚恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sysmex Corp
Original Assignee
Sysmex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sysmex Corp filed Critical Sysmex Corp
Priority to CN202410217329.7A priority Critical patent/CN117975453A/zh
Publication of CN109871735A publication Critical patent/CN109871735A/zh
Application granted granted Critical
Publication of CN109871735B publication Critical patent/CN109871735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明涉及图像解析方法、装置、程序及学习完了深层学习算法的制造方法。本发明提供对于组织或细胞的图像而生成显示细胞核的区域的数据的图像解析方法。图像解析方法是使用神经网络结构的深层学习算法60解析组织或细胞的图像的图像解析方法，其从含解析对象的组织或细胞的解析对象图像78生成解析用数据80，向深层学习算法60输入解析用数据80，由深层学习算法60生成显示解析对象图像78中的细胞核的区域的数据82、83。

Description

图像解析方法、装置及学习完了深层学习算法的制造方法
【技术领域】
本发明涉及图像解析方法、装置、程序及学习完了深层学习算法的制造方法。更具体而言，涉及含对于组织或细胞的图像的任意的位置而生成显示细胞核的区域的数据的图像解析方法。
【背景技术】
在专利文献1中公开了在病理组织图像中将组织像分类为正常、良性肿瘤、前癌状态及癌状态的4个组，判断的图像诊断支援装置。图像分类手段从图像数据提取注视区域，算出显示注视区域的特征的特征量，基于算出的特征量而进行组的分类。特征量是在细胞核中的每单位面积的块的密度、块面积的密度、块的面积、块的粗度，及块的长度等。图像判断手段学习这样的特征量和判断结果的关系，基于学习完了的学习参数而进行判断。学习使用支持向量机等的学习算法而执行机械学习。
【现有技术文献】
【专利文献】
【专利文献1】特开2010-203949号公报
【发明的概要】
【发明要解决的课题】
在确定诊断是否是恶性肿瘤时，进行使用病理组织标本的病理组织学诊断。另外，病理组织学诊断作为用于手术中确定含恶性肿瘤的组织的切除部位的术中迅速诊断进行也不少。术中迅速诊断是在手术中在切开患者的患部的状态下等待，将肿瘤是否是恶性，切除的组织的断端是否残留有肿瘤，是否有淋巴节转移等的判断由病理组织学诊断进行。由术中迅速诊断的结果决定等待的患者的其后的手术的方向性。
病理组织学诊断是医师、特别病理医由显微镜等观察组织标本而进行诊断，但为了使可由组织标本的观察进行正确的确定诊断，有依赖于熟练的病理专门医而长期重复各种各样的病例的组织标本的观察的必要，病理医的培育也要求大量的时间。
病理医的不足是严重的，病理医不足的结果，患者的恶性肿瘤的确定诊断延迟，治疗开始延迟，或者还危惧不等待确定诊断而开始治疗的状态。另外，由于通常的组织学诊断和术中迅速诊断的两方集中在少的病理医，一人的病理医的业务量变得庞大，病理医自身的劳务状态也成为问题。但是，目前还未见到此问题的解除策。
从而，装置变得可支持病理组织学诊断，特别是其诊断越接近由人的眼的判断，越被认为大贡献于病理医不足的解除、及病理医的劳务状态的改善。
在装置支持病理组织学诊断的点，在记载在上述的专利文献1的发明中，基于由机械学习的图像解析而进行标本组织的病理判断。在此方法中，有将特征量用人的手制成的必要。在将特征量用人的手制成的方法中，有该人的力量给图像解析的性能大影响的问题。
例如，在使用显微镜的组织学诊断或细胞学诊断中，观察对象之一是细胞核的状态，从细胞核1个1个大小或形态、以及多个细胞核的序列状态等，区别良性肿瘤和恶性肿瘤。因此，在病理组织学诊断中，可高精度地提取细胞核的是非常地重要的，变得组织学诊断及细胞学诊断的基础。
本发明旨在提供对于组织或细胞的图像而生成显示细胞核的区域的数据的图像解析方法。
【用于解决课题的手段】
本发明的一实施方式是图像解析方法。在此一实施方式中，图像解析方法是使用神经网络结构的深层学习算法(60)而解析组织或细胞的图像的图像解析方法，其从含解析对象的组织或细胞的解析对象图像(78)生成解析用数据(80)(S21至S23)、向深层学习算法(60)输入解析用数据(80)(S24)、由深层学习算法(60)生成显示解析对象图像(78)中的细胞核的区域的数据(82、83)(S25至S28)。由此，对于组织或细胞的图像的任意的位置而生成显示细胞核的区域的数据变得可能。
解析对象图像是组织学诊断用标本的图像，解析对象图像(78)优选含由1个原色构成的色相，或含组合2个以上的原色的色相(R、G、B)。
解析对象图像是细胞学诊断用标本的图像，解析对象图像(78)优选含由1个原色构成的色相，或含组合2个以上的原色的色相(R、G、B)。
示细胞核的区域的数据(82、83)优选为用于区别提示细胞核的区域和其以外的区域的数据。
示细胞核的区域的数据(82、83)优选为表示细胞核的区域和其以外的区域的边界的数据。
深层学习算法(60)优选判断解析对象图像(78)内的任意的位置是否是细胞核的区域。
优选对于1个解析对象图像(78)而针对每个指定像素数的区域生成多个解析用数据(80)。由此，使神经网络(60)的判别精度提升变得可能。
针对每个以指定的像素作为中心而含周边的像素的指定像素数的区域生成解析用数据(80)，深层学习算法(60)优选对于输入的解析用数据(80)对于指定像素生成显示细胞核的区域与否的标签。由此，使神经网络(60)的判别精度提升变得可能。
神经网络(60)的输入层(60a)的节点数优选对应于解析用数据(80)的指定像素数和组合的原色的数的积。由此，使神经网络(60)的判别精度提升变得可能。
标本是被染色的标本，解析对象图像(78)优选为将被染色的标本在显微镜的明场下进行摄像的图像。
在深层学习算法(60)的学习中使用的训练数据(74)是将对于从个体采集的组织试样的标本或从个体采集的含细胞的试样的标本实施明场观察用染色而调制的标本的染色像在显微镜的明场下进行摄像的明场图像(70)、及将对应于标本的，或者对相同的标本实施荧光核染色而调制的标本的染色像在荧光显微镜的荧光观察下进行摄像的细胞核的荧光图像(71)，其优选基于荧光图像(71)的标本内的位置对应于取得的明场图像(70)的标本内的位置的荧光图像(71)而生成。
明场观察用染色优选在核染色中使用苏木精。
标本是组织试样的标本时，明场观察用染色是苏木精－曙红染色，标本是含细胞的试样的标本时，明场观察用染色优选为Papanicolaou染色。
训练数据(74)优选含从明场图像(70)及荧光图像(71)提取的表示细胞核的区域的标签值。由此，使神经网络(50)学习表示细胞核的区域的标签值变得可能。
训练数据(74)优选每个明场图像(70)的像素含标签值。由此，使神经网络(50)学习表示细胞核的区域的标签值变得可能。
优选在明场图像(70)中的指定像素数的每区域生成训练数据(74)。由此，使神经网络(50)以高的精度学习显示细胞核的区域的标签值变得可能。
深层学习算法(60)优选将解析用数据(80)分类为显示解析对象图像(78)中所含的细胞核的区域的类。由此，对于含解析对象的组织图像或细胞的图像的任意的位置而分类为细胞核的区域和此外的区域变得可能。
神经网络(60)的输出层(60b)优选为以Soft Max函数作为活化函数的节点。由此，神经网络(60)将含解析对象的组织图像或细胞的图像的任意的位置分类为有限个类变得可能。
深层学习算法(60)优选在每次输入解析用数据(80)时，针对每单位像素生成显示是否是解析对象图像(78)中所含的细胞核的区域的数据(82)。由此，在每个含解析对象的组织图像或细胞的图像的单位像素(1像素)分类为细胞核的区域和此外的区域变得可能。
深层学习算法(60)优选对应于含组织试样的种类或细胞的试样的种类而生成。由此，对应于含解析对象的组织图像或细胞的图像的类别而分开使用深层学习算法(60)变得可能，使神经网络(60)的判别精度提升变得可能。
再者，优选使用对应于含组织试样的种类或细胞的试样的种类而从多个深层学习算法(60)之中选择的对应于试样的种类的深层学习算法(60)而处理解析用数据(80)。由此，对应于含解析对象的组织图像或细胞的图像的类别分开使用深层学习算法(60)变得可能，使神经网络(60)的判别精度提升变得可能。
本发明的一实施方式是图像解析装置。在此一实施方式中，图像解析装置(200A)是使用神经网络结构的深层学习算法(60)而解析组织或细胞的图像的图像解析装置，其具备从含解析对象的组织或细胞的解析对象图像(78)生成解析用数据(80)，向深层学习算法(60)输入解析用数据(80)，由深层学习算法(60)生成显示解析对象图像(78)中的细胞核的区域的数据(82、83)的处理部(20A)。由此，生成显示含组织图像或细胞的图像的任意的位置是细胞核的区域与否的数据变得可能。
本发明的一实施方式是计算机程序。在此一实施方式中，计算机程序是使用神经网络结构的深层学习算法(60)而解析组织或细胞的图像的计算机程序，其为使计算机执行下列处理的程序：从含解析对象的组织或细胞的解析对象图像(78)生成解析用数据(80)的处理，向深层学习算法(60)输入解析用数据(80)的处理，及由深层学习算法(60)，生成显示在解析对象图像(78)中的细胞核的区域的数据(82、83)的处理。由此，对于组织或细胞的图像的任意的位置而生成显示细胞核的区域的数据变得可能。
本发明的一实施方式是学习完了深层学习算法的制造方法。在此一实施方式中，学习完了深层学习算法(60)的制造方法含：取得对应于对组织或细胞进行摄像的第1训练用图像(70)的第1训练数据(72r、72g、72b)的第1取得步骤，取得对应于显示第1训练用图像(70)中的细胞核的区域的第2训练用图像(71)的第2训练数据(73)的第2取得步骤，及使神经网络(50)学习第1训练数据(72r、72g、72b)和第2训练数据(73)的关系的学习步骤(S13至S19)。由此，制造用于对于组织或细胞的图像的任意的位置而生成显示细胞核的区域的数据的深层学习算法变得可能。
优选以第1训练数据(72r、72g、72b)作为神经网络(50)的输入层(50a)，以第2训练数据(73)作为神经网络(50)的输出层(50b)。
在第1取得步骤之前，优选还含从第1训练用图像(70)生成第1训练数据(72r、72g、72b)的步骤(S11)，在第2取得步骤之前，优选还含从第2训练用图像(71)生成第2训练数据(73)的步骤(S12)。由此，制造用于对于组织或细胞的图像的任意的位置而生成显示细胞核的区域的数据的深层学习算法变得可能。
第1训练用图像(70)是将对于从个体采集的组织试样或从个体采集的含细胞的试样实施明场观察用染色而调制的标本的染色像在显微镜的明场下进行摄像的明场图像(70)，第2训练用图像(71)是将对标本实施荧光核染色而调制的标本的染色像在显微镜的荧光观察下进行摄像的荧光图像(71)，其优选为荧光图像(71)的标本内的位置对应于取得的明场图像(70)的标本内的位置的荧光图像(71)。
本发明的一实施方式是学习完了深层学习算法。在此一实施方式中，学习完了深层学习算法(60)是以第1训练数据(72r、72g、72b)作为神经网络(50)的输入层(50a)，以第2训练数据(73)作为神经网络(50)的输出层(50b)而使学习的深层学习算法(60)，其中第1训练数据(72r、72g、72b)从对组织或细胞进行摄像的第1训练用图像(70)生成，第2训练数据(73)显示在第1训练用图像中的细胞核的区域。
【发明的效果】
根据本发明，可对于组织或细胞的图像的任意的位置而生成显示细胞核的区域的数据。
【附图的简单的说明】
【图1】是用于对深层学习方法的概要进行说明的模式图。
【图2】是用于对训练数据的详细进行说明的模式图。
【图3】是用于对图像解析方法的概要进行说明的模式图。
【图4】是第1实施方式涉及的图像解析系统的概略构成图。
【图5】是显示供应商侧装置100的硬件构成的框图。
【图6】是显示使用者侧装置200的硬件构成的框图。
【图7】是用于对第1实施方式涉及的深层学习装置100A的功能进行说明的框图。
【图8】是显示深层学习处理的顺序的流程图。
【图9】是用于对由神经网络的学习的详细进行说明的模式图。
【图10】是用于对第1实施方式涉及的图像解析装置200A的功能进行说明的框图。
【图11】是显示图像解析处理的顺序的流程图。
【图12】是第2实施方式涉及的图像解析系统的概略构成图。
【图13】是用于对第2实施方式涉及的统合型的图像解析装置200B的功能进行说明的框图。
【图14】是第3实施方式涉及的图像解析系统的概略构成图。
【图15】是用于对第3实施方式涉及的统合型的图像解析装置100B的功能进行说明的框图。
【图16】是在实施例1中在训练数据的制成中使用的明场图像、荧光图像、及从荧光图像制成的二值化图像。
【图17】是对在实施例1中第1胃癌组织的标本(HE染色)的图像进行解析的结果。
【图18】是对在实施例1中第2胃癌组织的标本(HE染色)的图像进行解析的结果。
【图19】是对在实施例2中胃癌部的押印标本(Papanicolaou染色)的图像进行解析的结果。
【图20】是对在实施例2中非胃癌部的押印标本(Papanicolaou染色)的图像进行解析的结果。
【具体实施方式】
以下，参照附图而详细地说明本发明的概要及实施方式。再者，在以下的说明及附图中，设为相同的符号表示相同或类似的构成要素，从而，省略关于相同或类似的构成要素的说明。
本发明是对组织或细胞的图像进行解析的图像解析方法，涉及使用神经网络结构的深层学习算法的图像解析方法。
在本发明中，组织或细胞的图像是从含组织试样的标本或细胞的试样的标本取得的图像。组织试样的标本或含细胞的试样的标本从个体采集。个体不特别限制，优选为哺乳类，更优选为人。在从上述个体采集试样时，不论个体是生是死。上述组织只要是存在于个体内的，就不限制。作为从上述个体采集的组织，可举外科的切除组织、活体检查组织等。上述含细胞的试样只要是从个体采集的，就不限制。例如，可举咳痰、胸水、腹水、尿、脑脊髓液、骨髓、血液、囊肿液等。
上述标本是指以可用显微镜等观察含上述组织试样或细胞的试样的方式加工的状态的标本，例如显微镜用标本。上述标本可根据公知的方法而调制。例如，在组织标本的情况中，从上述个体采集组织之后，用指定的固定液(福尔马林固定等)固定组织，对该固定组织进行石蜡包埋，薄切石蜡包埋组织。将薄切切片放在载玻片上。为了对于承载切片的载玻片用光学显微镜的观察，实施用于即明场观察的染色，进行指定的封入处理而标本完成。组织标本的典型例是组织学诊断用标本(病理标本)，染色是苏木精－曙红(HE)染色。
例如，在含细胞的试样的标本的情况中，将上述试样中的细胞由离心、涂抹等附着在载玻片上，用指定的固定液(乙醇等)固定，实施明场观察用的染色，进行指定的封入处理而标本完成。含细胞的试样的标本的典型例是细胞学诊断用标本(细胞学诊断标本)，染色是Papanicolaou染色。在上述细胞学诊断用标本中，也含为上述组织标本用而采集的组织的押印标本。
HE染色、Papanicolaou染色一同核染色是苏木精。苏木精在组织细胞染色中作为核染色剂广泛使用(例如，免疫染色、凝集素染色、糖染色、脂肪染色、胶原纤维染色等)。因此，本发明能应用于将这样的苏木精在核染色中使用的标本整体中。
在本发明中，在深层学习时，使用2种训练用图像。训练用图像之一(第1训练用图像)是含从个体采集的组织试样的标本或从个体采集的含细胞的试样的标本中所含的组织或细胞的图像。此图像从以可由显微镜观察识别组织结构或细胞结构的方式染色的标本取得。上述染色只要是可识别组织结构或细胞结构，就不限制，优选为明场观察用的染色。上述明场观察用染色只要是至少细胞核和细胞核以外的部位可以色相能区别地染色，就不限制。在上述标本是哺乳类的组织标本时，例如，可举HE染色。另外，例如，在上述标本是含哺乳类的细胞的标本时，可举Papanicolaou染色。
训练用图像的第2(第2训练用图像)是在第1训练用图像中，显示何处是细胞核区域的即显示称为“是细胞核区域”的正解是第1训练用图像的哪个区域的图像。此图像是对于与取得第1训练用图像的标本相同的标本、或者对应于取得第1训练用图像的标本的标本(例如，连续切片标本)实施对细胞核选择性地进行染色的荧光核染色，摄像的图像。作为上述荧光核染色，不限制，可举4',6-二脒基-2-苯基吲哚(DAPI)染色。
在图1中所示的例中，各自使用作为第1训练用图像被HE染色的组织的第1训练用图像70，及作为第2训练用图像被DAPI染色的组织而对应于第1训练用图像70中所示的标本的位置的标本的位置的第2训练用图像71。作为在图像解析处理时使用的解析对象的解析用数据，使用与图3所示的第1训练用图像实施相同的明场用染色的组织的解析对象图像78。使神经网络50作为正解学习的判别对象是组织标本或含细胞的标本内所含的细胞核的区域。
在本发明的概要及实施方式中，以将对HE染色的组织标本进行摄像的图像内所含的细胞核的区域由深层学习算法判别的情况作为一例进行说明。
[深层学习方法及图像解析方法的概要]
以下，首先对于深层学习方法及图像解析方法的概要进行说明。接下来，对于本发明的多个实施方式各自而具体进行说明。
·深层学习方法的概要
如图1所示，在深层学习方法中，使用从上述的第1训练用图像及第2训练用图像各自生成的训练数据。第1训练用图像为了将HE染色的标本在显微镜的明场观察下作为例如彩色图像摄像，在第1训练用图像中含多个色相。
第1训练用图像(明场图像)70可使用例如公知的光学显微镜、荧光显微镜或虚拟切片扫描仪等的图像取得装置而预先取得。例示性地，在本实施方式中从图像取得装置取得的颜色摄像优选颜色空间是RGB的24比特颜色。在RGB的24比特颜色中，优选将红色、绿色及蓝色的各自的浓度(色浓度)以8比特(256阶段)表示。第1训练用图像(明场图像)70只要是含1个以上的原色的图像即可。
在本发明中，色相，例示性地，以光的3原色的组合，或者色的3原色的组合规定。将从第1训练用图像70生成的第1训练用图像70中呈现的色相分离为各原色而针对每原色生成第1训练数据是以对应于其浓度的符号表示的数据。在图1中得到分离为作为光的3原色的红(R)、绿(G)、蓝(B)的原色每个的单一色的图像72R、72G、72B。
当对于单一色的图像72R、72G、72B上的各像素而将各色的色浓度符号化时，将图像整体对于每个R、G、B的各图像而成为对应于像每像素的色浓度的符号化图72r、72g、72b。色浓度也可以表示各色256阶段的数值符号化。另外，色浓度也可对于表示各色256阶段的数值还进行预处理而将各像素中的色浓度例如用表示值0至值7的8阶段的数字符号化。在图1中例示性地显示的R、G、B各色的单一色图像中的色浓度符号化图72r、72g、72b将在各像素中的色浓度以值0至值7的8阶段(以色阶表示则3色阶)的符号表示。表示色浓度的符号在本说明书中也称为色浓度值。
第2训练用图像71是将荧光核染色的标本在荧光显微镜的荧光观察下用2色阶以上的灰度摄像或颜色摄像的图像。第2训练用图像71可使用例如公知的荧光显微镜或虚拟切片扫描仪等明场图像取得装置而预先取得。
第2训练数据是从对学习对象的组织进行摄像的第2训练用图像71生成的显示学习对象的组织的细胞核的区域的真值像73。第1训练用图像70及第2训练用图像71是对标本上的组织的相同的区域或对应的区域进行摄像的图像。
第2训练数据将2色阶以上的灰度的或颜色的第2训练用图像71由二值化处理作为白黑的荧光图像数据化，作为真值像73使神经网络50作为正解学习。使神经网络60判别的对象是细胞核的区域时，真值像73是表示细胞核的区域即正解的数据。通过将第2训练用图像71二值化，区别细胞核的区域和其以外的区域，判别细胞核的区域。到底是细胞核的区域或其以外的区域之任一者的判断，例如，通过将图像内的各像素的色浓度与指定的条件(例如，色浓度的阈值)比较来进行。
在深层学习方法中，使以色浓度符号化图72r、72g、72b(也称为第1训练数据)及真值像73(也称为第2训练数据)作为训练数据74，以色浓度符号化图72r、72g、72b作为输入层50a，以真值像73作为输出层50b的神经网络50学习。即，以R、G、B各色的色浓度符号化图72r、72g、72b和真值像73的对作为神经网络50的学习的训练数据74使用。
参照图2(a)至(c)而说明训练数据74的生成方法。训练数据74是将R、G、B各色的色浓度符号化图72r、72g、72b和真值像73组合的数据。训练数据74，在图2(a)中，其图像尺寸(训练数据每1个的大小)为了说明的便利而简便化，色浓度符号化图72r、72g、72b及真值像73有纵方向9个像素及横方向9个像素的合计81个像素。
图2(b)显示构成训练数据74的像素的一例。图2(b)中的上段所示的3个值74a是在各像素中的R、G、B各色的浓度值。例示性地，3个值以红(R)、绿(G)及蓝(B)的顺序储存。色浓度符号化图72r、72g、72b的各像素的色浓度值以值0至值7的8阶段表示。这作为图像的预处理的一例，是将摄像时以256阶段表示的各色的图像72R、72G、72B的亮度各自变换为8阶段的色浓度值的处理。色浓度值以例如最低的亮度(以RGB颜色256阶段表示之时的亮度值低的色阶组)作为色浓度值0，分配根据亮度的程度变高而缓慢地高的值，以最高的亮度(以RGB颜色256阶段表示之时的亮度值高的色阶组)作为色浓度值7。图2(b)中的下段所示的值74b是真值像73的二值数据。真值像73的二值数据74b也称为标签值。设为例如标签值1表示细胞核的区域，标签值0表示其以外的区域。即，在图1中所示的真值像73中，标签值从1至0改变的像素或从0至1改变的像素的位置相当于细胞核的区域和其以外的区域的边界。
图2(c)中所示的训练数据75是切出图2(a)中所示的训练数据74的指定的像素数的区域(以下，记载为“窗尺寸”)的数据。窗尺寸的训练数据75也为了说明的便利而简便化为3×3像素而显示，但实际的优选的窗尺寸例示性地是113×113像素左右，其中放入3×3个左右正常的胃上皮细胞的核的大小从学习效率的方面是优选的。例如，如图2(c)所示，设定3×3像素的窗W1，使窗W1对于训练数据74移动。窗W1的中心将位于训练数据74之任一者的像素，例如，以黑框表示的窗W1内的训练数据74作为窗尺寸的训练数据75切出。切出的窗尺寸的训练数据75在图1中所示的神经网络50的学习中使用。
如图1所示，神经网络50的输入层50a的节点数是输入的窗尺寸的训练数据75的像素数和图像中所含的原色的数(当是例如光的三原色时，对应于R、G、B的3个)的积。以窗尺寸的训练数据75的各像素的色浓度值数据76作为神经网络的输入层50a，以对应于训练数据75的各像素的真值像73的二值数据74b之中位于中心的像素的二值数据77作为神经网络的输出层50b，使神经网络50学习。各像素的色浓度值数据76是训练数据75的各像素的R、G、B各色的色浓度值74a的集合数据。作为例示，在窗尺寸的训练数据75是3×3像素时，由于对于各像素而针对每个R、G、B给各1个色浓度值74a，色浓度值数据76的色浓度值数成为“27”(3×3×3＝27)，神经网络50的输入层50a的节点数也成为“27”。
这样，输入到神经网络50的窗尺寸的训练数据75不由使用者制成，可由计算机自动制成。由此，促进神经网络50的有效的深层学习。
如图2(c)所示，在初期状态，窗W1的中心位于训练数据74的左上角。之后，由窗W1切出窗尺寸的训练数据75，在每次进行神经网络50的学习时，使窗W1的位置移动。具体而言，以窗W1的中心扫描训练数据74的例如全部像素的方式，使窗W1以1像素单位移动。由此，从训练数据74的全部像素切出的窗尺寸的训练数据75在神经网络50的学习中使用。从而，可提升神经网络50的学习的程度，深层学习的结果，得到了有图3所示的神经网络60结构的深层学习算法。
·图像解析方法的概要
如图3所示，在图像解析方法中，从对含解析对象的组织或细胞的标本进行摄像的解析对象图像(明场图像)78生成解析用数据80。上述标本优选实施与第1训练用图像相同的染色。解析对象图像78也可使用例如公知的显微镜或虚拟切片扫描仪等而作为例如彩色图像取得。解析对象图像(明场图像)78只要是含1个以上的原色的图像即可。当将颜色的解析对象图像78对于各像素用R、G、B各色的色浓度值符号化时，可将图像整体针对每个R、G、B而表示为各像素中的色浓度值的符号化图(解析用色浓度符号化图79r、79g、79b)。在图3中例示性地显示的表示R、G、B各色的单一色图像中的色浓度的符号的色浓度符号化图79r、79g、79b代替3原色的各图像79R、79G、79B而以值0至值7的8阶段显示以符号表示的色浓度值。
解析用数据80是切出色浓度符号化图79r、79g、79b的指定的像素数的区域(即，窗尺寸)的数据，含解析对象图像78中所含的组织或细胞的色浓度值的数据。窗尺寸的解析用数据80也与训练数据75同样地，为了说明的便利而简便化为3×3像素而显示，但实际的优选的窗尺寸例示性地是113×113像素左右，其中放入3×3个左右正常的胃上皮细胞的核的大小从判别精度的方面优选，例如以40倍的视野是113×113像素左右。例如，设定3×3像素的窗W2，对于色浓度符号化图79r、79g、79b而使窗W2移动。窗W2的中心位于色浓度符号化图79r、79g、79b之任一者的像素，当将色浓度符号化图79r、79g、79b由例如3×3像素的黑框所示的窗W2切出时，得到了窗尺寸的解析用数据80。这样，从色浓度符号化图79r、79g、79b，针对每个以指定的像素作为中心而含周边的像素的区域而生成解析用数据80。指定的像素是指位于窗W2的中心的色浓度符号化图79r、79g、79b的像素，周边的像素是指以此指定的像素作为中心的窗尺寸的范围内所含的色浓度符号化图79r、79g、79b的像素。在解析用数据80中，也与训练数据74同样地，对于各像素而色浓度值以红(R)、绿(G)及蓝(B)的顺序储存。
在图像解析方法中，使用有使用图1中所示的窗尺寸的训练数据75而学习的神经网络的深层学习算法60而处理解析用数据80。通过对解析用数据80进行处理而生成显示解析对象的组织或细胞中是否是细胞核的区域的数据83。
参照再图3，从R、G、B各色的色浓度符号化图79r、79g、79b切出的解析用数据80输入到构成深层学习算法的神经网络60。神经网络60的输入层60a的节点数对应于输入的像素数和图像中所含的原色的数的积。当向神经网络60输入解析用数据80的各像素的色浓度值数据81时，从输出层60b输出位于解析用数据80的中心的像素的推定值82(二值)。例如推定值是1时表示细胞核的区域，推定值是0时表示其以外的区域。即，从神经网络60的输出层60b输出的推定值82是针对解析对象图像的每像素生成的数据，表示是否是解析对象图像中的细胞核的区域的数据。推定值82将细胞核的区域和其以外的区域用例如值1和值0区别。推定值82也称为标签值，在关于神经网络的后述的说明中也称为类。神经网络60对于输入的解析用数据80，对于位于解析用数据80的中心的像素，生成显示细胞核的区域与否的标签。换言之，神经网络60将解析用数据80分类为显示解析对象图像中所含的细胞核的区域的类。再者，各像素的色浓度值数据81是解析用数据80的各像素的R、G、B各色的色浓度值的集合数据。
之后，以窗W2的中心扫描R、G、B各色的色浓度符号化图79r、79g、79b的全部像素的方式，一边使窗W2以1像素单位移动，一边将解析用数据80以窗尺寸切出。向神经网络60输入切出的解析用数据80。由此，作为显示是否是解析对象图像中的细胞核的区域的数据，得到二值数据83。在图3中所示的例中，通过对于二值数据83而还进行细胞核区域检测处理，得到显示细胞核的区域的细胞核区域强调图像84。细胞核区域检测处理，具体而言，成为例如检测推定值82是值1的像素的处理，实际上成为判别细胞核的区域的处理。细胞核区域强调图像84是将由图像解析处理得到的细胞核的区域与解析对象的解析对象图像78重叠显示的图像。另外，在判别细胞核的区域之后，也可进行将细胞核和其以外的区域能识别地显示于显示装置的处理。例如，进行在将细胞核的区域以色彩涂满的细胞核的区域和其以外的区域之间描画线等的处理，这些能识别地显示于显示装置。
＜第1实施方式＞
在第1实施方式中，对于实施在上述的概要中说明的深层学习方法及图像解析方法的系统的构成而具体进行说明。
[构成的概要]
参照图4，则第1实施方式涉及的图像解析系统具备深层学习装置100A和图像解析装置200A。供应商侧装置100作为深层学习装置100A运行，使用者侧装置200作为图像解析装置200A运行。深层学习装置100A使用训练数据而使神经网络50学习，将由训练数据训练的深层学习算法60提供于使用者。由学习完了的神经网络60构成的深层学习算法通过记录介质98或网络99而从深层学习装置100A提供于图像解析装置200A。图像解析装置200A使用由学习完了的神经网络60构成的深层学习算法而进行解析对象的图像的解析。
深层学习装置100A例如由通用计算机构成，基于后述的流程图而进行深层学习处理。图像解析装置200A例如由通用计算机构成，基于后述的流程图而进行图像解析处理。记录介质98是例如DVD-ROM或USB存储器等的计算机能读取且非暂时的有形的记录介质。
深层学习装置100A与摄像装置300连接。摄像装置300具备摄像元件301和荧光显微镜302，对设置在镜台309上的学习用的标本308的明场图像及荧光图像进行摄像。学习用的标本308实施上述的染色。深层学习装置100A取得由摄像装置300摄像的第1训练用图像70及第2训练用图像71。
图像解析装置200A与摄像装置400连接。摄像装置400具备摄像元件401和荧光显微镜402，对设置在镜台409上的解析对象的标本408的明场图像进行摄像。解析对象的标本408如上所述预先被染色。图像解析装置200A取得由摄像装置400摄像的解析对象图像78。
在摄像装置300、400中，可使用有对标本进行摄像的功能的公知的荧光显微镜或虚拟切片扫描仪等。摄像装置400只要是有对标本进行摄像的功能，就也可为光学显微镜。
[硬件构成]
参照图5，则供应商侧装置100(100A、100B)具备处理部10(10A、10B)、输入部16和输出部17。
处理部10具备进行后述的数据处理的CPU(Central Processing Unit)11，在数据处理的作业区域中使用的存储器12，记录后述的程序及处理数据的记录部13，在各部之间传送数据的总线14，进行与外部机器的数据的输入输出的接口部15和GPU(GraphicsProcessing Unit)19。输入部16及输出部17与处理部10连接。例示性地，输入部16是键盘或鼠标等的输入装置，输出部17是液晶显示等的显示装置。GPU19作为辅助CPU11进行的计算处理(例如，并列计算处理)的加速器发挥功能。即，在以下的说明中CPU11进行的处理是指也包括CPU11以GPU19作为加速器使用而进行的处理。
另外，处理部10为了进行在以下的图8中说明的各步骤的处理，将本发明涉及的程序及学习前的神经网络50例如以执行形式预先记录在记录部13。执行形式是例如从编程言语由编译器变换而生成的形式。处理部10使用记录在记录部13的程序及学习前的神经网络50而进行处理。
在以下的说明中，只要不特别排除，处理部10进行的处理就是指CPU11基于储存在记录部13或存储器12的程序及神经网络50而进行的处理。CPU11以存储器12作为作业区域而暂时存储必要的数据(处理途中的中间数据等)，在记录部13适宜记录计算结果等的长期保存的数据。
参照图6，则使用者侧装置200(200A、200B、200C)具备处理部20(20A、20B、20C)、输入部26和输出部27。
处理部20具备进行后述的数据处理的CPU(Central Processing Unit)21，在数据处理的作业区域中使用的存储器22，记录后述的程序及处理数据的记录部23，在各部之间传送数据的总线24，进行与外部机器的数据的输入输出的接口部25和GPU(GraphicsProcessing Unit)29。输入部26及输出部27与处理部20连接。例示性地，输入部26是键盘或鼠标等的输入装置，输出部27是液晶显示等的显示装置。GPU29作为辅助CPU21进行的计算处理(例如，并列计算处理)的加速器发挥功能。即，在以下的说明中CPU21进行的处理是指也包括CPU21以GPU29作为加速器使用而进行的处理。
另外，处理部20为了进行在以下的图11中说明的各步骤的处理，将本发明涉及的程序及学习完了的神经网络结构的深层学习算法60例如以执行形式预先记录在记录部23。执行形式是例如从编程言语由编译器变换而生成的形式。处理部20使用记录在记录部23的程序及深层学习算法60而进行处理。
在以下的说明中，只要不特别排除，处理部20进行的处理实际上就是指处理部20的CPU21基于储存在记录部23或存储器22的程序及深层学习算法60而进行的处理。CPU21以存储器22作为作业区域而暂时存储必要的数据(处理途中的中间数据等)，在记录部23适宜记录计算结果等的长期保存的数据。
[功能块及处理顺序]
·深层学习处理
参照图7，则第1实施方式涉及的深层学习装置100A的处理部10A具备训练数据生成部101、训练数据输入部102和算法更新部103。这些功能块将使计算机执行深层学习处理的程序安装到处理部10A的记录部13或存储器12，通过由CPU11执行此程序来实现。窗尺寸数据库104和算法数据库105记录在处理部10A的记录部13或存储器12。
学习用的标本的第1训练用图像70及第2训练用图像71设为由摄像装置300预先摄像，预先存储在处理部10A的记录部13或存储器12。神经网络50与例如解析对象的标本所来源的组织试样的类别(例如组织名)或含细胞的试样的种类对应而预先储存在算法数据库105。
深层学习装置100A的处理部10A进行图8中所示的处理。使用图7中所示的各功能块而进行说明，则步骤S11至S13、S18及S19的处理由训练数据生成部101进行。步骤S14的处理由训练数据输入部102进行。步骤S15至S17的处理由算法更新部103进行。
在接下来说明的步骤S11至S19中，对对于1对的第1训练用图像70(明场图像)和第2训练用图像(第2训练用图像71)的对的深层学习处理进行说明。
在步骤S11中，处理部10A从输入的第1训练用图像70生成R、G、B各色的色浓度符号化图72r、72g、72b。色浓度符号化图72r、72g、72b通过阶段性地表示第1训练用图像70的各像素的R、G、B各色的色浓度值而制成。在本实施方式中，以色浓度值作为值0至值7的8阶段而对于各R、G、B色阶图像而制成色浓度符号化图72r、72g、72b。色浓度值的分配例如以最低的亮度作为色浓度值0，分配根据亮度的程度变高而缓慢地高的值，以最高的亮度作为色浓度值7。
在步骤S12中，处理部10A使输入的第2训练用图像71的各像素的色阶二值化而生成真值像73。真值像73(二值化图像73)用于生成使神经网络50作为正解学习的训练数据。二值化的处理例如，通过将图像内的各像素的色阶与指定的阈值比较来进行。
在步骤S13中，处理部10A通过输入部16而接受自深层学习装置100A侧的操作者的学习用的组织的类别的输入。处理部10A基于输入的组织的类别，参照窗尺寸数据库104而设定窗尺寸，参照算法数据库105而设定在学习中使用的神经网络50。在以胃的组织标本作为解析对象的本实施方式中，窗尺寸例如设为113×113像素。此像素尺寸是在例如以40倍摄像的图像中的尺寸。例示性地2个至9个程度的多个细胞之中，至少1个细胞的细胞核区域的整体形状是支持窗内所含的尺寸。窗尺寸是在1次的输入时输入到神经网络50的训练数据的单位，窗尺寸的训练数据75的像素数和图像中所含的色彩的原色的数的积对应于输入层50a的节点数。窗尺寸与组织试样的类别或含细胞的试样的类别对应而预先记录在窗尺寸数据库104内。
在步骤S14中，处理部10A从色浓度符号化图72r、72g、72b及真值像73生成窗尺寸的训练数据75。具体而言，在上述的“深层学习方法的概要”中，如参照图2(a)至(c)而进行说明的一样，从组合色浓度符号化图72r、72g、72b及真值像73的训练数据74，由窗W1制成窗尺寸的训练数据75。
在图8中所示的步骤S15中，处理部10A使用窗尺寸的训练数据75而使神经网络50学习。神经网络50的学习结果在每次使用窗尺寸的训练数据75而使神经网络50学习时蓄积。
在实施方式涉及的图像解析方法中，使用折叠神经网络，由于使用概率的梯度降低法，在步骤S16中，处理部10A判断预先确定的指定的试行次数的学习结果蓄积与否。学习结果蓄积指定的试行次数时，处理部10A进行步骤S17的处理，学习结果未蓄积指定的试行次数的情况，处理部10A进行步骤S18的处理。
学习结果蓄积指定的试行次数时，在步骤S17中，处理部10A使用在步骤S15中蓄积的学习结果而更新神经网络50的结合权重w。在实施方式涉及的图像解析方法中，由于使用概率的梯度降低法，在指定的试行次数的学习结果蓄积的阶段，更新神经网络50的结合权重w。更新结合权重w的处理，具体而言，是后述的(式11)及(式12)中所示的实施由梯度降低法的计算的处理。
在步骤S18中，处理部10A判断对输入图像内的规定数的像素进行处理与否。当输入图像是训练数据74，对于训练数据74内的规定数的像素而进行步骤S14至步骤S17的一系列的处理时，结束深层学习处理。神经网络的学习无必然对于输入图像内的全部像素进行的必要，处理部10A可对于输入图像内的一部分的像素、即规定数的像素进行处理而进行学习。规定数的像素也可为输入图像内的全部像素。
在不处理输入图像内的规定数的像素时，处理部10A在步骤S19中，如图2(c)所示，在训练数据74内，使窗的中心位置以1像素单位移动。其后，处理部10A在移动后的新的窗位置，进行步骤S14至步骤S17的一系列的处理。即，处理部10A在步骤S14中，在移动后的新的窗位置将训练数据74以窗尺寸切出。继而，处理部10A在步骤S15中，使用新切出的窗尺寸的训练数据75而使神经网络50学习。在步骤S16中，当蓄积指定的试行次数的学习结果时，处理部10A在步骤S17中，更新神经网络50的结合权重w。将每个这样的窗尺寸的神经网络50的学习对于训练数据74内的规定数的像素而进行。
通过对于不同的输入图像的多个对而重复进行以上说明的对于1对的输入图像的对的步骤S11至S19的深层学习处理，使神经网络50的学习的程度提升。由此，得到图3中所示的神经网络结构的深层学习算法60。
·神经网络的结构
如图9(a)所示，在第1实施方式中，使用深层学习类型的神经网络。深层学习类型的神经网络如图9中所示的神经网络50一样，具备输入层50a、输出层50b和输入层50a及输出层50b之间的中间层50c，中间层50c由多个层构成。构成中间层50c的层的数可例如设为5层以上。
在神经网络50中，以层状配置的多个节点89在层间结合。由此，信息从输入侧的层50a向输出侧的层50b，仅向图中箭头D中所示的一方向传播。在本实施方式中，输入层50a的节点数对应于输入的图像的像素数即图2(c)所示的窗W1的像素数和各像素中所含的色彩的原色的数的积。由于可向输入层50a输入图像的像素数据(色浓度值)，使用者不从输入图像另行算出特征量，可向输入层50a输入输入图像。
·在各节点的计算
图9(b)是显示在各节点的计算的模式图。在各节点89，接受多个输入，计算1个输出(z)。图9(b)中所示的例的情况，节点89接受4个输入。节点89接受的总输入(u)由以下的(式1)表示。
【数1】
u＝w1x1+w2x2+w3x3+w4x4+b(式1)
在各输入中，各自挂不同的权重。(式1)中，b是称为偏倚的值。节点的输出(z)成为对于用(式1)表示的总输入(u)的指定的函数f的输出，由以下的(式2)表示。函数f称为活化函数。
【数2】
z＝f(u) (式2)
图9(c)是显示节点间的计算的模式图。在神经网络50中，对于(式1)所表示的总输入(u)而以层状排列输出(式2)所表示的结果(z)的节点。前的层的节点的输出成为以下的层的节点的输入。在图9(c)中所示的例中，图中左侧的层的节点89a的输出成为图中右侧的层的节点89b的输入。右侧的层的各节点89b各自接受自左侧的层的节点89a的输出。在左侧的层的各节点89a和右侧的层的各节点89b之间的各结合中，卦不同的权重。当以左侧的层的多个节点89a各自的输出作为x1～x4时，对于右侧的层的3个节点89b各自的输入由以下的(式3-1)～(式3-3)表示。
【数3】
u1＝w11x1+w12x2+w13x3+w14x4+b1(式3-1)
u2＝w21x1+w22x2+w23x3+w24x4+b2(式3-2)
u3＝w31x1+w32x2+w33x3+w34x4+b3(式3-3)
当使这些(式3-1)～(式3-3)一般化时，成为(式3-4)。其中，i＝1，…I、j＝1，…J。
【数4】
当将(式3-4)应用于活化函数时，得到了输出。输出由以下的(式4)表示。
【数5】
zj＝f(uj) (j＝1, 2, 3) (式4)
·活化函数
在实施方式涉及的图像解析方法中，作为活化函数，使用标准化线形函数(rectified linear unit function)。标准化线形函数由以下的(式5)表示。
【数6】
f(u)＝max(u,0) (式5)
(式5)是z＝u的线形函数之中，将u＜0的部分设为u＝0的函数。在图9(c)中所示的例中，j＝1的节点的输出由(式5)，由以下的式表示。
【数7】
z1＝max((w11x1+w12x2+w13x3+w14x4+b1),0)
·神经网络的学习
将使用神经网络而表现的函数设为y(x：w)，则函数y(x：w)随着使神经网络的参数w改变而改变。将以对于输入x而神经网络选择更适宜的参数w的方式调整函数y(x：w)称为神经网络的学习。设为给多个使用神经网络表现的函数的输入和输出的组。当将对于某输入x的优选的输出设为d时，输入输出的组给出{(x1，d1)，(x2，d2)，…，(xn，dn)}。将(x,d)所表示的各组的集合称为训练数据。具体而言，在图2(b)中所示的R、G、B各色的单一色图像中的像每像素的色浓度值和真值像的标签的组、的集合是图2(a)中所示的训练数据。
神经网络的学习是指对于任何输入输出的组(xn，dn)均以给输入xn之时的神经网络的输出y(xn：w)尽可能接近输出dn的方式调整权重w。误差函数(error function)是指测定使用神经网络而表现的函数和训练数据的近度
【数8】
y(xn：w)≈dn
的尺度。误差函数也称为损失函数(loss function)。在实施方式涉及的图像解析方法中使用的误差函数E(w)由以下的(式6)表示。(式6)称为交叉熵(cross entropy)。
【数9】
对(式6)的交叉熵的算出方法进行说明。在实施方式涉及的图像解析方法中使用的神经网络50的输出层50b中，即在神经网络的最终层中，使用用于将输入x对应于内容而分类为有限个类的活化函数。活化函数称为Soft Max函数(softmaxfunction)，由以下的(式7)表示。再者，在输出层50b中，设为排列与类数k同数的节点。输出层L的各节点k(k＝1，…K)的总输入u设为从前层L-1的输出，以uk (L)给出。由此，输出层的第k的节点的输出由以下的(式7)表示。
【数10】
(式7)是Soft Max函数。以(式7)决定的输出y1，…，yK的总和常常成为1。
将各类表示为C1，…，CK，则输出层L的节点k的输出yK(即uk (L))表示给出的输入x属于类CK的概率。参照以下的(式8)。输入x分类为(式8)所表示的概率变得最大的类。
【数11】
在神经网络的学习中，将以神经网络表示的函数看作各类的事后概率(posteriorprobability)的模型，在这样的概率模型之下，评价对于训练数据的权重w的似然度(likelihood)，选择使似然度最大化的权重w。
将由(式7)的Soft Max函数的目标输出dn设为仅输出是正解的类的情况设为1，输出是其以外的情况成为0。将目标输出以称为dn＝[dn1，…，dnK]的向量形式表示，则例如输入xn的正解类是C3时，仅目标输出dn3设为1，此外的目标输出设为0。当这样符号化时，事后分布(posterior)由以下的(式9)表示。
【数12】
对于训练数据{(xn，dn)}(n＝1，…，N)的权重w的似然度L(w)由以下的(式10)表示。当对似然度L(w)的对数反转取符号时，导出(式6)的误差函数。
【数13】
学习是指将基于训练数据计算的误差函数E(w)对于神经网络的参数w而最小化。在实施方式涉及的图像解析方法中，误差函数E(w)由(式6)表示。
将误差函数E(w)对于参数w而最小化的与求出函数E(w)的局部的极小点是相同的含意。参数w是节点间的结合的权重。权重w的极小点以任意的初期值作为出发点，由重复更新参数w的反复计算求出。在这样的计算的一例中，有梯度降低法(gradient descentmethod)。
在梯度降低法中，使用由以下的(式11)表示的向量。
【数14】
在梯度降低法中，使向负的梯度方向(即)移动现在的参数w的值的处理重复几次。当将现在的权重设为w(t)，将移动后的权重设为w(t+1)时，由梯度降低法的计算由以下的(式12)表示。值t是指使参数w移动的次数。
【数15】
记号
【数16】
ε
是决定参数w的更新量的大小的常数，称为学习系数。通过重复由(式12)表示的计算，伴随值t的增加而误差函数E(w(t))减少，参数w到达极小点。
再者，由(式12)的计算可对于全部训练数据(n＝1，…，N)而实施，也可对于一部分的仅训练数据而实施。对于一部分的仅训练数据而进行的梯度降低法称为概率的梯度降低法(stochastic gradient descent)。在实施方式涉及的图像解析方法中，使用概率的梯度降低法。
·图像解析处理
参照图10，则第1实施方式涉及的图像解析装置200A的处理部20A具备解析用数据生成部201、解析用数据输入部202、解析部203和细胞核区域检测部204。这些功能块将本发明涉及的使计算机执行图像解析处理的程序安装到处理部20A的记录部23或存储器22，通过CPU21执行此程序来实现。窗尺寸数据库104和算法数据库105通过记录介质98或网络99而从深层学习装置100A提供，记录在处理部20A的记录部23或存储器22。
解析对象的组织的解析对象图像78设为由摄像装置400预先摄像，预先记录在处理部20A的记录部23或存储器22。含学习完了的结合权重w的深层学习算法60与解析对象的组织的标本所来源的组织试样的类别(例如组织名)或含细胞的试样的种类对应而储存在算法数据库105，作为使计算机执行图像解析处理的程序的一部分的程序模块发挥功能。即，深层学习算法60由具备CPU及存储器的计算机使用，以执行输出显示解析对象的组织中是否是细胞核的区域的数据的对应于使用目的的特有的信息的计算或加工的方式，使计算机发挥功能。具体而言，处理部20A的CPU21根据记录在记录部23或存储器22的深层学习算法60中规定的算法而进行基于学习完了的结合权重w的神经网络60的计算。处理部20A的CPU21对于输入到输入层60a的对解析对象的组织进行摄像的解析对象图像78而进行计算，从输出层60b输出作为显示解析对象的组织中是否是细胞核的区域的数据的二值图像83。
参照图11，则图像解析装置200A的处理部20A进行图11中所示的处理。当使用图10中所示的各功能块而进行说明时，步骤S21及S22的处理由解析用数据生成部201进行。步骤S23、S24、S26及S27的处理由解析用数据输入部202进行。步骤S25及S28的处理由解析部203进行。步骤S29的处理由细胞核区域检测部204进行。
在步骤S21中，处理部20A从输入的解析对象图像78生成R、G、B各色的色浓度符号化图79r、79g、79b。色浓度符号化图79r、79g、79b的生成方法与图8所示的深层学习处理时的步骤S11中的生成方法同样。
在图11中所示的步骤S22中，处理部20A通过输入部26而作为解析条件接受自图像解析装置200A侧的使用者的组织的类别的输入。处理部20A基于输入的组织的类别，参照窗尺寸数据库104及算法数据库105而设定在解析中使用的窗尺寸，取得在解析中使用的深层学习算法60。窗尺寸是在1次的输入时输入到神经网络60的解析用数据的单位，窗尺寸的解析用数据80的像素数和图像中所含的色彩的原色的数的积对应于输入层60a的节点数。窗尺寸与组织的类别对应而预先记录在窗尺寸数据库104内。窗尺寸，如图3中所示的窗W2一样是例如3×3像素。深层学习算法60也与组织试样的类别或含细胞的试样的类别对应而预先记录在图10所示的算法数据库105内。
在图11中所示的步骤S23中，处理部20A从色浓度符号化图79r、79g、79b生成窗尺寸的解析用数据80。
在步骤S24中，处理部20A向深层学习算法60输入图3所示的解析用数据80。窗的初期位置，与深层学习处理时的步骤S15同样地，是例如位于窗内的3×3像素的中心的像素对应于解析对象图像的左上角的位置。当处理部20A向输入层60a输入窗尺寸的解析用数据80中所含的3×3像素×3原色的合计27个色浓度值的数据81时，深层学习算法60向输出层60b输出判别结果82。
在图11中所示的步骤S25中，处理部20A记录输出到图3中所示的输出层60b的判别结果82。判别结果82是位于作为解析对象的色浓度符号化图79r、79g、79b的中心的像素的推定值(二值)。例如推定值是值1时表示细胞核的区域，推定值是值0时表示其以外的区域。
在图11中所示的步骤S26中，处理部20A判断对输入图像内的全部像素进行处理与否。当输入图像是图3中所示的色浓度符号化图79r、79g、79b，对于色浓度符号化图79r、79g、79b内的全部像素而进行图11中所示的步骤S23至步骤S25的一系列的处理时，进行步骤S28的处理。
在不处理输入图像内的全部像素时，处理部20A在步骤S27中，与深层学习处理时的步骤S19同样地，在图3中所示的色浓度符号化图79r、79g、79b内，使窗W2的中心位置以1像素单位移动。其后，处理部20A在移动后的新的窗W2的位置，进行步骤S23至步骤S25的一系列的处理。处理部20A在步骤S25中，记录对应于移动后的新的窗位置的判别结果82。通过将每个这样的窗尺寸的判别结果82的记录对于解析对象图像内的全部像素而进行，得到了解析结果的二值图像83。解析结果的二值图像83的图像尺寸与解析对象图像的图像尺寸相同。其中，在二值图像83中，推定值的值1及值0可为附在各像素的数值数据，也可为代替推定值的值1及值0而以对应于例如值1及值0各自的显示色显示的图像。
在图11中所示的步骤S28中，处理部20A将解析结果的二值图像83输出到输出部27。
在步骤S29中，继步骤S28，处理部20A对于解析结果的二值图像83而还进行细胞核的区域的细胞核区域检测处理。在二值图像83中，细胞核的区域和其以外的区域以二值区别表示。从而，在二值图像83中，通过检测像素的推定值从1至0改变的像素或从0至1改变的像素的位置，可判别细胞核的区域。另外，作为别的实施方式，可检测细胞核的区域和其以外的区域的边界、即细胞核的区域。
任选地，处理部20A通过将得到的细胞核的区域与解析对象的解析对象图像78重叠，制成细胞核区域强调图像84。处理部20A将制成的细胞核区域强调图像84输出到输出部27，结束图像解析处理。
以上、图像解析装置200A的使用者通过向图像解析装置200A输入解析对象的组织的解析对象图像78，作为解析结果，可取得二值图像83。二值图像83表示在解析对象的标本中的细胞核的区域和其以外的区域，使用者在解析对象的标本中，判别细胞核的区域变得可能。
再者，图像解析装置200A的使用者作为解析结果，可取得细胞核区域强调图像84。细胞核区域强调图像84例如，通过在解析对象的解析对象图像78中将细胞核的区域以色彩涂满来生成。另外，在别的实施方式中，通过重复细胞核的区域和其以外的区域的分界线来生成。由此，使用者在解析对象的组织中，一目掌握细胞核的区域变得可能。
在解析对象的标本中显示细胞核的区域成为使未见惯标本的者掌握细胞核的状态的帮助。
＜第2实施方式＞
以下，对于与第1实施方式涉及的图像解析系统相异的点而说明第2实施方式涉及的图像解析系统。
[构成的概要]
参照图12，则第2实施方式涉及的图像解析系统具备使用者侧装置200，使用者侧装置200作为统合型的图像解析装置200B运行。图像解析装置200B例如由通用计算机构成，进行在第1实施方式中进行说明的深层学习处理及图像解析处理的两方的处理。即，第2实施方式涉及的图像解析系统是在使用者侧进行深层学习及图像解析的独立型的系统。第2实施方式涉及的图像解析系统在设置在使用者侧的统合型的图像解析装置200B担负第1实施方式涉及的深层学习装置100A及图像解析装置200A的两方的功能的点，与第1实施方式涉及的图像解析系统不同。
图像解析装置200B与摄像装置400连接。摄像装置400在深层学习处理时，取得学习用的组织的第1训练用图像70及第2训练用图像71，在图像解析处理时，取得解析对象的组织的解析对象图像78。
[硬件构成]
图像解析装置200B的硬件构成与图6所示的使用者侧装置200的硬件构成同样。
[功能块及处理顺序]
参照图13，则第2实施方式涉及的图像解析装置200B的处理部20B具备训练数据生成部101、训练数据输入部102、算法更新部103、解析用数据生成部201、解析用数据输入部202、解析部203和细胞核检测部204。这些功能块将使计算机执行深层学习处理及图像解析处理的程序安装到处理部20B的记录部23或存储器22，通过CPU21执行此程序来实现。窗尺寸数据库104和算法数据库105记录在处理部20B的记录部23或存储器22，均在深层学习时及图像解析处理时共同使用。学习完了的神经网络60与组织的类别或含细胞的试样的类别对应而预先储存在算法数据库105，由深层学习处理更新结合权重w而作为深层学习算法60，储存在算法数据库105。再者，作为学习用的第1训练用图像的第1训练用图像70及第2训练用图像71设为由摄像装置400预先摄像，预先记载在处理部20B的记录部23或存储器22。解析对象的标本的解析对象图像78也设为由摄像装置400预先摄像，预先记录在处理部20B的记录部23或存储器22。
图像解析装置200B的处理部20B在深层学习处理时，进行图8中所示的处理，在图像解析处理时，进行图11中所示的处理。当使用图13中所示的各功能块而进行说明时，在深层学习处理时，步骤S11至S13、S18及S19的处理由训练数据生成部101进行。步骤S14的处理由训练数据输入部102进行。步骤S15至S17的处理由算法更新部103进行。在图像解析处理时，步骤S21及S22的处理由解析用数据生成部201进行。步骤S23、S24、S26及S27的处理由解析用数据输入部202进行。步骤S25及S28的处理由解析部203进行。步骤S29的处理由细胞核区域检测部204进行。
第2实施方式涉及的图像解析装置200B进行的深层学习处理的顺序及图像解析处理的顺序与第1实施方式涉及的深层学习装置100A及图像解析装置200A各自进行的顺序同样。再者，第2实施方式涉及的图像解析装置200B在以下的方面与第1实施方式涉及的深层学习装置100A及图像解析装置200A不同。
在深层学习处理时的步骤S13中，处理部20B通过输入部26而接受自图像解析装置200B的使用者的学习用的组织的类别的输入。处理部20B基于输入的组织的类别，参照窗尺寸数据库104而设定窗尺寸，参照算法数据库105而设定在学习中使用的神经网络50。
以上、图像解析装置200B的使用者通过向图像解析装置200B输入解析对象图像78，作为解析结果，可取得二值图像83。再者，图像解析装置200B的使用者作为解析结果，可取得细胞核区域强调图像84。
根据第2实施方式涉及的图像解析装置200B，使用者可以自身选择的种类的组织作为学习用的组织使用。这是指神经网络50的学习不委任供应商侧，使用者自身可提升神经网络50的学习的程度。
＜第3实施方式＞
以下，对于与第2实施方式涉及的图像解析系统相异的点而说明第3实施方式涉及的图像解析系统。
[构成的概要]
参照图14，则第3实施方式涉及的图像解析系统具备供应商侧装置100和使用者侧装置200。供应商侧装置100作为统合型的图像解析装置100B运行，使用者侧装置200作为终端装置200C运行。图像解析装置100B例如由通用计算机构成，是进行在第1实施方式中进行说明的深层学习处理及图像解析处理的两方的处理的云服务器侧的装置。终端装置200C例如由通用计算机构成，是通过网络99而向图像解析装置100B发送解析对象的图像，通过网络99而从图像解析装置100B接收解析结果的图像的使用者侧的终端装置。
第3实施方式涉及的图像解析系统在设置在供应商侧的统合型的图像解析装置100B担负第1实施方式涉及的深层学习装置100A及图像解析装置200A的两方的功能的点，与第2实施方式涉及的图像解析系统同样。一方面，第3实施方式涉及的图像解析系统具备终端装置200C，在将解析对象的图像的输入接口和解析结果的图像的输出接口提供于使用者侧的终端装置200C的点，与第2实施方式涉及的图像解析系统不同。即，第3实施方式涉及的图像解析系统是进行深层学习处理及图像解析处理的供应商侧将解析对象的图像及解析结果的图像的输入输出接口提供于使用者侧的云服务型的系统。
图像解析装置100B与摄像装置300连接，取得由摄像装置300摄像的学习用的组织的第1训练用图像70及第2训练用图像71。
终端装置200C与摄像装置400连接，取得由摄像装置400摄像的解析对象的组织的解析对象图像78。
[硬件构成]
图像解析装置100B的硬件构成与图5所示的供应商侧装置100的硬件构成同样。终端装置200C的硬件构成与图6所示的使用者侧装置200的硬件构成同样。
[功能块及处理顺序]
参照图15，则第3实施方式涉及的图像解析装置100B的处理部10B具备训练数据生成部101、训练数据输入部102、算法更新部103、解析用数据生成部201、解析用数据输入部202、解析部203和细胞核区域检测部204。这些功能块将使计算机执行深层学习处理及图像解析处理的程序安装到处理部10B的记录部13或存储器12，通过CPU11执行此程序来实现。窗尺寸数据库104和算法数据库105记录在处理部10B的记录部13或存储器12，均在深层学习时及图像解析处理时共同使用。神经网络50与组织的类别对应而预先储存在算法数据库105，由深层学习处理更新结合权重w而作为深层学习算法60，储存在算法数据库105。
再者，学习用的第1训练用图像70及第2训练用图像71设为由摄像装置300预先摄像，预先记载在处理部10B的记录部13或存储器12。解析对象的组织的解析对象图像78也设为由摄像装置400预先摄像，预先记录在终端装置200C的处理部20C的记录部23或存储器22。
图像解析装置100B的处理部10B在深层学习处理时，进行图8中所示的处理，在图像解析处理时，进行图11中所示的处理。当使用图15中所示的各功能块而进行说明时，在深层学习处理时，步骤S11至S13、S18及S19的处理由训练数据生成部101进行。步骤S14的处理由训练数据输入部102进行。步骤S15至S17的处理由算法更新部103进行。在图像解析处理时，步骤S21及S22的处理由解析用数据生成部201进行。步骤S23、S24、S26及S27的处理由解析用数据输入部202进行。步骤S25及S28的处理由解析部203进行。步骤S29的处理由细胞核区域检测部204进行。
第3实施方式涉及的图像解析装置100B进行的深层学习处理的顺序及图像解析处理的顺序与第1实施方式涉及的深层学习装置100A及图像解析装置200A各自进行的顺序同样。再者，第3实施方式涉及的图像解析装置100B在以下的4个方面与第1实施方式涉及的深层学习装置100A及图像解析装置200A不同。
在图11中所示的图像解析处理时的步骤S21中，处理部10B从使用者侧的终端装置200C接收解析对象的组织的解析对象图像78，从接收的解析对象图像78生成R、G、B各色的色浓度符号化图79r、79g、79b。色浓度符号化图79r、79g、79b的生成方法与图8所示的深层学习处理时的步骤S11中的生成方法同样。
在图11中所示的图像解析处理时的步骤S22中，处理部10B通过终端装置200C的输入部26而作为解析条件接受自终端装置200C的使用者的组织的类别的输入。处理部10B基于输入的组织的类别，参照窗尺寸数据库104及算法数据库105而设定在解析中使用的窗尺寸，取得在解析中使用的深层学习算法60。
在图像解析处理时的步骤S28中，处理部10B向使用者侧的终端装置200C发送解析结果的二值图像83。在使用者侧的终端装置200C中，处理部20C将接收的解析结果的二值图像83输出到输出部27。
在图像解析处理时的步骤S29中，处理部10B继步骤S28，对于解析结果的二值图像83而还进行细胞核的区域的检测处理。处理部10B通过将得到的细胞核的区域与解析对象的解析对象图像78重叠，制成细胞核区域强调图像84。处理部10B向使用者侧的终端装置200C发送制成的细胞核区域强调图像84。在使用者侧的终端装置200C中，处理部20C将接收的细胞核区域强调图像84输出到输出部27，结束图像解析处理。
以上、终端装置200C的使用者通过向图像解析装置100B发送解析对象的组织的解析对象图像78，作为解析结果，可取得二值图像83。再者，终端装置200C的使用者作为解析结果，可取得细胞核区域强调图像84。
根据第3实施方式涉及的图像解析装置100B，使用者不从深层学习装置100A取得窗尺寸数据库104及算法数据库105，可享受图像解析处理的结果。由此，作为对解析对象的组织进行解析的服务，可以判别细胞核的区域的服务作为云服务提供。
进行细胞学诊断的病理医的数全国性地不足。病理医在都市部的大医院中在籍，但在远隔地的医疗机关或即使是都市部但在诊所等的比较小规模的医疗机关中则几乎是不在籍的例。由图像解析装置100B及终端装置200C提供的云服务成为这样的远隔地或比较小规模的医疗机关中的组织学诊断或细胞学诊断的辅助。
＜其他形态＞
以上，将本发明由概要及特定的实施方式进行说明，但本发明不限于上述的概要及各实施方式。
在上述第1至第3实施方式中，以是胃癌的情况作为一例进行说明，但作为处理对象的标本不限于此，可使用前述的组织试样的标本或含细胞的试样的标本。
在上述第1至第3实施方式中，在步骤S13中，处理部10A、20B、10B参照窗尺寸数据库104而设定窗尺寸的像素数，但也可由操作者或使用者直接设定窗尺寸。此时，变得无需窗尺寸数据库104。
在上述第1至第3实施方式中，在步骤S13中，处理部10A、20B、10B基于输入的组织的类别而设定窗尺寸的像素数，但也可代替组织的类别的输入而输入组织的尺寸。处理部10A、20B、10B基于输入的组织的尺寸而参照窗尺寸数据库104而设定窗尺寸的像素数即可。在步骤S22中也与步骤S13同样，也可代替组织的类别的输入而输入组织的尺寸。处理部20A、20B、10B基于输入的组织的尺寸而参照窗尺寸数据库104及算法数据库105而设定窗尺寸的像素数，取得神经网络60即可。
对于输入组织的尺寸的实施方式，可为以尺寸作为数值直接输入，也可为例如以输入的用户界面作为下拉菜单，使使用者选择对应于使用者要输入的尺寸的指定的数值范围而进行输入。
另外，在步骤S13及步骤S22中，除了组织的类别或组织的尺寸之外，也可输入对组织的第1训练用图像70、解析对象图像78及第2训练用图像71进行摄像时的摄像倍率。对于输入摄像倍率的实施方式，可为以倍率作为数值直接输入，也可为例如以输入的用户界面作为下拉菜单，使使用者选择对应于使用者要输入的倍率的指定的数值范围而进行输入。
在上述第1至第3实施方式中，在深层学习处理时及图像解析处理时，为了说明的便利而将窗尺寸设定为3×3像素，但窗尺寸的像素数不限于此。窗尺寸也可对应于例如组织试样的类别、含细胞的试样的类别而设定。此时，窗尺寸的像素数和图像中所含的色彩的原色的数的积对应于神经网络50、60的输入层50a、60a的节点数即可。
在步骤S13中，处理部10A、20B、10B取得窗尺寸的像素数，再者，也可将取得的窗尺寸的像素数基于输入的摄像倍率而进行修正。
在上述第1至第3实施方式中，在步骤S17中，处理部10A、20B、10B将深层学习算法60与组织的类别一对一对应而记录在算法数据库105。代替其而在步骤S17中，处理部10A、20B、10B也可在1个深层学习算法60对应多个组织的类别而记录在算法数据库105。
在上述第1至第3实施方式中，色相以光的3原色的组合，或者色的3原色的组合规定，但色相的数不限于3个。色相的数可设为向红(R)，绿(G)，蓝(B)加黄(Y)的4原色，也可设为从红(R)，绿(G)，蓝(B)的3原色减任一种的色相的2原色。或者，也可设为红(R)，绿(G)，蓝(B)的3原色之仅任1个(例如绿(G))的1原色。例如，使用公知的显微镜或虚拟切片扫描仪等而取得的明场图像70及解析对象图像78也不限于红(R)，绿(G)，蓝(B)的3原色的彩色图像，也可为2原色的彩色图像，只要是含1个以上的原色的图像即可。
在上述第1至第3实施方式中，在步骤S11中，处理部10A、20B、10B以色浓度符号化图72r、72g、72b作为各原色的3色阶的单一色图像生成，但色浓度符号化图72r、72g、72b的原色的色阶不限制于3色阶。色浓度符号化图72r、72g、72b的色阶也可为2色阶的图像，只要是1色阶以上的图像即可。同样地，在步骤S21中，处理部20A、20B、10B作为每个色浓度符号化图79r、79g、79b各原色的单一色图像生成，但制成色浓度符号化图时的原色不限制于3色阶。制成色浓度符号化图时的原色也可为2色阶的图像，只要是1色阶以上的图像即可。例示性地，可以色浓度符号化图72r、72g、72b、79r、79g、79b的色阶作为色浓度值是值0至值255的256阶段(8色阶)。
在上述第1至第3实施方式中，在步骤S11中，处理部10A、20B、10B从输入的第1训练用图像70生成R、G、B各色的色浓度符号化图72r、72g、72b，但输入的第1训练用图像70也可预先色阶化。即，处理部10A、20B、10B也可例如从虚拟切片扫描仪等直接取得R、G、B各色的色浓度符号化图72r、72g、72b。同样地，在步骤S21中，处理部20A、20B、10B从输入的解析对象图像78生成R、G、B各色的色浓度符号化图79r、79g、79b，但输入的解析对象图像78也可预先色阶化。即，处理部20A、20B、10B也可例如从虚拟切片扫描仪等直接取得R、G、B各色的色浓度符号化图79r、79g、79b。
在上述第1至第3实施方式中，在从颜色的第1训练用图像70、78生成色浓度符号化图72、79时的颜色空间中使用RGB，但颜色空间不限制于RGB。除了RGB之外，还可使用YUV、CMY、及CIE L*a*b*等的各种颜色空间。
在上述第1至第3实施方式中，在训练数据74及解析用数据80中，对于各像素而浓度值以红(R)，绿(G)，蓝(B)的顺序储存，但储存及处理浓度值的顺序不限于此。例如浓度值也可以蓝(B)，绿(G)，红(R)的顺序储存，只要是训练数据74中的浓度值的排序和解析用数据80中的浓度值的排序相同即可。
在上述第1至第3实施方式中，在步骤S12中，处理部10A、20B、10B使输入的第2训练用图像71的各像素的色阶二值化而生成真值像73，但也可取得预先二值化的真值像73。
在上述第1至第3实施方式中，处理部10A、10B作为一体的装置实现，但处理部10A、10B没必要是一体的装置，CPU11、存储器12、记录部13、GPU19等也可配置在别所而这些经网络连接。对于处理部10A、10B，输入部16和输出部17也无必然配置在一处的必要，也可各自配置在别所而互相经网络能通信地连接。对于处理部20A、20B、20C也与处理部10A、10B同样。
在上述第1至第3实施方式中，训练数据生成部101、训练数据输入部102、算法更新部103、解析用数据生成部201、解析用数据输入部202、解析部203及细胞核区域检测部204的各功能块在单一的CPU11或单一的CPU21中执行，但这些各功能块无必然在单一的CPU中执行的必要，也可由多个CPU分散执行。另外，这些各功能块可为由多个GPU分散执行，也可为由多个CPU和多个GPU分散执行。
在上述第2及第3实施方式中，将用于进行在图8及图11中说明的各步骤的处理的程序预先记录在记录部13、23。代替其而程序也可从例如DVD-ROM或USB存储器等的计算机能读取且非暂时性的有形的记录介质98安装到处理部10B、20B。或者，也可将处理部10B、20B与网络99连接，经网络99而例如从外部的服务器(未图示)下载程序而安装。
在上述第1至第3实施方式中，输入部16、26是键盘或鼠标等的输入装置，输出部17、27作为液晶显示等的显示装置实现。也可代替其而使输入部16、26和输出部17、27一体化而作为触控面板式的显示装置实现。或者，也可输出部17、27由打印机等构成，打印解析结果的二值图像83或细胞核的细胞核区域强调图像84而输出。
在上述第1至第3实施方式中，摄像装置300与深层学习装置100A或图像解析装置100B直接连接，但摄像装置300也可经网络99而与深层学习装置100A或图像解析装置100B连接。对于摄像装置400也同样，摄像装置400与图像解析装置200A或图像解析装置200B直接连接，但摄像装置400也可经网络99而与图像解析装置200A或图像解析装置200B连接。
＜实施例＞
接下来示本发明的实施例，这使得本发明的特征更明确。
【实施例1】
由上述第2实施方式所示的独立型的系统进行深层学习处理及图像解析处理。作为学习及解析的对象的组织作为胃癌组织。解析处理以2个不同的胃癌组织标本作为对象而进行。
[训练数据的制成及学习]
将HE染色的胃癌组织的明场图像及DAPI染色的胃癌组织的荧光图像的全切片像(WSI)使用虚拟切片扫描仪而进行颜色摄像。摄像倍率是40倍。其后，基于明场图像而使R、G、B各色的色浓度值色阶化而制成R、G、B各色的色浓度符号化图。另外，基于DAPI染色的荧光图像，使用预先设定的阈值而将色浓度值二值化为细胞核的区域和其以外的区域而制成二值化图像。由摄像得到的明场图像及荧光图像各自示于图16的(a)及(b)，从荧光图像制成的二值化图像示于图16的(c)。
其后，组合色浓度符号化图和二值化图像而制成训练数据。将制成的训练数据分割为113×113像素的窗尺寸，以分割的窗尺寸的训练数据作为输入层，使神经网络学习。作为窗尺寸采用的113×113像素，例示性地，是支持2个至9个程度的多个细胞之中，至少1个细胞的细胞核区域的整体形状含在窗内的尺寸。
[解析对象图像的制成]
与训练数据同样地，将HE染色的胃癌组织的明场图像的全切片像使用虚拟切片扫描仪而进行颜色摄像。摄像倍率是40倍。其后，基于摄像的明场图像而制成R、G、B各色的色浓度符号化图，组合制成的R、G、B各色的色浓度符号化图而制成解析对象图像。
[解析结果]
以解析对象图像的各像素作为中心而制成113×113像素的窗尺寸的解析用数据，向学习完了的神经网络输入制成的窗尺寸的解析用数据。基于从神经网络输出的解析结果，分类为细胞核的区域和其以外的区域，将细胞核的区域的轮廓用白色包围。解析结果示于图17及图18。
图17是第1胃癌组织标本图像的解析结果。图17的(a)是对胃癌组织进行HE染色而进行摄像的明场图像，图17的(b)是将由解析处理得到的细胞核的区域的轮廓与(a)的明场图像重叠显示的图像。在图17的(b)中被白色包围的区域是细胞核的区域。
图18是第2胃癌组织标本图像的解析结果。图18的(a)是对胃癌组织进行HE染色而进行摄像的明场图像，图18的(b)是将由解析处理得到的细胞核的区域的轮廓与(a)的明场图像重叠显示的图像。在图18的(b)中被白色包围的区域是细胞核的区域。
如图17及图18所示，可在不同的2种病理组织图像的任意的位置判断细胞核的区域与否。细胞核的区域判断的正答率是85％以上。
【实施例2】
对于押印胃组织的细胞而实施Papanicolaou染色，制成标本。对于此标本而使用学习完了的神经网络进行与上述的实施例1同样的解析处理。细胞的押印以胃癌部和非胃癌部作为对象而进行。解析结果示于图19及图20。
图19是胃癌部的押印标本的解析结果。图19的(a)是对胃癌部的押印标本进行染色而进行摄像的明场图像，图19的(b)是将由解析处理得到的细胞核的区域的轮廓与(a)的明场图像重叠显示的图像。在图19的(b)中被白色包围的区域是细胞核的区域。
图20是非胃癌部的押印标本的解析结果。图20的(a)是对非胃癌部的押印标本进行染色而进行摄像的明场图像，图20的(b)是将由解析处理得到的细胞核的区域的轮廓与(a)的明场图像重叠显示的图像。在图20的(b)中被白色包围的区域是细胞核的区域。
如图19及图20所示，可在与上述的实施例1染色实施方式不同的押印标本的任意的位置判断细胞核的区域与否。
【符号的说明】
10(10A、10B)：处理部
20(20A、20B、20C)：处理部
11、21：CPU
12、22：存储器
13、23：记录部
14、24：总线
15、25：接口部
16、26：输入部
17、27：输出部
19、29：GPU
50：神经网络(深层学习算法)
50a：输入层
50b：输出层
50c：中间层
60：学习完了的神经网络(学习完了的深层学习算法)
60a：输入层
60b：输出层
60c：中间层
70：学习用的明场图像(第1训练用图像)
71：学习用的荧光图像(第2训练用图像)
72r、72g、72b：在学习用的明场图像的R、G、B各色的单一色图像中的色浓度符号化图(第1训练数据)
73：学习用的真值像(二值化图像、第2训练数据)
74：训练数据
74a：明场图像的色阶化的色浓度值
74b：真值像的二值数据
75：窗尺寸的训练数据
76：色浓度值
77：真值像的二值数据
78：解析对象的明场图像
79r、79g、79b：在解析对象的明场图像的R、G、B各色的单一图像中的色浓度符号化图
80：解析用数据
81：色浓度值
82：判别结果(像素的推定值)
83：解析结果的二值图像
84：细胞核区域强调图像
89(89a、89b)：节点
98：记录介质
99：网络
100：供应商侧装置
100A：深层学习装置
100B：统合型的图像解析装置
101：训练数据生成部
102：训练数据输入部
103：算法更新部
104：窗尺寸数据库
105：算法数据库
200：使用者侧装置
200A：图像解析装置
200B：统合型的图像解析装置
200C：终端装置
201：解析用数据生成部
202：解析用数据输入部
203：解析部
204：细胞核区域检测部
300、400：摄像装置
301、401：摄像元件
302、402：荧光显微镜
308、408：试样组织
309、409：镜台
W1：窗
W2：窗

Claims (26)

1.使用神经网络结构的深层学习算法解析组织或细胞的图像的图像解析方法，其包括：
从含解析对象的组织或细胞的解析对象图像生成解析用数据，
向上述深层学习算法输入上述解析用数据，
由上述深层学习算法使用训练数据进行训练而生成上述解析对象图像中的显示细胞核的区域的数据，
其中在上述深层学习算法的学习中使用的训练数据包括第1训练数据和第2训练数据，其中
上述第1训练数据基于明场图像生成，所述明场图像是将对于从个体采集的组织试样的标本或从个体采集的含细胞的试样的标本实施明场观察用染色而调制的标本的染色像在显微镜的明场下摄像的明场图像，且
上述第2训练数据基于荧光图像生成，所述荧光图像是作为将对应于上述标本的或者对相同的标本实施荧光核染色而调制的标本的染色像在荧光显微镜的荧光观察下摄像的细胞核的荧光图像，是在上述荧光图像的标本内的位置对应于取得的上述明场图像的标本内的位置的荧光图像，上述第2训练数据通过将荧光核染色的标本的图像的各像素的色浓度与色浓度的阈值比较并二值化而得到。
2.权利要求1的图像解析方法，其中
上述解析对象图像是组织学诊断用标本的图像，
上述解析对象图像含由1个原色构成的色相，或含组合2个以上的原色的色相。
3.权利要求1的图像解析方法，其中
上述解析对象图像是细胞学诊断用标本的图像，
上述解析对象图像含由1个原色构成的色相，或含组合2个以上的原色的色相。
4.权利要求1的图像解析方法，其中上述显示细胞核的区域的数据是用于区别提示细胞核的区域和其以外的区域的数据。
5.权利要求1的图像解析方法，其中上述显示细胞核的区域的数据是显示细胞核的区域和其以外的区域的边界的数据。
6.权利要求1的图像解析方法，其中上述深层学习算法判断上述解析对象图像内的任意的位置是细胞核的区域与否。
7.权利要求2或3的图像解析方法，其中对于1个解析对象图像而针对每个指定像素数的区域生成多个上述解析用数据。
8.权利要求7的图像解析方法，其中
上述解析用数据针对每个以指定的像素作为中心而含周边的像素的上述指定像素数的区域而生成，
上述深层学习算法对于输入的上述解析用数据对于上述指定像素生成显示细胞核的区域与否的标签。
9.权利要求7的图像解析方法，其中上述神经网络结构的输入层的节点数对应于上述解析用数据的上述指定像素数和组合的原色的数的积。
10.权利要求2的图像解析方法，其中
上述标本是被染色的标本，
上述解析对象图像是将上述被染色的标本在显微镜的明场下摄像的图像。
11.权利要求1的图像解析方法，其中上述明场观察用染色在核染色中使用苏木精。
12.权利要求11的图像解析方法，其中
当上述标本是组织试样的标本时，上述明场观察用染色是苏木精－曙红染色，
当上述标本是含细胞的试样的标本时，上述明场观察用染色是Papanicolaou染色。
13.权利要求1的图像解析方法，其中上述训练数据含显示从上述明场图像及上述荧光图像提取的细胞核的区域的标签值。
14.权利要求13的图像解析方法，其中上述训练数据针对每个上述明场图像的像素含上述标签值。
15.权利要求1的图像解析方法，其中上述训练数据针对每个在上述明场图像中的指定像素数的区域而生成。
16.权利要求1的图像解析方法，其中上述深层学习算法将上述解析用数据分类为显示上述解析对象图像中所含的细胞核的区域的类。
17.权利要求1的图像解析方法，其中上述神经网络结构的输出层是以Soft Max函数作为活化函数的节点。
18.权利要求1的图像解析方法，其中上述深层学习算法在每次输入上述解析用数据时，针对每个单位像素生成显示是上述解析对象图像中所含的细胞核的区域与否的数据。
19.权利要求1的图像解析方法，其中上述深层学习算法对应于上述组织试样的种类或含细胞的试样的种类而生成。
20.权利要求19的图像解析方法，其中还使用对应于上述组织试样的种类或含细胞的试样的种类而从多个上述深层学习算法之中选择的对应于上述试样的种类的上述深层学习算法而处理上述解析用数据。
21.使用神经网络结构的深层学习算法解析组织或细胞的图像的图像解析装置，其具备实施下列步骤的处理部：
从含解析对象的组织或细胞的解析对象图像生成解析用数据，
向上述深层学习算法输入上述解析用数据，
由上述深层学习算法使用训练数据进行训练而生成显示上述解析对象图像中的细胞核的区域的数据，
其中在上述深层学习算法的学习中使用的训练数据包括第1训练数据和第2训练数据，其中
上述第1训练数据基于明场图像生成，所述明场图像是将对于从个体采集的组织试样的标本或从个体采集的含细胞的试样的标本实施明场观察用染色而调制的标本的染色像在显微镜的明场下摄像的明场图像，且
上述第2训练数据基于荧光图像生成，所述荧光图像是作为将对应于上述标本的或者对相同的标本实施荧光核染色而调制的标本的染色像在荧光显微镜的荧光观察下摄像的细胞核的荧光图像，是在上述荧光图像的标本内的位置对应于取得的上述明场图像的标本内的位置的荧光图像，上述第2训练数据通过将荧光核染色的标本的图像的各像素的色浓度与色浓度的阈值比较并二值化而得到。
22.使用神经网络结构的深层学习算法解析组织或细胞的图像的计算机程序的记录介质，其中上述计算机程序使计算机执行下列处理：
从含解析对象的组织或细胞的解析对象图像生成解析用数据的处理，
向上述深层学习算法输入上述解析用数据的处理，及
由上述深层学习算法使用训练数据进行训练而生成显示上述解析对象图像中的细胞核的区域的数据的处理，
其中在上述深层学习算法的学习中使用的训练数据包括第1训练数据和第2训练数据，其中
上述第1训练数据基于明场图像生成，所述明场图像是将对于从个体采集的组织试样的标本或从个体采集的含细胞的试样的标本实施明场观察用染色而调制的标本的染色像在显微镜的明场下摄像的明场图像，且
上述第2训练数据基于荧光图像生成，所述荧光图像是作为将对应于上述标本的或者对相同的标本实施荧光核染色而调制的标本的染色像在荧光显微镜的荧光观察下摄像的细胞核的荧光图像，是在上述荧光图像的标本内的位置对应于取得的上述明场图像的标本内的位置的荧光图像，上述第2训练数据通过将荧光核染色的标本的图像的各像素的色浓度与色浓度的阈值比较并二值化而得到。
23.学习完了的深层学习算法的制造方法，其包括：
第1取得步骤，其取得对应于对组织或细胞进行摄像的第1训练用图像的第1训练数据，
第2取得步骤，其取得对应于显示上述第1训练用图像中的细胞核的区域的第2训练用图像的第2训练数据，及
学习步骤，其使神经网络学习上述第1训练数据和上述第2训练数据的关系，其中
上述第1训练数据基于明场图像生成，所述明场图像是将对于从个体采集的组织试样的标本或从个体采集的含细胞的试样的标本实施明场观察用染色而调制的标本的染色像在显微镜的明场下摄像的明场图像，且
上述第2训练数据基于荧光图像生成，所述荧光图像是作为将对应于上述标本的或者对相同的标本实施荧光核染色而调制的标本的染色像在荧光显微镜的荧光观察下摄像的细胞核的荧光图像，是在上述荧光图像的标本内的位置对应于取得的上述明场图像的标本内的位置的荧光图像，上述第2训练数据通过将荧光核染色的标本的图像的各像素的色浓度与色浓度的阈值比较并二值化而得到。
24.权利要求23的学习完了的深层学习算法的制造方法，其中
以上述第1训练数据作为神经网络的输入层，
以上述第2训练数据作为神经网络的输出层。
25.权利要求23的学习完了的深层学习算法的制造方法，其中
在上述第1取得步骤之前，还含从第1训练用图像生成上述第1训练数据的步骤，
在上述第2取得步骤之前，还含从第2训练用图像生成上述第2训练数据的步骤。
26.学习完了的深层学习算法，其为
以第1训练数据作为神经网络的输入层，
以第2训练数据作为神经网络的输出层
而使学习的深层学习算法，其中
上述第1训练数据基于明场图像生成，所述明场图像是将对于从个体采集的组织试样的标本或从个体采集的含细胞的试样的标本实施明场观察用染色而调制的标本的染色像在显微镜的明场下摄像的明场图像，且
上述第2训练数据基于荧光图像生成，所述荧光图像是作为将对应于上述标本的或者对相同的标本实施荧光核染色而调制的标本的染色像在荧光显微镜的荧光观察下摄像的细胞核的荧光图像，是在上述荧光图像的标本内的位置对应于取得的上述明场图像的标本内的位置的荧光图像，上述第2训练数据通过将荧光核染色的标本的图像的各像素的色浓度与色浓度的阈值比较并二值化而得到。
CN201811362790.2A 2017-11-17 2018-11-16 图像解析方法、装置及学习完了深层学习算法的制造方法 Active CN109871735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410217329.7A CN117975453A (zh) 2017-11-17 2018-11-16 图像解析方法、装置、程序及学习完了深层学习算法的制造方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017222178A JP7198577B2 (ja) 2017-11-17 2017-11-17 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法
JP2017-222178 2017-11-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410217329.7A Division CN117975453A (zh) 2017-11-17 2018-11-16 图像解析方法、装置、程序及学习完了深层学习算法的制造方法

Publications (2)

Publication Number Publication Date
CN109871735A CN109871735A (zh) 2019-06-11
CN109871735B true CN109871735B (zh) 2024-03-15

Family

ID=64331746

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811362790.2A Active CN109871735B (zh) 2017-11-17 2018-11-16 图像解析方法、装置及学习完了深层学习算法的制造方法
CN202410217329.7A Pending CN117975453A (zh) 2017-11-17 2018-11-16 图像解析方法、装置、程序及学习完了深层学习算法的制造方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410217329.7A Pending CN117975453A (zh) 2017-11-17 2018-11-16 图像解析方法、装置、程序及学习完了深层学习算法的制造方法

Country Status (4)

Country Link
US (3) US11074692B2 (zh)
EP (1) EP3486836B1 (zh)
JP (3) JP7198577B2 (zh)
CN (2) CN109871735B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7198577B2 (ja) * 2017-11-17 2023-01-04 シスメックス株式会社 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法
US11621058B2 (en) 2018-02-08 2023-04-04 Ohio State Innovation Foundation Synthetic IHC-stained digital sides generated using artificial neural networks
CN115684569A (zh) * 2018-02-15 2023-02-03 国立大学法人新潟大学 超突变型癌的判别系统、程序及方法
JP7137935B2 (ja) * 2018-02-27 2022-09-15 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
GB2576191B (en) * 2018-08-08 2022-11-16 Sphere Fluidics Ltd Droplet processing methods and systems
EP3608701A1 (de) * 2018-08-09 2020-02-12 Olympus Soft Imaging Solutions GmbH Verfahren zur bereitstellung wenigstens einer auswertemethode für proben
WO2020129176A1 (ja) * 2018-12-19 2020-06-25 株式会社日立国際電気 画像処理システム、画像処理方法および画像処理プログラム
US11410303B2 (en) 2019-04-11 2022-08-09 Agilent Technologies Inc. Deep learning based instance segmentation via multiple regression layers
US11294391B2 (en) * 2019-05-28 2022-04-05 Pixart Imaging Inc. Moving robot with improved identification accuracy of step distance
KR102091832B1 (ko) * 2019-08-05 2020-03-20 주식회사 에프앤디파트너스 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치
EP4018365A1 (en) 2019-08-23 2022-06-29 Memorial Sloan Kettering Cancer Center Identifying regions of interest from whole slide images
JP7445672B2 (ja) * 2019-09-02 2024-03-07 合同会社Ｈ．Ｕ．グループ中央研究所 ゲート領域推定プログラム、ゲート領域推定装置、学習モデルの生成方法
KR102449534B1 (ko) * 2019-09-18 2022-09-30 김광수 지능형 세포 관리 시스템
JP7530709B2 (ja) * 2019-10-11 2024-08-08 株式会社島津製作所 細胞画像解析方法及び細胞解析装置
JP7475848B2 (ja) * 2019-11-29 2024-04-30 シスメックス株式会社 細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム、並びに訓練された人工知能アルゴリズムの生成方法、生成装置、及び生成プログラム
JP7545202B2 (ja) 2019-11-29 2024-09-04 シスメックス株式会社 細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム
CN111178229B (zh) * 2019-12-26 2023-04-28 南京航空航天大学 一种基于深度学习的静脉显像方法和装置
CN111325220B (zh) * 2020-02-17 2023-04-07 腾讯科技（深圳）有限公司 图像生成方法、装置、设备及存储介质
WO2021215069A1 (ja) * 2020-04-21 2021-10-28 株式会社島津製作所 細胞画像解析装置
CN111739010B (zh) 2020-06-23 2022-06-24 珠海圣美生物诊断技术有限公司 一种检测循环异常细胞的方法及装置
TWI838592B (zh) * 2020-11-06 2024-04-11 廣達電腦股份有限公司 圈選系統
CN112613505B (zh) * 2020-12-18 2024-08-09 合肥码鑫生物科技有限公司 一种基于深度学习的细胞微核识别、定位和计数方法
CN112750493B (zh) * 2020-12-22 2024-05-03 深思考人工智能机器人科技（北京）有限公司 基于巴氏染色方式的dna倍体定量分析方法及系统
CN113487572A (zh) * 2021-07-07 2021-10-08 中国人民解放军总医院第一医学中心 基于同源多窗技术的医学图像深度学习方法和装置
CN114463249B (zh) * 2021-11-24 2024-04-05 杭州医派智能科技有限公司 一种基于深度学习的用于评估肾小球周围组织纤维化的辅助方法、计算机设备
CN116012838B (zh) * 2022-12-30 2023-11-07 创芯国际生物科技(广州)有限公司 基于人工智能的类器官活性识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020585A (zh) * 2012-11-06 2013-04-03 华南师范大学 一种免疫组织阳性细胞和阴性细胞识别方法
JP2014142348A (ja) * 2011-09-09 2014-08-07 Konica Minolta Inc 生体物質検出用の蛍光標識体
CN106570505A (zh) * 2016-11-01 2017-04-19 北京昆仑医云科技有限公司 对组织病理图像进行分析的方法和系统
CN107256558A (zh) * 2017-05-18 2017-10-17 深思考人工智能机器人科技（北京）有限公司 一种无监督式的宫颈细胞图像自动分割方法及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0211068D0 (en) 2002-05-14 2002-06-26 Amersham Biosciences Uk Ltd Method for assessing biofilms
US9070006B2 (en) * 2006-12-19 2015-06-30 Hologic, Inc. Method and system for processing an image of a biological specimen
JP5321145B2 (ja) 2009-03-04 2013-10-23 日本電気株式会社 画像診断支援装置、画像診断支援方法、画像診断支援プログラム、及びその記憶媒体
JP5295906B2 (ja) * 2009-08-03 2013-09-18 花王株式会社 毛髪特性データの取得方法
JP5140780B2 (ja) * 2010-12-28 2013-02-13 エスシーワールド株式会社 血液中の標的細胞の検査方法、標的細胞検索装置、及びバイオチップ
US20150132766A1 (en) * 2012-03-30 2015-05-14 On-Chip Cellomics Consortium Imaging cell sorter
AU2015261891A1 (en) * 2014-05-23 2016-10-13 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images
US10839510B2 (en) * 2015-08-19 2020-11-17 Colorado Seminary, Which Owns And Operates The University Of Denver Methods and systems for human tissue analysis using shearlet transforms
WO2017189758A1 (en) * 2016-04-26 2017-11-02 Ascend Hit Llc System and methods for medical image analysis and reporting
WO2018015414A1 (en) * 2016-07-21 2018-01-25 Siemens Healthcare Gmbh Method and system for artificial intelligence based medical image segmentation
WO2018091486A1 (en) * 2016-11-16 2018-05-24 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
US10573003B2 (en) * 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
CA3053368A1 (en) * 2017-02-14 2018-08-23 Dignity Health Systems, methods, and media for selectively presenting images captured by confocal laser endomicroscopy
CN107679490B (zh) * 2017-09-29 2019-06-28 百度在线网络技术（北京）有限公司 用于检测图像质量的方法和装置
JP7076698B2 (ja) * 2017-11-17 2022-05-30 国立研究開発法人国立がん研究センター 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
JP7198577B2 (ja) * 2017-11-17 2023-01-04 シスメックス株式会社 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法
JP6983704B2 (ja) * 2018-03-19 2021-12-17 株式会社ミツトヨ 計測用ｘ線ｃｔの測定計画生成方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014142348A (ja) * 2011-09-09 2014-08-07 Konica Minolta Inc 生体物質検出用の蛍光標識体
CN103020585A (zh) * 2012-11-06 2013-04-03 华南师范大学 一种免疫组织阳性细胞和阴性细胞识别方法
CN106570505A (zh) * 2016-11-01 2017-04-19 北京昆仑医云科技有限公司 对组织病理图像进行分析的方法和系统
CN107256558A (zh) * 2017-05-18 2017-10-17 深思考人工智能机器人科技（北京）有限公司 一种无监督式的宫颈细胞图像自动分割方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Fuyong Xing，et al.An Automatic Learning-based Framework for Robust Nucleus Segmentation.《IEEE Transactions on Medical Imaging》.2015,第35卷(第2期),第550-566页. *

Also Published As

Publication number Publication date
US11074692B2 (en) 2021-07-27
US11842556B2 (en) 2023-12-12
US20190156481A1 (en) 2019-05-23
EP3486836A1 (en) 2019-05-22
JP2024079743A (ja) 2024-06-11
US20210312627A1 (en) 2021-10-07
EP3486836B1 (en) 2024-01-10
CN109871735A (zh) 2019-06-11
JP2022180419A (ja) 2022-12-06
CN117975453A (zh) 2024-05-03
JP7198577B2 (ja) 2023-01-04
JP2019095853A (ja) 2019-06-20
JP7496389B2 (ja) 2024-06-06
US20230419696A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
CN109871735B (zh) 图像解析方法、装置及学习完了深层学习算法的制造方法
JP7076698B2 (ja) 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
JP7458519B2 (ja) 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
EP3531339B1 (en) Image analysis method, image analysis apparatus and learned deep layer learning algorithm manufacturing method
JP6791245B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5822425B2 (ja) 顕微鏡像用に試料を染色する方法
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
US20040014165A1 (en) System and automated and remote histological analysis and new drug assessment
WO2019171909A1 (ja) 画像処理方法、画像処理装置及びプログラム
US11222194B2 (en) Automated system and method for creating and executing a scoring guide to assist in the analysis of tissue specimen

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant