CN110197714A

CN110197714A - 图像解析方法、装置、学习后的深度学习算法的生成方法

Info

Publication number: CN110197714A
Application number: CN201910123428.8A
Authority: CN
Inventors: 山田浩平; 袴田和巳; 相原祐希; 增本佳那子; 关口阳介; 克鲁巴利·珍
Original assignee: Sysmex Corp
Current assignee: Sysmex Corp
Priority date: 2018-02-27
Filing date: 2019-02-18
Publication date: 2019-09-03
Anticipated expiration: 2039-02-18
Also published as: JP7137935B2; US20190266486A1; US11276000B2; EP3531339A1; EP3531339B1; JP2019148950A; CN110197714B

Abstract

本发明的课题在于代替病理医师而基于固定的判断基准评价构成组织的层结构。本发明使用神经网络结构的深度学习算法（60），通过解析采自被检物的组织的图像的图像解析方法解决该课题。图像解析方法包括：从包括解析对象组织的解析对象图像（78）生成解析用数据（80），将解析用数据（80）输入深度学习算法（60），通过所述深度学习算法生成表示解析对象图像（78）中的构成组织的层结构的数据。

Description

图像解析方法、装置、学习后的深度学习算法的生成方法

技术领域

本发明涉及图像解析方法、图像解析装置、程序、已完成学习的深度学习算法的生成方法及已完成学习的深度学习算法。更具体而言，本发明涉及用于生成表示组织图像中构成组织的层结构的数据的图像解析方法、图像解析装置、程序、已完成学习的深度学习算法的生成方法及已完成学习的深度学习算法。

背景技术

医疗现场对采自被检物的组织进行诊断。例如，作为在临床定量评价并分类胃炎的方法有使用悉尼系统（非专利文献1）。为定量评价胃炎的严重程度，悉尼系统使用幽门螺杆菌量、中性粒细胞浸润、慢性炎症的程度、腺体的萎缩、肠上皮化生作为指标。

现有技术文献

非专利文献

非专利文献1 D A F Lynch, J Clin Pathol 1999;52:367-371。

发明内容

发明要解决的技术问题

腺体等的上皮细胞层的萎缩、肥大的现象不仅在胃，还会在各种组织伴随炎症等而出现。上皮细胞层的评价一般为用在内视镜检查中采集的活检标本制成石蜡包埋切片，病理医师观察施以苏木精・伊红染色的病理组织标本。

但是，通过显微镜的目视检查来评价萎缩的程度是用肉眼观察进行的评价，有时病理医师不同或病理医师的熟练程度不同而使得评价不能保持一致，从而很难做出有再现性的评价。

本发明目的在于提供一种能基于固定的判断基准对构成组织的层结构进行评价的图像解析方法、图像解析装置、程序、已完成学习的深度学习算法的生成方法及已完成学习的深度学习算法。

解决技术问题的技术手段

本发明的一实施方式涉及使用神经网络结构的深度学习算法（60）解析采自被检物的组织的图像的图像解析方法。图像解析方法包括：从包括解析对象组织的解析对象图像（78）生成解析用数据（80），将解析用数据（80）输入深度学习算法（60），通过所述深度学习算法生成表示解析对象图像（78）中的构成组织的层结构的数据。通过本实施方式能使用深度学习算法这种固定的判断基准判别构成组织的层结构，并能进行定量评价。由此，能抑制由病理医师的熟练程度等导致的不能保持一致的情况并进行有再现性的评价。

在所述实施方式中，解析对象图像（78）为组织诊断用标本被染色的明视场图像，优选为解析对象组织的被染色的明视场图像。通过一实施方式能帮助组织诊断。

在所述实施方式中，通过深度学习算法（60）生成表示所述解析对象组织中的至少一种层结构的核区域的数据。

在所述实施方式中，所述层结构包括从上皮细胞层、内皮细胞层、结缔组织层及肌层中选择的至少一者。

在所述实施方式中，所述组织采自胃、小肠或大肠，所述层结构包括从黏膜上皮细胞层、黏膜固有层、黏膜肌层、黏膜下层、固有肌层及浆膜层中选择的至少一者。通过该实施方式能判别构成消化道组织的层结构。

在所述实施方式中，所述组织采自气管或支气管，所述层结构包括从黏膜上皮细胞层、黏膜固有层、平滑肌层、黏膜下层及外膜层中选择的至少一者。通过该实施方式能判别构成呼吸系统组织的层结构。

在所述实施方式中，所述组织采自子宫体部，所述层结构包括从黏膜上皮细胞层、黏膜固有层、肌层及外膜层中选择的至少一者。通过该实施方式能判别构成子宫体部的组织的层结构。

在所述实施方式中，所述组织采自胆囊，所述层结构包括从黏膜上皮细胞层、黏膜固有层、肌层及浆膜层中选择的至少一者。通过该实施方式能判别构成胆囊组织的层结构。

在所述实施方式中，所述组织是采自胃、小肠、大肠及子宫以外的组织的腺组织，所述层结构包括从腺上皮细胞层、肌层及结缔组织层中选择的至少一者。通过该实施方式能判别构成胃、小肠、大肠及子宫以外的组织的层结构。

在所述实施方式中，所述组织为心脏，所述层结构包括从心内膜层、心肌层、心外膜层及心外膜下组织中选择的至少一者。通过该实施方式能判别构成心脏的组织的层结构。

在所述实施方式中，所述组织为血管，所述层结构包括从内皮细胞层及肌层中选择的至少一者。通过该实施方式能判别构成血管的组织的层结构。

在所述实施方式中，表示构成所述组织的层结构的数据是用于分别区分并展示构成组织的数个层的类别的数据。通过该实施方式用户能一眼掌握构成解析对象组织的层结构。

在所述实施方式中，在1个解析对象图像（78）中，针对一定像素数的每个区域生成数个解析用数据（80）。另外，所述深度学习算法根据输入的所述解析用数据赋予每个像素表示层结构的标签值。通过该实施方式能针对解析对象图像（78）的数处展示层结构的构成。

在所述实施方式中，使用于深度学习算法（50）的学习的训练数据从下述图像生成：训练用的明视场图像（70R1、70R2、70R3），在显微镜的明视场下拍摄对采自被检物的组织施以明视场观察用染色制作的标本的染色像而成；训练用荧光图像，在荧光显微镜的荧光观察下拍摄与所述标本相对应的标本或对同一标本施以荧光核染色所制作的标本的染色像而成的细胞核的荧光图像（71R1、71R2、71R3），所述荧光图像在标本内的位置与所述获取的明视场图像在标本内的位置相对应。通过该实施方式能使深度学习算法（50）学习解析对象图像（78）的核区域。

在所述实施方式中，所述训练数据使所述训练用的明视场图像的每个像素包括表示所述层结构的标签值。通过该实施方式能针对解析对象图像（78）的每个像素学习是否为各区域。

在所述实施方式中，在所述明视场图像中，针对一定像素数的每个区域分别生成所述训练数据。通过该实施方式能提高深度学习算法（50）的学习效率。

在所述实施方式中，所述深度学习算法将所述解析用数据分类为表示解析对象图像（78）所含有的构成组织的层结构的级别。通过该实施方式能表示解析对象图像（78）所含有的构成组织的层结构。

所述实施方式中，神经网络（50）的输出层（50b）是以柔性最大值函数为激活函数的节点。通过该实施方式能提高深度学习算法（50）的学习效率。

当输入解析用数据（80）时，深度学习算法（60）都会针对每单位像素分别生成表示解析对象图像（78）所含有的构成组织的层结构的数据。通过该实施方式能提高深度学习算法（60）的解析效率。通过所述实施方式，根据采集了所述解析对象的组织的器官生成深度学习算法（60）。通过该实施方式能提高深度学习算法（60）的解析效率。

在所述实施方式中，更进一步地，根据采集了所述解析对象组织的器官准备深度学习算法（60），使用与所述器官相对应的深度学习算法（60）处理所述解析用数据。通过该实施方式能提高深度学习算法（60）的解析效率。

所述实施方式进一步基于表示层结构的数据算出层结构的厚度。另外包括基于层结构的厚度判定疾病的等级。通过该实施方式，即使不依靠病理医师的眼睛也能掌握各层结构的厚度，并能进行疾病的分级。

本发明的另一实施方式涉及使用神经网络结构的深度学习算法（60）解析采自被检物的组织的图像的图像解析装置（100）。图像解析装置（100）具备处理部（10），处理部（10）从包括解析对象组织或细胞的解析对象图像（78）生成解析用数据（80），将解析用数据（80）输入深度学习算法（60），通过深度学习算法（60）生成表示解析对象图像（78）中的构成组织的层结构的数据。通过该实施方式能使用深度学习算法这种固定的判断基准判别构成组织的层结构。

本发明的另一实施方式涉及使用神经网络结构的深度学习算法（60）解析采自被检物的组织的图像的计算机程序。所述计算机程序使计算机执行从包括解析对象组织或细胞的解析对象图像（78）生成解析用数据（80）的处理、将解析用数据（80）输入深度学习算法（60）的处理、通过深度学习算法（60）生成表示解析对象图像（78）中的构成组织的层结构的数据的处理。通过本实施方式能使用深度学习算法这种固定的判断基准判别构成组织的层结构。

本发明的另一实施方式涉及包括如下步骤的已完成学习的深度学习算法（60）的生成方法：获取与训练用图像所含有的包括第1学习对象的层结构的第1训练用图像（70R1）相对应的第1训练数据（72R1r、72R1g、72R1b）的第1获取步骤；获取与表示第1训练用图像（70R1）中的核区域的第2训练用图像（71R1）相对应的第2训练数据（73R1）的第2获取步骤；获取与训练用图像所含有的包括第2学习对象的层结构的第3训练用图像（70R2）相对的第3训练数据（72R2r、72R1g、72R2b）的第3获取步骤；获取与表示第3训练用图像（70R2）中的核区域的第4训练用图像（71R2）相对应的第4训练数据（73R2）的第4获取步骤；获取与训练用图像所含有的包括第3学习对象的层结构的第5训练用图像（70R3）相对应的第5训练数据（72R3r、72R3g、72R3b）的第5获取步骤；获取与表示第5训练用图像（70R3）中的核区域的第6训练用图像（71R3）相对应的第6训练数据（73R3）的第6获取步骤；使神经网络（50）学习所述第1训练数据（72R1r、72R1g、72R1b）和第2训练数据（73R1）的关系的学习步骤；使神经网络（50）学习所述第3训练数据（72R2r、72R2g、72R2b）和第4训练数据（73R2）的关系的学习步骤；使神经网络学习所述第5训练数据（72R3r、72R3g、72R3b）和所述第6训练数据（73R3）的关系的学习步骤。通过本实施方式能生成能判别构成组织的层结构的深度学习算法。

在所述生成方法的实施方式中，使所述第1训练数据（72R1r、72R1g、72R1b）、第3训练数据（72R2r、72R2g、72R2b）和第5训练数据（72R3r、72R3g、72R3b）为神经网络（50）的输入层（50a），使所述第2训练数据（73R1）、第4训练数据（73R2）和第6训练数据（73R3）为分别与第1训练数据（72R1r、72R1g、72R1b）、第3训练数据（72R2r、72R2g、72R2b）及第5训练数据（72R3r、72R3g、72R3b）相对应的神经网络（50）的输出层（50b）。另外本实施方式还包括如下步骤：在所述第1获取步骤前从第1训练用图像（70R1）生成所述第1训练数据（72R1r、72R1g、72R1b）的步骤；在所述第2获取步骤前从所述第2训练用图像（71R1）生成所述第2训练数据的步骤；在所述第3获取步骤前从所述第3训练用图像（70R2）生成所述第3训练数据（72R2r、72R2g、72R2b）的步骤；在所述第4获取步骤前从第4训练用图像（71R2）生成第4训练数据（73R2）的步骤；在所述第5获取步骤前从所述第5训练用图像（70R3）生成所述第5训练数据（72R3r、72R3g、72R3b）的步骤；在所述第6获取步骤前从所述第6训练用图像（71R3）生成所述第6训练数据（73R3）的步骤。通过本实施方式能生成能判别构成组织的层结构的深度学习算法。

本发明的另一实施方式是以第1训练数据（72R1r、72R1g、72R1b）、第3训练数据（72R2r、72R2g、72R2b）及第5训练数据（72R3r、72R3g、72R3b）为神经网络（50）的输入层（50a），以第2训练数据（73R1）、第4训练数据（73R2）及第6训练数据（73R3）为分别与第1训练数据（72R1r、72R1g、72R1b）、第3训练数据（72R2r、72R2g、72R2b）及第5训练数据（72R3r、72R3g、72R3b）相对应的神经网络（50）的输出层（50b）进行了学习的深度学习算法，关于该已完成学习的深度学习算法（60），所述第1训练数据（72R1r、72R1g、72R1b）从训练用图像所含有的包括第1学习对象的层结构的第1训练用图像（70R1）生成，所述第2训练数据（73R1）表示所述第1训练用图像（70R1）中的核区域，所述第3训练数据（72R2r、72R2g、72R2b）从训练用图像所含有的包括第2学习对象的层结构的第3训练用图像（70R2）生成，所述第4训练数据（73R2）表示所述第3训练用图像（70R2）中的核区域，所述第5训练数据（72R3r、72R3g、72R3b）从训练用图像所含有的包括第3学习对象的层结构的第5训练用图像（70R3）生成，所述第6训练数据（73R3）表示所述第5训练用图像（70R3）中的核区域。本实施方式能提供能用固定条件判别构成组织的层结构的深度学习算法。

发明效果

能使用深度学习算法这种固定的判断基准对构成组织的层结构进行判别。

附图说明

图1用于说明深度学习方法的概要的示意图；

图2用于说明深度学习方法的概要的示意图；

图3用于说明深度学习方法的概要的示意图；

图4用于说明训练数据的详情的示意图；

图5用于说明训练数据的详情的示意图；

图6用于说明图像解析方法的概要的示意图；

图7第1实施方式所涉及的图像解析系统的概略结构图；

图8表示厂商侧装置100的硬件结构的框图；

图9表示用户侧装置200的硬件结构的框图；

图10用于说明第1实施方式所涉及的深度学习装置100A的功能的框图；

图11表示深度学习处理的过程的流程图；

图12用于说明通过神经网络进行的学习的详情的示意图；

图13用于说明第1实施方式所涉及的图像解析装置200A的功能的框图；

图14表示图像解析处理的过程的流程图；

图15第2实施方式所涉及的图像解析系统的概略结构图；

图16用于说明第2实施方式所涉及的综合型的图像解析装置200B的功能的框图；

图17第3实施方式所涉及的图像解析系统的概略结构图；

图18用于说明第3实施方式所涉及的综合型的图像解析装置100B的功能的框图；

图19结果的显示例的示图；

图20表示判定疾病的等级的过程的流程图；

图21从胃获取的组织的解析结果；（a）是对胃组织进行HE染色并拍摄而成的明视场图像；（b）是通过解析处理得到的第1层结构的核区域的示图；（c）是通过解析处理得到的第2层结构的核区域的示图；（d）是通过解析处理得到的第3层结构的核区域的示图；（e）是将通过解析处理得到的第1层结构的核区域、第2层结构的核区域及第3层结构的核区域以外的区域成为白色所得的图；（f）是将各层的判定结果重叠于第1训练图像所得的图。

具体实施方式

以下参照附图详细说明本发明的概要及实施方式。另外，以下的说明及附图中相同符号表示相同或类似的构成要素，因此省略相同或类似的构成要素相关的说明。

图像解析方法是解析组织的图像的图像解析方法，使用神经网络结构的、优选卷积神经网络结构的深度学习算法。所述图像解析方法能判别解析对象的构成组织的层结构。

本发明中，组织的图像是从组织的标本获取的图像。组织采自被检物。被检物无特别限制，优选哺乳类，更优选人。从所述被检物采集组织时被检物可以是活着的也可以是已死亡。器官只要是存在于被检物的器官即可，没有限制。例如，所述器官能列举出循环系统器官（心脏、动脉、静脉、淋巴管等）、呼吸系统器官（鼻腔、鼻窦、喉、气管、支气管、肺等）、消化系统器官（口唇、舌、唾液腺、咽、食道、胃、十二指肠、空肠、回肠、盲肠、阑尾、升结肠、横结肠、乙状结肠、直肠、肛门、肝脏、胆囊、胆管、胆道、胰腺、胰管等）、泌尿系统器官（尿道、膀胱、输尿管、肾脏）、女性生殖系统器官（卵巢、输卵管、子宫体部、子宫颈部、阴道等）、男性生殖系统器官（前列腺、睾丸、附睾、输精管等）、内分泌系统器官（甲状腺、甲状旁腺等）、皮肤系统器官（皮肤、毛发、指甲等）、感觉系统器官（眼球、泪腺等）。在本发明中，对象组织优选胃、小肠（十二指肠、空肠、回肠）、大肠（结肠、直肠）、气管或支气管、子宫体部、胆囊、胃、小肠、大肠及子宫以外的组织采集得到的腺组织（唾液腺、胰腺、甲状腺等）、心脏、血管及视网膜等。

一般来说，大多数组织由数个不同的细胞及不同的数个细胞外基质构成。然后，这些细胞及细胞外基质中细胞之间、细胞外基质之间、或细胞与细胞外基质结合，在组织内形成层结构。大多数组织从体外侧起至少由上皮细胞层、结缔组织层（可由结缔组织、成纤维细胞、淋巴细胞、中性粒细胞、巨噬细胞、血管、神经丛等构成。根据器官的不同有时包括固有层、黏膜下层）及肌层（主要是平滑肌层）等数个层结构构成。例如，胃、小肠及大肠等消化道从体外侧起由黏膜上皮细胞层、黏膜固有层（可由结缔组织、成纤维细胞、淋巴细胞、中性粒细胞、巨噬细胞、血管、神经丛等构成）、黏膜肌层（由平滑肌细胞及平滑肌等构成）、黏膜下层（可由结缔组织、成纤维细胞、淋巴细胞、中性粒细胞、巨噬细胞、血管、神经丛等构成）、固有肌层（由平滑肌及平滑肌细胞等构成）、浆膜层等构成。固有肌层可由内环肌及外纵肌两层构成。

食道的层结构和胃等的层结构几乎相同，但上皮细胞层由复层扁平上皮细胞层构成，而不是由黏膜上皮细胞层构成。

气管及支气管也由黏膜上皮细胞层、黏膜固有层、平滑肌层、黏膜下层和外膜层等构成。气管及支气管的一部分包括软骨层而不包括平滑肌层。

子宫包括上皮细胞层、肌层和外膜层。子宫在体部和颈部的上皮细胞层不同。体部的上皮细胞层是黏膜上皮细胞层，但颈部的上皮细胞层由复层扁平上皮细胞层等构成。

胆囊由黏膜上皮细胞层、黏膜固有层、肌层、浆膜层构成。

胃、小肠、大肠及子宫以外的腺组织由腺上皮细胞层、肌层、结缔组织层（可由结缔组织、成纤维细胞、淋巴细胞、中性粒细胞、巨噬细胞、血管等构成）等构成。

心脏及血管是不与外部接触的器官因此不具有上皮细胞层，以腔侧为内侧，从内侧向外侧存在内膜（内皮细胞）层、肌层（包括平滑肌纤维、平滑肌细胞、弹性纤维等）、外膜层等。具体来说，心脏由心内膜层、心肌层、心外膜层和心外膜下组织等构成。血管由内皮细胞层、肌层等构成。

视网膜由视杆视锥层、外颗粒层、外丛状层、内颗粒层、内丛状层及神经节细胞层等构成。

所述标本是将所述组织加工为能用显微镜等观察的状态所得，例如显微镜用标本。所述标本能按照众所周知的方法制作。例如，组织标本是在从所述被检物采集组织后用一定的固定液（福尔马林固定等）固定组织并用石蜡包埋该固定组织，然后将石蜡包埋组织切成薄片。将切成薄片的切片放于载玻片。对放有切片的载玻片施以能够通过光学显微镜观察的染色，即用于明视场观察的染色，并进行一定的封片处理后标本完成。组织标本的典型例是组织诊断用标本（病理标本），染色是苏木精・伊红（HE）染色。

所述图像解析使用深度学习算法，该深度学习算法使用训练用图像进行训练过。所述图像解析从获取自所述标本的、包括解析对象组织的解析对象图像生成解析用数据。将所述解析用数据输入所述深度学习算法，生成表示存在于所述解析对象图像内的构成组织的层结构的数据。表示层结构的数据指的是意味着判别对象中的应留意像素的位置处组织的层结构是上述的哪一层结构的数据。另外，表示层结构的数据是表示存在于所述应留意像素内的核区域是上述哪一层结构的核的数据。表示层结构的数据可以是能区分出被判断对象是上述的哪一层结构的核的标签值、信息等。

从成为学习对象的组织的1个或数个层结构获取所述训练用图像。优选方案为：从成为学习对象的组织所含有的数个层结构的每个层结构获取所述训练用图像。

例如，第1训练用图像70R1是从采自被检物的组织所含有的第1层结构（例如上皮细胞层或内皮细胞层）获取的图像。该图像通过显微镜观察从经染色以使组织结构能被识别的标本获取。所述染色只要能识别组织结构即可，无特别限制，优选是明视场观察用的染色。所述明视场观察用染色只要能通过染色至少使细胞核和细胞核以外的部位能通过色相区分即可，无特别限制。所述标本是哺乳类的组织标本时，例如能列举出HE染色。

从第1训练用图像70R1生成第1训练数据72R1r、72R1g、72R1b和第1预训练数据70R1L。第1训练数据72R1r、72R1g、72R1b是将第1训练用图像70R1所含有的色相按每个原色分离所得单色图像的相关信息。生成表示第1训练用图像70R1所含有的层结构中的第1层结构的二值化数据（标签值）的第1预训练数据70R1L。第1训练用图像70R1所含有的层结构例如通过检查者等所进行的标本观察被判定为第1层结构。

所述训练用图像所含有的第2训练用图像71R1是表示第1训练用图像70R1中哪里是细胞的核区域的图像，即其表示“核区域”的正解是第1训练用图像70R1的哪个区域的图像。所述细胞的图像优选为表示第1层结构的核区域的图像。该图像是对与获取了第1训练用图像70R1的标本相同的标本、或与获取了第1训练用图像70R1的标本相对应的标本（例如连续切片标本）施以选择性染色细胞核的荧光核染色而拍摄的图像。所述荧光核染色无限制，能列举出4'，6-二氨基-2-苯吲哚（4',6-diamidino-2-phenylindole,DAPI）染色。从第2训练用图像71R1生成第2预训练数据71R1N。第2预训练数据71R1N是通过将第2训练用图像71R1二值化而生成的二值化数据（标签值），表示是细胞的核区域还是除此之外的区域。

第2预训练数据71R1N和第1预训练数据70R1L与每个像素相关联。在第2预训练数据71R1N中，表示细胞核区域的像素进一步被赋予表示“第1层结构的核区域”的标签值。将在第2预训练数据71R1N内的细胞核的区域被赋予表示“第1层结构的核区域”的标签值所得数据作为第2训练数据73R1使用。

所述训练用图像所含有的第3训练用图像70R2是从获取了第1训练用图像70R1的组织所含有的第2层结构（例如结缔组织层）获取的图像。该图像通过显微镜观察从被染色以使组织结构能被识别的标本获取。所述染色只要能识别组织结构即可，无特别限制，优选为明视场观察用的染色。所述明视场观察用染色只要能通过染色至少使细胞核和细胞核以外的部位通过色相可进行区分即可，无特别限制。所述标本是哺乳类的组织标本时，例如能列举出HE染色。优选所述染色与获取了第1训练用图像70R1的标本一致。

从第3训练用图像70R2生成第3训练数据（72R2r、72R2g、72R2b）和第3预训练数据70R2L。第3训练数据（72R2r、72R2g、72R2b）是将第3训练用图像70R2所含有的色相按每个原色分离所得的单色图像的相关信息。第3预训练数据70R2L是表示第3训练用图像70R2所含有的层结构中的第2层结构的二值化数据（标签值）。第3训练用图像70R2所含有的层结构例如通过检查者等进行的标本观察而被判定为第2层结构。

所述训练用图像所含有的第4训练用图像71R2是表示第3训练用图像70R2中哪里是细胞的核区域的图像，即其表示“核区域”的正解是第2层结构的哪个区域的图像。该图像是对获取了第3训练用图像70R2的标本相同的标本、或与获取了第3训练用图像70R2的标本相对应的标本（例如连续切片标本）施以选择性染色细胞核的荧光核染色并拍摄的图像。所述荧光核染色无限制，优选所述荧光核染色与获取第2训练用图像71R1时的对标本所施加的所述荧光核染色相同。从第4训练用图像71R2生成第4预训练数据71R2N。第4预训练数据71R2N是通过将第4训练用图像71R2二值化而生成的二值化数据（标签值），表示是细胞核的区域还是除此之外的区域。

第4预训练数据71R2N和第3预训练数据70R2L与每个像素相关联。在第4预训练数据71R2N中，表示细胞核区域的像素进一步被赋予表示“第2层结构的核区域”的标签值。将第4预训练数据71R2N内的细胞核的区域被赋予表示“第2层结构的核区域”的标签值的数据作为第4训练数据73R2使用。

所述训练用图像所含有的第5训练用图像70R3是从获取了第1训练用图像70R1的组织所含有的第3层结构（例如结缔组织层）获取的图像。该图像是通过显微镜观察从被染色的以使组织结构能被识别的标本获取。所述染色只要能使组织结构能被识别即可，无特别限制，优选是明视场观察用的染色。所述明视场观察用染色只要能通过染色至少使细胞核和细胞核以外的部位能通过色相进行区分即可，无特别限制。所述标本是哺乳类的组织标本时，例如能列举出HE染色。

从第5训练用图像70R3生成第5训练数据72R3r、72R3g、72R3b和第5预训练数据70R3L。第5训练数据72R3r、72R3g、72R3b是将第5训练用图像70R3所含有的色相按每个原色分离所得的单色图像的相关信息。第5预训练数据70R3L是表示第5训练用图像70R3所含有的层结构中的第3层结构的二值化数据（标签值）。第5训练用图像所含有的层结构例如通过检查者等进行的标本观察从而被判定为第3层结构。

所述训练用图像所含有的第6训练用图像71R3是表示第5训练用图像70R3中哪里是细胞的核区域的图像，即其是表示“核区域”的正解是表第3层结构的哪个区域的图像。该图像是对获取了第5训练用图像70R3的标本相同的标本、或与获取了第5训练用图像70R3的标本相对应的标本（例如连续切片标本）施以选择性染色细胞核的荧光核染色并拍摄的图像。所述荧光核染色无限制，优选所述荧光核染色与获取第2训练用图像71R1时的对标本所施加的荧光核染色相同。从第6训练用图像71R3生成第6预训练数据71R3N。第6预训练数据71R3N是通过将第6训练用图像71R3二值化而生成的二值化数据（标签值），表示是细胞的核区域还是除此之外的区域。

第6预训练数据71R3N和第5预训练数据70R3L与各像素关联。在第6预训练数据71R3N中，表示细胞核区域的像素进一步被赋予表示“第3层结构的核区域”的标签值。将在第6预训练数据71R3N内的细胞核的区域被赋予了表示“第3层结构的核区域”的标签值的数据作为第6训练数据73R3使用。

训练数据包含第1层结构训练数据74R1、第2层结构训练数据74R2及第3层结构训练数据74R3。当组织还包含其他层结构时可以按照上述第4或第6训练数据73R3的生成方法进一步生成训练数据。

所述细胞的核区域指的是包含1个或数个核的区域。以下也称所述细胞的核区域为“核区域”。

在本发明的发明内容及实施方式中，将通过深度学习算法判别拍摄了被HE染色的组织标本所得图像内所含有的组织的层结构的情况作为例子进行说明。

［深度学习方法及图像解析方法的概要］

首先对深度学习方法进行说明。

・深度学习方法的概要

使用图1说明包含第1训练数据72R1r、72R1g、72R1b和第2训练数据73R1的第1层结构训练数据74R1的生成概要。图1表示使用组织标本的切片图像70W将训练数据输入神经网络的例子。切片图像70W是训练用图像，其是通过使用HE染色作为明视场观察用染色所制作的标本在明视场拍摄而得到的。切片图像70W内的L1表示第1层结构。L2表示第2层结构。L3表示第3层结构。切片图像70W内的用标号R1所示的方框所围住的区域表示作为第1训练用图像70R1使用的区域。用标号R2所示的方框所围住的区域表示作为图2所示的第3训练用图像70R2使用的区域。用标号R3所示的方框所围住的区域表示作为图3所示的第5训练用图像70R3使用的区域。第1训练用图像70R1包含于第1层结构、第3训练用图像70R2包含于第2层结构、第5训练用图像70R3包含于第3层结构这一事实可以在获取各训练图像前判定，也可以在获取了各训练图像后判定。

在图1中，第1训练用图像70R1是在明视场观察下将HE染色的标本拍摄的，例如拍摄为彩色图像，因此第1训练用图像70R1含有数个色相。

第1训练用图像70R1能用例如众所周知的光学显微镜、荧光显微镜或虚拟切片扫描仪等图像获取装置预先获取。作为示例，在本实施方式中，通过图像获取装置实现的彩色拍摄优选色域为RGB24位色彩。RGB24位色彩中优选将红色、绿色及蓝色各自的密度（色密度）用8位（256阶）的层次表示。第1训练用图像70R1是包含1种以上的原色的图像即可。从第1训练用图像70R1生成第1训练数据72R1r、72R1g、72R1b和第1预训练数据70R1L。

在本发明中，作为示例，用光的3原色的组合、或颜色的3原色的组合来规定色相。第1训练数据72R1r、72R1g、72R1b是与第1训练用图像70R1相对应生成的数据，其是将出现于第1训练用图像70R1的色相分离成各个原色并按各原色分别生成的，用与密度相应的符号表示。图1中得到按光的3原色即红（R）、绿（G）、蓝（B）各原色分离的用单色的深浅表示的图像（以下也称“单色图像”）72R1R、72R1G、72R1B。

针对单色图像72R1R、72R1G、72R1B上的各像素对各颜色的色密度编码，并针对按照R、G、B区分的各图像就图像整体生成与每个像素的色密度相对应的编码图（以下也称“色密度编码图”）72R1r、72R1g、72R1b。色密度可以用表示各颜色256阶的数值进行编码。另外也可设计为：针对表示各颜色256阶的数值进一步进行预处理，就各像素的色密度，例如用值0到值7这样的表示8阶的数字对色密度进行编码。为便于说明，关于图1例示的从R、G、B各颜色的单色图像生成的色密度编码图72R1r、72R1g、72R1b中将各像素的色密度用从值0到值7的8阶符号表示。由图1所示的色密度编码图72R1r、72R1g、72R1b生成组合有各像素的R、G、B的色密度值的第1训练数据72R1r、72R1g、72R1b。表示色密度的符号在本说明书中也叫色密度值。另外也可设计为：生成与各像素相对应的的色密度值的列而非色密度编码图来作为第1训练数据72R1r、72R1g、72R1b。

在图1中，第1预训练数据70R1L是表示第1训练用图像70R1所含有的层结构为第1层结构的数据。所述数据可以是图像数据，也可以是与第1训练用图像70R1内的各像素相对应的标签值。例如，第1训练用图像70R1的全部区域均为第1层结构，因此给第1训练用图像70R1内的所有像素被赋予相同数值作为表示这是第1层结构的标签值。

在图1中，在荧光显微镜的荧光观察下用2层次以上的灰度拍摄施以荧光核染色的标本或彩色拍摄施以荧光核染色的标本来获取第2训练用图像71R1。第2训练用图像71R1能用例如众所周知的荧光显微镜或虚拟切片扫描仪等图像获取装置预先获取。从第2训练用图像71R1生成第2预训练数据71R1N。

例如将2层次以上的灰度的第2训练用图像71R1或彩色的第2训练用图像71R1通过二值化处理转换为黑白的荧光图像来生成第2预训练数据71R1N。使第2训练用图像71R1二值化，并区分细胞核的区域和除此之外的区域从而判别细胞核的区域。例如使图像内的各像素的色密度值与一定的条件（例如色密度的阈值）进行比较来通过二值化处理判断是细胞核的区域或是除此之外的区域。所述阈值例如能用判别分析法、模式法、Kittler法、3σ法、p‐tile法等设定。也可使用最大似然估计法来进行二值化，以此取代与阈值进行比较的方式。可以对第2训练用图像71R1内的每个像素分别赋予通过所述二值化处理得到的二值化数据作为标签值。例如，给表示细胞核的区域的像素赋予“1”的标签值，给细胞核的区域以外的区域赋予“0”的标签值。另外，也可以将所述标签值作为颜色显示于第2训练用图像71R1上（例如核区域为白色，核以外的区域为黑色）。

接下来生成第2训练数据73R1。第2训练数据73R1是从第1预训练数据70R1L和第2预训练数据71R1N生成的数据，是作为真值图像73R1、作为正确答案使神经网络50学习的数据。第2训练数据73R1从包含第1层结构的第1训练用图像70R1及第2训练用图像71R1生成，因此表示组织的层结构的正确答案是第1层结构的核区域。第2训练数据73R1包含与第2训练用图像71R1的各像素相对应的、区分显示第1层结构的核区域和除此之外的区域的标签值。例如表示第1层结构的核区域的标签值是“1”，表示除此之外的区域的标签是“0”。为便于说明，图1所示的第2训练数据73R1用图像表示，但在向所述神经网络输入时，给各像素赋予区分显示第1层结构的核区域和除此之外的区域的标签值。

在深度学习法中，将图1所示的第1训练数据72R1r、72R1g、72R1b及第2训练数据73R1作为第1层结构训练数据74R1使用。具体来说，以第1训练数据72R1r、72R1g、72R1b为输入层50a、以第2训练数据73R1为输出层50b的神经网络50进行学习。即，使神经网络50学习第1训练数据72R1r、72R1g、72R1b和第2训练数据73R1的配对关系。

接下来使用图2说明包含第3训练数据72R2r、72R2g、72R2b和第4训练数据73R2的第2层结构训练数据74R2的生成概要。在图2中，切片图像70W和图1相同，因此第3训练用图像70R2与第1训练用图像70R1同样地包含数个色相。

使用第2层结构代替第1层结构，除此之外，通过和第1训练用图像70R1相同的方法获取第3训练用图像70R2。从第3训练用图像70R2生成第3训练数据72R2r、72R2g、72R2b和第3预训练数据70R2L。

使用第2层结构代替第1层结构，除此之外，通过和第1训练数据72R1r、72R1g、72R1b生成第3训练数据72R2r、72R2g、72R2b的方法相同。由图2所示的色密度编码图72R2r、72R2g、72R2b生成组合有各像素的R、G、B的色密度值的第3训练数据72R2r、72R2g、72R2b。

在图2中，第3预训练数据70R2L是表示第3训练用图像70R2所含有的层结构为第2层结构的数据。所述数据可以是图像数据，也可以是与第3训练用图像70R2内的各像素相对应的标签值。例如，第3训练用图像70R2的全部区域均为第2层结构，因此给第3训练用图像70R2内的所有像素赋予相同数值作为表示第2层结构的标签值。表示第2层结构的标签值与表示其他层结构的数值区分开。

在图2中，使用第2层结构代替第1层结构，除此之外，通过和第2训练用图像71R1相同的方法获取第4训练用图像71R2。从第4训练用图像71R2生成第4预训练数据71R2N。

使用第2层结构代替第1层结构，除此之外，通过和第2预训练数据71R1N相同的方法生成第4预训练数据71R2N。

接下来生成第4训练数据73R2。第4训练数据73R2是从第3预训练数据70R2L和第4预训练数据71R2N生成的数据，是作为真值图像73R2、作为正确答案使神经网络50进行学习的数据。第4训练数据73R2从包含第2层结构的第3训练用图像70R2及第4训练用图像71R2生成，因此表示组织的层结构的正确答案是第2层结构的核区域。第4训练数据73R2包含与第4训练用图像71R2的各像素相对应的、区分显示第2层结构的核区域和除此之外的区域的标签值。例如表示第2层结构的核区域的标签值是“2”，表示除此之外的区域的标签值是“0”。为便于说明，图2所示的第4训练数据73R2用图像表示，但在向所述神经网络输入时，给各像素赋予区分显示第2层结构的核区域和除此之外的区域的标签值。

在深度学习方法中，将图2所示的第3训练数据72R2r、72R2g、72R2b及第4训练数据73R2作为第2层结构训练数据74R2使用。具体来说，以第3训练数据72R2r、72R2g、72R2b为输入层50a、以第4训练数据73R2为输出层50b使神经网络50进行学习。即，使神经网络50学习第3训练数据72R2r、72R2g、72R2b和第4训练数据73R2的配对关系。

接下来使用图3说明包含第5训练数据72R3r、72R3g、72R3b和第6训练数据73R3的第3层结构训练数据74R3的生成概要。在图3中，切片图像70W与图1相同，因此第5训练用图像70R3与第1训练用图像70R1同样地包含数个色相。使用第3层结构而不是第1层结构，除此之外，通过与第1训练用图像70R1相同的方法获取第5训练用图像70R3。从第5训练用图像70R3生成第5训练数据72R3r、72R3g、72R3b和第5预训练数据70R3L。

使用第3层结构而不是第1层结构，除此之外，通过与第1训练数据72R1r、72R1g、72R1b相同的方法生成第5训练数据72R3r、72R3g、72R3b。由图3所示的色密度编码图72R3r、72R3g、72R3b生成组合有各像素的R、G、B的色密度值的第5训练数据72R3r、72R3g、72R3b。

在图3中，第5预训练数据70R3L是表示第5训练用图像70R3所含有的层结构为第3层结构的数据。所述数据可以是图像数据，也可以是与第5训练用图像70R3内的各像素相对应的标签值。例如，第5训练用图像70R3的全部区域均为第3层结构，因此给第5训练用图像70R3内的所有的各像素赋予相同数值作为表示第3层结构的标签值。表示第3层结构的数值与表示其他层结构的数值区分开。

在图3中，使用第3层结构代替第1层结构，除此之外，通过与第2训练用图像71R1相同的方法获取第6训练用图像71R3。从第6训练用图像71R3生成第6预训练数据71R3N。

使用第3层结构代替第1层结构，除此之外，通过与第2预训练数据71R1N相同的方法生成第6预训练数据71R3N。

接下来生成第6训练数据73R3。第6训练数据73R3是从第5预训练数据70R3L和第6预训练数据71R3N生成的数据，是作为真值图像73R3、作为正解使神经网络50进行学习的数据。第6训练数据73R3从包含第3层结构的第5训练用图像70R3及第6训练用图像71R3生成，因此表示组织的层结构的正确答案为第3层结构的核区域。第6训练数据73R3包含与第6训练用图像71R3的各像素相对应的、区分显示第3层结构的核区域和除此之外的区域的标签值。例如表示第3层结构的核区域的标签值是“3”，表示除此之外的区域的标签值是“0”。为便于说明，图3所示的第6训练数据73R3用图像表示，但在向所述神经网络输入时，给各像素赋予区分显示第3层结构的核区域和除此之外的区域的标签值。

在深度学习方法中，将图3所示的第5训练数据72R3r、72R3g、72R3b及第6训练数据73R3作为第3层结构训练数据74R3使用。具体来说，使以第5训练数据72R3r、72R3g、72R3b为输入层50a、以第6训练数据73R3为输出层50b的神经网络50进行学习。即，使神经网络50学习第5训练数据72R3r、72R3g、72R3b和第6训练数据73R3的配对关系。

参照图4（a）到（c）说明第1层结构训练数据74R1的生成方法。第1层结构训练数据74R1是使第1训练数据72R1r、72R1g、72R1b的色密度编码图72R1r、72R1g、72R1b的各色密度值和第2训练数据73R1按每个像素进行组合所得数据。在图4（a）中，为便于说明，第1层结构训练数据74R1的图像尺寸（每1组训练数据的大小）已经简化，第1训练数据72R1r、72R1g、72R1b及第2训练数据73R1具有纵向9像素及横向9像素，共计具有81像素。

图4（b）是构成第1层结构训练数据74R1的1个像素中的72R1r、72R1g、72R1b各自的色密度值和表示核区域的标签值组合的一例。图4（b）的上段所示的3个值74R1a是各像素中R、G、B各颜色的色密度值。作为示例，3个值从左起按照红（R）、绿（G）及蓝（B）的顺序存储。为方便说明，色密度编码图72R1r、72R1g、72R1b的各像素的色密度值用从值0到值7这8阶表示。在此处的处理中，作为图像的预处理的一例，将拍摄时用256阶表示的各颜色的图像72R1R、72R1G、72R1B的亮度分别转换为8阶的色密度值。关于色密度值，例如最低亮度（用256阶RGB彩色表示时明度值低的层次群）设为色密度值0，随着亮度的程度变高逐渐分配高的值，最高亮度（用256阶RGB彩色表示时明度值高的层次群）设为色密度值7。图4（b）中的下段所示的值74R1b是相应像素的第2训练数据73R1的标签值。例如标签值1表示第1层结构的细胞核，标签值0表示除此之外的区域。即，在图1及图4（a）所示的第2训练数据73R1中，标签值从1变为0的像素或从0变为1的像素的位置相当于第1层结构的核区域和除此之外的区域的边界。

图1及图4（c）所示的第1层结构训练数据75R1是切下图4（a）所示的第1层结构训练数据74R1的一定像素数的区域（以下称“窗口尺寸”）而得的数据。为便于说明，窗口尺寸的第1层结构训练数据75R1也在此图中简化成了3×3像素，但实际上的优选窗口尺寸例如为113×113像素程度，从学习效率的观点来看，优选地其大小为能容纳3×3个左右的正常的胃上皮细胞的核。例如，如图3（c）所示，设定3×3像素的窗口W1，相对于第1层结构训练数据74R1使窗口W1移动。窗口W1的中心位于第1层结构训练数据74R1的某一像素，例如，切下黑框所示的窗口W1内的第1层结构训练数据74R1作为窗口尺寸的第1层结构训练数据75R1。切下的窗口尺寸的第1层结构训练数据75R1用于图1所示的神经网络50的学习。

如图1所示，神经网络50的输入层50a的节点数与所输入的窗口尺寸的第1层结构训练数据75R1的像素数和图像所含有的原色的数（例如光的三原色的话就是R、G、B这3个）的乘积相对应。使窗口尺寸的第1层结构训练数据75R1的各像素的色密度值数据76为神经网络的输入层50a、使第1层结构训练数据75R1的各像素的与第2训练数据73R1相对应的标签值74R1b中位于中心的像素的标签值77R1为神经网络的输出层50b，使神经网络50进行学习。各像素的色密度值数据76是第1层结构训练数据75R1的各像素的R、G、B各颜色的色密度值74R1a的集合数据。作为示例，当窗口尺寸的第1层结构训练数据75R1为3×3像素时，每个各像素按R赋予1个色密度值，按G赋予1个色密度值，按B赋予1个色密度值，因此色密度值数据76的色密度值数为“27”（3×3×3＝27），神经网络50的输入层50a的节点数也为“27”。

像这样，输入神经网络50的窗口尺寸的第1层结构训练数据75R1无需用户生成，而是由计算机自动生成。由此能够促进神经网络50的高效的深度学习。

如图4（c）所示，在初期状态中，窗口W1的中心位于第1层结构训练数据74R1的左上角。之后，在每次要由窗口W1切下窗口尺寸的第1层结构训练数据75R1来进行神经网络50的学习时移动窗口W1的位置。具体来说以1像素为单位移动窗口W1，使得窗口W1的中心扫过第1层结构训练数据74R1中的例如全部的像素。由此，从第1层结构训练数据74R1的全部像素切下的窗口尺寸的第1层结构训练数据75R1用于神经网络50的学习。因此能提高神经网络50的学习程度，通过深度学习得到具有图6所示的神经网络60结构的深度学习算法。

图5（a）表示第2层结构训练数据74R2。第2层结构训练数据74R2的生成方法中使用第3训练数据72R2r、72R2g、72R2b及第4训练数据73R2而不是第1训练数据72R1r、72R1g、72R1b及第2训练数据73R1，除此之外与第1层结构训练数据74R1相同。在图5（a）中，在第2层结构训练数据74R2中，例如标签值2表示第2层结构的细胞的核区域，标签值0表示除此之外的区域。即，在图2所示的第4训练数据73R2中，标签值从2变为0的像素或从0变为2的像素的位置与相当于第2层结构的核区域和除此之外的区域的边界。第2层结构训练数据75R2内的各像素的与第4训练数据73R2相对应的标签值中位于中心的像素的标签值是图2所示的向输出层50b输入的标签值77R2。

图5（b）表示第3层结构训练数据74R3。关于第3层结构训练数据74R3的生成方法，使用第5训练数据72R3r、72R3g、72R3b及第6训练数据73R3而不是第1训练数据72R1r、72R1g、72R1b及第2训练数据73R1，除此之外与第1层结构训练数据74R1相同。在图5（b）中，在第3层结构训练数据74R3中，例如标签值3表示第3层结构的细胞的核区域，标签值0表示除此之外的区域。即，在图3所示的第6训练数据73R3中，标签值从3变为0的像素或从0变为3的像素的位置相当于第3层结构的核区域和除此之外的区域的边界。第3层结构训练数据75R3内的各像素的与第6训练数据73R3相对应的标签值中位于中心的像素的标签值是图3所示的向输出层50b输入的标签值77R3。

第1层结构训练数据75R1、第2层结构训练数据75R2及第3层结构训练数据75R3是共4个值的数据，其中表示第1层结构的核区域的标签为1、表示第2层结构的核区域的标签为2、表示第3层结构的核区域的标签为3、表示不属于第1层结构的核区域、第2层结构的核区域及第3层结构的核区域中任一者的部分的标签为0，4个值的数据作为真值使神经网络50进行学习。

优选使用于学习的窗口尺寸的训练用图像例如是将以20倍～60倍的放大倍率拍摄的全切片图像进行300～600分割而得到的。全切片图像的放大倍率能从20倍、40倍、60倍中选择。优选地为40倍。全切片图像的分割能从300分割、350分割、400分割、450分割、500分割、550分割、600分割左右中选择。可优选使用将以40倍的放大倍率拍摄的全切片图像进行512分割而得的训练用图像。训练用图像的枚数无限制，优选针对各层结构使用至少10枚、至少30枚、至少50枚。窗口尺寸能从（25±30）μm×（25±30）μm的范围选择。优选地为（25±20）μm×（25±20）μm的范围、进一步优选地为（25±10）μm×（25±10）μm的范围。最优选地为（25±5）μm×（25±5）μm的范围。

・图像解析方法的概要

如图6所示，在图像解析方法中，从拍摄包含解析对象组织或细胞的标本所得解析对象图像（明视场图像）78生成解析用数据80。优选所述标本被施以与第1训练用图像70R1相同的染色。也能使用众所周知的例如显微镜或虚拟切片扫描仪等获取例如作为彩色图像呈现的解析对象图像78。解析对象图像（明视场图像）78是包含1种以上的原色的图像即可。当针对每个像素用R、G、B各颜色的色密度值进行编码以解析彩色的解析对象图像78时，这样与R、G、B分别相对应地将整个图像表示为各像素的色密度值的编码图（解析用色密度编码图79r、79g、79b）。针对每个像素从色密度编码图79r、79g、79b生成R、G、B的色密度值组合所得解析对象数据。图6例示的显示有R、G、B各颜色的单色图像中的色密度的符号的色密度编码图79r、79g、79b代替3原色的各图像79R、79G、79B，用从值0到值7的8阶显示用符号表示的色密度值。

解析用数据80是将解析对象数据的一定像素数的区域（即窗口尺寸）切割而得的数据，是包含解析对象图像78所含有的组织或细胞的色密度值在内的数据。为便于说明，窗口尺寸的解析用数据80也和第1层结构训练数据75R1、第2层结构训练数据75R2及第3层结构训练数据75R3同样地在此图中简化成了3×3像素来显示，但实际上的优选窗口尺寸例如为113×113像素程度，从判别精度的观点来看优选能容纳3×3个左右的正常的胃上皮细胞的核的大小，例如在40倍的视野下的113×113像素程度。例如，设定3×3像素的窗口W2，并且相对于解析对象数据移动窗口W2。窗口W2的中心位于解析对象数据的某一像素，例如通过用3×3像素的黑框所示的窗口W2切下色密度编码图79r、79g、79b后得到窗口尺寸的解析用数据80。像这样，针对以一定像素为中心且包含周边像素的每个区域分别从解析对象数据生成解析用数据80。一定像素是指位于窗口W2的中心的解析对象数据的像素，周边像素是指以该一定像素为中心的、窗口尺寸的范围内所含有的解析对象数据的像素。解析用数据80也与第1层结构训练数据75R1、第2层结构训练数据75R2及第3层结构训练数据75R3同样地针对各像素按照红（R）、绿（G）及蓝（B）的顺序容纳色密度值。

图像解析方法中使用深度学习算法60处理解析用数据80，该深度学习算法60具有使用图1至图3所示的窗口尺寸的第1层结构训练数据75R1、第2层结构训练数据75R2及第3层结构训练数据75R3进行了学习的神经网络。通过处理解析用数据80生成表示解析对象组织中的层结构的数据83。

再次参照图6，从解析对象数据切下的解析用数据80输入至构成深度学习算法的神经网络60。神经网络60的输入层60a的节点数与所输入的像素数和图像所含有的原色的数的乘积相对应。将解析用数据80的各像素的色密度值数据81输入至神经网络60后，从输出层60b输出位于解析用数据80的中心的像素的推定值82（4个值）。例如当推定值是1时表示第1层结构的核区域，当推定值是2时表示第2层结构的核区域，当推定值为3时表示为第3层结构的核区域，当推定值为0时表示为细胞核以外的区域。即，从神经网络60的输出层60b输出的推定值82是针对解析对象图像的每个像素分别生成的标签值，是表示解析对象图像中的层结构的数据。推定值82在神经网络相关的后述的说明中也叫级别。神经网络60就输入的解析用数据80针对位于解析用数据80的中心的像素生成表示层结构的标签值。换言之，神经网络60将解析用数据80分类为表示解析对象图像所含有的组织的层结构的级别。这里，各像素的色密度值数据81是解析用数据80的各像素的R、G、B各颜色的色密度值的集合数据。

之后，以1像素为单位移动窗口W2以使得窗口W2的中心扫过解析对象数据的全部像素，并按窗口尺寸切下解析用数据80。切下的解析用数据80输入至神经网络60。由此得到标签值83作为表示解析对象图像中的组织或细胞的层结构的数据。在图6的示例中，针对标签值83进一步进行各层结构的核区域检测处理，得到表示各层结构的核区域的层结构核区域强调图像84。具体来说，层结构核区域检测处理例如是根据推定值82检测表示各层结构的核区域的像素的处理，实际上是判别推定值82为1的像素是第1层结构的核区域、推定值82为2的像素是第2层结构的核区域、推定值82为3的像素是第3层结构的核区域的处理。层结构核区域强调图像84是用与标签值相应的颜色表示标签值83的图像。另外也可在判别了第1层结构的核区域之后，使第1层结构的核区域和除此之外的区域（即第2层结构及／或第3层结构核区域或核区域以外的区域）以能辨别的方式显示于显示装置。例如，用颜色填涂第1层结构的核区域、或在第1层结构的核区域和除此之外的区域之间划线等，通过这种处理以可辨别的方式显示于显示装置。另外，针对第2层结构及／或第3层结构核区域也可使关注区域（作为解析对象的区域）的层结构的核区域和除此之外的区域以能被辨别的方式显示于显示装置。

＜第1实施方式＞

在第1实施方式中，对用于实施上述概要中说明过的深度学习方法及图像解析方法的系统的结构进行具体说明。

［结构的概要］

参照图7，第1实施方式所涉及的图像解析系统具备深度学习装置100A和图像解析装置200A。厂商侧装置100作为深度学习装置100A进行作业，用户侧装置200作为图像解析装置200A进行作业。深度学习装置100A使用训练数据使神经网络50学习，并将用训练数据训练后的深度学习算法60提供给用户。由已完成学习的神经网络60构成的深度学习算法通过存储媒介98或网络99从深度学习装置100A提供给图像解析装置200A。图像解析装置200A使用由已完成学习的神经网络60构成的深度学习算法进行解析对象的图像的解析。

深度学习装置100A例如用通用计算机构成，基于后述的流程图进行深度学习处理。图像解析装置200A例如用通用计算机构成，基于后述的流程图进行图像解析处理。存储媒介98例如是DVD－ROM、USB存储器等的、能被计算机读取的且非暂时性的有形的存储媒介。

深度学习装置100A连接于拍摄装置300。拍摄装置300具备图像传感器301和荧光显微镜302，用于拍摄安放于载物台309上的学习用的标本308的明视场图像及荧光图像。学习用的标本308施有上述染色。深度学习装置100A获取拍摄装置300拍摄的训练用图像。

图像解析装置200A连接于拍摄装置400。拍摄装置400具备图像传感器401和荧光显微镜402，用于拍摄安放于载物台409上的解析对象标本408的明视场图像。解析对象标本408如上所述已预先染色。图像解析装置200A获取拍摄装置400拍摄的解析对象图像78。

拍摄装置300，400能使用具有拍摄标本功能的、众所周知的荧光显微镜或虚拟切片扫描仪等。拍摄装置400只要具有拍摄标本功能即可，也可以是光学显微镜。

［硬件结构］

参照图8，厂商侧装置100（100A、100B）具备处理部10（10A、10B）、输入部16和输出部17。

处理部10具备进行后述的数据处理的CPU（Central Processing Unit）11、用作数据处理的工作区域的存储器12、存储后述的程序及处理数据的存储部13、在各部之间传送数据的总线14、进行与外部设备的数据的输入输出的接口部15、GPU（Graphics ProcessingUnit）19。输入部16及输出部17连接于处理部10。作为示例，输入部16是键盘或鼠标等输入装置，输出部17是液晶显示器等显示装置。GPU19作为辅助CPU11所进行的计算处理（例如并行计算处理）的加速器发挥作用。即以下说明中CPU11所进行的处理也包含CPU11用GPU19作为加速器进行的处理。

另外，处理部10为了进行以下用图11说明的各步骤的处理而将本发明所涉及的程序及学习前的神经网络50例如以可执行文件格式预先存储于存储部13。可执行文件格式例如是从编程语言通过编译器进行转换所生成的格式。处理部10使用存储于存储部13的程序及学习前的神经网络50进行处理。

以下的说明中，如没有特别说明，处理部10所进行的处理指的是CPU11基于存储在存储部13或存储器12的程序及神经网络50进行的处理。CPU11以存储器12为工作区域暂时存储必要的数据（处理过程中的中间数据等），并将计算结果等要长期保存的数据恰当存储于存储部13。

参照图9，用户侧装置200（200A、200B、200C）具备处理部20（20A、20B、20C）、输入部26和输出部27。

处理部20具备进行后述的数据处理的CPU（Central Processing Unit）21、用作数据处理的工作区域的存储器22、存储后述的程序及处理数据的存储部23、在各部之间传送数据的总线24、进行与外部设备的数据的输入输出的接口部25、GPU（Graphics ProcessingUnit）29。输入部26及输出部27连接于处理部20。作为示例，输入部26是键盘或鼠标等输入装置，输出部27是液晶显示器等显示装置。GPU29作为辅助CPU21所进行的计算处理（例如并行计算处理）的加速器发挥作用。即，以下说明中CPU21所进行的处理也包含CPU21用GPU29作为加速器进行的处理。

另外，处理部20为了进行以下用图14说明的各步骤的处理而将本发明所涉及的程序及已完成学习的神经网络结构的深度学习算法60例如以可执行文件格式预先存储于存储部23。可执行文件格式例如是从编程语言通过编译器进行转换所生成的格式。处理部20使用存储于存储部23的程序及深度学习算法60进行处理。

以下的说明中，如没有特别说明，处理部20所进行的处理指的是处理部20的CPU21基于存储于存储部23或存储器22的程序及深度学习算法60进行的处理。CPU21以存储器22为工作区域暂时存储必要的数据（处理过程中的中间数据等），并将计算结果等要长期保存的数据恰当存储于存储部23。

［功能模块及处理过程］

・深度学习处理

参照图10，第1实施方式所涉及的深度学习装置100A的处理部10A具备训练数据生成部101、训练数据输入部102和算法更新部103。将使计算机执行深度学习处理的程序安装到处理部10A的存储部13或存储器12，并由CPU11执行该程序来实现这些功能模块。窗口尺寸数据库104和算法数据库105存储于处理部10A的存储部13或存储器12。

拍摄装置300预先拍摄学习用的标本的第1训练用图像70R1、第2训练用图像71R1、第3训练用图像70R2、第4训练用图像71R2、第5训练用图像70R3、第6训练用图像71R3，并预先存储于处理部10A的存储部13或存储器12。神经网络50例如与解析对象标本来自的组织的类别（例如组织名）相对应，并预先存储于算法数据库105。

深度学习装置100A的处理部10A进行图11所示的处理。使用图10所示的各功能模块进行说明的话，训练数据生成部101进行步骤S10到S14、S19及S20的处理。训练数据输入部102进行步骤S15的处理。算法更新部103进行步骤S16到S18的处理。

在以下说明的步骤S10到S20中，以第1训练用图像70R1及第2训练用图像71R1这1配对、第3训练用图像70R2及第4训练用图像71R2这1配对、第5训练用图像70R3及第6训练用图像71R3这1配对的深度学习处理进行说明。

处理部10A按照深度学习方法的概要部分记载的方法进行用于生成第1层结构训练数据74R1、第2层结构训练数据74R2及第3层结构训练数据74R3的深度学习处理。处理部10A例如通过检查者通过输入部16所进行的操作将包含第1训练用图像70R1的区域在内的大片区域的图像（切片图像70W）显示于输出部17。进行判定的检查者用肉眼观察确认显示于输出部17的切片图像70W的图像。检查者例如介由输入部16指定被其判定为包含第1层结构的切片图像70W中的区域，并在切片图像70W中例如用红色等的实线圈出。检查者针对第2层结构及第3层结构也同样地对切片图像70W中的区域例如用和红色不同的蓝色、绿色等实线圈出。也可以设计为：处理部10A通过I／F部15例如经由网络99获取已完成判定的切片图像70W而不是将切片图像70W显示于输出部17并由检查者进行判断。

处理部10A通过检查者通过输入部16进行的指定，切下从切片图像70W中用红色的实线圈出的区域获取的第1训练用图像70R1并使第1训练用图像70R1 包含一定像素数。同样地，从被判定为第2层结构及第3层结构的部分也分别切下第3训练用图像70R2、第5训练用图像70R3并使切下的第3训练用图像70R2、第5训练用图像70R3包含一定像素数。

在步骤S10中，处理部10A从切下的第1训练用图像70R1生成R、G、B各颜色的色密度编码图72R1r、72R1g、72R1b作为第1训练数据72R1r、72R1g、72R1b。通过将分阶表示第1训练用图像70R1的各像素的R、G、B各颜色的色密度值的符号赋予各像素从而生成色密度编码图72R1r、72R1g、72R1b。在本实施方式中，将色密度值用从值0到值255的256阶表示，针对各R、G、B层次图像分别生成色密度编码图72R1r、72R1g、72R1b。关于色密度值的分配，例如最低亮度设为色密度值0，随着亮度的程度增加逐渐分配高值，最高亮度设为色密度值255。分别从第3训练用图像70R2、第5训练用图像70R3同样地生成第3训练数据72R2r、72R2g、72R2b、第5训练数据72R3r、72R3g、72R3b。

在步骤S11中，处理部10A生成表示第1训练用图像70R1、第3训练用图像70R2、第5训练用图像70R3分别是第1层结构、第2层结构及第3层结构的第1预训练数据70R1L、第3预训练数据70R2L、第5预训练数据70R3L。

具体来说，将第1训练用图像70R1的各像素例如赋予值“1”作为表示第1层结构的标签值，以此作为第1预训练数据70R1L。将第3训练用图像70R2的各像素例如赋予值“2”作为表示第2层结构的标签值，以此作第3预训练数据70R2L。将第5训练用图像70R3的各像素例如赋予值“3”作为表示第3层结构的标签值，以此作为第5预训练数据70R3L。

在步骤S12中，处理部10A按照检查者通过输入部16进行的指定针对与第1训练用图像70R1相对应的部位使将荧光核染色图像切下的第2训练用图像71R1的各像素的层次二值化，生成表示学习对象组织的核区域的第2预训练数据71R1N。处理部10A按照检查者通过输入部16进行的指定针对与第3训练用图像70R2相对应的部位将从荧光核染色图像切下的第4训练用图像71R2的各像素的层次二值化，生成表示学习对象的组织的核区域的第4预训练数据71R2N。处理部10A根据检查者通过输入部16进行的指定针对与第5训练用图像70R3相对应的部位将从荧光核染色图像切下的第6训练用图像71R3的各像素的层次二值化，生成表示学习对象组织的核区域的第6预训练数据71R3N。

在步骤S13a中，处理部10A从第1预训练数据70R1L和第2预训练数据71R1N生成第2训练数据73R1。

在步骤S13b中，处理部10A从第3预训练数据70R2L和第4预训练数据71R2N生成第4训练数据73R2。

在步骤S13c中，处理部10A从第5预训练数据70R3L和第6预训练数据71R3N生成第6训练数据73R3。

在步骤S14中，处理部10A通过输入部16接受来自深度学习装置100A侧的检查者的、对学习用的组织的类别的输入。处理部10A基于输入的组织的类别参照窗口尺寸数据库104（窗口尺寸DB104）设定窗口尺寸，参照算法数据库105（算法DB105）设定使用于学习的神经网络50。窗口尺寸例如是113×113像素。该像素尺寸例如是在40倍拍摄的图像中的尺寸。作为示例，该尺寸满足2个到9个左右的数个细胞中至少1个细胞的细胞核区域的整体形状包含于窗口内。窗口尺寸是进行1次输入时输入至神经网络50的训练数据的单位，窗口尺寸的第1层结构训练数据75R1的像素数和图像所含有的颜色的原色数的乘积与输入层50a的节点数相对应。窗口尺寸与组织的类别相对应，预先存储在窗口尺寸数据库104内。

在步骤S15中，处理部10A从色密度编码图72R1r、72R1g、72R1b也就是第1训练数据72R1r、72R1g、72R1b及第2训练数据73R1生成窗口尺寸的第1层结构训练数据75R1。具体来说，在上述的“深度学习方法的概要”中，如参照图4（a）至（c）的说明，通过窗口W1，从组合第1训练数据72R1r、72R1g、72R1b及第2训练数据73R1所得第1层结构训练数据74R1生成窗口尺寸的第1层结构训练数据75R1。处理部10A从色密度编码图72R2r、72R2g、72R2b也就是第3训练数据72R2r、72R2g、72R2b及第4训练数据73R2生成窗口尺寸的第2层结构训练数据75R2。具体来说，上述的“深度学习方法的概要”中，如参照图4（a）至（c）及图5（a）的说明，通过窗口W1，从组合色密度编码图72R2r、72R2g、72R2b也就是第3训练数据72R2r、72R2g、72R2b及第4训练数据73R2所得的第2层结构训练数据74R2生成窗口尺寸的第2层结构训练数据75R2。处理部10A从色密度编码图72R3r、72R3g、72R3b也就是第5训练数据及第6训练数据73R3生成窗口尺寸的第3层结构训练数据75R3。具体来说，在上述的“深度学习方法的概要”中，如参照图4（a）至（c）及图5（b）的说明，通过窗口W1，从组合色密度编码图72R3r、72R3g、72R3b也就是第5训练数据及第6训练数据73R3所得的第3层结构训练数据74R3生成窗口尺寸的第3层结构训练数据75R3。

在图11所示的步骤S16中，处理部10A使用窗口尺寸的第1层结构训练数据75R1、第2层结构训练数据75R2及第3层结构训练数据75R3使神经网络50进行学习。每次使用窗口尺寸的第1层结构训练数据75R1、第2层结构训练数据75R2及第3层结构训练数据75R3使神经网络50学习时神经网络50的学习结果都会被积累下来。

在实施方式所涉及的图像解析方法中使用卷积神经网络，为使用随机梯度下降法，在步骤S17中，处理部10A判断是否积累了预先规定的一定的试行次数相应的学习结果。当积累了一定的试行次数相应的学习结果时，处理部10A进行步骤S18的处理，当没积累一定的试行次数相应的学习结果时，处理部10A进行步骤S19的处理。

当积累了一定的试行次数相应的学习结果时，在步骤S18中，处理部10A使用在步骤S16中积累的学习结果更新神经网络50的连接权值w。在实施方式所涉及的图像解析方法中，为使用随机梯度下降法，在积累了一定的试行次数相应的学习结果的阶段更新神经网络50的连接权值w。具体来说，更新连接权值w的处理是实施后述的（式11）及（式12）所示的用梯度下降法进行运算的处理。

在步骤S19中，处理部10A判断是否针对第1层结构训练数据74R1、第2层结构训练数据74R2及第3层结构训练数据74R3分别处理了各层结构训练数据内的规定数的像素。针对各层结构训练数据的规定数的像素进行了从步骤S16到步骤S18的一系列的处理时结束深度学习处理。不一定要针对层结构训练数据74R1、74R2、74R3的全部像素进行神经网络的学习，处理部10A能针对层结构训练数据74R1、74R2、74R3图像内的一部分像素，即规定数的像素进行处理并学习。规定数的像素也可以是层结构训练数据74R1、74R2、74R3内的全部像素。

当层结构训练数据中未处理规定数的像素时，在步骤S20中，如图4（c）所示，处理部10A使窗口的中心位置在第1层结构训练数据74R1内、第2层结构训练数据74R2内或第3层结构训练数据74R3内以1像素为单位移动。之后，处理部10A在移动后的新窗口位置进行从步骤S15到步骤S18的一系列的处理。即，步骤S15中，处理部10A在移动后的新窗口位置分别针对第1层结构训练数据74R1、第2层结构训练数据74R2及第3层结构训练数据74R3切下窗口尺寸的各层结构训练数据75R1、75R2、75R3。接下来在步骤S16中，处理部10A使用新切下的窗口尺寸的各层结构训练数据75R1、75R2、75R3使神经网络50进行学习。在步骤S17中，当积累了一定的试行次数相应的学习结果时，在步骤S18中，处理部10A更新神经网络50的连接权值w。分别针对第1层结构训练数据74R1、第2层结构训练数据74R2及第3层结构训练数据74R3的规定数的像素进行如上所述的以窗口尺寸为单位的神经网络50的学习。

如以上说明，进一步针对第1训练用图像70R1与第2训练用图像71R1的多个配对、第3训练用图像70R2与第4训练用图像71R2的多个配对、第5训练用图像70R3与第6训练用图像71R3的多个配对反复进行步骤S10到S20的深度学习处理，从而提高神经网络50的学习的程度。由此得到图6所示的神经网络结构的深度学习算法60。

・神经网络的结构

如图12（a）所示，在第1实施方式中使用深度学习式的神经网络。如图12所示的神经网络50，深度学习式的神经网络具备输入层50a、输出层50b、输入层50a及输出层50b之间的中间层50c，其中中间层50c由数个层构成。构成中间层50c的层数例如可以是5层以上。

在神经网络50中，层状配置的数个节点89在层间结合。由此，信息仅沿图中箭头D所示的一个方向从输入侧的层50a向输出侧的层50b传播。在本实施方式中，输入层50a的节点数与所输入的图像的像素数即图4（c）所示的窗口W1的像素数和各像素所含有的颜色的原色数的乘积相对应。由于可以将图像的像素数据（色密度值）输入至输入层50a，因此用户不用从输入图像单独计算特征量，而直接将输入图像输入至输入层50a。

・各节点的计算

图12（b）是各节点的计算示意图。各节点89接收数个输入，运算出1个输出（z）。如图12（b）的示例节点89接收4个输入。节点89接收的总输入（u）用以下（式1）表示。

【数1】

各输入分别乘以不同的权值。在（式1）中，b为叫做偏差的值。节点的输出（z）是对（式1）表示的总输入（u）的一定函数f的输出，用以下（式2）表示。函数f叫做激活函数。

【数2】

图12（c）是节点间的计算的示意图。在神经网络50中，针对用（式1）表示的总输入（u）输出用（式2）表示的结果（z）的节点呈层状排列。前一层的节点的输出是下一层的节点的输入。在图12（c）的示例中，图中左侧的层的节点89a的输出是图中右侧的层的节点89b的输入。右侧的层的各节点89b分别接收来自左侧的层的节点89a的输出。左侧的层的各节点89a和右侧的层的各节点89b之间的各连接乘以不同的权值。设左侧的层的数个节点89a的输出分别为x₁～x₄时，那么针对右侧的层的3个节点89b的输入分别用以下（式3－1）～（式3－3）表示。

【数3】

将（式3－1）～（式3－3）概括后得到（式3－4）。这里i＝1,……,I、j＝1,……,J。

【数4】

将（式3－4）适用于激活函数后得到输出。输出用以下（式4）表示。

【数5】

・激活函数

在本实施方式所涉及的图像解析方法中，使用线性整流函数（rectified linear unitfunction）作为激活函数。线性整流函数用以下（式5）表示。

【数6】

（式5）是z＝u的线性函数中，在u＜0的部分中u＝0时的函数。在图12（c）的示例中，根据（式5），j＝1节点处的输出用以下式表示。

【数7】

・神经网络的学习

设使用神经网络所体现的函数为y(x:w)，则函数y(x:w)会随着神经网络的参数w变化而变化。为了使神经网络针对输入x选择更合适的参数w而对函数y（x:w）进行调整，将这称为神经网络的学习。给定数个使用神经网络表现的由函数的输入和输出构成的组合。如果针对某输入x而言优选的输出是d时，则输入输出的组合是{(x₁,d₁)，(x₂,d₂)，……，(x_n,d_n)}。用(x,d)表示的各组的集合称为训练数据。具体来说，如图4（b）所示的R、G、B各颜色的单色图像中每个像素的色密度值和真值图像的标签所成组合的集合是图4（a）所示的训练数据。

神经网络的学习指的是：针对所有输入输出的组合(x_n,d_n)调整权值w以使给定输入x_n时的神经网络的输出y(x_n:w)尽量接近输出d_n。

【数8】

误差函数（error function）是衡量使用神经网络所表现的函数和训练数据的接近程度的尺度。误差函数也叫损失函数（loss function）。在本实施方式所涉及的图像解析方法中，使用的误差函数E（w）用以下（式6）表示。（式6）称做交叉熵（cross entropy）。

【数9】

就（式6）的交叉熵的算法进行说明。在本实施方式所涉及的图像解析方法中，使用的神经网络50的输出层50b中，即神经网络的最终层中，使用根据内容将输入x分类为有限个级别的激活函数。激活函数称为柔性最大值函数（softmax function），用以下（式7）表示。另外，输出层50b排列有和级别数k相同数目的节点。输出层L的各节点k（k＝1，……K）的总输入u由前层L－1的输出u_k ^（L）给出。由此输出层的第k个节点的输出用以下（式7）表示。

【数10】

（式7）是柔性最大值函数。通过（式7）确定的输出y₁，……，y_K的总和总是为1。

如果将各级别表示为C₁，……，C_K，则输出层L的节点k的输出y_k（即u_k ^（L））表示给定的输入x属于级别C_k的概率。在此参照以下（式8）。输入x被分类为用（式8）表示的概率最大时的级别。

【数11】

在神经网络的学习中，将用神经网络表示的函数视为各级别的后验概率（posteriorprobability）的模型，在这样的概率模型之下，评价与训练数据相对应的权值w的似然（likelihood），选择使似然最大化的权值w。

仅在输出是正确级别的情况下将通过（式7）的柔性最大值函数得到的目标输出d_n记为1，其他情况的输出记为0。当将目标输出用d_n＝［d_n1，……，d_nK］这样的矢量形式表示时，例如当输入x_n的正确级别为C₃时，则仅目标输出d_n3记为1，其余的目标输出记为0。像这样编码后，则后验分布（posterior）用以下（式9）表示。

【数12】

与训练数据｛（x_n,d_n）｝（n＝1，……，N）相对的权值w的似然L（w）用以下（式10）表示。取似然L（w）的对数并对符号进行反转后，就能导出（式6）的误差函数。

【数13】

学习的意思是针对神经网络的参数w将以训练数据为基础所计算的误差函数E（w）最小化。在本实施方式所涉及的图像解析方法中，误差函数E（w）用（式6）表示。

针对参数w将误差函数E（w）最小化的含义和求函数E（w）的局部极小点的含义相同。参数w是节点间的连接的权值。权值w的极小点通过迭代计算获得，该迭代计算是以任意的初始值作为出发点通过反复更新参数w的计算。如上运算的一例为梯度下降法（gradientdescent method）。

在梯度下降法中，使用用以下（式11）表示的矢量。

【数14】

在梯度下降法中，多次反复进行使当下的参数w的值向负的梯度方向（即－∇E）移动的处理。若当下的权值为w^（t），移动后的权值为w^（t＋1）时，则用梯度下降法进行的计算用以下（式12）表示。值t指的是参数w移动的次数。

【数15】

标号ϵ是决定参数w的更新量的大小的常数，被称为学习系数。通过反复进行用（式12）表示的计算，从而随着值t的増加误差函数E（w^（t））减少，参数w到达极小点。

另外，可以针对全部训练数据（n＝1，……，N）实施（式12）的计算，也可以仅针对一部分训练数据实施（式12）的计算。仅针对一部分训练数据进行的梯度下降法叫做随机梯度下降法（stochastic gradient descent）。在本实施方式所涉及的图像解析方法中使用随机梯度下降法。

・图像解析处理

参照图13，第1实施方式所涉及的图像解析装置200A的处理部20A具备解析用数据生成部201、解析用数据输入部202、解析部203和核区域检测部204。将本发明所涉及的使计算机执行图像解析处理的程序安装于处理部20A的存储部23或存储器22，并由CPU21执行该程序从而实现这些功能模块。通过存储媒介98或网络99从深度学习装置100A提供窗口尺寸数据库104和算法数据库105，并将窗口尺寸数据库104和算法数据库105存储于处理部20A的存储部23或存储器22。

解析对象组织的解析对象图像78由拍摄装置400预先拍摄，并预先存储于处理部20A的存储部23或存储器22。包含已完成学习的连接权值w的深度学习算法60与解析对象组织的标本所源自的组织的种类相对应地存储于算法数据库105，作为使计算机执行图像解析处理的程序的一部分，即程序模块发挥作用。即，深度学习算法60在具备CPU及存储器的计算机使用，使计算机发挥与使用目的相对应的特有的信息的计算或加工的功能，即是输出解析对象组织中表示层结构的数据。具体来说，处理部20A的CPU21根据存储于存储部23或存储器22的深度学习算法60所规定的算法，进行以已完成学习的连接权值w为基础的神经网络60的计算。处理部20A的CPU21针对输入至输入层60a的、拍摄了解析对象组织而得的解析对象图像78进行计算，并从输出层60b输出表示解析对象组织的层结构的数据即标签值83。

参照图14，图像解析装置200A的处理部20A进行图12所示的处理。使用图13所示的各功能模块进行说明，解析用数据生成部201进行步骤S21及S22的处理。解析用数据输入部202进行步骤S23、S24、S26及S27的处理。解析部203进行步骤S25及S28的处理。核区域检测部204进行步骤S29的处理。

在步骤S21中，处理部20A例如依据用户从输入部26输入的处理开始的指令从输入的解析对象图像78生成R、G、B各颜色的色密度编码图79r、79g、79b。色密度编码图79r、79g、79b为解析对象数据。色密度编码图79r、79g、79b的生成方法与图11所示的深度学习处理中的步骤S10的生成方法相同。

在图14所示的步骤S22中，处理部20A通过输入部26接受图像解析装置200A侧的用户对组织类别的输入作为解析条件。处理部20A基于输入的组织的类别，参照窗口尺寸数据库104及算法数据库105设定使用于解析的窗口尺寸，并获取使用于解析的深度学习算法60。窗口尺寸是进行1次输入时输入至神经网络60的解析用数据的单位，窗口尺寸的解析用数据80的像素数和图像所含有的颜色的原色数的乘积与输入层60a的节点数相对应。窗口尺寸与组织的类别相对应，预先存储在窗口尺寸数据库104内。如图6所示的窗口W2，窗口尺寸例如为3×3像素。深度学习算法60也与组织的类别相对应，预先存储于图13所示的算法数据库105内。

在图14所示的步骤S23中，处理部20A从色密度编码图79r，79g，79b生成窗口尺寸的解析用数据80。

在步骤S24中，处理部20A将图6所示的解析用数据80输入深度学习算法60。窗口的初始位置与深度学习处理时的步骤S16相同，其位置满足：例如位于窗口内的3×3像素的中心的像素与解析对象图像的左上角的位置相对应。处理部20A将窗口尺寸的解析用数据80所包含的3×3像素×3原色得到的共计27个色密度值的数据81输入至输入层60a后，深度学习算法60将判别结果82输出至输出层60b。

在图14所示的步骤S25中，处理部20A存储图6所示的输出至输出层60b的判别结果82。判别结果82是位于解析对象即色密度编码图79r、79g、79b的中心像素的推定值（4值）。

在图14所示的步骤S26中，处理部20A判断是否处理了解析对象数据内的全部像素。然后，若解析对象数据内的全部像素都进行了图14所示的步骤S23到步骤S25的一系列的处理时，进行步骤S28的处理。

当没处理解析对象数据内的全部像素时，则在步骤S27中，处理部20A与深度学习处理时的步骤S20同样地使窗口W2的中心位置在解析对象数据内以1像素为单位移动。之后，处理部20A在移动后的新窗口W2的位置进行步骤S23到步骤S25的一系列的处理。在步骤S25中，处理部20A存储与移动后的新窗口位置相对应的判别结果82。针对解析对象图像内的全部像素如上所述地以窗口尺寸为单位分别存储判别结果82从而得到解析结果的标签值83。解析结果的标签值83的图像尺寸与解析对象图像的图像尺寸相同。这里，标签值83可以是向各像素赋予作为推定值的值3、值2、值1及值0所得数值数据，也可以用其他方式替代作为推定值的值3、值2、值1及值0，例如，采用与值3、值2、值1及值0分别相对应的显示用颜色所表示的图像。

在图14所示的步骤S28中，处理部20A将解析结果的标签值83输出至输出部27。

接续步骤S28，在步骤S29中，处理部20A针对解析结果的标签值83进一步进行核区域检测处理。在标签值83中，用4个值区分表示第1层结构的细胞的核区域、第2层结构的细胞的核区域、第3层结构的细胞的核区域和核区域以外的区域。

可选地，处理部20A可以创建用与标签值相对应的颜色显示所获得的标签值83的层结构核区域强调图像84。处理部20A将生成的层结构核区域强调图像84输出至输出部27，结束图像解析处理。

图19是显示图像处理结果的用户界面（显示于输出部27）的例子。显示界面700具备在解析对象图像78上标示各层的边界的显示区域701、表示各层的厚度的层结构显示区域702、显示疾病等级（例如悉尼系统下的胃炎等级）的疾病等级显示区域703。通过如上方案不依靠病理医师的眼睛就能进行从解析到结果显示的作业。

如图20所示，要显示疾病等级时，处理部20A基于各层结构的细胞的核区域的分布算出各层结构的厚度（步骤S41）。接下来，处理部20A比较存储于存储部23的各层结构的厚度的基准值和在步骤S41算出的各层结构的厚度（步骤S42）。处理部20A根据与存储于存储部23的各层结构的厚度的基准值相对应的疾病等级（胃炎的悉尼系统的话是正常、轻度、中度、高度）判定解析对象图像78所含有的组织的疾病等级（步骤S43）。

以上，图像解析装置200A的用户能通过将解析对象的组织的解析对象图像78输入至图像解析装置200A从而获取标签值83作为解析结果。标签值83表示解析对象的标本中的第1层结构的细胞的核区域、第2层结构的细胞的核区域、第3层结构的细胞的核区域和核区域以外的区域，用户能在解析对象的标本中判别各层结构的核区域。

另外，图像解析装置200A的用户能获取层结构核区域强调图像84作为解析结果。例如，在解析对象的解析对象图像78用颜色填涂核区域从而生成层结构核区域强调图像84。另外，在其他技术方案中，通过叠加各层结构的核区域与除此之外的区域之间的边界线从而生成层结构核区域强调图像84。由此，用户能在解析对象组织中一眼掌握各层结构的核区域，并能一眼掌握层结构。

体现出解析对象标本中构成组织的层结构可以帮助不熟识标本的人掌握各层结构。

＜第2实施方式＞

以下针对和第1实施方式所涉及的图像解析系统不同的点对第2实施方式所涉及的图像解析系统进行说明。

［结构的概要］

参照图15，第2实施方式所涉及的图像解析系统具备用户侧装置200，用户侧装置200作为综合型的图像解析装置200B进行作业。图像解析装置200B例如由通用计算机构成，进行第1实施方式中说明过的深度学习处理及图像解析处理这两类处理。即，第2实施方式所涉及的图像解析系统是在用户侧进行深度学习及图像解析的独立运行型的系统。第2实施方式所涉及的图像解析系统在设置于用户侧的综合型的图像解析装置200B负责第1实施方式所涉及的深度学习装置100A及图像解析装置200A这两者的功能这一点上与第1实施方式所涉及的图像解析系统不同。

图像解析装置200B连接于拍摄装置400。拍摄装置400在进行深度学习处理时获取学习用的组织的训练用图像，在进行图像解析处理时获取解析对象组织的解析对象图像78。

［硬件结构］

图像解析装置200B的硬件结构与图9所示的用户侧装置200的硬件结构相同。

［功能模块及处理过程］

参照图16，第2实施方式所涉及的图像解析装置200B的处理部20B具备训练数据生成部101、训练数据输入部102、算法更新部103、解析用数据生成部201、解析用数据输入部202、解析部203和核区域检测部204。将使计算机执行深度学习处理及图像解析处理的程序安装于处理部20B的存储部23或存储器22，并由CPU21执行该程序从而实现这些功能模块。窗口尺寸数据库104和算法数据库105存储于处理部20B的存储部23或存储器22，在深度学习时及图像解析处理时通用。已完成学习的神经网络60与组织的类别或包含细胞的试样的类别相对应，预先存储于算法数据库105，通过深度学习处理更新连接权值w，作为深度学习算法60存储于算法数据库105。另外，作为训练用图像的第1训练用图像70R1、第2训练用图像71R1、第3训练用图像70R2、第4训练用图像71R2、第5训练用图像70R3、第6训练用图像71R3被拍摄装置400预先拍摄，并预先录载于处理部20B的存储部23或存储器22。解析对象标本的解析对象图像78也被拍摄装置400预先拍摄，并预先存储于处理部20B的存储部23或存储器22。

图像解析装置200B的处理部20B在深度学习处理时进行图11所示的处理，在图像解析处理时进行图14所示的处理。使用图16所示的各功能模块进行说明的话，在进行深度学习处理时，训练数据生成部101进行步骤S10到S14、S19及S20的处理。训练数据输入部102进行步骤S15的处理。算法更新部103进行步骤S16到S18的处理。在进行图像解析处理时，解析用数据生成部201进行步骤S21及S22的处理。解析用数据输入部202进行步骤S23、S24、S26及S27的处理。解析部203进行步骤S25及S28的处理。核区域检测部204进行步骤S29的处理。

第2实施方式所涉及的图像解析装置200B所进行的深度学习处理的过程及图像解析处理的过程与第1实施方式所涉及的深度学习装置100A及图像解析装置200A分别所进行处理的过程相同。另外，第2实施方式所涉及的图像解析装置200B在如下方面和第1实施方式所涉及的深度学习装置100A及图像解析装置200A不同。

深度学习处理时的步骤S14中，处理部20B通过输入部26接受图像解析装置200B的用户对学习用的组织的类别的输入。处理部20B基于输入的组织的类别参照窗口尺寸数据库104设定窗口尺寸，参照算法数据库105设定使用于学习的神经网络50。

以上，图像解析装置200B的用户能通过将解析对象图像78输入至图像解析装置200B从而获取标签值83作为解析结果。另外，图像解析装置200B的用户能获取层结构核区域强调图像84作为解析结果。

根据第2实施方式所涉及的图像解析装置200B，用户能将自己选择的种类的组织作为学习用的组织使用。这意味着神经网络50的学习不是完全交由厂商负责，用户自己能提高神经网络50的学习的程度。

＜第3实施方式＞

以下针对和第2实施方式所涉及的图像解析系统不同的点对第3实施方式所涉及的图像解析系统进行说明。

［结构的概要］

参照图17，第3实施方式所涉及的图像解析系统具备厂商侧装置100和用户侧装置200。厂商侧装置100作为综合型的图像解析装置100B进行作业，用户侧装置200作为终端装置200C进行作业。图像解析装置100B例如由通用计算机构成，是进行第1实施方式中说明过的深度学习处理及图像解析处理这两种处理的云服务器侧的装置。终端装置200C例如由通用计算机构成，是通过网络99将解析对象的图像发送至图像解析装置100B、通过网络99从图像解析装置100B接收解析结果的图像的用户侧的终端装置。

第3实施方式所涉及的图像解析系统在设置于厂商侧的综合型的图像解析装置100B负责第1实施方式所涉及的深度学习装置100A及图像解析装置200A这两者的功能这一点上与第2实施方式所涉及的图像解析系统相同。另一方面，第3实施方式所涉及的图像解析系统具备终端装置200C，将解析对象的图像的输入接口和解析结果的图像的输出接口提供给用户侧的终端装置200C，在这一点上和第2实施方式所涉及的图像解析系统不同。即，第3实施方式所涉及的图像解析系统是进行深度学习处理及图像解析处理的厂商侧将解析对象的图像及解析结果的图像的输入输出接口提供给用户侧的云服务型的系统。

图像解析装置100B连接于拍摄装置300，获取用拍摄装置300拍摄的学习用的组织的训练用图像。

终端装置200C连接于拍摄装置400，获取拍摄装置400拍摄的解析对象的组织的解析对象图像78。

［硬件结构］

图像解析装置100B的硬件结构与图8所示的厂商侧装置100的硬件结构相同。终端装置200C的硬件结构与图9所示的用户侧装置200的硬件结构相同。

［功能模块及处理过程］

参照图18，第3实施方式所涉及的图像解析装置100B的处理部10B具备训练数据生成部101、训练数据输入部102、算法更新部103、解析用数据生成部201、解析用数据输入部202、解析部203和核区域检测部204。将使计算机执行深度学习处理及图像解析处理的程序安装于处理部10B的存储部13或存储器12，并由CPU11执行该程序从而实现这些功能模块。窗口尺寸数据库104和算法数据库105存储于处理部10B的存储部13或存储器12，两者在深度学习及图像解析处理时通用。神经网络50与组织的类别相对应地预先收纳于算法数据库105中，通过深度学习处理更新连接权值w，作为深度学习算法60存储于算法数据库105中。

另外，作为训练用图像的第1训练用图像70R1、第2训练用图像71R1、第3训练用图像70R2、第4训练用图像71R2、第5训练用图像70R3、第6训练用图像71R3被拍摄装置300预先拍摄，并预先录载于处理部10B的存储部13或存储器12中。解析对象的组织的解析对象图像78也被拍摄装置400预先拍摄，并预先存储于终端装置200C的处理部20C的存储部23或存储器22中。

图像解析装置100B的处理部10B在深度学习处理时进行图11所示的处理，在图像解析处理时进行图14所示的处理。使用图18所示的各功能模块进行说明的话，在进行深度学习处理时，训练数据生成部101进行步骤S10到S14、S19及S20的处理。训练数据输入部102进行步骤S15的处理。算法更新部103进行步骤S16到S18的处理。在进行图像解析处理时，解析用数据生成部201进行步骤S21及S22的处理。解析用数据输入部202进行步骤S23、S24、S26及S27的处理。解析部203进行步骤S25及S28的处理。核区域检测部204进行步骤S29的处理。

第3实施方式所涉及的图像解析装置100B所进行的深度学习处理的过程及图像解析处理的过程与第1实施方式所涉及的深度学习装置100A及图像解析装置200A分别所进行的过程相同。另外，第3实施方式所涉及的图像解析装置100B在下面四个方面与第1实施方式所涉及的深度学习装置100A及图像解析装置200A不同。

在进行图14所示的图像解析处理时的步骤S21中，处理部10B从用户侧的终端装置200C接收解析对象组织的解析对象图像78，并从接收的解析对象图像78生成R、G、B各颜色的色密度编码图79r、79g、79b。色密度编码图79r、79g、79b的生成方法与图11所示的深度学习处理时的步骤S10的生成方法相同。

在进行图14所示的图像解析处理时的步骤S22中，处理部10B通过终端装置200C的输入部26接受终端装置200C的用户对组织的类别的输入作为解析条件。处理部10B基于输入的组织的类别，参照窗口尺寸数据库104及算法数据库105设定使用于解析的窗口尺寸并获取使用于解析的深度学习算法60。

在进行图像解析处理时的步骤S28中，处理部10B将解析结果的标签值83发送至用户侧的终端装置200C。在用户侧的终端装置200C中，处理部20C将接收的解析结果的标签值83输出至输出部27。

接续步骤S28，在进行图像解析处理时的步骤S29中，处理部10B针对解析结果的标签值83进一步进行核区域的检测处理。处理部10B也可以生成将标签值83用与标签值相对应的颜色显示的层结构核区域强调图像84，但这一步骤不是必须的。处理部10B将生成的层结构核区域强调图像84发送至用户侧的终端装置200C。在用户侧的终端装置200C中，处理部20C将接收的层结构核区域强调图像84输出至输出部27，结束图像解析处理。

以上，终端装置200C的用户能通过将解析对象组织的解析对象图像78发送至图像解析装置100B从而获取标签值83作为解析结果。另外，终端装置200C的用户能获取层结构核区域强调图像84作为解析结果。

根据第3实施方式所涉及的图像解析装置100B，用户不用从深度学习装置100A获取窗口尺寸数据库104及算法数据库105就能享受图像解析处理的结果。由此，能以云服务的方式提供判别各层结构的核区域并展示各组织的各层结构的服务作为解析解析对象组织的服务。

全国的病理医师的数量不足。通常病理医师在城市的大医院工作，而在偏远地区的医疗机构、城市的诊所等规模较小的医疗机构几乎没有病理医师。通过图像解析装置100B及终端装置200C提供的云服务可以帮助像这样的偏远地区或规模较小的医疗机构的组织诊断。

［计算机程序］

本发明的实施方式包含使处理部10A、20B、10B执行所述步骤S10到S20，并生成已完成学习的深度学习算法的计算机程序及其产品。另外，本发明的实施方式包含使处理部10A、20B、10B执行所述步骤S21到S29，并对采自被检物的组织的图像的进行解析功能的计算机程序及其产品。

［其他实施方式］

以上，通过概要及特定的实施方式说明了本发明，但本发明不限于上述概要及各实施方式。

在上述第1到第3实施方式中，在步骤S14中，处理部10A、20B、10B参照窗口尺寸数据库104设定窗口尺寸的像素数，但也可由操作者或用户直接设定窗口尺寸。此时不需要窗口尺寸数据库104。

在上述第1到第3实施方式中，在步骤S14中，处理部10A、20B、10B基于输入的组织的类别设定窗口尺寸的像素数，但也可输入组织的尺寸而不是输入组织的类别。处理部10A、20B、10B只要基于输入的组织的尺寸参照窗口尺寸数据库104设定窗口尺寸的像素数即可。在步骤S22中也可和步骤S14同样地输入组织的尺寸而不是输入组织的类别。处理部20A、20B、10B只要基于输入的组织的尺寸参照窗口尺寸数据库104及算法数据库105设定窗口尺寸的像素数并获取神经网络60即可。

关于输入组织的尺寸的技术方案，可以将尺寸作为数值直接输入，例如也可以将输入的用户接口设计为下拉菜单，让用户选择与用户要输入的尺寸相对应的一定的数值范围并输入。

另外，在步骤S14及步骤S22中，除组织的类别或组织的尺寸之外，还可以输入拍摄训练用图像及解析对象图像78时的拍摄倍率。关于输入拍摄倍率的技术方案，可以将倍率作为数值直接输入，例如也可以将输入的用户接口设计为下拉菜单，使用户选择与用户要输入的倍率相对应的一定的数值范围并输入。

在上述第1到第3实施方式中，在进行深度学习处理及图像解析处理时，为便于说明将窗口尺寸设定为3×3像素，但窗口尺寸的像素数不限于此。窗口尺寸例如可以根据组织的类别设定。此时，只要窗口尺寸的像素数和图像所含有的颜色的原色数的乘积与神经网络50、60的输入层50a、60a的节点数相对应即可。

在步骤S14中，也可设计为：处理部10A、20B、10B获取窗口尺寸的像素数，另外将获取的窗口尺寸的像素数基于输入的拍摄倍率进行修正。

在上述第1到第3实施方式中，在步骤S18中，处理部10A、20B、10B将深度学习算法60与组织的类别一一对应并存储于算法数据库105。这一方案也可被下述方案取代：在步骤S18中，处理部10A、20B、10B将1个深度学习算法60对应数个组织类别并存储于算法数据库105。

在上述第1到第3实施方式中，通过光的3原色组合、或颜色的3原色组合规定色相，但色相的数量不限于3。色相的数量可以是红（R）、绿（G）、蓝（B）再加上黄（Y）的4原色，也可以是从红（R）、绿（G）、蓝（B）3原色减去任意1色相后的2原色。或者也可以是红（R）、绿（G）、蓝（B）3原色中的任意1者（例如绿（G）），即1原色。例如使用众所周知的显微镜或虚拟切片扫描仪等获取的明视场图像70R1、70R2、70R3及解析对象图像78也不限于红（R）、绿（G）、蓝（B）3原色的彩色图像，可以是2原色的彩色图像，只要是包含1种以上原色的图像即可。

在上述第1到第3实施方式中，在步骤S10中，处理部10A、20B、10B生成各原色的8位（256阶）的单色图像作为训练用图像的各色密度编码图（色密度编码图70R1r、70R1g、70R1b、色密度编码图70R2r、70R2g、70R2b、色密度编码图70R3r、70R3g、70R3b），但生成各色密度编码图时的原色的层次不限于8位。各色密度编码图的层次可以取决于切片图像扫描仪的拍摄条件。例如可以使1位以上的2位、4位、16位、24位的图像。同样地，在步骤S21中，处理部20A、20B、10B生成每种原色的单色图像作为色密度编码图79r、79g、79b，但生成色密度编码图时的原色的层次不限于3层次。生成色密度编码图时的原色不限于8位。色密度编码图79r、79g、79b的层次可以取决于切片图像扫描仪的拍摄条件。例如可以使1位以上的、2位、4位、16位、24位的图像。训练用图像的各色密度编码图及色密度编码图79r、79g、79b的层次优选全部为相同层次。

在上述第1到第3实施方式中，在步骤S10中，处理部10A、20B、10B从训练用图像生成各色密度编码图，但也可以使用预先使各像素按照层次编码所得的矩阵表作为训练用图像。处理部10A、20B、10B例如可以通过虚拟切片扫描仪等直接获取各色密度编码图作为训练用图像。同样地，在步骤S21中，处理部20A、20B、10B从解析对象图像78生成R、G、B各颜色的色密度编码图79r、79g、79b，但也可使用预先使各像素按照层次编码所得的矩阵表作为解析用图像。即，处理部20A、20B、10B例如可以用虚拟切片扫描仪等直接获取色密度编码图79r、79g、79b。

在上述第1到第3实施方式中，从训练用图像生成各色密度编码图时的色域使用RGB，但色域不限于RGB。除RGB以外，能使用YUV、CMY及CIE L^＊a^＊b^＊等各种色域。

在上述第1到第3实施方式中，层结构训练数据及解析用数据80中，各像素密度值按红（R）、绿（G）、蓝（B）的顺序存储，但收纳及处理密度值的顺序不限于此。例如密度值可以按蓝（B）、绿（G）、红（R）的顺序收纳，只要各层结构训练数据的密度值的排列顺序和解析用数据80的密度值的排列顺序相同即可。

在上述第1到第3实施方式中，在步骤S12中，处理部10A、20B、10B使输入的第2训练用图像71R1、第4训练用图像71R2及第6训练用图像71R3的各像素的层次二值化生成第2预训练数据71R1N、第4预训练数据71R2N及第6预训练数据71R3N，但也可获取预先二值化的第2预训练数据71R1N、第4预训练数据71R2N及第6预训练数据71R3N。

在上述第1到第3实施方式中，处理部10A、10B被设计为一体的装置，但处理部10A、10B不一定要设计为一体的装置，可以设计为：CPU11、存储器12、存储部13等配置于其他地方，并用网络将其连接。处理部10A、10B、输入部16和输出部17不一定必须配置在一处，可以设计为：分别配置于其他地方，并互相用网络连接并能通信。关于处理部20A、20B、20C也和处理部10A、10B相同。

在上述第1到第3实施方式中，训练数据生成部101、训练数据输入部102、算法更新部103、解析用数据生成部201、解析用数据输入部202、解析部203及核区域检测部204的各功能模块在单个CPU11或单个CPU21中执行，但这些各功能模块不一定必须在单个的CPU中执行，可以在数个CPU分散执行。另外，上述各功能模块可以在数个GPU分散执行，也可以在数个CPU和数个GPU分散执行。

在上述第2及第3实施方式中，将用于进行用图11及图14说明的各步骤的处理的程序预先存储于存储部13、23。这一方案也可以被下述方案取代：通过例如DVD－ROM、USB存储器等的、计算机可读取的且非暂时性的有形的存储媒介98将程序安装至处理部10B、20B。或者可设计为：将处理部10B、20B和网络99连接，介由网络99例如从外部的服务器（无图示）下载程序并安装。

在上述第1到第3实施方式中，输入部16、26是键盘或鼠标等输入装置，输出部17、27是液晶显示器等显示装置。但也可采用替代技术方案，即，将输入部16、26和输出部17、27一体化，并设计为触摸屏式的显示装置。或者也可设计为：用打印机等构成输出部17、27，印刷并输出解析结果的标签值83或层结构核区域强调图像84。

在上述第1到第3实施方式中，拍摄装置300直接连接于深度学习装置100A或图像解析装置100B，但拍摄装置300也可以经由网络99连接于深度学习装置100A或图像解析装置100B。拍摄装置400也相同，以上说明中拍摄装置400直接连接于图像解析装置200A或图像解析装置200B，但拍摄装置400也可经由网络99连接于图像解析装置200A或图像解析装置200B。

＜已完成学习的深度学习算法的验证＞

在上述第2实施方式所示的独立运行型的系统进行了深度学习处理及图像解析处理。使用了从猴子的胃获取的正常的胃组织作为学习对象组织。使用已完成学习的深度学习算法进行图像解析处理，成功确认了解析结果妥当。

学习数据及解析数据的详情如下所述。

学习数据：12枚将全切片图像512分割的图像

验证用解析数据：2枚将全切片图像512分割的图像

［训练数据的生成及学习］

使用虚拟切片扫描仪（NanoZoomer-XR(Hamamatsu Photonics；扫描分辨力：20倍模式扫描时0.46 μm/pixel、40倍模式扫描时0.23 μm/pixel)）彩色成像了HE染色过的胃的明视场图像及DAPI染色的全切片图像（WSI）。拍摄倍率为40倍。从包含含有学习对象组织的明视场图像区域的全切片图像针对第1层结构（黏膜上皮细胞层）、第2层结构（黏膜下层）、第3层结构（肌层）各区域分别切下了第1训练用图像70R1、第3训练用图像70R2及第5训练用图像。以各层结构的明视场图像为基础使R、G、B各颜色的色密度值通过8位实现层次化，生成了R、G、B各颜色的色密度编码图。另外，赋予用于区分各层结构的标签值（第1层结构是“1”、第2层结构是“2”、第3层结构是“3”），生成了第1预训练数据70R1L、第3预训练数据70R2L及第5预训练数据70R3L。

另外，从DAPI染色过的荧光图像中将与第1训练用图像70R1、第3训练用图像70R2及第5训练用图像70R3对应的位置的图像切下作为第2训练用图像71R1、第4训练用图像71R2及第6训练用图像71R3。针对第2训练用图像71R1、第4训练用图像71R2及第6训练用图像71R3使用预先设定的阈值将色密度值二值化为细胞核的区域和除此之外的区域，生成了第2预训练数据71R1N、第4预训练数据71R2N及第6预训练数据71R3N。从第1预训练数据70R1L及第2预训练数据71R1N、第3预训练数据70R2L及第4预训练数据71R2N、第5预训练数据70R3L及第6预训练数据71R3N分别生成了第2训练数据73R2、第4训练数据73R2、第6训练数据73R3。

之后，组合第1训练数据72R1r、72R1g、72R1b和第2训练数据73R2生成了第1层结构训练数据。组合第3训练数据72R2r、72R2g、72R2b和第4训练数据73R2生成了第2层结构训练数据。组合第5训练数据72R3r、72R3g、72R3b和第6训练数据73R3生成了第3层结构训练数据。将生成的各层结构训练数据分割为113×113像素的窗口尺寸，将分割后的窗口尺寸的训练数据作为输入层使神经网络进行学习。作为示例，作为窗口尺寸采用的113×113像素这一尺寸满足2个到9个左右的数个细胞中至少1个细胞的细胞核区域的整体形状包含于窗口内。

［解析对象图像的生成］

与训练数据同样地，使用虚拟切片扫描仪彩色成像了HE染色过的猴子的胃的明视场图像的全切片图像。拍摄倍率为40倍。之后以拍摄的明视场图像为基础生成R、G、B各颜色的色密度编码图，组合生成的R、G、B各色的色密度编码图生成了解析对象图像。

［解析结果］

以解析对象图像的各像素为中心生成113×113像素的窗口尺寸的解析用数据，将生成的窗口尺寸的解析用数据输入至已完成学习的神经网络。以从神经网络输出的解析结果为基础分类为第1层结构的核区域、第2层结构的核区域、第3层结构的核区域和核区域以外的区域（背景），进行了使各层结构的核区域用白色显示、核区域以外用黑色显示的处理。解析结果如图21所示。

在图21中，（a）是对胃组织进行HE染色并拍摄而成的明视场图像，是解析对象图像。（b）是通过解析处理得到的第1层结构的核区域的示图。粘膜细胞的核区域高精度地以白色显示。（c）是通过解析处理得到的第2层结构的核区域的示图。黏膜下层的核区域高精度地以白色显示。（d）是通过解析处理得到的第3层结构的核区域的示图。胃的平滑肌层的内环肌、外纵肌的核区域均高精度地用白色显示。另外，血管的平滑肌层及黏膜肌层的平滑肌细胞的核区域也判别为第3层结构的核区域。（e）是将通过解析处理得到的第1层结构的核区域、第2层结构的核区域及第3层结构的核区域以外的区域以白色显示的图。结缔组织等的核以外的区域得以高精度的检测。（f）是将各层的判定结果重叠于第1训练图像所得的图。

根据以上结果可知，分别使正常的胃的第1层结构（黏膜上皮细胞层）、第2层结构（黏膜下层）、第3层结构（肌层）区域作为训练用图像进行了学习的深度学习算法能高精度地检测作为学习对象的胃的黏膜上皮细胞层、黏膜下层及肌层。另外，胃的肌层的学习数据也能检测出同样由平滑肌细胞构成的血管的肌层及黏膜肌层，因此本发明的已完成学习的深度算法不仅能判别组织特异性的层结构，还能针对每个细胞判别核区域来自哪种细胞。换言之，本发明的已完成学习的深度算法能针对各种组织进行判别。

符号说明

10（10A，10B）处理部

20（20A，20B，20C）处理部

11，21 CPU

12，22 存储器

13，23 存储部

14，24 总线

15，25 接口部

16，26 输入部

17，27 输出部

19，29 GPU

50 神经网络（深度学习算法）

50a 输入层

50b 输出层

50c 中间层

60 已完成学习的神经网络（已完成学习的深度学习算法）

60a 输入层

60b 输出层

60c 中间层

70W 全切片图像

70R1，70R2，70R3 学习用的明视场图像

70R1L 第1预训练数据

70R2L 第3预训练数据

70R3L 第5预训练数据

71R1，71R2，71R3 学习用的荧光图像

71R1N 第2预训练数据

71R2N 第4预训练数据

71R3N 第6预训练数据

72R1r，72R1g，72R1b 色密度编码图

72R2r，72R2g，72R2b 色密度编码图

72R3r，72R3g，72R3b 色密度编码图

73R1，73R2，73R3 训练数据

74R1，74R2，74R3 训练数据

74R1a 明视场图像的层次化的色密度值

74R1b 真值图像的标签值

75R1，75R2, 75R3 窗口尺寸的训练数据

76 色密度值

77R1，77R2，77R3 真值图像的标签值

78 解析对象的明视场图像

79r，79g，79b 解析对象的色密度编码图

80 解析用数据

81 色密度值

82 判别结果（像素的推定值）

83 解析结果的4值图像

84 核区域强调图像

89（89a，89b）节点

98 存储媒介

99 网络

100 厂商侧装置

100A 深度学习装置

100B 综合型的图像解析装置

101 训练数据生成部

102 训练数据输入部

103 算法更新部

104 窗口尺寸数据库

105 算法数据库

200 用户侧装置

200A 图像解析装置

200B 综合型的图像解析装置

200C 终端装置

201 解析用数据生成部

202 解析用数据输入部

203 解析部

204 核区域检测部

300，400 拍摄装置

301，401 图像传感器

302，402 荧光显微镜

308，408 试样组织

309，409 载物台

W1 窗口

W2 窗口

Claims

1.一种图像解析方法，

所述方法是使用神经网络结构的深度学习算法解析采自被检物的组织的图像的图像解析方法，包括：

从包括解析对象组织的解析对象图像生成解析用数据，

将所述解析用数据输入所述深度学习算法，

通过所述深度学习算法生成表示所述解析对象图像中的构成组织的层结构的数据。

2.根据权利要求1所述的图像解析方法，其特征在于：

所述解析对象图像为组织诊断用标本的图像。

3.根据权利要求1所述的图像解析方法，其特征在于：

所述解析对象图像为所述解析对象组织被染色的明视场图像。

4.根据权利要求1所述的图像解析方法，其特征在于：

通过所述深度学习算法生成表示所述解析对象组织中的至少一种层结构的核区域的数据。

5.根据权利要求4所述的图像解析方法，其特征在于：

所述层结构包括从上皮细胞层、内皮细胞层、结缔组织层及肌层中选择的至少一者。

6.根据权利要求1所述的图像解析方法，其特征在于：

所述组织采自胃、小肠或大肠，所述层结构包括从黏膜上皮细胞层、黏膜固有层、黏膜肌层、黏膜下层、固有肌层及浆膜层中选择的至少一者。

7.根据权利要求1所述的图像解析方法，其特征在于：

所述组织采自气管或支气管，所述层结构包括从黏膜上皮细胞层、黏膜固有层、平滑肌层、黏膜下层及外膜层中选择的至少一者。

8.根据权利要求1所述的图像解析方法，其特征在于：

所述组织采自子宫体部，所述层结构包括从黏膜上皮细胞层、黏膜固有层、肌层及外膜层中选择的至少一者。

9.根据权利要求1所述的图像解析方法，其特征在于：

所述组织采自胆囊，所述层结构包括从黏膜上皮细胞层、黏膜固有层、肌层及浆膜层中选择的至少一者。

10.根据权利要求1所述的图像解析方法，其特征在于：

所述组织是采自胃、小肠、大肠及子宫以外的组织的腺组织，所述层结构包括从腺上皮细胞层、肌层及结缔组织层中选择的至少一者。

11.根据权利要求1所述的图像解析方法，其特征在于：

所述组织为心脏，所述层结构包括从心内膜层、心肌层、心外膜层及心外膜下组织中选择的至少一者。

12.根据权利要求1所述的图像解析方法，其特征在于：

所述组织为血管，所述层结构包括从内皮细胞层及肌层中选择的至少一者。

13.根据权利要求1所述的图像解析方法，其特征在于：

表示构成所述组织的层结构的数据是用于分别区分并展示构成组织的数个层的类别的数据。

14.根据权利要求1所述的图像解析方法，其特征在于：

在1个解析对象图像中，针对一定像素数的每个区域生成数个解析用数据。

15.根据权利要求1所述的图像解析方法，其特征在于：

所述深度学习算法按每个像素为输入的所述解析用数据赋予表示层结构的标签值。

16.根据权利要求1所述的图像解析方法，其特征在于：

使用于所述深度学习算法的学习的训练数据从下述图像生成：

训练用明视场图像，在显微镜的明视场下拍摄对采自被检物的组织施以明视场观察用染色制作的标本的染色像而成；

训练用荧光图像，所述训练用荧光图像在荧光显微镜的荧光观察下拍摄与所述标本相对应的标本或对同一标本施以荧光核染色所制作的标本的染色像而成的细胞核的荧光图像，所述荧光图像在标本内的位置与所述获取的明视场图像在标本内的位置相对应。

17.根据权利要求16所述的图像解析方法，其特征在于：

所述训练数据使所述训练用的明视场图像的每个像素包括表示所述层结构的标签值。

18.根据权利要求16所述的图像解析方法，其特征在于：

在所述明视场图像中，针对一定像素数的每个区域分别生成所述训练数据。

19.根据权利要求1所述的图像解析方法，其特征在于：

所述深度学习算法将所述解析用数据分类为表示所述解析对象图像所含有的构成组织的层结构的级别。

20.根据权利要求1所述的图像解析方法，其特征在于：

所述神经网络的输出层是以柔性最大值函数为激活函数的节点。

21.根据权利要求1所述的图像解析方法，其特征在于：

当输入所述解析用数据时，所述深度学习算法都会针对每单位像素分别生成表示所述解析对象图像所含有的构成组织的层结构的数据。

22.根据权利要求1所述的图像解析方法，其特征在于：

根据采集了所述解析对象组织的器官生成所述深度学习算法。

23.根据权利要求22所述的图像解析方法，其特征在于：

更进一步地，根据采集了所述解析对象组织的器官准备有所述深度学习算法，使用与所述器官相对应的所述深度学习算法处理所述解析用数据。

24.根据权利要求1所述的图像解析方法，其特征在于：

基于表示所述层结构的数据算出层结构的厚度。

25.根据权利要求24所述的图像解析方法，其特征在于：

基于算出的所述层结构的厚度判定疾病的等级。

26.一种图像解析装置，

所述装置是使用神经网络结构的深度学习算法解析采自被检物的组织的图像的图像解析装置，

包括处理部，

处理部从包括解析对象组织或细胞的解析对象图像生成解析用数据，

将所述解析用数据输入所述深度学习算法，

27.一种已完成学习的深度学习算法的生成方法，包括如下步骤：

获取与训练用图像所含有的包括第1学习对象层结构的第1训练用图像相对应的第1训练数据的第1获取步骤；

获取与表示所述第1训练用图像中的核区域的第2训练用图像相对应的第2训练数据的第2获取步骤；

获取与训练用图像所含有的包括第2学习对象层结构的第3训练用图像相对的第3训练数据的第3获取步骤；

获取与表示所述第3训练用图像中的核区域的第4训练用图像相对应的第4训练数据的第4获取步骤；

获取与训练用图像所含有的包括第3学习对象层结构的第5训练用图像相对应的第5训练数据的第5获取步骤；

获取与表示所述第5训练用图像中的核区域的第6训练用图像相对应的第6训练数据的第6获取步骤；

使神经网络学习所述第1训练数据和所述第2训练数据的关系的学习步骤；

使神经网络学习所述第3训练数据和所述第4训练数据的关系的学习步骤；

使神经网络学习所述第5训练数据和所述第6训练数据的关系的学习步骤。