CN115803775A - 判断支持装置、信息处理装置和训练方法 - Google Patents

Abstract

本发明能够提高机器学习的准确性。该判断支持装置配备有推导单元(100)，该推导单元采用能够在各等级中设定类别的多级训练模型，推导通过对生物体样本成像而获得的第一病理图像的判断的估计结果。

Description

判断支持装置、信息处理装置和训练方法

技术领域

本公开涉及判断支持装置、信息处理装置和训练方法。

背景技术

近年来，已经开发出一种技术，用于通过从作为病理图像等的医疗图像输出通过学习模型获得的诊断估计结果来支持临床医生等的诊断。

现有技术文献

非专利文献

非专利文献1：Yun Liu，Krishna Gadepalli，Mohammad Norouzi，George E.Dahl，Timo Kohlberger，Aleksey Boyko，Subhashini Venugopalan，Aleksei Timofeev，PhilipQ.Nelson，Gregory S.Corrado，Jason D.Hipp，Lily Peng，Martin C.Stumpe：DetectingCancer Metastases on Gigapixel Pathology Images.CoRR abs/1703.02442(2017)

非专利文献2：Ezgi Mercan，Sachin Mehta，Jamen Bartlett，Linda G.Shapiro，Donald L.Weaver，and Joann G.Elmore：Assessment of Machine Learning of BreastPathology Structures for Automated Differentiation of Breast Cancer and High-Risk Proliferative Lesions.JAMA Network Open，2(8)：e198777-e198777，08 2019.

发明内容

技术问题

然而，在已知情况下，尽管对病理图像附加注释以创建教师数据的工作是需要大量劳力和时间的复杂工作，但是还是需要大量的教师数据来提高机器学习的准确性。

鉴于此，本公开提出了能够提高机器学习的准确性的判断支持装置、信息处理装置以及训练方法。

问题的解决方案

为了解决上述问题，根据本公开的一个方面的判断支持装置包括推导单元，该推导单元使用多级训练模型推导对通过对生物样本成像而获得的第一病理图像的判断的估计结果，在多级训练模型中能够在各级中设置类别分类。

附图说明

图1是示出根据实施方式的诊断支持系统的示图。

图2是示出根据实施方式的成像处理的示图。

图3是示出了根据实施方式的成像处理的示图。

图4是示出产生部分图像(平铺图像)的处理的示图。

图5是示出根据实施方式的病理图像的图示。

图6是示出了根据实施方式的病理图像的图示。

图7是示出病理图像的阅览者的阅览模式的实例的示图。

图8是示出包括在服务器中的阅览历史存储单元的实例的示图。

图9是示出根据实施方式的推导装置和显示控制装置的实例的示图。

图10是示出根据实施方式的创建教师数据时的流程的示意图。

图11是示出了根据实施方式的用于创建教师数据的用户接口的实例的屏幕视图。

图12是示出了待诊断的病理病例的分层结构的实例的分层图。

图13是示出根据实施方式的逐步训练模型创建流程(AI创建流程)的实例的示意图。

图14是示出根据实施方式的第一实例的注释附加功能的示图。

图15是示出根据实施方式的第二实例的注释附加功能的示图。

图16是示出根据实施方式的第三实例的注释附加功能的示图。

图17是示出根据实施例的注释附带的相似性检索功能的示图。

图18是示出根据实施方式的第一显示实例的用户界面的示图。

图19是示出根据实施方式的第二显示实例的用户界面的示图(部分1)。

图20是示出根据实施方式的第二显示实例的用户界面的示图(部分2)。

图21是示出当根据实施方式的诊断支持系统应用于乳腺癌的淋巴结转移的诊断时AI制作流程的实例的示图。

图22是示出实现推导装置的功能的计算机的实例的硬件配置图。

具体实施方式

下面将参考附图详细描述本公开的实施例。在下述实施方式的每一个中，相同的部件由相同的参考符号表示，并且将省略其重复描述。

将按照以下顺序描述本公开。

1.实施方式

1-1.系统配置

1-2.各种类型的信息

1-2-1.病理图像

1-2-2.阅览历史信息

1-3.推导装置

1-4.创建教师数据

1-4-1.教师数据的制作流程

1-4-2.用户界面

1-5.通过多级训练步骤创建训练模型

1-5-1.病理病例的分层表示

1-5-2.创建逐步训练模型

1-5-2-1.逐步创建流程

1-6.具有不同放大率和粒度的显示器

1-6-1.第一实例

1-6-2.第二实例

1-6-3.第三实例

1-7.附带注释的相似性检索功能

1-8.推断结果的显示实例

1-8-1.第一显示实例

1-8-2.第二显示实例

1-9.分层结构的另一实例

1-10.作用和效果

2.其他实施方式

2-1.显示装置

2-2.成像装置

2-3.服务器

2-4.病理图像

2-5.硬件配置

(1.实施方式)

[1-1.系统配置]

首先，将参照图1描述根据实施方式的诊断支持系统(判断支持系统、信息处理系统和信息处理装置)。应注意，本说明书中的“诊断”也可以广义地解释为“判断”。图1是示出根据本实施方式的诊断支持系统的示图。如图1所示，诊断支持系统1包括病理系统10、病理系统20、医疗信息系统30和推导装置100。

病理系统10是主要由病理医生使用的系统，并且例如被应用于实验室和医院。如图1所示，病理系统10包括显微镜11、服务器12、显示控制装置13和显示装置14。

显微镜11是具有光学显微镜的功能的成像装置，捕捉放置在载玻片上的待观察的样本的图像，并且获取作为数字图像的病理图像(医学图像的实例)。

这里，为了病理诊断等的目的，可以从诸如从人体收集的身体样本或组织样本的生物起源样本(在下文中，称为生物样本)制备待观察的样本。标本可以是组织切片、细胞或微粒，并且关于标本的细节，诸如所使用的组织(例如，器官等)的类型、待靶向的疾病的类型、受试者的属性(例如，年龄、性别、血型、种族等)或受试者的生活习惯(例如，饮食习惯、运动习惯和吸烟习惯)没有特别限制。顺便提及，组织切片可包括例如待染色的组织切片的染色之前的切片(在下文中，也简称为切片)、与染色切片相邻的切片、同一区块中不同于染色切片的切片(从与染色切片相同的位置取样)、同一组织中不同区块中的切片(从与染色切片不同的位置取样)以及从不同患者采集的切片。

服务器12是将由显微镜11捕获的病理图像存储和保存在存储单元(未示出)中的装置。当从显示控制装置13接收到阅览请求时，服务器12从存储单元(未示出)检索病理图像并将检索到的病理图像传输至显示控制装置13。

显示控制装置13将从诸如临床医生或病理医生等用户接收到的阅览病理图像的请求发送至服务器12。显示控制装置13然后控制显示装置14显示从服务器12接收到的病理图像。

显示装置14具有使用例如液晶、EL(电致发光)和CRT(阴极射线管)的屏幕。显示装置14可以是实现4K或8K分辨率的装置，或者可以由多个显示装置形成。显示装置14显示由显示控制装置13控制为显示的病理图像。此外，服务器12存储与由病理医生经由显示装置14观察的病理图像的区域相关的阅览历史信息。例如，阅览历史信息可以是与由用户(诸如，临床医生或病理学家)在过去病例中获取的病理图像的阅览历史相关的信息。

病理系统20是应用于与病理系统10不同的医院的系统。病理系统20包括显微镜21、服务器22、显示控制装置23和显示装置24。包括在病理系统20中的部件与病理系统10的部件相似，并且因此省略其描述。

医疗信息系统30是存储与患者诊断有关的信息的系统。例如，当难以仅从在预定医院的内窥镜检查等中的图像诊断疾病的状态时，可以进行活组织检查以通过病理诊断执行明确的诊断。通过从患者采集的组织制备的标本通过病理系统10的显微镜11成像，并且通过成像获得的病理图像被存储在服务器12中。显示控制装置13进行控制以在显示装置14上显示病理图像，由此由诸如病理医生的用户使用病理系统10进行病理诊断。应注意，使用病理系统10的用户不限于出于诊断等的目的使用病理系统10的病理医生等，并且可包括出于研究目的使用病理系统10的病理学家等。即，根据本实施方式的诊断支持系统1不仅可以用于病理诊断的目的而且可以用于研究目的。在下文中，为了简化，使用病理系统10的人被称为临床医生、病理医生或用户。临床医生基于病理诊断结果进行确诊，并且将确诊的结果存储在医疗信息系统30中。医疗信息系统30存储与诊断有关的信息，诸如用于识别患者的信息、患者疾病信息、用于诊断的检查信息和图像信息、诊断结果和处方药。另外，医疗信息系统30被称为电子病历系统等。

附带地，病理诊断的准确性根据每个病理医生的不同而不同。具体地，根据病理医生的经验年数和专业性等，根据病理图像的诊断结果根据病理医生的不同而不同。为此，为了支持病理诊断的目的，期望使用机器学习导出作为支持诊断的信息的诊断支持信息。

作为使用机器学习的诊断支持，例如，可以设想通过使用包括以下的过程得出病理图像的诊断估计结果：在过去病例中获取的病理图像中，对该病例赋予临床医生、病理医生等给出的诊断结果作为注释；使用附加了注释的病理图像作为教师数据来训练学习模型；以及将新诊断的病理图像输入至训练学习模型(在下文中，称为训练模型)。

然而，如上所述，在已知情况下，尽管病理图像附加注释以创建教师数据的工作是需要大量劳力和时间的复杂工作，但是还是需要大量的教师数据来提高机器学习的准确性。

鉴于这种情况，本实施方式使得可以容易地对通过对包括生物组织的生物样本成像而获得的图像，诸如病理图像(在下文中，为了简单起见称为病理图像)附加注释。这使得能够容易地提高机器学习的准确性，从而使诸如临床医生或病理医生的用户能够以更高的准确度对病例执行诊断。

在本实施方式中，用作教师数据的病理图像可以是包括在具有针对各种情况创建的金字塔结构的平铺图像组中的病理图像。尽管下面将描述具有金字塔结构的平铺图像组的细节，但是平铺图像组是示意性地包括在较低层中具有较高倍率和较高分辨率的病理图像的图像组。在相同的情况下，每层的图像组整体上表示一个相同的试样。在本说明书中，包括最低层的图像组(换言之，最高倍率)的整体图像被称为整体图像。

将参考图1的实例描述由推导装置100执行的处理的实例。在图1的实例中，假设来自病理医生的诊断相关信息每日在病理学系统10的服务器12中累积。即，服务器12存储与第一受影响组织对应的病理图像(第二病理图像)。此外，在图1的实例中，假设推导装置100向病理系统20提供诊断支持信息。

首先，推导装置100从病理系统10的服务器12获取每日累积的病理图像。此外，推导装置100使得用户用诊断结果注释所获取的病理图像。然后，推导装置100从医疗信息系统30获取注释的病理图像。推导装置100使用所获取的注释的病理图像作为教师数据来训练学习模型，以创建用于根据与不同于第一患部组织的第二患部组织对应的病理图像(第一病理图像)估计诊断结果的训练模型。

因此，假设在病理系统20中，通过显微镜21已经生成与第二患部组织对应的病理图像。此时，当从诸如临床医生或病理医生的用户接收到显示病理图像的请求时，显示控制装置23将病理图像传输至推导装置100。推导装置100使用训练模型从病理图像推导该病例的诊断估计结果(推导单元)，并且将推导估计结果作为诊断支持信息的一部分输出至显示控制装置23。

如上所述，推导装置100可以指定包括基本图像的平铺图像(tiled image)组的整个图像，并且可以指定与整个图像的平铺图像组相关的阅览历史信息，并且可以将指定的整个图像和阅览历史信息作为诊断支持信息的一部分输出到显示控制装置23。

虽然以上是使用存储在病理系统10的服务器12中的病理图像作为教师数据来训练学习模型的实例，但是推导装置100可以使用存储在病理系统20的服务器22中的病理图像作为教师数据来训练学习模型，或者可以使用存储在服务器12中的病理图像和存储在服务器22中的病理图像两者作为教师数据来训练学习模型。另外，在上述说明中，推导装置100向显示控制装置23提供诊断支援信息的例子，但也可以向显示控制装置13提供诊断支援信息。

此外，虽然病理系统10和病理系统20已经被彼此分开进行描述，但是病理系统10和病理系统20可以是相同的系统。更具体地，诊断支持系统1可仅包括病理系统10。在这种情况下，推导装置100使用存储在服务器12中的病理图像作为教师数据来训练学习模型，并且响应于来自显示控制装置13的请求将诊断支持信息提供给显示控制装置13。此外，包括在诊断支持系统1中的病理系统的数量可以是三个以上。在这种情况下，推导装置100可以收集在每个病理系统中累积的病理图像以创建教师数据，并且可以使用教师数据训练学习模型。此外，在上述实例中，医疗信息系统30可以是与病理系统10或20相同的系统。即，带有注释的病理图像可存储在服务器12或22中。

应注意，根据本实施方式的推导装置100可由布置在网络上的服务器、云服务器等实现，或者可由布置在病理系统10/20中的服务器12/22实现。可替代地，推导装置100的一部分(例如，控制单元130中的病理图像获取单元131、教师数据获取单元132和训练单元133、存储单元120等)可由布置在网络上的服务器、云服务器等实现，而其余部分(例如，推导单元134等)可由病理系统10/20的服务器12/22实现，即，组件可通过使用经由网络构造的系统上的分布式布置来实现。

上面已经简要描述了诊断支持系统1。在下文中，在详细给出的每个设备的配置和处理的描述中，将首先描述作为描述的前提的各种类型的信息(病理图像的数据结构、关于病理图像的阅览历史信息以及带注释的病理图像)。应注意，以下描述是其中推导装置100使用积累在病理系统10中的教师数据训练学习模型并且将诊断支持信息提供给病理系统20的实例。

[1-2.各种类型的信息]

[1-2-1.病理学图像]

如上所述，通过使用显微镜11或显微镜21使样本成像来生成病理图像。首先，将参考图2和图3描述使用显微镜11和显微镜21的成像处理。图2和图3是示出根据本实施方式的成像处理的示图。由于显微镜11和显微镜21执行类似的成像处理，因此这里将描述显微镜11作为实例。下面描述的显微镜11包括用于以低分辨率成像的低分辨率成像单元以及用于以高分辨率成像的高分辨率成像单元。

在图2中，可以通过显微镜11成像的区域，即，成像区域R10，包括其上安装有试样A10的载玻片G10。例如，载玻片G10被放置在载物台(未示出)上。显微镜11通过低分辨率成像单元对成像区域R10成像以生成整个图像，其是整个样本A10的病理图像。在图2中示出的标签信息L10包括用于识别样本A10的识别信息(例如，字符串或QR码(注册商标))的描述。通过将描述为标签信息L10的标识信息与患者相关联，可以指定对应于整个图像的患者。在图2的实例中，“#001”被描述为识别信息。标签信息L10还可以包括样本A10的简单描述。

随后，在生成整个图像之后，显微镜11从整个图像中指定存在标本A10的区域，并且使用高分辨率成像单元对存在标本A10的区域按预定尺寸分隔而获得的每个分割区域依次成像。例如，如图3所示，显微镜11首先对区域R11进行成像，并且生成高分辨率图像I11，其为表示标本A10的部分区域的图像。随后，显微镜11移动载物台以通过高分辨率成像单元对区域R12进行成像，并且生成与区域R12对应的高分辨率图像I12。类似地，显微镜11生成与区域R13、R14、…对应的高分辨率图像I13、I14、…。尽管图3仅示出了区域直至区域R18，但显微镜11顺次移动载物台以通过高分辨率成像单元对对应于试样A10的所有分割区域成像，并且生成与每个分割区域对应的高分辨率图像。

同时，当载物台移动时，载玻片G10可能在载物台上意外地移动。载玻片G10的移动时，可能导致产生没有试样A10的捕获图像的区域。如图3所示，显微镜11以相邻的分割区域彼此部分重叠的方式通过高分辨率成像单元执行成像，使得即使当载玻片G10移动时也可以防止未捕捉图像的区域的出现。

要注意的是，上述低分辨率成像单元和高分辨率成像单元可包括不同的光学系统或相同的光学系统。当光学系统相同时，显微镜11根据成像目标改变分辨率。虽然以上描述是通过移动载物台来改变成像区域的实例，但是可通过显微镜11移动光学系统(高分辨率成像单元等)来改变成像区域。此外，图3示出了显微镜11从样本A10的中央部分开始捕获图像的实例。然而，显微镜11可以以与图3中示出的成像顺序不同的顺序对样本A10进行成像。例如，显微镜11可以从试样A10的外周部开始捕获图像。此外，以上是高分辨率成像单元仅对存在被检体A10的区域成像的实例。然而，因为存在难以精确地检测试样A10存在的区域的情况，所以显微镜11可以分割图2中所示的成像区域R10或载玻片G10的整个区域，并且利用高分辨率成像单元执行成像。

随后，由显微镜11生成的每个高分辨率图像被分成预定尺寸。这由高分辨率图像产生部分图像(以下称为平铺图像)。将参照图4描述这一点。图4是示出产生部分图像(平铺图像)的处理的示图。图4示出了与图3中示出的区域R11对应的高分辨率图像I11。注意，以下描述假定由服务器12从高分辨率图像生成部分图像。然而，可以通过除了服务器12之外的装置(例如，安装在显微镜11内部的信息处理装置等)生成部分图像。

在图4所示的实例中，服务器12通过分割一个高分辨率图像I11生成100个平铺图像T11，T12，…。例如，当高分辨率图像I11具有分辨率2560×2560[像素]时，服务器12从高分辨率图像I11中产生100个分块图像T11、T12，…，每个分块图像具有256×256[像素]的分辨率。类似地，服务器12通过将其他高分辨率图像分成类似尺寸来产生平铺图像。

要注意的是，在图4的实例中，区域R111、R112、R113和R114是与其他相邻的高分辨率图像(在图4中未显示)重叠的区域。服务器12通过模板匹配等技术对重叠区域进行对齐，对相邻的高分辨率图像进行拼接处理。在这种情况下，服务器12可通过在拼接处理之后划分高分辨率图像来产生平铺图像。可选择地，服务器12可在拼接处理之前产生除了区域R111、R112、R113和R114之外的区域的平铺图像，然后在拼接处理之后产生区域R111、R112、R113和R114的平铺图像。

以这种方式，服务器12产生作为样本A10的捕获图像的最小单位的平铺图像。服务器12随后依次组合最小单元的平铺图像以产生具有不同层级的平铺图像。具体地，服务器12通过组合预定数量的相邻平铺图像来产生一个平铺图像。这将参考图5和图6描述。图5和图6是示出根据本实施方式的病理图像的图示。

图5的上部示出了由服务器12从每个高分辨率图像产生的最小单位的平铺图像组。在图5的上部的实例中，通过组合在平铺图像之中彼此相邻的四个平铺图像T111、T112、T211和T212，服务器12产生一个平铺图像T110。例如，当每个平铺图像T111、T112、T211和T212的分辨率是256×256时，服务器12产生具有256×256的分辨率的平铺图像T110。类似地，服务器12通过组合彼此相邻的四个平铺图像T113、T114、T213、T214来产生平铺图像T120。以这种方式，服务器12产生通过组合最小单元的预定数量的平铺图像而获得的平铺图像。

此外，在通过组合最小单位的平铺图像而获得的平铺图像之中，服务器12进一步组合彼此相邻的平铺图像以产生另一平铺图像。在图5的实例中，服务器12通过组合彼此相邻的四个平铺图像T110、T120、T210和T220来产生一个平铺图像T100。例如，当平铺图像T110、T120、T210和T220均具有分辨率256×256时，服务器12产生具有分辨率256×256的平铺图像T100。例如，基于通过组合彼此相邻的四个平铺图像而获得的具有512×512的分辨率的平铺图像，服务器12对图像应用4像素平均、加权滤波器(对靠近像素比远像素加权的处理)、1/2稀疏化处理等，以产生具有256×256的分辨率的图像。

通过重复这种组合处理，服务器12最终产生具有与最小单位的平铺图像的分辨率相似的分辨率的一个平铺图像。例如，当如在上述实例中最小单位的平铺图像具有256×256的分辨率时，服务器12重复上述组合处理以产生具有256×256的最终分辨率的一个平铺图像T1。

图6示意性地示出了图5中所示的平铺图像。在图6中示出的实例中，最底层的平铺图像组包括由服务器12产生的最小单位的平铺图像。此外，从下起第二层的平铺图像组是通过组合最底层的平铺图像组而获得的平铺图像。最上层的平铺图像T1表示最终要产生的平铺图像。以这种方式，服务器12生成具有诸如图6中示出的金字塔结构的层次结构的平铺图像组作为病理图像。

要注意的是，在图5中所示的区域D是在显示装置14或24的显示屏上显示的区域的一个实例。例如，在假定的情况下，显示装置可显示的分辨率对应于三个纵向的平铺图像和四个横向的平铺图像。在这种情况下，如在图5中示出的区域D中，在显示装置上显示的试样A10的细节水平根据待显示的平铺图像所属的层级变化。例如，当使用最下层的平铺图像时，以高细节水平显示样品A10中的小区域。此外，随着平铺图像越向上层，试样A10中的较宽区域以低细节水平显示。

服务器12将如图6所示的各个层级的平铺图像存储在存储单元(未示出)中。例如，服务器12将每个平铺图像与能够唯一地识别每个平铺图像的平铺识别信息(部分图像信息的实例)一起存储。在这种情况下，当从另一装置(例如，显示控制装置13或推导装置100)接收到包括块识别信息的块图像获取请求时，服务器12将与块识别信息相对应的块图像发送到另一装置。此外，例如，服务器12可以将每个平铺图像与用于识别各层的层识别信息以及在相同层中可以唯一地识别平铺块的平铺块识别信息一起存储。在这种情况下，当服务器12已经从另一设备接收到包括层识别信息和块识别信息的块图像获取请求时，服务器12向另一设备发送属于与层识别信息相对应的层的块图像中与块识别信息相对应的块图像。

应注意，服务器12可以将如图6中所示的各层的平铺图像存储在除了服务器12之外的存储设备中。例如，服务器12可以将各层的平铺图像存储在云服务器等中。此外，可以通过云服务器等执行在图5和图6中示出的产生平铺图像的处理。

此外，服务器12不需要存储所有层的平铺图像。例如，服务器12可以仅存储最下层的平铺图像，可以仅存储最下层的平铺图像和最上层的平铺图像，或者可以仅存储预定层(例如，奇数层、偶数层等)的平铺图像。此时，当从另一装置请求的平铺图像没有存储在服务器12中时，服务器12通过动态地组合存储的平铺图像来产生从另一装置请求的平铺图像。以这种方式，通过间隔剔除要存储的平铺图像，服务器12可以防止存储容量限制。

此外，虽然在以上实例中没有提及成像条件，但是服务器12可以针对每个成像条件存储如图6所示的各层的平铺图像。成像条件的实例包括相对于对象(诸如试样A10)的焦距。例如，显微镜11可在改变焦距的同时捕捉相同对象的图像。在这种情况下，服务器12可以按每个焦距存储如图6所示的各层次结构的平铺图像。顺便提及，改变焦距的原因在于，一些试样A10可以是半透明的，并且因此，具有适合于使试样A10的表面成像的焦距和适合于使试样A10的内部成像的焦距。换言之，通过改变焦距，显微镜11可以生成样本A10的表面的病理图像或者样本A10的内部的病理图像。

另外，要观察的被检体A10的染色条件是摄像条件的另一实例。具体地，在病理诊断中，在一些情况下，使用荧光试剂染色标本A10的特定部分(例如，细胞核等)。例如，荧光试剂是当用特定波长的光照射时被激发并发光的物质。在一些情况下，不同的发光材料可以用于染色相同的样品A10。在这种情况下，对于每个染色的发光材料，服务器12可以存储如图6所示的各层次结构的平铺图像。

此外，上述平铺图像的数量和分辨率仅是实例，并且可以根据系统适当地改变。例如，由服务器12组合的平铺图像的数量不限于四个。例如，服务器12可以重复组合3×3＝9个平铺图像的处理。虽然以上是平铺图像的分辨率为256×256的实例，但是平铺图像可具有不同于256×256的分辨率。

通过使用采用能够处理上述具有分层结构的平铺图像组的系统的软件，显示控制装置13根据用户经由显示控制装置13的输入操作从具有分层结构的平铺图像组中提取期望的平铺图像，并将所提取的平铺图像输出到显示装置14。具体地，显示装置14显示用户选择的任意分辨率的图像中用户选择的任意部分的图像。利用这种处理，用户可以在改变观察放大倍率的同时获得观察试样的感觉。即，显示控制装置13用作虚拟显微镜。这里的虚拟观察放大倍率实际上对应于分辨率。

然而，捕捉高分辨率图像的方法不限于如上所述在重复载物台的停止和移动的同时捕捉划分的区域的方法，并且可以使用任何方法。例如，可以采用在以预定速度移动载物台的同时对分割区域进行成像的成像方法以获取条带上的高分辨率图像等。此外，从高分辨率图像产生平铺图像的处理不是必要的，并且还可允许通过使与拼接处理结合的整个高分辨率图像的分辨率逐步地改变来产生分辨率逐步改变的图像。即使在这种情况下，也可以向用户逐步地执行宽域范围内的低分辨率图像到窄区域中的高分辨率图像的呈现。

[1-2-2.阅览历史信息]

接下来，将参考图7描述存储在服务器12或22中的病理图像的阅览历史信息。图7是示出病理图像的阅览者的阅览模式的实例的示图。在图7所示的实例中，假设诸如病理医生的观察者在病理图像I10中依次观察区域D1、D2、D3、……和D7。在这种情况下，显示控制装置13首先根据阅览者的阅览操作从服务器12获取对应于区域D1的病理图像。响应于来自显示控制装置13的请求，服务器12从存储单元获取形成对应于区域D1的病理图像的一个或多个平铺图像，并且将获取的一个或多个平铺图像传输至显示控制装置13。然后，显示控制装置13将由从服务器12获取的一个或多个平铺图像形成的病理图像显示在显示装置14上。例如，当存在多个平铺图像时，显示控制装置13并排显示多个平铺图像。类似地，每当观察者执行改变显示区域的操作时，显示控制装置13从服务器12获取与将被显示的区域(区域D2、D3、……、D7等)对应的病理图像，并且在显示装置14上显示所获取的病理图像。

在图7的示例中，观察者首先观察较宽的区域D1，由于在区域D1中不存在需要密切观察的区域，所以观察者将观察区域移动至区域D2。观察者在区域D2中找出需要近距离观察的区域，由此放大区域D2的部分区域以观察区域D3。接着，观察者进一步移动到作为区域D2的部分区域的区域D4。在已经在区域D4中找到需要更近观察的区域之后，阅览者放大区域D4的部分区域以阅览区域D5。以此方式，阅览者还阅览区域D6和D7。例如，与区域D1、D2和D7对应的病理图像是在1.25x放大倍率下的显示图像，与区域D3和D4对应的病理图像是在20x放大倍率下的显示图像，并且与区域D5和D6对应的病理图像是在40x放大倍率下的显示图像。显示控制装置13获取并显示与在服务器12中存储的分层结构的平铺图像组中的各倍率相对应的分层结构的平铺图像。例如，与区域D3对应的平铺图像的层级相比，与区域D1和区域D2对应的平铺图像处于更高的层级(即，接近图6中所示的平铺图像T1的层级)。

当如上所述观察病理图像时，显示控制装置13以预定的采样周期获取观察信息。具体地，显示控制装置13每隔预定定时，获取阅览的病理图像的中心坐标和显示倍率，并且将获取的阅览信息存储在服务器12的存储单元中。

将参照图8描述这一点。图8是示出包括在服务器12中的阅览历史存储单元12a的实例的示图。如图8所示，阅览历史存储单元12a存储诸如“采样”、“中心坐标”、“放大倍率”和“时间”的信息。“采样”表示阅览信息存储定时的顺序。“中心坐标”表示所观察的病理图像的位置信息。在该实例中，中心坐标是由所观察的病理图像的中心位置表示的坐标，并且对应于最底层的平铺图像组的坐标系的坐标。“放大倍率”表示所观察的病理图像的显示倍率。“时间”表示从阅览开始所经过的时间。图8的实例示出采样周期是30秒。即，显示控制装置13每30秒将阅览信息存储在阅览历史存储单元12a中。然而，本发明不限于该实例，并且采样周期可以是例如0.1至10秒，或者可以是该范围之外的时间。

在图8的实例中，采样“1”表示关于图7中所示的区域D1的阅览信息，采样“2”表示关于区域D2的阅览信息，采样“3”和“4”表示关于区域D3的阅览信息，采样“5”表示关于区域D4的阅览信息，并且采样“6”、“7”和“8”表示关于区域D5的阅览信息。即，图8的实例示出了阅览区域D1约30秒，阅览区域D2约30秒，阅览区域D3约60秒，阅览区域D4约30秒，以及阅览区域D5约90秒。以这种方式，可以从阅览历史信息中提取各区域的阅览时间。

此外，可以从阅览历史信息中提取已经阅览各区域的次数。例如，假设每次执行显示区域改变操作(例如，移动显示区域的操作或改变显示尺寸的操作)，所显示的病理图像的各像素的显示次数增加一。例如，在图7所示的实例中，当首先显示区域D1时，包括在区域D1中的每个像素的显示次数是一次。接下来，当显示区域D2时，包括在区域D1和区域D2两者中的各像素的显示次数是两次，而包括在区域D2中但不包括在区域D1中的每个像素的显示次数是一次。因为可以通过参考阅览历史存储单元12a的中心坐标和放大倍率指定显示区域，所以可以通过分析存储在阅览历史存储单元12a中的阅览历史信息提取显示病理图像的各像素(其也可以被称为各坐标)的次数。

在预定时间(例如，5分钟)内阅览者未执行改变显示位置的操作的情况下，显示控制装置13可暂停阅览信息存储处理。此外，尽管以上是通过利用中心坐标和放大倍率将阅览的病理图像存储为阅览信息的实例，但是配置不限于该实例，并且阅览信息可以是任何信息，只要其可以指定阅览的病理图像的区域即可。例如，显示控制装置13可以存储用于识别对应于所观察的病理图像的平铺图像的平铺识别信息或者指示对应于所观察的病理图像的平铺图像的位置的信息作为病理图像的观察信息。此外，虽然在图8中未示出，但是阅览历史存储单元12a存储用于识别患者的信息、医疗记录等。即，在图8中示出的阅览历史存储单元12a与患者、医疗记录等相关联地存储阅览信息。

[1-3.推导装置]

接下来，将描述根据本实施方式的推导装置100。这里，显示控制装置23将与推导装置100一起描述。图9是示出根据本实施方式的推导装置和显示控制装置的示例的示图。如图9所示，推导装置100是包括通信单元110、存储单元120和控制单元130的计算机。

通信单元110由例如NIC(网络接口卡)实现。通信单元110经由有线或无线信道连接至网络(未示出)，并且经由网络将信息传输至病理系统10、病理系统20、医疗信息系统30等以及从病理系统10、病理系统20、医疗信息系统30等接收信息。下面描述的控制单元130经由通信单元110将信息发送到这些装置和从这些装置接收信息。

存储单元120由诸如RAM(随机存取存储器)和闪存的半导体存储器元件或诸如硬盘或光盘的其他存储设备来实现。存储单元120存储由控制单元130创建的训练模型121。下面将描述训练模型121。

控制单元130通过使用RAM(随机存取存储器)等作为工作区的CPU(中央处理单元)、MPU(微处理单元)等执行存储在推导装置100内的程序(诊断支持程序)来实现。此外，控制单元130可以由例如诸如ASIC(专用集成电路)或FPGA(现场可编程门阵列)的集成电路执行。

如图9所示，控制单元130包括病理图像获取单元131、教师数据获取单元132、训练单元133以及推导单元134，并且实现或执行以下描述的信息处理的功能和动作。控制单元130的内部配置不限于在图9中示出的配置，并且可以是任何其他配置，只要其是执行下面描述的信息处理的配置。

病理图像获取单元131经由通信单元110获取病理图像，该病理图像是用于训练由训练单元133执行的学习模型的训练数据的实例。具体地，病理图像获取单元131获取对应于存储在病理系统10的服务器12中的第一受影响组织的病理图像。

训练数据获取单元132经由通信单元110获取注释的病理图像，该病理图像是用于训练由训练单元133执行的学习模型的训练数据的实例。具体地，训练数据获取单元132从医疗信息系统30获取对应于病理图像的第一受影响组织的注释的病理图像。

训练单元133使用由训练数据获取单元132获取的带注释的病理图像来训练学习模型。利用该训练，训练单元133创建用于根据与第二患部组织对应的病理图像获得诊断估计结果的训练模型121。训练单元133然后将训练模型121存储在存储单元120中。

应注意，例如，弱监督学习可应用于通过训练单元133进行的学习模型的训练，并且还可以使用以下方法。

“WILDCAT：Weakly Supervised Learning of Deep ConvNets for ImageClassification，Pointwise Localization and Segmentation”，CVPR2017

(http：//webia.lip6.fr/～durandt/pdfs/2017_CVPR/Durand_WILDCAT_CVPR_2017.pdf)

“Attention-based Deep Multiple Instance Learning”，2018(https：//arxiv.org/abs/1802.04712)

注意，由训练单元133训练学习模型的方法可以基于任何算法。例如，训练单元133可以使用各种学习算法(诸如作为基于多层深度神经网络的机器学习方法的深度学习、支持向量机、聚类和加强学习)来创建训练模型121。

此外，训练单元133不需要使用所有病理图像执行学习模型的训练。例如，训练单元133可以使用特别感兴趣的病理图像执行学习模型的训练。例如，允许训练单元133基于每个病理图像的阅览历史信息执行仅使用包括以预定时间或更长时间阅览的区域的病理图像的学习模型的训练、仅使用包括以预定放大倍率阅览的区域的病理图像的学习模型的训练、或者仅使用包括以预定次数或更长时间阅览的区域的病理图像的训练。此外，例如，训练单元133可以仅使用在预定时间或更长时间内阅览的区域训练学习模型，可以仅使用以预定放大倍率阅览的区域训练学习模型，或者可以仅使用以预定次数或更长时间阅览的区域训练学习模型。此外，例如，训练单元133可以确定病理图像的中心区域是关注区域，仅切出病理图像的中心区域用于执行学习模型的训练。

推导单元134从显示控制装置23获取与第二患部组织对应的病理图像并将获取的病理图像输入至训练模型121以使训练模型121基于与第二患部组织对应的病理图像得出诊断估计结果，并且将得出的估计结果输出至显示控制单元23b。

[1-4.创建教师数据]

接下来，将参考附图详细描述存储在推导装置100的存储单元120中的用于训练训练模型121的教师数据的生成。

[1-4-1.教师数据的生成流程]

首先，参照附图详细说明教师数据的生成流程。图10是示出了根据本实施方式的当创建教师数据时的流程的示意图。

如图10所示，在本实施方式中，推导装置100的控制单元130中的病理图像获取单元131经由通信单元110获取病理图像，该病理图像是用于训练由训练单元133执行的学习模型122的教师数据的实例(S1)。具体地，如上所述，病理图像获取单元131获取例如存储在病理系统10和/或20的服务器12和/或22的存储区域(在下文中，称为第一数据库201)中的病理图像。

当已经获取训练目标的病理图像时，训练单元133在获取的病理图像中指定对学习模型122的训练重要的病理图像(即，被推荐为注释的目标的病理图像)，并且在指定的病理图像中指定对学习模型122的训练重要的区域。随后，训练单元133使显示装置24显示经由显示控制装置23的显示控制单元23b所识别的一个或多个病理图像及其区域(S2)。通过该操作，将在各病理图像中待注释的区域推荐给用户。

应注意，S2是在显示装置24上显示将由用户注释的病理图像和/或其区域、用于注释每个病理图像的区域的标签、学习模型122的当前训练阶段(在下文中，也称为训练步骤)等的步骤。

此外，显示装置24还显示适当的注释类别(在下文中，也简称为类别)作为用户的选项，以便支持用户在各训练步骤中适当地注释各病理图像的区域。注意，注释类别是用于注释各病理图像的区域的诊断结果的选项。此外，显示装置24还以适当的粒度、倍率等显示病理图像及其区域以用于上述支持。

响应于这种显示，例如，使用下面参照图11描述的用户接口(输入单元)，用户选择将应用于由该显示推荐的病理图像的各区域的注释类别(S3)。该操作导致产生注释了图像区域的带注释的病理图像。

以这种方式创建的带注释的病理图像被作为教师数据累积在第二数据库202中。如上所述，例如，第二数据库202可以是医疗信息系统30的存储区域。然而，本公开不限于此，并且允许适当地改变至病理系统10和/或20的服务器12和/或22的存储区域(即，第一数据库201等)的区域。

此后，当在第二数据库202中累积了一定量的教师数据时，开始学习模型122的训练。在学习模型122的训练中，推导装置100的训练单元133从第二数据库202获取作为教师数据的待注释的病理图像并对学习模型122进行训练，以便创建训练模型121(S5)。所生成的训练模型121被存储在存储单元120中。

例如，重复上述S1至S5的操作，直至创建具有足够精度的训练模型121，从而在存储单元120中更新或添加训练模型121。这提高了训练模型121的准确度。然而，操作不限于此，例如，S1至S5的操作可以在每次新的病理图像积累在第一数据库201中时、周期性地或当给出用户指令时执行。

[1-4-2.用户界面]

接下来，将描述在创建教师数据时显示在显示装置24上的用户界面。图11是示出了根据本实施方式的用于创建教师数据的用户界面的实例的屏幕示图。

如图11所示，用于创建教师数据的用户界面300包括下一推荐图像显示区域310和优先级ROI显示区域320。

(病理图像显示区域301)

病理图像显示区域301显示由用户在由训练单元133指定为注释目标的病理图像中选择的病理图像302。此外，病理图像302还显示待注释的区域303。例如，区域303以视觉效果被呈现给用户，作为由实线、虚线等包围的区域，或者以与其他区域的对比度不同的对比度显示的区域(例如，不需要注释的区域)。应注意，当多个区域303包括在一个病理图像302中时，通过不同的颜色、线条类型、对比度等可在视觉上区分多个区域303中的每一个。

此外，例如，在病理图像显示区域301的右手侧，设置类别选择按钮304，该类别选择按钮304被显示用于选择如何注释该区域，以使用户能够容易地注释该区域。例如，用户在病理图像显示区域301中显示的病理图像302中选择区域303之一的状态下选择类别选择按钮304。这使得选择的区域303能够以选择的方式被注释。

应注意，例如，可允许在病理图像显示区域301的右手侧显示编辑按钮305，该编辑按钮305包括用于擦除用于注释该区域的标签的擦除按钮和用于结束编辑用于注释病理图像302的标签并保存注释的病理图像的结束按钮。此外，例如，通过使用诸如不同颜色、线条类型和高对比度的视觉效果，可以将注释区域303与其他区域303(未注释区域303)区分开。此外，通过用户的指令可独立地接通/断开在病理图像302上叠加显示而显示的每个区域303的视觉效果(例如，线、颜色、高亮等)的显示。这使得在对要重叠的多个区域303中的每进行标注时，能够抑制由于其他区域303的视觉效果导致的难以将区域303诊断为目标的发生。

此外，例如，可允许在病理图像显示区域301的上侧显示阶段(phase，级)选择标签306，该阶段选择标签306用于指示当前显示在以下描述的病理病例的层级结构中的病理图像显示区域301中的病理图像302的层(阶段)和区域303，并且用于切换要注释的病理图像302的阶段。图11示出了病理情况被分类为阶段1至阶段4的四阶段分层结构的状态，并且选择病理情况之中的阶段2的病理图像302来进行注释。通过使用阶段选择标签306切换在病理图像显示区域301中显示的病理图像302的阶段，用户可以切换要编辑的病理图像302并且还可以确认每个阶段的诊断的分层进展。

此外，病理图像显示区域301可以设置有可视地指示在病理图像显示区域301中显示的区域对应于病例的整个图像中的哪个区域的顶部区域309。

(下一推荐图像显示区域310)

例如，下一推荐图像显示区域310按照推荐度的降序显示接下来要注释的病理图像的列表。允许为每个病理图像显示例如病理图像的缩略图、在病理图像中注释的区域、病理图像中的肿瘤含量或者由训练单元133预测的每个区域的识别类别。

(优先ROI显示区域320)

例如，优先ROI显示区域320显示在下一推荐图像显示区域310中由用户临时选择的病理图像中待注释的区域的列表。应注意，临时选择可以表示例如用户通过点击、触摸等对下一个推荐图像显示区域310中的一个病理图像做出的选择。在这种状态下，例如，与所选择的病理图像相关的信息可以显示为被粗框等包围。另一方面，最终选择可以是通过点击、触摸等再次选择临时选择的病理图像。利用最终选择，在病理图像显示区域301中显示的病理图像302可以切换至通过最终选择确定的病理图像。

[1-5.通过多级训练步骤创建训练模型]

接下来，将描述通过多级训练步骤创建学习数据。

[1-5-1.病理病例的分层表示]

通常，已知病理病例具有分层结构。临床上，幻灯片数据(病理图像)标签通常分配给观察到的最恶性病例。例如，当在大肠中观察到肿瘤如腺瘤和癌细胞时，仅诊断大肠癌。另外，作为非专利文献2，能够将如下表1所示的多个诊断信息按层次分为四级而统一表示。此外，在各种医学领域(诸如等级分类)中存在以分级类别表示病理病例的其他方法。

表1

[1-5-2.创建逐步训练的模型]

这里，在尝试创建能够一次识别多个复杂病例(类)的训练模型时，存在诸如所创建的训练模型不正常操作的情况以及学习模型的注释和训练花费大量精力和时间的情况的问题情况。此外，当识别目标具有包括如在上述病理情况中对于每个层不同的类别分类的分层结构时，分层结构的信息将丢失，导致病例的识别性能的显著劣化的可能性。鉴于此，本实施例提出了一种考虑分层结构来创建训练模型121的方法。

[1-5-2-1.逐步创建流程]

图12是示出了待诊断的病理病例的分层结构的实例的分层图。图13是示出根据本实施方式的逐步训练的模型创建流程(在下文中，称为AI创建流程)的实例的示意图。

如图12所示，可以将病理病例大致分为两类：肿瘤和正常(阶段1)。阶段1肿瘤可以进一步分为两类：恶性的和良性的(阶段2)。此外，阶段2的恶性可以分为四类：乳头状腺癌(pap)、管状腺癌(tub)、低分化腺癌(por)和印戒细胞癌(sig)(阶段3)。此外，阶段3的管状腺癌(tub)可分为两类：高分化型(tub1)和中分化(tub2)，而低分化型腺癌(por)可分为两类：充实型(por1)和非充实型(por2)(阶段4)。以这种方式，在具有分层结构的病理情况下，可以在每个层中设置类别分类。例如，分层结构中的层越深，类别分类的数量越多。

鉴于此，在本实施方式中，例如，用户选择根据图12中示出的分层结构识别的情况(类别)。而且，在本实施方式中，手动或自动构造如图13所示的AI创建流程。应注意，当手动构造AI创建流程时，在推导装置100的控制单元130中的训练单元133中设置由用户创建的AI创建流程。此时，训练单元133可以支持AI创建流的手动构造。另一方面，当自动构造AI创建流程时，训练单元133根据用户设定的待识别类别自动创建AI创建流程，例如，通过使用预先准备的AI创建流程的框架。要注意的是，在图12中所示的层级结构仅仅是一个实例，并且根据由用户设置的待识别的类别，可手动或自动创建情况(类别)的层级结构。

应注意，在图12中，关于病理病例的类别，阶段的类别的层越高，用于实现对病理病例的识别的放大倍率(例如，约5x)越低，而阶段的类别的层越低，将需要较高的放大倍率(例如，20x至40x或更大)用于在病理图像上的识别。

图13示出当选择图12中的阶段3中包括的类别作为识别对象时的AI创建流程的实例。

(训练步骤S1)

根据本实例的AI创建流程首先训练学习模型122(图13中的学习模型1)以学习病理病例的分层结构中的两个最高(阶段1)类别(类别1：正常，类别2：肿瘤)(训练步骤S1)。

具体地，在图11中示出的用户界面300中，在被显示在病理图像显示区域301中的病理图像302上重叠(通过推荐待注释的区域)被推断为正常的区域303和被推断为肿瘤的区域303，从而使用户执行利用正常或肿瘤的标签对每个区域303进行注释的操作(S11)。注意，可以通过各种方法推断对各区域303进行分类，例如，通过训练单元133使用当前训练模型121或学习模型122(例如，在执行训练步骤S1之前的学习模型1)。

随后，训练步骤S1使用用阶段1的两个类别注释的病理图像(带注释的病理图像)作为教师数据来训练学习模型122(S12)。利用该操作，创建已经学习阶段1的两个类别的训练模型121(图13中的学习模型2)。

(训练步骤S2)

训练步骤S2训练训练模型121(图13中的学习模型2)，以学习作为在阶段2将阶段1的类2肿瘤分类为两个类别(良性和恶性)的结果而获得的总共三个类别(类别1：正常，类别2：良性，类别3：恶性)。

具体地，在图11中示出的用户界面300中，推断为正常的区域303、推断为良性的区域303以及推断为恶性的区域303被叠加(通过推荐待注释的区域)在病理图像显示区域301中显示的病理图像302上，从而使用户执行利用正常、良性或恶性的标记对每个区域303进行注释的操作(S21)。应注意，类似于训练步骤S1，可以通过各种方法推断每个区域303的类别，例如，通过训练单元133使用当前训练模型121(例如，在执行训练步骤S2之前的学习模型2)。顺便说一下，可以将在训练步骤S1中用于注释区域303的标签作为训练步骤S2中的参考推荐给用户(S22)。

随后，训练步骤S2使用注释有阶段1和2的总共三类的病理图像(带注释的病理图像)作为教师数据来训练训练模型121(S23)。通过该操作，创建已经学习了阶段1至2的总共三个类别的训练模型121(图13中的学习模型3)。

(训练步骤S3)

训练步骤S3与训练步骤S2类似，训练训练模型121(图13中的学习模型3)以学习作为将阶段2的3类恶性分类为阶段3的四个类别(乳头状腺癌(pap)、管状腺癌(tub)、低分化腺癌(por)和印戒细胞癌(sig))的结果而获得的总共六个类别(类别1：正常、类别2：良性、类别3：乳头状腺癌(pap)、类别4：管状腺癌(tub)、类别5：低分化腺癌(por)、类别6：印戒细胞癌(sig))。

具体地，在图11所示的用户界面300中，在被显示在病理图像显示区域301中的病理图像302上叠加(通过推荐待注释的区域)被推断为正常的区域303、被推断为良性的区域303、被推断为乳头状腺癌(pap)的区域303、被推断为管状腺癌(tub)的区域303、被推断为低分化的腺癌(por)的区域303和被推断为印戒细胞癌(sig)的区域303，从而使用户执行利用正常、良性、乳头状腺癌(pap)、管状腺癌(tub)、低分化的腺癌(por)或印戒细胞癌(sig)的标签对每个区域303进行注释的操作(S31)。注意，类似于训练步骤S1和S2，可以通过各种方法推断每个区域303的类别，例如，通过训练单元133使用当前训练模型121(例如，在执行训练步骤S3之前的学习模型3)。顺便提及，在训练步骤S2中用于注释区域303的标签可以作为在训练步骤S3中的参考被推荐给用户(S32)。

随后，在训练步骤S3中，使用注释有阶段1至3的总共六类的病理图像(带注释的病理图像)作为教师数据执行训练模型121的训练(S33)。利用该操作，创建已经学习了阶段1至3的总共六类的训练模型121。

注意，各训练步骤S1至S3可执行多次。在这种情况下，允许应用各种流程，诸如多次执行每个训练步骤并且然后执行下训练步骤的流程，或者每个训练步骤的流程是通过训练步骤S1至S3并且然后通过训练步骤S1至S3再次执行。

以这种方式，通过逐步训练学习模型以创建训练模型121，可以基于先前的训练步骤信息和下训练步骤信息向用户呈现待注释的区域，使得用户可以对适当的区域进行适当的注释。此外，因为考虑到病理情况的分层结构可以有效地训练学习模型，所以实现各阶段的训练模型121的创建(训练步骤S1至S3)。此外，利用保持在各阶段创建的训练模型121并且能够通过图11中的阶段选择标签306在每个阶段选择性地显示识别结果的配置，可以利用具有整体效果的每个训练步骤的识别结果。

[1-6.改变放大倍率和粒度的显示]

接下来，将描述沿着病理病例的分层结构将放大率、注释粒度等推荐给用户的功能。例如，当在图13的训练步骤S1中利用正常和肿瘤的两种类型的标记对区域303进行注释时，还可以在低层训练步骤中向用户提供粗略地将病理图像302注释为低倍率图像的功能。此外，当在随后的训练步骤中情况复杂时，还可以向用户提供将病理图像302精细标注为高倍率图像的功能。可替代地，也可以不针对每个训练步骤而是根据学习模型122或者训练模型121在每个训练步骤中的熟练程度来改变应用于病理图像302的注释的粒度。

在本说明书中，粗略标注低倍率/高倍率的病理图像也被称为将低倍率/高倍率标注应用于病理图像。此外，在病理图像上应用的注释的放大率也被称为注释的粒度。

下面通过一些例子说明粒度变化标注的功能(以下称为标注功能)。

[1-6-1.第一示例]

在第一示例中，将描述粗略地将病理图像302标注为低倍率图像的标注功能。图14是示出根据第一示例的注释功能的示图。如图14所示，在根据第一示例的注释功能中，在用户界面300的病理图像显示区域301中显示作为低放大倍率图像的病理图像302(参照图11)。此外，在病理图像显示区域301中显示的病理图像302还包括为用户显示的网格307，以粗略地设置待注释的区域。当用户在选择由网格307划分的一个或多个区域的同时选择类别选择按钮304时，对所选择的区域进行注释。

[1-6-2.第二实例]

在第二示例中，将描述将病理图像302粗略地标注为低倍率图像的另一标注功能。图15是示出根据第二实例的注释功能的示图。如图15所示，在根据第二实施例的注释功能中，在用户界面300的病理图像显示区域301中显示作为低放大倍率图像的病理图像302(参照图11)。例如，用户可以通过利用用户界面300中包括的指针308追踪在病理图像显示区域301中显示的病理图像302中要注释的区域的边界来设置要注释的区域303，并且可以在设置区域303的状态下通过选择类别选择按钮304来注释设置的区域。

[1-6-3.第三实例]

在第三示例中，将描述将病理图像302精细标注为高倍率图像的标注功能。图16是示出根据第三实例的注释功能的示图。如图16所示，在根据第三实例的注释功能中，在用户界面300的病理图像显示区域301中显示作为高倍率图像的病理图像302(参照图11)。此外，在病理图像显示区域301中显示的病理图像302包括被显示为使用在直到先前阶段的训练步骤中训练的训练模型121获得的推断区域的区域303。当用户在选择区域303的同时选择类别选择按钮304时，对所选择的区域303进行注释。

[1-7.具有注释的相似性检索功能]

接下来，将描述具有注释的相似性检索功能。图17是示出了根据本实施方式的具有注释的相似性检索功能的示图。

当注释的粒度随着AI创建流程的进展而变得更细时，用户可能难以决定要如何注释区域303。此外，在AI创建流程的初始阶段，用户可能难以决定注释什么水平，诸如血管、基质等。鉴于此，本实施方式为用户提供指定类似于经由用户界面300确定用户难以确定的区域的另一病理图像的区域的功能(在下文中，称之为相似性检索功能)。

除了病理图像之间的相似性和/或区域之间的相似性之外，相似性检索功能还确定应用于病理图像的区域上的注释的相似性(具有注释的相似性检索功能)。例如，当使用相似性检索功能时，通过相似图像检索指定病理图像和/或与用户难以确定的区域具有高相似性的区域和/或包括该区域的病理图像。注意，类似图像搜索可以是一般的相似性图像检索。此外，根据本实施方式的相似性检索功能基于用于由另一用户或过去的用户(在下文中，称之为同事)对病理图像和/或区域进行注释的特征，将通过相似图像检索指定的病理图像和/或其区域之中的具有较高相似性程度的病理图像和/或其区域分组。特征量的实例包含用于注释的标记的长度、区域的面积、用于注释的标记的数目等。

如图17所示，在搜索的分组结果中，在图17所示的实例中，在用户界面300中的与病理图像显示区域301相邻的区域中显示指定为相似图像的病理图像331、对病理图像执行了诊断(注释)的同事(临床医生、病理医生等)的识别信息(姓名、号码、照片、化身等)以及作为包括在用于注释病理图像的标签中的诊断结果的备注333。

以这种方式，通过基于注释对相似度检索的结果进行分组，可以由同事确认关于相似图像的诊断细节，诸如是否仔细提取肿瘤区域中包括的血管和基质或者注释是否大致被制作成块。此外，通过将诸如备注333的评论与病理图像331一起显示，可以将评论用作诸如用户判定肿瘤等级的时刻的参考。

[1-8.推断结果的显示实例]

接下来，将描述通过使用训练的模型121作为如上所述创建的多级模型获得的关于病理图像的推断结果的显示实例。如上所述，病理图像可以是对应于待诊断的第二患部组织的病理图像。

如上所述，在本实施方式中，通过根据病理情况的分层结构在多级训练步骤(例如，训练步骤S1至S3)中训练学习模型来创建针对每个分层的训练模型121。因而，通过使用针对每个层级的训练模型121而获得的推断结果也具有层级结构。因此，在本实施例中，基于分层结构向用户呈现具有分层结构的推断结果。这使得可以呈现每个层级的推断结果以便由用户更容易地解释。在下文中，将利用一些例子描述根据分层结构的推断结果的显示。

[1-8-1.第一显示实例]

图18是示出根据第一显示实例的用户界面的示图。如图18所示，根据第一显示例的用户界面400显示待诊断的病理图像401和指示用于对病理图像401的各区域402a至402c进行注释的标签的注释标签403a至403c。

各注释标签403a至403c的顶部字段显示正常识别结果。正常识别结果可以是例如通过使用最终训练模型121获得的推断结果(类)。

此外，各注释标签403a至403c中利用下拉方式显示例如通过使用在每个训练步骤(例如，图13中示出的训练步骤S1至S3)中创建的训练模型121而获得的推断结果(在下文中，称为训练步骤的推断结果)和推断结果的可靠性(例如，注释正确的概率)。注意，各训练步骤的推断结果可以是多个推断结果中具有最高可靠性的推断结果。然而，该显示不限于此，在每个训练步骤中为每个类别计算的可靠性可以与注释标签403a至403c一起显示。

以这种方式，通过将通过使用在每个训练步骤中创建的训练模型121获得的推断结果与推断结果的可靠性一起显示，可以进一步增强包括在病理图像401中的病变的用户解释。

[1-8-2.第二显示实例]

图19和图20是示出根据第二显示实例的用户界面的示图。

首先，在根据图19中示出的第二显示实例的用户界面410中，在每个训练步骤中作为目标的所有区域303被标记有在每个训练步骤中类似地作为目标的所有类别。具体地，将在训练步骤S1中作为目标的阶段1的类别(正常和肿瘤)的标记412a和412b以及在图13中未示出的训练步骤S3之后的训练步骤(称为训练步骤S4)中作为目标的阶段4的类别(高分化(tub1)、中分化(tub2)、充实型(por1)、非充实型(por2))的标记412c至412f标记至作为诊断目标的病理图像411。此外，虽然图19不包括在训练步骤S2中靶向的阶段2的类别(良性和恶性)或在训练步骤S3中靶向的阶段3的类别(乳头状腺癌(pap)、管状腺癌(tub)、低分化腺癌(por)和印戒细胞癌(sig))，但这些类别也根据需要进行标记。

此外，在根据图20中示出的第二显示实例的用户界面420中，将在训练步骤S1中作为目标的阶段1的类别(肿瘤)的标记422a以及在图13中未示出的另一个训练步骤中作为目标的其他阶段的类别(例如，等级1和等级2)的标记422b和422c标记至病理图像421作为诊断目标。

以这种方式，通过同时显示通过使用在每个训练步骤中创建的训练模型121获得的推断结果，用户可以追踪各区域303的推断结果输出，导致包括在病理图像411中的每个区域303的用户解释的进一步增强。应注意，例如，在图19和图20中，可基于用户的设置从显示目标排除特定训练步骤的标记。

[1-9.层级结构的另一实例]

作为病理情况的分层结构的另一个实例，除了以上参考图12举例说明的分层结构之外，还有乳腺癌等的淋巴结转移的分层结构。在乳腺癌的淋巴结转移的诊断中，基于多个病理图像综合判断是否存在肿瘤、肿瘤的尺寸等。

图21是示出当根据本实施方式的诊断支持系统1应用于乳腺癌的淋巴结转移的诊断时的AI生成流程的实例的示图。如图21所示，当根据本实施方式的诊断支持系统1应用于乳腺癌的淋巴结转移的诊断时，AI生成流程的训练步骤S1检测多个病理图像501a至501n的每一个中的肿瘤区域502。

在训练步骤S2中，通过基于TMN分类的阶段(对应于类别)对在训练步骤S1中检测到的区域进行标注来创建教师数据(S511)。随后，使用创建的教师数据执行学习模型122的训练(S512)。利用该过程，创建作为TMN分类器的训练模型121。

此外，被配置为显示通过使用以这种方式创建的训练模型121获得的推断结果的用户界面并行显示多个目标病理图像，同时显示由训练模型121推断的每个病理图像中的肿瘤区域和应用于每个区域的注释(阶段)。通过参考显示在用户界面上的这些信息(诊断依据)，用户可以给出关于乳腺癌的淋巴结转移的最终诊断结果。

[1-10.作用和效果]

如上所述，根据本实施例，可以逐步注释大量病理图像。由此，能够减少制作教师数据时的劳力、工作量，能够容易地制作大量的教师数据。这使得可以容易地提高机器学习的准确性。

另外，根据本实施例，可以使用对复杂病例逐步应用注释来进行学习，导致实现能够考虑到病例的分层信息支持用户的诊断的诊断支持系统1。

此外，通过根据学习的阶段提供注释的适当粒度和放大，可以更高效地应用注释。

此外，当将经训练的模型121应用于实际诊断时，各个层级的识别结果可以一起显示，使得可以提供能够容易地由用户解释的诊断支持信息。

(2.其他实施方式)

除了上述配置之外，可以以各种不同形式执行根据上述各个实施例的处理。

[2-1.显示装置]

以上实施例示出在作为静止装置的显示装置24上显示诊断支持UI屏幕(1)至(3)的实例。然而，诊断支持信息可以被显示在由显示装置24上显示的病理图像的阅览者佩戴的身体佩戴装置(头戴式显示器等)上。此时，诊断支持信息可以叠加在显示装置24上显示的病理图像上。此外，诊断支持信息可以被显示在所附接的透明显示器上以覆盖显示装置24的前表面。此时，诊断支持信息可以显示在透明显示器上，使得诊断支持信息叠加在显示在显示装置24上的病理图像上。

[2-2.成像装置]

此外，虽然上述实施方式使用显微镜作为对标本成像的装置的实例，但是装置不限于此。例如，对样本成像的装置可以是用于对患者身体内部成像的医学图像采集装置，诸如内窥镜、CT(计算机断层扫描)或MRI(磁共振成像)。在这种情况下，服务器12和服务器22存储由内窥镜生成的二维静止图像或运动图像、由CT或MRI生成的三维图像等医疗图像。此外，服务器12和服务器22可以与这些图像相关联地存储与图像有关的信息，诸如图像的成像条件和诊断结果。

[2-3.服务器]

此外，服务器12和服务器22可以与由显微镜生成的病理图像相关联地存储由诸如内窥镜、CT或MRI的其他医学图像采集设备捕获的其他病理图像。在这种情况下，除了由显微镜生成的病理图像之外，显示控制单元23b可显示由彼此相邻以用于参考的其他成像装置拍摄的其他病理图像。

[2-4.病理学图像]

存储在服务器12和服务器22中的病理图像包括具有低分辨率的病理图像。即，存在用作教师数据的病理图像的分辨率不是足以适当地训练学习模型的分辨率的情况。此处，当保存包含试样的载玻片时，载玻片可用高分辨率显微镜重新成像以新生成高分辨率的病理图像。因此，当用作教师数据的病理图像的分辨率不足以执行学习模型的适当训练并且存在重新成像的病理图像时，推导装置100可以使用重新成像的病理图像作为教师数据来训练学习模型。

[2-5.硬件配置]

例如，通过具有如图22中所示的配置的计算机1000实现根据上述实施方式的诸如推导装置100和200以及显示控制装置23的信息设备。在下文中，将描述根据上述实施方式的推导装置100作为实例。图22是示出实现推导装置100的功能的计算机1000的实例的硬件配置图。计算机1000包括CPU 1100、RAM 1200、ROM(只读存储器)1300、HDD(硬盘驱动器)1400、通信接口1500和输入/输出接口1600。计算机1000的各个组件通过总线1050互连。

中央处理器1100基于存储在ROM 1300或HDD 1400中的程序进行操作，以控制每个组件。例如，CPU 1100将存储在ROM 1300或HDD 1400中的程序展开到RAM 1200中，并且执行与各种程序相对应的处理。

ROM 1300存储诸如当计算机1000启动时由CPU 1100执行的基本输入输出系统(BIOS)的引导程序、依赖于计算机1000的硬件的程序等。

HDD1400是记录由CPU 1100执行的程序、由该程序使用的数据等的非暂时性计算机可读记录媒质。具体地，HDD 1400是记录根据本公开的响应生成程序的记录介质，响应生成程序是程序数据1450的实例。

通信接口1500是用于将计算机1000连接到外部网络1550(例如，互联网)的接口。例如，CPU 1100经由通信接口1500从其他设备接收数据或者向其他设备发送由CPU 1100生成的数据。

输入/输出接口1600是用于在输入/输出装置1650与计算机1000之间连接的接口。例如，CPU 1100经由输入/输出接口1600从诸如键盘或鼠标的输入装置接收数据。此外，CPU1100经由输入/输出接口1600将数据传输至诸如显示器、扬声器或打印机的输出装置。此外，输入/输出接口1600可以用作用于读取记录在预定的计算机可读记录介质(或多个介质)上的程序等的介质接口。介质的实例包括诸如DVD(数字通用盘)或PD(相变可重写盘)的光记录介质、诸如MO(磁光盘)的磁光记录介质、磁带介质、磁记录介质以及半导体存储器。

例如，当计算机1000用作根据上述实施方式的推导装置100时，计算机1000的CPU1100执行加载到RAM 1200上的诊断支持程序以实现病理图像获取单元131、训练数据获取单元132、训练单元133、推导单元134等的功能。此外，HDD 1400将根据本公开的诊断支持程序和数据存储在存储单元120中。此外，例如，当计算机1000用作根据上述实施方式的显示控制装置23时，计算机1000的CPU 1100执行加载到RAM1200上的显示控制程序，以实现图像获取单元23a、显示控制单元23b等的功能。此外，HDD 1400存储根据本公开的显示控制程序。当CPU 1100执行从HDD 1400读取的程序数据1450时，作为另一例子，CPU 1100可以经由外部网络1550从另一设备获取诊断支持程序和显示控制程序。

[其他]

在以上实施方式中描述的各个过程之中，描述为自动执行的过程的全部或一部分可手动执行，或者描述为手动执行的过程可通过已知方法自动执行。另外，上述文献或附图所示的处理过程、具体名称、包含各种数据和参数的信息只要没有特别说明，就能够任意变更。例如，在每个附图中示出的各种类型的信息不限于示出的信息。

此外，每个设备的每个部件被提供作为功能和概念图示，并且因此不一定需要如图示那样物理地配置。即，每个装置的分布/集成的具体形式不限于在附图中示出的那些，并且其全部或一部分可以根据各种负载和使用条件在功能上或物理上分布或集成到任意单元中。

此外，能够在不矛盾处理的情况下实现的范围内适当地组合上述实施方式和变形例。

本说明书中描述的效果仅是实例，并且因此，可存在不限于示例性效果的其他效果。

应注意，本技术还可具有以下配置。

(1)

一种判断支持装置，包括推导单元，所述推导单元使用多级训练模型来推导对通过对生物样本成像而获得的第一病理图像的确定的估计结果，在所述多级训练模型中能够在各级中设置类别分类。

(2)

根据(1)所述的判断支持装置，进一步包括训练单元，所述训练单元通过使用教师数据训练学习模型来创建所述多阶段训练模型，所述教师数据包括在各级中不同的类别分类的注释。

(3)

根据(2)所述的判断支持装置，

其中所述多级训练模型包括：第一训练模型；以及第二训练模型，所述第二训练模型具有与所述第一训练模型的所述类别分类不同的所述类别分类，以及

训练单元执行包括以下的处理：

通过将第一类分类中的类别之一作为注释附加到包含在第二病理图像中的区域，来创建用于创建所述第一训练模型的第一教师数据；

通过将在类别分类上与所述第一类别分类不同的第二类别分类中的类别之一作为注释附加到包含在所述第二病理图像中的所述区域，来创建用于创建所述第二训练模型的第二教师数据；

通过使用所述第一教师数据训练所述学习模型来创建所述第一训练模型，以及

通过使用所述第二教师数据训练所述学习模型来创建所述第二训练模型。

(4)

根据(3)所述的判断支持装置，

其中训练单元执行包括以下的处理：

通过将由用户从所述第一类别分类中选择的所述类别作为注释附加到所述第二病理图像，来创建所述第一教师数据；以及

通过将由所述用户从所述第二类别分类中选择的所述类别作为注释附加到所述第二病理图像，来创建所述第二教师数据。

(5)

根据(4)所述的判断支持装置，

其中，在创建所述第二教师数据时，所述训练单元将用于由所述第一训练模型估计的对于所述第二病理图像的判断的估计结果与所述第二病理图像一起呈现给所述用户。

(6)

根据(4)或(5)所述的判断支持装置，其中，在创建用于创建每个所述多级训练模型的各级的教师数据时，所述训练单元将由灭个所述多级训练模型的估计的判断的估计结果与所述第二病理图像一起呈现给所述用户。

(7)

根据(3)至(6)中任一项所述的判断支持装置，其中，在创建用于创建每个多级训练模型的各阶段的教师数据时，所述训练单元将用于允许用户指定所述第二病理图像中的区域的栅格与所述第二病理图像一起呈现给所述用户。

(8)

根据(3)至(6)中任一项所述的判断支持装置，其中，在创建用于创建每个所述多级训练模型的各级的教师数据时，所述训练单元使用户指定所述第二病理图像中的区域，并且将由所述用户指定的所述类别作为注释附加到指定的区域。

(9)

根据(5)至(8)中任一项所述的判断支持装置，其中，在创建用于创建每个所述多级训练模型的各级的教师数据时，所述训练单元随着级的进度增加呈现给所述用户的所述第二病理图像的放大倍率。

(10)

根据(5)至(9)中任一项所述的判断支持装置，其中，在创建用于创建每个多级训练模型的各级的教师数据时，所述训练单元获取与所述第二病理图像相似的一个或多个第三病理图像，并且将所述一个或多个第三病理图像以及附加至所述一个或多个第三病理图像的信息与所述第二病理图像一起呈现给所述用户。

(11)

根据(10)所述的判断支持装置，其中所述训练单元将所述一个或多个第三病理图像中的、所附加的所述注释与推荐给所述第二病理图像的区域的注释相似的第三病理图像优先呈现给所述用户。

(12)

根据(1)至(12)中任一项所述的判断支持装置，其中，所述判断支援装置还具备显示控制单元，所述显示控制部使显示装置显示通过每个所述多级训练模型导出的判断的估计结果。

(13)

根据(12)所述的判断支持装置，其中，所述显示控制单元使所述显示装置将通过每个所述多级训练的模型导出的判断的估计结果与每个所述估计结果的可靠性一起显示。

(14)

根据(12)所述的判断支持装置，其中所述显示控制单元使所述显示装置将通过每个所述多级训练模型导出的所述确定的估计结果叠加在相同的第一病理图像上显示。

(15)

根据(2)至(11)中任一项所述的判断支持装置，其中，训练模型通过使用多层神经网络深度学习来训练学习模型来创建多级经训练的模型。

(16)

一种用于创建多级训练模型的信息处理装置，所述多级训练模型从通过对生物样本成像而获得的第一病理图像得出确定的估计结果，

所述信息处理装置包括训练单元，所述训练单元通过使用教师数据训练学习模型来创建所述多阶段训练模型，所述教师数据包括在各级中的不同的类别分类的注释。

(17)

一种用于创建多级训练模型的训练方法，所述多级训练模型从通过对生物样本成像而获得的第一病理图像得出确定的估计结果，

所述训练方法包括通过使用教师数据训练学习模型来创建所述多级训练模型，所述教师数据包括指示各级中不同的类别分类的注释。

符号说明

1 诊断支持系统

10、20 病理系统

11、21 显微镜

12、22 服务器

13、23 显示控制装置

14、24 显示装置

23a 图像获取单元

23b 显示控制单元

30 医疗信息系统

100 推导装置

110 通信单元

120 存储单元

121 训练模型

122 学习模型

130 控制单元

131 局部图像获取单元

132 训练数据获取单元

133 训练单元

134 推导单元

201 第一数据库

202 第二数据库

300 用户界面。

Claims (17)

1.一种判断支持装置，包括推导单元，所述推导单元使用多级训练模型来推导对通过对生物样本成像而获得的第一病理图像的判断的估计结果，在所述多级训练模型中能够在各级中设置类别分类。

2.根据权利要求1所述的判断支持装置，进一步包括训练单元，所述训练单元通过使用教师数据训练学习模型来创建所述多级训练模型，所述教师数据包括在各级中不同的类别分类的注释。

3.根据权利要求2所述的判断支持装置，

其中，所述多级训练模型包括：第一训练模型；以及第二训练模型，所述第二训练模型具有与所述第一训练模型的类别分类不同的类别分类，以及

所述训练单元执行包括以下的处理：

通过将第一类别分类中的类别之一作为注释附加到包含在第二病理图像中的区域，来创建用于创建所述第一训练模型的第一教师数据；

通过将在类别分类上与所述第一类别分类不同的第二类别分类中的类别之一作为注释附加到包含在所述第二病理图像中的区域，来创建用于创建所述第二训练模型的第二教师数据；

通过使用所述第一教师数据训练所述学习模型来创建所述第一训练模型，以及

通过使用所述第二教师数据训练所述学习模型来创建所述第二训练模型。

4.根据权利要求3所述的判断支持装置，

其中，所述训练单元执行包括以下的处理：

通过将由用户从所述第一类别分类中选择的类别作为所述注释附加到所述第二病理图像，来创建所述第一教师数据；以及

通过将由所述用户从所述第二类别分类中选择的类别作为所述注释附加到所述第二病理图像，来创建所述第二教师数据。

5.根据权利要求4所述的判断支持装置，

其中，在创建所述第二教师数据时，所述训练单元将用于由所述第一训练模型估计的对所述第二病理图像的判断的估计结果与所述第二病理图像一起呈现给所述用户。

6.根据权利要求4所述的判断支持装置，其中，在创建用于创建每个所述多级训练模型的各级的教师数据时，所述训练单元将由每个所述多级训练模型估计的判断的估计结果与所述第二病理图像一起呈现给所述用户。

7.根据权利要求3所述的判断支持装置，其中，在创建用于创建每个所述多级训练模型的各级的教师数据时，所述训练单元将用于允许用户指定所述第二病理图像中的区域的栅格与所述第二病理图像一起呈现给所述用户。

8.根据权利要求3所述的判断支持装置，其中，在创建用于创建每个所述多级训练模型的各级的教师数据时，所述训练单元使用户指定所述第二病理图像中的区域，并且将由所述用户指定的所述类别作为所述注释附加到指定的所述区域。

9.根据权利要求5所述的判断支持装置，其中，在创建用于创建每个所述多级训练模型的各级的教师数据时，所述训练单元随着级的进度增加呈现给所述用户的所述第二病理图像的放大倍率。

10.根据权利要求5所述的判断支持装置，其中，在创建用于创建每个所述多级训练模型的各级的教师数据时，所述训练单元获取与所述第二病理图像相似的一个或多个第三病理图像，并且将所述一个或多个第三病理图像以及附加至所述一个或多个第三病理图像的信息与所述第二病理图像一起呈现给所述用户。

11.根据权利要求10所述的判断支持装置，其中，所述训练单元将所述一个或多个第三病理图像中的、所附加的所述注释与推荐给所述第二病理图像的区域的注释相似的第三病理图像优先呈现给所述用户。

12.根据权利要求1所述的判断支持装置，进一步包括显示控制单元，使显示装置显示通过每个所述多级训练模型导出的判断的估计结果。

13.根据权利要求12所述的判断支持装置，其中，所述显示控制单元使所述显示装置将通过每个所述多级训练的模型导出的所述判断的估计结果与每个所述估计结果的可靠性一起显示。

14.根据权利要求12所述的判断支持装置，其中，所述显示控制单元使所述显示装置将通过每个所述多级训练模型导出的所述判断的估计结果叠加在相同的所述第一病理图像上显示。

15.根据权利要求2所述的判断支持装置，其中，所述训练模型通过使用多层神经网络深度学习来训练所述学习模型来创建所述多级训练模型。

16.一种用于创建多级训练模型的信息处理装置，所述多级训练模型从通过对生物样本成像而获得的第一病理图像导出判断的估计结果，

所述信息处理装置包括训练单元，所述训练单元通过使用教师数据训练学习模型来创建所述多级训练模型，所述教师数据包括在各级中不同的类别分类的注释。

17.一种用于创建多级训练模型的训练方法，所述多级训练模型从通过对生物样本成像而获得的第一病理图像导出判断的估计结果，

所述训练方法包括通过使用教师数据训练学习模型来创建所述多级训练模型，所述教师数据包括在各级中不同的类别分类的注释。

Images