CN113490842A

CN113490842A - 信息处理装置、信息处理方法和信息处理系统

Info

Publication number: CN113490842A
Application number: CN201980092772.3A
Authority: CN
Inventors: 渡边真司; 相坂一树; 相马芳男
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2019-02-28
Filing date: 2019-12-25
Publication date: 2021-10-08
Also published as: US20220148323A1; JPWO2020174862A1; EP3933383A4; EP3933383A1; WO2020174862A1

Abstract

提供了一种信息处理装置，该信息处理装置具有：显示控制单元，其控制示出生物体区域的图像数据的显示；信息获取单元，其获取针对图像数据输入的第一区域信息；以及处理单元，其基于上述图像数据、上述第一区域信息和拟合模式生成第二区域信息。

Description

信息处理装置、信息处理方法和信息处理系统

技术领域

本公开涉及信息处理装置、信息处理方法和信息处理系统。

背景技术

近年来，已知用于在捕获生物区域的图像数据中选择用于预定处理的区域(目标区域)的技术。在预定处理是学习处理的情况下，指示目标区域的轮廓的信息(目标区域的区域信息)被用作用于机器学习的教师数据。例如，在目标区域是病变区域的情况下，如果目标区域的区域信息被用作用于机器学习的教师数据，则可以构建根据图像数据自动诊断的人工智能(AI)。注意，在下文中，用作教师数据的目标区域的区域信息也简称为“注释”。公开了各种技术作为用于获得注释的技术(例如，参见非专利文献1)。

这里，期望作为教师数据获得的注释的精度高。然而，通常，为了获得注释，用户尝试通过使用输入装置(例如，鼠标或电子笔等)对图像数据绘制曲线来输入目标区域的轮廓。

然而，用户实际绘制的曲线与目标区域的轮廓之间可能出现偏差。因此，如果用户试图绘制曲线以不偏离目标区域的轮廓，则用户花费大量的努力。另一方面，当用户绘制粗略曲线时，花费大量的努力来校正该曲线以匹配目标区域的轮廓。

引用列表

非专利文献

非专利文献1：Jessica L.Baumann et al.,“Annotation of Whole SlideImages Using Touchscreen Technology”,Pathology Visions 2018。

发明内容

本发明要解决的问题

因此，期望提供一种允许在减少用户对捕获生物区域的图像数据的努力的同时以高精度选择目标区域的技术。

问题的解决方案

根据本公开，提供了一种信息处理装置，包括：显示控制单元，其控制捕获生物区域的图像数据的显示；信息获取单元，其获取针对图像数据输入的第一区域信息；以及处理单元，其基于图像数据、第一区域信息和拟合模式生成第二区域信息。

根据本公开，提供了一种信息处理方法，包括：由处理器控制捕获生物区域的图像数据的显示；由处理器获取针对图像数据输入的第一区域信息；并且由处理器基于图像数据、第一区域信息和拟合模式生成第二区域信息。

根据本公开，提供了一种信息处理系统，该信息处理系统具有读取装置，该读取装置通过读取生物区域来生成包括捕获生物区域的图像数据的扫描数据，该信息处理系统包括信息处理装置，该信息处理装置包括：显示控制单元，其控制图像数据的显示；信息获取单元，其获取针对图像数据输入的第一区域信息；以及处理单元，其基于图像数据、第一区域信息和拟合模式生成第二区域信息。

根据本公开，提供了一种信息处理系统，包括医学图像成像装置和用于处理与由医学图像成像装置成像的对象相对应的图像数据的软件，其中，软件使信息处理装置执行包括以下步骤的处理：获取针对与第一生物组织相对应的第一图像数据输入的第一区域信息；并且基于第一图像数据、第一区域信息和拟合模式生成第二区域信息。

附图说明

图1是示出根据本公开的实施例的信息处理系统的配置示例的示图。

图2是示出根据本公开的实施例的信息处理装置的功能配置示例的示图。

图3是示出在保持图像数据的放大率相同的同时重复执行拟合的情况的示例的示图。

图4是示出以不同的显示模式同时显示多次拟合的相应执行结果的示例的示图。

图5是示出在改变图像数据的放大率的同时重复执行拟合的情况的示例的示图。

图6是示出在保持图像数据的放大率相同的同时重复执行拟合的情况的操作示例的示图。

图7是示出在改变图像数据的放大率的同时重复执行拟合的情况的操作示例的示图。

图8是示出肿瘤区域的示例的示图。

图9是示出控制点的布置示例的示图。

图10是示出控制点的布置示例的示图。

图11是用于说明部分拟合的示例的示图。

图12是示出用于拟合部分的检查UI的示例的示图。

图13是示出用于拟合部分的检查UI的另一示例的示图。

图14是用于说明从图像数据中选择的目标区域用于分析PD-L1分子的表达水平的示例的示图。

图15是用于说明搜索范围的可视化的示例的示图。

图16是用于说明搜索范围的可视化的示例的示图。

图17是用于说明指定搜索范围的示例的示图。

图18是用于说明调整搜索范围的示例的示图。

图19是示出在用户自己调整搜索范围的情况下的信息处理的示例的流程图。

图20是示出在根据边界输入的速度改变搜索范围的情况下的信息处理的示例的流程图。

图21是示出在根据笔压改变搜索范围的情况下的信息处理的示例的流程图。

图22是示出在根据观察放大率改变搜索范围的情况下的信息处理的示例的流程图。

图23是示出在根据图像改变搜索范围的情况下的信息处理的示例的流程图。

图24是用于说明当评估边界的清晰度时的采样方法的示例的示图。

图25是示出根据本公开的实施例的信息处理装置的硬件配置示例的框图。

具体实施方式

在下文中，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有大致相同的功能配置的组件被赋予相同的参考标记，并且省略重复的描述。

此外，在说明书和附图中，可以通过在相同的参考标记之后添加不同的字母来区分具有大致相同或类似的功能结构的多个组件。然而，当不必特别区分具有大致相同或类似的功能结构的多个组件中的每一个组件时，仅给出相同的参考标记。此外，可以通过在相同的参考标记之后添加不同的字母来区分不同实施例的类似组件。然而，当不必特别区分类似组件中的每一个组件时，仅给出相同的参考标记。

注意，将按以下顺序进行描述。

0.概述

1.实施例的细节

1.1.信息处理系统的配置示例

1.2.信息处理装置的功能配置示例

1.3.系统拥有的功能的细节

1.3.1.目标区域的类型

1.3.2.拟合模式的类型

1.3.3.边界的确定

1.3.4.初始区域的确定

1.3.5.初始区域的校正

1.3.6.操作示例

1.3.7.控制点的布置

1.3.8.部分吸附

1.3.9.拟合部分的检查

1.3.10.搜索范围的可视化

1.3.11.搜索范围

1.3.12.搜索范围的调整

1.3.13.边界输入速度

1.3.14.笔压

1.3.15.观察放大率

1.3.16.图像

1.3.17.其他

1.3.18.多个处理

1.3.19.拟合

2.修改示例

3.硬件配置示例

4.结论

<0.概述>

近年来，已知用于在捕获生物区域的图像数据中选择用于预定处理的区域(目标区域)的技术。在预定处理是学习处理的情况下，指示目标区域的轮廓的信息(目标区域的区域信息)被用作用于机器学习的教师数据。例如，在目标区域是病变区域的情况下，如果目标区域的区域信息被用作用于机器学习的教师数据，则可以构建根据图像数据自动诊断的人工智能(AI)。注意，在下文中，用作教师数据的目标区域的区域信息也简称为“注释”。公开了各种技术作为用于获得注释的技术。

这里，期望作为教师数据获得的注释的精度高。然而，通常，为了获得注释，用户尝试通过使用输入装置(例如，鼠标或手写板等)对图像数据绘制曲线来输入目标区域的轮廓。

因此，在本公开的实施例中，将主要描述允许在减少用户对捕获生物区域的图像数据的努力的同时以高精度选择目标区域的技术。更具体地，在本公开的实施例中，在目标区域的区域信息被用作用于机器学习的教师数据的情况下，将主要描述允许在减少用户的努力的同时获得高精度注释的技术。

注意，附接到目标区域的标签也将被用作用于机器学习的教师数据。该标签可以是关于该目标区域的信息。关于目标区域的信息可以包括诊断结果。该诊断结果可以包括癌症亚型、癌症阶段和癌细胞分化程度中的至少一种。分化程度可以用于预测诸如哪种药物(抗癌药物等)可能起作用的信息。可选地，关于目标区域的信息可以包括分析结果。该分析结果可以包括目标区域中病变的存在或不存在、目标区域包含病变的概率、病变的位置和病变的类型中的至少一个。

在下文中，用作教师数据的标签和注释统称为“注释数据”。

上面已经描述了本公开的实施例的概述。

<1.实施例的细节>

[1.1.信息处理系统的配置示例]

随后，将参考附图描述根据本公开的实施例的信息处理系统的配置示例。图1是示出根据本公开的实施例的信息处理系统的配置示例的示图。如图1所示，根据本公开的实施例的信息处理系统1包括信息处理装置10、扫描仪30(读取装置)、网络70和学习装置50。信息处理装置10、扫描仪30和学习装置50能够经由网络70彼此通信。

信息处理装置10例如包括计算机。例如，信息处理装置10由用户(例如，医生等)使用。在本公开的实施例中，主要假设用户的各种操作直接输入到信息处理装置10的情况。然而，用户的各种操作可以经由未示出的终端输入到信息处理装置10。此外，在本公开的实施例中，主要假设从信息处理装置10直接输出用于用户的各种呈现信息的情况。然而，可以经由未示出的终端从信息处理装置10输出用于用户的各种呈现信息。

扫描仪30读取生物区域。因此，扫描仪30生成包括捕获生物区域的图像数据的扫描数据。该生物区域可以与从样本获得的标本相对应。例如，扫描仪30具有图像传感器，并且利用该图像传感器捕获标本的图像，从而生成包括捕获标本的图像数据的扫描数据。扫描仪30的读取方法不限于具体类型。例如，扫描仪30的读取方法可以是电荷耦合装置(CCD)类型或接触图像传感器(CIS)类型。

这里，CCD类型可以与来自标本的反射光被反射并会聚在反射镜上，通过透镜透射的光被CCD传感器读取，并且由CCD传感器读取的光被转换为图像数据的类型相对应。另一方面，CIS方法可以与RGB三色发光二极管(LED)用作光源，来自光源的光在标本上的反射的结果被光传感器读取，并且将所读取的结果转换为图像数据的类型相对应。

在本公开的实施例中，主要假设捕获病变区域的图像数据(病变图像数据)被用作图像数据的情况。然而，根据本公开的实施例的图像数据不限于病变图像数据。为了使病变图像数字化，可以采用将设置在扫描仪(数字显微镜)的载物台上的标本(载玻片)的连续捕获的多个图像结合在一起以生成单个大图像的方法。该方法被称为全载玻片成像(WSI)。

学习装置50例如包括计算机。学习装置50通过使用图像数据和注释数据(注释和标签)执行机器学习来生成标识符和由该标识符使用的数据(模型数据)。利用这样的标识符和模型数据，可以实现AI(例如，自动诊断的AI)。深度学习通常可以用于机器学习。

注意，在本公开的实施例中，主要假设标识符由神经网络实现的情况。在这种情况下，模型数据可以与神经网络中的每个神经元的权重相对应。然而，标识符可以由神经网络以外的方式实现。例如，标识符可以由随机森林实现、由支持向量机实现或由AdaBoost实现。

此外，在本公开的实施例中，主要假设信息处理装置10、扫描仪30和学习装置50作为单独的装置存在的情况。然而，信息处理装置10、扫描仪30和学习装置50的一部分或全部可以作为一个装置存在。可选地，信息处理装置10、扫描仪30和学习装置50所拥有的功能的一部分可以结合到另一装置中。

近年来，用于构建根据病变图像数据自动诊断的AI的技术正在迅速普及。例如，病变图像数据可以是通过上述WSI方法获得的大图像数据或从通过WSI方法获得的图像中剪切的图像数据的一部分。

基于病变图像数据和注释数据(注释和标签)的机器学习用于构建根据病变图像数据自动诊断的AI。自动诊断的AI的构建可以包括“图像数据的准备”、“注释数据的生成”、“将注释数据处理为学习数据”、“机器学习”和“结果的评估”。在“将注释数据处理为学习数据”中，调整注释的大小，并且对标记有图像数据的目标区域进行掩模以获得掩模图像。在本公开的实施例中，主要特征存在于“注释数据的生成”，并且因此下面将主要描述“注释数据的生成”。

上面已经描述了根据本公开的实施例的信息处理系统1的配置示例。

[1.2.信息处理装置的功能配置示例]

接下来，将描述根据本公开的实施例的信息处理装置10的功能配置示例。图2是示出根据本公开的实施例的信息处理装置10的功能配置示例的示图。如图2所示，信息处理装置10包括信息获取单元111、处理单元112、显示控制单元113、图像数据接收单元120、存储单元130、操作单元140和发送单元150。

信息获取单元111、处理单元112和显示控制单元113可以例如包括诸如一个或多个中央处理单元(CPU)的处理装置。这样的处理装置可以由电子电路配置。信息获取单元111、处理单元112和显示控制单元113可以通过由这样的处理装置执行程序(软件)来实现。

信息获取单元111从操作单元140获取各种操作。处理单元112基于图像数据和各种操作生成注释数据。显示控制单元113连接到显示装置。注意，在本公开的实施例中，主要假设显示装置存在于信息处理装置10外部的情况。然而，显示装置可以存在于信息处理装置10内部。显示装置可以通过显示器来实现，并且该显示器可以是液晶显示器、有机电致发光(EL)显示器或其他显示器。

存储单元130是包括存储器的记录介质，并且存储由处理装置执行的程序并存储执行该程序所需的数据。此外，存储单元130临时存储数据以供处理装置计算。存储单元130包括磁性存储单元装置、半导体存储装置、光学存储装置、光学磁性存储装置等。

操作单元140具有接收用户的操作输入的功能。在本公开的实施例中，主要假设操作单元140包括鼠标和键盘的情况。然而，操作单元140不限于包括鼠标和键盘的情况。例如，操作单元140可以包括电子笔、触摸面板或检测视线的图像传感器。

图像数据接收单元120和发送单元150包括通信电路。图像数据接收单元120具有经由网络70从扫描仪30接收图像数据的功能。图像数据接收单元120将所接收的图像数据输出到处理单元112。另一方面，发送单元150具有当从处理单元112输入注释数据(注释和标签)时经由网络70将注释数据发送到学习装置50的功能。

上面已经描述了根据本公开的实施例的信息处理装置10的功能配置示例。

[1.3.系统拥有的功能的细节]

接下来，将描述根据本公开的实施例的信息处理系统1拥有的功能的细节。

(1.3.1.目标区域的类型)

根据本公开的实施例，假设各种类型作为目标区域的类型。作为目标区域的示例，例如主要假设肿瘤区域。目标区域的其他示例包括具有样本的区域、组织区域、伪影区域、上皮组织、鳞状上皮、腺体区域、细胞非典型区域、组织非典型区域等。即，目标区域的轮廓的示例包括肿瘤区域与非肿瘤区域之间的边界、具有样本的区域与没有样本的区域之间的边界、组织(前景)区域与空白(背景)区域之间的边界、伪影区域与非伪影之间的边界、上皮组织与非上皮组织之间的边界、鳞状上皮与非鳞状上皮之间的边界、腺体区域与非腺体区域之间的边界、细胞非典型区域与任何其他区域之间的边界、组织非典型区域与任何其他区域之间的边界等。

(1.3.2.拟合模式的类型)

当扫描仪30读取捕获生物区域的图像数据时，信息处理装置10的图像数据接收单元120接收图像数据。显示控制单元113控制显示装置，使得图像数据由显示装置显示。当用户针对图像数据给出形状的指示时，操作单元140接收用户的形状的指示。信息获取单元111基于用户的形状的指示来获取第一区域信息(指示边界的信息)。此外，用户还可以输入拟合模式。当用户输入拟合模式时，操作单元140接收拟合模式，并且信息获取单元111获取拟合模式。

处理单元112基于图像数据、第一区域信息和拟合模式生成第二区域信息(指示初始区域的轮廓的信息)。因此，可以在减少用户对捕获生物区域的图像数据的努力的同时以高精度选择目标区域。这里，主要假设用户输入拟合模式的情况。然而，可以以任何方式确定拟合模式。例如，处理单元112可以根据图像数据的特征来确定拟合模式，并且基于所确定的拟合模式来生成第二区域信息。

这里，拟合模式不受限制。例如，拟合模式的示例包括“前景背景拟合模式”、“细胞膜拟合模式”和“细胞核拟合模式”。

“前景背景拟合模式”可以与前景和背景之间的边界的拟合模式相对应。“前景背景拟合模式”可以应用于目标区域是上述类型(具有样本的区域、组织区域、伪影区域、上皮组织、鳞状上皮、腺体区域、细胞非典型区域、组织非典型区域等)的情况。在拟合模式是“前景背景拟合模式”的情况下，处理单元112可以基于图像数据和第一区域信息使用通过图形切割的分割算法来执行拟合。可选地，机器学习可以用于分割算法。

另一方面，“细胞膜拟合模式”可以与针对细胞膜的拟合模式相对应。在拟合模式为“细胞膜拟合模式”的情况下，处理单元112从图像数据识别细胞膜的特征，并且基于所识别的细胞膜的特征和第一区域信息沿着细胞膜执行适合。例如，在拟合时，可以使用通过免疫染色的膜染色染成棕色的边缘。

此外，“细胞核拟合模式”可以与针对细胞核的拟合模式相对应。在拟合模式为“细胞核拟合模式”的情况下，处理单元112从图像数据识别细胞核的特征，并且基于所识别的细胞核的特征和第一区域信息沿着细胞核执行拟合。例如，如果使用苏木精-伊红(HE)，则细胞核被染成蓝色，并且因此在拟合时，仅需要使用苏木精-伊红(HE)的染色信息。

在下文中，将主要描述拟合模式是“前景背景拟合模式”的情况。

(1.3.3.边界的确定)

如上所述，当用户针对图像数据给出形状的指示时，操作单元140接收用户的形状的指示。信息获取单元111基于用户的形状的指示来获取第一区域信息(指示边界的信息)。更具体地，信息获取单元111仅需要基于针对图像数据给出指示的形状的通过区域或外围区域来获得第一区域信息(指示边界的信息)。

信息获取单元111可以基于通过应用于由用户针对图像数据给出指示的形状的通过区域或外围区域的图形切割的分割算法来获得第一区域信息(指示边界的信息)。例如，假设用户针对图像数据给出诸如曲线或矩形的形状的指示的情况(例如，假设用户针对图像数据通过曲线或矩形包围区域的情况)。在这种情况下，信息获取单元111可以将通过图形切割的分割算法应用于由形状包围的区域(外围区域)以获得第一区域信息(指示边界的信息)。

可选地，信息获取单元111可以基于从用户针对图像数据给出指示的形状的通过区域或外围区域提取的特征数据来获得第一区域信息(指示边界的信息)。例如，假设用户针对图像数据给出诸如线段或点的形状的指示的情况(例如，用户针对图像数据指定线段的两端或点的情况)。在这种情况下，信息获取单元111可以参考通过区域或外围区域对与通过区域或外围区域的特征数据匹配或类似的区域执行扩展扫描，并且获得第一区域信息(指示边界的信息)。

可以通过使用机器学习来获得这样的第一区域信息(指示边界的信息)。期望提前执行这样的机器学习。此外，在给出线段或点的指示的情况下，可以使用特征向量或向量量化来提取特征数据。此外，作为用于找到与通过区域或外围区域的特征数据匹配或类似的区域的特征提取算法，可以使用利用某种散列码来匹配特征数据的方法。

(1.3.4.初始区域的确定)

在如上所述获得第一区域信息(指示边界的信息)的情况下，处理单元112基于图像数据和第一区域信息(指示边界的信息)生成第二区域信息(指示初始区域的信息)。例如，处理单元112通过基于图像数据和第一区域信息(指示边界的信息)执行拟合来生成第二区域信息(指示初始区域的信息)。此时，显示控制单元113控制第二区域信息(指示初始区域的信息)的显示。

在拟合中，可以确定第二区域信息(指示初始区域的信息)，使得作为初始区域的轮廓的可能性(可靠性)变得更高。作为初始区域的轮廓的可能性可以通过使用利用基于第一区域信息(指示边界的信息)设定的随机场作为成本函数的图形切割来获得。然而，在诸如图形切割的算法中，为了解决能量最小化问题，这里主要假设低能量用于作为初始区域的轮廓的可能性的情况。

注意，这种拟合方法可以通过使用机器学习来预先学习。在下文中，将主要描述目标区域是肿瘤区域的情况。然而，目标区域不限于肿瘤区域。

(1.3.5.初始区域的校正)

即使如上所述执行拟合并且获得第二区域信息(指示初始区域的信息)，也假设初始区域的轮廓偏离肿瘤区域的轮廓的情况。在这种情况下，处理单元112可以基于图像数据和第二区域信息(指示初始区域的信息)生成第三区域信息。即，可以通过基于图像数据和第二区域信息(指示初始区域的信息)再次执行拟合来生成第三区域信息。可选地，处理单元112可以基于图像数据、第二区域信息和拟合的可移动范围来生成第三区域信息。例如，拟合的可移动范围可以由与第二区域信息比率[％]和±像素来指定。此时，显示控制单元113控制第三区域信息的显示。

因此，第三区域的轮廓可以接近肿瘤区域的轮廓。然而，第三区域的轮廓并不总是接近肿瘤区域的轮廓，并且在执行拟合之后的区域的轮廓可能由于重复执行拟合而与肿瘤区域的轮廓分离。因此，期望用户能够在执行拟合之后检查区域的轮廓的同时选择适当次数的重复。可以在保持图像数据的放大率相同的同时重复执行拟合，或者可以在改变图像数据的放大率的同时重复执行拟合。在改变图像数据的放大率的情况下，处理单元112可以基于拟合模式确定图像数据的放大率。可选地，处理单元112可以基于拟合模式来确定图像数据的分辨率。

图3是示出在保持图像数据的放大率相同的同时重复执行拟合的情况的示例的示图。在多条图像数据G10-1至G10-4中的每一条图像数据中捕获肿瘤区域R10，并且以相同的放大率显示多条图像数据G10-1至G10-4。曲线T1是基于用户的形状的指示获得的第一区域信息(指示边界的信息)。曲线T2是通过基于图像数据和曲线T1执行拟合获得的第二区域信息(指示初始区域的轮廓的信息)。曲线T3是通过基于图像数据和曲线T2执行拟合获得的第三区域信息。曲线T4是通过基于图像数据和曲线T3执行拟合获得的第四区域信息。

显示控制单元113可以基于切换操作在曲线T1与曲线T2之间切换显示目标。此外，显示控制单元113可以基于切换操作在曲线T2与曲线T3之间切换显示目标。此外，显示控制单元113可以基于切换操作在曲线T3与曲线T4之间切换显示目标。具体切换操作不受限制。例如，切换操作可以是按下按钮的操作或滚动操作(例如，前后移动鼠标轮的操作等)。

在图3所示的示例中，在执行向前移动鼠标轮的操作的情况下，显示控制单元113将显示目标从曲线T1切换到执行拟合之后的曲线T2(S1)。此外，在执行向前移动鼠标轮的操作的情况下，显示控制单元113将显示目标从曲线T2切换到执行拟合之后的曲线T3(S2)。此外，在执行向前移动鼠标轮的操作的情况下，显示控制单元113将显示目标从曲线T3切换到执行拟合之后的曲线T4(S3)。

当执行拟合时，需要保留执行拟合之前的曲线。然后，在用户执行切换操作的情况下，显示控制单元113可以再次显示执行拟合之前的曲线。在图3所示的示例中，在执行向前移动鼠标轮的操作的情况下，显示控制单元113将显示目标从曲线T4切换到执行拟合之前的曲线T3(S4)。

以这种方式，用户可以通过切换操作切换作为显示目标的曲线来选择接近肿瘤区域R10的轮廓的曲线(图3所示的示例中的曲线T3)。处理单元112可以选择曲线T2至T4中的任一条曲线作为用于学习处理的注释。

例如，在基于用户的选择操作选择曲线T3的情况下，处理单元112可以选择曲线T3作为用于学习处理的注释。可选地，在基于用户的选择操作选择曲线T2的情况下，处理单元112可以选择曲线T2作为用于学习处理的注释。可选地，在基于用户的选择操作选择曲线T4的情况下，处理单元112可以选择曲线T4作为用于学习处理的注释。

这里，具体选择操作不受限制，但是选择操作可以通过按钮按压操作、鼠标点击操作、拖动条移动操作等来实现。可选地，处理单元112可以能够自动选择接近肿瘤区域R10的轮廓的曲线(图3所示的示例中的曲线T3)。注意，在用户执行切换操作的情况下，不必必须执行拟合的重复执行。例如，只要存在足够的计算资源，就可以在没有用户的切换操作的情况下顺序地执行拟合的重复执行。可选地，可以一次执行多次拟合，并且可以以不同的显示模式同时显示执行结果。

图4是示出以不同的显示模式同时显示多次拟合的相应执行结果的示例的示图。参考图4，在图像数据G10中捕获肿瘤区域R10。此外，显示控制单元113执行控制，使得以不同的显示模式同时显示相应曲线T2至T4。注意，显示控制单元113可以以任何方式使曲线T2至T4的相应显示模式不同。例如，显示控制单元113可以根据颜色、厚度和虚线之间的间隔的差异使曲线T2至T4的相应显示模式不同。针对曲线T2至T4中的任一条曲线的选择操作可以通过鼠标点击操作等来实现。

图5是示出在改变图像数据的放大率的同时重复执行拟合的情况的示例的示图。例如，在诊断组织非典型区域(大肠癌等)的情况下，如果获得低分辨率注释，则认为就足够了。另一方面，在诊断细胞非典型(例如，胰腺导管癌、甲状腺肿瘤、淋巴瘤等)的区域(纹理)的情况下，需要获得高分辨率注释。可以通过使用称为纹理映射(mipmap)的分层结构(在图像数据显示的放大率下)来获得高分辨率注释。

因此，处理单元112需要在生成第二区域信息之后改变图像数据的放大率，并且基于改变放大率之后的图像数据生成第三区域信息。更期望地，在生成第二区域信息之后，处理单元112改变图像数据的放大率使得放大率变高，并且基于改变放大率之后的图像数据来生成第三区域信息。此时，处理单元112仅需要选择第三区域信息作为用于学习处理的注释。因此，可以获得高分辨率注释。

参考图5，在放大率为5倍的多条图像数据G5-1和G5-2中的每一条图像数据中，肿瘤区域R5被捕获得较小；在放大率为10倍的多条图像数据G10-1至G10-3中的每一条图像数据中，肿瘤区域R10被捕获得大约中等大小；并且在放大率为20倍的多条图像数据G20-1、G20-3、G20-4中的每一条图像数据中，肿瘤区域R20被捕获得较大。

曲线T11是基于用户的形状的指示获得的第一区域信息(指示边界的信息)。曲线T12是通过基于放大率为5倍的图像数据G5-1和曲线T11执行拟合获得的第二区域信息(指示初始区域的轮廓的信息)。曲线T13是通过基于放大率为10倍的图像数据G10-2和曲线T12执行拟合获得的第三区域信息。曲线T14是通过基于放大率为20倍的图像数据G20-3和曲线T13执行拟合获得的第四区域信息。注意，如在图像数据G5-2中，可以显示已经执行拟合的图像数据的放大率，诸如“以×20倍吸附”。

如本示例所示，处理单元112仅需要在通过使用称为纹理映射的分层结构逐步地大幅改变图像数据的放大率的同时重复执行拟合。因此，处理单元112可以在允许用户以低放大率对图像数据绘制粗略曲线的同时逐步增加拟合精度，并且因此可以以高精度且快速地获得注释。注意，如图5所示，可以逐渐增加放大率，并且可以跳过中间放大率(例如，可以跳过放大率为10倍的图像数据的拟合，并且在执行放大率为5倍的图像数据的拟合之后，可以执行放大率为20倍的图像数据的拟合)。

(1.3.6.操作示例)

接下来，将参考图6和图7描述根据本公开的实施例的信息处理系统1的操作示例。

图6是示出在保持图像数据的放大率相同的同时重复执行拟合的情况的操作示例的示图。首先，显示控制单元113控制图像数据的显示。然后，如图6所示，用户用曲线包围在图像数据中捕获的肿瘤区域(S11)。处理单元112基于图像数据和用户的包围曲线使用图形切割来执行能量计算(S12)，并且基于计算结果校正曲线(执行拟合)(S12)。

显示控制单元113控制校正后的曲线的显示。看到校正后的曲线的用户确定拟合是否良好(OK)。在用户输入拟合不良(NG)的情况下(S14中为“否”)，用户执行曲线的手动调整(S15)，并且操作转移到S12。另一方面，在用户输入拟合良好的情况下(S14中为“是”)，处理单元112生成注释数据(注释和标签)(S16)。此后，由学习装置50执行基于注释数据的机器学习(S17)，并且构建自动诊断AI。

图7是示出在改变图像数据的放大率的同时重复执行拟合的情况的操作示例的示图。首先，显示控制单元113控制图像数据的显示。然后，如图7所示，用户用曲线包围在图像数据中捕获的肿瘤区域(S11)。处理单元112基于图像数据和用户的包围曲线使用图形切割来执行能量计算(S12)，并且基于计算结果校正曲线(执行拟合)(S12)。

显示控制单元113控制校正后的曲线的显示。处理单元112确定当前图像数据的放大率是否已经达到指定放大率。在当前图像数据的放大率尚未达到指定放大率的情况下(S24中为“否”)，处理单元112将图像数据的放大率改变为更高的放大率(S25)，或者另一方面，在当前图像数据的放大率已经达到指定放大率的情况下(S24中为“是”)，处理单元112生成注释数据(注释和标签)(S16)。此后，由学习装置50执行基于注释数据的机器学习(S17)，并且构建自动诊断AI。

(1.3.7.控制点的布置)

在上文中，假设对执行拟合之后的曲线直接执行手动调整的情况。然而，处理单元112基于执行拟合之后的曲线(第二区域信息、第三区域信息或第四区域信息)确定曲线上的多个点(控制点)的位置，显示控制单元113可以将多个控制点布置在所确定的位置处。因此，不必管理构成曲线的点集的所有信息，并且仅需要管理构成曲线的多个点，从而可以减少所需的存储器量。例如，处理单元112可以减少执行拟合之后的曲线的不需要详细表示的部分的控制点的数量。

作为示例，通过对执行拟合之后的曲线进行微分，处理单元112可以随着微分值的绝对值变小而减少控制点的数量。例如，在AI需要诸如细胞非典型区域的精细纹理的情况下，最好不要过多地减少控制点。另一方面，在AI需要诸如组织非典型区域的宏观信息的情况下，在数据量方面减少控制点的数量更有效。

图8是示出肿瘤区域R10的示例的示图。图9是示出控制点的布置示例的示图。参考图9，许多控制点CP被布置在曲线的倾斜度变化较大的部分中。图10是示出控制点的布置示例的示图。如图10所示，处理单元112可以根据由曲线包围的目标区域的类型来调整控制点CP的数量。

在曲线偏离肿瘤区域R10的情况下(例如，在存在难以高精度拟合的部分的情况下等)，用户仅需要移动多个控制点CP的一部分或全部。例如，移动控制点CP的操作可以通过用鼠标拖放来执行。处理单元112基于用户的移动操作来移动多个控制点CP的一部分或全部。然后，处理单元112仅需要至少基于所移动的控制点CP执行拟合以校正曲线。注意，多个控制点之间的线可以通过贝塞尔(Bezier)或样条插值。

(1.3.8.部分吸附)

在上文中，主要假设整个曲线拟合到肿瘤区域的情况。然而，可以仅部分地拟合曲线的一部分。图11是用于说明部分拟合的示例的示图。参考图11，放大率为20倍的图像数据G20-1中的部分区域M20被显示为放大率为10倍的图像数据G10-2中的放大镜区域M10。

用户可以移动放大镜区域M10的曲线T21或布置在曲线T21上的控制点。处理单元112可以基于用户的这种移动操作执行仅移动部分的拟合(部分拟合)。例如，在基于移动操作移动布置在曲线(第二区域信息)上的多个控制点的一部分的情况下，处理单元112仅需要基于所移动的控制点生成曲线(第三区域信息)。

(1.3.9.拟合部分的检查)

假设各种用户接口(UI)作为用于检查如上所述执行的拟合的状态的UI。图12是示出用于拟合部分的检查UI的示例的示图。参考图12，显示图像数据G10-1。还显示图像数据G10-1的一部分的放大区域(放大区域V0)。例如，显示控制单元113可以沿着曲线依次扫描区域V1至V8，并且使所扫描的区域显示为放大区域V0，使得用户可以检查拟合状态。

可选地，处理单元112可以基于曲线(第二区域信息或第三区域信息)计算曲线(第二区域信息或第三区域信息)的可能性(可靠性)。然后，在显示控制单元113检测到可能性低于预定可能性的区间的情况下，可以控制根据该区间的预定信息的显示。图13是示出用于拟合部分的检查UI的另一示例的示图。参考图13，在曲线中，以与可能性高于预定可能性的区间D1不同的显示模式显示可能性低于预定可能性的区间D2。

注意，显示控制单元113可以以任何方式使区间D1与区间D2之间的显示模式不同。例如，显示控制单元113可以根据颜色、厚度和虚线之间的间隔的差异使区间D1和区间D2的显示模式不同。

(1.3.10.搜索范围的可视化)

在上述实施例中，用户不能预测将如何执行拟合。因此，存在对并非用户想要的区域执行拟合的可能性。在以下实施例中，将描述可以改进可用性的拟合。

通过搜索从用户绘制的线到预定距离的区域来执行上述拟合。这里，上述拟合的范围可以被可视化。在下文中，在拟合处理期间搜索的区域将被称为“搜索范围”。显示搜索单元113在图像数据上显示拟合的搜索范围。这允许用户直观地理解在所指示的宽度范围内输出结果。

显示控制单元113通过以下两种方法中的一种来可视化搜索范围。具体地，显示控制单元113可以使显示由用户手动确定的搜索范围，或者可以使显示由信息处理装置10自动确定的搜索范围。在下文中，将描述显示控制单元113使显示由用户手动确定的搜索范围的情况。

通过用户选择表示搜索范围的宽度的信息(例如，笔或标记)，显示控制单元113使显示具有与所选择的信息相对应的宽度的搜索范围。例如，随着所选择的信息的宽度变宽，显示控制单元113使显示更宽的搜索范围。作为具体示例，在用户选择1cm作为搜索范围的宽度的情况下，显示控制单元113使显示宽度为1cm的搜索范围。例如，在用户选择指示直径为1cm的圆的搜索范围的情况下，显示控制单元113使显示指示直径为1cm的圆的搜索范围。注意，用户输入的边界的宽度不限于圆、线或椭圆，并且可以由任何几何形状指定。例如，在边界的宽度为圆的情况下，用户输入具有与搜索范围相对应的直径的圆的边界。以这种方式，显示控制单元113可以使显示与用户输入的边界的宽度相对应的拟合的搜索范围。

在下文中，将参考图15描述通过两种方法的搜索范围的可视化。图15示出了病理图像。图15中的对象P1示出了细胞。注意，细胞的聚集体被称为组织。图15示出了搜索范围的可视化的示例。图15(a)示出了从由圆进入的边界开始的搜索范围。具体地，图15(a)示出了跟随用户绘制的点显示指示搜索范围的圆的情况。在这种情况下，在指示以跟随方式显示的搜索范围的圆的任何区域中执行拟合。此外，在显示具有根据用户选择的信息的宽度的搜索范围的情况下，显示控制单元113根据用户的选择来确定跟随的圆的大小。例如，在用户选择直径为1cm的圆的情况下，显示控制单元113使直径为1cm的圆显示为跟随用户绘制的点的搜索范围。图15(b)示出了从由线段进入的边界开始的搜索范围。具体地，图15(b)示出了以跟随方式显示指示跟随用户绘制的点的搜索范围的线的情况。在这种情况下，通过以跟随方式显示的指示搜索范围的任何线来执行拟合。此外，在显示具有根据用户选择的信息的宽度的搜索范围的情况下，显示控制单元113根据用户的选择来确定跟随的线的厚度和长度。例如，在用户选择长度为1cm的线的情况下，显示控制单元113使长度为1cm的线显示为跟随用户绘制的点的搜索范围。

显示控制单元113可以使得在用户的输入期间或用户的输入之后的任何定时显示搜索范围。

显示控制单元113可以使得以任何模式显示指示搜索范围的区域。例如，显示控制单元113可以使得以变化的透射率显示指示搜索范围的区域。在图16中，图像数据上的范围P11指示搜索范围。图16可以示出跟随用户的输入显示的搜索范围的轨迹，或者可以示出根据用户选择的信息的宽度的搜索范围的轨迹。因此，通过使指示搜索范围的区域可传输，可以在指示范围的同时参考该范围内的组织。例如，显示控制单元113可以使得朝向边界的中心以较高透射率显示。在这种情况下，以至少两个或更多个透射率执行显示。即，显示控制单元113可以使得以至少两个或更多个透射率显示指示显示范围的区域。例如，显示控制单元113可以使得以各种颜色显示指示搜索范围的区域。例如，显示控制单元113可以使得朝向边界的中心以较浅色调显示指示搜索范围的区域。在这种情况下，它将以至少两种或更多种颜色显示。即，显示控制单元113可以使得以至少两种或更多种颜色显示指示显示范围的区域。例如，显示控制单元113可以使得通过用诸如对角线或点的几何图案填充指示搜索范围的区域来显示该区域。此外，在指示搜索范围的区域中，随着拟合的概率的增大，显示控制单元113可以使得以降低的透射率、增加的颜色灰度或增加的诸如对角线和点的几何图案的密度显示。例如，在处理单元112随着距线段的距离更接近中心而增大拟合的概率的情况下，显示控制单元113可以通过随着距线段的距离更接近中心而增加灰度来显示搜索范围。以这种方式，显示控制单元113可以使得根据由用户预定的透射率、颜色、几何形状和几何图案中的任何一个来显示拟合的搜索范围。

以这种方式，显示控制单元113可以通过上述方法控制搜索范围的显示。

(1.3.11.搜索范围)

处理单元112在从用户绘制的线到预定距离的区域的范围内搜索拟合。图17示出了在搜索范围直到分隔距离d的区域的情况下的搜索范围的示例。如图17(a)所示，搜索范围可以是0和1的二进制。在这种情况下，处理单元112可以应用搜索范围直到在相对于用户输入的边界的方向的法线的方向上分隔距离d的区域的算法。此外，搜索范围不限于二进制的搜索范围，并且可以按权重改变。例如，对于搜索范围，如图17(b)所示，可以应用基于根据与线段的距离的权重的算法。

(1.3.12.搜索范围的调整)

处理单元112可以允许用户手动调整(设定)搜索范围。在下文中，可以将搜索范围的调整适当地假设为搜索范围的设定。例如，处理单元112可以允许用户手动选择搜索范围的形状和宽度。例如，处理单元112可以允许用户手动选择搜索范围的形状，并且可以根据用户的输入自动改变搜索范围的宽度。注意，搜索范围的调整可以是搜索范围的宽度的增加或减少。图18示出了具有由用户选择的不同宽度的两个搜索范围。图18(a)示出了处理单元112在范围P21内搜索拟合的情况。图18(b)示出了处理单元112在范围P22内搜索拟合的情况。此外，处理单元112可以允许在任何定时调整搜索范围。例如，处理单元112可以能够在输入边界之前、输入边界期间或输入边界之后的任何定时自动调整搜索范围。

这里，将描述允许用户通过接口手动执行调整的情况的示例。例如，处理单元112可以允许通过使用操作屏幕上的GUI(例如，滑块、组合框或按钮)来调整搜索范围。例如，处理单元112可以允许通过诸如鼠标轮的硬件来调整搜索范围。例如，处理单元112可以允许通过选择预定义的预设来调整搜索范围。在这种情况下，处理单元112可以通过由用户选择指示搜索范围的宽度的信息来确定搜索范围的宽度。

将描述用户自己调整搜索范围的示例。图19示出了在用户自己调整搜索范围的情况下的信息处理流程。

信息处理装置10在输入边界之前接收搜索范围的指定(S31)。信息处理装置10利用具有与搜索范围相对应的厚度的笔接收边界的输入(S32)。注意，信息处理装置10可以在输入边界期间接收用户利用GUI等对搜索范围的调整。信息处理装置10确定边界的输入是否已经完成(S33)。在边界的输入尚未完成的情况下(S33中为“否”)，信息处理装置10重新接收边界的输入。在边界的输入已经完成的情况下，信息处理装置10执行拟合(S34)。信息处理装置10显示拟合的结果(S35)。信息处理装置10确定是否已经接收到搜索范围的改变(S36)。在已经接收到搜索范围的改变的情况下(S36中为“是”)，信息处理装置10再次执行拟合。在尚未接收到搜索范围的调整的情况下(S36中为“否”)，信息处理装置10结束信息处理。以这种方式，在用户检查拟合的结果并且未获得预期结果的情况下，可以接收搜索范围的调整并且可以重复执行拟合直到用户获得预期效果。

尽管以上已经描述了处理单元112允许由用户手动调整搜索范围的示例，但是处理单元112可以基于操作时的条件和目标图像自动调整搜索范围。在下文中，将描述显示控制单元113使得显示由信息处理装置10自动确定的搜索范围的情况。当用户在图像数据上输入(绘制)边界时，显示控制单元113使得根据用户的输入来显示拟合的搜索范围。以这种方式，显示控制单元113可以使得根据用户对图像数据的输入信息来显示拟合的搜索范围。注意，处理单元112可以在任何定时调整搜索范围，如在用户手动调整搜索范围的情况下。例如，处理单元112可以在输入边界之前、输入边界期间或输入边界之后的任何定时调整搜索范围。

在这种情况下，显示控制单元113可以通过用户预先指定搜索范围的形状，使得基于所指定的形状放大或缩小显示搜索范围。此外，显示控制单元113可以使得基于由信息处理装置10自动确定的形状显示搜索范围。

这里，将给出基于操作时的条件和目标图像自动执行的情况的示例。例如，处理单元112可以基于用户输入的边界的速度来调整搜索范围。注意，用户输入的边界的速度是用户对边界的输入速度。例如，处理单元112可以基于用户输入边界的笔压来调整搜索范围。例如，当用户输入边界时，处理单元112可以基于图像数据的放大率来调整搜索范围。例如，处理单元112可以基于用户输入的边界附近的特征来调整搜索范围。注意，在用户输入的边界是闭合曲线的情况下，处理单元112可以基于用户输入的边界的内部和外部的特征来调整搜索范围。注意，只要可以区分用户输入的边界的内部和外部，用户输入的边界就不限于闭合曲线，并且无论该曲线是什么，处理单元112都可以基于用户输入的边界的内部和外部的特征来调整搜索范围。在下文中，将单独描述自动改变搜索范围的示例。

在图19中，已经描述了用户自己调整搜索范围的示例。下面将描述自动改变搜索范围的示例。具体地，将参考图20至图23描述信息处理装置10根据速度、笔压、放大率和图像来改变搜索范围的示例。

在这种情况下，信息处理装置10根据用户对边界的输入来确定搜索范围的宽度。具体地，处理单元112可以根据用户的输入改变跟随的搜索范围的大小。例如，处理单元112可以根据用户的输入速度和笔压来改变跟随的搜索范围的大小。例如，处理单元112可以进行改变，使得用户的输入速度越快，搜索范围的大小就越大。例如，在用户预先选择圆作为搜索范围的情况下，处理单元112可以根据用户的输入改变跟随的圆的大小(例如，直径)，或者在用户预先选择线作为搜索范围的情况下，处理单元112可以根据用户的输入改变跟随的线的大小(例如，粗细和长度)。注意，搜索范围的形状不限于上述示例，并且可以是任何几何形状。

处理单元112可以在基于预定条件调整的搜索范围中执行拟合处理。具体地，处理单元112可以在根据用户对图像数据的操作调整的搜索范围中执行拟合处理。

(1.3.13.边界输入速度)

可以想象，用户如何仔细输入高度可靠的边界与用户的输入速度相关。例如，当输入速度快时，假定正在输入粗略的、不可靠的边界，而当输入速度慢时，假定正在仔细输入高度可靠的边界。图20示出了基于上述假设根据边界输入的速度调整搜索范围的情况下的信息处理流程。

信息处理装置10在输入边界之前接收搜索范围的指定(S31)。信息处理装置10利用具有与搜索范围相对应的厚度的笔接收边界的输入(S32)。信息处理装置10计算所接收的边界的输入速度(S43)。例如，信息处理装置10基于图像数据上的两点之间的距离的移动和移动所需的时间来计算输入速度。信息处理装置10确定所计算的输入速度是否等于或高于预定阈值(S44)。在所计算的输入速度等于或高于预定阈值的情况下(S44中为“是”)，信息处理装置10将搜索范围调整为宽值范围(S45)。另一方面，在所计算的输入速度低于预定阈值的情况下(S44中为“否”)，信息处理装置10将搜索范围调整为窄值范围(S46)。

在这种情况下，处理单元112利用根据用户输入的边界的速度调整的搜索范围执行拟合处理。

(1.3.14.笔压)

将描述基于由装置检测到的笔压来改变搜索范围的情况。例如，在使用诸如手写板的装置执行注释的情况下，将描述基于由装置检测到的笔压来改变搜索范围的情况。

可以想象，用户如何仔细输入高度可靠的边界与笔压相关。例如，当笔压小时，假定正在输入粗略的、不可靠的边界，而当笔压大时，假定正在仔细输入高度可靠的边界。图21示出了基于上述假设根据边界输入的笔压调整搜索范围的情况下的信息处理流程。

信息处理装置10在输入边界之前接收搜索范围的指定(S31)。信息处理装置10利用具有与搜索范围相对应的厚度的笔接收边界的输入(S32)。信息处理装置10计算所接收的边界输入的笔压(S53)。具体地，信息处理装置10计算当用户输入边界时检测到的笔压。例如，信息处理装置10通过检测从用户在图像数据上输入的点起在预定范围内施加的压力来计算笔压。信息处理装置10确定所计算的笔压是否等于或高于预定阈值(S54)。在所计算的笔压等于或高于预定阈值的情况下(S54中为“是”)，信息处理装置10将搜索范围调整为窄值范围(S55)。另一方面，在所计算的笔压低于预定阈值的情况下(S54中为“否”)，信息处理装置10将搜索范围调整为宽值范围(S56)。

(1.3.15.观察放大率)

可以想象，用户如何仔细输入高度可靠的边界与用户的观察放大率相关。例如，当用户以大放大率(放大)观察时，假定仔细输入高度可靠的边界，而当用户以小放大率(广角)观察时，假定粗略输入不可靠的边界。图22示出了基于上述假设根据观察放大率调整搜索范围的情况下的信息处理流程。

信息处理装置10在输入边界之前接收搜索范围的指定(S31)。信息处理装置10利用具有与搜索范围相对应的厚度的笔接收边界的输入(S32)。在观察放大率改变的情况下，信息处理装置10确定观察放大率是增大还是减小(S63)。例如，信息处理装置10确定在执行注释的同时观察放大率是增大还是减小。在观察放大率增大的情况下(S63中为“是”)，信息处理装置10将搜索范围调整为窄值范围(S64)。另一方面，在观察放大率减小的情况下(S63中为“否”)，信息处理装置10将搜索范围调整为宽值范围(S65)。

在这种情况下，当用户输入边界时，处理单元112在根据图像数据的放大率调整的搜索范围中执行拟合处理。

(1.3.16.图像)

可以想象，适当的搜索范围也取决于目标图像。例如，在图像数据上的边界不清晰的情况下，假定可以通过广泛地调整搜索范围来获得更适当的拟合效果。具体地，信息处理装置10可以通过预先分析整个目标图像或边界附近的图像基于分析结果来调整搜索范围，并且因此假定可以获得更适当的拟合效果。图23示出了在基于上述假设从用户输入的边界周围的亮度(亮度值)的变化来评估边界的不清晰度并且调整搜索范围的情况下的信息处理流程。

信息处理装置10在输入边界之前接收搜索范围的指定(S31)。信息处理装置10利用具有与搜索范围相对应的厚度的笔接收边界的输入(S32)。信息处理装置10计算所接收的输入的边界附近的亮度的变化(S73)。例如，信息处理装置10计算边界附近的亮度差或变化梯度。信息处理装置10确定所计算的边界附近的亮度的差或变化梯度是否为等于或大于预定阈值(S74)。在所计算的边界附近的亮度的差或变化梯度等于或大于预定阈值的情况下(S74中为“是”)，信息处理装置10确定边界清晰并且将搜索范围调整到窄值范围(S75)。注意，图24(a)示出了边界被确定为清晰的示例。在附图中，P_out表示边界的外部，P_in表示边界的内部。在这种情况下，所计算的边界附近的亮度的差或变化梯度等于或大于预定阈值。另一方面，在所计算的边界附近的亮度的差或变化梯度低于预定阈值的情况下(S74中为“否”)，信息处理装置10确定边界不清晰并且将搜索范围调整为大值(S76)。注意，图24(b)示出了边界被确定为不清晰的示例。在这种情况下，所计算的边界附近的亮度的差或变化梯度低于预定阈值。

在图24所示的示例中，示出了用于根据边界周围的亮度的变化来评估边界的不清晰度并且调整搜索范围的处理的示例，但是以上示例不限于上述示例。例如，信息处理装置10可以通过使用通过图像分析获得的信息中的与用户想要的搜索范围相关的任何信息来适当地调整搜索范围。给出具体示例，信息处理装置10可以使用诸如亮度值的颜色信息、诸如边缘和频率的纹理信息(例如，图像和线的精细度)以及关于它们的空间分布(直方图)的信息来适当地调整搜索范围。例如，信息处理装置10可以基于通过比较直方图计算的差值来适当地调整搜索范围。另外，信息处理装置10可以通过使用关于饱和度、指示纹理的索引、色散和像素色散(例如，像素与其周围环境之间的色散)的信息来适当地调整搜索范围。以这种方式，信息处理装置10可以基于用户输入的边界附近的特征量来评估边界的不清晰度并且根据评估来调整搜索范围。

在这种情况下，处理单元112在根据基于用户输入的边界附近的特征量的评估调整的搜索范围中执行拟合处理。例如，处理单元112在根据用户输入的边界附近的亮度的差的程度调整的搜索范围中执行拟合处理。

(1.3.17.其他)

信息处理装置10可以基于诸如病变的类型和染色方法的条件适当地调整搜索范围，而不限于图像分析结果。例如，信息处理装置10可以基于病变的类型是否为肿瘤、染色方法是否为HE染色等来适当地调整搜索范围。此外，信息处理装置10可以基于用户的属性和能力(例如，技能水平)来适当地调整搜索范围。例如，在用户的技能水平等于或高于预定阈值的情况下，信息处理装置10可以假定输入了更可靠的边界并且将搜索范围调整为窄值范围。另一方面，在用户的技能水平低于预定阈值的情况下，信息处理装置10可以假定输入了不可靠的边界并且将搜索范围调整为宽值范围。

上面已经描述了在自动改变搜索范围的情况下的处理的示例。

(1.3.18.多个处理)

在图20至图23所示的示例中，示出了基于每个处理自动改变搜索范围的情况，但是可以基于上述多个处理改变搜索范围。例如，处理单元112可以同时控制速度和放大率，从而基于速度和放大率自动改变搜索范围。例如，处理单元112可以同时控制速度、放大率和笔压，从而基于速度、放大率和笔压自动改变搜索范围。注意，信息处理装置10可以基于多个处理的任何组合来自动改变搜索范围。

(1.3.19.拟合)

在本实施例中，信息处理装置10可以在用户的输入期间适当地执行拟合处理。即，即使用户的输入不是闭合曲线，信息处理装置10也可以适当地执行拟合处理。例如，信息处理装置10可以在任何时间对已经完成输入的部分执行拟合处理。注意，信息处理装置10可以预先从用户接收关于在输入期间是否执行拟合处理的选择。

如上所述，根据本实施例，用户可以直观地识别和调整搜索范围，并且可以在拟合时按预期指定搜索范围。此外，本实施例可以提高可以获得用户期望的拟合结果的可能性。此外，本实施例可以提高用户对拟合之后的结果的预测的精度。另外，本实施例可以降低针对每个病理学家而不同的拟合的趋势。此外，根据本实施例，可以减小用户的注释精度的差异。例如，在用户手动输入边界的情况下，输入信息的精度和范围针对每个用户可能不同。具体地，在输入边界的技能高的用户手动输入边界的情况下，与技能低的用户相比，假定输入信息的精度更高。在本实施例中，通过执行根据上述实施例的拟合处理，可以防止发生用户的输入信息的精度的差异。此外，根据本实施例，可以适当地计数包括在边界中的细胞的数量。

上面已经描述了根据本公开的实施例的信息处理系统1拥有的功能的细节。

<2.修改示例>

随后，将描述各种修改示例。

首先，将描述修改示例1。在上文中，主要假设从图像数据中选择的目标区域用于机器学习的情况。然而，从图像数据中选择的目标区域可以用于除机器学习之外的预定处理。例如，从图像数据中选择的目标区域可以用于分析(评分)预定分子的表达水平。例如，需要通过免疫染色可见的组织中的PD-L1分子的定量，并且基于组织中的PD-L1分子的表达水平进行治疗选择。

因此，如果选择肿瘤区域作为目标区域的示例，则可以分析所选择的肿瘤区域中的PD-L1分子的表达水平。图14是用于说明从图像数据中选择的目标区域用于分析PD-L1分子的表达水平的示例的示图。参考图14，在图像数据g10中示出了肿瘤区域r10。如果通过如上所述的拟合以高精度选择肿瘤区域r10，则也以高精度执行评分。然后，如果以高精度执行评分，则预期治疗选择的精度也将提高。

注意，肿瘤比例评分(PD-L1分子的表达水平)可以通过以下等式(1)计算。

肿瘤比例评分＝(PD-L1阳性肿瘤细胞)/(PD-L1阳性肿瘤细胞+PD-L1阴性肿瘤细胞)…等式(1)

接下来，将描述修改示例2。在上文中，明场图像中的拟合主要被描述为图像数据的类型。然而，图像数据的类型不受限制。例如，图像数据的类型可以是通过显微镜获得的相位差图像等。在图像数据的类型是通过显微镜获得的相位差图像的情况下，由于图像数据是形态信息，因此可以执行与针对明场图像的处理类似的处理。

此外，在图像数据的类型是通过显微镜获得的荧光图像的情况下，可以通过使用自发荧光来拟合。此外，在图像数据的类型是通过显微镜获得的荧光图像的情况下，可以在诸如CK或HER2的染色的肿瘤膜中拟合。在图像数据是CT图像或MRI图像的情况下，图像数据是放射线图像并且因此是黑白的，但是可以拟合。在图像数据是内窥镜图像的情况下，图像数据是颜色信息和形态信息，并且因此可以拟合。

上面已经描述了各种修改示例。

<3.硬件配置示例>

接下来，将参考图25描述根据本公开的实施例的信息处理装置10的硬件配置示例。图25是示出根据本公开的实施例的信息处理装置10的硬件配置示例的框图。注意，信息处理装置10不必具有图25所示的所有硬件配置，并且图25所示的硬件配置的一部分不必存在于信息处理装置10中。

如图25所示，信息处理装置10包括中央处理单元(CPU)901、只读存储器(ROM)903和随机存取存储器(RAM)905。此外，信息处理装置10可以包括主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。此外，如果需要，信息处理装置10可以包括成像装置933和传感器935。信息处理装置10可以具有称为数字信号处理器(DSP)或专用集成电路(ASIC)的处理电路来代替CPU 901或与CPU 901组合。

CPU 901用作算术处理装置和控制装置，并且根据记录在ROM 903、RAM 905、存储装置919或可移动记录介质927中的各种程序来控制信息处理装置10中的全部操作或部分操作。ROM 903存储CPU 901使用的程序和计算参数等。RAM 905临时存储CPU 901在执行中使用的程序、在执行期间适当改变的参数等。CPU 901、ROM 903和RAM 905通过包括诸如CPU总线的内部总线的主机总线907彼此连接。此外，主机总线907经由桥接器909连接到诸如外围组件互连/接口(PCI)总线的外部总线911。

输入装置915例如是由用户操作的装置，诸如按钮。输入装置915可以包括鼠标、键盘、触摸面板、开关、操纵杆等。此外，输入装置915还可以包括检测用户的语音的麦克风。输入装置915可以是例如使用红外线或其他无线电波的遥控装置，或与信息处理装置10的操作相对应的诸如移动电话的外部连接装置929。输入装置915包括基于用户输入的信息生成输入信号并将该输入信号输出到CPU 901的输入控制电路。通过操作该输入装置915，用户向信息处理装置10输入各种数据并且指示处理操作。此外，如稍后描述的成像装置933还可以通过捕获用户的手、用户的手指等的移动的图像来用作输入装置。此时，可以根据手的移动和手指的方向来确定指向位置。

输出装置917包括可以视觉地或听觉地通知用户所获取的信息的装置。输出装置917例如可以是诸如液晶显示器(LCD)或有机电致发光(EL)显示器的显示装置、诸如扬声器或耳机的声音输出装置等。此外，输出装置917可以包括等离子体显示面板(PDP)、投影仪、全息图、打印机装置等。输出装置917将通过信息处理装置10的处理获得的结果输出为诸如文本或图像的视频，或者将结果输出为诸如语音或声音的声音。此外，输出装置917可以包括灯等以使周围环境变亮。

存储装置919是被配置为信息处理装置10的存储单元的示例的用于存储数据的装置。存储装置919例如包括诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等。该存储装置919存储由CPU 901执行的程序和各种数据、从外部获取的各种数据等。

驱动器921是用于诸如磁盘、光盘、磁光盘或半导体存储器的可移动记录介质927的读写器，并且内置于信息处理装置10中或外部附接到信息处理装置10。驱动器921读取记录在所安装的可移动记录介质927中的信息并将该信息输出到RAM 905。此外，驱动器921将记录写入所安装的可移动记录介质927。

连接端口923是用于将装置直接连接到信息处理装置10的端口。连接端口923的示例包括通用串行总线(USB)端口、IEEE 1394端口、小型计算机系统接口(SCSI)端口等。此外，连接端口923可以是RS-232C端口、光音频端子、高清多媒体接口(注册商标)(HDMI)端口等。通过将外部连接装置929连接到连接端口923，可以在信息处理装置10与外部连接装置929之间交换各种数据。

通信装置925例如是包括用于连接到网络931的通信装置等的通信接口。通信装置925例如可以是用于有线或无线局域网(LAN)、蓝牙(注册商标)或无线USB(WUSB)等的通信卡。此外，通信装置925可以是用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器、用于各种通信的调制解调器等。通信装置925例如使用诸如TCP/IP的预定协议来向因特网和其他通信装置发送和从因特网和其他通信装置接收信号等。此外，连接到通信装置925的网络931是通过有线或无线连接的网络，并且例如是因特网、家庭LAN、红外通信、无线电波通信、卫星通信等。

成像装置933例如使用诸如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)的成像元件，并且是使用诸如用于控制被摄体图像在成像元件上的图像形成的透镜的各种构件来捕获真实空间并生成捕获图像的装置。成像装置933可以捕获静止图像，或者可以捕获运动图像。

传感器935例如是诸如距离测量传感器、加速度传感器、陀螺仪传感器、地磁传感器、振动传感器、光学传感器和声音传感器的各种传感器。传感器935例如获取关于信息处理装置10自身的状态(诸如信息处理装置10的壳体的姿势)的信息，以及关于信息处理装置10的周围环境(诸如信息处理装置10周围的亮度和噪声)的信息。此外，传感器935还可以包括接收GPS信号以测量装置的纬度、经度和高度的全球定位系统(GPS)传感器。

<4.结论>

根据本公开的实施例，提供了一种信息处理装置，包括：显示控制单元，其控制捕获生物区域的图像数据的显示；信息获取单元，其获取针对图像数据输入的第一区域信息；以及处理单元，其基于图像数据、第一区域信息和拟合模式生成第二区域信息。根据这样的配置，可以在减少用户的努力的同时以高精度选择目标区域。另外，在目标区域用于机器学习的情况下，可以快速获得高精度的注释，并且期望通过机器学习构建的AI的性能也将提高。此外，如果输入过去添加的注释数据，则可以自动改进注释数据。

以上已经参考附图详细描述了本公开的优选实施例，但是本公开的技术范围不限于这样的示例。显而易见的是，本公开的技术领域中的普通技术人员可以在权利要求中描述的技术思想的范围内设计各种改变示例或修改示例，并且将自然地理解，这些改变示例或修改示例也属于本公开的技术范围。

例如，在上文中，主要描述了具有信息处理装置10、扫描仪30、网络70和学习装置50的信息处理系统。然而，也可以提供具有这些的一部分的信息处理系统。例如，可以提供具有信息处理装置10、扫描仪30和学习装置50的一部分或全部的信息处理系统。此时，信息处理系统不必是整个装置的组合(硬件和软件的组合)。

例如，还可以提供具有信息处理装置10、扫描仪30和学习装置50中的第一装置(硬件和软件的组合)和第二装置的软件的信息处理系统。作为示例，还可以提供具有扫描仪30(硬件和软件的组合)和信息处理装置10的软件的信息处理系统。如上所述，根据本公开的实施例，还可以提供包括从信息处理装置10、扫描仪30和学习装置50中任意选择的多个配置的信息处理系统。

此外，本说明书中描述的效果仅是说明性的或示例性的，而不是限制性的。即，除了上述效果之外或代替上述效果，根据本公开的技术可以表现出本领域技术人员从本说明书中显而易见的其他效果。

注意，如下配置也属于本公开的技术范围。

(1)

一种信息处理装置，包括：

显示控制单元，其控制捕获生物区域的图像数据的显示；

信息获取单元，其获取针对图像数据输入的第一区域信息；以及

处理单元，其基于图像数据、第一区域信息和拟合模式生成第二区域信息。

(2)

根据以上(1)的信息处理装置，其中，

处理单元基于图像数据、第二区域信息、拟合模式和拟合的可移动范围生成第三区域信息。

(3)

根据以上(2)的信息处理装置，其中，

显示控制单元控制第三区域信息的显示。

(4)

根据以上(3)的信息处理装置，其中，

显示控制单元在第二区域信息与第三区域信息之间切换显示目标。

(5)

根据以上(3)的信息处理装置，其中，

显示控制单元使第二区域信息和第三区域信息以不同的显示模式同时显示。

(6)

根据以上(2)至(5)中任一项的信息处理装置，其中，

处理单元选择第二区域信息或第三区域信息作为用于预定处理的数据。

(7)

根据以上(6)的信息处理装置，其中，

处理单元基于选择操作选择第二区域信息或第三区域信息作为用于预定处理的数据。

(8)

根据以上(6)的信息处理装置，其中，

处理单元在生成第二区域信息之后改变图像数据的放大率，并且基于改变放大率之后的图像数据生成第三区域信息。

(9)

根据以上(8)的信息处理装置，其中，

处理单元在生成第二区域信息之后改变图像数据的放大率使得放大率变高，并且基于改变放大率之后的图像数据生成第三区域信息。

(10)

根据以上(9)的信息处理装置，其中，

处理单元选择第三区域信息作为用于预定处理的数据。

(11)

根据以上(2)至(10)中任一项的信息处理装置，其中，

处理单元基于第二区域信息确定多个控制点，基于移动操作移动多个控制点的一部分控制点或全部控制点，并且至少基于所移动的控制点生成第三区域信息。

(12)

根据以上(11)的信息处理装置，其中，

在基于移动操作移动多个控制点中的一部分控制点的情况下，处理单元基于所移动的控制点生成第三区域信息。

(13)

根据以上(1)至(12)中任一项的信息处理装置，其中，

在显示控制单元基于第二区域信息检测到第二区域信息的可靠性低于预定可靠性的区间的情况下，显示控制单元控制根据该区间的预定信息的显示。

(14)

根据以上(1)至(13)中任一项的信息处理装置，其中，

信息获取单元基于具有针对图像数据给出指示的形状的通过区域或外围区域来获得第一区域信息。

(15)

根据以上(14)的信息处理装置，其中，

信息获取单元基于通过应用于形状的通过区域或外围区域的图形切割或机器学习的分割算法来获得第一区域信息。

(16)

根据以上(14)的信息处理装置，其中，

信息获取单元基于从形状的通过区域或外围区域提取的特征数据来获得第一区域信息。

(17)

根据以上(1)至(16)中任一项的信息处理装置，其中，

拟合模式为前景与背景之间的边界的拟合模式、细胞膜的拟合模式或细胞核的拟合模式。

(18)

根据以上(1)至(17)中任一项的信息处理装置，其中，

处理单元在图像数据的基于第一区域信息和预定条件设定的范围内生成第二区域信息。

(19)

根据以上(18)的信息处理装置，其中，

处理单元在基于用户的第一区域信息的输入操作设定的范围内生成第二区域信息。

(20)

根据以上(19)的信息处理装置，其中，

处理单元在基于用户的第一区域信息的输入速度设定的范围内生成第二区域信息。

(21)

根据以上(19)或(20)的信息处理装置，其中，

处理单元在基于图像数据的放大率设定的范围内生成第二区域信息。

(22)

根据以上(19)至(21)中任一项的信息处理装置，其中，

处理单元在基于第一区域信息附近的特征量设定的范围内生成第二区域信息。

(23)

根据以上(22)的信息处理装置，其中，

处理单元在基于第一区域信息附近的亮度设定的范围内生成第二区域信息。

(24)

根据以上(18)至(23)中任一项的信息处理装置，其中，

显示控制单元控制图像数据的范围的显示。

(25)

根据以上(24)的信息处理装置，其中，

显示控制单元控制将以至少两种或更多种透射率和颜色显示的范围。

(26)

一种信息处理方法，包括：

由处理器控制捕获生物区域的图像数据的显示；

由处理器获取针对图像数据输入的第一区域信息；并且

由处理器基于图像数据、第一区域信息和拟合模式生成第二区域信息。

(27)

一种信息处理系统，该信息处理系统具有读取装置，该读取装置通过读取生物区域来生成包括捕获生物区域的图像数据的扫描数据，

信息处理系统包括信息处理装置，该信息处理装置包括：

显示控制单元，其控制图像数据的显示；

(28)

一种信息处理系统，包括医学图像成像装置和用于处理与由医学图像成像装置成像的对象相对应的图像数据的软件，

其中，软件使信息处理装置执行包括以下步骤的处理：

获取针对与第一生物组织相对应的第一图像数据输入的第一区域信息；并且

基于第一图像数据、第一区域信息和拟合模式生成第二区域信息。

参考标记列表

1 信息处理系统

10 信息处理装置

30 扫描仪

50 学习装置

70 网络

111 信息获取单元

112 处理单元

113 显示控制单元

120 图像数据接收单元

130 存储单元

140 操作单元

150 发送单元。

Claims

1.一种信息处理装置，包括：

显示控制单元，控制捕获生物区域的图像数据的显示；

信息获取单元，获取针对所述图像数据输入的第一区域信息；以及

处理单元，基于所述图像数据、所述第一区域信息和拟合模式生成第二区域信息。

2.根据权利要求1所述的信息处理装置，其中，

所述处理单元基于所述图像数据、所述第二区域信息、所述拟合模式和拟合的可移动范围生成第三区域信息。

3.根据权利要求2所述的信息处理装置，其中，

所述显示控制单元控制所述第三区域信息的显示。

4.根据权利要求3所述的信息处理装置，其中，

所述显示控制单元在所述第二区域信息与所述第三区域信息之间切换显示目标。

5.根据权利要求3所述的信息处理装置，其中，

所述显示控制单元使所述第二区域信息和所述第三区域信息以不同的显示模式同时显示。

6.根据权利要求2所述的信息处理装置，其中，

所述处理单元选择所述第二区域信息或所述第三区域信息作为用于预定处理的数据。

7.根据权利要求6所述的信息处理装置，其中，

所述处理单元基于选择操作选择所述第二区域信息或所述第三区域信息作为用于所述预定处理的数据。

8.根据权利要求6所述的信息处理装置，其中，

所述处理单元在生成所述第二区域信息之后改变所述图像数据的放大率，并且基于改变所述放大率之后的所述图像数据生成所述第三区域信息。

9.根据权利要求8所述的信息处理装置，其中，

所述处理单元在生成所述第二区域信息之后改变所述图像数据的所述放大率使得所述放大率变高，并且基于改变所述放大率之后的所述图像数据生成所述第三区域信息。

10.根据权利要求9所述的信息处理装置，其中，

所述处理单元选择所述第三区域信息作为用于所述预定处理的数据。

11.根据权利要求2所述的信息处理装置，其中，

所述处理单元基于所述第二区域信息确定多个控制点，基于移动操作移动所述多个控制点的一部分控制点或全部控制点，并且至少基于所移动的控制点生成所述第三区域信息。

12.根据权利要求11所述的信息处理装置，其中，

在基于所述移动操作移动所述多个控制点中的一部分控制点的情况下，所述处理单元基于所移动的控制点生成所述第三区域信息。

13.根据权利要求1所述的信息处理装置，其中，

在所述显示控制单元基于所述第二区域信息检测到所述第二区域信息的可靠性低于预定可靠性的区间的情况下，所述显示控制单元控制根据所述区间的预定信息的显示。

14.根据权利要求1所述的信息处理装置，其中，

所述信息获取单元基于具有针对所述图像数据给出指示的形状的通过区域或外围区域来获得所述第一区域信息。

15.根据权利要求14所述的信息处理装置，其中，

所述信息获取单元基于通过应用于所述形状的所述通过区域或所述外围区域的图形切割或机器学习的分割算法来获得所述第一区域信息。

16.根据权利要求14所述的信息处理装置，其中，

所述信息获取单元基于从所述形状的所述通过区域或所述外围区域提取的特征数据来获得所述第一区域信息。

17.根据权利要求1所述的信息处理装置，其中，

所述拟合模式为前景与背景之间的边界的拟合模式、细胞膜的拟合模式或细胞核的拟合模式。

18.根据权利要求1所述的信息处理装置，其中，

所述处理单元在所述图像数据的基于所述第一区域信息和预定条件设定的范围内生成所述第二区域信息。

19.根据权利要求18所述的信息处理装置，其中，

所述处理单元在基于用户的所述第一区域信息的输入操作设定的范围内生成所述第二区域信息。

20.根据权利要求19所述的信息处理装置，其中，

所述处理单元在基于所述用户的所述第一区域信息的输入速度设定的范围内生成所述第二区域信息。

21.根据权利要求19所述的信息处理装置，其中，

所述处理单元在基于所述图像数据的放大率设定的范围内生成所述第二区域信息。

22.根据权利要求19所述的信息处理装置，其中，

所述处理单元在基于所述第一区域信息附近的特征量设定的范围内生成所述第二区域信息。

23.根据权利要求19所述的信息处理装置，其中，

所述处理单元在基于所述第一区域信息附近的亮度设定的范围内生成所述第二区域信息。

24.根据权利要求18所述的信息处理装置，其中，

所述显示控制单元控制所述图像数据的所述范围的显示。

25.根据权利要求18所述的信息处理装置，其中，

所述显示控制单元控制将以至少两种或更多种透射率和颜色显示的所述范围。

26.一种信息处理方法，包括：

由处理器控制捕获生物区域的图像数据的显示；

由所述处理器获取针对所述图像数据输入的第一区域信息；并且

由所述处理器基于所述图像数据、所述第一区域信息和拟合模式生成第二区域信息。

27.一种信息处理系统，所述信息处理系统具有读取装置，所述读取装置通过读取生物区域来生成包括捕获所述生物区域的图像数据的扫描数据，

所述信息处理系统包括信息处理装置，所述信息处理装置包括：

显示控制单元，控制所述图像数据的显示；

28.一种信息处理系统，包括医学图像成像装置和用于处理与由所述医学图像成像装置成像的对象相对应的图像数据的软件，

其中，所述软件使信息处理装置执行包括以下步骤的处理：

基于所述第一图像数据、所述第一区域信息和拟合模式生成第二区域信息。