CN116997932A - 信息处理装置、信息处理方法、信息处理系统和转换模型 - Google Patents

Abstract

一种信息处理装置，设置有：存储单元(130)，存储转换处理信息和从生物标本的图像数据生成的第一注释数据；转换单元(104)，使用转换处理信息将第一注释数据转换为与第一注释数据相关的多组第二注释数据；以及输出单元(108)，输出第一注释数据或第二注释数据。

Description

信息处理装置、信息处理方法、信息处理系统和转换模型

技术领域

本公开涉及信息处理装置、信息处理方法、信息处理系统和转换模型。

背景技术

近年来，已开发出用于从诸如细胞标本的生物组织的图像数据中自动提取目标区域(例如，麻痹区域)并且将提取结果用于诊断和研究用途的技术。根据以上说明的技术，多个已知的(标记的)目标区域的图像(注释数据)可以用于病理诊断，可以使用图像作为机器学习的教师数据来构造模型，并且可以使用构造的模型从重新获得的图像数据中自动提取目标区域。

引用列表

专利文献

专利文献1：JP 2011-117991 A

发明内容

技术问题

当连接上述多个图像数据(注释数据)以形成一个图像时，例如，如果根据用户的期望试图移动或缩放图像，则与显示有关的操作变得非常笨重。因此，需要一种即使在连接多个图像数据以形成一个图像的情况下也能够高速自由地显示图像的技术。同时，为了用于病理诊断等，已经要求图像数据即使在连接的图像中也是可编辑的。

因此，本公开提出了一种信息处理装置、信息处理方法、信息处理系统以及转换模型，其能够高速自由地显示通过连接多个图像数据而获得的图像并进一步编辑每条图像数据。

问题的解决方案

根据本公开，提供了一种信息处理装置，包括：存储单元，存储转换处理信息和从生物标本的图像数据产生的第一注释数据；转换单元，使用转换处理信息将第一注释数据转换为第一注释数据附带的多个第二注释数据；以及输出单元，输出第一注释数据或第二注释数据。

此外，根据本公开，提供了一种信息处理方法，包括：将转换处理信息和从生物标本的图像数据生成的第一注释数据存储在存储单元中；使用转换处理信息将第一注释数据转换为第一注释数据附带的多个第二注释数据；以及输出第一注释数据或第二注释数据。

此外，根据本公开，提供了一种信息处理系统，包括：信息处理装置，对从生物标本的图像数据生成的注释数据执行输出处理；以及用于使信息处理装置执行输出处理的程序。在信息处理系统中，信息处理装置包括：存储单元，存储第一注释数据和转换处理信息；转换单元，使用转换处理信息将第一注释数据转换为第一注释数据附带的多个第二注释数据；以及输出单元，输出第一注释数据或第二注释数据。

此外，根据本公开，提供了一种转换模型，该转换模型使计算机用来将从生物标本的图像数据生成的第一注释数据转换为第一注释数据附带的多个第二注释数据。计算机使用转换模型对第一注释数据执行拟合处理，并且生成与第一注释数据的显示倍率相比具有更高显示倍率的第二注释数据。

附图说明

图1是示出根据本公开的实施方式的信息处理系统的配置实例的示图。

图2是示出根据本公开的实施方式的图像显示的实例的示图。

图3是用于说明现有技术的示图。

图4是用于说明本公开的实施方式的概况的示图。

图5是用于说明本公开的实施方式与相关技术的比较的示图。

图6是示出了根据本公开的实施方式的信息处理装置10的功能配置实例的示图。

图7为示出在图6中所示的处理单元100的功能配置实例的示图。

图8为用于说明根据本公开的实施方式的拟合处理的示图。

图9是用于说明根据本公开的实施方式的转换处理的示图(No.1)。

图10是用于说明根据本公开的实施方式的转换处理的示图(No.2)。

图11是用于说明根据本公开的实施方式的转换处理的示图(No.3)。

图12是示出了根据本公开实施方式的信息处理方法的流程图。

图13是示意性地示出显微镜系统的整体配置的示图。

图14是示出成像方案的实例的示图。

图15是示出成像方案的实例的示图。

图16是示出诊断支持系统的示意性配置的实例的框图。

图17是示出根据本公开的实施方式的信息处理装置的硬件配置实例的框图。

具体实施方式

下面参考附图详细说明本发明的优选实施方式。注意，在本说明书和附图中，具有基本相同的功能配置的部件由相同的附图标记和符号表示，由此省略部件的冗余说明。另外，在本说明书和附图中，具有基本相同或相似功能配置的多个部件有时通过在相同的参考标号之后附加不同的字母来区分。然而，当不特别需要区分具有基本上相同或相似功能配置的多个部件中的每个部件时，仅附上相同的参考标号和符号。

注意，按照以下顺序进行说明。

1.导致创建本公开的实施方式的背景

1.1信息处理系统1的配置实例

1.2背景

2.实施方式

2.1信息处理装置10的功能配置实例

2.2处理单元100的功能配置实例

2.3拟合处理

2.4信息处理方法

3.概要

4.应用实例

4.1显微镜系统

4.2病理学诊断系统

5.硬件配置

6.补充

<<1.导致创建本公开的实施方式的背景>>

<1.1信息处理系统1的配置实例>

首先，在说明本公开的实施方式之前，说明导致由本发明人创建本公开的实施方式的背景。

在医疗领域中，病理学家有时使用病理图像执行诊断。然而，同一病理图像的诊断结果有时根据病理学家而不同。诊断中的这种差异由例如经验值，诸如病理学家的多年经验和专业知识的差异引起。难以避免诊断中的差异。因此，近年来，为了支持所有病理学家能够执行高度精确的病理诊断的目的，已经开发了使用机器学习导出诊断支持信息的技术，该诊断支持信息是用于支持病理诊断的信息。具体地，在本技术中，准备多个病理图像，其中，标签(注释)被附加到病理图像中要注意的目标区域(例如，病变区域)，并且机器学习这些病理图像，从而构建鉴别器和要由鉴别器使用的数据(模型数据)。然后，通过使用通过这种机器学习构建的鉴别器和要由鉴别器使用的模型数据，可以自动提取在新的病理图像中要注意的目标区域的图像。利用这种技术，因为可以向病理学家提供关于在新的病理学图像中要注意的目标区域的信息，所以病理学家可以更适当地执行病理图像的病理诊断。注意，在本说明书中，通过将标签(注释)附加到目标区域(例如，病变区域)的图像而获得的数据不仅可以用于由病理学家诊断，而且可以用作机器学习的教师数据，该数据被称为注释数据。

鉴别器和要由鉴别器使用的模型数据的构造主要通过三个处理阶段来实现，包括“病理图像的准备”、“注释数据的创建”和“机器学习”。这里，附加到对象区域(例如，病变区域)的标签(注释)可以是关于各种对象区域的信息。例如，信息可包括诊断结果，诸如“癌症”的亚型、“癌症”的阶段和癌细胞的分化程度，以及分析结果，诸如，目标区域中存在或不存在病变、病变包括在目标区域中的概率、病变的位置和病变的类型。注意，分化程度可以用于预测指示例如哪种药物(抗癌剂等)可能起作用的信息。

接下来，说明根据本公开的实施方式的信息处理系统1的配置实例。图1是示出根据本公开的实施方式的信息处理系统1的配置实例的示图。如图1所示，根据本公开的实施方式的信息处理系统1包括信息处理装置10、显示装置20、扫描仪30、学习装置40以及网络50。信息处理装置10、扫描仪30和学习装置40被配置为能够经由网络50彼此通信。作为在网络50中使用的通信方案，无论有线或无线方案如何，可应用任何方案。然而，期望使用可以保持稳定操作的通信方案。在本实施方式中，信息处理装置10和显示装置20可以是如图1所示的单独的装置，或者可以是集成的装置，并且不受特别限制。在以下的说明中，说明信息处理系统1所具备的装置的概要。

(信息处理装置10)

信息处理装置10例如由计算机构成，能够生成用于机器学习的注释数据并输出到后述的学习装置40。例如，信息处理装置10由用户(例如，医生或实验室技术人员)使用。在本公开的实施方式中，主要假设用户的各种操作经由鼠标(未示出)或者手写笔(未示出)输入至信息处理装置10的情况。然而，在本实施方式中，用户的各种操作可以经由未示出的终端输入到信息处理装置10。在本实施方式中，主要假设经由显示装置20从信息处理装置10向用户输出各种呈现信息的情况。但是，在本实施方式中，也可以经由未图示的终端从信息处理装置10向用户输出各种呈现信息。应注意，下面说明根据本公开的实施方式的信息处理装置10的细节。

(显示装置20)

显示装置20例如是诸如液晶显示装置、电致发光(EL)或阴极射线管(CRT)显示装置的显示装置，并且可根据上述信息处理装置10的控制显示病理图像。此外，可以在显示装置20上叠加接收来自用户的输入的触摸面板。应注意，在本实施方式中，显示装置20可适用于4K或8K，或者可由多个显示装置配置并且不受特别限制。然后，在观看显示装置20上显示的病理图像时，用户可以使用以上说明的鼠标(未示出)、手写笔(未示出)等自由地指定病理图像上要注意的目标区域(例如，病变区域)或者将注释(标签)添加到目标区域(编辑工作)。

(扫描仪30)

扫描仪30可读取诸如从样本获得的细胞样本的生物组织。因此，扫描仪30生成示出生物组织的病理图像并且将病理图像输出至上述信息处理装置10。例如，扫描仪30包括图像传感器并且通过利用图像传感器对生物组织成像来生成病理图像(图像数据)。扫描仪30的读取方案不限于特定类型。注意，在本实施方式中，扫描仪30的读取方案可以是CCD(电荷耦合器件)类型或者可以是CIS(接触图像传感器)类型，并且不受特别限制。这里，CCD类型可以等同于其中通过CCD传感器读取来自生物组织的光(反射光或透射光)并且将通过CCD传感器读取的光转换成图像数据的类型。另一方面，CIS方案可以等效于以下类型：其中使用RGB三种颜色的LED(发光二极管)作为光源，通过光电传感器读取来自生物组织的光(反射光或透射光)，并且将读取结果转换成图像数据。

注意，在本公开的实施方式中，主要假设并说明了其中显示病变区域的病理图像用作图像数据的情况。然而，根据本公开的实施方式的图像数据不限于病变图像。在本实施方式中，病理图像还包括通过连接多个图像获得的一个图像，多个图像通过连续拍摄设置在扫描仪(包括图像传感器的显微镜)的载物台上的生物组织(载玻片)获得。用于以这种方式连接多个图像以生成图像的方案被称为整个载玻片成像(WSI)。

(学习装置40)

学习装置40例如由计算机配置并且可通过使用多个注释数据执行机器学习来构造鉴别器和要由鉴别器使用的模型数据。通过使用由学习装置40构造的鉴别器和由鉴别器使用的模型数据，可以自动提取在新的病理图像中要注意的目标区域的图像。深度学习通常可以用于机器学习。注意，在对本公开的实施方式的说明中，当鉴别器由神经网络实现时，模型数据可等效于神经网络的神经元的权重。然而，鉴别器可由神经网络之外的其他方法来实现。本实施方式中，鉴别器例如可以由随机森林实现，也可以由支持向量机实现，也可以由AdaBoost实现，具体不作限定。

具体地，学习装置40获取多个注释数据并且计算注释数据中包括的目标区域的图像的特征值。特征值可以是诸如细胞核或细胞核的颜色特征(亮度、饱和度、波长、光谱等)、形状特征(圆形度和圆周长度)、密度、距特定形式的距离、局部特征值、结构提取处理(细胞核检测等)、以及通过聚集上述而获得的信息(细胞密度、方位等)的任何事物。例如，学习装置40将目标区域的图像输入到诸如神经网络的算法，从而计算图像的特征值。此外，学习装置40对附加有相同注释(标签)的多个目标区域的图像中的每个图像的特征值进行聚合，由此计算代表性特征值，该代表性特征值是整个多个目标区域的特征值。例如，学习装置40基于关注于多个目标区域中的每个目标区域的图像特征值的分布(例如，颜色直方图)的LBP(局部二进制模式)的特征值和图像的纹理结构来计算整个多个目标区域的代表性特征值。鉴别器能够基于所计算的目标区域的特征值提取包括在新病理图像中的区域之中的与目标区域相似的其他目标区域的图像。即，为了提高学习的精度，要求用于学习的大量注释数据是适当编辑的数据。

应注意，在本公开的实施方式中，学习装置40可不包括在信息处理系统1中，并且图1中未示出的另一个装置可包括在信息处理系统1中。

要注意的是，在本公开的实施方式中，如图1所示，主要假设信息处理装置10、扫描仪30以及学习装置40作为单独的设备存在的情况。然而，在本实施方式中，信息处理装置10、扫描仪30和学习装置40的一部分或全部可以作为集成装置存在。可选地，在本实施方式中，信息处理装置10、扫描仪30和学习装置40中的任一个的功能的一部分可被结合在另一装置中。

<1.2背景>

此外，参照图2至图5说明导致由本发明人创建本公开的实施方式的背景。图2是示出本发明的实施方式中的图像显示的实例的示图。图3是用于说明现有技术的示图。图4是用于说明本公开的实施方式的概况的示图。图5是用于说明本公开的实施方式与现有技术之间的比较的示图。

通过从由扫描仪30获取的图像数据中搜索预定特征点(视觉搜索)或通过分割具有预定形式的细胞核的图像，可以使用以上说明的信息处理装置10创建注释数据。在这种情况下，以几千到几十万为单位创建大量的注释数据。具体地，当注释数据将被用于病理诊断等时，因为需要各种显示变化，所以根据显示形式准备大量注释数据。

例如，如图2的左侧所示，当将大量注释数据802显示为WSI(即，连接多个注释数据以形成一个图像800a)时，如果设置低放大倍率，则在显示装置20上显示所有大量注释数据802。因此，关于图像800a的移动的操作变得非常繁重。此外，如在图2的右侧所示，同样当图像800a的一部分被放大并且显示放大图像800b时，操作变得非常繁重。即，在现有技术中，难以平滑地执行连接的多个注释数据802的放大和缩小显示。当这样连接的注释数据802用于病理诊断等时，还请求能够平滑地编辑注释数据802。

例如，为了适当地编辑用于机器学习的大量注释数据802，请求注释数据802能够根据用户的期望以高速自由地编辑和自由地显示。

作为用于响应该请求的装置，如图3所示，可设想预先获取通过将具有各种放大倍率的多个注释数据802连接至信息处理装置10的存储单元130a中的一个图像而获得的多个图像数据804。当使用这样的装置时，图像数据804可以根据用户期望的放大倍率获取并输出到显示装置20。

然而，由于上述图像数据804具有极大的文件尺寸(数据量)，因此用于提取和显示数据的处理的负荷大，并且不能编辑注释数据802。作为其他手段，可以设想信息处理装置10预先仅存储点云数据，并且使用点云数据来显示其中多个注释数据802连接到一个图像的图像数据804。然而，当使用这样的手段时，即使能够编辑注释数据802，也花费时间来执行显示处理。因此，难以根据用户的期望以高速自由地显示图像数据804。

因此，鉴于这种情况，本发明人创建了以下说明的本公开的实施方式。在本发明的实施方式中，如图4所示，信息处理装置10的存储单元130存储用作参考的注释数据组(例如，参考倍率(例如，40倍)的注释数据组)806并与用作参考的注释数据组806相关联地存储用于转换处理成注释数据组806附带的其他注释数据802(例如，其他放大倍率注释数据)的转换参数810(例如，转换公式fn(x))。注意，这里，从通过在相同条件(例如，放大倍率)下拍摄相同对象而捕获的不同区域的图像创建的注释数据802的集合被称为注释数据组806。也就是说，可以认为包括在这样的注释数据组806中的注释数据802是可连接的(WSI)图像数据。

具体地，在本实施方式中，信息处理装置10存储用作参考的注释数据802(或注释数据组806)，并且根据需要，使用转换参数810对作为参考的参考注释数据802执行转换处理，以生成注释数据802附带的新的注释数据802。此外，在本实施方式中，当用户编辑注释数据802时，编辑处理也被反映在其他附带注释数据802上。以这种方式，例如，即使显示形式的变化增加，也可以应对该增加。

例如，当预先存储在图5的上部中示出的作为现有技术的具有各种放大倍率的多个图像数据804时，数据量增加，并且由于不需要转换，因此转换的处理量减少。另一方面，例如，当图5的中间部分和下部示出的作为本公开的实施方式的具有用作参考的放大倍率的注释数据组806和转换参数810被预先存储并且根据用户的期望执行转换时，因为执行转换，所以处理量增加，然而，数据量减少。此外，当用作参考的放大倍率大时，数据量增加，但是处理量相对小。另一方面，当用作参考的放大倍率小时，数据量减小，但是处理量相对较大。因此，在本公开的实施方式中，优选选择用作参考的放大倍率并且根据信息处理装置10的用途、对象、规格等更适当地调整数据量和处理量。通过执行这样的选择和调整，即使用于转换的转换处理的负荷增加，也可以抑制用于提取和显示数据的显示处理的负荷的增加。结果，可以根据用户的期望高速自由地显示数据。此外，在本公开的实施方式中，可以优化显示形式以便在不丢失用户期望的信息的情况下抑制显示处理的负荷的增加。

如上所述，在本公开的实施方式中，代替存储具有各种放大倍率的多个图像数据804，存储用作参考的注释数据组806和用于转换处理成注释数据组806附带的其他注释数据802的转换参数810。以这种方式，虽然可以编辑注释数据802，但是可以减少要存储的数据量并且抑制显示处理的负荷增加。即，在本公开的实施方式中，可以根据用户的期望以高速(例如，以期望的或适当的放大倍率)自由地显示大量注释数据802。此外，还可以编辑注释数据802的每个片段。另外，根据本实施方式，可以灵活地应对请求多个显示形式的情形。在以下说明中，顺序地说明由本发明人创建的本公开的实施方式的细节。

在以下说明中，将作为从生物体(例如人体或植物)获得的组织(例如器官或上皮组织)的一部分的组织切片或细胞称为生物标本。此外，在以下说明中，假设图像中的各种类型的目标区域。例如，作为目标区域的实例，主要假设肿瘤区域。此外，目标区域的实例包括具有样本的区域、组织区域、伪影区域、上皮组织、鳞状上皮、腺体区域、细胞非典型区域和组织非典型区域。下面说明的生物标本可根据需要进行各种染色。换句话说，在下面说明的实施方式中，除非特别指出，否则生物标本可经受或可不经受各种染色，并且不受特别限制。此外，例如，染色不仅包括由HE(苏木精-伊红)染色、吉姆萨染色或巴氏染色表示的一般染色，而且包括在聚焦于特定组织时使用的高碘酸-席夫(PAS)染色等，以及诸如FISH(荧光原位杂交)的荧光染色或酶抗体方法。

<<2.实施方式>>

<2.1信息处理装置10的功能配置实例>

首先，参照图6说明根据本公开的实施方式的信息处理装置10的功能配置实例。图6是示出了根据本实施方式的信息处理装置10的功能配置实例的示图。具体地，如图6所示，信息处理装置10主要包括处理单元100、图像数据接收单元120、存储单元130、操作单元(输入单元)140和发送单元150。在以下的说明中，依次说明信息处理装置10的各功能单元的详细情况。

(处理单元100)

处理单元100可基于病理图像(图像数据)和来自用户的输入操作从病理图像生成注释数据802。例如，处理单元100通过CPU(中央处理单元)或者使用RAM(随机存取存储器)等作为工作区域的MPU(微处理单元)执行存储在下面说明的存储单元130中的程序来起作用。处理单元100可由例如诸如ASIC(专用集成电路)或FPGA(现场可编程门阵列)的集成电路配置。注意，下面说明处理单元100的细节。

(图像数据接收单元120和发送单元150)

图像数据接收单元120和发送单元150包括通信电路。图像数据接收单元120可以经由网络50从扫描仪30接收病理图像(图像数据)。图像数据接收单元120将所接收的病理图像输出至如上所述的处理单元100。另一方面，当从处理单元100输出注释数据802时，发送单元150可经由网络50将注释数据802发送到学习装置40。

(存储单元130)

存储单元130由例如半导体存储元件，诸如RAM或闪存，或存储装置，诸如硬盘或光盘实现。存储单元130存储已经由处理单元100生成的注释数据802、要由处理单元100执行的程序等。

具体地，存储单元130存储根据从扫描仪30接收的图像数据产生的多个注释数据(第一注释数据)802。例如，注释数据802可以是标记的图像本身，或者可以是包括表示图像上的轮廓线等的精细点云的坐标的点云坐标数据。此外，例如，存储单元130可以存储注释数据802附带的具有不同显示方案和显示倍率的多个其他注释数据(第三注释数据)802。

例如，在本实施方式中，具有用作参考的放大倍率的注释数据802仅必须被存储在存储单元130中，并且具有其他放大倍率的注释数据802可以被存储或者可以不被存储。此外，在本实施方式中，具有用作参考的放大倍率的注释数据802不限于具有最大放大倍率。

存储单元130可以存储用于将预先存储的注释数据(第一注释数据)802转换成注释数据802附带的多个其他注释数据(第二注释数据)802的转换参数(转换处理信息和转换模型)810。此外，存储单元130还可存储关于注释数据802的编辑的编辑处理信息。

(操作单元140)

操作单元140具有接收用户的操作输入的功能，并且能够接收例如用户对注释数据(第一注释数据)802的编辑操作(例如，诸如诊断结果的信息的添加)。在本公开实施方式中，主要假设操作单元140包括鼠标和键盘。然而，在本实施方式中，操作单元140不限于包括鼠标和键盘。在本实施方式中，例如，操作单元140可包括电子笔，可包括触摸面板，或者可包括检测视线的图像传感器。

要注意的是，上面参照图6说明的配置仅仅作为实例。本实施方式的信息处理装置10的结构并不限定于此。即，根据本实施方式的信息处理装置10的配置可以根据规格和操作灵活地修改。

<2.2处理单元100的功能配置实例>

接下来，参考图7至图11说明以上说明的处理单元100的功能配置实例。图7为示出在图6中所示的处理单元100的功能配置实例的示图。图8为用于说明根据本实施方式的适配处理的示图。图9至图11是用于说明根据本实施方式的转换处理的示图。

具体地，如图7所示，处理单元100主要包括生成单元102、转换单元104、编辑单元106以及输出单元108。在下面的说明中，顺序地说明处理单元100的功能单元的细节。

(生成单元102)

生成单元102根据从扫描仪30接收的图像数据生成多个注释数据(第一注释数据)802。具体地，生成单元102从图像数据中提取用户请求的目标区域的图像，并且通过将标签附加到所提取的目标区域的图像来生成注释数据802。

更具体地，如图8所示，用户使用鼠标(未示出)等在图像数据904上绘制曲线908以指定指示目标区域912的范围的边界，并且提取指定范围的图像以生成注释数据802。注意，在由用户所绘制的曲线908包围的区域与用户所期望的目标区域912的轮廓之间容易发生偏差。因此，在本实施方式中，生成单元102基于图像数据904和用户绘制的曲线908进行拟合处理(校正)，由此获取期望的目标区域912的轮廓，并且基于获取的轮廓从图像数据中提取目标区域912的图像。即，在本实施方式中，通过执行拟合处理，即使用户绘制的曲线908偏离目标区域的轮廓，也能够按照用户的意图精确地获取目标区域912的轮廓。这里适用的拟合处理的方法的实例包括“前景/背景拟合”、“细胞膜拟合”和“细胞核拟合”，其细节在下文中说明。

在本实施方式中，目标区域的轮廓的实例包括肿瘤区域与非肿瘤区域之间的边界、具有样本的区域与不具有样本的区域之间的边界、组织(前景)区域与空白(背景)区域之间的边界、伪影区域与非伪影之间的边界、上皮组织与非上皮组织之间的边界、鳞状上皮与非鳞状上皮之间的边界、腺体区域与非腺体区域之间的边界、细胞非典型区域与其他区域之间的边界以及组织非典型区域与其他区域之间的边界。拟合处理可以通过使用这样的边界来执行

更具体地，生成单元102可以生成注释数据802，如下面说明的。注意，这里，生成单元102被说明为执行“前景/背景拟合”。

基于与由用户对图像数据的输入操作所指定的曲线908有关的信息和图像数据904的轮廓，通过图形切割，生成单元102可通过使用分割算法提取目标区域(具有样本的区域、组织区域、伪影区域、上皮组织、鳞状细胞、腺体区域、细胞变体区域、组织变体区域等)912的轮廓来执行拟合。可替代地，机器学习可用于分割算法。注意，在拟合中，可以确定对象区域912的轮廓，使得轮廓的确定性(可靠性)更高。在本实施方式中，通过执行这样的拟合处理，能够有效地生成大量高精度的注释数据802。

此外，在与由用户的输入操作指定的曲线908相距预定距离(具有预定宽度)的范围内执行拟合处理中的轮廓搜索。在以下说明中，将在拟合处理中搜索轮廓的范围称为“搜索范围”。例如，可以将相对于由输入操作指定的曲线908沿法线方向以预定距离分开的范围设置为搜索范围。

在本实施方式中，当通过拟合处理不能获得用户想要的目标区域912时，用户可以重复地添加校正。

(转换单元104)

转换单元104可以使用存储在存储单元130中的转换参数(转换处理信息和转换模型)810，将从扫描仪30接收的图像数据产生的多个注释数据(第一注释数据)802转换为注释数据802附带的多个注释数据(第二注释数据)802。具体地，转换单元104可以使用存储在存储单元130中的预定转换公式作为转换参数，将通过将用作参考的注释数据802转换为作为点云坐标的数据而获得的点云坐标数据转换为其他注释数据802。

在本实施方式中，例如如图9所示，转换单元104可以执行从具有低放大倍率的注释数据802a到具有高放大倍率的注释数据802b的转换(转换A)和从具有高放大倍率的注释数据802b到具有低放大倍率的注释数据802a的转换(转换B)。

首先，说明转换A的情况。在转换A的情况下，如图10的左侧所示，通过简单地线性放大具有低放大倍率的注释数据802a，可以获得具有高放大倍率的注释数据802b。

当进行上述线性放大时，由于要获得的具有高放大倍率的注释数据802b是稀疏(微弱)图像，因此用户有时不能从具有高放大倍率的注释数据802b中获得必要的信息。因此，在本实施方式中，如图10的右侧所示，不是简单地线性放大具有低放大倍率的注释数据802a，可以执行上述拟合处理，并且可以使用通过拟合处理所获得的轮廓等信息来补偿数据量，然后可以线性放大注释数据802a以获取具有高放大倍率的注释数据802b。可选地，在本实施方式中，可以在线性放大具有低放大倍率的注释数据802a之后执行拟合处理，并且可以使用通过拟合处理所获得的诸如等高线的信息来补偿数据量，以获取具有高放大倍率的注释数据802b。下面说明拟合处理的方法的细节。

接下来，将说明转换B。在转换B的情况下，例如，通过对具有高放大倍率的注释数据802b执行诸如JPEG或GIF的现有压缩处理，可以获得具有低放大倍率的注释数据802a。

在本实施方式中，转换单元104不仅可以执行转换放大倍率而且可以执行显示形式的转换。例如，转换单元104可以执行到图11所示的细胞核分割显示(具体地，具有预定形态的细胞核的图像的分割)、点云显示、热图显示等的转换。此外，在本实施方式中，转换单元104可以与上述放大倍率的转换同时地转换显示方案。具体地，例如，当将在图11的右侧示出的核分割显示的注释数据802转换成低放大倍率时，包括诸如对用户来说无用的轮廓的信息。因此，在本实施方式中，在向低放大倍率的转换中，执行图11的上部中心所示的向点云显示(在点处，示出核的分布)或图11的下部中心所示的热图显示(核的分布由颜色或阴影的差异表示)的转换，以使得可以一眼掌握用户所需的诸如核的分布和修改度分布的信息。在本实施方式中，如图11的左侧所示，可以进行转换，使得点云显示和热图显示重叠并显示。即，在本实施方式中，可以如上所述优化显示形式，以便在不丢失用户期望的信息的情况下抑制显示处理的负荷的增加。

如上所述，在本实施方式中，转换单元104可以使用转换参数810从用作参考的注释数据802执行转换处理，以生成注释数据802附带的新的注释数据802。在本实施方式中，以这种方式，例如，即使显示放大倍率和显示形式的变化增加，存储单元130中存储的数据量也可减少。因此，根据本实施方式，即使用于转换的转换处理的负荷增加，也可以抑制用于提取和显示数据的显示处理的负荷的增加。结果，尽管可以编辑注释数据802，但是可以根据用户的期望以高速自由地显示数据。

(编辑单元106)

当用户编辑注释数据(第一注释数据或第二注释数据)802(例如，病理诊断结果作为标签附加或轮廓被校正)时，编辑单元106可以其他注释数据(剩余注释数据)802上反映所述编辑。具体地，在本实施方式中，当用户编辑注释数据802时，关于编辑的编辑处理信息被存储在存储单元130中。编辑单元106可在编辑时刻或输出其他注释数据802的时刻，基于编辑处理信息在其他注释数据上反映所述编辑。

在本实施方式中，当编辑注释数据802时，基于编辑处理信息将编辑处理反映在附带的其他注释数据802上。在本实施方式中，以这种方式，能够增强用户的便利性，并且能够减少在存储单元130中存储的数据量。根据本实施方式，例如，即使显示形式的变化增加，也可以应对该增加

(输出单元108)

输出单元108可以将由上述转换单元104或编辑单元106转换或编辑的一个或多个注释数据(第一注释数据和第二注释数据)802输出到显示装置20。例如，输出单元108可以根据用户的操作连接多个注释数据802并且作为一个图像(WSI)输出多个注释数据802。

<2.3拟合处理>

这里，说明上述拟合处理的细节。在本实施方式中使用的拟合处理可以是例如以上说明的“前景/背景拟合”、“细胞膜拟合”、“细胞核拟合”等。下面说明拟合处理的种类的细节。

“前景/背景拟合”是用于前景和背景之间的边界的拟合处理。当目标区域是例如具有样本的区域、组织区域、伪影区域、上皮组织、鳞状上皮、腺体区域、细胞非典型区域或组织非典型区域时，可以应用“前景/背景拟合”。在这种情况下，可以基于图像数据和由用户的输入操作所指定的范围，通过图形切割(graph cutting)，使用分割算法来执行拟合处理。要注意的是，机器学习可用作分割算法。

具体地，在“前景-背景拟合”处理中，例如，如图8所示，将颜色值与存在于由用户用曲线908在图像数据904上指定的范围内的像素的颜色值相同或近似的一组像素确定为待提取(分割)的目标区域912，并且获取目标区域912的轮廓。此时，在图像上预先指定要作为前景对象的区域和要作为背景对象的区域的部分。假设在与前景对象和背景对象相邻的区域中的像素中存在颜色值的差异，可以通过在前景标记或背景标记被适当地附加到所有像素时给出使成本最小化的成本函数并计算使成本最小化的标记的组合来执行分割(图形切割)(解决能量最小化问题)。

“细胞膜拟合”是用于细胞膜的拟合处理。在这种情况下，从病理图像识别细胞膜的特征并且基于识别的细胞膜的特征和由用户绘制的曲线包围的范围沿着细胞膜的轮廓执行拟合处理。例如，在拟合中，可以使用在免疫染色的膜染色中染成棕色的边缘。染色条件不限于以上说明的实例，并且可以是任何染色条件，如一般染色、免疫染色、以及荧光免疫染色。

此外，“细胞核拟合”是用于细胞核的拟合。在这种情况下，从病理图像识别细胞核的特征，并且基于识别的细胞核的特征和由用户绘制的曲线包围的范围沿着细胞核的轮廓执行拟合。例如，因为如果使用苏木精伊红(HE)则细胞核被染成蓝色，所以在拟合中，可以使用苏木精伊红(HE)的染色信息。染色条件不限于以上说明的实例，并且可以是任何染色条件，如一般染色、免疫染色、以及荧光免疫染色。

<2.4信息处理方法>

以上说明了本实施方式的信息处理装置10、处理单元100和拟合的详细内容。接下来，参照图12说明根据本实施方式的信息处理方法。图12是示出根据本实施方式的信息处理方法的流程图。具体地，如图12中所示，根据本实施方式的信息处理方法包括步骤S101至步骤S106。下面说明这些步骤的细节。

首先，信息处理装置10从用户接收对显示在显示装置20上的图像的放大/缩小显示指示、图像放大范围的指定、显示形式的指定等的输入(步骤S101)。接着，信息处理装置10基于在上述的步骤S101中接收的输入，确定在显示装置20上显示的显示形式(步骤S102)。

然后，信息处理装置10基于在显示装置20上显示的图像、在上面说明的步骤S101中接收的输入和在上面说明的步骤S102中确定的显示形式，从存储在存储单元130中的数据获取一个或多个注释数据802(步骤S103)。

随后，信息处理装置10基于在显示装置20上显示的图像、在上面说明的步骤S101中接收的输入和在上面说明的步骤S102中确定的显示形式，从存储在存储单元130中的数据获取一个或多个转换参数810(步骤S104)。

此外，信息处理装置10使用在上述步骤S104中获取的转换参数810对在上述步骤S103中获取的注释数据802进行转换(步骤S105)。信息处理装置10向显示装置20输出在上述步骤S105中新获得的一个或多个注释数据802(步骤S106)。此时，当对输出的注释数据802应用编辑时，信息处理装置10获取关于编辑的编辑处理信息。此外，信息处理装置10可以使用变体处理信息来编辑存储在存储单元130中的附带注释数据802。

<<3.概况>>

如上所述，根据本公开的实施方式，甚至可以高速自由地显示通过连接多个图像数据获得的图像。此外，可以编辑每条图像数据。

要注意的是，在以上说明的本公开的实施方式中，成像目标不限于生物标本。以上说明的本公开的实施方式不限于应用于诸如医疗或研究用途等用途，并且如果该实施方式应用于请求使用图像执行高度精确的分析等的用途，则没有特别限制。

<<4.应用实例>>

<4.1显微镜系统>

例如，根据本公开的技术可以应用于显微镜系统。在以下说明中，参照图13说明可应用该技术的显微镜系统的配置实例。图13示出了显微镜系统的配置实例。

图13中所示的显微镜系统5000包括显微镜装置5100、控制单元5110和信息处理单元5120。显微镜装置5100包括光照射单元5101、光学单元5102、以及信号获取单元5103。显微镜装置5100可以进一步包括样本放置部5104，生物衍生样本(biologically derivedsample)S放置在该样本放置部上。注意，显微镜装置的配置不限于在图13中所示的配置。例如，光照射单元5101可存在于显微镜装置5100的外部。例如，未包括在显微镜装置5100中的光源可用作光照射单元5101。光照射单元5101可被布置为使得样本放置部5104被夹在光照射单元5101和光学单元5102之间，并且例如可被布置在光学单元5102存在的一侧。显微镜装置5100可以被配置为能够执行明场观察、相位差观察、微分干涉观察、偏振观察、荧光观察、以及暗场观察中的一种或多种。

显微镜系统5000可被配置为所谓的WSI(全载玻片成像)系统或数字病理成像系统，并且可用于病理诊断。显微镜系统5000还可以被配置为荧光成像系统，具体地，多荧光成像系统。

例如，显微镜系统5000可以用于执行术中病理诊断或远程病理诊断。在术中病理诊断中，当执行手术时，显微镜装置5100可以获取从手术的目标人员获取的生物衍生样本S的数据并且将该数据传输至信息处理单元5120。在远程病理诊断中，显微镜装置5100可以将所获取的生物获取样本S的数据传输至存在于与显微镜装置5100分开的地方(另一房间、建筑物等)中的信息处理单元5120。在这些诊断中，信息处理单元5120接收并输出数据。此外，信息处理单元5120的用户可基于输出数据执行病理诊断。

(生物衍生样本S)

生物衍生样本S可以是含有生物组分的样本。生物组分可以是有机体的组织或细胞、有机体的液体成分(血液、尿液等)、培养物或活细胞(心肌细胞、神经细胞、受精卵等)。此外，生物衍生样本可以是固体或可以是用固定试剂(如石蜡)固定的样本或通过冷冻形成的固体。生物衍生样本可以是固体的一部分。生物衍生样本的具体实例包括活组织检查样本的切片。

生物衍生样本可以是经受处理，如染色或标记的样本。处理可以是用于显示生物组分的形式或显示生物组分的物质(表面抗原等)的染色。处理的实例包括HE(苏木精-曙红)染色和免疫组织化学染色。生物衍生样本可以是经受用一种或多种试剂的处理的样本。试剂可以是荧光染料、着色试剂、荧光蛋白或荧光标记的抗体。

为了病理诊断、临床检查等的目的，标本可以从组织样本制备。标本不限于人体并且可以来源于动物、植物或其他材料。取决于待使用的组织的类型(例如，器官或细胞)、待靶向的疾病的类型、目标人的属性(例如，年龄、性别、血型或种族)、目标人的生活方式(例如，饮食习惯、锻炼习惯或吸烟习惯)等，标本具有不同的特性。因此，可以利用能够识别每个标本的识别信息(一维或二维码，诸如条形码或QR码(注册商标))管理标本。

(光照射单元5101)

光照射单元5101是用于照射生物衍生样本S的光源和将从光源发出的光引导至被检体的光学系统。光源可用可见光、紫外光或红外光或其组合照射生物衍生样本。光源可以是卤素光源、激光光源、LED光源、水银光源和氙气光源中的一个或两个以上。荧光观察中的光源的类型和/或波长可以是多个并且可以由本领域技术人员适当地选择。光照射单元5101可具有透射型、反射型或落射照明型(epi-illumination type)(同轴落射照明型或侧面照明型)配置的配置。

(光学单元5102)

光学单元5102被配置为将来自生物衍生样本S的光引导至信号获取单元5103。光学单元5102可以被配置为使显微镜装置5100能够观察生物衍生样本S或对生物衍生样本S进行成像。光学单元5102可包括物镜。本领域技术人员可根据观察方案适当地选择物镜的类型。光学单元5102可包括用于将通过物镜放大的图像中继至信号获取单元的中继透镜。除物镜和中继透镜之外，光学单元5102还可包括目镜透镜、相位板和聚光透镜的光学部件。光学单元5102还可包括被配置为从来自生物衍生样本S的光分离具有预定波长的光的波长分离单元。波长分离单元可被配置为选择性地使具有预定波长或在预定波长范围内的光到达信号获取单元。例如，波长分离单元可包括选择性地透射光的滤光器、偏光板、棱镜(沃拉斯顿棱镜)、以及衍射光栅中的一种或者多种。波长分离单元中所包括的光学组件可以布置在例如从物镜到信号获取单元的光路上。当执行荧光观察时，具体地，当波长分离单元包括激发光照射单元时，波长分离单元设置在显微镜装置中。波长分离单元可被配置为将荧光彼此分离或者将白光和荧光分离。

(信号获取单元5103)

信号获取单元5103可被配置为从生物衍生样本S接收光并且将光转换成电信号，具体地，数字电信号。信号获取单元5103可被配置为能够基于电信号获取关于生物衍生样本S的数据。信号获取单元5103可被配置为能够获取生物衍生样本S的图像(图像，具体地，静止图像、延时图像或运动图像)的数据，并且具体地，可被配置为获取由光学单元5102放大的图像的数据。信号获取单元5103包括一个或多个成像元件、CMOS(互补金属氧化物半导体)或CCD(电荷耦合器件)，一个或多个成像元件包括排列成一维或二维的多个像素。信号获取单元5103可以包括用于获取低分辨率图像的成像元件和用于获取高分辨率图像的成像元件，或者可以包括用于感测AF(自动聚焦)等的成像元件和用于输出以供观察等的图像的成像元件。除了多个像素以外，成像元件可包括信号处理单元(CPU(中央处理单元)、DSP(数字信号处理器)和存储器中的一个或两个以上)和输出控制单元，信号处理单元使用来自像素的像素信号执行信号处理，输出控制单元控制从像素信号生成的图像数据和由信号处理单元生成的处理数据的输出。包括多个像素的成像元件、信号处理单元和输出控制单元可优选地被配置为单片半导体器件。

应注意，显微镜系统5000可进一步包括事件检测传感器。事件检测传感器可包括光电转换入射光的像素并可被配置为检测像素的超过预定阈值的亮度变化作为事件。事件检测传感器可以是异步型。

(控制单元5110)

控制单元5110控制显微镜装置5100的成像。控制单元5110可通过驱动光学单元5102和/或样本放置部5104的移动来调节光学单元5102与样本放置部5104之间的位置关系以用于成像控制。控制单元5110可在彼此接近或分离的方向(例如，物镜的光轴方向)上移动光学单元5102和/或样本放置部5104。控制单元5110可在垂直于光轴方向的表面上的任何方向上移动光学单元5102和/或样本放置部5104。控制单元5110可控制光照射单元5101和/或信号获取单元5103以用于成像控制。

(样本放置部5104)

样本放置部5104可被配置为能够将生物衍生样本S的位置固定在样本放置部5104上并且可以是所谓的载物台。样本放置部5104可被配置为能够在物镜的光轴方向上和/或在与光轴方向垂直的方向上移动生物衍生样本S的位置。

(信息处理单元5120)

信息处理单元5120可以从显微镜装置5100获取由显微镜装置5100获取的数据(成像数据等)。信息处理单元5120可对成像数据执行图像处理。图像处理可包括解混处理，具体地，光谱解混处理。解混处理可包括用于从成像数据提取具有预定波长或在预定波长范围内的光分量的数据以产生图像数据的处理，或用于从成像数据移除具有预定波长或在预定波长范围内的光分量的数据的处理。图像处理可包括用于分离组织切片的自发荧光成分和染料成分的自发荧光分离处理和将具有不同荧光波长的染料的波长彼此分离的荧光分离处理。在自发荧光分离处理中，可执行用于使用从具有相同或相似特性的多个样本中的其他样本提取的自发荧光信号从一个样本的图像信息中去除自发荧光成分的处理。信息处理单元5120可发送用于控制单元5110的成像控制的数据。接收数据的控制单元5110可根据数据控制显微镜装置5100的成像。

信息处理单元5120可被配置为诸如通用计算机的信息处理装置并且可包括CPU、RAM(随机存取存储器)以及ROM(只读存储器)。信息处理单元5120可包括在显微镜装置5100的壳体中或者可存在于壳体的外部。信息处理单元5120的各种处理或功能可通过经由网络连接的服务器计算机或云来实现。

本领域技术人员可根据生物衍生样本S的类型、成像的目的等适当地选择用于通过显微镜装置5100对生物衍生样本S成像的方案。下面参考图14和图15说明成像方案的实例。图14和图15是示出成像方案的实例的示图。

成像方案的一个实例如下。首先，显微镜装置5100可以指定成像目标区域。成像目标区域可被指定为覆盖存在生物衍生样本S的整个区域，或者可被指定为覆盖生物衍生样本S中的目标部分(存在目标组织切片、目标细胞或目标病变的部分)。随后，显微镜装置5100将成像目标区域分成具有预定尺寸的多个划分区域，并且显微镜装置5100对所分割的区域依次进行成像。结果，获取划分区域的图像。

如图14所示，显微镜装置5100指定覆盖整个生物衍生样本S的成像目标区域R。显微镜装置5100将成像目标区域R分割成16个划分区域。显微镜装置5100可以对划分区域R1成像，然后对包括在成像目标区域R中的区域，诸如邻近于划分区域R1的区域的任何区域进行成像。此外，显微镜装置5100对分割的区域进行成像直至不存在未成像的划分区域。应注意，显微镜装置5100可基于所划分的区域的捕获图像信息对成像目标区域R之外的区域进行成像。此时，调整显微镜装置5100和样本放置部5104之间的位置关系，以便在对某个划分区域成像之后对下一划分区域成像。可以通过显微镜装置5100的移动、样本放置部5104的移动或显微镜装置5100和样本放置部5104两者的移动来执行调整。

在这个实例中，对划分区域进行成像的成像装置可以是二维成像元件(区域传感器)或一维成像元件(线传感器)。信号获取单元5103可经由光学单元5102对划分区域进行成像。划分区域的成像可以在显微镜装置5100和/或样本放置部5104移动的同时被连续地执行，或者显微镜装置5100和/或样本放置部5104的移动可以在对划分区域成像时停止。此外，可以划分成像目标区域使得划分区域的部分重叠，或者可以划分成像目标区域使得划分区域不重叠。在改变诸如焦距和/或曝光时间的成像条件的同时，可对划分区域进行多次成像。

信息处理单元5120可通过拼接彼此相邻的多个划分区域来产生更宽区域中的图像数据。通过在整个成像目标区域上执行拼接处理，可以针对成像目标区域获取更宽区域中的图像。可从划分区域的图像或经历拼接处理的图像产生具有较低分辨率的图像数据。

成像方案的另一实例如下。首先，显微镜装置5100可以指定成像目标区域。成像目标区域可被指定为覆盖存在生物衍生样本S的整个区域，或者可被指定为覆盖生物衍生样本S中的目标部分(存在目标组织切片或目标细胞的部分)。随后，显微镜装置5100在垂直于光轴的表面中的一个方向(也称为“扫描方向”)上扫描成像目标区域的部分区域(也称为“划分扫描区域”)并对其进行成像。当完成划分扫描区域的扫描时，随后，显微镜装置5100扫描紧邻扫描区域的分割的扫描区域。然后，显微镜装置5100重复这些扫描操作，直到整个成像目标区域被成像。

如图15所示，显微镜装置5100指定其中组织切片存在于生物衍生样本S中的区域(灰色部分)作为成像目标区域Sa。显微镜装置5100在成像目标区域Sa中在Y轴方向上扫描划分扫描区域Rs。当完成划分扫描区域Rs的扫描时，随后，显微镜装置5100在X轴方向上扫描下一个划分扫描区域。显微镜装置5100重复该操作，直到针对所有成像目标区域Sa完成扫描。

调整显微镜装置5100和样本放置部5104之间的位置关系，用于扫描划分扫描区域并且在对某个划分扫描区域成像之后对下一划分扫描区域成像。可以通过显微镜装置5100的移动、样本放置部5104的移动或显微镜装置5100和样本放置部5104两者的移动来执行调整。在这个实例中，对划分扫描区域进行成像的成像装置可以是一维成像元件(线传感器)或二维成像元件(区域传感器)。信号获取单元5103可以经由放大光学系统对划分区域进行成像。在移动显微镜装置5100和/或样本放置部5104的同时，可以连续执行划分扫描区域的成像。可以划分成像目标区域使得划分扫描区域的部分重叠，或者可以划分成像目标区域使得划分扫描区域不重叠。可以通过改变诸如焦距和/或曝光时间的成像条件来多次对划分扫描区域进行成像。

信息处理单元5120可通过拼接彼此相邻的多个划分扫描区域来产生更宽区域中的图像数据。通过在整个成像目标区域上执行拼接处理，可以针对成像目标区域获取更宽区域中的图像。可从划分扫描区域的图像或经历拼接处理的图像产生具有较低分辨率的图像数据。

<4.2病理学诊断系统>

例如，根据本公开的技术可应用于医生等通过观察从患者收集的细胞或组织来诊断病变的病理诊断系统或者病理诊断系统的支持系统(在下文中称为诊断支持系统)。诊断支持系统可以是基于使用数字病理技术获取的图像来诊断病变或支持诊断的WSI(全载玻片成像)系统。

图16是示出了应用根据本公开的技术的诊断支持系统5500的示意性配置的实例的示图。如图16所示，诊断支持系统5500包括一个或多个病理系统5510。此外，诊断支持系统5500可以包括医疗信息系统5530和导出装置5540。

一个或多个病理学系统5510中的每一个是主要由病理学家使用并且被引入到例如实验室或医院的系统。病理系统5510可以被引入到彼此不同的医院，并且经由诸如WAN(广域网)(包括互联网)、LAN(局域网)、公共线路网络和移动通信网络的各种网络分别连接到医疗信息系统5530和导出装置5540。

每个病理系统5510包括显微镜(具体地，与数字成像技术组合使用的显微镜)5511、服务器5512、显示控制装置5513和显示装置5514。

显微镜5511具有光学显微镜的功能并且拍摄存储在载玻片中的观察目标以获取病理图像，该病理图像是数字图像。观察对象是例如从患者收集的组织或细胞，并且可以是器官的肉、唾液、血液等。例如，显微镜5511用作图1所示的扫描仪30。

服务器5512将通过显微镜5511获取的病理图像存储并保存在未示出的存储单元中。当从显示控制装置5513接受浏览请求时，服务器5512从未示出的存储单元检索病理图像并将检索的病理图像发送至显示控制装置5513。例如，服务器5512用作根据本公开的实施方式的信息处理装置10。

显示控制装置5513将从用户接收的观看病理图像的请求发送到服务器5512。然后，显示控制装置5513在使用液晶、电致发光(EL)、阴极射线管(CRT)等的显示装置5514上显示从服务器5512接收的病理图像。注意，显示装置5514可以适用于4K或8K，不限于一个装置，并且可以是多个装置。

这里，当观察对象是诸如器官的肉块的固体材料时，观察对象可以是例如染色的薄片。例如，可以通过对从诸如器官的标本切出的块片进行切片来产生薄片。在切片中，块片可以通过石蜡等固定。

对于薄切片的染色，可以应用各种类型的染色，如指示组织的形态的一般染色，如HE(苏木精-曙红)染色或免疫染色或指示组织的免疫状态的荧光免疫染色，如IHC(免疫组织化学)染色。此时，可以使用多种不同的试剂对一个薄片进行染色，或者可以使用不同的试剂对从同一块片中连续切出的两个或更多个薄片(也称为相邻的薄片)进行染色。

显微镜5511可以包括用于以低分辨率拍摄的低分辨率拍摄单元和用于以高分辨率拍摄的高分辨率拍摄单元。低分辨率拍摄单元和高分辨率拍摄单元可以是不同的光学系统或者可以是相同的光学系统。在相同的光学系统的情况下，显微镜5511的分辨率可根据拍摄目标而改变。

将存储观察目标的载玻片放在位于显微镜5511的视角内的载物台上。首先，显微镜5511使用低分辨率拍摄单元获取视角内的整个图像并且从所获取的整个图像中指定观察目标的区域。随后，显微镜5511将观察对象存在的区域划分为具有预定尺寸的多个划分区域，并且利用高分辨率拍摄单元顺序地拍摄划分区域的图像以获取划分区域的高分辨率图像。在切换目标划分区域时，可以移动载物台，可以移动拍摄光学系统，或者可以移动载物台和拍摄光学系统两者。划分区域可以与相邻的划分区域重叠，以便防止例如由于载玻片的非故意滑动而出现拍摄遗漏区域。此外，整个图像可包括用于将整个图像与患者相关联的识别信息。例如，识别信息可以是字符串或QR码(注册商标)。

由显微镜5511获取的高分辨率图像被输入到服务器5512。服务器5512将高分辨率图像划分为具有较小尺寸的部分图像(以下称为片图像(tile image))。例如，服务器5512将一个高分辨率图像分成总共10×100张片图像。此时，如果相邻的划分区域重叠，则服务器5512可使用诸如模板匹配的技术对彼此相邻的高分辨率图像应用拼接处理。在这种情况下，服务器5512可划分通过拼接处理粘贴在一起的整个高分辨率图像以产生片图像。然而，可在拼接处理之前执行从高分辨率图像产生片图像。

服务器5512可通过进一步划分片图像来产生具有更小尺寸的片图像。可重复这样的片图像的产生，直到产生具有被设置为最小单元的尺寸的片图像。

当以这种方式产生最小单元的片图像时，服务器5512对所有片图像执行片合成处理，组合预定数量的邻近片图像，以产生一个片图像。可以重复该片合成处理，直到最终生成一个片图像。通过这样的处理，生成具有由一个或多个片图像配置层的金字塔结构的片图像组。在该金字塔结构中，某个层中的片图像和不同于该层的层中的片图像的像素的数量是相同的。然而，片图像的分辨率不同。例如，当总共2×2个四个片图像被组合以生成上层中的一个片图像时，上层的片图像的分辨率是用于组合的下层的片图像的分辨率的1/2倍。

通过构造具有这种金字塔结构的片图像组，可以根据显示目标片图像所属的层切换显示在显示装置上的观察目标的细节程度。例如，当使用底层中的片图像时，可以详细显示观察目标的窄区域，并且当使用上层中的片图像时，可以较粗糙地显示观察目标的较宽区域。

具有金字塔结构的所生成的片图像组与例如可以唯一地识别片图像的识别信息(称为片识别信息)一起存储在未示出的存储单元中。当从另一装置(例如，显示控制装置5513或导出装置5540)接收到对包括片识别信息的片图像的获取请求时，服务器5512将对应于片识别信息的片图像发送到另一装置。

注意，可为针对拍摄条件，例如，焦距和染色条件，生成作为病理图像的片图像。当针对每个拍摄条件生成片图像时，对应于与特定拍摄条件不同的拍摄条件并且与特定病理图像相同区域中的另一病理图像可与特定病理图像并排显示。特定拍摄条件可以由观察者指定。当观察者指定多个拍摄条件时，对应于拍摄条件的相同区域中的病理图像可并排显示。

服务器5512可将具有金字塔结构的片图像组存储在除了服务器5512之外的另一存储装置，例如，云服务器中。此外，上述的整个片图像生成处理的一部分或全部可以由云服务器等执行。

显示控制装置5513根据来自用户的输入操作从金字塔结构的片图像组中提取期望的片图像，并将期望的片图像输出到显示装置5514。利用这样的处理，用户可以获得好像用户在改变观察倍率的同时观察观察目标的感觉。即，显示控制装置5513用作虚拟显微镜。这里的虚拟观察倍率实际上等同于分辨率。

注意，可以使用任何方法作为拍摄高分辨率图像的方法。在重复地停止和移动载物台以获取高分辨率图像的同时可以拍摄划分区域，或者可以在以预定速度移动载物台以获取条带上的高分辨率图像的同时拍摄划分区域。此外，用于从高分辨率图像生成片图像的处理不是必要配置。可通过逐步改变通过拼接处理粘贴在一起的整个高分辨率图像的分辨率来产生分辨率逐步改变的图像。甚至在这种情况下，也可以逐步向用户呈现宽区域中的低分辨率图像至窄区域中的高分辨率图像。

医疗信息系统5530是所谓的电子医疗记录系统，并且存储与诊断有关的信息，诸如用于识别患者的信息、患者疾病信息、用于诊断的检查信息和图像信息、诊断结果和处方药。例如，通过拍摄特定患者的观察目标而获得的病理图像可在经由服务器5512一次存储之后通过显示控制装置5513显示在显示装置5514上。使用病理学系统5510的病理学家基于在显示装置5514上显示的病理学图像来执行病理学诊断。将由病理学家执行的病理诊断的结果存储在医疗信息系统5530中。

导出装置5540可对病理图像执行分析。对于该分析，可以使用通过机器学习创建的学习模型。导出装置5540可导出特定区域的分类结果、组织的识别结果等作为分析结果。此外，导出装置5540可以导出识别结果，诸如细胞信息、数量、位置和亮度信息、识别结果的评分信息等。由导出装置5540导出的这些条信息可以作为诊断支持信息显示在病理系统5510的显示装置5514上。

注意，导出装置5540可以是由一个或多个服务器(包括云服务器)等配置的服务器系统。导出装置5540可以被配置成内置在例如病理系统5510中的显示控制装置5513或服务器5512中。即，可以在病理系统5510中执行对病理图像的各种分析。

如上所述的部件之中，根据本公开的技术可以适当地应用于如上所述的服务器5512。具体地，根据本公开的技术可以公开地应用于服务器5512中的图像处理。通过将根据本公开的技术应用于服务器5512，可以获得更清晰的病理图像。因此，能够更准确地进行病变部的诊断。

应注意，以上说明的配置不仅可以应用于诊断支持系统，而且可以应用于诸如共焦显微镜、荧光显微镜、以及使用数字成像技术的视频显微镜的所有生物显微镜。在此，观察靶标可以是生物样本，如培养的细胞、受精卵、或精子；生物材料，如细胞片或三维细胞组织；或有机体，如斑马鱼或小鼠。观察目标可以在不仅存储在载玻片中的状态下观察，而且可以在孔板、皮氏培养皿等中观察。

此外，可从使用其中使用数字成像技术的显微镜获取的观察目标的静止图像生成运动图像。例如，可从连续拍摄达预定时段的静止图像产生运动图像，或者可从以预定间隔拍摄的静止图像产生图像序列。通过以这种方式从静止图像生成运动图像，可以使用机器学习来分析观察对象的动态特性，诸如癌细胞、神经细胞、心肌组织、精子等的诸如搏动、伸长和迁移的移动以及培养细胞和受精卵的分裂过程。

例如，上面主要说明包括信息处理装置10、扫描仪30、学习装置40和网络50的信息处理系统1。然而，还可以提供包括信息处理装置10、扫描仪30、学习装置40和网络50的一部分的信息处理系统。例如，还可以提供包括信息处理装置10、扫描仪30和学习装置40的一部分或全部的信息处理系统。此时，信息处理系统可以不是整个装置的组合(硬件和软件的组合)。

例如，还可以提供包括信息处理装置10、扫描仪30和学习装置40之中的第一装置(硬件和软件的组合)和第二装置的软件的信息处理系统。作为实例，还可以提供包括扫描仪30(硬件和软件的组合)和信息处理装置10的软件的信息处理系统。如上所述，根据本公开的实施方式，还可提供包括从信息处理装置10、扫描仪30以及学习装置40中选择出的多个组件的信息处理系统1。

<<5.硬件配置>>

以上说明的实施方式所涉及的信息处理装置10等信息设备例如由具有图17所示的结构的计算机1000来实现。在以下说明中，将根据本发明的实施方式的信息处理装置10作为实例进行说明。图17是示出实现信息处理装置10的功能的计算机1000的实例的硬件配置图。计算机1000包括CPU1100、RAM1200、ROM(只读存储器)1300、HDD(硬盘驱动器)1400、通信接口1500和输入/输出接口1600。计算机1000的单元通过总线1050连接。

CPU1100基于存储在ROM1300或HDD1400中的程序来操作，并控制这些单元。例如，CPU1100在RAM1200中展开存储在ROM1300或HDD1400中的程序，并且执行与各种程序相对应的处理。

ROM1300存储诸如要在计算机1000的启动时间由CPU1100执行的BIOS(基本输入输出系统)的引导程序、取决于计算机1000的硬件的程序等。

HDD1400是非瞬时地记录要由CPU1100执行的程序、要由这样的程序使用的数据等的计算机可读记录介质。具体地，HDD1400是记录作为程序数据1450的实例的根据本公开的信息处理程序的记录介质。

通信接口1500是用于计算机1000连接到外部网络1550(例如，互联网)的接口。例如，CPU1100经由通信接口1500从其他设备接收数据并且经由通信接口1500将由CPU1100生成的数据发送到其他设备。

输入/输出接口1600是用于连接输入/输出装置1650和计算机1000的接口。例如，CPU1100经由输入/输出接口1600从诸如键盘或鼠标的输入装置接收数据。CPU1100经由输入/输出接口1600将数据传输到诸如显示器、扬声器或打印机的输出装置。输入/输出接口1600可以用作读取记录在预定计算机可读记录介质(介质)中的程序等的介质接口。例如，介质是诸如DVD(数字通用盘)或PD(相变可重写盘)的光学记录介质、诸如MO(磁光盘)的磁光记录介质、磁带介质、磁记录介质、或者半导体存储器。

例如，在计算机1000用作根据本公开的实施方式的信息处理装置10的情况下，计算机1000的CPU 1100通过执行加载在RAM 1200上的图像处理程序来实现处理单元100等的功能。根据本公开的信息处理程序和存储单元130中的数据可以被存储在HDD1400中。注意，CPU1100从HDD1400读取程序数据1450并执行程序数据1450。然而，作为另一实例，CPU1100可经由外部网络1550从另一装置获取信息处理程序。

本实施方式的信息处理装置10可以应用于包括以与网络的连接(或装置间的通信)为前提的多个装置的系统，例如云计算。即，上述本实施方式的信息处理装置10例如能够通过多个装置实现为本实施方式的信息处理系统1。

以上说明了信息处理装置10的硬件结构的实例。以上说明的组件可以使用通用构件来配置，或者可以由专用于组件的功能的硬件来配置。这样的配置可以根据每次实现的技术水平适当地改变。

<<6.补充>>

要注意的是，上面说明的本公开的实施方式可包括例如由上述信息处理装置或信息处理系统执行的信息处理方法、用于使信息处理装置运行的程序、以及记录该程序的非暂时性有形介质。程序可以经由诸如互联网的通信线路(包括无线通信)分发。

上面说明的本公开的实施方式中的信息处理方法中的步骤可以不总是按照所述顺序处理。例如，可以在适当改变顺序的情况下处理步骤。这些步骤可以部分地并行或单独地处理，而不是按时间序列处理。此外，步骤的处理可以不总是根据所描述的方法来处理，并且可以由例如根据另一方法的另一功能单元来处理。

在上述实施方式中说明的各种处理中，可以手动进行说明为自动执行的处理的全部或一部分，或者可以通过公知的方法自动进行说明为手动执行的处理的全部或一部分。此外，除非特别指出，否则可以可选地改变在文档中说明并且在附图中示出的处理过程、特定名称、以及包括各种数据和参数的信息。例如，在附图中示出的各种信息不限于示出的信息。

装置的所说明的组件在功能上是概念性的，且不总是需要如图中所说明而物理地配置。即，装置的分布和整合的具体形式不限于所说明的形式，并且其全部或一部分可以通过根据各种负载、使用情况等在功能上或物理上分布和整合到任何单元中来配置。

以上参照附图详细说明了本发明的优选实施方式。然而，本公开的技术范围不限于这种实例。显而易见的是，在本公开的技术领域中具有普通知识的技术人员可获得在权利要求中描述的技术理念的范畴内的各种更改或者校正。应当理解，这些变更和校正自然属于本公开的技术范围。

本说明书中描述的效果仅是说明性的或示例性的，而不是限制性的。即，根据本公开的技术可以从本说明书的描述连同或者代替上述效果来实现对于本领域技术人员显而易见的其他效果。

应注意，本技术还可采用以下配置。

(1)一种信息处理装置，包括：

存储单元，存储转换处理信息和从生物标本的图像数据生成的第一注释数据；

转换单元，使用转换处理信息将第一注释数据转换为第一注释数据附带的多个第二注释数据；以及

输出单元，输出第一注释数据或第二注释数据。

(2)根据(1)的信息处理装置，进一步包括：

输入单元，接收对第一注释数据或第二注释数据的编辑操作；以及

编辑单元，当第一注释数据或第二注释数据被编辑时，该编辑单元将所述编辑反映在剩余注释数据上。

(3)根据(2)所述的信息处理装置，其中

所述存储单元进一步存储关于编辑的编辑处理信息，以及

编辑单元基于编辑处理信息将所述编辑反映在剩余注释数据上。

(4)根据(1)至(3)中任一项所述的信息处理装置，其中

第一注释数据包括点云坐标数据，并且

转换单元基于用于转换点云坐标数据的转换公式执行转换。

(5)根据(1)至(4)中任一项所述的信息处理装置，其中，第一注释数据和第二注释数据具有不同的显示倍率。

(6)根据(5)所述的信息处理装置，其中，第一注释数据的显示倍率低于第二注释数据的显示倍率。

(7)根据(6)所述的信息处理装置，其中，转换单元通过使用转换处理信息对第一注释数据执行线性扩展处理来执行到第二注释数据的转换。

(8)根据(6)所述的信息处理装置，其中，转换单元通过使用转换处理信息对第一注释数据执行拟合处理来执行到第二注释数据中的每一个的转换。

(9)根据(8)所述的信息处理装置，其中，转换单元对从第一注释数据提取的预定区域执行基于前景和背景之间的边界的拟合、基于细胞膜的拟合或基于细胞核的拟合。

(10)根据(5)至(9)中任一项所述的信息处理装置，其中，存储单元还存储具有与第一注释数据和第二注释数据的显示倍率不同的显示倍率的一个或多个第三注释数据。

(11)根据(1)至(4)中任一项所述的信息处理装置，其中，第一注释数据和第二注释数据具有不同的显示形式。

(12)根据(11)所述的信息处理装置，其中，第一注释数据和第二注释数据中的一个是核分割显示，并且第一注释数据和第二注释数据中的另一个是点云显示或热图显示。

(13)根据(1)至(12)中任一项所述的信息处理装置，其中，输出单元向显示装置输出第一注释数据或多个第二注释数据中的至少一个。

(14)根据(13)所述的信息处理装置，其中

存储单元存储多个第一注释数据，并且

输出单元根据用户的操作连接并输出多个第一注释数据和多个第二注释数据中的多个数据。

(15)根据(1)至(14)中任一项所述的信息处理装置，还包括生成单元，其从图像数据生成第一注释数据。

(16)一种信息处理装置，包括：

存储单元，存储转换处理信息和从图像数据生成的第一注释数据；

转换单元，使用转换处理信息将第一注释数据转换为第一注释数据附带的多个第二注释数据；以及

输出单元，输出第一注释数据或第二注释数据。

(17)一种信息处理方法，包括：

将转换处理信息和从生物标本的图像数据生成的第一注释数据存储在存储单元中；

使用转换处理信息将第一注释数据转换为第一注释数据附带的多个第二注释数据；以及

输出第一注释数据或第二注释数据。

(18)一种信息处理系统，包括：

信息处理装置，对从生物标本的图像数据生成的注释数据执行输出处理；以及

用于使信息处理装置执行输出处理的程序，其中，

信息处理装置包括：

存储单元，存储第一注释数据和转换处理信息；

转换单元，使用转换处理信息将第一注释数据转换为第一注释数据附带的多个第二注释数据；以及

输出单元，输出第一注释数据或第二注释数据。

(19)转换模型，用于使计算机用来将从生物标本的图像数据生成的第一注释数据转换为第一注释数据附带的多个第二注释数据，

计算机使用转换模型对第一注释数据执行拟合处理，并且生成与第一注释数据的显示倍率相比具有更高显示倍率的第二注释数据。

参考标号列表

1 信息处理系统

10 信息处理装置

20 显示装置

30 扫描仪

40 学习装置

50 网络

100 处理单元

102 生成单元

104 转换单元

106 编辑单元

108 输出单元

120图像数据接收单元

130、130a存储单元

140 操作单元

150 发送单元

800a、800b图像

802、802a、802b注释数据

804、904 图像数据

806 注释数据组

810 转换参数

908 曲线

912 区域。

Claims (19)

1.一种信息处理装置，包括：

存储单元，存储转换处理信息和从生物标本的图像数据生成的第一注释数据；

转换单元，使用所述转换处理信息将第一注释数据转换为所述第一注释数据附带的多个第二注释数据；以及

输出单元，输出所述第一注释数据或所述第二注释数据。

2.根据权利要求1所述的信息处理装置，进一步包括：

输入单元，接收对所述第一注释数据或所述第二注释数据的编辑操作；以及

编辑单元，当所述第一注释数据或所述第二注释数据被编辑时，所述编辑单元将所述编辑反映在剩余注释数据上。

3.根据权利要求2所述的信息处理装置，其中

所述存储单元进一步存储关于所述编辑的编辑处理信息，以及所述编辑单元基于所述编辑处理信息将所述编辑反映在所述剩余注释数据上。

4.根据权利要求1所述的信息处理装置，其中

所述第一注释数据包括点云坐标数据，并且

所述转换单元基于用于转换所述点云坐标数据的转换公式执行转换。

5.根据权利要求1所述的信息处理装置，其中，所述第一注释数据和所述第二注释数据具有不同的显示倍率。

6.根据权利要求5所述的信息处理装置，其中，所述第一注释数据的显示倍率低于所述第二注释数据的显示倍率。

7.根据权利要求6所述的信息处理装置，其中，所述转换单元通过使用所述转换处理信息对所述第一注释数据执行线性扩展处理来执行到所述第二注释数据的转换。

8.根据权利要求6所述的信息处理装置，其中，所述转换单元通过使用所述转换处理信息对所述第一注释数据执行拟合处理来执行到所述第二注释数据中的每一个的转换。

9.根据权利要求8所述的信息处理装置，其中，所述转换单元对从所述第一注释数据提取的预定区域执行基于前景和背景之间的边界的拟合、基于细胞膜的拟合或基于细胞核的拟合。

10.根据权利要求5所述的信息处理装置，其中，所述存储单元还存储具有与所述第一注释数据和所述第二注释数据的显示倍率不同的显示倍率的一个或多个第三注释数据。

11.根据权利要求1所述的信息处理装置，其中，所述第一注释数据和所述第二注释数据具有不同的显示形式。

12.根据权利要求11所述的信息处理装置，其中，所述第一注释数据和所述第二注释数据中的一个是核分割显示，并且所述第一注释数据和所述第二注释数据中的另一个是点云显示或热图显示。

13.根据权利要求1所述的信息处理装置，其中，所述输出单元向显示装置输出所述第一注释数据或多个所述第二注释数据中的至少一个。

14.根据权利要求13所述的信息处理装置，其中

所述存储单元存储多个所述第一注释数据，并且

所述输出单元根据用户的操作连接并输出多个所述第一注释数据和多个所述第二注释数据中的多个数据。

15.根据权利要求1所述的信息处理装置，进一步包括：生成单元，所述生成单元从所述图像数据生成所述第一注释数据。

16.一种信息处理装置，包括：

存储单元，存储转换处理信息和从图像数据生成的第一注释数据；

转换单元，使用所述转换处理信息将所述第一注释数据转换为所述第一注释数据附带的多个第二注释数据；以及

输出单元，输出所述第一注释数据或所述第二注释数据。

17.一种信息处理方法，包括：

将转换处理信息和从生物标本的图像数据生成的第一注释数据存储在存储单元中；

使用所述转换处理信息将所述第一注释数据转换为所述第一注释数据附带的多个第二注释数据；以及

输出所述第一注释数据或所述第二注释数据。

18.一种信息处理系统，包括：

信息处理装置，对从生物标本的图像数据生成的注释数据执行输出处理；以及

用于使所述信息处理装置执行所述输出处理的程序，其中，

所述信息处理装置包括：

存储单元，存储第一注释数据和转换处理信息；

转换单元，使用所述转换处理信息将所述第一注释数据转换为所述第一注释数据附带的多个第二注释数据；以及

输出单元，输出所述第一注释数据或所述第二注释数据。

19.一种转换模型，用于使计算机用来将从生物标本的图像数据生成的第一注释数据转换为所述第一注释数据附带的多个第二注释数据，

所述计算机使用所述转换模型对所述第一注释数据执行拟合处理，并且生成与所述第一注释数据的显示倍率相比具有更高显示倍率的所述第二注释数据。