CN112585692A - 医疗系统、医疗设备和医疗方法 - Google Patents

Abstract

一种医疗系统，包括：控制部，被配置为接收通过对一个观察目标对象进行成像而产生的病理图像数据，该病理图像数据包括第一图像数据和第二图像数据，第二图像数据与观察目标对象有关，但是与第一图像数据不同；显示控制部，其使显示部在其上显示第一图像数据和第二图像数据；以及注释处理部，其基于用户的输入将注释应用于第一图像数据和第二图像数据中的每一者。

Description

医疗系统、医疗设备和医疗方法

技术领域

本发明涉及一种医疗系统、医疗设备和医疗方法。

背景技术

最近已经积极地开发了与在医学图像数据(包括病理图像数据等)中应用于肿瘤区域等的注释有关的技术。例如，以下非专利文献1公开了一种能够通过将准确的注释应用于IHC(免疫组织化学)图像数据来提高诊断精度的技术。

引用列表

非专利文献

非专利文献1：Barnes M和其他13位作者，“Wholetumor section quantitativeimage analysis maximizes between-pathologists’reproducibility for clinicalimmunohistochemistry-based biomarkers”，Laboratory Investigation，2017年8月14日，第97卷，第1508-1515页

发明内容

技术问题

然而，利用非专利文献1的技术等，适当地应用注释可能是困难的。例如，在显示器上显示的将要成为注释应用目标的部分相对于显示器较小的情况下，用户将整个显示切换到分辨率更高的图像数据，从而应用注释。然而，当整个显示被切换到分辨率更高的图像数据时，用户不能在透视图中看到将成为注释应用目标的部分。此外，切换到与观察目标对象有关但不同的图像数据(例如，具有与诸如更高分辨率的观察目标对象有关的更详细的视觉信息)的操作对于用户而言可能是麻烦的。

因此，鉴于上述情况构思了本公开，并且本公开提供了一种医疗系统、医疗设备和医疗方法，它们各自是新颖的且得到改进，并且各自可以更适当地将注释应用于病理图像数据。

问题的解决方案

根据本公开，提供了一种医疗系统，其包括：控制部，被配置为接收通过对一个观察目标对象进行成像而产生的病理图像数据，该病理图像数据包括第一图像数据和第二图像数据，第二图像数据与观察目标对象有关，但是与第一图像数据不同；显示控制部，其使显示部在其上显示第一图像数据和第二图像数据；以及注释处理部，其基于用户的输入将注释应用于第一图像数据和第二图像数据中的每一者。

此外，根据本公开，提供了一种医疗设备，该医疗设备包括：控制部，被配置为接收通过对一个观察目标对象进行成像而产生的病理图像数据，该病理图像数据包括第一图像数据和第二图像数据，第二图像数据与观察目标对象有关，但是与第一图像数据不同；显示控制部，其使显示部在其上显示第一图像数据和第二图像数据；以及注释处理部，其基于用户的输入将注释应用于第一图像数据和第二图像数据中的每一者。

此外，根据本公开，提供了一种由计算机执行的医疗方法。该医疗方法包括以下步骤：接收通过对一个观察目标对象进行成像而产生的病理图像数据，该病理图像数据包括第一图像数据和第二图像数据，第二图像数据与观察目标对象有关，但是与第一图像数据不同；使显示部在其上显示第一图像数据和第二图像数据；以及基于用户的输入将注释应用于第一图像数据和第二图像数据中的每一者。

根据本公开，提供了一种医疗系统，其包括：成像设备，其产生包括第一图像数据和第二图像数据的病理图像数据，第二图像数据与观察目标对象有关，但是与第一图像数据不同；以及用于处理病理图像数据的软件，其中该软件由信息处理设备执行，从而实现：使显示部在其上显示第一图像数据和第二图像数据，以及基于用户的输入将注释应用于第一图像数据和第二图像数据中的每一者。

根据本公开，用户可以观看第一图像数据和第二图像数据二者，进行与注释有关的输入。本公开使得能够将注释更适当地应用于病理图像数据。

发明的有益效果

如上所述，根据本公开，可以将注释更适当地应用于病理图像数据。

另外，上述效果不一定是限制性的，并且可以与上述效果一起或者代替上述效果而实现本说明书中描述的任何一种效果或从本说明书中可以理解的任何其他效果。

附图说明

[图1]图1是用于说明应用于医学图像数据的注释10的具体实例的图。

[图2]图2是描绘医疗系统100的构造的实例的框图。

[图3]图3是描绘用于说明病理图像数据和显示该数据的原理的金字塔结构的图。

[图4]图4是用于说明由显示控制部121执行的显示控制的细节的图。

[图5]图5是用于说明由显示控制部121执行的显示控制的细节的图。

[图6]图6描绘了用于说明由显示控制部121执行的显示控制的细节的图。

[图7]图7是用于说明由显示控制部121执行的显示控制的细节的图。

[图8]图8是用于说明设备构造的具体实例的图。

[图9]图9是用于说明当医生各自应用注释10时由医生通常执行的输入方法的图。

[图10]图10是用于说明当医生各自应用注释10时由医生通常执行的输入方法的图。

[图11]图11是用于说明设备构造的具体实例的图。

[图12]图12是用于说明设备构造的具体实例的图。

[图13]图13是描绘由注释处理部122产生的注释10的实例的图。

[图14]图14是描绘与注释10的产生有关的处理流程的实例的流程图。

[图15]图15是用于说明通过移动控制点13执行对注释10的校正的图。

[图16]图16是用于说明通过移动控制点13执行对注释10的校正的图。

[图17]图17是描绘与通过移动控制点13执行对注释10的校正有关的处理流程的实例的流程图。

[图18]图18是用于说明使用第二注释14对第一注释10进行校正的图。

[图19]图19是描绘与使用第二注释14对第一注释10进行校正有关的处理流程的实例的流程图。

[图20]图20是用于说明第一控制点13改变为与第二控制点15连接的目标的图。

[图21]图21是描绘与第一控制点13改变为与第二控制点15连接的目标有关的处理流程的实例的流程图。

[图22]图22是用于说明第一注释10的校正范围的确定方法的图。

[图23]图23是描绘与确定第一注释10的校正范围有关的处理流程的实例的流程图。

[图24]图24是描绘实现医疗系统100的各种功能的信息处理设备900的硬件构造的实例的框图。

具体实施方式

下面将参考附图详细描述本公开的优选实施例。另外，在本说明书和附图中，具有基本相同的功能和构造的构成元件被赋予相同的附图标记，并因此将不再描述。

另外，将按以下顺序进行描述。

1.概述

2.实施例

2.1.构造

2.2.与注释10有关的处理细节

2.3.硬件构造

2.4.系统构造的变化

3.结论

<1.概述>

首先描述本公开的概述。

为了验证药物在药物开发中的作用并进行病理诊断，重要的是准确计算肿瘤区域、间隙等的大小和比率，或者准确计算组织中细胞核的大小。特别是，随着病理图像的数字化和使用PD-L1(程序性细胞死亡1-配体1)等的癌症免疫疗法的兴起，越来越重要的是，通过使用连续切片的免疫染色等，量化肿瘤区域的面积、以及在肿瘤区域中染色细胞的分布和数量。因此，医生积极地执行将指示肿瘤区域等的注释应用于医学图像数据。此外，如上所述，还开发了非专利文献1的技术，根据该技术，可以通过对IHC图像数据应用准确的注释来提高诊断的精度。应当注意，应用注释可以意味着将注释附加到图像、将注释嵌入图像中、在定义注释的图像中存储坐标、将注释与图像中的位置和/或坐标相关联等。

然而，可能难以利用非专利文献1等的技术适当地应用注释。例如，在显示在显示器上的将要成为注释应用目标的部分相对于显示器较小的情况下，用户通过将整个显示切换到分辨率更高的图像数据、在原始图像数据上叠加分辨率更高的图像数据，来应用注释，以进行显示等。应当注意，具有与观察目标对象有关但是与第一图像数据不同的图像数据仅是一个实例。其他实例包括提供与观察目标有关的更详细的视觉信息、提供与观察目标有关的不同的视觉特性、应用使用一不同染料着色的观察目标的图像数据、或者对原始图像数据使用一不同的成像技术。有时将与观察目标对象有关但与第一图像数据不同的图像数据称为“注释辅助图像”。然而，当整个显示切换到例如分辨率高的图像数据时，用户不能在透视图中看到将成为注释应用目标的部分。此外，对例如分辨率高的图像数据进行拼接的操作对于用户而言也可能是麻烦的。此外，即使当注释辅助图像作为叠加在显示器上显示时，在仅在原始图像数据中显示注释而在注释辅助图像中未显示注释的情况下，也要求用户进行输入观看显示在注释辅助图像中的部分和将要实际对其应用注释的部分，比较它们之间的这些部分。因此，可能难以应用准确的注释。

鉴于上述情况，公开本发明的人最终创造了根据本公开的技术。根据本公开的医疗系统，对于病理图像数据(该病理图像数据通过对一个观察目标对象进行成像而产生，并且病理图像数据包括具有多种不同分辨率的多条图像数据)，可以使显示部在其上显示具有多种不同分辨率的第一分辨率的第一图像数据以及具有第二分辨率(该第二分辨率等于第一分辨率、或者等于或高于第一分辨率)的第二图像数据，并且可以基于用户的输入将注释应用于第一图像数据和第二图像数据中的每一者。用户由此可以执行与注释有关的输入，同时观看第一图像数据以及与观察目标对象有关但与第一图像数据不同的第二图像数据。因此，本公开使得能够将注释更适当地应用于病理图像数据。

此外，在根据本公开的医疗系统中，设置为注释上的多个点的控制点，并且可以通过使用控制点更适当地产生和校正注释。

此外，近来已经开发了一种使用机器学习技术来应用注释的技术，同时要求将细致的注释附加到大量医学图像数据上，以产生用于机器学习的学习数据，因此需要很多时间和很多工作人员。

为此，在根据本公开的医疗系统中，使用彼此不同的方法来实现与注释有关的输入以及与第一图像数据或第二图像数据的显示有关的输入。更具体地，在根据本公开的医疗系统中，与注释有关的输入由用户的一只手进行，而与第一图像数据或第二图像数据的显示有关的输入由其另一只手进行。该输入方法类似于当医生应用注释时由医生通常进行的输入方法，因此根据本公开的医疗系统可以更直观且更有效地实现诸如医生之类的用户的工作。此外，根据本公开的医疗系统具有使用户更容易地进行输入的构造，特别是对于徒手绘制的注释。

基于以上所述，根据本公开的医疗系统使得能够将注释更适当地应用于病理图像数据，并且还能够改善药物开发和病理诊断的质量和效率。

<2.实施例>

上面已经描述了本公开的概述。接下来将描述本公开的实施例。

根据本实施例的医疗系统100是当用户将注释10应用于医疗图像数据时使用的信息处理系统，并且包括例如医学显微镜(诸如，例如光学显微镜)、被连接以与医学显微镜等通信的设备等。另外，以下将以由医疗系统100对其应用注释10的医学图像数据为病理图像数据的情况为实例进行说明，而对其应用注释10的医学图像数据仅应当是与医疗有关的某种图像数据，并不一定限于病理图像数据。例如，对其应用注释10的医学图像数据可以是放射线图像数据或超声图像数据。换言之，可以使用不同的成像技术来捕捉可对其应用注释的医学图像数据。

关于上述，将参考图1描述由医疗系统100应用于医学图像数据的注释10的具体实例。如图1所描绘的，根据本实施例的注释10被应用于指示病理图像数据中包括的观察目标对象，并且被应用于包围作为观察目标对象的肿瘤区域。换言之，根据本实施例的注释10被应用于指示病理图像数据中包括的封闭区域(诸如，例如具有在其中被成像的作为观察目标对象的肿瘤区域等的区域)。注释10用于输出注释10所应用到的区域的面积、观察目标对象将成为肿瘤的概率、肿瘤的阳性率、各种分数等，用于在药物领域中用于计数肿瘤区域中的免疫细胞数目和肿瘤边缘中的细胞数目等，从而进行基于浸润到肿瘤中的免疫细胞数目来选择患者的药物等。此外，已知通过从癌症一般检查中的病理切片确定并切除肿瘤区域(理想地，包括特定数目或更多的成骨细胞的肿瘤区域)等来提高癌症基因检查的精度，并且，在这种情况下，注释10可用于从病理切片切出肿瘤区域、计数肿瘤内部的细胞数等。

(2.1.构造)

将参考图2描述医疗系统100的构造实例。图2是描绘根据本实施例的医疗系统100的构造的实例的框图。如图2所描绘的，医疗系统100包括图像获取部110、控制部120、输入部130、显示部140和存储部150。

(图像获取部110)

图像获取部110被配置为获取病理图像数据。图像获取部110可以通过包括图像传感器(诸如，例如CMOS(互补金属氧化物半导体)或CCD(电荷耦合器件))并用作医学显微镜来获取病理图像数据，或者可以通过与外部医学显微镜通信来获取病理图像数据。

关于上述，将参考图3描述由图像获取部110获取的病理图像数据的细节。图3是描绘用于解释病理图像数据和显示该数据原理的金字塔结构的图。图3中具有金字塔结构的病理图像数据是通过对一个观察目标对象进行成像而产生的数据，并且包括具有多种不同分辨率的多条图像数据。在图3的情况下，这说明了其中与观察目标对象有关但是与第一图像数据不同是具有更高图像分辨率的视觉信息的示例实施例。此外，病理图像数据中包括的多条图像数据根据分辨率由图3中的金字塔结构表示。在金字塔结构的最低位置处，布置具有最高分辨率(具有最大数据尺寸)的图像数据，并且在金字塔结构的最高位置处，布置具有最低分辨率(具有最小数据尺寸)的图像数据。最高分辨率是例如50×50(K像素：千像素)或40×60(K像素)，最低分辨率是例如256×256(像素)或256×512(像素)。另外，图像数据的分辨率不限于这些。

当以下部分中描述的显示部140在其上以例如100％显示这些图像数据时(在其上显示的每个物理点的数目等于图像数据的像素的数目)，具有最高分辨率(具有最大数据尺寸)的图像数据以最大尺寸显示，具有最低分辨率(具有最小数据尺寸)的图像数据以最小尺寸显示。关于此，在图3中，显示部140的显示范围由“D”指示。此外，病理图像数据中包括的多条图像数据以“图块(tile)”为单位(即预定尺寸的单位)进行管理。一个图块的尺寸可以是例如256×256(像素)，但是该尺寸不限于此。

由图像获取部110获取的病理图像数据由以下部分中描述的存储部150存储在其中。另外，应当注意，上述金字塔结构是用于绝对地描述病理图像数据的概念。实际上，在病理图像数据中，具有多个不同分辨率的多条图像数据和与这些分辨率有关的多条信息仅需要分别彼此相关。

(控制部120)

控制部120被配置为总体控制由医疗系统100执行的整个处理。例如，控制部120产生控制信号，将控制信号提供给每个构造，从而可以控制每个构造的启动和停止。另外，控制部120的功能没有受到特别限定。例如，控制部120可以控制通常由各种类型的服务器、通用计算机、PC(个人计算机)、平板PC等中的每一者执行的处理(诸如，例如与OS(操作系统)有关的处理)。

如图2所描绘的，控制部120包括显示控制部121、注释处理部122和图像分析部123。

(显示控制部121)

显示控制部121被配置为使显示部140在其上显示第一图像数据和第二图像数据。注意，在本公开中，第二图像数据与观察目标对象有关，但是与第一图像数据不同。第二图像数据是用作上述注释辅助图像(在本实施例中，称为“注释辅助图像20”)的数据。

关于上述，将参考图4和图5描述由显示控制部121执行的显示控制的细节。如图4和图5所描绘的，显示控制部121在第一图像数据上叠加第二图像数据(注释辅助图像20)并显示这些数据。由于以上显示的第二图像数据与观察目标对象有关但与第一图像数据不同，用户可以使用第二图像数据进行与注释10有关的细致输入，使用第一图像数据在透视图中观看观察目标对象。此外，与提供仅通过电子变焦第一图像数据而简单地生成的图像数据作为提供第二图像的一个实例的情况相比，显示控制部121可以向用户提供更高清晰度的图像数据。此外，如图5所描绘的，第二图像数据被显示在远离输入位置(光标位置)的位置处，因此输入位置附近的第一图像数据不需要被第二图像数据隐藏。另外，第二图像数据的显示位置不受特别限制，例如，第二图像数据可以显示在第一图像数据的中心附近，或者可以显示在显示区域中或显示器上，这与不叠加在第一图像数据上的情况下第一图像数据的显示不同。

此外，如图4所描绘的，显示控制部121可以使由用户进行输入的第一图像数据中的位置(图4中的输入点11和图5中的输入点11a))和由用户进行输入的第二图像数据中的位置(图4中的输入点11和图5中的输入点11b)彼此叠加并显示(换言之，使这些位置显示在实质相同的位置)。因此，第二图像数据被显示在用户看到的向其应用注释10的位置处，因此用户可以在不改变其视线的情况下更容易地进行输入。另外，由用户进行输入的第一图像数据中的位置(图4中的输入点11和图5中的输入点11a)以及由用户进行输入的第二图像数据中的位置(图4中的输入点11和图5中的输入点11b)的显示可能不一定显示在实质相同的位置。例如，第二图像数据可以被显示在由用户进行输入的第一图像数据中的位置附近，以至于第一图像数据中的位置未被隐藏。

此外，当第一图像数据显示观察目标对象的区域大于第二图像数据的区域时，叠加在第一图像数据上的第二图像数据的显示的颜色(诸如，例如透明程度等)、尺寸或显示形状不受特别限制，并且由于观察目标对象被显示在比第二图像数据的显示区域大的显示区域中，用户可以使用第一图像数据在透视图中应用注释同时观看观察目标对象。在第一图像数据和第二图像数据具有相等的分辨率并且被显示在彼此匹配的显示位置的情况下，显示控制部121可以使第二图像数据叠加在第一图像数据上，并在其上显示为透明。此外，第二图像数据的尺寸可以在显示视野角中(或第一图像数据中)自由设置。此外，第二图像数据的形状可以是矩形、圆形、通过用户输入自由指定的形状等。在第二图像数据的形状为矩形的情况下，期望第二图像数据的纵横比与显示装置的纵横比(在显示装置的整个屏幕上显示第一图像数据的情况下，第一图像数据的纵横比)实质相等。在第二图像数据具有例如实质正方形的形状的情况下，用户可以感觉到从第二图像数据获得的信息量较小，而通过将第二图像数据的纵横比设置为实质等于显示装置的纵横比，可以避免该问题。可以基于用户的选择来切换第二图像数据的显示的颜色(诸如，例如透明度等)、尺寸或形状。

另外，在图4的方案中，第一图像数据中的输入位置被第二图像数据隐藏，由于注释10也被实时地应用于第一图像数据，当与注释10有关的输入结束时，同时用户也可以在第一图像数据上立即检查注释10(或者用户可以检查应用到其上不具有叠加的第二图像数据的区域的注释)。因此，期望将注释10也实时地应用于第一图像数据，而附接不限于此，并且当与注释10有关的输入结束时，注释10可以同时应用于第一图像数据。

此外，显示控制部121可以基于用户的输入(诸如，例如用户输入以应用注释10)使显示部140在其上显示第二图像数据。例如，在用户按下按钮等期间(或者在用户单击鼠标并拖动鼠标期间)，显示控制部121可以使显示部140在其上显示第二图像数据。此外，显示控制部121也可以基于用户的指示，在始终显示第二图像数据的“显示模式”和不显示第二图像数据的“非显示模式”之间进行切换。当没有进行用于应用注释10的任何输入时，这些处理不显示第二图像数据，因此用户可以使用第一图像数据在透视图中容易地观看观察目标对象。

另外，根据与观察目标对象有关但与第一图像数据不同的图像数据中的位置，显示用户进行输入的多条图像数据中的每一条中的位置，诸如具有更详细的视觉信息，例如显示的多条图像数据的分辨率更高。更具体地，根据用户进行输入的第二图像数据中的位置(图4中的输入点11和图5中的输入点11b)，显示由用户进行输入的第一图像数据中的位置(图4中的输入点11和图5中的输入点11a)。用户从而可以利用更详细的视觉信息，诸如所显示的多条图像数据所具有的分辨率中的最高分辨率，来执行输入(换言之，用户可以应用具有更详细的视觉信息(诸如最高分辨率)的注释10)。另外，即使在不显示具有更详细的视觉信息(诸如最高分辨率)的图像数据的情况下，也可以根据具有更详细的视觉信息(诸如最高分辨率)的图像数据中的位置，显示用户进行输入的多条图像数据的位置。

在与观察目标对象有关但与第一图像数据不同的是更详细的视觉信息(诸如更高分辨率图像)的情况下，对于一个观察目标对象的第一图像数据和第二图像数据各自的分辨率可以彼此不同。对第一图像数据具有的第一分辨率与第二图像数据具有的第二分辨率的比率没有特别限制，而在设置了第二分辨率高于第一分辨率的情况下，当第二分辨率与第一分辨率相比过高时，第一图像数据和第二图像数据之间的位置关系变得难以理解。因此，理想地是，第二分辨率是第一分辨率的大约两倍至大约八倍，并且更理想地是第一分辨率的大约两倍至大约四倍。

此外，第二图像数据具有的第二分辨率可以等于第一分辨率。这是因为，在例如第一图像数据具有极高的分辨率(诸如，例如4K分辨率)的情况下，第二图像数据具有与第一图像数据相等的极高的分辨率，其应用预定的图像处理并被显示，从而实现如上所述的效果。“预定的图像处理”可以包括例如电子变焦、对比度调节等。此外，在第一分辨率非常低等情况下，第二图像数据可以是通过对第一图像数据进行超分辨率处理而产生的图像数据。

此外，第一图像数据和第二图像数据可以是在一个观察目标对象上的聚焦位置彼此不同的多条图像数据。换言之，第一图像数据和第二图像数据可以是具有彼此不同的视觉特性的多条图像数据。

例如，在第一图像数据包括未聚焦的部分的情况下，诸如将成为观察目标对象的切片被弯曲的情况或该切片被抬起的情况，具有被设置为聚焦的图像数据可以被显示为第二图像数据(换言之，可以显示其深度方向上的焦点位置与第一图像数据的焦点位置不同的第二图像数据)。

此外，第一图像数据和第二图像数据可以各自是其中具有彼此不同的对象的图像数据，该对象被染色剂染色。换言之，第一图像数据和第二图像数据可以是具有彼此不同的视觉特性的图像数据。该第二图像数据与观察目标对象有关，但是与第一图像数据不同。例如，在药物开发中确定药物作用等情况下，通常首先使用IHC染色图像观察细胞的分子特性。使用IHC图像在透视图中观察到所需细胞的局部存在、分布等，并且对于特定区域，此后使用HE染色图像观察形态特征。在这种情况下：可以将指示组织的免疫状态的免疫染色图像数据(诸如IHC染色图像数据)或用于每种目的使特定组织成分可视化的特别染色的图像数据显示作为第一图像数据；并且可以将诸如HE(苏木精-曙红)染色的图像数据之类的指示组织形式的一般染色图像数据显示作为第二图像数据。例如，在观察目标对象被能够对除肿瘤细胞以外的任何对象进行染色的染色剂(诸如，例如Ki67)染色的情况下，用户在仅使用IHC染色图像数据的观察目标对象中无法准确地识别肿瘤细胞的形态。由于HE染色图像数据显示作为第二图像数据，用户可以使用HE染色图像数据准确地识别肿瘤细胞的形式。

例如，在患病区域被识别的情况下(诸如诊断)，通常首先使用HE染色图像观察形态特征。使用HE染色图像识别患病区域和器官之间的位置关系，然后使用IHC染色图像和特殊染色图像观察特定区域的分子特性。与上述不同，在这种情况下，可以将一般染色图像数据(诸如，例如HE染色图像数据)显示为第一图像数据，免疫染色图像数据(诸如，例如IHC染色图像数据)或特殊染色图像数据(诸如，例如PAS染色图像数据)可以被显示为第二图像数据。关于此，将参考图6描述作为第二图像数据的IHC染色图像数据叠加在作为第一图像数据的HE染色图像数据上的情况的具体实例。在图6的A中，首先，假设仅显示作为第一图像数据的HE染色图像数据，并且用户仅使用HE染色图像数据通过移动光标12a来应用注释10a。关于此，在用户例如认为用户期望将注释10a应用于HER2的染色状态强的点的情况下，用户不能仅使用HE染色图像数据来准确地识别该点。如图6的B中所描绘的，显示控制部121使作为第二图像数据的IHC染色图像数据(注释辅助图像20)叠加在其上并显示。如图6的C中所描绘的，用户因此可以使用IHC染色图像数据准确地识别出其HER2的染色状态强的点，并且因此可以应用注释10b，并且当导致不显示IHC染色图像数据时，如图6的D中所描绘的，注释10a也被应用于HE染色图像数据。另外，在图6的实例中，由于将IHC染色图像数据中的光标12b设置为能够连续地布置在IHC染色图像数据的中心，因此，随着从图6的B到C逐渐绘制注释10b，IHC染色图像数据的显示位置在HE染色图像数据中移动(另外，IHC染色图像数据的显示形式不限于此)。

此外，在期望观察细胞的不同分子特性的情况下，可以显示不同类型的IHC染色图像数据作为第一图像数据和第二图像数据。例如，其中具有CD4染色的IHC染色图像数据可以叠加在其中具有CD8染色的IHC染色图像数据上。用户由此可以准确地识别任何存在或不存在以及CD8和CD4的两个阳性细胞的位置。例如，已知当肿瘤中CD8阳性T细胞的生长因子Ki-67的标记指数高时，存活率高，并且用户可以标记细胞，可以应用注释10等，确认是否标记了CD8和CD4二者。此外，用户还可以在后期处理中对CD8和CD4之间的位置关系、每个的面积等进行定量分析。另外，染色的目标不限于CD8和CD4的组合。例如，染色的目标可以是CD8和CK(细胞角蛋白)的组合、CD8和CD3的组合、HER2和ER·PgR的组合等(当然不限于上述组合)。这些组合有助于与存活概率以及治疗方法有关的确定。此外，对于这些组合中的每一者，染色的目标、试剂、方法不限于上述，并且可以是仅当可以使用那些来识别要被成像的期望对象时的那些。用于成像的切片可以是相同的一个，也可以使用不同的切片(诸如，例如连续切片)。

此外，第一图像数据或第二图像数据中的至少一个可以是用于在其中显示分析结果(诸如，例如在阳性核上进行标记的结果、热图等)的图像数据。例如，由于第一图像数据或第二图像数据中的任意一个是能够识别一个观察目标对象的核的IHC染色图像数据，另一个是能够识别同一观察目标对象的膜的IHC染色图像数据，用户可以基于针对核的分析结果来校正应用至膜的注释10等。另外，“分析结果”可以是基于机器学习技术、AI技术等自动执行的分析的结果，或者可以是用户进行的分析的结果。

关于上述，第二图像数据可以是显示内容彼此不同的两条或更多条图像数据。更具体地，显示控制部121可以在第一图像数据上叠加一个注释辅助图像20之后基于预定输入(诸如，例如用户按下按钮)来切换到在一个注释辅助图像20中显示的第二图像数据。此外，如图7所描绘的，显示控制部121也可以在第一图像数据上叠加其中显示了显示内容彼此不同的多条第二图像数据的多个注释辅助图像20(即，在图7的实例中在第一图像数据30中显示的注释辅助图像20a至注释辅助图像20c)。此外，在将一个注释辅助图像20叠加在第一图像数据上之后，显示控制部121可以使多个注释辅助图像20显示在第一图像数据的外部，该注释辅助图像20显示了显示内容彼此不同的多条第二图像数据。在这种情况下，当用户选择在第一图像数据之外显示的多条第二图像数据中的任意一条时，可以将叠加在第一图像数据上的注释辅助图像20中显示的第二图像数据切换为所选择的图像数据。如上所述，例如，在将IHC染色图像数据显示为第一图像数据的情况下，通过使用显示内容彼此不同的两条或更多条图像数据作为要叠加的第二图像数据，用户可以使HE染色图像数据、显示分析结果的图像数据等作为第二图像数据显示。此外，用户还可以使具有与第一图像数据的分辨率不同的多个分辨率的多条第二图像数据显示。为了将各种多条数据进行比较，这是将注释10应用于病理图像数据的工作所需要的，因此可以说，显示内容彼此不同的两条或更多条图像数据被用作第二图像数据特别有用。另外，在图7的实例中，多个注释辅助图像20在纵向上并排放置在第一图像数据中的右侧，而显示多个注释辅助图像20的位置及其并排放置的方向没有特别限制。

第二图像数据是在针对相同一个观察目标的、与第一图像数据不同的成像条件(成像设备的设置)下获得的图像数据，通过对第一图像进行图像处理而产生的图像数据，或者通过对从与第一图像数据的观察目标相同的一个组织块获得的组织进行成像而产生的图像数据。如上所述，可以通过使用对观察目标具有高识别性的图像数据作为第二图像数据，来实现注释的准确应用，诸如：高质量、高清晰度或高图像质量的图像数据，诸如具有比第一图像数据更高的分辨率或具有更清晰地聚焦在其中的特定成像对象的图像数据；或高对比度图像数据、电子变焦的图像数据或包括不同染色部分的图像数据。换言之，第二图像数据与观察目标对象有关，但是与第一图像数据不同。

(注释处理部122)

注释处理部122被配置为基于用户的输入将注释10应用于第一图像数据和第二图像数据中的每一者。更具体地，在用户使用输入部130进行徒手输入的情况下，注释处理部122将基于输入而徒手绘制的注释10应用于第一图像数据和第一图像数据中的每一者。用户由此可以观看第一图像数据和第二图像数据两者进行与注释10有关的输入。

另外，注释处理部122用于将注释10应用于第一图像数据和第二图像数据中的每一者的方法没有特别限制。作为实例，注释处理部122可以基于用户的输入将注释10应用于第一图像数据或第二图像数据中的任意一个，并且使用SAL(着色对准(Stain Alignment))将注释10应用于另一个。例如，在注释处理部122基于用户的输入将注释10应用于第二图像数据的情况下，注释处理部122还可以基于注释10被应用的点的位置信息通过执行SAL的处理将注释10应用于第一图像数据。关于此，在第一图像数据和第二图像数据是通过对连续切片进行成像而产生的多条图像数据、通过对同一个切片进行成像并且在深度方向上焦点位置彼此不同而产生的多条图像数据等(换言之，在具有不同形式的对象被成像为多条图像数据的情况下)的情况下，在SAL的处理中，针对多条图像数据多次重复部分对准。另外，在第一图像数据和第二图像数据是通过对同一个切片进行成像而产生并且在深度方向上具有相等焦距的多条图像数据的情况下(换言之，在具有相同形式的对象被成像为多条图像数据的情况下)，通过使这些多条图像数据的位置坐标彼此匹配，将注释10应用于第一图像数据和第二图像数据中的相同位置。

此外，在以下部分中描述的输入部130包括笔-平板的情况下，注释处理部122确定用户使笔触碰平板的时刻，或者在输入部130包括鼠标的情况下，，注释处理部122确定用户开始使用鼠标拖动的时刻，以作为与注释10有关的输入的开始时刻，并开始注释10的产生。注释处理部122确定用户将笔从平板移开的时刻，或者用户完成拖动的时刻，以作为与注释10有关的输入的结束时间，并结束注释10的产生。在从用户将笔从平板移开的时刻或用户完成拖动的预订时段内，注释处理部122可以确定与注释10有关的输入仍然继续。在这种情况下，注释处理部122可以产生注释10以连接由用户引起的笔离开平板的位置与由用户引起的笔再次触碰平板的位置彼此连接，或者将由用户引起的拖动结束的位置与由用户引起的拖动再次开始的位置彼此连接。

此外，如图4和图5所描绘的，注释处理部122不仅可以应用注释10，而且可以同时附加指示由用户进行输入的输入点11(图5中的输入点11a和输入点11b)的光标12(图5中的光标12a和光标12b)。从而，用户可以容易地识别输入点11，并且因此可以平滑地进行与注释10有关的输入。此外，光标12理想地是诸如小箭头或小铅笔之类的图标，其指示由用户进行输入的位置或坐标(诸如，例如60px或更小的图标，理想地是32px或更小的图标)，或者是诸如圆形图标之类的小遮挡(隐藏图像)的图标，然而光标12不限于此。然后将注释与位置/坐标相关联，使得此后用户可以轻松查看注释。

关于上述，注释处理部122在注释10上设置作为多个点的控制点13(可以各自被称为“CP 13”)，并使用控制点13执行注释10的产生和校正。将在下面的部分中单独描述由注释处理部122执行的处理的细节。

(图像分析部123)

图像分析部123被配置为分析病理图像数据中包括的图像数据。更具体地，图像分析部123通过分析第一图像数据或第二图像数据(或者病理图像数据中包括的除第一图像数据和第二图像数据以外的多条图像数据)来实现各种功能。

由图像分析部123实现的功能的内容没有特别限制。例如，通过分析图像数据，图像分析部123可以实现对注释10中的区域以及存在于注释10内部或外部的观察目标对象的识别、计数存在于注释10内部或外部的观察目标对象的数量、评估注释10与观察目标对象之间的间隙的大小、分割(基于观察目标对象的区域划分)等。另外，图像分析部123和注释处理部122可以彼此适当协作地执行处理。例如，在图像分析部123评估注释10与观察目标对象之间的间隙之后，注释处理部122可以在必要时(在诸如间隙比预定值更大的情况下等)对注释10执行校正。

(输入部130)

输入部130被配置为接收用户的输入。如图2所描绘的，输入部130包括第一输入部131和第二输入部132。此外，除了下文描述的第一输入部131和第二输入部132之外，输入部130还可以包括各种类型的输入机构。例如，输入部130可以包括声音输入机构等。

(第一输入部131)

第一输入部131被配置为接收用户与注释10有关的输入。关于此，将参考图8描述第一输入部131的具体实例。如图8所描绘的，可以通过笔131a等的触碰来向第一输入部131中进行输入，并且第一输入部131可以是包括能够显示第一图像数据等的触摸面板131b的设备(诸如，例如笔-平板等)。与通过鼠标131等进行的输入相比，通过笔131a等(特别是通过徒手输入)进行的输入使得能够进行更加直观的输入，并且可以减轻身体负荷。另外，第一输入部131的类型和形状不限于图8所描绘的那些。例如，第一输入部131可以包括键盘、操纵杆等。

(第二输入部132)

第二输入部132被配置为接收用户的与第一图像数据或第二图像数据的显示有关的输入。关于此，将参考图8描述第二输入部132的具体实例。如图8所描绘的，第二输入部132可以是包括按钮132a、操纵杆132b等的设备(诸如，例如控制器)。另外，类似于第一输入部131，第二输入部132的类型和形状不限于图8所描绘的那些。

用户可以通过操作按钮132a和操纵杆132b来选择、切换医疗系统100的模式。例如，用户可以通过按下按钮132a或使操纵杆132b沿预定方向倾斜，在始终显示第二图像数据的“显示模式”与不显示第二图像数据的“非显示模式”之间切换(此外，假设这些模式可以在它们之间切换，而不管当前是否产生注释10，并且切换肯定不限于此)。从而，用户可以更容易地进行与注释10有关的输入。更具体地，用户可以使第二图像数据在必要的时刻被显示，而例如无需进行将整个显示切换到与观察目标对象有关的具有更高分辨率或具有更详细的视觉信息的图像数据的任何操作。

上述的第一输入部131和第二输入部132中的任意一个接收用户右手的输入，而另一个接收用户左手的输入。该输入方法类似于当医生应用注释10时由医生通常进行的输入方法，并且诸如医生之类的用户可以更直观且更有效地进行输入。图9和图10描绘了当医生各自应用注释10时由医生通常进行的输入的一个方面。例如，如图9所描绘的，医生各自通常使用专用笔(或鼠标)等进行徒手输入等，作为与使用一只手(图9中的右手)的注释10有关的输入，旋转旋钮(刻度盘)作为与使用另一只手(图9中的左手)的图像数据的显示有关的输入(诸如，例如改变显示范围(改变向上、向下、向右或向左方向)、改变分辨率(放大或缩小)或聚焦)。此外，为了进行与图像数据的显示有关的输入，例如，如图10所描绘的，医生通常各自使用一只手(图10的左手)来移动载玻片(改变显示范围)等。在本实施例中，如通常由医生进行的那样，与注释10有关的输入以及与第一图像数据或第二图像数据的显示有关的输入均由单独的手和诸如医生之类的用户来进行，从而可以更直观且更有效地进行输入。

另外，第一输入部131和第二输入部132不限于以上图8的实例中的那些。例如，如图11所描绘的，除了第一输入部131和第二输入部132之外，还可以单独包括显示器133。在这种情况下，第一图像数据等显示在显示器133上，并且用户可以在观看显示时使用第一输入部131(诸如，例如不执行显示的笔131a和触摸面板131b)和第二输入部132(诸如，例如控制器)来进行输入。显示设备与输入设备分开设置，并且用户由此可以选择期望的显示设备(诸如，例如能够以期望的尺寸和期望的色调进行显示的显示设备等)，可以使用工作环境中包括的现有显示设备(诸如，例如布置在会议室中的显示器等)等。此外，例如，用户不需要靠在某物上将手臂抬起而朝触摸面板的方向(这是通过一个设备实现显示设备和输入设备的功能的实例)进行绘制注释10的工作，不需要倾斜其头部即可观看平放在桌子上的触摸面板等(即，减轻了用户的疲劳度)。应用注释10的工作通常花费相当长的时间，因此可以说，将显示设备和输入设备彼此分开放置是特别有用的。此外，例如，如图12所描绘的，未适当地设置第二输入部132，并且可以仅设置第一输入部131(诸如，例如笔131a以及可用于输入并能够显示触摸面板131b)。从而，用户可以容易地与用户一起取出要在工作中使用的设备(即第一输入部131)，并且因此可以在各个地方进行工作。

此外，在本实施例中，因为假设与注释10有关的输入是徒手进行的，所以更理想的是由用户的优势手来操作接收与注释10有关的输入的第一输入部131(操作肯定不限于此)。此外，可以使用除徒手之外的可选方法(诸如，例如视线输入)来进行与注释10有关的输入。此外，与由第一输入部131和第二输入部132实现的处理的分配有关的设置(诸如，例如放大、缩小、视野的移动、或模式的切换)可以是能够由用户改变。例如，与由第二输入部132中包括的按钮132a和操纵杆132b实现的处理的分配有关的设置可以由用户改变。因此，用户可以根据用户的特性(诸如，例如优势手、习惯或身体缺陷)以期望的形式进行输入。

(显示部140)

显示部140被配置为基于显示控制部121的控制在其上显示第一图像数据和第二图像数据。在本实施例中，显示部140可以是由第一输入部131的触摸面板131b实现，而显示部140不限于此。

(存储部150)

存储部150被配置为在其中存储各种类型的信息。例如，存储部150在其中存储由图像获取部110获取的病理图像数据、与由注释处理部122应用的注释10有关的信息等。此外，存储部150在其中存储在医疗系统100中的处理中使用的各种程序、各种参数等。另外，存储在存储部150中的信息不限于上述。

如上所述，已经描述了医疗系统100的构造实例。另外，参考图2描述的以上构造绝对是实例，并且医疗系统100的构造不限于该实例。例如，医疗系统100可以包括除了图2中描绘的部件之外的部件。此外，图2中描绘的构造可以由任何设备构造来实现。例如，图像获取部110可以由医学显微镜来实现，第一输入部131和显示部140可以由笔-平板来实现，第二输入部132可以由控制器来实现，并且控制部120和存储部150可以由服务器等实现，或者整体构造可以由一个设备实现。此外，医疗系统100的构造可以根据其规格和操作来灵活地改变。

此外，上述注释处理部122或图像分析部123的功能可以通过人工智能(AI)尤其是通过机器学习等来实现。例如，可以基于诸如神经网络或回归模型的机器学习方法或统计方法来实现注释处理部122或图像分析部123的功能。更具体地，在机器学习方法的情况下，将图像数据和注释10彼此绑定的学习数据被输入到使用神经网络或回归模型的预定计算模型中，从而执行学习，并且注释处理部122的功能是通过处理电路来实现，该处理电路具有处理模型，该处理模型包括在其中实施的产生的参数。

(2.2.与注释10有关的处理的细节)

以上已经描述了医疗系统100的构造的实例。接下来将描述与注释10有关的处理的细节。

(用于注释10的产生处理)

将参考图13和图14描述由注释处理部122执行的用于注释10的产生处理。图13描绘了通过注释处理部122产生的注释10的实例。

如图13所描绘的，注释处理部122设置作为注释10上的多个点的控制点13，并使用控制点13产生注释10。更具体地，注释处理部122在注释10上设置多个控制点13，并使用预定方法对控制点13进行插值。

关于上述，将参考图14描述与注释10的产生有关的处理流程的实例。在图14中的步骤S1000，用户使用第一输入部131开始徒手输入。在步骤S1004，注释处理部122将用户执行输入的图像数据中的位置累积为控制点13的候选点。

在步骤S1008，注释处理部122确定用户的输入是否已经结束。在注释处理部122确定用户的输入尚未结束的情况下(步骤S1008：否)，注释处理部122继续步骤S1004的处理(用于控制点13的候选点的累积处理)。在注释处理部122确定用户的输入已经结束的情况下(步骤S1008：是)，在步骤S1012，注释处理部122将控制点13设置在用户输入开始的图像数据中的位置处(起点)。

在步骤S1016，注释处理部122此后基于被设置为起点的控制点13以预定距离间隔在候选点处设置控制点13。在步骤S1020，注释处理部122确定控制点13是否被设置为用户输入结束的图像数据中的位置(结束点)。在注释处理部122确定未将控制点13设置为结束点的情况下(步骤S1020：否)，注释处理部122继续步骤S1016的处理(控制点13的设置处理)。在注释处理部122确定控制点13被设置为结束点的情况下(步骤S1020：是)，在步骤S1024，注释处理部122使用预定方法对控制点13进行插值，从而使一系列注释10产生处理步骤结束。

另外，在图14中的处理流程的实例中，在用户输入结束之后设置并插值控制点13，而即使在用户进行输入的处理中也可以按顺序地设置和插值控制点13。

关于上述，假设在步骤S1024执行的用于插值的方法是样条插值。更具体地，注释处理部122执行样条插值，使得控制点13的间隔由五条线(连接四个插值点的五条线)构成。如上所假设的，与注释10有关的输入是徒手进行的，而注释处理部122使用样条插值来产生注释10，从而可以防止注释10因徒手输入而变形(换言之，注释10的形状可以设置得更平滑)。此外，样条插值中使用的插值点的数目没有特别限制，并且可以根据诸如注释10的所需平滑度和计算的允许量之类的条件灵活地设计。此外，可以使用除了样条插值之外的任何插值方法(诸如，例如线性插值)。

此外，根据用户观看以应用更准确注释10的图像数据的分辨率，即第二分辨率(或放大率)，确定在步骤S1016的处理中使用的“预定距离间隔”(换言之，各个控制点13之间的间隔)。更具体地，“预定距离间隔”随着第二分辨率变高而变小，并且随着第二分辨率变低而变大。因此，在用户将第二分辨率设置为较高以使用户将注释10应用于较小的观察目标对象的情况下，控制点13的设置更加密集，相反，在用户将第二分辨率设置为较低以使用户将注释10应用于较大的观察目标对象的情况下，控制点13的设置更加粗略。换言之，由此根据用户期望应用的注释10的尺寸来设置最佳控制点13，因此使得能够产生更准确的注释10。另外，“预定距离间隔”的最小值(换言之，每个控制点13之间的间隔)(换言之，第二分辨率(或放大率)为最高值的情况)理想地相等或小于细胞的尺寸(诸如，例如大约10[μm])(并且当然不限于此)。

此外，病理图像数据的一个特征是该数据具有大量像素，而当由于像素数目较大而将相对较大的注释10应用于病理图像数据时，控制点13的数目增加，并且由于因此而增加的计算量可能降低绘制性能。关于此，注释处理部122可以如上所述根据第二分辨率(或放大率)确定控制点13之间的间隔来优化控制点13的数目，并且因此可以抑制计算量的任何增加，并可以提高绘制性能。另外，注释处理部122以高帧率绘制注释10，使得即使以更高的分辨率也可以平滑地执行图像数据的显示。

(用于注释的校正处理10)

接下来，将参考图15至图23描述由注释处理部122执行的用于注释10的校正处理。例如，在通过对使用第一图像数据在何处应用注释10的机器学习来应用注释10的情况下，注释处理部122可以进一步使用第二图像数据来校正注释10(肯定不必使用第二图像数据来执行校正)。注释处理部122基于用户的输入使用控制点13来校正注释10。

例如，在产生如图15所描绘的注释10的情况下，用户可以通过使用预定方法移动注释10中包括的控制点13的位置来校正注释10。更具体地，用户可以通过将其中包括的控制点13a拖动到图16的B中所描绘的注释10来校正图16的A中所描绘的注释10。用户由此可以直观地执行特别精细的校正。

图17是描绘与校正(通过控制点13的移动执行的校正)有关的处理流程的实例的图。在步骤S1100，用户使用预定方法(诸如，例如拖动)来校正注释10中包括的控制点13的位置。在步骤S1104，注释处理部122识别校正之后的控制点13的位置(图像数据中的位置)。在步骤S1108，注释处理部122使用预定方法(诸如，例如样条插值)对校正位置处的控制点13、之前的控制点13和之后的控制点13之间的间隔进行插值，从而使系列注释10校正处理步骤结束。

此外，注释处理部122可以使用稍后应用的第二注释14中包括的第二控制点15来校正首先应用的第一注释10。此时，注释处理部122基于第一注释10中包括的第一控制点13与第二注释14中包括的第二控制点15之间的相对位置关系来确定第一注释10的校正范围。

例如，在已经产生如图18的A所描绘的第一注释10的情况下，用户新绘制第二注释14进行校正(如图18的A所描绘的，第二注释14是未封闭的自由线)。此后，注释处理部122使用参考图14描述的方法将第二控制点15设置在第二注释14上。如图18的B所描绘的，注释处理部122此后将第二注释14中包括的第二控制点15的两端与第一注释10中包括的第一控制点13中的任意一个连接。更具体地，注释处理部122将第二注释14中包括的第二控制点15的两端连接至与第二控制点15中的每一者的偏移距离最小的第一控制点13。此后，注释处理部122删除与第二注释14的部分相对应的第一注释10，从而校正第一注释10。另外，在图18的B的实例中，因为用户以比产生第一注释10时的分辨率更高的分辨率绘制第二注释14，第二控制点15之间的间隔各自分别小于第一控制点13之间的间隔的每一者。

用户可以通过使用参考图18所描述的方法通过直观输入(即更精确的注释10的重新绘制)来校正注释10。此外，在参考图15至图17所描述的校正(通过控制点13的移动进行校正)中，要求用户在校正范围内移动所有控制点13的位置。此外，在仅移动一个控制点13的位置等的情况下，用户可能无法通过突然旋转注释10来执行用户想要的任何校正。另一方面，参考图18描述的方法可以解决该问题，并且可以更适当地实现对注释10的校正。

图19是描绘与校正(使用第二注释14的校正)有关的处理流程的实例的图。在步骤S1200，注释处理部122基于用户的输入来产生第二注释14。在步骤S1204，注释处理部122搜索第一注释10中包括的与作为第二注释14的起点的第二控制点15最接近的第一控制点13。在步骤S1208，注释处理部122搜索第一注释10中包括的与作为第二注释14的结束点的第二控制点15最接近的第一控制点13。

在步骤S1212，注释处理部122将搜索到的第一注释10中包括的第一控制点13连接到第二注释14的作为起点的第二控制点15以及作为结束点的第二控制点15中的每一者。此时，注释处理部122删除与第二注释14的部分相对应的第一注释10。在步骤S1216，注释处理部122使用预定方法(诸如，例如样条插值)对彼此连接的第一控制点13和第二控制点15进行插值，从而使注释10的一系列校正处理步骤结束。

另外，在参考图18和图19描述的方法中，基于作为第二注释14的起点的第二控制点15与至其最接近的第一控制点13之间的偏移距离，注释处理部122确定注释处理部122是执行对注释10的校正还是执行注释10的新产生。更具体地，在作为第二注释14的起点的第二控制点15与至其最接近的第一控制点13之间的偏移距离小于预定值的情况下，注释处理部122执行对注释10的校正，相反，在偏移距离等于或大于预定值的情况下，注释处理部122执行注释10的新产生。因此，用户不需要指定与校正有关的输入或与新产生有关的输入(用户可以确定执行这些指定)。另外，如上所述，控制点13之间的间隔根据第二分辨率(或放大率)来确定，而在确定校正或新产生中使用的上述“预定值”也可以根据第二分辨率来确定，并且“预定值”可以是例如接近控制点13之间的间隔的值。从而，根据第二分辨率(或放大率)优化“预定值”，并且用户可以更容易地进行与注释10有关的输入。如上所述，控制点13之间的间隔的最小值(换言之，在第二分辨率(或放大率)是最高值的情况下)理想地等于或小于细胞的尺寸(诸如，例如大约10[μm])，而这也适用于“预定值”的最小值(最小值当然不限于此)。此外，注释处理部122可以使用诸如以下方法来通知用户关于注释处理部122是对注释10进行了校正还是重新产生了注释10，该方法诸如是：改变颜色、线型(诸如，例如虚线或实线)、线宽等；改变光标12的类型；诸如此类。

此外，在参考图18和图19描述的方法中，注释处理部122可以不将第一控制点13和第二控制点15彼此连接，而是可以将样条插值的插值点和第二控制点15彼此连接。更具体地，在采用样条插值作为插值方法的情况下，注释处理部122可以在处理中将样条插值的插值点用作控制点13。将样条插值的插值点作为控制点13进行处理。由此，注释处理部122可以执行更细节的校正。此外，在图19中的处理流程的实例中，在基于用户的输入绘制第二注释14之后，对第一控制点13和第二控制点15执行连接和插值，同时由于即使在第二注释14的绘制处理中也按顺序地产生第二控制点15，可以按顺序地对第一控制点13和第二控制点15执行连接和插值。

此外，注释处理部122也可以基于其顶点是彼此连接的第一控制点13和第二控制点15中的任意一个的角，将第一控制点13改变为连接对象。

例如，假设产生如图20的A中所描绘的第一注释10，然后执行使用第二注释14的校正，从而第一控制点13b和第二控制点15a彼此连接。在这种情况下，当仅简单地将第一控制点13b和第二控制点15a彼此连接时，由于顶点为第一控制点13b的角度θ和顶点为第二控制点15a的角度θ'各自小于90°，产生突变，因此可能无法执行用户期望的任何校正。

在这种情况下，注释处理部122计算角度θ和角度θ'是否均小于预定值(例如90°)，并且当注释处理部122确定角度θ和角度θ'均小于预定值时，例如，如图20的B所描绘的，注释处理部122将作为连接对象的第一控制点13改变为之前一个并且与第一控制点13b相邻的第一控制点13a。另外，尽管未在图20的B中描绘出，但是注释处理部122还针对第二注释14的另一端执行类似的处理。注释处理部122由此可以防止由于校正而产生任何突变，并且因此可以根据用户的意图执行校正。

另外，对于角度θ和角度θ’的计算方法没有特别限制。例如，注释处理部122可以管理在控制点13之间延伸的矢量，并且可以通过计算矢量的内积等来计算角度θ和角度θ’。

此外，上文以预定值为90°的情况作为实例进行了描述，但对预定值没有特别限定，并且预定值可以根据注释10要求的精度、观察目标对象10等而灵活地变化。此外，上文以角度θ和角度θ’都将被确定的情况作为实例进行了描述，同时角度θ和角度θ’中的任意一个可以作为确定的目标。此外，以上作为实例描述了将要连接的第一控制点13改变为之前一个且与第一控制点13相邻的第一控制点13的情况，同时可以将要连接的第一控制点13改变为在第一控制点13之前两个或更多个的第一控制点13。

图21是描绘与要连接的第一控制点13的改变有关的处理流程的实例的图。假设在执行图21中的处理之前，在图19中的处理中执行第一注释10和第二注释14彼此的连接。

在步骤S1300，注释处理部122计算第二注释14的起点处的角度θ和角度θ’是否均小于预定值。在注释处理部122确定第二注释14的起点处的角度θ和角度θ’均小于预定值的情况下(步骤S1300：是)，在步骤S1304，注释处理部122将第一注释10中包括的与第二控制点15连接的第一控制点13改变为第二注释14的起点。在注释处理部122确定第二注释14的起点处的角度θ和角度θ均等于或大于预定值的情况下(步骤S1300：否)，注释处理部122不改变要连接的第一控制点13。

在步骤S1308，注释处理部122计算第二注释14的结束点处的角度θ和角度θ’是否均小于预定值。在注释处理部122确定第二注释14的结束处的角度θ和角度θ’均小于预定值的情况下(步骤S1308：是)，在步骤S1312，注释处理部122将第一注释10中包括的与第二控制点15连接的第一控制点13改变为第二注释14的结束点，从而使一系列处理步骤结束。在注释处理部122确定第二注释14的结束点处的角度θ和角度θ’均等于或大于预定值的情况下(步骤S1308：否)，注释处理部122在不改变要连接的第一控制点13的情况下使一系列处理步骤结束。

关于上述，假设在已经产生了如图22所描绘的第一注释10的情况下绘制了从点x开始到达点y的第二注释14。在这种情况下，注释处理部122需要确定第一注释10的将点a与点b与点c连接的范围以及将点a与点d与点c连接的范围中的哪一个是校正范围。

在这种情况下，如上所述，注释处理部122还基于包括在第一注释10中的第一控制点13与包括在第二注释14中的第二控制点15之间的相对位置关系来确定第一注释10的校正范围。例如，注释处理部122搜索与第二注释14中包括的第二控制点15中的每一者最接近的第一控制点13，并检查最接近的第一控制点13是否属于将点a与点b与点c连接的范围以及将点a与点d与点c连接的范围中的哪一者。此后，注释处理部122将与第二控制点15中的每一者最接近的更多个第一控制点13所属的范围确定为校正范围。

在图22的实例中，最接近第二控制点15的更多个第一控制点13所属的范围是将点a与点b与点c连接的范围，因此，注释处理部122确定将点a与点b与点c连接的范围是校正范围，并通过将点a与点x与点y与点c与点d与点a连接，来校正第一注释10。注释处理部122从而可以适当地实现用户期望的校正。另外，图22中的第二控制点15a和第二控制点15b从上述处理的目标中排除。

图23是描绘与确定校正范围有关的处理流程的实例的图。在步骤S1400，注释处理部122针对将点a与点b与点c连接的范围和将点a与点d与点c连接的范围的每一者清除计数。在步骤S1404，注释处理部122搜索第一控制点13，该第一控制点13最接近第二注释14中包括的第二控制点15中的每一者。

在最接近的第一控制点13属于将点a与点b与点c连接的范围内的情况下(步骤S1408：是)，在步骤S1412，注释处理部122将点a与点b与点c连接的范围的计数相加。另一方面，最接近的第一控制点13属于将点a与点d与点c连接的范围(步骤S1408：否)，在步骤S1416，注释处理部122将点a与点d与点c连接的范围的计数相加。

在将点a与点b与点c连接的范围的数目超过了将点a与点d与点c连接的范围的数目时(步骤S1420：是)在步骤S1424，注释处理部122确定将点a与点b与点c连接的范围为校正范围，通过将点a与点x与点y与点c与点d与点a连接来校正第一注释10，并使一系列处理步骤结束。另一方面，在将点a与点b与点c连接的范围的数目等于或小于将点a与点d与点c连接的范围的数目时(步骤S1420：否)，在步骤S1428，注释处理部122确定将点a与点d与点c连接的范围是校正范围，通过将点a与点x与点y与点c与点b与点a连接来校正第一注释10，并使一系列处理步骤结束。

另外，当在步骤S1408至步骤S1416中执行计数时，注释处理部122可以根据第二控制点15与最接近的第一控制点13之间的偏移距离来执行加权。注释处理部122从而可以提高第一注释10的校正精度。

(2.3.硬件构造)

上面已经描述了与注释10有关的处理的细节。接下来将参考图24描述实现医疗系统100的各种类型的功能的信息处理设备900的硬件构造的实例。

图24是描绘信息处理设备900的硬件构造的图。信息处理设备900包括CPU(中央处理单元)901、ROM(只读存储器)902、RAM(随机存取存储器)903、主机总线904、桥接器905、外部总线906、接口907、输入设备908、输出设备909、存储设备(HDD)910、驱动器911和通信设备912。

CPU 901用作计算处理设备和控制设备，并且根据各种程序来控制信息处理设备900的整体操作。此外，CPU 901可以是微处理器。ROM 902在其中存储由CPU 901使用的程序、计算参数等。RAM 903在其中临时存储在CPU 901的执行中使用的程序、在其执行中适当改变的参数等。这些部件通过包括CPU总线等的主机总线904彼此连接。医疗系统100的控制部120或图像获取部110的部分功能可以由CPU 901、ROM 902和RAM 903相互协作来实现。

主机总线904通过桥接器905连接到诸如PCI(外设部件互连/接口)之类的外部总线906。另外，主机总线904、桥接器905和外部总线906不是必须都单独配置，并且这些功能可以在一条总线中实现。

输入装置908包括：用于用户输入信息的输入装置，诸如鼠标、键盘、触摸面板、按钮、麦克风、开关、操纵杆或像机；输入控制电路，其基于用户的输入来产生输入信号，并将该输入信号输出至CPU 901等。信息处理设备900的用户可以通过操作输入设备908来将各种类型的信息输入到设备中，可以指示对设备的处理操作等。通过输入设备908实现医疗系统100的输入部130或图像获取部110的部分功能。

输出设备909包括诸如例如CRT(阴极射线管)显示设备、液晶显示(LCD)设备、OLED(有机发光二极管)设备或灯之类的显示设备。此外，输出设备909包括声音输出设备，诸如扬声器、耳机等。显示设备在其上使用文本或图像显示各种类型的信息，诸如图像数据。另一方面，声音输出设备将声音数据等转换为声音并输出声音。医疗系统100的显示部140的功能由输出设备909实现。

存储设备910是用于存储数据的设备。存储设备910可以包括存储介质、在存储介质上记录数据的记录设备、从存储介质读取数据的读取设备、以及删除记录在存储介质上的数据的删除设备。存储设备910包括例如HDD(硬盘驱动器)。存储设备910驱动硬盘，并且在其中存储将由CPU901执行的程序和各种类型的数据。医疗系统100的存储部150的功能由存储设备910实现。

驱动器911是用于存储介质的读取器/写入器，并且被结合在信息处理设备900中或从外部附接到信息处理设备900。驱动器911读取记录在与其附接的可移动存储介质913(诸如磁盘、光盘、磁盘、磁光盘或半导体存储器)上的信息，并将信息输出到RAM 903。此外，驱动器911还可以将信息写入可移动存储介质913。

通信设备912例如是通信接口，其包括将信息处理设备900连接到通信网络914的通信设备等。

(2.4.系统构造的变型)

上面已经描述了实现医疗系统100的各种类型的功能的信息处理设备900的硬件构造的实例。接下来，将描述根据本实施例的医疗系统100的构造的变型。

根据本实施方式的医疗系统100可以通过各种结构来实现。例如，根据本实施例的医疗系统100或医疗设备可以包括产生病理图像数据的成像设备(例如，包括扫描仪或成像装置)和执行针对病理图像数据的处理的信息处理设备。在这种情况下，图2中所描绘的图像获取部110可以由成像设备实现，而其他构造可以由信息处理设备实现。

此外，根据本实施例的医疗系统100(或医疗设备)可以包括产生病理图像数据的成像设备(包括例如扫描仪或成像装置)以及在病理图像数据的处理中使用的软件。换言之，在其中存储软件、执行软件等的任何物理构造(诸如，例如存储器或处理器)可以不包括在医疗系统100中。在这种情况下，图2中所描绘的获取部110可以通过成像设备来实现，并且其他构造可以通过执行软件的信息处理设备来实现。此后，软件通过网络(例如，从网站或云服务器)提供给信息处理设备、通过任何可选的存储介质(诸如，例如磁盘)提供给信息处理设备等。此外，执行软件的信息处理设备可以是各种类型的服务器(诸如，例如云服务器)、通用计算机、PC或平板PC中的任何一种。另外，将软件提供给信息处理设备的方法以及信息处理设备的类型不限于上述。此外，根据本实施例的医疗系统100的构造不必限于上述，并且应当注意，所谓的本领域技术人员基于使用时的技术水平能够构想的任何构造可以被应用。

<3.结论>

如上所述，根据本公开的医学系统100：对于通过对一个观察目标对象进行成像而产生的并且包括第一图像数据和第二图像数据的病理图像数据，第二图像数据与观察目标对象有关，但是与第一图像数据不同，可以使显示部140在其上显示第一图像数据和第二图像数据；并且可以基于用户的输入将注释10应用于第一图像数据和第二图像数据中的每一者。用户由此可以在观看第一图像数据和第二图像数据两者的同时执行与注释10有关的输入，其中第二图像数据与观察目标对象有关，但是与第一图像数据不同，因此本公开可以更适当地将注释10应用于病理图像数据。

此外，根据本公开的医疗系统100将控制点13设置为注释10上的多个点，从而可以通过使用控制点13更适当地执行注释10的产生和校正。

根据本公开的医学系统100使用彼此不同的方法来实现与注释10有关的输入以及与第一图像数据或第二图像数据的显示有关的输入。更具体地，在根据本公开的医疗系统100中，与注释10有关的输入由用户的一只手进行，并且与第一图像数据或第二图像数据的显示有关的输入由用户的另一只手来进行。该输入方法类似于当医生应用注释时医生通常进行的输入方法，因此根据本公开的医疗系统100可以更直观且更有效地实现诸如医生之类的用户的工作。此外，根据本公开的医疗系统100可以具有对用户而言更容易地进行输入的构造，尤其是对于徒手注释(诸如，例如能够使用笔131a输入的笔-平板)。

根据本公开的医疗系统100可以通过上述方法应用高质量注释10，因此医疗系统100的使用可以产生新的指南，以解释迄今为止尚未阐明的使用病理图像数据的诊断和药物的效果。此外，期望通过机器学习来提高注释10的应用精度，因为事实上通过使用具有对其应用的准确注释10的学习数据来进行学习。此外，因为可以在较短的时间段内进行注释10的应用，所以例如可以减少病理学家应用注释10的工作所花费的时间段。因此，可以说，根据本公开的医疗系统100在病理学家不足的目前情况下特别有用。

上面已经参考附图详细描述了本公开的优选实施例，而本公开的技术范围不限于以上实例。对于本公开领域的技术人员显而易见的是，能够在所附权利要求书所描述的技术思想的范围内构思各种修改实例及其各种校正实例，并且应当理解，这些修改实例和校正实例自然也属于本公开的技术范围。

此外，本文描述的效果是绝对描述性或示例性的，而不是限制性的。简而言之，根据本公开的技术可以实现根据本文的描述与上述效果一起或代替上述效果的对于本领域技术人员显而易见的其他效果。

另外，以下构造也属于本公开的技术范围。

(1)

一种医疗系统，包括：

用于通过对一个观察目标对象进行成像而产生的病理图像数据，该病理图像数据包括具有多种不同分辨率的多条图像数据，

显示控制部，其使显示部在其上显示具有多种不同分辨率的第一分辨率的第一图像数据以及具有第二分辨率的第二图像数据，该第二分辨率等于第一分辨率、或者等于或高于第一分辨率；以及

注释处理部，其基于用户的输入将注释应用于第一图像数据和第二图像数据中的每一者。

(2)

上述(1)所述的医疗系统，其中

显示控制部将第二图像数据叠加在第一图像数据上以进行显示。

(3)

上述(2)所述的医疗系统，其中

显示控制部将由用户进行输入的第一图像数据中的位置和由用户进行输入的第二图像数据中的位置彼此叠加以进行显示。

(4)

上述(1)至(3)中任一项所述的医疗系统，其中

由用户进行输入的第一图像数据中的位置与由用户进行输入的第二图像数据中的位置相一致。

(5)

上述(1)至(4)中任一项所述的医疗系统，其中

第一图像数据和第二图像数据包括各自聚焦在一个观察目标对象上的彼此不同的位置的多条图像数据。

(6)

上述(1)至(5)中任一项所述的医疗系统，其中

第一图像数据和第二图像数据包括具有被染色剂染色并且彼此不同的目标的多条图像数据。

(7)

上述(1)至(6)中任一项所述的医疗系统，其中

第一图像数据或第二图像数据中的至少任意一个包括显示分析结果的图像数据。

(8)

上述(1)至(7)中任一项所述的医疗系统，其中

第二图像数据包括显示内容彼此不同的两条或更多条图像数据。

(9)

上述(1)至(8)中任一项所述的医疗系统，其中

注释处理部基于用户的输入将注释应用于第一图像数据或第二图像数据中的任意一个，使用SAL(着色对准)将注释应用于另一个。

(10)

上述(1)至(9)中任一项所述的医疗系统，其中

用户的输入包括徒手输入，以及

注释处理部附加通过徒手输入绘制的注释。

(11)

上述(10)所述的医疗系统，其中

附加注释以指示包括在第一图像数据和第二图像数据的每一者中的封闭区域。

(12)

上述(11)所述的医疗系统，其中

注释处理部设置作为注释上的多个点的控制点，并使用预定方法插值控制点。

(13)

上述(12)所述的医疗系统，其中

控制点之间的间隔各自根据第二分辨率来确定。

(14)

上述(12)或(13)所述的医疗系统，其中

注释处理部基于用户的输入使用控制点来执行注释的校正。

(15)

上述(14)所述的医疗系统，其中

注释处理部使用随后附接的第二注释中包括的控制点对首先附接的第一注释执行校正。

(16)

上述(15)所述的医疗系统，其中

注释处理部基于第一注释中包括的第一控制点与第二注释中包括的第二控制点之间的相对位置关系来确定第一注释的校正范围。

(17)

上述(16)所述的医疗系统，其中

第二注释包括未封闭的自由线，以及

注释处理部通过将第二注释中包括的第二控制点的两端连接到第一控制点中的任意一个来执行校正。

(18)

上述(17)所述的医疗系统，其中

注释处理部通过将第二注释中包括的第二控制点的两端连接到第一控制点来执行校正，该第一控制点到每个第二控制点的偏移距离最短。

(19)

上述(18)所述的医疗系统，其中

注释处理部基于具有顶点的角度将第一控制点改变为连接目标，该顶点是彼此连接的第一控制点和第二控制点中的任意一个。

(20)

上述(1)至(19)中任一项所述的医疗系统，进一步包括：

第一输入部，其接收与注释有关的输入；以及

第二输入部，其接收与第一图像数据或第二图像数据的显示有关的输入，第二输入部与第一输入部不同。

(21)

上述(20)所述的医疗系统，其中

第一输入部或第二输入部中的任意一个接收用户的右手的输入，以及

另一个接收用户的左手的输入。

(22)

一种医疗器械，包括：

用于通过对一个观察目标对象进行成像而产生的病理图像数据，该病理图像数据包括具有多种不同分辨率的多条图像数据，

显示控制部，其使显示部在其上显示具有多种不同分辨率的第一分辨率的第一图像数据和具有第二分辨率的第二图像数据，该第二分辨率等于、或者等于或高于第一分辨率；以及

注释处理部，其基于用户的输入将注释附加到第一图像数据和第二图像数据中的每一者。

(23)

上述(22)所述的医疗设备，进一步包括：

显示部，其基于显示控制部的控制在其上显示第一图像数据和第二图像数据。

(24)

一种由计算机执行的医疗方法，该医疗方法包括以下步骤：

用于通过对一个观察目标对象进行成像而产生的病理图像数据，该病理图像数据包括具有多种不同分辨率的多条图像数据，

使显示部在其上显示具有多种不同分辨率的第一分辨率的第一图像数据和具有第二分辨率的第二图像数据，该第二分辨率等于、或者等于或高于第一分辨率；以及

基于用户的输入将注释附加到第一图像数据和第二图像数据中的每一者。

(25)

一种医疗系统，包括：

成像设备，其对一个观察目标对象进行成像而产生病理图像数据，该病理图像数据包括具有多种不同分辨率的多条图像数据；以及

用于处理病理图像数据的软件，其中

该软件由信息处理设备执行，从而实现

使显示部在其上显示具有多种不同分辨率的第一分辨率的第一图像数据和具有第二分辨率的第二图像数据，该第二分辨率等于、或者等于或高于第一分辨率；以及

基于用户的输入将注释附加到第一图像数据和第二图像数据中的每一者。

(26)

一种医疗系统，包括：

控制部，被配置为接收通过对一个观察目标对象进行成像而产生的病理图像数据，该病理图像数据包括第一图像数据和第二图像数据，第二图像数据与观察目标对象有关，但是与第一图像数据不同，

显示控制部，其使显示部在其上显示第一图像数据和第二图像数据；以及

注释处理部，其基于用户的输入将注释应用于第一图像数据和第二图像数据中的每一者。

(27)

根据(26)所述的医疗系统，其中

显示控制部将第二图像数据叠加在第一图像数据上以进行显示。

(28)

根据(27)所述的医疗系统，其中

显示控制部将由用户进行输入的第一图像数据中的位置和由用户进行输入的第二图像数据中的位置彼此叠加以进行显示。

(29)

根据(26)至(28)中任一项的医疗系统，其中第二图像数据包括比第一图像数据更详细的信息。

(30)

根据(29)所述的医疗系统，其中更详细的信息是与第一图像数据相比分辨率更高的图像。

(31)

根据(26)至(30)中任一项的医疗系统，其中

由用户进行输入的第一图像数据中的位置与由用户进行输入的第二图像数据中的位置相一致。

(32)

根据(26)至(31)中任一项所述的医疗系统，其中

第一图像数据和第二图像数据包括具有彼此不同的视觉特性的多条图像数据。

(33)

根据(32)所述的医疗系统，其中

第一图像数据和第二图像数据包括各自聚焦在一个观察目标对象上的彼此不同的位置的多条图像数据。

(34)

根据(32)所述的医疗系统，其中

第一图像数据和第二图像数据包括具有被染色剂染色并且彼此不同的目标的多条图像数据。

(35)

根据(26)至(34)中任一项所述的医疗系统，其中

第一图像数据或第二图像数据中的至少一个包括显示分析结果的图像数据。

(36)

根据(26)至(35)中任一项所述的医疗系统，其中

第二图像数据包括显示内容彼此不同的两条或更多条图像数据。

(37)

根据(26)至(36)中任一项所述的医疗系统，其中

注释处理部基于用户的输入将注释应用于第一图像数据或第二图像数据中的任意一个，使用SAL(着色对准)将注释应用于另一个。

(38)

根据(26)至(37)中任一项所述的医疗系统，其中

用户的输入包括徒手输入，以及

注释处理部应用徒手绘制的注释。

(39)

根据(38)所述的医疗系统，其中

应用注释以指示包括在第一图像数据和第二图像数据的每一者中的封闭区域。

(40)

根据(39)所述的医疗系统，其中

注释处理部设置作为注释上的多个点的控制点，并使用预定方法对控制点进行插值。

(41)

根据(40)所述的医疗系统，其中第一图像和第二图像之间的差异是第一图像数据和第二图像数据的分辨率；以及

控制点之间的间隔各自根据第二图像数据的分辨率来确定。

(42)

根据(40)所述的医疗系统，其中

注释处理部基于用户的输入使用控制点来执行注释的校正。

(43)

根据(42)所述的医疗系统，其中

注释处理部使用随后应用的第二注释中包括的控制点对首先应用的第一注释执行校正。

(44)

根据(43)所述的医疗系统，其中

注释处理部基于第一注释中包括的第一控制点与第二注释中包括的第二控制点之间的相对位置关系来确定第一注释的校正范围。

(45)

根据(44)所述的医疗系统，其中

第二注释包括未封闭的自由线，以及

注释处理部通过将第二注释中包括的第二控制点的两端连接到第一控制点中的任意一个来执行校正。

(46)

根据(45)所述的医疗系统，其中

注释处理部通过将第二注释中包括的第二控制点的两端连接到第一控制点来执行校正，该第一控制点到每个第二控制点的偏移距离最短。

(47)

根据(46)所述的医疗系统，其中

注释处理部基于具有顶点的角度将第一控制点改变为连接目标，该顶点是彼此连接的第一控制点和第二控制点中的任意一个。

(48)根据(26)至(47)中任一项所述的医疗系统，进一步包括：

第一输入部，其接收与注释有关的输入；以及

第二输入部，其接收与第一图像数据或第二图像数据的显示有关的输入，第二输入部与第一输入部不同。

(49)

根据(48)所述的医疗系统，其中

第一输入部或第二输入部中的任意一个接收用户的右手的输入，以及

另一个接收用户的左手的输入。

(50)

根据(26)所述的医疗系统，其中注释与图像中的坐标相关联。

(51)

一种医疗设备，包括：

控制部，被配置为接收通过对一个观察目标对象进行成像而产生的病理图像数据，该病理图像数据包括第一图像数据和第二图像数据，第二图像数据与观察目标对象有关，但是与第一图像数据不同，

显示控制部，其使显示部在其上显示第一图像数据和第二图像数据；以及

注释处理部，其基于用户的输入将注释应用于第一图像数据和第二图像数据中的每一者。

(52)

根据(51)所述的医疗设备，进一步包括：

显示部，其基于显示控制部的控制在其上显示第一图像数据和第二图像数据。

(53)

根据(51)至(52)中任一项所述的医疗设备，进一步包括：

图像获取部，被配置为获取病理图像数据。

(54)

一种由计算机执行的医疗方法，该医疗方法包括以下步骤：

接收通过对一个观察目标对象进行成像而产生的病理图像数据，该病理图像数据包括第一图像数据和第二图像数据，第二图像数据与观察目标对象有关，但是与第一图像数据不同，

使显示部在其上显示第一图像数据和第二图像数据；以及

基于用户的输入将注释应用于第一图像数据和第二图像数据中的每一者。

(55)

一种医疗系统，包括：

成像设备，其产生包括第一图像数据和第二图像数据的病理图像数据，第二图像数据与观察目标对象有关，但是与第一图像数据不同；以及

用于处理病理图像数据的软件，其中

该软件由信息处理设备执行，从而实现

使显示部在其上显示第一图像数据和第二图像数据，以及

基于用户的输入将注释应用于第一图像数据和第二图像数据中的每一者。

附图标记列表

100 医疗系统

110 图像获取部

120 控制部

121 显示控制部

122 注释处理部

123 图像分析部

130 输入部

131 第一输入部

132 第二输入部

140 显示部

150 存储部。

Claims (30)

1.一种医疗系统，包括：

控制部，被配置为接收通过对一个观察目标对象成像所产生的病理图像数据，所述病理图像数据包括第一图像数据和第二图像数据，所述第二图像数据与所述观察目标对象有关，但是所述第二图像数据与所述第一图像数据不同，

显示控制部，使显示部在所述显示部上显示所述第一图像数据和所述第二图像数据；以及

注释处理部，基于用户的输入将注释应用于所述第一图像数据和所述第二图像数据中的每一者。

2.根据权利要求1所述的医疗系统，其中

所述显示控制部将所述第二图像数据叠加在所述第一图像数据上以进行显示。

3.根据权利要求2所述的医疗系统，其中

所述显示控制部将由所述用户执行输入的所述第一图像数据中的位置和由所述用户执行输入的所述第二图像数据中的位置彼此叠加以进行显示。

4.根据权利要求1所述的医疗系统，其中，所述第二图像数据包括比所述第一图像数据更详细的视觉信息。

5.根据权利要求4所述的医疗系统，其中，所述更详细的视觉信息是与所述第一图像数据相比分辨率更高的图像。

6.根据权利要求1所述的医疗系统，其中

由所述用户执行输入的所述第一图像数据中的位置与由所述用户执行输入的所述第二图像数据中的位置相一致。

7.根据权利要求1所述的医疗系统，其中

所述第一图像数据和所述第二图像数据包括视觉特性彼此不同的多条图像数据。

8.根据权利要求7所述的医疗系统，其中

所述第一图像数据和所述第二图像数据包括各自聚焦在所述一个观察目标对象上的位置彼此不同的多条图像数据。

9.根据权利要求7所述的医疗系统，其中

所述第一图像数据和所述第二图像数据包括具有被染色剂染色并且彼此不同的目标的多条图像数据。

10.根据权利要求1所述的医疗系统，其中

所述第一图像数据或所述第二图像数据中的至少任意一者包括显示分析结果的图像数据。

11.根据权利要求1所述的医疗系统，其中

所述第二图像数据包括显示内容彼此不同的两条或更多条图像数据。

12.根据权利要求1所述的医疗系统，其中

所述注释处理部基于所述用户的输入将注释应用于所述第一图像数据和所述第二图像数据中的任意一者，使用SAL(着色对准)将注释应用于所述第一图像数据和所述第二图像数据中的另一者。

13.根据权利要求1所述的医疗系统，其中

所述用户的输入包括徒手输入，以及

所述注释处理部应用徒手绘制的注释。

14.根据权利要求13所述的医疗系统，其中

应用所述注释以指示包括在所述第一图像数据和所述第二图像数据的每一者中的封闭区域。

15.根据权利要求14所述的医疗系统，其中

所述注释处理部设置作为所述注释上的多个点的控制点，并使用预定方法对所述控制点进行插值。

16.根据权利要求15所述的医疗系统，其中，所述第一图像与所述第二图像之间的差异是所述第一图像数据与所述第二图像数据的分辨率；以及

所述控制点之间的间隔均根据所述第二图像数据的分辨率来确定。

17.根据权利要求15所述的医疗系统，其中

所述注释处理部基于所述用户的输入使用所述控制点来执行所述注释的校正。

18.根据权利要求17所述的医疗系统，其中

所述注释处理部使用随后应用的第二注释中包括的所述控制点对首先应用的第一注释执行所述校正。

19.根据权利要求18所述的医疗系统，其中

所述注释处理部基于所述第一注释中包括的第一控制点与所述第二注释中包括的第二控制点之间的相对位置关系来确定所述第一注释的校正范围。

20.根据权利要求19所述的医疗系统，其中

所述第二注释包括未封闭的自由线，并且

所述注释处理部通过将所述第二注释中包括的所述第二控制点的两端连接到任意一个所述第一控制点来执行所述校正。

21.根据权利要求20所述的医疗系统，其中

所述注释处理部通过将所述第二注释中包括的所述第二控制点的两端连接到与每个所述第二控制点的偏移距离最短的所述第一控制点来执行所述校正。

22.根据权利要求21所述的医疗系统，其中

所述注释处理部基于顶点是彼此连接的所述第一控制点和所述第二控制点中的任意一者的角将所述第一控制点改变为连接目标。

23.根据权利要求1所述的医疗系统，进一步包括：

第一输入部，接收与所述注释有关的输入；以及

第二输入部，接收与所述第一图像数据或所述第二图像数据的显示有关的输入，所述第二输入部与所述第一输入部不同。

24.根据权利要求23所述的医疗系统，其中

所述第一输入部和所述第二输入部中的任意一者接收所述用户的右手的输入，并且

所述第一输入部和所述第二输入部中的另一者接收所述用户的左手的输入。

25.根据权利要求1所述的医疗系统，其中，所述注释与图像中的坐标相关联。

26.一种医疗系统，包括：

控制部，被配置为接收通过对一个观察目标对象进行成像所产生的病理图像数据，所述病理图像数据包括第一图像数据和第二图像数据，所述第二图像数据与所述观察目标对象有关，但是所述第二图像数据与所述第一图像数据不同，

显示控制部，使显示部在所述显示部上显示所述第一图像数据和所述第二图像数据；以及

注释处理部，基于用户的输入将注释应用于所述第一图像数据和所述第二图像数据中的每一者。

27.根据权利要求26所述的医疗系统，进一步包括：

所述显示部，基于所述显示控制部的控制，在所述显示部上显示所述第一图像数据和所述第二图像数据。

28.根据权利要求26所述的医疗系统，进一步包括：

图像获取部，被配置为获取所述病理图像数据。

29.一种由计算机执行的医疗方法，所述医疗方法包括以下步骤：

接收通过对一个观察目标对象进行成像所产生的病理图像数据，所述病理图像数据包括第一图像数据和第二图像数据，所述第二图像数据与所述观察目标对象有关，但是所述第二图像数据与所述第一图像数据不同，

使显示部在所述显示部上显示所述第一图像数据和所述第二图像数据；以及

基于用户的输入将注释应用于所述第一图像数据和所述第二图像数据中的每一者。

30.一种医疗系统，包括：

成像设备，产生包括第一图像数据和第二图像数据的病理图像数据，所述第二图像数据与观察目标对象有关，但是所述第二图像数据与所述第一图像数据不同；以及

在针对所述病理图像数据的处理中使用的软件，其中

所述软件由信息处理设备执行，从而实现

使显示部在所述显示部上显示所述第一图像数据和所述第二图像数据，以及

基于用户的输入将注释应用于所述第一图像数据和所述第二图像数据中的每一者。

Images