CN103544370A - 信息处理装置、信息处理方法和信息处理程序 - Google Patents

Abstract

提供一种信息处理装置，包括：获得部分，被配置为获得病理学图像；显示单元，被配置为显示所获得的病理学图像的至少一部分作为部分显示区域；输入单元，被配置为从用户接收移动该部分显示区域的指令；记录部分，被配置为定期地记录部分显示区域在病理学图像中的至少位置信息作为显示历史，该位置信息与显示时间有关；以及再现部分，被配置为基于病理学图像和显示历史来再现部分显示区域在病理学图像中的移动。

Description

信息处理装置、信息处理方法和信息处理程序

技术领域

本公开涉及在医疗、病理学、生物学、材料等领域中被配置为控制被显示的图像的信息处理装置，所述被显示的图像通过显微镜获得。本公开还涉及信息处理方法和信息处理程序。

背景技术

在医疗或病理学领域，提出了以下的系统。即，光学显微镜获得活体的细胞、组织、器官等得图像。该图像是数字化的。医生、病理学家等检查组织等或基于该数字图像做出对患者的诊断。

例如，根据日本专利申请公开第2009-37250号，显微镜光学地获得图像。包括电荷耦合器件（CCD）的摄像机数字化该图像。数字信号被输入控制计算机系统。在显示器上显现该图像。病理学家观看在显示器上显示的图像并检查该图像（例如，参见日本专利申请公开第2009-37250号，第27和28段以及图5）。

此外，公开了记录病理学图像的观察历史的技术（例如，日本专利申请公开第2011-112523号）。本技术提供了一种用于防止病理学家忽略病理学图像中要被观察的一部分的手段。

发明内容

通常，观察放大倍数越大，显微镜的观察区域相对于观察目标的整个区域越小。例如，在大部分情况下，病理学家通过使用显微镜观察观察目标，而显微镜扫描观察目标的整个区域。病理学家以特别高的放大倍数观察整个区域的一部分，由此检查该观察目标。比如说在观察目标的区域中存在病理学家在这类检查中没有观看到的疾病。换言之，病理学家忽略了该疾病。这种情况可能导致之后的严重的问题。

鉴于以上提到的情形，期望提供一种能够消除当用户使用显微镜时该用户忽略观察目标的风险的信息处理装置、信息处理方法以及信息处理程序。

还期望提供一种能够保护作为观察目标的病理学图像的个人信息的信息处理装置、信息处理方法和信息处理程序。

还期望提供一种对于在观察目标的领域中的教学有用的信息处理装置、信息处理方法和信息处理程序。

根据本技术的一个实施例，提供了一种信息处理装置，包括：获得部分，被配置为获得病理学图像；显示单元，被配置为显示所获得的病理学图像的至少一部分作为部分显示区域；输入单元，被配置为从用户接收移动该部分显示区域的指令；记录部分，被配置为定期地记录部分显示区域在病理学图像中的至少位置信息作为显示历史，该位置信息与显示时间有关；以及再现部分，被配置为基于病理学图像和显示历史来再现部分显示区域在病理学图像中的移动。

根据本技术，首先，病理学家作为用户从服务器获得要观察的病理学图像。显示单元显示部分显示区域中病理学图像的一部分。随后，该用户在病理学图像中移动部分显示区域。作为结果，该显示单元显示病理图像的另一部分。用户观察该部分。记录部分记录当用户观察病理图像时在部分显示区域中显示的图像的至少位置信息（坐标和放大倍数）作为显示历史。该位置信息与显示时间有关。再现部分能够基于显示历史和基于所观察的病理学图像再现病理学图像的观察历史。用户能够确认显示和观察病理学图像的哪个部分。作为结果，能够消除当用户使用显微镜时忽略观察目标的风险。

（2）根据本技术的另一实施例，再现部分可被配置为基于与实际时间对应的时间，再现部分显示区域在病理学图像中的移动。

比如说，例如，显示历史指示用户观察病理学图像1小时。根据该配置，在这种情况下，花1小时再现该显示历史。作为结果，就能够准确地再现在用户观察病理学图像时时间的分配。作为结果，另一用户可体验到该观察的感觉。

（3）根据本技术的另一实施例，信息处理装置还可以包括：检测部分，被配置为检测用户的存在，该用户观察病理学图像。所述记录部分可以被配置为在所述检测部分持续检测到该用户的存在时定期地记录部分显示区域在病理学图像中的至少位置信息作为显示历史，所述位置信息与显示时间有关。

根据该配置，记录部分仅在用户确实观察病理学图像时才记录显示历史。比如说，例如，用户离开其座位，而同时病理学图像仍被显示。在这种情况下，记录部分不记录显示历史。记录部分仅在用户确实观察病理学图像时才记录显示历史。作为结果，能够增加显示历史的准确性。

（4）根据本技术的另一实施例，所述检测部分可包括相机，被配置为对用户的脸部拍照；以及脸部检测部分，被配置为检测相机是否拍到脸部的照片。所述记录部分被配置为在所述脸部检测部分持续检测到所述脸部时定期地记录部分显示区域在病理学图像中的至少位置信息作为显示历史，所述位置信息与显示时间有关。

根据该配置，相机和脸部检测算法检测观察病理学图像的用户。由此，就能够在用户确实地观看病理学图像时记录显示历史。作为结果，能够进一步增加显示历史的准确性。

（5）根据本技术的另一实施例，所述记录部分还可被配置为在当特定区域的显示时间段超过预设的时间段时，记录该特定区域的图像，该特定区域在作为部分显示区域显示的区域中。

根据该配置，比如说用户在比预设的时间段长的时间段观察病理学图像的一部分。在这种情况下，极有可能该部分是重要的。由此，除记录显示之外对该部分拍快照。作为结果，即使没有再现显示历史，也能够观察该重要部分的图像。

（6）根据本技术的另一实施例，信息处理装置还可包括产生部分，被配置为以预定的时间周期分别产生要叠加在被显示的部分显示区域的所有像素位置上的图像，所述要叠加的图像的每个具有与部分显示区域的显示时间段对应的值，在病理学图像上累积地叠加要叠加的图像，以及产生合成结果作为轨迹图像，该轨迹图像示出被作为部分显示区域显示的区域的运动轨迹。

根据该配置，部分显示区域在病理学图像上的运动轨迹没有直接记录在病理学图像上。可选地，将要叠加在病理学图像上的要叠加的图像的每个像素值被调整，由此运动轨迹记录在病理学图像上。该像素值是例如示出像素的透明度的值。准备单色图像作为要叠加的图像，其要叠加在病理学图像上。要叠加的图像的透明度取决于显示部分显示区域的时间段而改变。作为结果，能够显示病理学图像就好像部分显示区域中显示的部分的轨迹记录在病理学图像上一样。作为部分显示区域的运动轨迹的位置和时间记录在轨迹图像上。轨迹图像是包括病理学图像和叠加在病理学图像上的图像（要叠加的图像）的合成图像。由此，通过观看轨迹图像，用户可以理解其观察特定部分的时间段。作为结果，能够消除忽略病理学图像的风险。

（7）根据本技术的另一个实施例，提供了一种信息处理方法，包括：由获得部分获得病理学图像；由显示单元显示所获得的病理学图像的至少一部分作为部分显示区域；由输入单元从用户接收移动该部分显示区域的指令；由记录部分定期地记录部分显示区域在病理学图像中的至少位置信息作为显示历史，该位置信息与显示时间有关；以及由再现部分基于病理学图像和显示历史来再现部分显示区域在病理学图像中的移动。

（8）根据本技术的另一种实施例，提供了一种信息处理程序，使得计算机作用为：获得部分，被配置为获得病理学图像；显示单元，被配置为显示所获得的病理学图像的至少一部分作为部分显示区域；输入单元，被配置为从用户接收移动该部分显示区域的指令；记录部分，被配置为定期地记录部分显示区域在病理学图像中的至少位置信息作为显示历史，该位置信息与显示时间有关；以及再现部分，被配置为基于病理学图像和显示历史来再现部分显示区域在病理学图像中的移动。

如上所述，根据本技术，能够消除当用户使用显微镜时其忽略观察目标的风险。

根据如在附图中阐述的本发明的最佳方式实施例的以下详细描述，本公开的这些和其它目的、特性和优点会变得更加显而易见。

附图说明

图1是示出本技术的观察器（viewer）计算机500的典型使用环境的图；

图2是示出本技术的观察器计算机500的硬件配置的框图；

图3是示出图像管理服务器400的功能块的图；

图4是示出观察器计算机500的功能块的图；

图5是示出观察器窗口的示例的图；

图6是示出显示记录/再现GUI的示例的图；

图7是用于解释响应于观察器操作的窗口显示历史的记录/再现流程、以及当用户离开其座位时的处理流程的序列图；

图8是示出显示历史的格式的示例的图；

图9是示出合成轨迹(path)图像的图，其中显示轨迹叠加（superimpose）在整个病理学图像上；

图10是示出整个病理学图像A和遮蔽图像B是不同的图像、且遮蔽图像B叠加在病理学图像A上的图；

图11示出其中每个图示出α值如何增大的图；

图12是示出在较长时间段观察特定部分的情况下α值的增大量如何改变的图；

图13是用于解释产生轨迹图像的处理流程的流程图；

图14是示出用户浏览观察区域62中显示的标本SPL的拍摄图像的过程的图；

图15是示出在其中用户浏览观察区域62中显示的标本SPL的拍摄图像的过程被记录为显示轨迹的示例的图；以及

图16是用于解释整个处理流程中本技术的功能的关系的流程图。

具体实施方式

以下，将参照附图描述本公开的实施例。

<第一实施例>

[观察器计算机的使用环境]

首先，将描述在其中病理学家通过使用虚拟切片图像（slide image）（病理学图像）进行诊断的病理学的环境的整体描绘。通过使用显微镜来对标本拍照而获得虚拟切片图像（病理学图像）。病理学家使用观察器计算机的观察器观察病理学图像，并使用该图像进行诊断。图1是示出本技术的观察器计算机500的典型使用环境的图。

扫描仪100包括显微镜10和扫描仪计算机20。扫描仪100安装在医院中的组织学实验室HL中。显微镜10获得RAW图像。扫描仪计算机20处理该RAW图像。该图像处理的示例包括处理过程、阴影处理（shadingprocessing）、色彩平衡修正、伽马修正以及8位处理。此后，经处理的图像被分割为格子（tile）。格子的大小是256像素x256像素。被分割为格子的图像被转换为JPEG（联合图像专家组）图像，并被压缩。此后，经压缩的图像被存储在硬盘HD1中。

扫描仪计算机20的硬盘HD1存储JPEG图像。接着，JPEG图像经由网络300上传到硬盘HD2。硬盘HD2在图像管理服务器400中。图像管理服务器400在同一家医院中的数据中心DC中。

作为观察者的病理学家在该医院中的病理学室PR中，或在该医院外部的建筑物EX中。该病理学家通过使用观察器计算机500观察图像管理服务器400的硬盘HD2中存储的JPEG图像。该观察器计算机500经由网络300连接到图像管理服务器400。

可选地，作为观察者的病理学家指示观察器计算机500记录显示历史。该显示历史示出观察器窗口上显示的JPEG图像如何基于该病理学家观察JPEG图像时输入的操作而改变。该被记录的显示历史经由网络300发送到图像管理服务器400。图像管理服务器400存储该显示历史。

此外，病理学家指示该观察器计算机500提交（call up）图像管理服务器400中存储的该显示历史，并在观察器上再现病理学家如何观察JPEG图像。

[本技术的概要]

下面，将描述本技术的概要。在过去，通过使用观察者计算机500来观察病理学图像的轨迹的图像与病理学图像叠加并被记录。然而，期望准确的在现当病理学家进行图像诊断时窗口上的显示状态。就这一点而言，根据本技术，当病理学家进行图像诊断时，观察器窗口的图像被“记录”为显示历史。此后，“被记录的图像”被再现就好像其是运动的图像。作为结果，窗口上的显示状态被准确地再现。

由于数据以这种方式被记录，就能够在之后验证观察者是否忽略了病理学图像的一部分。此外，能够在之后证实观察者观看了病理学图像。此外，由于准确地再现了病理学家如何观察图像，因此该数据可以是对于用于病理学家的教学有用的教学材料。

此外，根据本技术，相机检测到观察病理学图像的病理学家确实地观看该观察器。作为结果，能够增加“图像记录”和其它数据记录的准确度。

[观察器计算机500的配置]

下面，将描述观察器计算机500的硬件配置。

图2是示出本技术的观察器计算机500的硬件配置的框图。

观察器计算机500包括CPU（中央处理单元）21、ROM（只读存储器）22、RAM（随机存取存储器）23，以及操作输入单元24（输入单元）。CPU21进行算术控制。RAM23是用于CPU21的工作存储器。取决于用户的操作的指令在操作输入单元24中输入。观察器计算机500还包括接口单元25、输出单元26（显示单元）、存储器27、网络接口单元28，以及连接它们的总线29。

用于执行各种处理的程序存储在ROM22中。控制器30和相机31（检测部分）连接到接口单元25。控制器30包括各种按钮和杆。控制器30被配置为从用户接收各种类型的输入。此外，控制器30包括内置加速度传感器和内置倾斜度传感器。用户倾斜或摇晃控制器30以由此输入指令。控制器30被配置为接收用户给控制器30的指令。相机31被配置为拍摄用户脸部的图像，该用户通过使用观察器计算机500观察病理学图像。

网络300连接到网络接口单元28。输出单元26包括图像显示装置，诸如液晶显示器、EL（电致发光）显示器或等离子显示器。输出单元26包括声音输出装置，诸如扬声器等。存储器27是磁盘，诸如HDD（硬盘驱动器）、半导体存储器、光盘等。

CPU21在RAM23中扩展存储在ROM22、存储器27等中的多个程序中的对应于来自操作输入单元24的指令的程序。CPU21基于该扩展的程序任意地控制输出单元26和存储器27。

CPU21实现功能块（稍后描述）。CPU21执行ROM22、存储器27等中存储的程序。CPU21在需要时控制上述单元。由于这样，观察器计算机500能够实现各种功能块。观察器计算机500能够使得各个单元起观察器计算机500的作用。

[图像管理服务器400的配置]

下面，将描述图像管理服务器400的硬件配置。

除了控制器30和相机31没有连接到接口单元25之外，图像管理服务器400的硬件配置基本上与观察器计算机500的硬件配置相同。因此，省略对数字病理学服务器400的硬件配置的详细描述。

[图像管理服务器400的功能块]

下面，将描述图像管理服务器400的功能块。图像管理服务器400的第一主要功能是响应于来自观察器计算机500的请求提供病理学图像。图像管理服务器400的第二主要功能是存储从观察器计算机500获得的显示历史，以及响应于来自观察器计算机500的请求提供该显示历史。

图像管理服务器400的第三主要功能是存储意见（以下称作为注解），病理学家通过使用观察器将该意见添加到病理学图像的特定地方。图3是示出图像管理服务器400的功能块的图。

图像管理服务器400包括以下的功能块，即，图像存储器41、图像提供部分42、显示历史存储器43，以及显示历史管理部分44。

图像存储器41存储病理学图像。该病理学图像被分割为格子，并且是JPEG压缩的。图像提供部分42响应于来自观察器计算机500的请求，向观察器计算机500提供存储的病理学图像。此外，图像存储器41还存储用户通过使用观察器计算机500的观察器向病理学图像添加的注解。

观察器计算机500经由网络300发送图像请求。图像提供部分42从图像存储器41获得对应于图像请求的病理学图像。图像提供部分42经由网络300向观察器计算机500发送病理学图像。

显示历史存储器43存储观察器计算机500的观察器的显示历史，该观察器由用户操作。

观察器计算机500记录且曾经（once）收集显示历史。显示历史管理部分44经由网络300获得显示历史。此外，显示历史管理部分44将获得的显示历史存储在显示历史存储器43中。此外，显示历史管理部分44接收来自观察器计算机500的显示历史请求。显示历史管理部分44响应于显示历史请求从显示历史存储器43获得显示历史。显示历史管理部分44经由网络300将显示历史发送到观察器计算机500。

注意图像管理服务器400和观察器计算机500配置成客户端-服务器系统。在这种情况下，可根据需要确定客户端具有的功能和服务器具有的功能。因此，图像管理服务器400并非必须执行上述的功能块。可选地，作为客户端的观察器计算机500可执行上述的功能块。

[观察器计算机500的功能块]

下面，将描述观察器计算机500的功能块。观察器计算机500的第一个主要功能是从作为用户的病理学家接收操作指令，以从图像管理服务器400获得适当的病理学图像，以及向用户显示该病理学图像。观察器计算机500的第二个主要功能是当用户进行图像诊断时记录与观察器操作对应的显示图像，并且将显示历史发送到图像管理服务器400从而使得图像管理服务器400存储该显示历史。

观察器计算机500的第三个主要功能是响应于来自用户的请求获得图像管理服务器400中存储的显示历史，基于显示历史再现与用户的操作对应的显示的图像，以及向用户示出该图像。

图4是示出观察器计算机500的功能块的图。

观察器计算机500包括以下的功能块，即，图像获得部分51（获得部分）、显示历史控制部分52（记录部分、再现部分）、面部检测部分53（检测部分）以及轨迹图像产生部分54（产生部分）。

操作输入单元24接收来自作为用户的病理学家的指令，并将该指令输入到图像获得部分51中。图像获得部分51经由网络300从图像管理服务器400获得与该指令对应的病理学图像。图像获得部分51通过使用输出单元26将获得的病理学图像呈现给用户。

显示历史控制部分52响应于来自用户的指令，记录基于当用户观察病理学图像时观察器操作的窗口显示的改变。首先，观察器计算机500的RAM23或存储器27存储记录的数据。响应于记录停止指令，记录的数据被收集。收集的数据被发送到图像管理服务器400作为显示历史。图像管理服务器400存储显示历史。

此外，响应于来自用户的指令，显示历史控制部分52从图像管理服务器400获得对应于该指令的显示历史。显示历史控制部分52通过输出单元26向用户示出记录在获得的显示历史中的观察器的窗口显示。

注意用户通过使用显示记录/再现GUI（稍后描述）向显示历史控制部分52中的观察器窗口的记录/再现显示历史输入指令。

此外，显示历史控制部分52将以下信息传送到轨迹图像产生部分54。该信息包括观察器窗口上显示的病理学图像的一部分，以及该部分显示的时间段。

脸部检测部分53检测观察在观察器计算机500的输出单元26的显示器上显示的病理学图像的病理学家的脸部是否在由相机31拍摄的图像中。相机31经由接口单元25连接到脸部检测部分53。脸部检测部分53至少可被配置为检测人的脸部。可选地，脸部检测部分53可被配置为区分脸部并且标识个人（脸部识别）。不用说，当病理学家坐在观察器计算机500的输出单元26前方且观察显示器上的图像时，需要将相机31的拍摄角度以及聚焦位置设置在病理学家的脸部的位置处。

轨迹图像产生部分54从显示历史控制部分52获得位置信息和时间信息。位置信息是有关当前显示的病理学图像的一部分的信息。时间信息是有关在此期间显示该部分的时间段。轨迹图像产生部分54降低遮蔽图像的像素的透明度。稍后将详细描述如何降低透明度。

[观察器窗口]

下面将描述观察器窗口。用户通过使用观察器计算机500来使用观察器窗口，以观察病理学图像。图5是示出观察器窗口的示例的图。

观察器窗口60包括缩略图地图（thumbnail map）61、观察区域62，以及显示记录/再现GUI63。缩略图地图61示出病理学图像的放大（zoom-in）部分。观察区域62被用来观察病理学图像。缩略图地图61包括整个虚拟切片图像的缩小的图像，以及框FR。框FR在缩略图地图61中等价地(equivalently)示出在观察器窗口60上显示的图像的区域。

响应于来自用户的指令，可以以任意的方向、以任意的量在缩略图地图61上移动框FR。注意可通过在缩略图地图61上拖拽鼠标等来输入框移动操作。

显示记录/再现GUI63接收对应于从用户输入的观察器操作的显示窗口改变的记录开始指令或记录停止指令。显示记录/再现GUI63将该接收到的指令传送到显示历史控制部分52。稍后将详细描述显示记录/再现GUI63。

[显示记录/再现GUI]

下面将描述显示记录/再现GUI63。图6是示出显示记录/再现GUI的示例的图。

在图6中，显示历史的文件名显示在显示记录/再现GUI63的左上部。搜索条SB显示在上部中间部分，并且在横向方向上延伸。滑块SL和圆圈AT1、AT2和AT3显示在搜索条SB上。滑块SL示出被再现的位置。圆圈AT1、AT2和AT3的每个示出添加注解的时间。

在右上角显示在记录或再现观察器窗口上显示的改变的情况下经过的时间。注意，在再现的情况下，可显示经过的时间以及此外再现所需的整个时间段。当纪录时，例如，记录按钮可在显示记录/再现GUI63上点亮，以由此显示正在记录的显示历史。此外，在显示记录/再现GUI63上显示记录的经过的时间。

在图6中，在显示记录/再现GUI63的下部显示倒回、停止、再现、快进以及记录按钮。在右下部显示音量按钮和麦克风按钮。

在此例中，圆圈AT1、AT2和AT3显示在搜索条SB上。圆圈AT1、AT2和AT3的每个显示添加注解的时间。由此，当用户拖拽滑块以改变再现位置时，他可以容易地搜寻他希望看到的注解。

[观察器窗口显示的记录/再现流程]

下面将描述响应于观察器操作的窗口显示历史的记录/再现流程，以及当用户离开其座位时的处理流程。图7是用于解释响应于观察器操作的窗口显示历史的记录/再现流程，以及当用户离开其座位时的处理流程的序列图。

首先，将描述记录显示历史的流程。

首先，用户点击显示记录/再现GUI63的记录按钮，以由此指示显示历史控制部分52开始记录观察器显示（S1）。此后，用户从显示在观察器上的病理学图像的列表选择要观察的病理学图像。

在显示历史控制部分52接收到开始记录的指令之后，脸部检测部分53搜寻观察该观察器窗口的用户的脸部。在此期间，显示历史控制部分52定期地记录用户在观察器中输入的窗口显示的改变（S2）。具体地，窗口显示的改变包括显示位置的改变，以及观察放大倍数的改变。

用户改变显示位置，或改变观察放大倍数，在这种情况下，图像获得部分51请求图像管理服务器400以获得对应的格子图像（tile image）（S3）。

图像获得部分51从图像管理服务器400获得图像。所述图像被显示在窗口上（S4）。

当用户离开其座位时（S5），脸部检测部分53不能够检测用户的脸部。因此脸部检测部分53将没有检测到脸部的信息传送到显示历史控制部分52。显示历史控制部分52从脸部检测部分53接收没有检测到脸部信息的信息。随后，显示历史控制部分52临时地停止记录窗口显示的改变（S6）。

当用户返回其座位并再次坐下来时（S7），相机31对用户的脸部拍照。脸部检测部分53再次检测用户的脸部。脸部检测部分53将检测到脸部的信息传送到显示历史控制部分52。显示历史控制部分52从脸部检测部分53接收检测到脸部的信息。随后，显示历史控制部分52重新开始记录窗口显示的改变（S8）。

该用户继续操作观察器窗口（S9）。图像获得部分51在观察器窗口上显示病理学图像（S10）。在此期间，显示历史控制部分52继续将窗口上的显示状态记录为显示历史。

用户点击显示记录/再现GUI63的停止按钮，以由此指示显示历史控制部分52停止记录观察器显示（S11）。此时，将名称分配给被记录的显示历史。当接收到停止指令时，显示历史控制部分52将该显示历史控制部分52本地地和临时地存储的显示历史发送到图像管理服务器400（S12）。显示历史管理部分44将接收到的显示历史存储在显示历史存储器43中。

在上面已经描述了记录显示历史的流程。下面，将描述再现显示历史的流程。

首先，用户指定要被再现的显示历史的名称。此外，该用户点击显示记录/再现GUI63的再现按钮，以由此指示显示历史控制部分52再现显示历史（S13）。

当输入了再现显示历史的指令时，显示历史控制部分52请求图像管理服务器400的显示历史管理部分44获得由用户指定的显示历史。显示历史控制部分52从图像管理服务器400获得显示历史（S14）。

此外，当输入了再现显示历史的指令时，图像获得部分51在再现显示历史时从图像管理服务器400的图像存储器41获得要显示的图像（S15）。

通过使用获得的显示历史和图像，在观察器窗口上再现显示（S16）。

最后，用户点击显示记录/再现GUI63的停止按钮，以由此指示显示历史控制部分52停止再现显示历史（S17）。然后，显示历史控制部分52停止再现显示历史。

上面已经描述了再现显示历史的流程。

[显示历史的格式]

下面将描述记录格式。当显示历史控制部分52记录显示历史时使用记录格式。图8是示出显示历史的格式的示例的图。在该示例中，记录了六个项目，即“时间”、“中心坐标”、“放大倍数”、“旋转角度”、“水平翻转”和“垂直翻转”。

将描述每个项目的含义。首先，“时间”示出在显示历史控制部分52开始记录显示历史之后经过的时间（毫秒）。在该例中，每1/60秒（即大约16毫秒）记录一次显示历史。作为结果，记录了图8的值。这里，该示例由于以下的原因采用1/60秒。即，当再现显示历史时，基于实际时间再现60fps（帧每秒）的运动图像。由于这个原因，对每个帧记录显示历史的每个项目的数据。

接着，“中心坐标”示出以下信息。在观察器窗口的观察区域62中显示整个图像（病理学图像）的一部分（部分图像）。“中心坐标”在这种情况下示出部分图像的中心点在整个图像中的坐标。

“放大倍数”是在显示区域62中显示部分图像的情况下的观察放大倍数。在该例中，在记录开始后66毫秒之后，1.25倍观察放大倍数首先增大到1.29倍观察放大倍数。

此外，“旋转角度”是当在观察区域62中显示部分图像时，部分图像的旋转角度。“水平翻转”和“垂直翻转”通过值“真”和“假”示出部分图像是否在水平方向上以及在竖直方向上翻转。

以上已经描述了记录基本项目的示例。此外，例如，可以添加项目“脸部检测”和“注解”。项目“脸部检测”具有值“真”或“假”。“真”意味着脸部检测部分53在记录显示历史时检测到了用户的脸部。“假”意味着脸部检测部分53未能检测用户的脸部。

在上述的记录/再现流程中，显示历史控制部分52在未检测到脸部时临时地停止记录。换言之，如果显示历史控制部分52记录窗口显示的变化，则肯定检测到脸部。可选地，比如说即使没有检测到脸部，显示历史控制部分52也继续记录窗口显示的变化。在这种情况下，可使用项目“脸部检测”。例如，如果当再现显示历史时检测到脸部，则标记“眼睛”可显示在屏幕上。例如，如果没有检测到脸部，则可以在屏幕上的标记“眼睛”上显示标记“x”。

当用户在病理学图像上添加注解时，项目“注解”具有值“真”。

[用浓淡(gradation)显示的显示轨迹的记录]

下面将描述本技术的观察器计算机500的独立功能的特定示例。该独立功能为如下的功能。即，被显示的部分图像的轨迹取决于时间段长度被记录为颜色浓淡轨迹图像，在所述时间段期间在观察区域62中显示该部分图像。轨迹图像产生部分54执行该功能。注意该功能可以和上述显示历史记录功能并行执行，可以作为不同的功能执行，或可以基于记录的显示历史执行。

注意，该功能可以如下实现。即，通过使用α值作为系数通过α混合而将遮蔽图像叠加在病理学图像（整个图像）上，以由此产生合成轨迹图像。病理学图像（整个图像）将被称为“整个病理学图像”。遮蔽图像记录显示轨迹。显示轨迹被记录如下。即，测量在观察区域62中显示部分图像的区域的时间段。该显示时间段越长，示出该区域的轨迹的颜色的α值越大。

[α值和α混合]

下面，将详细地描述如何产生轨迹图像。首先，将描述α值和α混合。当遮蔽图像叠加在在缩略图地图61上显示的整个病理学图像上时使用α值和α混合，以由此示出显示轨迹。

α值是透明度的信息，其对于由计算机处理的数字图像数据的每个像素设置。此外，α混合是通过使用系数（α值）将一个图像叠加在另一个图像上，以由此产生合成图像。根据本技术，该一个图像是遮蔽图像，该另一个图像是缩略图地图61上的整个病理学图像。该遮蔽图像叠加在整个病理学图像上。

图9是示出合成轨迹图像的图，其中显示轨迹叠加在整个病理学图像上。图10是示出整个病理学图像A和遮蔽图像B是不同的图像，以及遮蔽图像B叠加在病理学图像A上的图。

如图9和图10中所示，整个病理学图像和遮蔽图像是不同的图像。轨迹图像产生部分54调整α值，该α值示出遮蔽图像的透明度。轨迹图像产生部分54在遮蔽图像上记录显示轨迹。此外，此后，其α值经调整的遮蔽图像通过α混合叠加在整个的病理学图像上，以由此产生合成轨迹图像。

该α值例如是0至255之间的整数。如果像素的α值为0，则遮蔽图像的像素是完全透明的。在这种情况下，完全看透在遮蔽图像的像素背后的整个的病理学图像的像素。如果α值为大约128，则遮蔽图像的像素是半透明且有颜色的（例如，绿色）。在这种情况下，一半地看透在遮蔽图像的像素背后的整个的病理学图像的像素的颜色。如果α值为255，则遮蔽图像的像素是完全不透明的。在这种情况下，一点都看不透在遮蔽图像的像素背后的整个病理学图像的像素的颜色。

根据本技术，遮蔽图像的透明度最初是完全透明的。取决于观察区域62中的显示时间段，α值增大且遮蔽图像的透明度下降，由此遮蔽图像被着色。以这种方式，显示轨迹被记录。可选地，相反，可以以如下方式记录显示轨迹。即，最初遮蔽图像的透明度约为70%。取决于观察区域62中的显示时间段，α值减少且遮蔽图像的透明度增大，由此遮蔽图像的颜色逐渐褪掉。

注意，遮蔽图像和整个病理学图像是不同的图像。由此，如果遮蔽图像的所有α值被重置为0，则可以重置轨迹的记录。

[α值的增大方法（基本方法）]

比如说，在观察区域62中显示至少病理学图像的一部分。在这种情况下，根据本技术，例如，通过使用60fps的帧速率而重复重新绘制，由此显示图像就好像其是运动的图像。同样应用于缩略图地图61。鉴于以上，例如，比如说在观察区域62中病理学图像的特定区域显示预定的时间段。在这种情况下，对于每一帧α值增大1。作为结果，在对应于60帧的时间段（1秒）过去后，对应于观察区域上显示的位置的遮蔽图像的像素的α值达到60。作为结果，遮蔽图像的不透明度增大了约23%。

如果显示时间段超过4秒，则α值达到255，并且遮蔽图像完全不透明。在这种情况下，用户不能够看到在遮蔽图像下面的整个的病理学图像。因此用户难以基于整个病理学图像的形状和显示轨迹的比较而知道病理学图像被观察的部分。鉴于以上，α值可以有上限。例如，比如说增大的α值的上限是180。在这种情况下，在透明度达到约70%后α值不会再增大。作为结果，用户总能够看到遮蔽图像下面的整个的病理学图像。

注意，在该例中，对每一帧α值增大1。可选地，例如可对于每30秒，α值增大1。在这种情况下，花费90分钟直到α值达到上限即180。作为结果，即使在较长时间段记录观察的情况下，，透明度可以取决于时间而不同，且可以适当地记录显示轨迹。总之，可以取决于典型的观察时间段确定α值的增大率。

[α值的增加方法（考虑观察放大倍数）]

在上述的配置中，在病理学图像的特定区域在观察区域62中显示预定时间段的情况下，α值无条件地增大。可选地，α值的增大率可以取决于观察病理学图像的观察放大倍数而改变。比如说轨迹图像的轨迹的更深颜色（遮蔽图像的更高不透明度）表明用户更仔细地观察病理学图像。在这种情况下，更高的不透明度可以表明某一部分的观察时间段更长。类似地，更高的观察放大倍数意味着用户更仔细地观察图像。因此，在这种情况下，α值的增大率可增大。

例如，如果观察放大倍数小于两倍，则对于每个时间单位α值的增大量为0，且不记录轨迹。如果观察放大倍数等于或大于两倍且小于四倍，则对于每个时间单位α值的增大量为1。如果观察放大倍数等于或大于四倍，则对于每个时间单位α值的增大量为2。根据该配置，能够考虑观察放大倍数来记录显示轨迹。

图11示出每一幅都表明在该例中α值如何增大的图。如在上部的图中所示，如果观察放大倍数小于两倍，则α值总是0且即使时间过去α值也不增大。如果观察放大倍数等于或大于两倍且小于四倍，则α值逐渐增大。如果观察放大倍数等于或大于四倍，则如上所述，观察放大倍数快速地增大直到达到上限，但在这之后不再增大。

[α值的增加方法（考虑观察时间）]

在上述的配置中，在预定的时间段中观察特定的部分的情况下，α值单调增大。然而，如果在更长的时间段中观察特定的部分，则意味着更仔细地观察了该部分。在这种情况下，期望增大α值的增大率。

图12是示出在较长时间段观察特定的部分的情况下，α值的增大量如何改变的图。例如，在特定的部分显示在显示区域62中且用户开始观察该部分且直到经过时间t1后，对于每个时间单位α值增大n。在经过时间t1后，α值的增大量增至1.1倍，且对于每个时间单位增大量为1.1n。

此外，如果在预定的时间段观察同样的部分且经过时间t2，则α值的增大量增至1.2倍，且对于每个时间单位增大量是1.2n。值n如上述取决于观察放大倍数而改变。如果观察区域62中显示的图像移动，则n再次用作α值的初始增大量。

根据该配置，如果在较长的时间段观察特定的部分，则该轨迹可被强调和记录。

[产生轨迹图像的流程]

下面将描述由轨迹图像产生部分54产生轨迹图像的处理流程。图13是用于解释产生轨迹图像的处理流程的流程图。注意，如上所述，对每个帧更新轨迹图像（例如在60fps的情况下每1/60秒）。类似地，对每帧处理该流程图。

首先，轨迹图像产生部分54基于当前观察放大倍数确定α值（步骤ST11）。

接着，轨迹图像产生部分54确定在当前图像显示在观察区域62中之后是否经过了预定的时间段。如果经过了预定的时间段，则轨迹图像产生部分54递增α值（步骤ST12）。

接着，轨迹图像产生部分54基于在观察区域62中显示的图像的区域确定矩形区域（步骤ST13）。该矩形区域的遮蔽图像的α值将会改变。

接着，轨迹图像产生部分54记录遮蔽图像上的矩形作为轨迹（步骤ST14）。这里，α值的增大量被加到遮蔽图像中的目标像素的α值上。α值的增大量在步骤ST11或ST12中确定。作为结果，轨迹图像产生部分54记录矩形。在轨迹图像产生部分54记录矩形之后，具有遮蔽图像的颜色的该矩形显示在缩略图地图61上的整个病理学图像上。该矩形示出观察区域62的区域。

这里，轨迹图像产生部分54确定是否输入了来自操作输入单元24的显示轨迹重置请求。如果输入了重置请求（步骤ST15，是），则轨迹图像产生部分54删除缩略图地图61上所有的轨迹（步骤ST16）。轨迹图像产生部分54通过将遮蔽图像的所有像素的α值重置为初始值而删除轨迹。

上面已经描述通过轨迹图像产生部分54产生轨迹的处理流程。

[轨迹图像的实际的示例]

以下，首先将描述当用户观察病理学图像时的时间的分配的示例。将描述与观察对应的被显示的轨迹的颜色浓淡。

图14是示出用户浏览显示在观察区域62中的标本SPL的拍摄图像的过程的图。图15是示出在其中显示过程被记录为显示轨迹的示例的图。

参照图14，将描述用户的操作以及病理学图像如何显示在观察区域62中。

首先，通过用户操作，标本SPL的上部区域D1作为部分图像，以1.25倍观察放大系数显示在观察区域62中。用户观察该部分图像8秒。注意显示区域D1的中心坐标是（x1,y1）。

接着，该用户将部分图像的显示区域从D1改变为D2。该用户观察部分图像20秒。部分图像的显示区域D2的中心坐标是（x2,y2）。

接着，通过用户操作，观察放大倍数从1.25倍重新调节到20倍，且因此显示部分图像的显示区域D3。用户观察该部分图像35秒。此时，部分图像的中心坐标没有改变，还是（x2,y2）。

接着，通过用户操作，部分图像的显示区域D3移动到显示区域D4。用户观察该部分图像40秒。部分图像的中心坐标是（x3,y3）。

接着，通过用户操作，观察放大倍数从20倍重新调节到40倍，且因此显示部分图像的显示区域D5。用户观察该部分图像2分钟。此时，部分图像的中心坐标没有改变，还是（x3,y3）。

此后，用户以同样的方式观察部分图像。区域D3、D4和D6显示30秒或更长且小于1分钟。此外，区域D8显示1分钟或更长且小于2分钟。此外，区域D5被显示2分钟或更长。

下面，参照图15，将描述在以上提到的观察过程中记录显示轨迹的示例。

显示区域D1和D2被观察少于30秒。轨迹T1和T2分别对应于显示区域D1和D2。轨迹T1和T2被以最浅的颜色记录。同时，显示区域D3、D4和D6被观察30秒或更长。轨迹T3、T4和T6分别对应于显示区域D3、D4和D6。轨迹T3、T4和T6以比轨迹T1的颜色更深的颜色示出。

类似地，轨迹T8以更深的颜色示出。轨迹T5以最深的颜色示出。

如上所述，显示历史控制部分52测量时间段，在该时间段内部分图像显示在观察区域62中。显示历史控制部分52通过使用颜色浓淡示出显示区域的轨迹。作为结果，显示历史控制部分52能够容易地显示用户在其中观察特定的部分的时间段。在病理学家使用图像进行诊断时能够准确地记录轨迹。作为结果，病理学图像不会被忽略。

[时间测量和拍快照]

下面，将描述显示历史控制部分52的另一功能。该功能为如下的功能。即，显示历史控制部分52取决于部分图像被显示在观察区域62中的时间段对部分图像拍快照。该功能与上面描述的显示历史记录功能并行地执行。

例如，特定的部分区域被显示在观察区域62中的时间段超过3分钟。在这种情况下，显示历史控制部分52对该部分图像拍快照。通过例如屏幕复制拍快照。由于以下原因拍快照。如果一个部分图像被显示长时间段，则意味着该图像所示出的是重要的，且作为观察者的用户在长时间段内仔细地观察该图像。

比如说用户在显示特定部分图像后离开其座位。这种情况的显示时间段也较长。在过去，这种情况不与用户观察图像长时间段的情况区分开。然而，根据本技术，相机31检测用户。由此，前一种情况可与后一种情况区分开。

[时间测量和屏幕保护操作]

下面，将描述显示历史控制部分52的另一功能。该功能为以下的功能。即，显示历史控制部分52取决于当观察器被使用时没有检测到用户的脸部的时间段发出警告。此外，显示历史控制部分52通过使用屏幕保护锁定窗口。该功能与上面描述的显示历史记录功能结合执行。

当用户使用观察器时，在脸部检测部分53未检测到用户的脸部之后经过第一预定时间段（例如，5分钟）。则，显示历史控制部分52向用户发出警告。该警告是例如警告警报。进一步，在脸部检测部分53未检测到用户的脸部之后经过了第二预定时间段（例如，10分钟）。则，显示历史控制部分52锁定观察器窗口。例如，显示历史控制部分52启动具有密码的屏幕保护，由此锁定该观察器窗口。

在脸部检测部分53未检测到用户的脸部之后，显示历史控制部分52执行两步的操作。这基于以下的原因。如果脸部检测部分53未检测到用户的脸部，则也许并非意味着用户离开其座位，而是有可能意味着用户只是将头部转开了。然而，如果经过了预定的时间段，则有很大可能用户离开其座位。在这种情况下，显示历史控制部分52锁定观察器窗口。以这种方式，用户的状态被确定，且能够自动地保护包括个人信息的病理学图像。

[各功能的行为的流程]

这里，将描述整个处理流程中以上描述的功能的关系。图16是用于解释整个处理流程中本技术的功能的关系的流程图。

首先，用户坐在观察器计算机500前。相机31开始对用户的脸部拍照。随后，脸部检测部分53检测用户的脸部（步骤ST1，是）。

接着，显示历史控制部分52记录显示历史（步骤ST2）。该显示历史是观察区域62中的显示状态，其基于由用户输入的观察器操作而改变。

接着，显示历史控制部分52测量一个部分图像显示在观测区域62上的时间段（步骤ST3）。这里获得的测量结果被用作执行上述功能的指标。此外，该测量结果存储在图像管理服务器400中作为病理学图像的属性信息。作为属性信息的测量结果是时间段，在该时间段期间用户实际地观看病理学图像并进行诊断。显示历史控制部分52仅当脸部检测部分53检测到脸部时测量时间段。由此，可以测量准确的诊断时间段。

一个部分图像在预定的时间段或更长时间（例如，超过3分钟）显示在观察区域62中，且用户观察该部分图像（步骤ST4，是）。在这种情况下，显示历史控制部分52对显示在观察区域62中的部分图像拍快照（步骤ST5）。在用户输入指令以记录显示历史之后，当脸部检测部分53持续检测到用户的脸部时，重复步骤ST2至ST5的处理。

同时，相机31无法对用户的脸部拍照，且脸部检测部分53未检测到用户的脸部（步骤ST1，否）。在这种情况下，如果经过了第一时间段（例如，5分钟）（步骤ST6，是），则显示历史控制部分52向用户发出警告（步骤ST7）。

接着，仍旧没有检测到脸部且经过了第二时间段（例如，10分钟）（步骤ST8，是）。在这种情况下，显示历史控制部分52锁定观察器窗口（步骤ST9）。

上面描述了包括上述功能的整个处理流程。

[代替相机31和脸部检测部分53的配置]

根据上述配置，使用相机31和脸部检测部来检测用户，该用户通过使用观察器计算机500来观察病理学图像。然而，该配置并不限于此，只要其能够检测到用户的存在。

例如，可以在座位上提供物理开关。当用户不断按压该开关时，显示历史被记录。可选地，物理开关可以是拨动（toggle）开关。在这种情况下，如果一旦该开关被开启，则即使用户不按压该开关也记录显示历史。可选地，拨动开关可以是软件开关。在这种情况下，可以减少物理开关的成本。

[本技术的其它配置]

注意，本技术可采用以下配置。

（1）一种信息处理装置，包括：

获得部分，被配置为获得病理学图像；

显示单元，被配置为显示所获得的病理学图像的至少一部分作为部分显示区域；

输入单元，被配置为从用户接收移动该部分显示区域的指令；

记录部分，被配置为定期地记录部分显示区域在病理学图像中的至少位置信息作为显示历史，该位置信息与显示时间有关；以及

再现部分，被配置为基于病理学图像和显示历史来再现部分显示区域在病理学图像中的移动。

（2）根据（1）所述的信息处理装置，其中

所述再现部分被配置为基于与实际时间对应的时间，再现部分显示区域在病理学图像中的移动。

（3）根据（1）或（2）所述的信息处理装置，还包括：

检测部分，被配置为检测用户的存在，该用户观察病理学图像，其中

所述记录部分被配置为在所述检测部分持续检测到该用户的存在时定期地记录部分显示区域在病理学图像中的至少位置信息作为显示历史，所述位置信息与显示时间有关。

（4）根据（3）所述的信息处理装置，其中

所述检测部分包括

相机，被配置为对用户的脸部拍照；以及

脸部检测部分，被配置为检测相机是否拍摄到脸部的照片，以及

所述记录部分被配置为在所述脸部检测部分持续检测到所述脸部时定期地记录部分显示区域在病理学图像中的至少位置信息作为显示历史，所述位置信息与显示时间有关。

（5）根据（1）至（4）中任何所述的信息处理装置，其中

所述记录部分还被配置为如果特定区域的显示时间段超过预设的时间段，则记录该特定区域的图像，该特定区域在作为部分显示区域显示的区域中。

（6）根据（1）至（5）中任何所述的信息处理装置，还包括：

产生部分，被配置为

以预定的时间周期产生分别要叠加在被显示的部分显示区域的所有像素位置上的图像，所述要叠加的图像的每个具有与部分显示区域的显示时间段对应的值，

在病理学图像上累积地叠加要叠加的图像，以及

产生合成结果作为轨迹图像，该轨迹图像示出被作为部分显示区域显示的区域的运动轨迹。

（7）一种信息处理方法，包括：

由获得部分获得病理学图像；

由显示单元显示所获得的病理学图像的至少一部分作为部分显示区域；

由输入单元从用户接收移动该部分显示区域的指令；

由记录部分定期地记录部分显示区域在病理学图像中的至少位置信息作为显示历史，该位置信息与显示时间有关；以及

由再现部分基于病理学图像和显示历史来再现部分显示区域在病理学图像中的移动。

（8）一种信息处理程序，使得计算机作用为：

获得部分，被配置为获得病理学图像；

显示单元，被配置为显示所获得的病理学图像的至少一部分作为部分显示区域；

输入单元，被配置为从用户接收移动该部分显示区域的指令；

记录部分，被配置为定期地记录部分显示区域在病理学图像中的至少位置信息作为显示历史，该位置信息与显示时间有关；以及

再现部分，被配置为基于病理学图像和显示历史来再现部分显示区域在病理学图像中的移动。

[补充说明]

本领域的技术人员应当理解，取决于设计需求和其它因素，可进行各种修改、组合、子组合和变换，只要其在所附的权利要求或其等价物的范围之内。

本公开包括与于2012年7月13日向日本专利局提交的日本优先权专利申请JP2012-157241中公开的主题相关的主题，其全部内容被通过引用并入于此。

Claims (8)

1.一种信息处理装置，包括：

获得部分，被配置为获得病理学图像；

显示单元，被配置为显示所获得的病理学图像的至少一部分作为部分显示区域；

输入单元，被配置为从用户接收移动该部分显示区域的指令；

记录部分，被配置为定期地记录部分显示区域在病理学图像中的至少位置信息作为显示历史，该位置信息与显示时间有关；以及

再现部分，被配置为基于病理学图像和显示历史来再现部分显示区域在病理学图像中的移动。

2.根据权利要求1所述的信息处理装置，其中

所述再现部分被配置为基于与实际时间对应的时间，再现部分显示区域在病理学图像中的移动。

3.根据权利要求2所述的信息处理装置，还包括：

检测部分，被配置为检测用户的存在，该用户观察病理学图像，其中

所述记录部分被配置为在所述检测部分持续检测到该用户的存在时定期地记录部分显示区域在病理学图像中的至少位置信息作为显示历史，所述位置信息与显示时间有关。

4.根据权利要求3所述的信息处理装置，其中

所述检测部分包括

相机，被配置为对用户的脸部拍照；以及

脸部检测部分，被配置为检测相机是否拍摄到脸部的照片，以及

所述记录部分被配置为在所述脸部检测部分持续检测到所述脸部时定期地记录部分显示区域在病理学图像中的至少位置信息作为显示历史，所述位置信息与显示时间有关。

5.根据权利要求4所述的信息处理装置，其中

所述记录部分还被配置为如果特定区域的显示时间段超过预设的时间段，则记录该特定区域的图像，该特定区域在作为部分显示区域显示的区域中。

6.根据权利要求1所述的信息处理装置，还包括：

产生部分，被配置为

以预定的时间周期产生分别要叠加在被显示的部分显示区域的所有像素位置上的图像，所述要叠加的图像的每个具有与部分显示区域的显示时间段对应的值，

在病理学图像上累积地叠加要叠加的图像，以及

产生合成结果作为轨迹图像，该轨迹图像示出被作为部分显示区域显示的区域的运动轨迹。

7.一种信息处理方法，包括：

由获得部分获得病理学图像；

由显示单元显示所获得的病理学图像的至少一部分作为部分显示区域；

由输入单元从用户接收移动该部分显示区域的指令；

由记录部分定期地记录部分显示区域在病理学图像中的至少位置信息作为显示历史，该位置信息与显示时间有关；以及

由再现部分基于病理学图像和显示历史来再现部分显示区域在病理学图像中的移动。

8.一种信息处理程序，使得计算机作用为：

获得部分，被配置为获得病理学图像；

显示单元，被配置为显示所获得的病理学图像的至少一部分作为部分显示区域；

输入单元，被配置为从用户接收移动该部分显示区域的指令；

记录部分，被配置为定期地记录部分显示区域在病理学图像中的至少位置信息作为显示历史，该位置信息与显示时间有关；以及

再现部分，被配置为基于病理学图像和显示历史来再现部分显示区域在病理学图像中的移动。

Images