CN102572276A - 信息处理器、图像数据优化方法和程序 - Google Patents

Abstract

公开了信息处理器、图像数据优化方法和程序。所述信息处理器包括：图像存储部件，用于将具有第一分辨率的第一图像数据项和至少一个第二图像数据项存储为样本的各层级图像数据，所述第二图像数据项是通过以不同倍率对所述第一图像数据项进行空间压缩来获得的；图像数据获取部件，用于从各层级图像数据中以可将所述第一分辨率等分的预定的第二分辨率为单位来获取图像数据，以便在显示设备上显示所述图像数据；注释设置部件，用于响应于来自用户的指示而在所显示的图像数据的任意空间位置设置注释；以及图像优化部件，用于判断所述图像存储部件中存储的每一图像数据项是否是必要的，以便删除被确定为非必要的图像数据。

Description

信息处理器、图像数据优化方法和程序

技术领域

本公开涉及用于积累图像数据并响应于来自用户的图像观看请求而获取和显示图像数据的信息处理器、图像数据优化方法和程序。

背景技术

在医学、病理学和其他领域，被设计成对光学显微镜获得的活体细胞、组织、器官等的图像进行数字化的数字病理学技术已被提出，以便允许医生、病理学者和其他人基于数字图像来测试组织和诊断病人。

在日本专利早期公开No.2009-37250(以下称为专利文献1)所描述的方法中，例如，光学显微镜所获得的图像被包含CCD(电荷耦合器件)的视频摄录机数字化，并且其数字信号被馈送到控制计算机系统以用于在监视器上可视化(参见专利文献1中图5和段落[0027]和[0028])。

在日本专利早期公开No.2000-148895(以下称为专利文献2)所描述的系统中，例如，位置信息被设置在这种图像的任意位置(诸如被观察者怀疑为生病的身体部分的区域)。内容信息被与该位置信息相关联。该系统以标记的形式显示位置信息以及图像，并接受适于使用诸如鼠标之类的输入设备来选择所显示的标记的操作，显示与之相关联地被登记的内容信息(参见专利文献2中图5和段落[0027])。用于将位置和内容信息与图像相关联并显示如上所述将位置和内容信息在视觉上相组合的图像的功能被称为“注释功能”。

发明内容

在如上所述的显微镜系统中，使用具有巨大分辨率的诸如CCD之类的图像传感器来捕获以高倍率放大的样本的显微镜图像，以诊断来自观察图像的细胞组织的状况。所捕获的图像(原始图像)以“原样”方式被存储。同时，以1/2、1/2²、1/2³直到1/2^N等倍率从原始图像压缩的图像被生成并存储。如上所述通过以不同倍率压缩原始图像来对图像分层级的结构被称为“图像金字塔结构”。另一方面，每个图像以诸如大约256乘256像素或256乘512像素之类的预定分辨率的单位被管理，以便可以通过指定拼贴块(tile)ID来唯一地选择具有所希望倍率的所希望拼贴块。

另一方面，近年来正在研究如下装置，所述装置被设计成使用服务器设备来对显微镜所捕获的图像的数据进行统一方式的管理并用必要的图像数据对来自经由网络连接到服务器设备的观看者设备的图像观看请求作出响应。这种系统允许多个观察者同时从多个观看者设备访问服务器设备以进行观察，从而有望提供改进的诊断效率。

然而，显微镜所捕获的图像尺寸巨大。另外，由于每个原始图像被变换成图像金字塔结构，因此用来存储这种图像的容量变得越来越大。虽然近年来在提高以HDD(硬盘驱动器)为代表的存储设备的容量方面取得了显著进步，但是用于存储每幅图像千兆字节量级信息的显微镜系统可能导致记录设备要以相对短的间隔被更换。针对该问题的可能对策可以是删除重要性低的数据和非必要的数据。然而，从成本和工作效率的角度来看，难以人为地管理数据重要性以确定要删除哪个数据。

鉴于前述情况，希望提供用于有效地减小以不同分辨率被分层级的图像数据的大小而不降低图像数据的信息性、从而大大提高用于存储图像数据的设备的容量利用效率并确保降低的操作成本的信息处理器、图像数据优化方法和程序。

根据本公开的一个实施例，提供了包括图像存储部件、图像数据获取部件、注释设置部件和图像优化部件的信息处理器。图像存储部件将具有第一分辨率的第一图像数据项和至少一个第二图像数据项存储为样本的各层级图像数据。第二图像数据项是通过以不同倍率对第一图像数据项进行空间压缩来获得的。图像数据获取部件从图像存储部件中存储的各层级图像数据中以能将第一分辨率等分的预定的第二分辨率为单位来获取图像数据，以便在显示设备上显示图像数据。注释设置部件响应于来自用户的指示而在所显示的图像数据的任意空间位置设置注释。图像优化部件基于所设置的注释并且逐层级地或以第二分辨率的单位来判断图像存储部件中存储的每一图像数据项是否是必要的，以便删除被确定为非必要的图像数据。

在本公开中，具有第一分辨率的第一图像数据项以及通过以不同倍率对第一图像数据项进行空间压缩而获得的一个或多个第二数据项组成样本的各层级图像数据。用于存储以不同分辨率分层的图像数据的图像存储部件随着样本的图像数据被逐个存储而容量变小。在本公开中，图像优化部件基于响应于来自用户的指示设置在图像数据中的注释，逐层级地或者以第二分辨率的单位来判断样本的各层级图像数据是否是必要的，以便删除被确定为非必要的图像数据。这里，带有注释的图像数据是至少一次吸引过图像观察者注意力的图像数据。因此，可以说，该数据在信息性方面很有价值。因此，该数据被从用于优化的删除数据中排除。相比之下，可以说，不带有注释的图像数据在信息性方面价值相对低。因此，该数据将被删除以进行优化。另外，注释被设置在图像数据的任意空间位置。因此，图像优化部件可以逐层级地或以第二分辨率的单位来确定图像数据是否是必要的，以便删除非必要的数据。因此，本公开提供了对以不同分辨率被分层级的图像数据的大小的有效减小而未降低图像数据的信息性。

基于本公开的另一方式的图像数据优化方法在图像存储部件中将具有第一分辨率的第一图像数据项以及至少一个第二图像数据项存储为样本的各层级图像数据。第二图像数据项是通过以不同倍率对第一图像数据项进行空间压缩来获得的。该图像数据优化方法使用图像数据获取部件来从图像存储部件中存储的各层级图像数据中以能将第一分辨率等分的预定的第二分辨率为单位获取图像数据，以便在显示设备上显示图像数据。该图像数据优化方法使用注释设置部件来响应于来自用户的指示而在所显示的图像数据的任意空间位置设置注释。该图像数据优化方法使用图像优化部件来基于所设置的注释并且逐层级地或以第二分辨率的单位来判断图像存储部件中存储的每一图像数据项是否是必要的，以便删除被确定为非必要的图像数据。

基于本公开的又一方式的程序允许计算机用作图像存储部件、图像数据获取部件、注释设置部件和图像优化部件。图像存储部件将具有第一分辨率的第一图像数据项和至少一个第二图像数据项存储为样本的各层级图像数据。第二图像数据项是通过以不同倍率对第一图像数据项进行空间压缩来获得的。图像数据获取部件从图像存储部件中存储的各层级图像数据中以能将第一分辨率等分的预定的第二分辨率为单位来获取图像数据，以便在显示设备上显示图像数据。注释设置部件响应于来自用户的指示而在所显示的图像数据的任意空间位置设置注释。图像优化部件基于所设置的注释并且逐层级地或以第二分辨率的单位来判断图像存储部件中存储的每一图像数据项是否是必要的，以便删除被确定为非必要的图像数据。

本公开有效地减小了以不同分辨率被分层级的图像数据的大小而未降低图像数据的信息性，从而大大提高了用于存储图像数据的设备的容量利用效率并确保了操作成本降低。

附图说明

图1是例示了根据本公开第一实施例的显微镜系统的整体结构的图示；

图2是例示了图1所示的控制设备的配置的框图；

图3是例示了图1所示的服务器设备的框图；

图4是例示了图1所示的观看者设备的配置的框图；

图5是例示了显微镜图像的压缩方法的示例的图示；

图6是例示了图像金字塔结构中向每个拼贴块指派ID的示例的图示；

图7是例示了图2所示的控制设备的操作的流程图；

图8是例示了图3所示的服务器设备的图像登记部件的操作的流程图；

图9是例示了图3所示的服务器设备的图像观看响应部件的操作的流程图；

图10是例示了图3所示的服务器设备的注释响应部件的操作的流程图；

图11是例示了样本图像数据群的第一优化方法的流程图；

图12是例示了使用第一方法的优化示例的图示；

图13是例示了样本图像数据群的第二优化方法的流程图；

图14是例示了使用第二方法的优化示例的图示；

图15是例示了样本图像数据群的第三优化方法的流程图；

图16是例示了使用第三方法的优化示例的图示；

图17是例示了缩放因子的改变和拼贴块之间的关系的图示；

图18是例示了利用XML的注释数据的描述示例的图示；

图19是例示了根据本实施例的显微镜系统的图像观看序列的图示；

图20是例示了当使用另一层级的图像数据来显示包括通过优化而被删除的拼贴块的图像区域时、观看者设备的操作的流程图；

图21是例示了用于使用伪拼贴块来显示图像的处理概况的图示；并且

图22是例示了计算机的硬件配置的图示。

具体实施方式

下面将参考附图给出对本公开的优选实施例的描述。

<第一实施例>

本公开涉及一种显微镜系统，所述显微镜系统包括用于捕获样本的放大图像的显微镜设备、用于对显微镜设备捕获的图像进行数字化和积累的服务器设备、以及能够为了观看目的而下载服务器设备中积累的图像数据的观看者设备。

在如上所述的显微镜系统中，由显微镜捕获并在服务器设备中积累的图像数据群(每个样本一个图像数据群)具有庞大的千兆字节量级的大小。结果，服务器设备的存储容量因为反复的图像捕获而被迅速消耗。这导致大量时间和劳动被花费在包括以短的间隔来更换存储装置和将数据转移到其他记录介质在内的维护上。结果，操作成本往往增加。因此，寻求这样一种装置，其中可以通过删除存储装置中存储的所有图像数据中重要性低的图像数据以进行优化，来将存储装置更换和数据转移的频率保持为最小值。

在本实施例中，图像数据中设置的“注释”被用作用于表示图像数据的重要程度的指示符。术语“注释”是指作为注解被添加到图像数据的信息。注释这个称呼不仅指代该信息，而且指代表示注解的存在或注解的内容的属性。服务器设备中积累的图像数据被观看者设备访问以便由观察者观察。此时，注释被按需要设置在观察者识别的图像中的感兴趣区域(空间位置)。在病理样本图像被观察以用于诊断的应用中，例如，多个观察者从他们的角度观察病理样本图像，以找出被怀疑为损伤部分的区域。此时，观看者设备的操作者、即观察者在被怀疑为损伤部分的区域设置注释。如上所述，注释的设置使得可以存储观察结果，从而大大改进病理诊断的效率。

以下将给出对能够使用注释来优化图像数据的显微镜系统的描述。

[显微镜系统的配置]

图1是例示了根据本公开第一实施例的显微镜系统的整体结构的图示。如图1所例示，显微镜系统100包括显微镜设备10、控制设备20、服务器设备30和观看者设备40。

显微镜设备10利用其放大光学系统来放大样本图像并在CCD(电荷耦合器件)图像传感器、CMOS(互补金属氧化物半导体)图像传感器或其他成像元件的成像表面上形成图像，将图像转换成电信号、对信号进行数字化并将数字信号发送到控制设备20。

控制设备20经由信号线连接到显微镜设备10，经由该信号线将各种控制信号提供到显微镜设备10并从显微镜设备10接收图像数据。控制设备20对从显微镜设备10获得的图像数据进行编码，将编码后的图像数据经由诸如局域网之类的第一网络1上传到服务器设备30。应该注意，控制设备20可以是普通PC(个人计算机)。

服务器设备30可经由第一网络1连接到控制设备20，积累从控制设备20经由第一网络1上传的图像数据。此外，服务器设备30可经由诸如局域网之类的第二网络2连接到观看者设备40，经由第二网络2以图像数据对来自观看者设备40的请求作出响应。

观看者设备40经由第二网络2向服务器设备30发送获取图像数据的请求，对作为响应从服务器设备30发送来的图像数据进行解码并将解码后的图像数据输出到连接到观看者设备40的外部显示设备。

应该注意，第一网络和第二网络1和2可以是共用网络。

[控制设备20的配置]

图2是例示了控制设备20的配置的框图。

如图2所例示，控制设备20例如包括显微镜I/O 21、图像压缩部件22、显微镜控制部件23和服务器I/O 24。显微镜I/O 21控制与显微镜设备10的各种数据的交换。图像压缩部件22从供应自显微镜I/O 21的原始图像生成图像金字塔结构，以预定分辨率(可将第一分辨率等分的预定第二分辨率)为单位(以拼贴块为单位)对金字塔结构中的各层级图像数据进行压缩编码。稍后将给出对图像金字塔结构的描述。可以使用的图像压缩编码方案有JPEG(联合图片专家组)和JPEG 2000。显微镜控制部件23控制显微镜设备10的镜台、成像部件和其他部件所执行的成像操作。服务器I/O 24控制与服务器设备30的各种数据的交换。

[控制设备20的操作]

图7是例示了控制设备20的操作的流程图。

控制设备20使用显微镜控制部件23来控制显微镜设备10的镜台、成像部件和其他部件，从而允许样本的图像被捕获(步骤S101)。结果，样本的原始图像被从显微镜设备10发送到控制设备20(步骤S102)。控制设备20的图像压缩部件22从获取自显微镜设备10的原始图像生成图像金字塔结构，以拼贴块为单位对金字塔结构中的各层级图像数据进行压缩编码(步骤S103)。以下，如上所述从单个样本获取的压缩编码后的各层级图像数据将被称为“样本图像数据群”。样本图像数据群经由服务器I/O24被上传到服务器设备30并被与样本标题相关联地存储到服务器设备30的图像数据存储装置中(步骤S104)。

应该注意，如果放置在载玻片上并且用盖玻片覆盖的样本被观察，则载玻片上标记的ID(载片标题)可被用作用于识别样本图像数据群的标题。

[样本图像数据群的结构]

控制设备20的图像压缩部件22以1/2、1/2²，1/2³一直到1/2^N的倍率对从样本获得的原始图像进行空间压缩。这提供了样本的(N+1)层级的图像数据。这种作为如上所述的以不同倍率压缩原始图像的结果，使得包含原始图像在内的图像被分层级的结构被称为“图像金字塔结构”。

此外，以可将原始图像的分辨率等分的预定分辨率为单位来管理各层级图像数据。该单位是上述拼贴块。拼贴块的分辨率例如是256乘256像素或256乘512像素。拼贴块ID被指派给每个拼贴块，以便拼贴块在图像金字塔结构中分别是可识别的。这使得观看者设备40能够使用样本标题和拼贴块ID的组合来唯一地指定改变要显示的图像的层级位置(改变缩放因子)或要显示的图像的位置所需的信息。此外，服务器设备30可以基于样本标题和拼贴块ID的组合来从图像数据存储装置唯一地识别适当拼贴块。从观看者设备40的角度，这有助于快速响应。

图5是例示了原始图像的压缩方法的示例的图示。

为了简化说明，我们假设在本示例中，层级的数目为三并且原始图像包括纵横四乘四个拼贴块或16个拼贴块的群。这种情况下，通过以1/2的倍率压缩原始图像而获得的图像包括纵横二乘二个拼贴块或4个拼贴块的群。通过以1/22的倍率压缩原始图像而获得的图像包括一个拼贴块。然而，实际上不止三层。图6是例示了向每个拼贴块指派ID的示例的图示。向如上所述的拼贴块中的每一个拼贴块指派唯一ID允许每个拼贴块通过其拼贴块ID被唯一地指定。此外，可以容易地得知不同层级的拼贴块之间的空间对应关系。术语“不同层级的拼贴块之间的空间对应关系”是指拼贴块位于共同的空间位置的事实。例如，在图6中可以说，层级2中拼贴块ID为‘4’的拼贴块在空间上对应于层级3(原始图像)中拼贴块ID为‘14’、‘15’、‘18’和‘19’的四个拼贴块。

[服务器设备30的配置]

图3是例示了服务器设备30的框图。

如图3所例示，服务器设备30包括控制设备I/O 31、图像数据存储装置32(图像存储部件)、注释存储装置33、图像登记部件34、图像观看响应部件35(图像数据获取部件的一部分)、图像优化/删除响应部件36(图像优化部件)、注释响应部件37(注释设置部件的一部分)以及观看者I/O 38。

控制设备I/O 31控制与控制设备20的各种数据的交换。图像数据存储装置32是用于将样本图像数据群与样本标题相关联地存储的随机存取存储部件。注释存储装置33是用于存储样本图像数据群中设置的注释的数据的存储部件。

图像登记部件34如图8所示接受从控制设备20经由控制设备I/O 31上传的样本图像数据群(步骤S201)。该部件34将接受的样本图像数据群与样本标题相关联地存储在图像数据存储装置32中(步骤S202)。然后，图像登记部件34生成诸如原始图像的分辨率和样本图像数据群的层级数目之类的元数据，将元数据与样本标题相关联地登记在图像元数据存储装置(未示出)中。

观看者I/O 38控制与观看者设备40的各种数据的交换。

图像观看响应部件35接受来自观看者设备40的包括样本标题的元数据获取请求或包括样本标题和拼贴块ID的图像观看请求，并对该请求作出响应。也就是说，当图像观看响应部件35如图9所示从观看者设备40接收到包括样本标题的获取元数据的请求时(步骤S301中的是)，该部件35基于样本标题来从图像元数据存储装置(未示出)读取与所讨论的样本图像数据群有关的元数据，经由观看者I/O 38将元数据发送到观看者设备40(步骤S302)。观看者设备40可以基于所获取的元数据来识别样本图像数据群的图像金字塔结构。这使得观看者设备40能够计算用于识别图像数据的拼贴块ID，即改变要显示的图像的层级位置(改变缩放因子)或要显示的图像的位置所需的ID。此外，如果包括样本标题和拼贴块ID的图像观看请求被从观看者设备40接收(步骤S303中的是)，则图像观看响应部件35基于图像观看请求中包括的样本标题和拼贴块ID来搜索图像数据存储装置32中的适当图像数据(拼贴块)，经由观看者I/O 38将图像数据发送到观看者设备40(步骤S304)。

注释响应部件37接受来自观看者设备40的注释存储和获取请求，并对该请求作出响应。也就是说，当注释响应部件37如图10所示从观看者设备40接收注释存储请求时(步骤S403中的是)，该部件37基于注释存储请求中包括的信息来生成注释数据，将注释数据与样本标题相关联地登记在注释存储装置33中(步骤S404)。注释存储请求中包括的信息是样本标题和图像位置信息。图像位置信息项有：图像的层级位置以及所述层级的图像在坐标空间中的位置。当注释响应部件37从观看者设备40接收注释获取请求时(步骤S401中的是)，该部件37从注释存储装置33读取与注释获取请求中包括的样本标题(在观看者设备40上被观看的图像的样本标题)相关联的注释数据，经由观看者I/O 38对观看者设备40作出响应(步骤S402)。

当图像优化/删除响应部件36从观看者设备40接收优化请求时，该部件36基于与优化请求中包括的样本标题相关联的注释数据来逐拼贴块或逐层地确定重要性低的图像数据，从而删除重要性低的图像数据项以优化图像数据存储装置32中存储的样本图像数据群。图像数据存储装置32中存储的样本图像数据群在下面将被称为“样本图像数据群”。稍后将给出对样本图像数据群的优化的详细描述。

另一方面，当图像优化/删除响应部件36从观看者设备40接收删除请求时，该部件36基于删除请求中包括的样本标题来从图像数据存储装置32删除适当的样本图像数据群或从注释存储装置33删除适当的注释数据。

[观看者设备40的配置]

图4是例示了观看者设备40的配置的框图。

如图4所示，观看者设备40例如包括服务器I/O 41、控制器I/O 42、图像数据获取部件43(图像数据获取部件)、注释获取部件44、解码器45、显示融合部件46(伪拼贴块生成部件)、显示位置计算部件47、注释存储部件48(注释设置部件的一部分)以及图像优化/删除请求部件49。

服务器I/O 41控制与服务器设备30的各种数据的交换。控制器I/O 42是用于与用户操纵的控制器50通信的接口。控制器50可以接受来自用户的各种指令和输入数据。

用户可以通过操纵控制器50来发出各种指令，包括：

1.用于改变要显示的图像的层级位置的指令(缩放因子改变指令)

2.用于改变要显示的图像的空间位置的指令

3.注释设置指令

4.用于优化样本图像数据群的指令

5.用于删除样本图像数据群的指令

这些指令例如是经由显示设备60的画面上显示的GUI(图形用户接口)来输入的。用于改变要显示的图像的层级位置的指令(缩放因子改变指令)以及用于改变要显示的图像的空间位置的指令统称为视角改变指令。

图像数据获取部件43将包括样本标题的元数据获取请求发送到服务器设备30，从而从服务器设备30获取与适当的样本图像数据群有关的元数据。此外，图像数据获取部件43可以通过基于所获取的元数据识别样本图像数据群的图像金字塔结构来计算用于识别图像数据的拼贴块ID，即改变要显示的图像的层级位置(改变缩放因子)或要显示的图像的位置所需的ID。然后，图像数据获取部件43生成包括该拼贴块ID和样本标题的图像观看请求并经由服务器I/O 41将该请求发送到服务器设备30，从而从服务器设备30获取必要的图像数据(拼贴块)。

注释获取部件44将包括样本标题的注释获取请求经由服务器I/O 41发送到服务器设备30，从而从服务器设备30获取与样本标题相关联的注释数据。

解码器45对从图像数据获取部件43获取的图像数据(拼贴块)进行解码，从而恢复位图格式的图像。

图像融合部件46将解码器45生成的位图格式的图像与注释获取部件44获取的注释数据融合，从而生成画面图像并将该画面图像输出到连接到观看者设备40的显示设备60。

显示位置计算部件47计算在作为操纵控制器50的结果，使得要显示的图像的层级位置(缩放因子)或要显示的图像的位置被用户(即样本观察者)改变之后的要被显示的图像数据的拼贴块ID，从而请求图像数据获取部件43发送图像观看请求。响应于该请求，图像数据获取部件43将包括样本标题和计算出的拼贴块ID的图像观看请求经由服务器I/O 41发送到服务器设备30。

当作为操纵控制器50的结果，被提供了来自用户的包括图像位置信息的注释设置指令时，注释存储部件48将注释存储请求经由服务器I/O 41发送到服务器设备30。注释存储请求包括样本标题和图像位置信息。图像位置信息项有：用户所指定的图像的层级、拼贴块ID和拼贴块中的位置。

当作为操纵控制器50的结果，被提供了来自用户的包括图像位置信息的样本图像数据群优化指令时，图像优化/删除请求部件49将优化请求经由服务器I/O 41发送到服务器设备30。此外，当作为操纵控制器50的结果，被提供了来自用户的包括图像位置信息的样本图像数据群删除指令时，图像优化/删除请求部件49将包括正被观看的样本的标题的删除请求经由服务器I/O 41发送到服务器设备30。

[观看者设备40中的图像显示的放大/缩小]

观看者设备40支持图像显示的放大和缩小。

当作为操纵控制器50的结果，被提供了来自用户的缩放因子改变指令(放大/缩小指令)时，显示位置计算部件47计算与所指定的缩放因子相关联的分辨率(层级)的所有图像数据的必要拼贴块的ID，请求图像数据获取部件43获取具有该ID的拼贴块。响应于该请求，图像数据获取部件43生成包括拼贴块ID和样本标题的图像观看请求，将该请求经由服务器I/O 41发送到服务器设备30并从服务器设备30获取拼贴块。所获取的拼贴块被解码器45解码并经由显示融合部件46被输出到显示设备60。这使得图像显示的缩放因子能够被改变。

图17是例示了缩放因子的改变和拼贴块之间的关系的图示。

在图17中，标号D表示显示设备60的物理画面。当在通过将原始图像压缩到单个拼贴块的分辨率而获得的层级1中的拼贴块(拼贴块ID 1)被显示在物理画面D上的同时放大指令被提供时，显示位置计算部件47进行计算以确定放大后所需的拼贴块是层级2中ID为‘2’，‘3’，‘4’和‘5’的拼贴块。结果，图像数据获取部件43将包括拼贴块ID‘2’，‘3’，‘4’和‘5’的图像观看请求发送到服务器设备30，从而获取四个拼贴块并将这些拼贴块供应到解码器45。接着，当放大指令被再次提供时，显示位置计算部件47进行计算以确定放大后所需的拼贴块是层级3中ID为‘11’，‘12’，‘15’和‘16’的拼贴块。结果，图像数据获取部件43将包括拼贴块ID‘11’，‘12’，‘15’和‘16’的图像观看请求发送到服务器设备30，从而获取新的四个拼贴块并将这些拼贴块供应到解码器45。

[注释的设置和存储]

以下将给出对注释的设置和存储的描述。

注释例如是由观察者通过操纵控制器50并用通过显示设备60的画面的线来标记被怀疑为损伤部分的任意区域或者包围该区域来设置的。作为替代，可以将注释设置到正被显示的图像的层级。当被提供了来自用户的注释设置指令时，观看者设备40的注释存储部件48生成注释存储请求，将该请求发送到服务器设备30，所述注释存储请求包括样本标题和层级级别信息以及该层级级别处图像的坐标空间中由用户指定的标记线或包围线的位置信息。

当服务器设备30的注释响应部件37从观察者设备40接收到注释存储请求时，该部件37基于注释存储请求中的信息来生成注释数据并将该数据存储在注释存储装置33中。

注释数据项有：样本标题、带有注释的层级以及所讨论的层级级别处图像的坐标空间中的注释位置。图18例示了利用诸如XML(可扩展标记语言)之类的标记语言来描述注释数据的示例。利用XML，样本标题可被描述为载片元素的名称属性的值。此外，注释位置可用位置元素的x和y属性的值来描述。另外，图像层级级别可用位置元素的缩放级别属性的值来描述。应该注意，注释元素的类型属性的值表示注释类型。在图18所示的示例中，注释类型为“箭头”。这意味着该注释使用箭头来指示图像的任意区域。使用这种格式的注释数据使得服务器设备30的图像优化/删除响应部件36不仅能唯一地得知带有注释的层级而且能容易地计算包括所讨论的层级级别处图像的坐标空间中的注释位置的拼贴块ID。

下面将给出对根据本实施例的显微镜系统100的操作的描述。将按以下顺序来描述显微镜系统100的操作：

1.正常图像观看序列

2.包括样本图像数据群的优化的图像观看序列

3.优化样本图像数据群的操作

4.显示包括为了优化而删除的拼贴块的图像的操作

[1.正常图像观看序列]

图19是例示了根据本实施例的显微镜系统100的图像观看序列的图示。

首先，包括样本标题的元数据获取请求被从观看者设备40的图像数据获取部件43发送到服务器设备30(S801)。当服务器设备30的图像观看响应部件35接收到元数据获取请求时，该部件35基于元数据获取请求中包括的样本标题来搜索图像元数据存储装置(未示出)中与适当样本图像数据群有关的元数据，并对观看者设备40作出响应(步骤S802)。

接着，包括样本标题的注释获取请求被从观看者设备40的注释获取部件44发送到服务器设备30(S803)。当服务器设备30的注释响应部件37从观看者设备40接收到注释获取请求时，该部件37基于注释获取请求中包括的样本标题来搜索注释存储装置33中的适当注释数据，并对观看者设备40作出响应(步骤S804)。

接着，包括样本标题、默认拼贴块ID(例如，1)等的图像观看请求被从观看者设备40的图像数据获取部件43发送到服务器设备30(S805)。当服务器设备30的图像观看响应部件35接收到图像观看请求时，该部件35基于图像观看请求中包括的样本标题和拼贴块ID来搜索图像数据存储装置32中的适当图像数据(拼贴块)，并将该图像数据传送到观看者设备40(步骤S806)。图像观看请求的发送和图像数据的接收被重复显示所需的拼贴块的数目那么多次。观看者设备40接收的图像数据(拼贴块)首先被解码器45解码，然后被显示融合设备46与必要的注释数据(拼贴块中设置的注释数据)相融合，最后被供应到显示设备60。这使得要观看的样本的第一图像被显示在显示设备60上(S807)。

观看者设备40的用户可以通过操纵控制器50来输入用于改变要显示的图像的层级位置的指令(缩放因子改变指令)或用于改变要显示的图像的位置的指令，来作为视角改变指令。当视角改变指令被从控制器50输入时(S808)，显示位置计算部件47计算改变之后要显示的图像数据的拼贴块ID，从而请求图像数据获取部件43发送图像观看请求。响应于该请求，图像数据获取部件43将包括样本标题和显示位置计算部件47计算出的拼贴块ID的图像观看请求发送到服务器设备30(步骤S809)。当服务器设备30的图像观看响应部件35从观看者设备40接收到图像观看请求时，该部件35类似地搜索适当的图像数据(拼贴块)，将图像数据传送到观看者设备40(S810)。图像观看请求的发送和图像数据(拼贴块)的接收被重复显示所需的拼贴块的数目那么多次。观看者设备40接收的每个图像数据项首先被解码器45解码，然后被显示融合设备46与必要的注释数据(拼贴块中设置的注释数据)相融合，最后被供应到显示设备60。这使得新视角的图像被显示(S811)。

[2.包括样本图像数据群的优化的图像观看序列]

下面将参考图19来给出对包括样本图像数据群的优化的图像观看序列的描述。

观看者设备40的用户可以通过操纵控制器50并指定显示设备60上显示的任意层级的图像中的任意位置来输入注释设置指令。当注释设置指令被输入时(S812)，观看者设备40的注释存储部件48生成包括样本标题、所指定的层级以及在该层级的图像中任意指定的位置信息的注释存储请求，将该请求发送到服务器设备30(S813)。当服务器设备30的注释响应设备37从观看者设备40接收到注释存储请求时，该部件37基于该请求中包括的信息来生成注释数据，将注释数据存储在注释存储装置33中。当注释数据的存储完成时，注释存储响应被发送到观看者设备40(S814)。

观看者设备40的用户可以在任何时刻通过操纵控制器50来输入用于优化与显示设备60上显示的样本图像相关联的样本图像数据群的指令。当作为操纵控制器50的结果，被提供了来自用户的优化指令时(S815)，观看者设备40的图像优化/删除请求部件49将包括正被显示的样本标题的优化请求经由服务器I/O 41发送到服务器设备30(S816)。当图像优化/删除响应部件36从观看者设备40接收到优化请求时，该部件36基于与优化请求中包括的样本标题相关联的注释数据来逐拼贴块或逐层地确定要删除的图像数据，从而从图像数据存储装置32删除图像数据项以优化样本图像数据群。当样本图像数据群的优化完成时，表示此意的信息被发送到观看者设备40作为优化响应(S817)。

我们假设来自用户的视角改变指令随后以和上述方式相同的方式作为操纵控制器50的结果被提供(S818)。显示位置计算部件47基于视角改变指令来计算改变之后要显示的图像数据的拼贴块ID，从而请求图像数据获取部件43发送图像观看请求。响应于该请求，图像数据获取部件43将包括样本标题和显示位置计算部件47计算出的拼贴块ID的图像观看请求发送到服务器设备30(步骤S819)。当服务器设备30的图像观看响应部件35从观看者设备40接收到图像观看请求时，该部件35类似地搜索适当的图像数据(拼贴块)，将图像数据传送到观看者设备40(S820)。图像观看请求的发送和图像数据的接收被重复显示所需的拼贴块的数目那么多次。观看者设备40接收的每个图像数据项首先被解码器45解码，然后被显示融合设备46与必要的注释数据(拼贴块中设置的注释数据)相融合，最后被供应到显示设备60。这使得新视角的图像被显示(S821)。然而应该注意，此时，通过优化而被删除的图像数据(拼贴块)可以是所请求的图像的一部分。稍后将给出对该情况的描述。

[3.优化样本图像数据群的操作]

以下将给出对服务器设备30的图像优化/删除响应部件36执行的样本图像数据的优化的详细描述。图像数据可以通过以下方法之一被删除以进行优化：

第一方法：如果样本图像数据群中未设置注释，则删除具有预定分辨率或更高分辨率的图像数据

第二方法：删除具有预定分辨率或更高分辨率的所有图像数据中的带有注释的拼贴块以外的拼贴块

第三方法：删除分辨率比带有图像数据中所设置的注释的层级的分辨率高的层级中的图像数据

以下将给出对每个优化方法的描述。

图11是样本图像数据群的第一优化方法的流程图。当图像优化/删除响应部件36从观看者设备40接收到优化请求时(步骤S501中的是)，该部件36在注释存储装置33中搜索与优化请求中包括的样本标题相关联的注释数据(步骤S502)。如果没有适当的注释数据(步骤S503中的否)，则图像优化/删除响应部件36确定具有预定分辨率或更高分辨率的图像数据是非必要的，从而从图像数据存储装置32删除该图像数据(步骤S504)。另一方面，当与优化请求中包括的样本标题相关联的注释数据在注释存储装置33中被发现时(步骤S503中的是)，图像优化/删除响应部件36不做任何事情地终止优化。

图12是例示了使用第一方法的优化示例的图示。

我们假设例如未在由三个层级组成的图像金字塔结构的任何层级中的任何拼贴块中设置注释。在方法1中，如果未在任何层级中设置注释，则图像优化/删除响应部件36确定具有预定分辨率或更高分辨率的图像数据是非必要的，从而从图像数据存储装置32删除该图像数据。该示例例示了具有层级3(原始图像)的分辨率或更高分辨率的所有图像数据被删除的情况。要删除的图像数据的分辨率可被指定以改变该分辨率。作为替代，要被删除的图像数据可通过指定层级而不是指定分辨率来选择。

图13是第二优化方法的流程图。当图像优化/删除响应部件36从观看者设备40接收到优化请求时(步骤S601中的是)，该部件36在注释存储装置33中搜索与优化请求中包括的样本标题相关联的注释数据(步骤S602)。当存在适当的注释数据时(步骤S603中的是)，图像优化/删除响应部件36获取注释位置信息，即注释被设置的层级以及所述层级中图像的坐标空间中的注释位置(步骤S604)。图像优化/删除响应部件36基于所获取的注释位置信息来计算包括该注释的拼贴块的ID，并确定具有预定分辨率或更高分辨率的层级中的所有图像数据中的带有注释的拼贴块以外的拼贴块是非必要的，从而从图像数据存储装置32删除该图像数据(步骤S605)。如果注释存储装置33中不存在与优化请求中包括的样本标题相关联的注释数据(步骤S603中的否)，则图像优化/删除响应部件36确定具有预定分辨率或更高分辨率的图像数据是非必要的，从而从图像数据存储装置32删除该图像数据(步骤S606)。

图14是例示了使用第二方法的优化示例的图示。

假设例如在由三个层级组成的图像金字塔结构中包括注释A1和A2(注释A1和A2分别在层级3(原始图像)中的两个拼贴块中)，则我们考虑层级3(原始图像)或更低层级中的图像数据将被删除以进行优化的情况。这种情况下，图像优化/删除响应部件36根据第二方法确定在层级3(原始图像)的图像数据中，包括注释A1和A2的拼贴块(拼贴块ID为‘8’和‘9’的拼贴块)以外的那些拼贴块是非必要的，从而从图像数据存储装置32删除该图像数据。当层级2或更低层级中的图像数据将被删除时也是如此。

图15是第三优化方法的流程图。当图像优化/删除响应部件36从观看者设备40接收到优化请求时(步骤S701中的是)，该部件36在注释存储装置33中搜索与优化请求中包括的样本标题相关联的注释数据(步骤S702)。当存在适当的注释数据时(步骤S703中的是)，图像优化/删除响应部件36获取注释数据中的带有注释的层级中的数据(步骤S704)。该部件36确定分辨率高于带有注释的层级的分辨率的层级中的图像数据是非必要的，从而从图像数据存储装置32删除该图像数据(步骤S705)。当注释存储装置33中不存在与优化请求中包括的样本标题相关联的适当注释数据时(步骤S703中的否)，图像优化/删除响应部件36确定具有预定分辨率或更高分辨率的图像数据是非必要的，从而从图像数据存储装置32删除该图像数据(步骤S706)。

图16是例示了使用第三方法的优化示例的图示。

我们假设例如注释A3被包括在由三个层级组成的图像金字塔结构中的层级2中。这种情况下，图像优化/删除响应部件36根据第三方法确定分辨率高于层级2的分辨率的层级中的图像数据、即层级3(原始图像)中的图像数据是非必要的，从而从图像数据存储装置32删除该图像数据。

[4.显示包括为了优化而删除的拼贴块的图像的操作]

如前所述，可能地，包括通过优化而被删除的被删除拼贴块的图像区域可被显示。这种情况下，存在与被删除拼贴块相对应的区域应如何被显示的问题。以下是可能的补救方法：

第一方法：将被删除拼贴块的区域显示为黑色

第二方法：从不同层级中的图像数据生成伪拼贴块(dummy tile)并显示该伪拼贴块

这里将给出对使用第二方法的情况的描述。

图20是例示了当使用另一层级中的图像数据来显示包括通过优化而被删除的拼贴块的图像区域时、观看者设备40的操作的流程图。

在确定要获取的图像数据的拼贴块ID之后(步骤S901)，观看者设备40的图像数据获取部件43生成包括该拼贴块ID的图像观看请求，将该请求发送到服务器设备30(步骤S902)。

响应于图像观看请求，当与图像观看请求中包括的拼贴块ID相关联的图像数据被存储在图像数据存储装置32中时，服务器设备30向观看者设备40发送这种数据作为图像观看响应。如果这种数据未被存储在图像数据存储装置32中，则服务器设备30向观看者设备40发送表示该图像数据未被存储的信息来作为图像观看响应。

当观看者设备40的图像数据获取部件43从服务器设备30接收到图像观看响应时(步骤S903)，并且当图像观看响应中包括图像数据时(步骤S904中的是)，该部件43将图像数据供应到解码器45(步骤S905)。经解码器45解码的图像数据被显示融合部件46与相关联的注释数据相融合，并被供应到显示设备60(步骤S906)。

另一方面，如果由于通过优化而被删除的拼贴块是要获取的图像因而图像观看响应中不包括图像数据(步骤S904中的否)，则图像数据获取部件43将变量M初始化为‘1’(步骤S908)，从而计算上一层级中与未被获取的拼贴块在位置上相对应的图像数据拼贴块的拼贴块ID(步骤S909)。变量M指示被请求拼贴块的层级之上的多少个层级的图像数据应当被获取。然后，图像数据获取部件43生成包括拼贴块ID的图像观看请求，将该请求发送到服务器设备30(步骤S910)。当观看者设备40的图像数据获取部件43从服务器设备30成功获取替代图像数据时(步骤S911和步骤S912中的是)，该部件43将该图像数据供应到解码器45(步骤S913)。经解码器45解码的图像数据被供应到图像融合部件46。该部件46将解码后的图像放大到原本被请求层级中的图像数据的倍率，剪出必要区域中的图像，添加预定的视觉效果来作为伪拼贴块，然后将图像输出到显示设备60(步骤S914)。

例如，我们考虑图14中要观看的拼贴块是层级3(原始图像)中ID为‘7’，‘8’，‘11’和‘12’的拼贴块的情况。我们假设注释A1被设置在层级3(原始图像)中ID为‘8’的拼贴块中，并且ID为‘7’，‘11’和‘12’的三个拼贴块已通过优化而被删除。图21是例示了用于使用伪拼贴块来显示图像的处理概况的图示。

如图14所例示，图像数据获取部件43获取两个拼贴块，即与ID为‘7’和‘11’的两个拼贴块在空间上相对应的层级2中的ID为‘2’的拼贴块以及与ID为‘12’的拼贴块在空间上相对应的层级2中的ID为‘3’的拼贴块。如图21所例示，显示融合部件46将ID为‘2’和‘3’的拼贴块中的每一个放大两倍。接着，显示融合部件46将放大后的每个图像数据项四等分。然后，该部件46将ID为‘2’的拼贴块的放大图像的右侧两个区域中的两个图像数据项2-2和2-4剪出，以用作要观看的层级3(原始图像)中ID为‘7’和‘11’的拼贴块的伪拼贴块。此外，该部件46将ID为‘3’的拼贴块的放大图像的左下区域中的图像数据项3-3剪出，以用作要观看的层级3(原始图像)中ID为‘12’的拼贴块的伪拼贴块。接着，显示融合部件46对剪出的图像数据项2-2、2-4和3-3统一进行图像处理以添加预定的视觉效果来作为伪拼贴块。然后，该部件46将剪出的图像数据项2-2、2-4和3-3以及带有注释A1的层级3(原始图像)中ID为‘8’的拼贴块连在一起成为单个图像数据项。

用于按给定比例统一降低图像数据的亮度的处理是被添加作为伪拼贴块的视觉效果的示例。然而，作为视觉效果来执行的处理不限于此，并且任何处理都是可接受的，只要该处理允许用户像这样在视觉上标识出伪拼贴块即可。

如果观看者设备40的图像数据获取部件43未能在上一层级中获取图像数据拼贴块(步骤S912中的否)，则该部件43将值M递增(步骤S915)并尝试在更上一层级获取图像数据拼贴块。最后，如果图像数据获取部件43未能从任何层级获取能够生成伪拼贴块的图像数据(步骤S915中的是)，则显示融合部件46生成用于填充拼贴块的预定图像，从而将图像输出到显示设备60(步骤S917)。预定图像例如可以是黑色图像。

如上所述，在本实施例中，服务器设备30的图像优化/删除响应部件36基于图像数据中设置的注释逐层或逐拼贴块地确定图像数据是否是非必要的，从而从图像数据存储装置32删除图像数据。这里，带有注释的图像数据是至少一次吸引过图像观察者注意力的图像数据。因此，可以说该数据在信息性方面很有价值。因此，该数据被从用于优化的删除数据中排除。相比之下，可以说，不带有注释的图像数据在信息性方面价值相对低。因此，该数据将被删除以进行优化。因此，本公开使得能够有效地减小以不同分辨率被分层级的图像数据的大小而未降低图像数据的信息性，从而大大提高了用于存储图像数据的设备的容量利用效率并确保了降低的操作成本。

此外，本实施例可以以伪方式来再现和显示被优化删除的拼贴块，从而提供没有缺少被删除拼贴块的图像那么不自然的要观看的图像。此外，被优化删除的拼贴块很可能是在信息性方面价值相对低的图像数据。因此，用以伪方式从其它层中在空间上相对应的拼贴块生成的伪拼贴块来补偿被删除的拼贴块对观察根本无损害。

[根据第一实施例的显微镜系统100和根据本公开的信息处理器之间的关系]

在第一实施例中，显微镜系统100包括显微镜设备10、控制设备20、服务器设备30和观看者设备40。然而，控制设备20、服务器设备30和观看者设备40中的每一个不一定被实施为单独的设备。例如，控制设备20、服务器设备30和观看者设备40可被组合为单个基于计算机的信息处理器。或者，服务器设备30和观看者设备40可被组合成单个信息处理器。又或者，控制设备20和服务器设备30可被组合成单个信息处理器。

[控制设备20、服务器设备30和观看者设备40的硬件配置]

下面将给出对控制设备20、服务器设备30和观看者设备40的硬件配置的描述。控制设备20、服务器设备30和观看者设备40中的每一个具有典型的计算机硬件。

图22是例示了在控制设备20、服务器设备30和观看者设备40的每一个中使用的计算机的硬件配置的图示。

如图22所例示，计算机例如包括CPU 71、ROM 72、主存储器73、存储部件74、网络接口部件75、数据I/O接口部件76、显示控制部件77、用户输入接口部件78和系统总线79。

ROM 72存储CPU 71运行的程序、各种固定数据和其他信息。

主存储器73被用作CPU 71执行的算术运算的工作区域。

存储部件74被设计成将图像数据和其他数据存储为用户数据。更具体地，该部件74是诸如HDD或SSD(固态驱动器)之类的大容量可重写存储设备。

网络接口部件75处理与诸如互联网或局域网之类的网络80的有线和无线连接。

数据I/O接口部件76用于与外部设备(例如，显微镜设备10)交换各种数据。

显示控制部件77生成将被输出到显示设备90的显示数据。

用户输入接口部件78处理来自诸如鼠标、键盘或控制器之类的用户的输入设备91的输入。

CPU(中央处理单元)71可以根据ROM 72中存储的程序以各种方式实施控制并执行算术运算。

不言自明，本公开不限于上述实施例，而是可以在不脱离本公开的精神的情况下通过各种方式被修改。

<修改例>

不一定存在单个服务器设备。可在两个或更多个服务器设备间分布每个处理。或者，可以存在连接到服务器设备的两个或更多个观看者设备。这种情况下，多个观察者可以通过将同一图像观看请求从观看者设备发送到服务器设备来同时观察同一样本图像，从而提高诊断效率。另一方面，如果两个或更多个观看者设备被连接到服务器设备，则最好引入用于管理发送优化请求的权限的装置。

观看者设备40可集成地包括控制器50或显示设备60。

本公开包含与2010年12月24日提交日本专利局的日本优先专利申请JP 2010-287247中公开主题相关的主题，该日本优先专利申请的全部内容通过引用结合于此。

Claims (9)

1.一种信息处理器，包括：

图像存储部件，用于将具有第一分辨率的第一图像数据项和至少一个第二图像数据项存储为样本的各层级图像数据，所述第二图像数据项是通过以不同倍率对所述第一图像数据项进行空间压缩来获得的；

图像数据获取部件，用于从所述图像存储部件中存储的所述各层级图像数据中以能够将所述第一分辨率等分的预定的第二分辨率为单位来获取图像数据，以便在显示设备上显示所述图像数据；

注释设置部件，用于响应于来自用户的指示而在所显示的图像数据的任意空间位置上设置注释；以及

图像优化部件，用于基于所设置的注释并且逐层级地或以所述第二分辨率的单位来判断所述图像存储部件中存储的每一图像数据项是否是必要的，以便删除被确定为非必要的图像数据。

2.根据权利要求1所述的信息处理器，其中

所述至少一个第二图像数据项是通过以1/2、1/2²，1/2³一直到1/2^N的倍率对所述第一图像数据项进行空间压缩而获得的图像数据，其中N是大于或等于1的常数。

3.根据权利要求2所述的信息处理器，其中

如果未在样本的任何层级中的任何图像数据项中设置注释，则所述图像优化部件删除具有预定分辨率或更高分辨率的层级中的图像数据。

4.根据权利要求2所述的信息处理器，其中

所述图像优化部件删除分辨率高于带有注释的层级的分辨率的层级中的图像数据。

5.根据权利要求2所述的信息处理器，其中

所述图像优化部件通过将所述第二分辨率的单位作为拼贴块来删除具有预定分辨率或更高分辨率的层级中的所有图像数据的带有注释的拼贴块以外的至少一个拼贴块。

6.根据权利要求5所述的信息处理器，其中

当被所述图像优化部件删除的拼贴块是要显示的图像数据时，所述图像数据获取部件从所述图像存储部件获取与被删除拼贴块在空间上相对应的其他层级中的拼贴块，所述信息处理器还包括：

伪拼贴块生成部件，用于从所述图像数据获取部件获取的所述其他层级中的拼贴块生成被删除拼贴块的伪拼贴块。

7.根据权利要求6所述的信息处理器，其中

所述伪拼贴块生成部件以能从正常拼贴块识别出所述伪拼贴块的方式将视觉特征添加到所生成的伪拼贴块上。

8.一种图像数据优化方法，包括：

在图像存储部件中将具有第一分辨率的第一图像数据项以及至少一个第二图像数据项存储为样本的各层级图像数据，所述第二图像数据项是通过以不同倍率对所述第一图像数据项进行空间压缩来获得的；

使用图像数据获取部件来从所述图像存储部件中存储的各层级图像数据中以能够将所述第一分辨率等分的预定的第二分辨率为单位获取图像数据，以便在显示设备上显示图像数据；

使用注释设置部件来响应于来自用户的指示而在所显示的图像数据的任意空间位置上设置注释；以及

使用图像优化部件来基于所设置的注释并且逐层级地或以所述第二分辨率的单位来判断所述图像存储部件中存储的每一图像数据项是否是必要的，以便删除被确定为非必要的图像数据。

9.一种程序允许计算机用作：

图像存储部件，用于将具有第一分辨率的第一图像数据项和至少一个第二图像数据项存储为样本的各层级图像数据，所述第二图像数据项是通过以不同倍率对所述第一图像数据项进行空间压缩来获得的；

图像数据获取部件，用于从所述图像存储部件中存储的各层级图像数据中以能够将所述第一分辨率等分的预定的第二分辨率为单位来获取图像数据，以便在显示设备上显示图像数据；

注释设置部件，用于响应于来自用户的指示而在所显示的图像数据的任意空间位置上设置注释；以及

图像优化部件，用于基于所设置的注释并且逐层级地或以所述第二分辨率的单位来判断所述图像存储部件中存储的每一图像数据项是否是必要的，以便删除被确定为非必要的图像数据。

Images