CN102081496A - 信息处理装置、方法及计算机可读介质 - Google Patents

Abstract

本发明提供了信息处理装置、信息处理方法及计算机可读介质。在一个示例性实施方式中，该信息处理装置生成与注解信息相关联的第一缩略图像，并使显示装置显示第一缩略图像。利用第一缩略图像的尺寸，信息处理装置确定对应于注解信息的第一注解的显示尺寸。利用所确定的显示尺寸，信息处理装置确定第二注解。在一个示例性实施方式中，信息处理装置使显示装置以与第一缩略图像重叠的方式显示所确定的第二注解。

Description

信息处理装置、方法及计算机可读介质

相关申请的参考

本申请要求于2009年11月30日向日本专利局提交的日本专利申请第JP 2009-272713号的优先权，将其全部内容结合于此作为参考。

技术领域

本发明涉及用于在医学、病理学、生物学、材料科学等领域中控制通过显微镜所获得的图像的显示的信息处理装置、信息处理方法及计算机可读介质。

背景技术

在医学、病理学等领域，已经提出了将通过光学显微镜获得的活体的细胞、组织、器官等的图像数字化、从而使医生或病理学家基于数字化图像来检查组织等或诊断病人的系统。

例如，日本专利申请公开第2009-37250号(在下文中称为专利文献1)公开了这样一种方法，其中，通过显微镜以光学方式获得的图像通过具有CCD(电荷耦合器件)的视频摄像机数字化，数字信号被输入至控制计算机系统，并且图像在监视器上可视。病理学家在观察显示在监视器上的图像的同时执行检查(例如，参见专利文献1的段落[0027]和[0028]和图5)。这样的系统通常被称为“虚拟显微镜”。

此外，一些虚拟显微镜系统能够显示作为原始图像的尺寸缩小图像的缩略图像的列表(例如，参见日本专利申请公开第2006-519443号的段落[0053]和图5G)(在下文中，将其称为专利文献2)。用户可基于缩略图像的列表选择用户关注的图像，从而将其显示。

同时，在特别用于病理诊断图像显示的情况下，许多情况下，获得图像的载片标本的形状彼此相似，并且原始图像从以相似的方式染色的载片获得。因此，在显示缩略图像的列表时，在缩略图像尺寸缩小的情况下，可在列表上显示更多个缩略图像。然而，在缩略图像尺寸过多缩小的情况下，用户不能将缩略图像彼此识别开。

此外，在缩略图像尺寸更小的情况下，用户就不能识别缩略图像中用户感兴趣的部位。具体地，在病理诊断领域中，尽管原始图像的尺寸非常大(几万像素×几万像素)，但具有诸如病理学家的用户感兴趣的病理特性的区域与原始图像相比有时非常小(例如，几千像素×几千像素)。

因此，在列表上显示更多的缩略图像和可视性是一种此消彼长的关系。因此要求缩略图像是根据需要可变更尺寸的。

同时，一些虚拟显微镜系统具有注解功能。在该注解功能中，关于用户感兴趣的部位，例如，可能具有病症的部位，输入位置信息和诸如字符信息的元数据，并且位置信息和诸如字符信息的元数据以重叠方式显示在原始图像上。通过向缩略图像列表应用注解功能，即使在缩略图像尺寸小的情况下，用户也可识别用户感兴趣的部位。

然而，在位置信息和字符信息通过注解功能显示在缩略图像的列表上的情况下，显示屏幕上显示了过多信息，并且每个缩略图像的可视性会受到不利影响。在此情况下，就不能实现缩略图像列表的本来目的，即，不能实现用户选择所期望的缩略图像的目的。

鉴于上述情形，期望提供能够改变通过显微镜获得的图像的缩略图像的尺寸，并能够改变与缩略图像一起显示的元数据的显示模式而不会对缩略图像的可视性产生不利影响的信息处理装置、信息处理方法及程序。

发明内容

在一个示例性实施方式中，信息处理装置包括处理器和有效连接到处理器的存储器装置，该存储器装置存储使处理器与存储器装置协作执行以下操作的指令：(a)生成与注解信息相关联的第一缩略图像，并使显示装置显示该第一缩略图像，第一缩略图像具有一定尺寸；(b)利用第一缩略图像的尺寸，确定对应于注解信息的第一注解的显示尺寸；(c)利用所确定的显示尺寸，确定第二注解；以及(d)使显示装置以与第一缩略图像重叠的方式显示所确定的第二注解。

在一个示例性实施方式中，缩略图像与生物组织的切片相关联。

在一个示例性实施方式中，所生成的缩略图像选自通过显微镜观察到的图像。

在一个示例性实施方式中，所确定的第二注解选自对应于缩略图像的多个注解。

在一个示例性实施方式中，信息处理装置包括有效连接到处理器的输入装置。在一个示例性实施方式中，指令使处理器利用输入装置操作而使用户能够输入注解信息。

在一个示例性实施方式中，指令使处理器判定所确定的第一注解的显示尺寸是否小于阈值。在一个示例性实施方式中，指令使处理器响应于小于阈值的所确定的第一注解的显示尺寸，使显示装置以与第一缩略图像重叠的方式显示第一注解位置信息。在一个示例性实施方式中，指令使处理器响应于不小于阈值的所确定的第一注解的显示尺寸，使显示装置以与缩略图像重叠的方式显示第二注解位置信息和注解字符信息。

在一个示例性实施方式中，指令使处理器利用输入装置操作，来使用户改变缩略图像的尺寸。在一个示例性实施方式中，响应于缩略图像尺寸的改变，对于缩略图像的改变后的尺寸，指令使处理器重复：(i)使用第一缩略图像的改变后的尺寸，确定对应于注解信息的第一注解的显示尺寸；(ii)使用所确定的显示尺寸，确定第二注解；以及(iii)使显示装置以与第一缩略图像重叠的方式显示所确定的第二注解。

在一个示例性实施方式中，所显示的第一缩略图像与第一注解字符信息相关联。在该示例性实施方式中，指令使处理器生成第二缩略图像并使显示装置显示第二缩略图像。第二缩略图像与第二注解字符信息相关联。在一个示例性实施方式中，第一缩略图像和第二缩略图像从与多个注解字符信息相关联的多个缩略图像生成。

在一个示例性实施方式中，指令使处理器利用输入装置操作来使用户能够基于多个注解字符信息而筛选多个缩略图像的显示。

在一个示例性实施方式中，指令使处理器响应于第一请求，来使显示装置将第一缩略图像显示为幻灯片图像。指令使处理器利用输入装置操作来使用户执行缩放操作和移动操作中的至少一个。在一个示例性实施方式中，指令使处理器响应于第二请求，来使显示装置将幻灯片图像显示为第二缩略图像。在该示例性实施方式中，所显示的第二缩略图像表示执行的缩放操作和移动操作中的至少一个。

在一个示例性实施方式中，一种包含指令的信息处理装置的操作方法包括：(a)使处理器执行指令，从而生成与注解信息相关联的第一缩略图像，第一缩略图像具有一定尺寸；(b)使处理器执行指令，以利用第一缩略图像的尺寸确定对应于注解信息的第一注解的显示尺寸；(c)使处理器执行指令，以利用所确定的显示尺寸确定第二注解；以及(d)使显示装置以与第一缩略图像重叠的方式显示所确定的第二注解。

在一个示例性实施方式中，一种计算机可读介质存储有被构造为使信息处理装置执行以下操作的指令：(a)生成与注解信息相关联的第一缩略图像，并使显示装置显示第一缩略图像，第一缩略图像具有一定尺寸；(b)利用第一缩略图像的尺寸，确定对应于注解信息的第一注解的显示尺寸；(c)利用所确定的显示尺寸，确定第二注解；以及(d)使显示装置以与第一缩略图像重叠的方式显示所确定的第二注解。

如上所述，根据示例性实施方式，可以改变通过显微镜所获得的图像的缩略图像的尺寸，并可以改变与缩略图像一起显示的元数据的显示模式，而不会对缩略图像的可视性产生不利影响。

附加的特征和优点将在本文中进行描述，并且从以下的详细描述和附图中是显而易见的。

附图说明

图1是示出了至少包括根据本发明的示例性实施方式的信息处理装置的示例性信息处理系统的结构的框图。

图2是示出了示例性图像金字塔结构，以说明根据本发明的示例性实施方式的显示原理的示图。

图3是用于说明在图2的图像金字塔结构的图像群生成时的示例性步骤的示图。

图4是示出了根据本发明的示例性实施方式的缩略图列表视图画面的示例的示图。

图5是示出了根据本发明的示例性实施方式的幻灯片视图画面的示例的示图。

图6是示出了根据本发明的示例性实施方式的PC的示例性缩略图显示处理的流程图。

图7A和图7B是示出了根据本发明的示例性实施方式的缩略图像的示例性尺寸改变处理的示图。

图8A和图8B是示出了根据本发明的示例性实施方式的基于字符串的缩略图像的示例性筛选处理的示图。

图9是示出了根据本发明的示例性实施方式的、PC对缩略图像的操作历史的示例性反映处理的流程图。

图10A、图10B、图10C和图10D是示出了对缩略图像的操作历史的示例性反映处理的示图。

具体实施方式

下文中，将参考附图描述本发明的示例性实施方式。

[示例性信息处理装置的结构]

图1是示出了至少包括根据本发明的示例性实施方式的信息处理装置的信息处理系统的结构的框图。作为信息处理装置，例如，使用PC(个人计算机)100。

PC 100包括CPU(中央处理单元)101、ROM(只读存储器)102、RAM(随机存取存储器)103、输入和输出接口(下文中，简称为I/O接口)105，以及将这些元件相互连接的总线104。

CPU 101根据需要随意地访问RAM 103等，并且在执行各种算法处理的同时控制PC 100的全部块。ROM 102是固定地存储由CPU 101执行的OS或诸如程序或各种参数的固件(firmware)的非易失性存储器。RAM103用作CPU 101的工作区等，并在处理期间临时地存储OS、各种运行程序和各种数据。

显示单元106、输入单元107、存储单元108、通信单元109、驱动单元110等连接到I/O接口105。

显示单元106是使用液晶、EL(电致发光)、CRT(阴极射线管)等的显示装置。显示单元106可内置于PC 100中，或可从外部连接到PC 100。

输入单元107例如是指点装置(pointing device)、键盘、触摸面板或其他操作装置。在输入单元107包括触摸面板的情况下，该触摸面板可与显示单元106一体集成。

存储单元108是诸如HDD(硬盘驱动器)、闪存和其他固态存储器的非易失性存储器。存储单元108存储通过光学显微镜(稍后描述)获得的数据等。进一步地，存储单元108可存储诸如注解信息和特性数据(稍后描述)的元数据。

驱动单元110是能够驱动诸如光学记录介质、软盘(注册商标)、磁性记录带和闪存的可移除记录介质111的装置。相反地，存储单元108通常用作预先包括在PC 100中并主要驱动不可移除的记录介质的装置。

通信单元109是可连接到LAN(局域网)、WAN(广域网)等的并用来与其他装置通信的调制解调器、路由器或其他通信装置。通信单元109可执行有线通信或无线通信之一。在许多情况下，通信单元109与PC 100独立使用。

接下来将给出关于通过光学显微镜(未示出)获得的并主要存储在PC 100的存储单元108中的图像和关于显示该图像的原理的描述。图2是示出了用于说明显示原理的示例性图像金字塔结构的示图。

如图2所示，在该示例性实施方式中处理的图像形成金字塔结构(图像金字塔结构50)。图像金字塔结构50是对于通过光学显微镜从一个观察对象物体15(参见图3)所获得的一个图像，以多个分辨率生成的图像群。在该示例性实施方式中，形成图像群的各图像被称为“完整图像”。最大的完整图像设置在图像金字塔结构50的最下层，而最小的完整图像设置在图像金字塔结构50的最上层。例如，最大的完整图像的分辨率为50×50(K像素：千像素)或40×60(K像素)。例如，最小的完整图像的分辨率为256×256(像素)或256×512(像素)。例如，各完整图像都是以JPEG格式压缩的图像，但并不局限于此。

PC 100从包括在图像金字塔结构50中的各完整图像中随意提取与显示单元106的预定显示范围相应的部分的图像(在下文中，称为“部分图像”)，读取RAM 103中的部分图像，并通过显示单元106输出部分图像。这里，显示单元106的显示范围由图2中的D表示。

图3是用于说明生成图像金字塔结构50的图像群时的步骤的示图。

首先，通过光学显微镜(未示出)以预定的观察倍率获得作为原始图像的数字图像。原始图像与作为图2的图像金字塔结构50的最下层图像的最大完整图像相对应。即，原始图像是最高分辨率的完整图像。因此，作为图像金字塔结构50的最下层完整图像，使用通过光学显微镜以较高的倍率观察并获得的图像。

注意，在病理学领域中，通常，通过对活体的器官、组织、细胞、或它们的一部分切片所获得的物质是观察对象物体15。然后，具有光学显微镜功能的扫描器装置(未示出)读取存储在载玻片中的观察对象物体15，从而获得数字图像，并将获得的数字图像存储到扫描器装置或另一存储装置中。

如图3所示，例如，扫描器装置或通用计算机(未示出)从如上所述获得的最大完整图像生成分辨率逐步降低的多个完整图像，并将这些图像以作为预定尺寸的单位的“平铺单元格(tile)”单位进行存储。例如，一个平铺单元格的尺寸为256×256(像素)。如上所述生成的图像群形成以分辨率的顺序排列的多个层的图像金字塔结构50，为各不同的观察对象物体形成多个图像金字塔结构50，并且PC 100的存储单元108存储这些图像金字塔结构50。PC 100仅必须存储分辨率与分别与多个分辨率信息项相关联的完整图像不同的完整图像。应当注意，生成和存储图像金字塔结构50可通过图1中示出的PC 100来执行。

PC 100使用采用图像金字塔结构50的系统的软件，来根据用户通过输入单元107进行的输入操作，从图像金字塔结构50中的任意分辨率的完整图像提取与显示范围D对应的多个平铺单元格。然后，PC 100读取RAM 103中的所提取的平铺单元格，之后，将该多个平铺单元格作为部分图像输出至显示单元106。进一步地，在用户对所显示的部分图像输入移动(滚动)操作的情况下，PC 100在完整图像(其中，部分图像从该完整图像中来提取)上移动(滚动)显示范围D，并提取包括在移动后的显示范围D中的多个平铺单元格，以输出这些平铺单元格。进一步地，在用户对所显示的部分图像输入缩放操作的情况下，PC 100从分辨率(层)与从中提取部分图像的完整图像不同的完整图像中提取与该部分图像的宽范围图像或窄范围图像相对应的多个平铺单元格，并且将所提取的多个平铺单元格作为新的部分图像输出。即，各完整图像都用作mipmap图像。通过该操作，用户在改变观察区域和观察倍率的同时，可以获得对观察对象物体15进行观察的感觉。即，PC 100用作虚拟显微镜。此情况下的虚拟观察倍率对应于实际的分辨率。

本文中，显示范围D并不意指显示单元106的最大显示范围的尺寸。显示范围D是显示单元106的整个显示范围或整个显示范围的部分。显示范围D可通过用户的设定进行任意设定。进一步地，显示范围D与平铺单元格的多行×多列的面积相当。即，部分图像由多个平铺单元格构成。

进一步地，在该示例性实施方式中，在图像金字塔结构50中，对于从预定分辨率的完整图像中提取的部分图像，从具有低于该完整图像的分辨率的预定分辨率(缩小率)的完整图像(在上层中的完整图像)中提取范围与该部分图像的范围相同的图像，以生成该部分图像的缩略图像。同样，PC 100可显示不同观察对象物体的多个部分图像的缩略图像列表(稍后描述)。

进一步地，在该示例性实施方式中，在显示范围D的分辨率(尺寸)与完整图像的分辨率(尺寸)相同的情况下，完整图像具有的功能与部分图像的功能相同。在此情况下，相对于完整图像生成缩略图像。即，部分图像可不对应于完整图像的部分，而可对应于整个完整图像。

[示例性信息处理装置的操作]

接下来，将描述如上构造的PC 100的操作。在以下的描述中，与缩略图像对比，作为缩略图像缩小尺寸之前的原始图像的部分图像被称为“幻灯片图像”。

在该示例性实施方式中，PC 100可在显示一个幻灯片图像的显示范围D的视图(在下文中，称为“幻灯片视图”)和显示包括该一个幻灯片图像的多个幻灯片图像的缩略图像的列表的视图(在下文中，称为“缩略图列表视图”)之间进行切换。图4是示出了缩略图列表视图画面的实例的示图。图5是示出了幻灯片视图画面的实例的示图。

如图4所示，在缩略图列表视图画面20上，多个缩略图像41显示为多行×多列的列表。通常，在启动PC 100中用于预览幻灯片图像的应用程序时，首先显示缩略图列表视图画面20。在每个缩略图像41的下方，显示例如缩略图像41的文件名。

在缩略图像41中，所选择的缩略图像41被光标42围绕。在缩略图列表视图画面20的右上端部，显示用于执行幻灯片视图画面上注解功能(稍后描述)的注解按钮44和注解输入区45。在注解按钮44和注解输入区45下方，显示用于指定缩略图列表视图画面20上的每个缩略图像41的尺寸(改变尺寸)的缩略图尺寸改变滑块43。

进一步地，在缩略图像41的列表的左上部，显示筛选按钮46和筛选词输入区47。筛选按钮46用于筛选为其添加的注解与用户输入的字符串相一致的缩略图像41，并显示经筛选的缩略图像41。筛选词输入区47用来输入字符串。在筛选按钮46下方，显示用于在缩略图列表视图画面20和幻灯片视图画面之间进行切换的视图切换按钮40。

进一步地，在该示例性实施方式中，在缩略图列表视图画面20上，用户可为任意缩略图像41附加标记(标签)。在经标记的缩略图像41上，标签图像48以重叠的方式显示。PC 100可用多个不同颜色分别显示标签图像48。进一步地，用户可删除曾经附加的标签图像48。在缩略图列表视图画面20的左端部，显示颜色选择按钮49和标签删除按钮54。颜色选择按钮49用来从例如四种颜色中选择标签的颜色。进一步地，在附加标签图像48时，用户还可输入备忘。在颜色选择按钮49下方，显示用于输入备忘的备忘输入区56。进一步地，在颜色选择按钮49上方，显示与所选择的缩略图像41相同的图像。

PC 100将标签图像48和缩略图像41的相应信息存储在存储单元108中，并在重新启动该示例性实施方式的应用程序或PC 100后将标签图像48显示在相应的缩略图像41上。结果，用户总是可以识别用户关注的缩略图像41。

如图5所示，在幻灯片视图画面30上，显示作为缩略图像41的原始图像的幻灯片图像51。在缩略图列表视图画面20上光标42围绕一个缩略图像41的同时，在用户点击视图切换按钮40的情况下，显示幻灯片视图画面30。

在幻灯片视图画面30上，由用户进行的鼠标的拖曳操作或滚轮的滚动操作可移动幻灯片图像51的显示范围D，或可放大或缩小幻灯片图像51。具体地，通过拖曳操作，CPU 101在特定层的完整图像(正显示的幻灯片图像51是从该完整图像中提取的)上移动显示范围D，并且生成并显示具有包括在移动后的显示范围D中的平铺单元格的新幻灯片图像51。进一步地，通过缩放操作，CPU 101从一个完整图像(该完整图像的层与正显示的幻灯片图像51从其提取的完整图像的层不同)中，提取包括在与正显示的幻灯片图像51的宽范围图像或窄范围图像相对应的显示范围D内的多个平铺单元格，并且将所提取的平铺单元格作为新的幻灯片图像51显示。

进一步地，在幻灯片视图画面30上，可由用户输入并显示作为关于正显示的幻灯片图像51的附加信息的注解信息。在点击注解按钮44后，由用户对幻灯片图像51上的任意位置用正方形或圆形围绕，或对该位置加下划线的情况下，PC 100将该正方形、圆形或划线显示为注解位置信息52。另外，在用户向注解输入区45输入任意字符串的情况下，PC 100将该字符串显示为注解字符数据53。

接下来，将给出关于PC 100的缩略图显示处理的具体描述。以下描述的PC 100执行的处理与存储在存储单元108、ROM 102等中的软件和PC 100的硬件资源协同实现。具体地，CPU 101将构成存储在存储单元108、ROM 102等中的软件的程序(应用程序)加载到RAM 103上并且执行该程序，从而实现以下的处理。图6是示出了缩略图显示处理的流程图。图7是示出了缩略图像的尺寸改变处理的示图。

如图6所示，在启动预览幻灯片图像的应用程序之后，PC 100的CPU101输入缩略图像的尺寸(步骤61)。在初次启动应用程序时，为缩略图像的尺寸分配预定尺寸。

当输入缩略图像的尺寸时，CPU 101根据输入尺寸(分辨率)确定图像金字塔结构50的平铺单元格中的适当层的平铺单元格(步骤62)。接下来，CPU 101从RAM 103中的存储单元108读取所确定的平铺单元格(步骤63)。

接下来，CPU 101对在RAM103中读取的平铺单元格进行解码，并将解码结果存储在RAM 103中的纹理缓冲器(texture buffer)中(步骤64)。当解码完成时，在纹理缓冲器中生成缩略图像41。

当缩略图像41作为平铺单元格的解码结果生成时，CPU 101确认是否存在与幻灯片图像51有关的注解(步骤65)，该幻灯片图像51是缩略图像41的原始图像。这里，“注解”是注解位置信息52和/或注解字符信息53。

在不存在与幻灯片图像51有关的注解的情况下(在步骤65中为否)，CPU 101绘制纹理并将缩略图像41显示在缩略图列表视图画面20上(步骤70)。

在存在与幻灯片图像51有关的注解的情况下(在步骤65中为是)，CPU 101适应于缩略图像41的缩小率(缩略图像的宽度或高度/作为缩略图像的原始图像的幻灯片图像的宽度或高度)，计算与原始图像上的注解尺寸相对应的缩略图像41上的注解尺寸(步骤66)。

在通过计算所获得的缩略图像41上的注解尺寸小于预定阈值的情况下(在步骤67中为否)，CPU 101以重叠的方式显示缩略图像41上的简化显示的注解(步骤68)。然后，CPU 101绘制纹理并将合成有简化显示的注解的缩略图像41显示在缩略图列表视图画面20上(步骤70)。在该简化显示中，例如，CPU 101仅在注解位置信息52的位置上显示预定尺寸的点，而不显示注解字符信息53。

返回参考图6的流程图，在缩略图像41上的注解尺寸等于或大于预定阈值的情况下(在步骤67中为是)，CPU 101以重叠的方式在缩略图像41上显示详细显示的注解(步骤69)。然后，CPU 101绘制纹理并将合成有详细显示的注解的缩略图像41显示在缩略图列表视图画面20上(步骤70)。在该详细显示中，CPU101显示注解位置信息52和注解字符信息53。

此后，每当缩略图尺寸改变时(在步骤71中为是)，CPU 101重复步骤61到步骤70的处理。进一步地，在用户输入完成显示处理的命令的情况下，CPU 101完成显示处理(在步骤72中为是)。

具体地，如图7A所示，在用户使缩略图尺寸改变滑块43在缩略图列表视图画面20上例如从左向右移动的情况下，3行×3列的缩略图像41中的每个都如图7B所示减小尺寸，并且显示为2行×8列的缩略图像41。进一步地，图7B示出了尺寸减小的缩略图像41的尺寸小于预定阈值的情况。即，在图7A中，显示在缩略图像41a和缩略图像41b上的注解位置信息52和注解字符信息53作为注解信息。如图7B所示，作为减小尺寸的结果，仅注解点信息55显示在缩略图像41a和缩略图像41b上，而不是显示注解位置信息52和注解字符信息53。

如上所述，在缩略图像41尺寸减小的情况下，仅显示在注解中示出注解位置的注解点信息55。因此，PC100可防止缩略图像41本身的可视性受到与尺寸减小的缩略图像重叠的注解字符信息53引起的不利影响。具体地，在分析病理诊断图像时，进一步有利于病理学家进行诊断所要求的操作。即，PC 100能够改变缩略图像41的尺寸，并且能够动态地改变注解信息(其是以重叠方式显示的元数据)的显示模式，从而进一步有利于病理学家等进行诊断操作。进一步地，正方形、圆形等的注解位置信息52仅显示为点，因此降低了CPU 101的计算量。

如上所述，在该示例性实施方式中，CPU101可仅筛选包括作为注解字符信息53的预定字符串的缩略图像41，并仅将筛选出的缩略图像41显示在缩略图列表视图画面20上。图8是示出了筛选处理的示图。

如图8A所示，在例如字符串“Cancer”输入筛选词输入区47，并且点击筛选按钮46的情况下，CPU 101仅筛选出具有字符串“Cancer”作为注解字符信息53的缩略图像41a和41c，并仅将缩略图像41a和41c显示在缩略图列表视图画面20上。例如，在图8A中，缩略图像41b具有注解字符信息53“待检查”。如图8B所示，在筛选后，不显示缩略图像41b。

通过该处理，用户可以选择性地仅查看与所需要的字符串对应的缩略图像41。进一步地，在缩略图像41尺寸小于预定阈值，并且注解字符信息53不以重叠方式显示在缩略图像41上的情况下，用户可查看与输入字符串相关的缩略图像41，而无需确认注解字符信息53和缩略图像41之间的对应关系。

如上所述，在该示例性实施方式中，PC 100可在缩略图列表视图画面20和要显示的幻灯片视图画面30之间进行切换。在缩略图列表视图画面20上，如上所述，能够执行移动操作和缩放操作。在该示例性实施方式中，PC 100可以以反映移动操作和缩放操作的历史信息的方式更新缩略图列表视图画面20上的缩略图像41。在下文中，将给出关于使用操作历史信息对缩略图像41进行的更新操作的描述。

图9是示出了缩略图像41的更新处理的流程图。图10是示出了更新处理的示图。

如图9所示，CPU 101判定是否在幻灯片视图画面30上输入向缩略图列表视图画面20的切换操作(步骤91)。在输入切换操作的情况下(在步骤91中为是)，CPU 101将正显示的幻灯片图像51的显示位置(在完整图像中的位置)和放大比率(完整图像的层)存储在RAM 103中(步骤92)。

然后，CPU 101输入每个缩略图像41的尺寸，以进行从幻灯片视图画面30向缩略图列表视图画面20的切换(步骤93)。例如，该尺寸是在最近的缩略图列表视图画面20上指定的尺寸。

此后，CPU 101判定要生成的每个缩略图像41的原始图像是否是显示在幻灯片视图画面30上显示的幻灯片图像51(步骤94)。在CPU 101判定缩略图像41的原始图像是最近显示的图像的情况下(在步骤94中为是)，CPU 101从RAM 103获得幻灯片视图画面30上的幻灯片图像51的显示位置和放大比率(步骤95)。

接下来，CPU 101基于缩略图像41的尺寸和最近的幻灯片图像51的显示位置和放大比率，确定用于缩略图像41中的每个的平铺单元格，该缩略图像41包括从图像金字塔结构50中的平铺单元格数据最近查看的幻灯片图像51的缩略图像41。

在确定用于缩略图像41的平铺单元格后，类似于图6的步骤63、步骤64和步骤70，CPU 101读取平铺单元格数据、对所读取的平铺单元格数据进行解码、并将解码结果的图像显示为缩略图像41(步骤97至步骤99)。

如图10所示，关于与缩略图列表视图画面20上选择的一个缩略图像41(图10A)对应的幻灯片图像51，对幻灯片视图画面30执行缩放操作(图10B至图10C)。此后，在幻灯片视图画面30切换到缩略图列表视图画面20的情况下(图10C至图10D)，CPU 101将缩放操作的放大比率反映到与幻灯片图像51相对应的缩略图像41，并显示缩略图列表视图画面20(图10D)。

根据上述处理，用户可容易地理解在切换后缩略图列表视图画面20上哪个缩略图像41对应于与最近执行的操作相关的幻灯片图像51。

[修改例]

本领域技术人员应当理解，根据设计要求和其他因素，可以进行各种修改、组合、子组合以及变形，只要它们在所附权利要求或其等同物的范围内。

在上述的示例性实施方式中，作为幻灯片图像51的元数据，使用注解信息并且将其以重叠方式显示在缩略图像41上。然而，作为替代注解信息的元数据，可使用用于识别幻灯片图像51的多个区域中的每个区域的特性的特性识别数据。即，PC 100基于例如幻灯片图像51的群聚处理(cluster processing)的频率成分、标准偏差、对比度、边缘等，来检测幻灯片图像51的每个区域的特性，或执行与每个特性有关的群聚处理，从而为每个区域生成特性数据。然后，PC 100可将用于特性数据的识别数据存储在RAM 103中，并可以重叠方式将特性识别数据显示在缩略图像41上，使得在每个特性区域中特性识别数据的显示模式不同。例如，PC 100使每个区域的亮度或颜色相互不同，从而强调缩略图像41中的特定区域，并将每个区域相互区别开。

进一步地，PC 100可根据范围的位置和大小从缩略图像41提取具有特定特性的局部范围，并可将所提取的数据生成为缩略图像41，从而显示所提取的数据。具体地，PC 100从合适层的完整图像提取对应于特定范围的平铺单元格、对这些平铺单元格进行解码、并将这些平铺单元格显示为缩略图像41。

通过该处理，用户可一眼识别出缩略图列表视图画面20上的每个的缩略图像41的原始图像的每个特性区域。具体地，在分析病理诊断图像时，病理学家可仅查看诊断所需要的区域的列表。因此能够以更高的效率执行诊断所需要的操作。进一步地，在仅提取和显示特性区域的情况下，用户可以更高的分辨率查看特性数据，并且病理诊断能够被高效地执行。

在以上提及的示例性实施方式中，描述了形成图像金字塔结构50的图像数据(平铺单元格)存储在PC 100的存储单元108中的模式。然而，另一计算机或服务器可代替PC 100存储形成图像金字塔结构50的图像数据，而用户使用的作为终端装置的PC 100可以访问该计算机或服务器从而接收图像数据。在此情况下，作为终端装置的PC 100和服务器等可经由诸如LAN和WAN的网络连接。特别地，WAN的使用可实现远程病理学(telepathology)、远程诊断等等。

在以上提及的示例性实施方式中，生成不同观察对象物体15的每个幻灯片图像51的缩略图像41，并且缩略图像41显示为列表。另外，可生成位置和放大率相互不同的一个观察对象物体15的多个缩略图像41并将它们显示为列表。在此情况下，类似于上面提及的示例性实施方式，执行改变缩略图像41的尺寸、切换视图等的各种处理。

在以上，描述了对于一个观察对象物体15生成一个原始图像来作为图像金字塔结构50的原始图像的模式。然而，对于一个观察对象物体15，可在观察对象物体15的厚度方向上生成多个原始图像，该厚度方向是光学显微镜的焦点方向。这称为Z-堆栈，Z-堆栈是处理组织或细胞还在观察对象物体15的厚度方向上具有不同形状的情况的功能。扫描器装置在许多情况下具有Z-堆栈功能，并且生成大约5到10个或10到30个原始图像。在此情况下，可在一个观察对象物体的不同焦点处对于多个图像生成缩略图，并且缩略图可显示为类似于上面提到的示例性实施方式的缩略图像列表。在此情况下，类似于以上提到的示例性实施方式，执行改变缩略图像41的尺寸、切换视图等的各种处理。

PC用作根据以上示例性实施方式的信息处理装置，但可使用专用的信息处理装置来替代PC。进一步地，信息处理装置不限于和硬件资源与软件协同实施上述的信息处理的装置。专用的硬件可实施上述的信息处理。

应当理解，本文中所描述的当前优选示例性实施方式的各种修改和变形对于本领域技术人员是显而易见的。在不背离精神和范围并且不减小本发明意指的优点的前提下，可进行改变和修改。因此，意指这些改变和修改也被所附权利要求所覆盖。

Claims (12)

1.一种信息处理装置，包括：

处理器；以及

存储器装置，有效连接到所述处理器，所述存储器装置存储使所述处理器与所述存储器装置协作执行以下操作的指令：

(a)生成与注解信息相关联的第一缩略图像，并使显示装置显示所述第一缩略图像，所述第一缩略图像具有一定尺寸；

(b)利用所述第一缩略图像的尺寸，确定与所述注解信息对应的第一注解的显示尺寸；

(c)利用所确定的所述显示尺寸，确定第二注解；以及

(d)使显示装置以与所述第一缩略图像重叠的方式显示所确定的所述第二注解。

2.根据权利要求1所述的信息处理装置，其中，所述缩略图像与生物组织的切片相关联。

3.根据权利要求1所述的信息处理装置，其中，所生成的缩略图像选自通过显微镜观察到的图像。

4.根据权利要求1所述的信息处理装置，其中，所确定的所述第二注解选自与所述缩略图像对应的多个注解。

5.根据权利要求1所述的信息处理装置，其中：

(a)输入装置有效连接到所述处理器；以及

(b)在由所述处理器执行所述指令时，所述指令使所述处理器利用所述输入装置操作而使用户能够输入所述注解信息。

6.根据权利要求1所述的信息处理装置，其中，在由所述处理器执行所述指令时，所述指令使所述处理器执行以下操作：

(a)判定所确定的所述第一注解的显示尺寸是否小于阈值；

(b)响应于小于所述阈值的所确定的所述第一注解的显示尺寸，以与所述第一缩略图像重叠的方式显示第一注解位置信息；以及

(c)响应于不小于所述阈值的所确定的所述第一注解的显示尺寸，以与所述缩略图像重叠的方式显示第二注解位置信息和注解字符信息。

7.根据权利要求1所述的信息处理装置，其中，在由所述处理器执行所述指令时，所述指令使所述处理器执行以下操作：

(a)使用户改变所述缩略图像的尺寸；以及

(b)响应于所述缩略图像的尺寸的改变，对于所述缩略图像的改变后的尺寸，重复(b)到(d)。

8.根据权利要求1所述的信息处理装置，其中，

(a)所显示的所述第一缩略图像与第一注解字符信息相关联；以及

(b)在由所述处理器执行所述指令时，所述指令使所述处理器执行以下操作：生成第二缩略图像，并使所述显示装置显示所述第二缩略图像，其中，所述第二缩略图像与第二注解字符信息相关联，并且其中，所述第一缩略图像和所述第二缩略图像从与多个注解字符信息相关联的多个缩略图像生成。

9.根据权利要求8所述的信息处理装置，其中，在由所述处理器执行所述指令时，所述指令使所述处理器能够使用户基于所述多个注解字符信息筛选所述多个缩略图像的显示。

10.根据权利要求1所述的信息处理装置，其中，在由所述处理器执行所述指令时，所述指令使所述处理器执行以下操作：

(a)响应于第一请求，将所述第一缩略图像显示为幻灯片图像；

(b)使用户能够对所显示的所述幻灯片图像执行缩放操作和移动操作中的至少一个；以及

(c)响应于第二请求，将所述幻灯片图像显示为第二缩略图像，其中，所显示的所述第二缩略图像表示出所执行的所述缩放操作和所述移动操作中的至少一个。

11.一种包含指令的信息处理装置的操作方法，所述方法包括：

(a)使处理器执行所述指令，以生成与注解信息相关联的第一缩略图像，所述第一缩略图像具有一定尺寸；

(b)使所述处理器执行所述指令，以利用所述第一缩略图像的尺寸，确定与所述注解信息对应的第一注解的显示尺寸；

(c)使所述处理器执行所述指令，以利用所确定的所述显示尺寸，确定第二注解；以及

(d)使显示装置以与所述第一缩略图像重叠的方式显示所确定的所述第二注解。

12.一种计算机可读介质，存储有被构造为使信息处理装置执行以下处理的指令：

(a)生成与注解信息相关联的第一缩略图像，并使显示装置显示所述第一缩略图像，所述第一缩略图像具有一定尺寸；

(b)利用所述第一缩略图像的尺寸，确定与所述注解信息对应的第一注解的显示尺寸；

(c)利用所确定的所述显示尺寸，确定第二注解；以及

(d)使显示装置以与所述第一缩略图像重叠的方式显示所确定的所述第二注解。

Images