CN104011787A - 图像处理装置、其控制方法、图像处理系统和程序 - Google Patents

Abstract

图像处理装置包括：获得单元，获得被检体的图像的数据和附加到图像的多个注释的数据；输入单元，接收用于放大或缩小图像的显示倍率的指定；以及产生单元，产生以被重叠于以指定显示倍率放大的图像上的方式显示注释的显示数据，其中，所述多个注释的数据包含指示附加各注释的图像中的位置的位置信息、以及关于附加各注释时的图像的显示倍率的信息，以及产生单元产生使得注释的显示模式在其附加时的图像的显示倍率不同的注释之间不同的显示数据。

Description

图像处理装置、其控制方法、图像处理系统和程序

技术领域

本发明涉及图像处理装置、其控制方法、图像处理系统和程序。

背景技术

在病理领域中，作为替代光学显微镜的病理诊断工具，使得能够通过捕获置于载片(slide)上的待检查样品(或样本)的图像并将图像数字化而进行显示装置上的病理诊断的虚拟(virtual)载片系统在近年来正受到关注。使用虚拟载片系统的病理诊断图像的数字化使得能够将样本的常规光学显微镜图像作为数字数据来操纵。因此，该系统有望提供诸如加快远程诊断、使用数字图像给患者解释、共享罕见病例、提高教育和实习的效率的优点。

为了使得虚拟载片系统的可操作性与光学显微镜的基本上相同，必须将载片中的样本的图像全体数字化。样本图像的全体数字化使得能够通过在个人计算机或工作站上运行的观察器软件实现由虚拟载片系统产生的数字数据的可视化。样本的全体数字化图像的像素的数量通常为几亿或几十亿，从而导致非常巨大的数据量。由虚拟载片系统产生的数据量的该非常巨大性使得能够利用观察器软件进行的放大和缩小来实现从(细节放大图像的)微观观察到(整体图像的)宏观观察的范围内的各种观察，从而提供各种便利性。如果事先已获得所需要的所有信息，那么可立即以用户希望的任何分辨率和任何倍率(即，作为从低倍率图像到高倍率图像的范围内的图像)显示图像。

已开发了如下的图像处理装置：其在获得医学图像(通过超声成像被成像)时对该医学图像附加注释(annotation)，并使用注释中的评论(comment)作为搜索关键字(key)来搜索该医学图像(专利文献1)。

已开发了如下的信息处理装置：其中，向电子文档附加注释时的显示倍率和显示位置被保持，并且基于由此保持的显示倍率和显示位置在画面(screen)上显示该电子文档(专利文献2)。

引文列表

专利文献

PTL1：日本专利申请公开No.11-353327

PTL2：日本专利申请公开2010-61311

发明内容

技术问题

在向虚拟载片图像附加了注释的情况下，用户难以知晓附加注释时的虚拟载片图像的倍率(即，虚拟载片图像的向其附加注释时的倍率)。换句话说，用户难以知晓他/她正观察的图像的倍率与图像的向其附加注释时的倍率之间的差异。并且，在附加时的倍率在多个注释之间变动的情况下，用户难以知晓附加各注释时的倍率与他/她观察的图像的倍率之间的差异。

当虚拟载片图像是深度图像(z叠层(stack)图像)时也是这种情况，即用户难以知晓附加注释时的虚拟载片图像的焦点位置(z位置)(即，虚拟载片图像的向其附加注释时的焦点位置)。换句话说，用户难以知晓他/她观察的图像的焦点位置与向图像附加注释时的焦点位置之间的差异。并且，在附加时的焦点位置在多个注释之间变动的情况下，用户难以知晓附加各注释时的焦点位置与他/她观察的图像的焦点位置之间的差异。

鉴于以上的情形，本发明的目的是：使得用户能够在显示注释时容易地知晓附加注释时的虚拟载片图像的倍率和/或焦点位置。

问题的解决方案

根据本发明的一个方面，提供一种图像处理装置，该图像处理装置包括：

获得单元，被配置为获得被检体的图像的数据和附加到图像的多个注释的数据；

输入单元，被配置为接收用于放大或缩小图像的显示倍率的指定；以及

产生单元，被配置为产生以被重叠于以指定显示倍率放大的图像上的方式显示注释的显示数据，

其中，所述多个注释的数据包含指示附加各注释的图像中的位置的位置信息、以及关于附加各注释时的图像的显示倍率的信息，以及

产生单元产生使得注释的显示模式在其附加时的图像的显示倍率不同的注释之间不同的显示数据。

根据本发明的另一方面，提供一种图像处理装置，该图像处理装置包括：

获得单元，被配置为获得被检体的图像的数据和附加至图像的多个注释的数据，所述被检体的图像的数据包含通过在相对于光轴方向的不同焦点位置处将被检体成像所获得的多个深度图像的数据；

输入单元，被配置为接收焦点位置的指定；以及

产生单元，被配置为产生以被重叠于指定焦点位置的深度图像上的方式显示注释的显示数据，

其中，所述多个注释的数据包含指示附加各注释的图像中的位置的位置信息、以及关于附加各注释时的图像的焦点位置的信息，以及

产生单元产生使得注释的显示模式在其附加时的图像的焦点位置不同的注释之间不同的显示数据。

根据本发明的又一方面，提供一种图像处理装置的控制方法，该控制方法包括：

获得步骤，获得被检体的图像的数据和附加到图像的多个注释的数据；

输入步骤，接收用于放大或缩小图像的显示倍率的指定；以及

产生步骤，产生以被重叠于以指定显示倍率放大的图像上的方式显示注释的显示数据，

其中，所述多个注释的数据包含指示附加各注释的图像中的位置的位置信息、以及关于附加各注释时的图像的显示倍率的信息，以及

在产生步骤中，执行使得注释的显示模式在其附加时的图像的显示倍率不同的注释之间不同的显示数据的产生。

根据本发明的再一方面，提供一种图像处理装置的控制方法，该控制方法包括：

获得步骤，获得被检体的图像的数据和附加至图像的多个注释的数据，所述被检体的图像的数据包含通过在相对于光轴方向的不同焦点位置处将被检体成像所获得的多个深度图像的数据；

输入步骤，接收焦点位置的指定；

产生步骤，产生以被重叠于指定焦点位置的深度图像上的方式显示注释的显示数据，

其中，所述多个注释的数据包含指示附加各注释的图像中的位置的位置信息、以及关于附加各注释时的图像的焦点位置的信息，以及

在产生步骤中，执行使得注释的显示模式在其附加时的图像的焦点位置不同的注释之间不同的显示数据的产生。

发明的有利效果

根据本发明，当显示注释时，用户能够易于知晓附加注释时的虚拟载片图像的倍率和/或焦点位置。

从参照附图对示例性实施例的以下描述，本发明的进一步的特征将变得明显。

附图说明

图1是示出根据实施例的图像处理系统中的装置的配置的总体图。

图2是根据实施例的图像处理系统中的成像装置的功能框图。

图3是根据实施例的图像处理装置的功能框图。

图4是示出根据实施例的图像处理装置的硬件配置的示图。

图5是示出分别对不同倍率事先准备的图像层的概念的示图。

图6是附加和呈现(presenting)注释的处理的流程图。

图7是附加注释的处理的详细流程图。

图8是呈现注释的处理的详细流程图。

图9A至9F示出根据本发明的图像处理系统中的显示画面的例子。

图10是示出根据第二实施例的图像处理系统中的装置的配置的总体图。

图11A和11B是示出根据第二实施例的分别对不同焦点位置事先准备的深度图像的概念的示图。

图12是第二实施例中的附加注释的处理的流程图。

图13是第二实施例中的呈现注释的处理的流程图。

图14是根据第三实施例的控制注释数据的显示的处理的流程图。

图15是根据第四实施例的控制注释数据的显示的处理的流程图。

图16A至16C是示出第三和第四实施例中的深度图像数据的例子的一维示意图。

具体实施方式

以下，将参照附图描述本发明的实施例。

(第一实施例)

根据本发明的图像处理装置可被用于包含成像装置和显示装置的图像处理系统中。将参照图1描述这种图像处理系统。

(图像处理系统的配置)

图1示出根据本发明的使用图像处理装置的图像处理系统。图像处理系统包括成像装置(显微镜装置或虚拟载片扫描仪)101、图像处理装置102和显示装置103。图像处理系统具有捕获作为成像对象的样本(待检查样品或者被检体)的二维图像的功能和显示该二维图像的功能。成像装置101和图像处理装置102通过专用或通用I/F线缆104连接，并且图像处理装置102和显示装置103通过通用I/F线缆105连接。

成像装置101可以是虚拟载片装置，其具有捕获在关于二维平面中的方向的位置方面以及在关于与二维平面垂直的深度方向的位置方面相互不同的多个二维图像的功能、以及输出数字图像的功能。诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的固态成像元件被用于捕获二维图像。作为虚拟载片装置的替代，成像装置101可包含由通常的光学显微镜和附接于数字照相机的目镜部的数字照相机组成的数字显微镜装置。

图像处理装置102是具有响应于用户的请求从由成像装置101获得的多个捕获图像的数据产生用于在显示装置103上显示的显示数据的功能的装置。成像装置102是具有包括CPU(中央处理单元)、RAM、存储器件和含操作单元的各种接口(I/F)的硬件资源的通用计算机或工作站。存储器件是诸如硬盘驱动器的大容量信息存储器，在其中存储用于实现后面描述的各种处理的程序和数据、以及操作系统(OS)。通过将必要的程序和数据从存储器件加载到RAM并执行该程序，在CPU中实现上述的功能。操作单元包含由操作员使用以键入各种命令的键盘106和鼠标107。

显示装置103是诸如CRT或液晶显示器的显示器，在其上将图像处理装置102的处理结果显示为待观察图像。

虽然在图1所示的例示情况下图像处理系统由包括成像装置101、图像处理装置102和显示装置103的三个装置组成，但根据本发明的系统的配置不限于此。例如，可以使用与显示装置一体化的图像处理装置，或者图像处理装置的功能可被并入在成像装置中。作为替代方案，可在一个装置中实现成像装置、图像处理装置和显示装置的功能。相反，图像处理装置或其它装置的功能可分布至多个装置。

(成像装置的功能配置)

图2是示出成像装置101的功能配置的框图。

成像装置101基本上包含照明单元201、台架(stage)202、台架控制单元205、成像光学系统207、成像单元210、显影(developing)单元219、初步测量单元220、主控制系统221和数据输出单元222。

照明单元201是用光均匀地照射被设置于台架202上的载片206的单元。照明单元201包含光源、照明光学系统、以及用于驱动光源的控制系统。台架202在控制单元205的控制下被驱动，以能够沿三个轴方向或者X轴、Y轴和Z轴方向偏移。载片206是通过将作为待观察对象的组织的薄切片或细胞涂片附在载片玻璃上并用安装剂将其固定在盖玻璃下所制成的部材。

台架控制单元205包含驱动控制系统203和台架驱动机构204。驱动控制系统203从主控制系统221接收指令以执行对于台架202的驱动控制。台架202的偏移方向和偏移量基于通过初步测量单元220的测量所获得的样本的位置信息和厚度信息(或距离信息)以及在必要时基于用户输入的命令被确定。台架驱动机构204根据来自驱动控制系统203的指令来驱动台架202。

成像光学系统207是用于在成像传感器208上形成载片206中的样本的光学图像的透镜单元。

成像单元210包含成像传感器208和模拟前端(AFE)209。成像传感器208是通过光电转换将二维光学图像转换成物理量(即，电气量)的一维或二维图像传感器208，诸如CCD或CMOS器件。在成像传感器208是一维传感器的情况下，通过沿扫描方向扫描获得二维图像。成像传感器208输出具有与光强度相关的电压值的电信号。在需要捕获彩色图像的情况下，例如可以使用被附接有具有拜耳(Bayer)布置的滤色器的单个图像传感器。在成像单元210中，台架202沿X轴方向和Y轴方向被驱动以捕获样本的分割图像。

AFE209是将从成像传感器208输出的模拟信号转换成数字信号的电路。AFE209包含后面描述的H/V驱动器、CDS(相关双采样)、放大器、AD转换器和定时产生器。H/V驱动器将用于驱动成像传感器208的垂直同步信号和水平同步信号转换成驱动传感器所需要的电压。CDS是用于去除固定模式噪声的相关双采样电路。放大器是调整已通过CDS从其去除噪声的模拟信号的增益的模拟放大器。AD转换器将模拟信号转换成数字信号。在成像装置的最终级的输出分辨率是8位的情况下，AD转换器考虑后级中的处理将模拟信号转换成一般以10至16位进行量化(quantized)的数字数据并且输出它。转换之后的传感器输出数据被称为RAW数据。RAW数据后来在显影单元219中被显影。定时产生器产生用于调整成像传感器208的定时和后级中的显影单元219的定时的信号。

虽然在CCD被用作成像传感器208的情况下上述的AFE209是必需的，但在使用能够输出数字信号的CMOS图像传感器的情况下，上述的AFE209的功能被并入在传感器中。虽然图中没有示出，但还提供了控制成像传感器208的成像控制器。成像控制器控制成像传感器208的操作和操作定时。成像控制器控制例如快门速度、帧速率和ROI(关注区域)等。

显影单元219包含黑校正单元211、白平衡调整单元212、去马赛克(demosaicing)单元213、图像合成(composition)单元214、分辨率转换单元215、过滤单元216、伽马校正单元217和压缩单元218。黑校正单元211对于各像素执行从RAW数据减去在遮蔽状态中获得的黑校正数据的处理。白平衡调整单元212执行根据来自照明单元201的光的色温调整红色、绿色和蓝色的各个颜色的增益以再现希望的白色的处理。具体而言，白平衡校正数据被相加到黑校正之后的RAW数据。在处理单色图像的情况下，不需要白平衡调整处理。显影单元219从通过成像单元210捕获的样本的分割图像数据产生将在后面描述的多层图像数据。

去马赛克单元213执行从拜耳布置的RAW数据产生红色、绿色和蓝色的各个颜色的图像数据的处理。去马赛克单元213通过使用RAW数据中的目标像素附近的像素(包含相同颜色的像素和不同颜色的像素)中的值执行插值(interpolation)来计算目标像素中的红色、绿色和蓝色的各个值。去马赛克单元213还对有缺陷的像素执行校正处理(或插值)。在成像传感器208不具有滤色器并捕获单色图像的情况下，不需要去马赛克处理。

图像合成单元214执行将在分割的成像区域中通过成像传感器208获得的图像数据拼接或接合在一起以产生代表希望的成像区域的大尺寸图像数据的处理。由于样本在其之上扩展的区域一般比现有图像传感器在其之上可通过一次图像捕获而捕获图像的区域大，因此通过将分割的图像数据项(piece)拼接在一起来产生一项二维图像数据。例如，如果要以0.25μm的分辨率将载片206上的10mm×10mm的正方形区域成像，那么沿一个边的像素的数量为10mm/0.25μm＝40000，由此像素的总数为40000²＝1600000000。为了使用具有10M(10000000)像素的成像传感器208获得1600000000像素的图像数据，必须将区域分割成160个分割区域并在各个分割区域中捕获图像。示例性的拼接多项图像数据的方法包括：基于关于台架202的位置的信息通过位置对准进行拼接、在使多个分割图像中的相应的点或线相关联的同时进行拼接、以及基于分割图像数据的位置信息进行拼接。在拼接时使用诸如0次插值、线性插值或高次插值的插值处理可使得插值更平滑。在本实施例中，假定产生大数据量的单个图像。但是，图像处理装置102可具有在产生用于显示的数据时拼接分割地获得的图像的功能。

分辨率转换单元215执行事先通过分辨率转换来产生具有适合于图像显示倍率的倍率的图像、使得能够以高速显示由图像合成单元214产生的大数据量的二维图像的处理。分辨率转换单元215产生从低倍率到高倍率的范围内的多个倍率的图像的数据，并构成具有其中组装(pack)多个倍率的图像数据的多层结构的图像数据。

过滤单元216是减少包含于图像中的高频成分从而去除噪声并增加表观锐度(apparent sharpness)的数字滤波器。伽马校正单元217执行考虑到普通显示器件的色调再现特性而给图像赋予逆特性的处理，并通过高明亮度(luminance)范围中的色调压缩和/或低亮度(brightness)部分中的图像处理执行适于人的视力特性的色调转换。在本实施例中，为了产生用于形态观察的图像，给图像数据施加适合于后级中的合成处理和显示处理的色调转换。

为了提高大尺寸二维图像数据的传送效率并减少用于存储的数据量，压缩单元218执行压缩编码。作为用于静止图像的压缩方法，诸如JPEG(联合摄影专家组)以及通过改进或增进JPEG而开发的JPEG2000和JPEG XR的标准化编码系统是广泛地知晓的。

初步测量单元220是为了通过计算获得关于载片206上的样本的位置的信息、关于到希望的焦点位置的距离的信息、以及与样本厚度相关联的用于光量调整的参数而执行初步测量的单元。通过由初步测量单元220在图像捕获之前获得信息，可有效地执行图像捕获。分辨能力比成像传感器208低的二维成像传感器被用于获得二维平面中的位置信息。初步测量单元220从捕获的图像确定样本在X-Y平面上的位置。并且，使用激光位移计或沙克-哈特曼(Shack-Hartmann)传感器来获得距离信息和厚度信息。

主控制系统221具有控制在前面描述的单元的功能。在具有CPU、ROM和RAM的控制电路中实现主控制系统221和显影单元219的控制功能。具体而言，程序和数据被存储于ROM中，并且通过在使用RAM作为工作存储器的同时执行程序的CPU来实施主控制系统221和显影单元219的功能。作为ROM，使用诸如EEPROM或闪存的器件。作为RAM，例如使用DDR3DRAM器件。作为替代方案，可在作为专用硬件器件的ASIC(应用特定集成电路)中实现显影单元219的功能。

数据输出单元222是用于将由显影单元219产生的RGB彩色图像传送到图像处理装置102的接口。成像装置101和图像处理装置102通过光学通信线缆被连接。作为替代方案，使用诸如USB或GigabitEthernet(注册商标)的通用接口。

(图像处理装置的功能配置)

图3是示出根据本发明的图像处理装置102的功能配置的框图。

图像处理装置102基本上包含图像数据获得单元301、存储器302、用户输入信息获得单元303、显示装置信息获得单元304、链接(link)信息产生单元305、链接信息表306、显示数据产生控制单元307、注释数据产生单元308、图像数据层取得(retrieving)单元309、显示数据产生单元310和显示数据输出单元311。

图像数据获得单元301获得由成像装置101捕获的图像数据。

从外部装置获得的图像数据通过图像数据获得单元301被发送到存储器302并存储于存储器302中。存储于存储器302中的图像数据可以是通过接合由样本的分割成像所获得的RGB颜色分割图像数据而获得的单个二维图像数据。作为替代方案，存储于存储器302中的图像数据可以是具有不同倍率的多个图像的数据(多层图像数据)或由具有不同焦点位置的多个图像的数据组成的多层图像数据。

用户输入信息获得单元303获得由用户通过诸如鼠标或键盘的操作单元输入的用于改变虚拟载片图像的显示状态的命令信息和附加注释信息。用于改变虚拟载片图像的显示状态的命令的例子包含滚动(改变显示位置)、放大/缩小(改变显示倍率)和旋转(改变显示角度)。注释信息包含关于由用户指定的关注区域(或注目区域)的信息和评论(或注释)信息。

显示装置信息获得单元304获得关于显示区域的尺寸(诸如画面分辨率和像素数)的信息和关于当前从显示装置103显示的虚拟载片图像的倍率的信息。

链接信息产生单元305基于通过用户输入信息获得单元303获得的注释的位置信息和通过显示装置信息获得单元304获得的附加注释时的虚拟载片图像的显示倍率来产生链接信息。链接信息是将代表与由注释的位置信息所代表的位置对应的图像数据中包含的各个图像数据层中的位置的转换位置信息与各个图像数据层的倍率相关联的信息。链接信息是对附加于图像数据的注释中的每一个产生的。将在后面参照图6具体描述该处理。

链接信息表306是存储由链接信息产生单元305产生的链接信息的表。

显示数据产生控制单元307根据来自用户输入信息获得单元303的指令，基于由用户输入的用于改变虚拟载片图像的显示状态的命令和注释信息，来控制显示数据的产生。显示数据主要由虚拟载片图像数据和注释显示数据组成。显示数据产生控制单元307指示图像数据层取得单元309产生虚拟载片图像数据，并指示注释数据产生单元308产生注释显示数据。

注释数据产生单元308在显示数据产生控制单元307的控制下，基于注释信息产生注释显示数据。

图像数据层取得单元309在显示数据产生控制单元307的控制下，从存储器302取得显示虚拟载片图像所需要的图像数据层。

显示数据产生单元310从由注释数据产生单元308产生的注释显示数据和由图像数据层取得单元309取得的图像数据层产生要在显示装置103上显示的显示数据。显示数据产生单元310根据由用户输入的用于改变显示状态的命令，从多层图像数据产生虚拟载片图像，并在其上重叠注释显示数据以产生显示数据。

显示数据输出单元311将由显示数据产生单元310产生的显示数据输出到外部显示装置103。

(图像形成装置的硬件配置)

图4是示出根据实施例的图像处理装置的硬件配置的框图。例如，个人计算机(PC)被用作图像处理装置。

图像处理装置具有CPU(中央处理单元)401、RAM(随机存取存储器)402、存储器件403、数据输入/输出接口(I/F)405、以及互连这些块的内部总线404。

CPU401在必要时访问RAM402等，并在执行各种计算处理的同时执行个人计算机中的所有块的总体控制。RAM402被用作CPU401的工作空间，并暂时存储OS、执行中的程序、以及被施加作为本发明特征的显示数据产生处理等的各种数据。存储器件403是可在其中存储信息/从其读出信息的辅助存储器件。要被CPU401执行的OS、程序、以及包含各种参数的固件被固定并存储于存储器件403中。诸如硬盘驱动器(HDD)或固态盘(SDD)的磁盘或者使用闪存的半导体器件被用作存储器件403。

图像服务器1101经由LAN接口406与数据输入/输出接口405连接，显示装置103经由图形板407与数据输入/输出接口405连接，并且成像装置101经由外部装置接口408与数据输入/输出接口405连接。成像装置101是虚拟载片装置或数字显微镜。键盘410和鼠标411经由操作接口409与数据输入/输出接口405连接。

显示装置103是使用例如液晶、电致发光(EL)或阴极射线管(CRT)的显示器件。虽然在本例示实施例中显示装置103作为外部装置与图像处理装置连接，但是，如笔记本PC的情况那样，根据本发明的图像处理装置可与显示装置一体化。

虽然作为例子键盘410和鼠标411被称为与操作接口409连接的器件，但诸如触摸面板的其它输入器件可与其连接。在触摸面板被用作输入器件的情况下，与图形板407连接的显示装置103和与操作接口409连接的输入器件被集成于一个装置中。

(为多个倍率准备的多层图像的概念)

图5示意性地示出由具有不同倍率的多个图像数据层构成的图像数据的概念。这里，将描述图2所示的成像装置101的分辨率转换单元215产生的多层图像数据。

图像数据层501、502、503和504是为相应的显示倍率准备的分别具有逐渐不同的分辨率的二维图像数据。在这里描述的例示情况中，假定沿具有不同倍率的图像数据层的一维方向的分辨率(像素数)之间的关系如下：图像层503的分辨率等于图像层504的分辨率的一半；图像层502的分辨率等于图像层503的分辨率的一半；并且图像层501的分辨率等于图像层502的分辨率的一半。准备的图像数据层的倍率不限于图5所示的例示情况中的那些，而可被任意地设置。

通过成像装置101获得的捕获图像数据是具有几十亿像素的高分辨率图像数据。如果每次提出用于改变虚拟载片图像的显示倍率的请求时执行用于放大或缩小的分辨率转换处理，那么可存在未及时完成处理的情况。因此，事先作为多层图像数据从高分辨率捕获图像数据产生具有不同倍率的多个图像的数据。由此，当提出用于改变显示倍率的请求时，从所述多个图像数据层之中选择具有接近于请求的显示倍率的倍率的图像数据层，并且根据请求的显示倍率对选择的图像数据层执行分辨率转换，以产生用于虚拟载片图像的显示数据。就图像质量而言希望从较高倍率的图像数据产生显示数据。

通过利用分辨率转换来缩小高分辨率捕获图像，产生图像数据的层。分辨率转换的方法可以是作为二维线性插值的双线性的，或者使用三维插值的双三次的(bicubic)。

图像数据的各层具有二维轴或X轴和Y轴。在图5中，被示为垂直于X轴和Y轴取向的轴的P轴代表倍率。

在图5中，从多个分割图像数据或图像数据项505产生图像数据的一个层502。如前所述，通过拼接由分割成像获得的图像数据项产生高分辨率二维图像数据。分割图像数据505是通过捕获可由成像传感器208一次捕获的区域的图像所获得的图像数据。分割图像数据505的尺寸不限于此，而是，分割图像数据505可以是通过任意地分割由捕获可由成像传感器208一次捕获的区域的图像所获得的图像数据而获得的图像数据的一部分，或通过接合任意数量的各通过捕获可由成像传感器208一次捕获的区域的图像所获得的图像数据项而获得的图像数据。

如上所述，希望意在通过放大和缩小以各种显示倍率观察的病理诊断用图像数据作为如图5所示的那样具有多层结构的图像数据(由具有不同倍率的多个图像数据层构成)被产生及存储。象这样的图像数据的形式可以是单个图像数据，其中集成多层的图像数据以使得图像数据可被作为单个图像数据而对待。作为替代方案，可按如下的形式准备图像数据：其中，作为独立的图像数据项准备各层的图像数据，并且规定图像数据项与显示倍率之间的关系的信息可被分离地存储。在以下的描述中，假定准备由多层的图像数据构成的单个图像数据。

(附加和呈现注释的方法)

将参照图6中的流程图描述根据本发明的图像处理装置中的附加和呈现注释的处理。

在步骤S601中，显示装置信息获得单元304获得关于显示装置103的显示区域的尺寸(画面分辨率和像素数)的信息以及关于当前显示的虚拟载片图像的显示倍率的信息。关于显示区域尺寸的信息被显示数据产生单元310使用以确定要产生的显示数据的尺寸(像素数)。关于显示倍率的信息被图像数据层取得单元309使用以从存储器302选择图像数据层，并且还被链接信息产生单元305使用以产生注释的链接信息。将在后面描述链接信息的产生。

在步骤S602中，图像数据层取得单元309从存储器302取得与当前在显示装置103上显示的虚拟载片图像的显示倍率对应的图像数据层。可取得与规定的倍率对应的图像数据层。

在步骤S603中，显示数据产生单元310基于由图像数据层取得单元309取得的图像数据层产生要输出到显示装置103的显示数据。如果由用户指定的虚拟载片图像的显示倍率与取得的图像数据层的倍率不同，那么执行分辨率转换处理。由此产生的显示数据被输出到显示装置103，并且基于显示数据在显示装置103上显示图像。

在步骤S604中，显示数据产生控制单元307基于从用户输入信息获得单元303获得的信息，确定用户是否输入用于改变虚拟载片图像的显示状态的命令。具体而言，这种命令包含用于偏移显示位置(滚动)的命令和用于改变显示倍率的命令。特别地，用于偏移显示位置的命令是使得显示位置偏移之后的虚拟载片图像的显示区域超出(fallout)被当前的虚拟载片图像覆盖的区域的命令。如果用于改变显示状态的命令被输入以要求虚拟载片图像的更新，那么显示数据产生单元307返回到步骤S602。之后，再次执行取得图像数据层的处理以及通过产生显示数据来更新虚拟载片图像的处理。如果未输入用于改变显示状态的命令，那么显示数据产生控制单元307前进到步骤S605。

在步骤S605中，显示数据产生控制单元307基于通过用户输入信息获得单元303获得的信息，确定用户是否输入用于附加注释的命令。如果输入了用于附加注释的命令，那么显示数据产生控制单元307前进到步骤S606。如果未输入用于附加注释的命令，那么显示数据产生控制单元307前进到步骤S607。

在步骤S606中，执行用于向图像数据附加注释的各种处理。处理包括通过用户输入信息获得单元303获得注释信息(通过诸如键盘410的输入器件所输入的注释内容和位置信息)、以及通过链接信息产生单元305产生链接信息。将在后面参照图7具体描述这种处理。

在步骤S607中，显示数据产生控制单元307确定是否输入用于呈现附加注释的请求。如果输入了用于呈现注释的请求，那么显示数据产生控制单元307前进到步骤S608。如果未输入用于呈现注释的请求，那么显示数据产生控制单元307返回到步骤S604并再次执行上述的处理。虽然出于解释的原因已按时间顺序描述了处理，但可同时地或者以与上述次序不同的次序依次地执行用于改变显示位置和/或显示倍率的请求的接收、注释的附加和注释的呈现。

在步骤S608中，显示数据产生控制单元307响应于用于呈现注释的请求执行呈现注释的处理。将在后面参照图8具体描述该处理。

(注释的附加)

图7是具体描述图6中的上述步骤S606中的附加注释处理的流程图。参照图7，将描述基于附加注释的位置信息与附加注释时的虚拟载片图像的显示倍率产生链接信息的处理。

在步骤S701中，显示数据产生控制单元307获得附加注释的位置信息。显示数据产生控制单元307执行将当前显示的虚拟载片图像中的注释的相对位置转换成图像数据的整个区域中的位置的处理，由此获得注释的绝对位置信息(坐标)。

在步骤S702中，显示数据产生控制单元307获得通过键盘410或其它器件输入的注释的内容信息。当呈现注释时，使用由此获得的注释内容信息。

在步骤S703中，显示数据产生控制单元307获得关于在显示装置103上显示的虚拟载片图像的显示倍率的信息。该显示倍率是附加注释时的显示倍率。在本实施例中描述的例示情况中，显示数据产生控制单元307从显示装置103获得显示倍率信息。但是，由于通过图像处理装置102产生显示数据，因此图像处理装置102可被配置为获得关于存储于其中的显示倍率的信息。

在步骤S704中，链接信息产生单元305基于步骤S701中获得的注释的位置信息和步骤S703中获得的关于附加注释时的显示倍率的信息来产生链接信息。由于可通过参照链接信息确定倍率与附加注释时的倍率不同的图像数据层中的注释的位置(坐标)，因此可对任何图像数据层利用在步骤S701中附加的注释信息。例如，考虑注释被附加在具有20×的显示倍率的虚拟载片图像中的坐标(100，100)的位置处的示例性情况。坐标(100，100)的位置处于沿X轴和Y轴距虚拟载片图像的整个区域的原点(0，0)具有100个像素的距离(以像素数计)的点处。该注释位置在具有40×的显示倍率的高倍率图像中通过坐标P1(200，200)来表达，并在具有10×的显示倍率的低倍率图像中通过坐标P2(50，50)来表达。具有一定的显示倍率的图像数据层中的注释的位置的坐标是通过将步骤S701中获得的附加注释时的注释的坐标乘以该显示倍率与步骤S703中获得的附加注释时的显示倍率之比获得的。

在步骤S705中，确定自虚拟载片图像的观察的开始它是否是第一次注释附加。如果它是第一次附加，那么处理前进到步骤S707。另一方面，如果注释的附加在以前已被执行至少一次，那么处理前进到步骤S706。

在步骤S706中，使用步骤S704中产生的链接信息更新存储于链接信息表中的链接信息。将在后面描述链接信息表。具体而言，用于存储将在下面关于步骤S707描述的第一次执行注释附加时创建的链接信息的表中的值被更新。

在步骤S707中，创建链接信息表。链接信息表存储步骤S704中产生的链接信息。链接信息是关于附加注释的位置信息、通过转换多个不同倍率的图像数据层的上述位置信息所获得的转换位置信息、以及附加注释时的显示倍率之间的关联性的信息。在这里描述的例示情况中，假定在链接信息中还包含注释的文本内容。链接信息是使注释信息与要在各图像层中以重叠方式显示注释的位置相关联的信息，所述位置是基于附加注释时的显示倍率和图像中的位置以及与各图像层的分辨率对应的显示倍率而计算的。

(注释的呈现)

图8是具体描述呈现注释的处理的流程图。参照图8，将描述基于链接信息产生用于呈现注释的显示数据的处理。

在步骤S801中，显示数据产生控制单元307确定用户是否提出用于改变虚拟载片图像的显示状态(偏移显示位置和/或改变倍率)的请求。一般以5×至10×的范围中的显示倍率执行筛选，并且一般以20×或40×的显示倍率执行详细的观察。由此，附加注释时的虚拟载片的显示倍率可在注释之间变动。因此，适合于调查附加于图像数据的多个注释的位置的显示倍率依赖于附加于所述图像数据的所述多个注释。在步骤S801中，用户可提出用于将虚拟载片图像的显示状态变为适合于呈现附加于图像数据的多个注释的状态的请求。如果提出了用于改变显示状态的请求，那么显示数据产生控制单元307前进到步骤S802。如果未提出用于改变显示状态的请求，那么显示数据产生控制单元307前进到步骤S803。

在步骤S802中，响应于用于改变显示状态的请求，显示数据产生控制单元307选择适当的图像数据层，以实现适合于呈现注释的虚拟载片图像的显示状态。在向图像数据附加了多个注释的情况下，显示数据产生控制单元307确定其中包含所有的所述多个注释的位置的显示区域，使得可在虚拟载片图像中显示附加到图像数据的所有注释的位置。然后，显示数据产生控制单元307选择适合于由此确定的显示区域的图像数据层。例如，如果注释的位置被分布得太宽以至于具有40×倍率的虚拟载片图像不能覆盖大得足以包含所有注释位置的区域，那么，显示数据产生控制单元307选择具有20×倍率的图像数据层，以便产生具有20×显示倍率的虚拟载片图像的显示数据。

在步骤803中，显示数据产生控制单元307确定是否输入用于改变注释显示样式的命令。注释显示样式包含呈现注释时的文本的装饰、帧图像的颜色、以及关于背景图像的透明度的设置。例如，在呈现注释时的虚拟载片图像的显示倍率与附加注释时的虚拟载片图像的显示倍率不同的情况下，诸如文本的颜色和/或字体以及帧图像的颜色的显示模式可通过指示该事实的方式被设置。将在后面具体描述这一点。如果输入用于改变注释显示样式的命令，那么显示数据产生控制单元307前进到步骤S804。如果否，那么显示数据产生控制单元307前进到步骤S805。

在步骤S804中，显示数据产生控制单元307根据输入的用于改变注释显示样式的请求来改变注释显示样式。

在步骤S805中，由于没有输入用于改变注释显示样式的请求，因此显示数据产生控制单元307使用注释显示样式的预定初始设置作为注释显示样式的设置。

在步骤S806中，显示数据产生控制单元307确定要呈现的注释的数量相对于虚拟载片图像的显示区域的尺寸是否过大。显示数据产生控制单元307计算根据在步骤S804或S805中确定的显示样式在虚拟载片图像上显示所有注释的情况下的注释的显示区域的尺寸与虚拟载片图像的显示区域的尺寸的比例。如果该比例大于阈值，那么显示数据产生控制单元307确定注释数量太大。如果注释数量太大，那么显示所有注释导致注释的背景中的虚拟载片图像被注释覆盖，从而使得难以观察虚拟载片图像。用户可在考虑多大程度的注释覆盖将不干涉虚拟载片图像的观察的情况下自由地设置在该确定中使用的阈值。如果确定注释的数量太大，那么显示数据产生控制单元307以指针(pointer)显示模式呈现注释。指针显示模式是使用图标等在虚拟载片图像上仅显示注释的位置信息而不显示注释的文本内容或帧图像的模式。在指针显示模式中，例如，仅对由用户选择的特定注释显示注释的文本内容。另一方面，如果未确定注释的数量太大，那么显示数据产生控制单元307以注释显示模式呈现注释。注释显示模式是使用图标、文本和帧图像等对于所有注释显示注释的位置信息和内容信息的模式。装置可被配置为允许用户基于注释的数量来选择是否启用指针显示模式与注释显示模式之间的切换。

在步骤S807中，注释数据产生单元308产生要用于以指针显示模式呈现注释的注释显示数据。将在后面参照图9E描述以指针显示模式呈现注释的所显示的虚拟载片图像的例子。

在步骤S808中，注释数据产生单元308产生要用于以注释显示模式呈现注释的注释显示数据。将在后面参照图9D描述以注释显示模式呈现注释的所显示的虚拟载片图像的例子。

在步骤S809中，显示数据产生单元310基于在步骤S802中选择的图像数据层和在步骤S807或S808中产生的注释显示数据来产生虚拟载片图像的显示数据。

在步骤S810中，显示数据输出单元311将在步骤S809中产生的显示数据输出到显示装置103。

在步骤S811中，显示装置103显示基于从显示数据输出单元311输出的显示数据的图像。

在步骤S812中，显示数据产生控制单元307确定注释的呈现模式是否是指针显示模式。如果模式是指针显示模式，那么显示数据产生控制单元307前进到步骤S813。另一方面，如果模式是注释显示模式，那么显示数据产生控制单元307前进到步骤S815。

在步骤S813中，显示数据产生控制单元307确定是否由用户使用鼠标或键盘选择了指示在虚拟载片图像上显示的注释的位置的指针或者由用户将鼠标光标放在这种指针之上。如果指示注释位置的指针被选择或者鼠标光标被放在这种指针之上，那么显示数据产生控制单元307前进到步骤S814。如果否，那么显示数据产生控制单元307终止用于呈现注释的处理。

在步骤S814中，显示数据产生控制单元307产生利用其以弹出框(pop-up box)显示附加于所选指针的位置处的注释的文本内容的显示数据。在指针显示模式中，如果取消指针的选择或者鼠标光标移动离开指针，那么显示数据产生控制单元307产生利用其删除注释内容的弹出显示的注释显示数据。作为替代方案，装置可被配置为一旦选择指针就连续保持注释内容的显示，直到输入用于删除注释显示的命令为止。

在步骤S815中，显示数据产生控制单元307确定是否由用户使用鼠标或键盘选择在虚拟载片图像上显示的注释。如果选择了注释，那么显示数据产生控制单元307在随后的处理中产生利用其再现在附加所选注释时的虚拟载片图像的显示倍率和显示位置的显示数据。如果在虚拟载片图像上选择了注释，那么显示数据产生控制单元307前进到步骤S816。如果未选择注释，那么终止呈现注释的处理。

在步骤S816中，图像数据层取得单元309基于包含于链接信息中的注释的附加时的位置信息和关于显示倍率的信息来选择图像数据层。

在步骤S817中，显示数据产生单元310使用注释数据产生单元308对在步骤S815中选择的注释所产生的注释显示数据和在步骤S816中选择的图像数据层来产生显示数据。

步骤S818中的输出显示数据的处理和步骤S819中的基于显示数据由显示装置103显示图像的处理分别与步骤S810和S811中的处理相同。

(显示画面布局)

图9示出在显示装置103上显示在图像处理装置102中产生的显示数据的例子。参照图9，将描述注释显示样式的确定、指针显示模式与注释显示模式之间的差异、以及附加注释时的显示位置和显示倍率的再现。

图9A示出在显示装置103上显示的虚拟载片图像的观察器的窗口的基本配置(或布局)。观察器的窗口具有在总体窗口901中布置的信息区域902和缩略(thum bnail)图像903，所述信息区域902示出显示和操作的状态以及关于图像的各种信息，所述缩略图像903一般示出要观察的样本的总体图像。在总体窗口901中，还存在缩略图像中指示虚拟载片图像的显示区域的框904、虚拟载片图像的显示区域905、以及在显示区域905中显示的虚拟载片图像的显示倍率信息的显示906。观察器的窗口配置可以是在总体窗口901中布置用于显示各种图像和信息的窗口的单文档界面、或包含分别显示各种图像和信息的独立窗口的多文档界面。在缩略图像903中，显示了指示在显示区域905中显示为虚拟载片图像的区域在样本的整个图像中的位置和尺寸的框904。可通过使用诸如鼠标或键盘的输入器件所输入的用户指令改变框904的位置和尺寸。框904的位置和尺寸与用于改变在显示区域905中显示为虚拟载片图像的显示区域(即，用于偏移显示位置和/或改变显示倍率)的用户操作连动地改变。在显示区域905中，显示虚拟载片图像。用户在观察该虚拟载片图像的同时进行诊断或者附加注释。用户可通过经由操作鼠标或键盘输入用于改变显示位置(偏移显示区域)的指令和/或用于改变显示倍率(放大/缩小)的指令来改变虚拟载片图像的显示状态，以使得显示适合于观察的虚拟载片图像。

图9B示出对其执行了附加注释的操作的画面显示的例子。在图9B所示的例示情况下，显示倍率906被设置为20×。用户指定显示区域905中的虚拟载片图像中的关注区域(或注目区域)并输入注释信息。由此，注释被附加。用于附加注释的操作和处理基本上如下面的那样。将参照图9B进行描述。首先，用户操纵鼠标等以指定要附加注释的位置907。该操作导致模式移转到允许输入注释内容(文本)的模式。然后，用户操作键盘等以输入注释内容(文本)908。此时，图像处理装置102组合地获得关于附加了注释的位置的信息和关于附加了注释的虚拟载片图像的显示倍率的信息。

图9C示出利用其设置注释显示样式的画面显示的例子。用于设置注释显示样式的画面909可适于在附加注释时被显示。作为替代方案，设置画面909可适于当事先或者在适当时间从菜单被调用时被显示。在这里描述的例示情况下，假定仅当用户进行附加注释的操作时在图9A所示的信息区域902中显示用于设置注释显示样式的画面909。注释显示样式是注释的呈现的视觉样式。在本实施例中，注释显示样式可依赖于附加注释时的虚拟载片的倍率、或附加注释时的虚拟载片图像的倍率与呈现注释时的虚拟载片图像的倍率之间的差值而变动。在本实施例中，将作为例子描述包含注释内容(文本)显示样式、注释框显示样式和总体注释显示样式的注释显示样式的三个设置项目。但本发明不限于此。注释内容(文本)显示样式的设置项目包含文本颜色、亮度、字体类型和字体强调(emphasis)(例如，粗体和斜体)等。注释框显示样式的设置项目包含框颜色、框线类型(例如，实线/虚线)、框形状(例如，文本气球(balloon)、矩形和其它)和背景颜色。总体注释显示样式的项目包含向构成背景的虚拟载片图像施加α混合(alpha-blending)的情况下的透明度和以闪烁方式显示注释的情况下的闪烁频率。

GUI部分910是允许用户从多个显示样式之中选择他/她喜欢的显示样式的复选框。GUI部分911描述注释显示样式的设置项目的名称。GUI部分912包含用于打开其中显示多个颜色块914和选择的显示颜色915的颜色设置窗口913的按钮、以及用于改变亮度值和透明度的值的滑块(slider)。例如，在可通过8位值设置文本的亮度的情况下，可根据滑块位置来设置0至255的亮度值。可显示允许用于设置亮度值的直接数值输入的GUI部分，尽管在图9中没有示出这种GUI部分。

图9D示出以注释显示模式显示注释的情况下的画面显示的例子。在注释显示模式中，通过指示注释位置的图标917以及注释文本内容、文本气球和框的图像916呈现各注释。图9D示出呈现三个注释的例示情况。如果附加注释的位置被分布于宽范围的区域之上，那么显示倍率可被改变，使得可显示所有注释的位置。可基于注释的位置信息自动地实现显示倍率的变化。作为替代方案，用户可手动改变显示范围和显示倍率。在图9D所示的例示情况下，显示倍率是5×。假定附加各个注释时的虚拟载片图像的显示倍率相互不同。例如，假定向以10×的显示倍率显示的虚拟载片图像附加了注释1、向以20×的显示倍率显示的虚拟载片图像附加了注释2、并且向以40×的显示倍率显示的虚拟载片图像附加了注释3。在本实施例中，注释的文本气球和框的模式根据附加注释时的虚拟载片图像的显示倍率而变动。由此，用户可认识到附加各个注释时的显示倍率相互不同的事实。

图9E示出以指针显示模式显示注释的情况下的画面显示的例子。在指针显示模式中，通过指示注释位置的图标918呈现注释。如果选择指示位置的图标918中的一个或将鼠标放在其上(moused over)，那么如图9E所示，以弹出919显示与图标对应的注释内容。图9E示出呈现七个注释的示例性情况。对于注释中的一些，其附加时的虚拟载片图像的显示倍率不同，而对于其它的注释，其附加时的虚拟图像的显示倍率相同。在本实施例中，如图9E所示，指示注释位置的图标918的模式根据附加注释时的虚拟载片图像的倍率而变动。由此，用户可从指示注释位置的图标918的差异知晓附加注释时的显示倍率是不同还是相同。如图9D中那样，当选择指示位置的图标918或将鼠标放在其上时所显示的弹出919的模式也根据附加注释时的虚拟载片图像的显示倍率而变动。由此，用户可容易地从大量的注释之中选择希望的注释。

图9F示出再现附加注释时的虚拟载片图像中的注释位置和显示倍率的画面显示的例子。当用户在注释显示模式或指针显示模式中选择注释中的一个时，显示数据产生控制单元307执行以下的处理。显示数据产生控制单元307参照链接信息，产生利用其再现附加注释时的虚拟载片图像的倍率和图像中的注释位置的显示数据。在缩略显示区域903中，显示了指示可显示图9D或图9E所示的所有注释的位置信息的区域的框921、以及指示与当前显示的虚拟载片图像对应的区域的框922。

(实施例的有利效果)

在本实施例中，当向虚拟载片图像附加注释时，基于注释的位置信息和关于虚拟载片图像的倍率的信息产生链接信息。链接信息是对于附加的注释中的每一个产生的。链接信息是代表构成图像数据的具有不同倍率的多个图像数据层中的每一个图像数据层的信息和代表与注释位置对应的各个图像数据层中的位置的转换位置信息之间的关联性的信息。当呈现被附加于图像数据的多个注释时，注释的显示模式根据附加注释时的虚拟载片图像的显示倍率而变动。由此，用户可在注释之间容易地识别附加注释时的虚拟载片图像的倍率的差异。

(第二实施例)

将参照附图描述根据本发明的第二实施例的图像处理系统。

在第二实施例中，如下的例示系统：其中，以使得用户能够识别附加注释时的虚拟载片图像的焦点位置的差异的方式，呈现附加到由具有不同焦点位置的多个图像数据层构成的图像数据的多个注释。以下，将描述与第一实施例不同的特征。与第一实施例中相同的特征将通过相同的附图标记来指定并通过相同的名称来提及，并且将不被进一步详细描述。

(图像处理系统中的装置的配置)

图10是构成根据本发明的第二实施例的图像处理系统的装置的总体图。

在图10中，根据本发明的使用图像处理装置的图像处理系统包括图像服务器1101、图像处理装置102和显示装置103。图像处理装置102可从图像服务器1101获得通过捕获样本图像所获得的图像数据，并产生用于在显示装置103上显示图像的显示图像。这里提到的图像数据包含在第一实施例的描述中描述的通过将通过分割成像获得的捕获图像数据项接合在一起所产生的高分辨率、二维图像数据，为高速显示准备的具有不同倍率的多个图像数据层，以及在不同的焦点位置处捕获的深度图像数据项。将在后面参照图11具体描述深度图像数据。图像服务器1101和图像处理装置102经由网络1002通过通用接口LAN线缆1003被互连。图像服务器1101是配备有存储通过成像装置捕获的图像数据的大容量存储器件的计算机，该成像装置是虚拟载片装置(未示出且与第一实施例中的成像装置101类似)。图像服务器1101可被配置为在与图像服务器1101连接的本地储存器中将不同焦点位置的多层图像数据(深度图像数据)存储为单个数据。作为替代方案，深度图像数据中的层可相互分离，并且可在存在于网络中的一组服务器(云服务器)中分离地存储实体(substantial)深度图像数据项和实体深度图像数据项的参照信息。深度图像数据不必存储于一个服务器中，而是它可以以分布的方式被存储。图像处理装置102和显示装置103与根据第一实施例的图像处理系统中的那些相同。

虽然图10所示的图像处理系统由包括图像服务器1101、图像处理装置102和图像显示装置103的三个装置构成，但根据本发明的系统的配置不限于此。例如，可以使用具有一体化的显示器件的图像处理装置，或者可在图像服务器1101中实现图像处理装置102的功能的一部分。相反，图像服务器1101和图像处理装置102的功能可被分割并在多个装置中被实现。

(事先为多个焦点位置准备的多层图像的概念)

图11示意性地示出由具有不同焦点位置的多个图像数据层构成的深度图像数据的概念。通过在沿深度方向(即，图2中的Z方向、与台架垂直的方向或光轴的方向)移动成像装置101的台架202的同时多次执行图像捕获，获得具有不同焦点位置的多项图像数据。

图11A是示出具有其中沿深度方向层叠在不同焦点位置处捕获的二维图像数据层的多层结构的图像数据的概念的示意图。

在待观察样本中的某个焦平面处捕获的二维图像1102的数据被称为深度图像数据。图像数据组1100由沿与二维平面(XY平面)垂直的深度方向(Z方向)相互不同的焦点位置处捕获的深度图像数据1102的多个层的叠层构成。在图11A所示的例示情况下，图像数据由在不同焦点位置处捕获的深度图像数据的十个层构成。

深度图像数据1102的一个层由多项分割图像数据1103构成。如上所述，通过将通过分割成像获得的多项图像数据接合在一起产生大尺寸、高分辨率图像数据。各项分割图像数据1103可以是具有等于通过分割成像获得的图像数据的尺寸的图像数据、通过分割成像获得的图像数据项的集合、或通过进一步分割通过分割成像获得的图像数据所产生的图像数据。换句话说，可以采用深度图像数据1102的任何希望的分割方式，并且分割的单位可与分割成像的单位相同或不同。

各焦点位置的深度图像数据具有限定二维平面的两个轴或X轴和Y轴。另外，深度图像数据具有以层布置关于与X轴和Y轴垂直的Z轴方向(即，深度方向)具有不同焦点位置的深度图像数据的数据格式。

为了实现高分辨率，虚拟载片装置的成像光学系统具有大的数值孔径(NA)，从而一般导致小的场深。虽然待观察样本的厚度在组织诊断的情况下约为3至5μm且在细胞诊断的情况下约为100μm，但场深远小于它们，具体而言约为1μm。因此，难以产生样本全部对焦的图像。由于在一些情况下即使具有小厚度的样本也在内部具有诸如细胞核的结构，因此，为了实现样本的详细检查，需要在变动焦点位置的情况下观察样本。以满足这种需要的意图获得并产生由多项深度图像数据构成的图像数据。

可产生如第一实施例中所述的出于加速显示的目的产生的具有不同倍率(或分辨率)的多个图像数据层与如本实施例中所述的具有不同焦点位置的多个深度图像数据层的组合所构成的多层图像数据。将参照图11B描述具有这种配置的图像数据。

在图11B中，深度图像数据组1104、1105、1106中的每一个是具有相同倍率和不同焦点位置的多个图像数据层的集合。换句话说，属于同一深度图像数据组的图像数据层具有相同倍率和不同焦点位置，并且属于不同深度图像数据组的图像数据层具有相互不同的倍率。

从具有根据需要选自多个图像数据层的倍率和焦点位置的图像数据层产生用于虚拟载片图像的显示图像数据。

希望意欲在变动焦点位置的情况下观察的用于病理诊断的图像数据作为如图11所示的那样具有由具有不同焦点位置的多个深度图像数据层构成的多层结构的图像数据被产生并被存储。像这样的图像数据的形式可以是其中集成多个深度图像数据层以使得图像数据可被作为单个图像数据对待的单个图像数据。作为替代方案，可以以如下形式准备图像数据：其中，分别作为独立的图像数据项准备深度图像数据层，并且指定深度图像数据项与焦点位置之间的关系的信息可被分离地存储。在以下的描述中，假定准备由多个深度图像数据层构成的单个图像数据。

(注释的附加)

图12是附加注释的处理的流程图。参照图12，将描述基于附加注释的位置信息和附加注释时的虚拟载片图像的焦点位置信息来产生链接信息的处理。

步骤701至步骤703的处理与参照图7在第一实施例中描述的附加注释处理中的相同，并且将不进一步被描述。图12中的步骤S703的获得显示倍率的处理对于本实施例的配置不是必需的，并且可被跳过。

在步骤S1201中，获得关于附加注释时的虚拟载片图像的焦点位置的信息。关于焦点位置的信息是指示从参照图11描述的多个深度图像数据层之中的哪个深度图像数据层产生虚拟载片图像的显示数据的信息。可如第一实施例中那样从显示装置103获得关于焦点位置的信息，或者可从保持在图像处理装置102中的关于显示数据的产生的信息获得它。

在步骤S1202中，链接信息产生单元305基于在步骤S1201中获得的焦点位置信息和在步骤S701中获得的附加注释的位置信息来产生链接信息。链接信息是使转换位置信息与各个图像数据层的焦点位置相关联的信息，所述转换位置信息代表与由注释的位置信息所代表的位置对应的、构成图像数据的各个深度图像数据层中的位置。链接信息是对附加于图像数据的注释中的每一个产生的。链接信息是使各个深度图像中的要以重叠的方式显示注释的位置与注释的信息相关联的信息，所述位置是基于附加注释时的焦点位置和图像中的位置计算的。在已在步骤S703中获得显示倍率信息的情况下，也产生使代表与由注释的位置信息所代表的位置对应的各个图像数据层中的位置的转换位置信息与各个图像数据层的倍率相关联的在第一实施例中描述的链接信息。

在步骤S705中，确定自虚拟载片图像的观察的开始是否已附加了注释。该处理也与第一实施例中的相同，并且将不被进一步描述。

在步骤S1203中，使用在步骤S1202中产生的链接信息更新存储于链接信息表中的链接信息。

在步骤S1204中，创建链接信息表。在链接信息表中，存储在步骤S1202中产生的链接信息。链接信息是关于附加注释的位置信息、通过转换多个不同焦点位置的深度图像数据层的前述位置信息所获得的转换位置信息、以及附加注释时的焦点位置之间的关联性的信息。在已在步骤S1202中产生关于位置信息与倍率之间的关联性的链接信息的情况下，可另外存储关于为各个图像数据层转换的附加注释的位置信息与图像数据层的倍率之间的关联性的信息。

(注释的呈现)

图13是呈现注释的处理的流程图。参照图13，将描述基于链接信息产生用于呈现注释的显示数据的处理。

注释的初始呈现的处理与参照图8在第一实施例中描述的处理基本上相同。所不同的是：通过用于指示焦点位置差异的显示样式的选择替代用于指示显示倍率差异的显示样式的选择。以下，将描述在注释的初始呈现之后进行显示倍率的变化和/或焦点位置的变化的情况下的改变注释呈现的处理。这里，将描述如下的示例性情况：其中，使用如图11B所示的具有多层结构的图像数据，所述多层结构包含具有不同焦点位置的多个深度图像数据层和具有不同倍率的多个图像数据层。在使用这种图像数据的图像显示中，可在观察图像的期间以高速改变倍率(不用每次改变倍率时执行分辨率转换)，并且可改变焦点位置，两者都是通过用户的操作。

在步骤S1301中，显示数据产生控制单元307确定用户是否提出用于改变显示倍率的请求。如果提出了用于改变显示倍率的请求，那么显示数据产生控制单元307前进到步骤S1302。另一方面，如果没有提出用于改变显示倍率的请求，那么显示数据产生控制单元307前进到步骤S1303。

在步骤S1302中，图像数据层取得单元309从多个图像数据层之中取得具有匹配倍率改变请求的倍率的图像数据层。

在步骤S1303中，显示数据产生控制单元307确定用户是否提出用于改变焦点位置的请求。如果提出了用于改变焦点位置的请求，那么显示数据产生控制单元307前进到步骤S1304。另一方面，如果没有提出用于改变焦点位置的请求，那么显示数据产生控制单元307终止处理。

在步骤S1304中，图像数据层取得单元309从多个深度图像数据层之中取得具有匹配焦点位置改变请求的焦点位置的图像数据层。

在步骤S1305中，注释数据产生单元308更新注释显示数据。在注释显示模式中，产生利用其以根据附加注释时的虚拟载片图像的显示倍率和焦点位置而变动的模式来显示附加于图像数据的多个注释的位置和内容的注释显示数据。在指针显示模式中，产生利用其以根据附加注释时的虚拟载片图像的显示倍率和焦点位置而变动的模式来显示多个注释的位置的注释显示数据。根据由用户设置的注释显示样式，确定诸如文本的颜色、亮度和字体，注释显示框的形状和颜色，框中的背景颜色，注释显示区域的透明度，以及闪烁显示的使用/不使用的注释显示数据的特征。

在步骤S1306中，显示数据产生单元310从在步骤S1302中选择的图像数据层或在步骤S1304中选择的深度图像数据层以及在步骤S1305中产生的注释显示数据产生用于画面显示的显示数据。

在步骤S1307中，显示数据输出单元311将在步骤S1306中产生的显示数据输出到显示装置103。

在步骤S1308中，显示装置103基于从显示数据输出单元311输入的显示数据在画面上显示图像。

(实施例的有利效果)

在本实施例中，当向虚拟载片图像附加注释时，基于注释的位置信息和虚拟载片图像的焦点位置信息产生链接信息。链接信息是对附加的注释中的每一个产生的。链接信息是代表构成图像数据的具有不同焦点位置的多个深度图像数据层和代表与注释位置对应的各个深度图像数据层中的位置的转换位置信息之间的关联性的信息。当呈现附加到图像数据的多个注释时，注释的显示模式根据附加注释时的虚拟载片图像的焦点位置而变动。由此，用户可在注释之间容易地识别附加注释时的虚拟载片图像的焦点位置的差异。

(第三实施例)

在以下描述的实施例中，根据显示倍率和显示的焦点位置，使用附加于具有与当前显示的深度图像不同的焦点位置的深度图像的注释的数据执行显示控制。

在高倍率的观察中，场深一般是小的，并且在许多情况下必须变动观察期间的焦点位置。因此，当显示倍率比某一倍率高时，显示被附加于其焦点位置与当前显示的深度图像的焦点位置不同的深度图像的注释将提供关于较浅和/或较深焦点位置的深度图像的信息而不用改变焦点位置，这在执行详细的观察时将提供有益信息(informative)。

在本实施例中，通过恰好在第二实施例中描述的图13中的步骤S1305之前根据显示倍率和显示的焦点位置附加地执行注释数据控制处理(未示出)，实施上述的功能。

图14是根据显示倍率和显示的焦点位置来控制注释数据显示的处理的流程图。

首先，在步骤S1401中，显示数据产生控制单元307确定在显示区域中的任何焦点位置的深度图像中是否存在注释。如果不存在注释，那么显示数据产生控制单元307终止处理。另一方面，如果在显示区域中的任何焦点位置的深度图像中存在注释，那么显示数据产生控制单元307前进到步骤S1402，在步骤S1402处，它确定显示倍率是否等于或高于预定的倍率。可如希望的那样设置预定的倍率。在本实施例的以下描述中，假定预定的倍率是20×。

如果显示倍率低于20×，那么显示数据产生控制单元307终止处理。另一方面，如果在步骤S1402中确定显示倍率等于或高于20×，那么显示数据产生控制单元307前进到步骤S1403，在步骤S1403处，它改变被附加于焦点位置与当前显示的深度图像的焦点位置不同的深度图像的注释的显示设置。

例如，如果当前设置是不显示被附加于焦点位置与当前显示的深度图像的焦点位置不同的深度图像的注释，那么设置被改变以也显示被附加于焦点位置与当前显示的深度图像的焦点位置不同的深度图像的注释。在该改变后的设置中，使得被附加于焦点位置与当前显示的深度图像的焦点位置不同的深度图像的注释在视觉上可辨别。例如，使得其颜色或透明度与原始注释(即，被附加于当前显示的深度图像的注释)的不同。

图16A是具有20×的倍率的五个深度图像的一维示意图。注释1601、1602分别被附加于Z＝1的深度图像和Z＝4的深度图像中的被认为异常的部分。

当以20×的倍率并在焦点位置Z＝3处观察深度图像时，应用上述的注释数据显示控制处理。由于倍率不低于20×，因此，尽管Z＝1和Z＝4的深度图像中的两个注释是附加于其焦点位置与当前显示的深度图像的焦点位置不同的深度图像的注释，但是它们被确定为要被显示的注释，并且这些注释被显示。

由此，即使当观察焦点位置Z＝3的深度图像时，也显示被附加到更深和更浅的焦点位置的深度图像的注释的内容。因此，用户可知晓附近的异常部分的存在而不用改变焦点位置，并可有意地执行详细的观察。

另一方面，当以5×的倍率并在焦点位置Z＝1处执行观察时，由于显示倍率低于20×，因此只显示被附加于焦点位置z＝1的深度图像的注释。在低倍率下，由于场深大，因此很少需要观察期间的多个深度图像之间的切换，并且很少需要改变焦点位置。因此，对用户来说，仅仅被附加于显示的焦点位置的深度图像的注释的内容被显示就足够了。

在高倍率下，场深小。于是，被应用该处理的注释可以不是附加于所有焦点位置的深度图像的所有注释，而仅仅是附加于当前显示的深度图像的焦点位置的附近的预定焦点位置范围中的深度图像的注释。

如上所述，通过图14所示的处理，可根据显示倍率和显示的焦点位置来控制被附加于焦点位置与当前显示的深度图像的焦点位置不同的深度图像的注释的显示。这在详细的观察中有利地增加用户友好性。

(第四实施例)

在以下描述的第四实施例中，在注释附加于其焦点位置与当前显示的深度图像的焦点位置不同的深度图像的情况下，根据这些深度图像之间的注释附近区域中的图像的类似度来控制注释的显示。

图15是本实施例中的注释数据显示控制的流程图。

首先，在步骤S1501中，显示数据产生控制单元307确定在焦点位置与当前显示的深度图像的焦点位置不同的深度图像中是否存在注释。如果不存在注释，那么显示数据产生控制单元307终止处理。另一方面，如果存在注释，那么显示数据产生控制单元307前进到步骤S1502。在步骤S1502中，显示数据产生控制单元307获得其中存在注释的深度图像中和当前显示图像中的注释位置附近的区域的图像，并前进到步骤S1503。

可事先在注释中限定注释位置附近的图像的区域。作为替代方案，注释位置附近的图像的区域可以是在其中心处为注释位置的预定矩形区域。

然后，在步骤S1503中，显示数据产生控制单元307计算当前显示图像中和其中存在注释的深度图像中的注释位置附近的区域的图像之间的类似度以及偏移后的坐标。可在计算类似度和偏移后的坐标时使用块匹配。块匹配是用于确定不同图像中的相应位置的通常方法。可在内部计算中使用残差平方和(residual sum of square)和归一化互相关(normalize cross correlation)。

类似度是在相对于当前显示的深度图像中的注释位置附近的区域的图像偏移其中存在注释的深度图像中的注释位置附近的区域的图像的同时获得的两个图像的相关值的最大值。偏移后的坐标是基于使得相关值最大的偏移量而确定的坐标。通过在注释位置附近的预定区域中执行匹配而不在整个显示区域之上执行类似度计算，可使得处理速度更快。

然后，在步骤S1504中，显示数据产生控制单元307确定在步骤S1503中计算的类似度是否等于或高于预定的阈值。如果类似度低于阈值，那么显示数据产生控制单元307确定其中存在注释的深度图像中的注释位置附近的图像与当前显示的深度图像中的注释位置附近的图像不同，并前进到步骤S1305。

另一方面，如果类似度等于或高于阈值，那么显示数据产生控制单元307确定其中存在注释的深度图像中的注释位置附近的图像与当前显示的深度图像中的注释位置附近的图像基本上是同样的，并前进到步骤S1505。

在步骤S1505中，产生要被附加于当前显示的深度图像的新注释的信息。

新注释的位置被设置于在步骤S1503中获得的偏移后的坐标的位置。注释中的评论保留不变。

优选以与原始注释不同的模式显示新注释，以指示新注释是基于图像处理而推测性地引入的注释的事实。例如，可使得注释的颜色或透明度不同。并且，可在注释中另外包含关于前述的类似度的信息以向用户通知类似度。

以适当的位置偏移来显示被附加于焦点位置比显示的焦点位置浅或深的深度图像的注释信息可如第三实施例中那样使用户避免在观察期间改变焦点位置以检查注释的麻烦。并且，用户可避免在多个焦点位置处附加注释的麻烦。

以下，将参照图16中的示意图描述通过参照图15的流程图描述的处理所获得的几个示例性结果。

图16B示出由五个焦点位置的深度图像数据层构成的示例性图像数据。注释1603附加于焦点位置Z＝3的深度图像。假定被附加注释的部分是样品组织中的空腔。

在显示的焦点位置是位置Z＝1的情况下，虽然在与焦点位置Z＝3的深度图像中的空腔的位置相同的X-Y位置处不存在空腔，但在偏移后的位置处也存在类似的空腔。因此，在上述的注释数据控制处理中，当显示焦点位置Z＝1的深度图像时，在步骤S1503中计算的偏移后的坐标处创建新注释。以与原始注释1603就其颜色和/或透明度而言不同的模式显示新注释。

图16C示出由五个焦点位置的深度图像数据层构成的示例性图像数据。注释1604附加于焦点位置Z＝3的深度图像。假定被附加注释的部分是样品组织中的某个结构。

在任何焦点位置的深度图像中都不存在与代表注释1604的附近的结构的图像类似的图像。因此，在显示Z＝1的深度图像的情况下，在步骤S1503中计算的类似度不变得等于或高于阈值，并且不创建新注释。

在高倍率下，场深小。于是，被应用步骤S1501至S1503的处理的注释可不是存在于所有焦点位置的深度图像中的所有注释，而仅仅是存在于当前显示的深度图像的焦点位置的附近的预定焦点位置范围中的深度图像中的注释。

利用图15所示的处理，即使当注释附加于焦点位置与显示图像的焦点位置不同的深度图像时，如果两个深度图像中的注释附近区域中的图像相互类似，那么也可显示被附加于不同焦点位置的深度图像的注释。这有利地增加观察中的用户友好性。特别地，在焦点位置的差异使得组织中的相同特性结构由于其配置而出现于二维图像中的不同位置处的情况下，可有效地利用附加的注释。

(其它实施例)

可通过将其中存储有完全或部分地实施上述实施例的功能的软件的程序代码的非暂态计算机可读记录介质(或存储介质)供给到系统或装置、并使得系统或装置的计算机(或CPU或MPU)读取并执行存储于记录介质中的程序代码，来实现本发明的目的。在这种情况下，在从记录介质读出的程序代码中实现上述实施例的功能，并且其中记录有程序代码的记录介质构成本发明。

当计算机执行读出程序代码时，在计算机上运行的操作系统(OS)等可基于程序代码的指令来执行实际处理的全部或一部分。在本发明的范围中也可包括通过这种处理来实施上述实施例的功能的情况。

并且，从记录介质读出的程序代码可被写入到被插入计算机的扩展卡、或与计算机连接的扩展单元所具有的存储器中。于是，扩展卡或扩展单元中的CPU等可执行实际处理的全部或一部分，以实施上述实施例的功能。这种情况也可包含于本发明的范围中。

在向上述的记录介质应用本发明的情况下，与在以上描述的流程图对应的程序代码被存储于记录介质中。

可组合采用在第一、第二、第三和第四实施例中描述的特征中的两个或更多个。例如，第二实施例中的指示焦点位置的处理可被应用于根据第一实施例的系统。图像处理装置可与成像装置和图像服务器两者连接，使得可从它们中的任一个取得要处理的图像。在本发明的范围中包括通过在上述实施例中使用的各种技术的可行组合所实现的其它布置。

虽然已参照示例性实施例描述了本发明，但要理解，本发明不限于公开的示例性实施例。以下的权利要求的范围要被赋予最宽的解释，以包含所有这样的修改以及等同的结构和功能。

本申请要求2011年12月26日提交的日本专利申请No.2011-283721和2012年10月3日提交的日本专利申请No.2012-221557的权益，在此通过引用而并入它们的全部内容。

Claims (17)

1.一种图像处理装置，包括：

获得单元，被配置为获得被检体的图像的数据和附加到图像的多个注释的数据；

输入单元，被配置为接收用于放大或缩小图像的显示倍率的指定；以及

产生单元，被配置为产生以重叠于以指定显示倍率放大的图像上的方式显示注释的显示数据，

其中，所述多个注释的数据包含指示附加各注释的图像中位置的位置信息、以及关于附加各注释时的图像的显示倍率的信息，以及

产生单元产生使得注释的显示模式在其附加时的图像的显示倍率不同的注释之间不同的显示数据。

2.根据权利要求1的图像处理装置，其中，产生单元产生使得注释的显示模式在其附加时的图像的显示倍率与指定显示倍率不同的注释与其附加时的图像的显示倍率与指定显示倍率相同的注释之间不同的显示数据。

3.根据权利要求1或2的图像处理装置，其中，输入单元接收用于选择以重叠于图像上的方式显示的注释中的一个注释的命令，以及，当输入单元接收到用于选择的命令时，产生单元产生以重叠于以附加选择的注释时的显示倍率放大的图像上的方式显示通过所述命令选择的注释的显示数据。

4.根据权利要求1至3中任一项的图像处理装置，其中，通过获得单元获得的图像的数据包含具有逐渐不同分辨率的同一被检体的多个图像层的数据，以及，产生单元使用具有适合于指定显示倍率的分辨率的图像层的数据产生显示数据。

5.根据权利要求4的图像处理装置，还包括：存储单元，被配置为基于附加注释时的图像的显示倍率、被附加注释的图像上位置、以及与各图像层的分辨率对应的显示倍率，来计算要以重叠的方式显示注释的各图像层中位置，并被配置为存储其中计算的位置与注释的信息相关联的链接信息，其中，产生单元基于链接信息计算与指定显示倍率相关联的注释的位置，并产生以重叠于以指定显示倍率放大的图像上的方式显示注释的显示数据。

6.一种图像处理装置，包括：

获得单元，被配置为获得被检体的图像的数据和附加至图像的多个注释的数据，所述被检体的图像的数据包含通过在相对于光轴方向的不同焦点位置处将被检体成像所获得的多个深度图像的数据；

输入单元，被配置为接收焦点位置的指定；以及

产生单元，被配置为产生以重叠于指定焦点位置的深度图像上的方式显示注释的显示数据，

其中，所述多个注释的数据包含指示附加各注释的图像中位置的位置信息、以及关于附加各注释时的图像的焦点位置的信息，以及

产生单元产生使得注释的显示模式在其附加时的图像的焦点位置不同的注释之间不同的显示数据。

7.根据权利要求6的图像处理装置，其中，产生单元产生使得注释的显示模式在其附加时的图像的焦点位置与指定焦点位置不同的注释与其附加时的图像的焦点位置与指定焦点位置相同的注释之间不同的显示数据。

8.根据权利要求7的图像处理装置，还包括：存储单元，被配置为基于附加注释时的图像的焦点位置和附加注释时的图像中的注释的位置，来计算要以重叠的方式显示注释的各深度图像中位置，并被配置为存储其中计算的位置与注释的信息相关联的链接信息，其中，产生单元基于链接信息计算与指定焦点位置相关联的注释的位置，并产生以在计算的位置处重叠于指定焦点位置的深度图像上的方式显示注释的显示数据。

9.根据权利要求6的图像处理装置，其中，如果注释被附加至与指定焦点位置不同的焦点位置的深度图像，那么产生单元产生以重叠于指定焦点位置的深度图像上的方式显示该注释的显示数据。

10.根据权利要求9的图像处理装置，其中，输入单元进一步接收用于放大或缩小深度图像的显示倍率的指定，以及，如果显示倍率等于或高于阈值，那么产生单元产生以重叠于指定焦点位置的深度图像上的方式显示被附加至与指定焦点位置不同的焦点位置的深度图像的注释的显示数据。

11.根据权利要求9或10的图像处理装置，其中，产生单元产生以不同的显示模式来显示被附加至指定焦点位置的深度图像的注释和被附加至与指定焦点位置不同的焦点位置的深度图像的注释的显示数据。

12.根据权利要求9至11中任一项的图像处理装置，其中，如果注释被附加至与指定焦点位置不同的焦点位置的深度图像、并且在指定焦点位置的深度图像中与该注释的位置对应的位置的附近的图像和在与指定焦点位置不同的焦点位置的深度图像中该注释的位置的附近的图像的类似度等于或高于阈值，那么产生单元产生以重叠于指定焦点位置的深度图像上的方式显示该注释的显示数据。

13.根据权利要求12的图像处理装置，其中，产生单元通过在预定范围中使在指定焦点位置的深度图像中与注释位置对应的位置的附近的图像和在与指定焦点位置不同的焦点位置的深度图像中注释位置的附近的图像相对于彼此偏移的同时计算这些图像的相关性，来确定这些图像的类似度，并且基于使得相关性最高的偏移量，确定指定焦点位置的深度图像中的要显示被附加于与指定焦点位置不同的焦点位置的深度图像的注释的位置。

14.一种图像处理系统，包括：

根据权利要求1至13中任一项的图像处理装置；以及

显示装置，显示基于从图像处理装置输出的图像数据的图像。

15.一种图像处理装置的控制方法，包括：

获得步骤，获得被检体的图像的数据和附加到图像的多个注释的数据；

输入步骤，接收用于放大或缩小图像的显示倍率的指定；以及

产生步骤，产生以重叠于以指定显示倍率放大的图像上的方式显示注释的显示数据，

其中，所述多个注释的数据包含指示附加各注释的图像中位置的位置信息、以及关于附加各注释时的图像的显示倍率的信息，以及

在产生步骤中，执行使得注释的显示模式在其附加时的图像的显示倍率不同的注释之间不同的显示数据的产生。

16.一种图像处理装置的控制方法，包括：

获得步骤，获得被检体的图像的数据和附加至图像的多个注释的数据，所述被检体的图像的数据包含通过在相对于光轴方向的不同焦点位置处将被检体成像所获得的多个深度图像的数据；

输入步骤，接收焦点位置的指定；

产生步骤，产生以重叠于指定焦点位置的深度图像上的方式显示注释的显示数据，

其中，所述多个注释的数据包含指示附加各注释的图像中位置的位置信息、以及关于附加各注释时的图像的焦点位置的信息，以及

在产生步骤中，执行使得注释的显示模式在其附加时的图像的焦点位置不同的注释之间不同的显示数据的产生。

17.一种存储于非暂态计算机可读介质上的计算机程序，所述计算机程序使得计算机执行根据权利要求15或16的图像处理装置的控制方法中的步骤。