CN103999119A - 图像处理设备、图像处理系统、图像处理方法和程序 - Google Patents

Abstract

一种图像处理设备包括：获取单元，获取对象的图像的数据以及添加到该图像的多个注释的数据；以及显示控制单元，在显示设备上与该注释一起显示该图像。该多个注释的数据包括指出添加注释处的图像中的位置的位置信息以及关于将该注释添加到该图像的用户的信息。该显示控制单元对该多个注释中的一部分或全部进行分组，并且，当由不同的用户添加该多个注释时，该显示控制单元改变对于每个用户的注释的显示形式并且在将该注释叠加在该图像上的同时显示该多个注释。

Description

图像处理设备、图像处理系统、图像处理方法和程序

技术领域

本发明涉及图像处理设备、图像处理系统、图像处理方法和程序。

背景技术

近年来，在病理领域中，使得能够通过放置在载玻片(配制品)上的试样(样本)的图像拾取和图像的数字化来在显示器上进行病理诊断的虚拟载玻片系统作为光学显微镜的替代而引起注意，该光学显微镜是病理诊断的工具。通过使用虚拟载玻片系统使病理诊断图像数字化，可以将试样的传统的光学显微镜图像处理作为数字数据。结果，预期的是获得诸如远程诊断的速度增大、使用数字图像为病人说明、稀少的医疗情况的共享以及教育和实践的效率的优点。

为了使用虚拟载玻片系统来实现等效于光学显微镜的操作，必须使放置在载玻片上的整个试样数字化。可以使用在PC(个人计算机)或者工作站上运行的观看者软件通过整个试样的数字化观察由虚拟载玻片系统创建的数字数据。当整个试样被数字化时，通常数据量非常大，其中像素的数量多至几亿到几十亿。由虚拟载玻片系统创建的数据的量巨大。然而，因为数据量巨大，所以可以通过使用观看者执行放大和缩小处理来观察从微小图像(细节放大的图)到宏观图像(总体高角度图像)的图像。提供了各种方便。通过预先获取各种必需的信息，可以以用户要求的分辨率和倍率即时显示从低倍率图像到高倍率图像的图像。

提出了一种文档管理设备，其使得可以区分添加到文档数据的注释(annotation)的创作者(专利文献1)。

引文列表

专利文献

PTL1：日本专利申请公开No.H11-25077

发明内容

技术问题

当多个用户增加注释到虚拟载玻片图像时，大量的注释被添加到感兴趣区(注意区)。结果，即使在显示器上显示集中于感兴趣区的大量注释，也非常难以区分各个注释。

特别是，难以区分哪些用户添加了各个注释。即使注释被用颜色分类，当多个注释被添加到相同的感兴趣区或者相同的位置时，也难以区分注释。

因此，本发明的一个目的是提供即使在大量的注释被集中于感兴趣区时也使得用户能够容易地区分各个注释的技术。

问题的解决方案

本发明在它的第一方面中提供一种图像处理设备，其包括：获取单元，获取对象的图像的数据以及添加到该图像的多个注释的数据；以及显示控制单元，在显示设备上与该注释一起显示该图像，其中该多个注释的数据包括指出添加注释处的图像中的位置的位置信息以及关于将该注释添加到该图像的用户的信息，以及该显示控制单元对该多个注释中的一部分或全部进行分组，并且，当由不同的用户添加该多个注释时，该显示控制单元改变对于每个用户的注释的显示形式并且在将该注释叠加在该图像上的同时显示该多个注释。

本发明在它的第二方面中提供一种图像处理系统，其包括：根据本发明的图像处理设备；以及显示设备，显示从该图像处理设备输出的图像以及注释。

本发明在它的第三方面中提供一种图像处理方法，其包括：获取步骤，其中计算机获取对象的图像的数据以及添加到该图像的多个注释的数据；以及显示步骤，其中计算机在显示设备上与该注释一起显示该图像，其中该多个注释的数据包括指出添加注释处的图像中的位置的位置信息以及关于将该注释添加到该图像的用户的信息，以及在该显示步骤中，计算机对该多个注释中的一部分或全部进行分组，并且，当由不同的用户添加该多个注释时，计算机改变对于每个用户的注释的显示形式并且在将该注释叠加在该图像上的同时显示该多个注释。

本发明在它的第四方面中提供一种程序(或记录程序的非暂时的计算机可读介质)，用于使得计算机执行根据本发明的图像处理方法的步骤。

本发明的有利效果

即使在大量的注释被集中于感兴趣区时也可以用屏幕显示图像和注释以便使得用户能够容易地区分各个注释。

从以下参考附图的示例性实施例的描述中本发明更多的特征将变得清晰。

附图说明

[图1]是根据第一实施例的图像处理系统的设备配置的总体视图。

[图2]是根据第一实施例的图像处理系统中的成像设备的功能框图。

[图3]是图像处理设备的功能框图。

[图4]是图像处理设备的硬件配置。

[图5]是用于说明为不同的倍率中的每一个预先准备的分级(hierarchical)图像的概念的图。

[图6]是用于说明注释添加和呈现的流程的流程图。

[图7]是用于说明注释呈现的详细流程的流程图。

[图8A]是用于说明注释呈现的详细流程的流程图的一部分。

[图8B]是图8A的流程图的其余部分。

[图9]图9A-9F是图像处理系统的显示屏幕的示例。

[图10]是注释数据列表的配置的示例。

[图11]是根据第二实施例的图像处理系统的设备配置的总体视图。

[图12]是用于说明用于对注释分组的处理的流程的流程图。

[图13]图13A-13C是根据第二实施例的图像处理系统的显示屏幕的示例。

[图14]是根据第三实施例的注释数据列表的配置的示例。

[图15]是用于说明根据第三实施例的注释添加的流程的流程图。

[图16]是用于说明自动诊断处理的流程的示例的流程图。

具体实施方式

<第一实施例>

根据本发明的图像处理设备可被用于包括成像设备和显示设备的图像处理系统中。参考图1说明图像处理系统。

(图像处理系统的设备配置)

图1是包括根据本发明的图像处理设备的图像处理系统。图像处理系统包括成像设备(显微镜设备或者虚拟载玻片扫描器)101、图像处理设备102和显示设备103。图像处理系统具有获取和显示作为成像目标的样本(试样)的二维图像的功能。成像设备101和图像处理设备102通过专用或通用的I/F线缆104被连接。图像处理设备102和显示设备103通过通用的I/F线缆105被连接。

作为成像设备101，虚拟载玻片设备可以被使用，其具有在二维平面方向上的不同位置中拾取(捕获)多个二维图像并且输出数字图像的功能。为了获取二维图像，使用固态图像拾取器件，诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)。可以由其中数字式照相机附接于常规光学显微镜的目镜部的数字显微镜设备代替虚拟载玻片设备来配置成像设备101。

图像处理设备102是具有例如根据来自用户的请求基于原始图像数据根据从成像设备101获取的多个原始图像数据产生在显示设备103上显示的数据的功能的设备。图像处理设备102包括含有诸如CPU(中央处理单元)、RAM、存储装置以及包括操作单元的各种I/F之类的硬件资源的工作站或通用计算机。存储装置是大容量信息存储装置，诸如硬盘驱动。用于实现下面说明的各种处理的程序和数据、OS(操作系统)等被存储在存储装置中。上面说明的功能由将必需的程序和数据从存储装置装载到RAM并且执行程序的CPU实现。操作单元包括键盘和鼠标。操作单元由操作者使用来输入各种指令。

显示设备103是显示作为图像处理设备102进行的运算处理的结果的用于观察的图像的显示器。显示设备103包括CRT或液晶显示器。

在图1中示出的示例中，成像系统包括三个设备，即，成像设备101、图像处理设备102和显示设备103。然而，本发明的配置不限于此配置。例如，可以使用与显示设备一体化的图像处理设备，或可以把图像处理设备的功能并入成像设备中。可以由一个设备实现成像设备、图像处理设备和显示设备的功能。相反地，图像处理设备等的功能可以被分开并且由多个设备实现。

(成像设备的功能配置)

图2是示出成像设备101的功能配置的框图。

成像设备101基本上包括照明单元201、台202、台控制单元205、聚焦光学系统207、成像单元210、显影(development)处理单元219、预测量单元220、主控系统221和数据输出单元222。

照明单元201是用于将光均匀地照射在布置在台202上的载玻片206上的装置。照明单元201包括光源、照明光学系统和用于光源驱动的控制系统。台202被控制为由台控制单元205驱动并且可以在XYZ三个轴方向上移动。载玻片206是通过将作为观察目标的组织切片或涂抹的细胞粘在玻璃载片上并且与安装剂一起固定在盖玻璃之下而获得的部件。

台控制单元205包括驱动控制系统203和台驱动机构204。驱动控制系统203接收主控系统221的指令和执行台202的驱动控制。基于由预测量单元220测量的样本的位置信息和厚度信息(距离信息)以及必要时基于来自用户的指令来确定台202的移动方向、移动量等。台驱动机构204根据驱动控制系统203的指令驱动台202。

聚焦光学系统207是用于将载玻片206的样本的光学图像聚焦在图像传感器208上的透镜组。

成像单元210包括图像传感器208以及模拟前端(AFE)209。图像传感器208是通过光电转换将二维光学图像变为电气物理量的一维的或二维的图像传感器。例如，CCD或CMOS器件被用作图像传感器208。在一维的传感器的情况下，通过在扫描方向上进行扫描来获得二维图像。从图像传感器208输出具有与光强度对应的电压值的电信号。当期望彩色图像作为拾取图像时，例如，不得不使用仅仅与Bayer阵列的滤色器附接的1CCD图像传感器。台202在XY轴方向上移动，由此成像单元210拾取样本的分割的图像。

AFE209是将从图像传感器208输出的模拟信号转换为数字信号的电路。AFE209包括下面说明的H/V驱动器、CDS(相关双采样)、放大器、AD转换器和定时产生器。H/V驱动器将用于驱动图像传感器208的垂直同步信号和水平同步信号转换为传感器驱动所必需的电势。CDS是去除固定图案的噪声的相关双采样电路。放大器是调节经受CDS进行的噪声去除的模拟信号的增益的模拟放大器。AD转换器将模拟信号转换为数字信号。当在成像设备的最后一级处的输出是8比特时，考虑后级处的处理，AD转换器将模拟信号转换为从约10比特量子化到16比特的数字数据并且输出该数字数据。转换后的传感器输出数据被称作RAW数据。RAW数据经受后级处的显影处理单元219进行的显影处理。定时产生器产生用于调节图像传感器208的定时以及后级处的显影处理单元219的定时的信号。

当CCD被用作图像传感器208时，AFE209是必不可少的。然而，在可以执行数字输出的CMOS图像传感器的情况下，AFE209的功能被并入传感器中。虽然在图中未示出，但是存在执行图像传感器208的控制的图像拾取控制单元。图像拾取控制单元执行对于图像传感器208的操作控制以及诸如快门速度、帧率和ROI(感兴趣区)之类的操作定时的控制。

显影处理单元219包括黑色校正单元211、白平衡调节单元212、去马赛克(demosaic)处理单元213、图像合并(merge)处理单元214、分辨率转换处理单元215、滤波处理单元216、伽马校正单元217和压缩处理单元218。黑色校正单元211执行用于从RAW数据的像素中减去在遮光期间获得的黑色校正数据的处理。白平衡调节单元212执行用于通过根据照明单元201的光的颜色温度来调节RGB颜色的增益从而再现期望的白色的处理。具体地，用于白平衡校正的数据被添加到经黑色校正之后的RAW数据。当处理单色图像时，白平衡调节处理是不必要的。显影处理单元219根据成像单元210拾取的样本的分割的图像数据产生下面说明的分级图像数据。

去马赛克处理单元213执行用于根据Bayer阵列的RAW数据产生RGB颜色的图像数据的处理。去马赛克处理单元213对RAW数据中的周边像素(包括相同的颜色的像素和其它颜色的像素)的值进行内插，由此计算注意的像素的RGB颜色的值。去马赛克处理单元213也对有缺陷的像素执行校正处理(内插处理)。当图像传感器208不包括滤色器并且获得单色图像时，去马赛克处理是不必要的。

图像合并处理单元214执行用于合并(接合)由图像传感器208通过分割成像范围获得的图像数据并且产生期望的成像范围中的大容量图像数据的处理。通常，样本的存在范围比可以由现有图像传感器的一次图像拾取中获取的成像范围更宽。因此，通过接合分割的图像数据产生一个二维图像数据。例如，当假设以0.25μm(微米)的分辨率拾取载玻片206上的10mm²的范围中的图像时，一条边的像素的数量是10mm/0.25μm，即，40000个像素。像素的总数是一条边的像素的数量的平方，即，16亿。为了使用具有10M(1千万)像素的图像传感器208获取具有16亿像素的图像数据，必须将区域分割成16亿/1千万，即，160个，以便执行图像拾取。作为接合多个图像数据的方法，存在例如基于台202的位置信息对准和接合图像数据的方法、接合多个分割的图像的对应点或线以便彼此对应的方法、以及基于分割的图像数据的位置信息接合分割的图像数据的方法。当图像数据被接合时，图像数据可以通过内插处理(诸如0次内插、线性内插或高次内插)被平滑地接合。在本实施例中，假设产生一个大容量图像。然而，作为图像处理设备102的功能，可以采用用于在产生显示数据时接合分割和获取的图像的配置。

分辨率转换处理单元215执行用于预先使用分辨率转换产生与显示倍率对应的倍率图像以便快速显示由图像结合处理单元214产生的大容量二维图像的处理。分辨率转换处理单元215产生从低倍率到高倍率的多个级处的图像数据并且将图像数据形成为具有结合的分级结构的图像数据。下面参考图5说明细节。

滤波处理单元216是实现图像中包括的高频分量的抑制、噪声去除以及分辨率增强感觉的数字滤波器。根据通用的显示装置的灰度表现特性，伽马校正单元217执行用于将逆特性添加到图像的处理或者执行通过高亮度部分的暗区处理或灰度压缩调节到人类视觉特性的灰度转换。在本实施例中，对于出于形状观察的目的的图像获取，后级处的合适结合处理和显示处理的灰度转换被应用于图像数据。

压缩处理单元218执行出于大容量二维图像数据的传送的效率以及在图像数据的存储期间的容量减小的目的执行的压缩的编码处理。作为用于静态图像的压缩方法，标准化的编码系统(诸如JPEG(联合照相专家组)、作为JPEG的提高和改进版的JPEG 2000和JPEG XR等)通常是广泛地已知的。

预测量单元220是执行用于计算样本在载玻片206上的位置信息、到期望焦点位置的距离信息以及用于由样本的厚度引起的光量调节的参数的在先测量的单元。可以通过使用预测量单元220在实际测量(拾取的图像数据的获取)之前获取信息来实现不浪费的图像拾取。为了获取二维平面的位置信息，使用具有比图像传感器208的分辨率低的分辨率的二维图像传感器。预测量单元220根据获取的图像掌握样本在XY面上的位置。为了获取距离信息和厚度信息，使用ShackHartmann类型的测量装置或者激光位移计。

主控系统221具有执行上面说明的各种单元的控制的功能。主控系统221和显影处理单元219的控制功能通过包括CPU、ROM和RAM的控制电路实现。具体地，程序和数据被存储在ROM中。CPU使用RAM作为工作存储器来执行程序，由此主控系统221和显影处理单元219的功能被实现。作为ROM，使用诸如EEPROM或者闪速存储器之类的装置。作为RAM，使用诸如DDR3之类的DRAM装置。显影处理单元219的功能可以用形成为作为专用硬件装置的ASIC的单元的功能代替。

数据输出单元222是用于将显影处理单元219产生的RGB颜色图像发送到图像处理设备102的接口。成像设备101和图像处理设备102由用于光通信的线缆连接。可替代地，使用通用接口，诸如USB或者千兆以太网(注册商标)。

(图像处理设备的功能配置)

图3是示出根据本实施例的图像处理设备102的功能配置的框图。

图像处理设备102示意性地包括图像数据获取单元301、存储和保持单元(存储器)302、用户输入信息获取单元303、显示设备信息获取单元304、注释数据产生单元305、用户信息获取单元306、时间信息获取单元307、注释数据列表308、显示数据产生控制单元309、显示图像数据获取单元310、显示数据产生单元311、以及显示数据输出单元312。

图像数据获取单元301获取由成像设备101拾取的图像数据。图像数据是通过分割和拾取样本的图像获得的RGB颜色的分割的图像数据、通过结合分割的图像数据获得的一个二维图像数据以及基于二维图像数据为每个显示倍率分层的图像数据中的至少任何一个。分割的图像数据可以是单色图像数据。

存储和保持单元302捕获经由图像数据获取单元301从外部设备获取的图像数据并且存储和保持图像数据。

用户输入信息获取单元303经由诸如鼠标或者键盘之类的操作单元获取到在执行图像诊断时使用的显示应用的输入信息。作为显示应用的操作，存在例如用于显示图像数据的更新指令(诸如显示位置改变或者放大或缩小显示)以及作为笔记的注释添加到感兴趣区。用户输入信息获取单元303获取用户的注册信息以及在图像诊断期间的用户选择结果。

显示设备信息获取单元304除显示设备103中包括的显示器的显示区域信息(屏幕分辨率)之外还获取关于当前显示的图像的显示倍率的信息。

注释数据产生单元305产生总图像中的位置坐标、显示倍率、添加作为注释的文本信息以及作为本实施例的特征的用户信息，以作为注释数据列表。为了产生列表，使用由用户输入信息获取单元303或显示设备信息获取单元304获取的显示屏幕中的位置信息、显示倍率信息、添加作为注释的文本输入信息、下面说明的用户信息以及关于添加注释时的时间的信息。下面参考图7说明细节。

用户信息获取单元306获取用于识别添加注释的用户的用户信息。根据到图像处理设备102上运行的用于观看诊断图像的显示应用的登录ID来确定用户信息。可替代地，可以通过根据预先注册的用户信息选择用户来获取用户信息。

时间信息获取单元307从图像处理设备102中包括的时钟或网络上的时钟中获取添加注释时的日期和时间作为日期和时间信息。

注释数据列表308是通过列出注释数据产生单元305产生的注释的各种信息而获得的参考表。参考图10说明列表的配置。

显示数据产生控制单元309是用于根据用户输入信息获取单元303获取的来自用户的指令来控制显示数据的产生的显示控制单元。显示数据主要包括图像数据和注释显示数据。

显示图像数据获取单元310根据由显示数据产生控制单元309进行的控制从存储和保持单元302中获取显示所必需的图像数据。

显示数据产生单元311使用由注释数据产生单元305产生的注释数据列表308和由显示图像数据获取单元310获取的图像数据来产生用于在显示设备103上显示的显示数据。

显示数据输出单元312将由显示数据产生单元311产生的显示数据输出到作为外部设备的显示设备103。

(图像处理设备的硬件配置)

图4是示出根据本实施例的图像处理设备102的硬件配置的框图。作为执行信息处理的设备，使用例如PC(个人计算机)。

PC包括CPU(中央处理单元)401、RAM(随机访问存储器)402、存储装置403、数据输入和输出I/F405、以及配置为连接这些装置的内部总线404。

CPU 401根据必要在适当时访问RAM 402等并且在执行各种运算处理的同时共同地控制PC的所有模块。RAM 402被用作CPU 401的工作区域等。RAM 402暂时地存储OS、正在执行的各种程序以及要由处理处理的各种数据，诸如用于注释的用户识别以及用于显示的数据的产生，其是本实施例的特征。存储装置403是记录和读出信息的辅助存储装置，其中固定地存储OS、程序和固件，诸如要由CPU 401执行的各种参数。作为存储装置403，使用磁盘驱动(诸如HDD(硬盘驱动)或SSD(固态盘))或包括闪速存储器的半导体装置。

图像服务器1101经由LAN I/F406连接到数据输入和输出I/F405。显示装置103经由图形板(graphics board)407连接，由虚拟载玻片设备和数字显微镜代表的成像设备101经由外部设备I/F 408连接，并且键盘410和鼠标411经由操作I/F409连接。

显示设备103是包括例如液晶、EL(电致发光)或CRT(阴极射线管)的显示装置。作为显示装置103，假设连接作为外部设备的形态。然而，可以假设与显示设备集成的PC。例如，笔记本PC对应于PC。

作为到操作I/F 409的连接装置，假设诸如键盘410或鼠标411之类的定点装置。然而，还可以采用其中诸如触摸面板之类的显示设备103的屏幕直接用作输入装置的配置。在那种情况下，触摸面板可以与显示设备103集成。

(为每一个倍率准备的分级的图像的概念)

图5是为不同的倍率中的每一个预先准备的分级的图像的概念图。分级的图像是包括相同的对象(相同的图像内容)的多个二维图像的图像组，并且是其分辨率从低分辨率逐步地变为高分辨率的图像组。说明由根据本实施例的成像设备101的分辨率转换处理单元215产生的分级的图像。

附图标记501、502、503和504分别表示根据显示倍率准备的具有不同分辨率的二维图像。为了简化说明，分辨率是一维方向上的分辨率，即，503的分级的图像的分辨率是504的分辨率的一半，502的分级的图像的分辨率是503的分辨率的一半，并且501的分级的图像的分辨率是502的分辨率的一半。

期望由成像设备101获取的图像数据是出于诊断的目的具有高分辨率和高分辨能力的图像拾取数据。然而，如上面说明的，在显示包括几十亿像素的图像数据的缩小图像时，如果根据显示的要求每次执行分辨率转换则处理较迟。因此，期望的是，预先在具有不同倍率的几个级处准备分级的图像，根据来自显示器侧的请求从准备的分级的图像中选择具有接近显示倍率的倍率的图像数据，并且根据显示倍率执行倍率的调节。通常，就图像质量而言，期望的是根据具有更高倍率的图像数据产生显示数据。

因为以高分辨率执行图像拾取，所以通过使用分辨率转换方法减少具有最高分辨率的图像数据来产生用于显示的分级的图像数据。作为分辨率转换的方法，例如，除作为二维线性内插处理的双线性之外采用三次式内插公式的双三次也是广泛知道的。

层的图像数据具有二维轴X和Y。根据分层的锥形形状的配置绘制了示出为在与XY正交的方向上的轴的P。

附图标记505表示一个分级的图像502中的分割的图像数据。首先，通过接合分割地拾取的图像数据来执行二维图像数据的产生。作为分割的图像数据505，假设可以由图像传感器208一次拾取的范围中的数据。作为一次图像拾取中获取的图像数据的分割或任意数量的图像数据的接合的结果的图像数据可以被设定为限定尺寸的分割的图像数据505。

期望地产生和保持被假定为在不同显示倍率(诸如放大和缩小)处的诊断或观察目标的病理的图像数据，作为分级的图像，如图5所示。分级的图像数据可以被收集和处理作为一个图像数据，或可以被分别准备作为独立的图像数据以便保持清楚地指示与显示倍率的关系的信息。在下面说明中，假设分级的图像数据是单个图像数据。

(注释的添加和呈现的方法)

参考图6的流程图说明根据本实施例的图像处理设备102中的注释的呈现和添加的流程。

在步骤S601中，显示设备信息获取单元304除显示设备103的显示区域的尺寸信息(屏幕分辨率)之外还获取关于当前显示的图像的显示倍率的信息。显示区域的尺寸信息被用于确定要产生的图像数据的尺寸。在从分级的图像中选择任何图像数据时和在产生注释数据列表时使用显示倍率。下面说明收集作为列表的信息。

在步骤S602中，显示图像数据获取单元310从存储和保持单元302中获取与当前显示在显示设备103上的图像的显示倍率(或在初始阶段处的限定倍率)对应的图像数据。

在步骤S603中，显示数据产生单元311基于获取的图像数据产生要被显示在显示设备103上的显示数据。在显示倍率不同于获取的分级的图像的倍率时，执行用于分辨率转换的处理。产生的图像数据被显示在显示设备103上。

在步骤S604中，显示数据产生控制单元309基于用户输入信息确定是否根据来自用户的指令执行显示屏幕的更新。具体地，除用于显示存在于显示屏幕的外侧的图像数据的显示位置的改变之外还存在显示倍率的改变。当屏幕更新是必需的时，处理回到步骤S602并且执行用于图像数据的获取和通过显示数据的产生的屏幕更新的处理。当不要求屏幕更新时，处理进行到步骤S605。

在步骤S605中，显示数据产生控制单元309基于用户输入信息确定是否从用户接收注释添加的请求或指令。当指示注释添加时，处理进行到步骤S606。当不指示注释添加时，处理进行到步骤S607，跳过用于注释添加的处理。

在步骤S606中，执行添加注释中包含的各种处理。处理内容的示例除由键盘410等输入的注释内容(评论)的存储之外还包括到用户信息的链接以及到相同的(现有的)注释的评论添加，其是本实施例的特征。下面参考图7说明细节。

在步骤S607中，显示数据产生控制单元309确定是否请求添加的注释的呈现。当由用户请求注释的呈现时，处理进行到步骤S608。当不请求呈现时，处理回到步骤S604并且重复在步骤S604和后面的步骤中的处理。由于流程的说明，按时间序列说明处理。然而，作为显示位置和倍率的改变、注释添加和注释呈现的屏幕更新请求的接收可以在包括同时、顺序等的任何定时处。

在步骤S608中，显示数据产生控制单元309响应于呈现的请求执行用于向用户有效地呈现注释的处理。下面参考图8A和8B说明细节。

(注释的添加)

图7是用于说明在图6中的步骤S606中说明的用于添加注释的处理的详细流程的流程图。在图7中，说明用于基于向其添加注释的图像的显示倍率和位置信息以及用户信息来产生注释数据的流程。

在步骤S701中，显示数据产生控制单元309确定注释是否被添加到作为诊断目标的图像数据组。当已经添加了注释时，处理进行到步骤S608。当首次添加注释时，处理进行到步骤S704，跳过多个步骤。其中注释已经被添加到参考的图像数据的情形包括其中由其它用户请求对于相同的样本的意见的情形以及其中相同的用户确认包括曾经添加的注释的各种诊断内容的情形。

在步骤S608中，显示数据产生控制单元309向用户呈现过去添加的注释。下面参考图8A和8B说明处理的细节。

在步骤S702中，显示数据产生控制单元309确定由用户进行的操作是对于任何呈现的注释的评论内容的新的添加或更新还是新的注释的添加。当执行对于相同的(即，现有的)注释的评论添加或校正时，在步骤S703中，注释数据产生单元305掌握以及选择命令被添加或校正的注释的ID号。否则，即，当执行对于不同的感兴趣区的新的注释的添加时，处理进行到步骤S704，跳过步骤S703中的处理。

在步骤S704中，注释数据产生单元305获取向其添加注释的图像的位置信息。从显示设备103获取的信息是显示图像中的相对位置信息。因此，注释数据产生单元305执行用于将信息转换成存储在存储和保持单元302中的整个图像数据的位置以便掌握绝对位置的坐标的处理。

通过计算向其添加注释的位置和用于每一个分级的图像的显示倍率之间的对应关系，获得向其添加注释的图像中的绝对位置信息，使得甚至可以使用具有不同倍率数据的分级的图像数据。例如，假设注释被添加到点P(100，100)的位置，其中在20的显示倍率处与图像原点(X＝Y＝0)的距离(像素)分别是100个像素。在具有40的倍率的高倍率图像中，其中添加注释的坐标是P1(200，200)。在具有10的倍率的低倍率图像中，添加注释处的坐标是P2(50，50)。为了简化说明，使用方便的显示倍率。然而，当显示倍率是例如25时，在具有40的倍率的高倍率图像中，添加注释处的坐标是P3(160，160)。以这种方式，坐标的值仅仅得被乘以要获得的分级的图像的倍率与显示倍率的比率。

在步骤S705中，用户输入信息获取单元303获取通过键盘410输入的注释内容(文本信息)。获取的文本信息被用在注释呈现中。

在步骤S706中，显示设备信息获取单元304获取在显示设备103上显示的图像的显示倍率。显示倍率是在指示注释添加时的观察期间的倍率。从显示设备103获取显示倍率信息。然而，因为图像处理设备102产生图像数据，所以可以使用存储在图像处理设备102中的显示倍率的数据。

在步骤S707中，用户信息获取单元306获取关于添加注释的用户的各种信息。

在步骤S708中，时间信息获取单元307获取关于在指示注释添加时的时间的信息。时间信息获取单元307可以与时间信息一起获取附带的日期和时间信息，诸如诊断和观察的日期和时间。

在步骤S709中，注释数据产生单元305基于在步骤S704中获取的位置信息、在步骤S705中获取的文本信息、在步骤S706中获取的显示倍率、在步骤S707中获取的用户信息和在步骤S708中获取的日期和时间信息来产生注释数据。

在步骤S710中，当首次执行注释数据的添加时，注释数据产生单元305基于在步骤S709中产生的注释数据重新创建注释数据列表。当已经存在列表时，注释数据产生单元305基于注释数据更新列表的内容和值。存储在列表中的信息是在步骤S704中产生的对于每个分级的图像向其添加注释的位置信息(实际上，对于具有各个倍率的分级的图像中的每一个转换的位置信息)、要添加的显示倍率、输入作为注释的文本信息、用户名、以及日期和时间信息。下面参考图10说明注释数据列表的配置。

(注释的呈现)

图8A和8B示出用于说明用于呈现注释的处理(图6和7中的S608)的详细流程的流程图。在图8A和8B中，说明用于基于注释数据列表产生用于呈现注释的显示数据的流程。

在步骤S801中，显示数据产生控制单元309确定是否从用户接收显示屏幕的更新请求。通常，可以预料，在用于全面观察整个图像数据的放映(screening)时的显示倍率(约5到10)、详细观察时的显示倍率(20到40)、以及用于检查添加注释处的位置的显示倍率是不同的。因此，显示数据产生控制单元309基于用户的指令确定是否选择适合于注释呈现的显示倍率。可替代地，可以根据其中添加注释的范围自动地设定显示倍率。当显示屏幕的更新是必需的时，处理进行到步骤S802。当不要求显示屏幕的更新时，处理进行到步骤S803，跳过更新处理。

在步骤S802中，显示图像数据获取单元310响应于对于显示屏幕的更新请求来选择适合于注释呈现的显示图像数据。例如，当添加多个注释时，显示图像数据获取单元310确定显示区域的尺寸使得至少显示包括多个注释的区域。显示图像数据获取单元310基于所确定的显示区域的尺寸从分级的图像数据当中选择具有期望分辨率(倍率)的图像数据。

在步骤S803中，确定添加到显示屏幕的显示区域的注释的数量是否较大。可以任意地设定用于确定的阈值。显示图像数据获取单元310可以被配置为能够根据用户的意图选择下面说明的注释显示模式以及指示器(pointer)显示模式。因为当添加到屏幕的显示区域的注释的数量太大时难以观察背景上的用于诊断的图像，所以根据注释的数量切换显示模式。当以等于或高于固定比率的比率在屏幕上显示注释内容时，期望的是采用指示器显示模式。指示器显示模式是用于使用图标、标志等仅仅示出屏幕上的添加注释处的位置信息的模式。注释显示模式是用于在屏幕上显示作为评论输入的注释内容的模式。当选择和采用指示器显示模式时，处理进行到步骤S804。当选择和采用注释显示模式时，处理进行到步骤S805。

在步骤S804(指示器显示模式)中，显示数据产生单元311产生用于指示注释的位置的数据作为诸如图标之类的指示器。在这一点处，可以根据例如添加注释的用户的不同来改变点的图标的类型、颜色和呈现方法。下面参考图9E说明指示器显示的屏幕示例。

在步骤S805(注释显示模式)中，显示数据产生单元311产生用于将作为注释添加的内容显示为文本的数据。为了执行用户的识别，对于每一个用户改变要显示的注释的作为评论内容的字符的颜色。除改变字符颜色之外，还可以使用任何方法，诸如改变注释框的形状和颜色或注释自身的闪烁显示或透明的显示，只要可以识别添加注释的用户即可。下面参考图9D说明注释显示的屏幕示例。

在步骤S806中，显示数据产生单元311基于步骤S804或步骤S805中产生的注释显示数据和所选择的显示图像数据产生用于屏幕显示的显示数据。

在步骤S807中，显示数据输出单元312将步骤S806中产生的显示数据输出到显示设备103。

在步骤S808中，显示设备103基于输出的显示数据更新显示屏幕。

在步骤S809中，显示数据产生控制单元309确定当前显示模式是注释显示模式还是指示器显示模式。在当前显示模式是指示器显示模式时，处理进行到步骤S810。在当前显示模式是注释显示模式时，处理进行到步骤S812，跳过多个步骤。

在步骤S810(指示器显示模式)中，显示数据产生控制单元309确定用户是选择在屏幕上显示的点还是将鼠标光标放置在指示器上。在注释显示模式中，作为注释输入的文本的内容被显示在屏幕上。在指示器显示模式中，根据必要性显示注释内容。当选择指示器或鼠标光标被放置于指示器上时，处理进行到步骤S811。当未选择指示器时，结束用于注释呈现的处理。

在步骤S811中，显示数据产生控制单元309执行控制以便将添加到所选择的指示器的位置的注释的文本内容显示作为弹窗。在弹窗处理的情况下，当释放指示器的选择时，停止注释内容的显示。一旦被选择，注释内容就可以继续被显示在屏幕上直到发出指令。

在步骤S812中，显示数据产生控制单元309确定是否选择注释。根据注释的选择，再现在添加注释时的显示位置和显示倍率。当选择注释时，处理进行到步骤S813。当未选择注释时，结束用于注释呈现的处理。

在步骤S813中，显示图像数据获取单元310基于来自显示数据产生控制单元309的指令选择显示图像数据。基于存储在注释数据列表中的在注释添加期间的显示倍率和位置信息来选择要选择的显示图像数据。

在步骤S814中，显示数据产生单元311基于步骤S812中选择的注释和步骤S813中选择的显示图像数据来产生显示数据。

步骤S815中的显示数据的输出和步骤S816中的显示设备103上的显示数据的屏幕显示分别与步骤S807和步骤S808相同。因此，省略步骤S815和S816的说明。

(显示屏幕布局)

图9A到9F是在由根据本实施例的图像处理设备102产生的显示数据被显示在显示设备103上时显示的显示屏幕的示例。说明在注释添加期间的显示屏幕、指示器显示模式和注释显示模式、以及在添加注释时的显示倍率和图像显示位置的再现。

图9A是显示设备103的屏幕布局的基本配置。在显示屏幕中，指出关于显示与操作的状态和各种图像的信息的信息区902、观察目标的缩略图像903、以及用于详细观察的样本图像数据的显示区域905被布置在整个窗口901中。在缩略图像903中，显示指出在显示区域905中显示的区域(细节观察区域)的细节显示区域904。在显示区域905中，显示在显示区域905中显示的图像的显示倍率906。可以以其中由单文档界面对于每一个功能区域分割整个窗口901的显示区域的形式或其中由多文档界面通过不同的窗口形成各个区域的形式来显示图像和区域。缩略图像903在样本的总图像中显示样本图像数据的显示区域905的尺寸和位置。可以根据细节显示区域904的框来掌握尺寸和位置。例如，细节显示区域904可以根据来自诸如触摸面板或鼠标411之类的外部连接的输入装置的用户指令而被直接设定，或者可以根据相对于所显示图像的显示区域的移动以及放大和缩小操作而被设定和更新。在样本图像数据的显示区域905中，显示用于详细观察的样本图像数据。根据来自用户的操作指令来显示通过显示区域的移动(观察目标部分区域从样本总图像中的选择和移动)以及显示倍率的改变得到的图像的放大或缩小图像。

图9B是在添加注释时显示的操作屏幕的示例。假设显示倍率906被设定为20。用户可以选择显示区域905中的图像上的感兴趣区(或感兴趣位置)并且添加新的注释。感兴趣区或感兴趣位置是用户确定作为图像中的应该被注意的部分的区域或位置。例如，在图像诊断的情况下，出现异常的部分、必须进行详细观察的部分或存在一些意见的部分被指定为感兴趣区或感兴趣位置。通过用于在利用鼠标411指定图像上的位置之后移动到注释输入模式并且利用键盘410输入文本(注释内容)的操作来添加新的注释。图9B示出其中注释908被添加到鼠标光标907的位置的状态。注释内容(也被称为评论)“注释1”被输入到注释908。与在那点处的显示区域905的图像的显示倍率(906)的值关联地存储注释的位置信息和注释内容。

图9C是在与现有的注释相同的位置中添加注释时显示的操作屏幕的示例。说明其中在由某一用户添加图9B中示出的注释1之后其它用户在相同的图像数据的相同的位置中添加注释2的示例。其它用户可以从屏幕显示的注释当中选择任意的注释并且将评论添加到注释(即，已经添加注释的感兴趣区或感兴趣位置)。图9C中的附图标记909表示图9B中添加注释1的点(位置)。附图标记910表示其中注释2被添加到注释1的状态。以这种方式，可以在相同的感兴趣区(感兴趣位置)中插入校正和添加的评论。

当多个评论被添加到相同的感兴趣区(感兴趣位置)时，可取的是使用关于用户的信息来执行屏幕显示以便使得可以容易地识别哪一个用户输入哪一个注释(评论)。此外，更可取的是执行屏幕显示以便使得可以基于关于添加注释时的日期和时间的信息容易地识别何时添加注释或以什么顺序添加注释。作为实现用户的识别以及日期和时间的识别的具体方法，期望的是改变注释的显示形式的方法。在图9C中，示出其中添加到相同的感兴趣区(感兴趣位置)的多个注释被分组和显示在一个注释框中的示例。然而，可以采用用于在单独的注释框中显示各个注释的形式。在前一种情况下，看起来好像多个评论被列在一个注释中。在后一种情况下，看起来好像多个注释被添加在相同的位置中。然而，在后一种情况下，可取的是对于相同的位置中的注释使用相同形状的注释框以便使得可以容易地区分一组注释。属于相同的组的注释期望地基于添加的日期和时间按时间顺序(从最早的注释依次或者从最新的注释依次)被显示。因此，容易比较和参考对于多个用户的关于注意点的诊断意见，并且掌握按时间序列的评论的变迁。

作为对于每个用户改变注释的显示形式的方法，可以采用各种方法。例如，假设(1)作为注释内容的文本的表现方法的改变，(2)注释框的改变，并且(3)显示整个注释的方法。(1)文本的表现方法的改变是对于每个用户改变文本的颜色、亮度、尺寸、字体类型和修饰(粗体、斜体)、文本的背景的颜色和图案等的方法。如图9C所示，还存在对于每一个注释显示用户的名字和ID的方法。(2)注释框的改变是对于每个用户改变框的颜色、线条类型(实线，虚线)和形状(气球，除矩形以外的形状的选择)、以及背景的图案和颜色等的方法。(3)显示整个注释的方法是对于每个用户改变执行例如与在显示区域905中显示的作为背景图像的图像数据的α混合(透明的图像显示)以及注释自身的闪烁显示的方式的方法。上面说明的显示形式的变化是示例。显示形式可以被结合并且可以使用除这些形式以外的显示形式。

当对于每个日期和时间改变注释的显示形式时，可以使用与上面说明的(1)到(3)相同的方法。然而，当基于日期和时间改变显示形式时，例如可取的是按预定的时段单位(诸如时间、时段、天、星期、或月)中对注释进行分类并且对于在不同的时段中添加的每个注释改变显示形式。显示形式可以被按时间顺序(从最早的依次或者从最新的依次)逐渐地改变，例如，注释的亮度和颜色被逐步的改变。因此，可以根据显示形式的改变容易地掌握注释的时间序列。

图9D是注释显示模式的屏幕显示的示例。示出其中四个注释被添加在图像中的三个地点中的示例。附图标记911表示注释1和2被添加处的点，以及912表示注释的内容。当在图像中的多个位置中添加注释时，显示区域905的显示倍率被调节为使得可以显示所有注释的位置。示出其中以5的低显示倍率显示图像的示例。在这个显示屏幕中，可取的是根据在添加注释时的显示倍率改变注释的显示形式。例如，假设注释1、2和3被添加到具有20的显示倍率的显示图像并且注释4被添加到具有40的显示倍率的显示图像。在该情况下，当如图9D所示注释的显示形式不同时，容易地区分在添加注释时的显示倍率是不同的。注释1、2和3具有相同的显示倍率(20)。然而，因为注释1和2属于对于同一地点的注释组，所以注释1和2的显示形式与注释3的显示形式不同。添加多个注释处的点可以被认为是其中用户具有高度兴趣的点。因此，如图9D所示，期望的是注释的显示形式在仅仅一个注释被添加的情况和多个注释被添加在相同的点中的情况之间变化。可取的是当在相同的点中添加的注释的数量较大时采用更醒目(吸引用户的更多注意)的显示形式。

图9E是在指示器显示模式中显示注释时显示的屏幕显示示例。在大量的注释被添加到一个图像时，在注释显示模式中显示注释时，图像的较大部分被注释遮盖并且注释是混乱的，这是因为存在太多注释。结果，妨碍观察。指示器显示模式是用于隐藏注释的内容并且使用指示器仅仅清楚地显示添加注释处的位置信息和显示倍率之间的关系的模式。因此，可以从添加到图像的大量注释当中容易地选择期望的注释。附图标记913表示指出添加注释处的位置的图标图像(也被称为标志或指示器)，并且914表示其中在选择图标图像时注释内容被显示作为弹窗的示例。

图9F是其中再现在添加注释时的图像中的显示倍率和显示位置的屏幕的显示示例。在注释显示模式或指示器显示模式中选择期望的注释时，显示数据产生控制单元309参考注释数据列表指定在添加注释时的图像中的显示倍率和显示位置，并且以相同的显示倍率并且在相同的位置中产生和显示显示数据。可以根据缩略图像903中的整个注释的显示框916和所选择的注释的再现范围917来确定所选择的注释和总图像之间的位置关系。

(注释数据列表的示例)

图10示出根据本实施例的图像处理设备102产生的注释数据列表的配置。

如图10所示，关于添加到图像的注释的信息被存储在注释数据列表中。列表的一行代表关于一个注释的信息。ID号按注释被添加的顺序被分配给各个注释。各类注释信息包括组ID、用户名、注释内容、注释添加时的显示倍率和位置信息、以及添加注释时的日期和时间信息。组ID是指出图9C中示出的注释被添加到相同地点的属性信息。例如，ID1和ID2的注释被添加到相同地点。因此，注释具有相同的组ID“1”并且注释的显示倍率和位置信息是相同的。在注释被添加到感兴趣区(具有一定宽度的区域)而不是感兴趣位置(点)时，限定区域的信息(例如，多边形区域的顶点坐标)而不是点的坐标值仅仅得被记录在注释数据中作为位置信息。存储在注释数据列表中的主要内容如上面说明的。然而，可以存储包括搜索所必需的信息的其它信息。能将关于获取图像时的日期和时间以及图像被用于诊断时的日期和时间的信息、由用户唯一地限定的项目等存储作为注释信息。可以根据存储在一起的位置信息和显示倍率再现添加注释时的观察环境。

(本实施例的效果)

在添加注释时，除存储注释内容自身之外，还一起存储用户信息，并且注释和用户信息之间的对应关系被制备为列表。因此，在呈现注释时，可以容易地识别添加注释的用户。结果可以提供能减少病理学家的劳动和时间的图像处理设备。在本实施例中，特别地，收集对于相同地点的多个注释。因此，可以清楚地呈现对于注意点的多个用户的诊断意见的比较和参考以及按时间序列的评论的变迁。

<第二实施例>

参考附图说明根据本发明第二实施例的图像处理系统。

在第一实施例中，除添加注释的位置和显示倍率之外，还将用户信息存储作为列表以便使得在向用户呈现注释时易于识别用户。在第二实施例中，不仅相同地点中的注释被分组而且添加到不同地点中的感兴趣区的多个注释被分组以便使得可以精确地呈现必需的信息并且致力于诊断工作。在第二实施例中，除与第一实施例中的组件不同的组件之外，第一实施例中说明的组件可以被使用。

在第一实施例中的说明中，根据由用户的选择或登录信息获取用户信息。然而，在第二实施例中，假设经由网络在远程地点中的用户之间的注释的添加。除第一实施例中获取的用户信息之外，还可以使用例如分配给与网络连接的计算机的网络信息(IP地址等)。

(图像处理系统的设备配置)

图11是根据本发明第二实施例的图像处理系统中包括的设备的总体视图。

根据本实施例的图像处理系统包括图像服务器1101、图像处理设备102、与图像处理设备102连接的显示设备103、图像处理设备1104、以及与图像处理设备1104连接的显示设备1105。图像服务器1101、图像处理设备102和图像处理设备1104经由网络连接。图像处理设备102可以从图像服务器1101获取通过拾取样本的图像获得的图像数据，并且产生要被显示在显示设备103上的图像数据。图像服务器1101和图像处理设备102经由网络1102通过通用的I/F LAN线缆1103被连接。图像服务器1101是包括存储由作为虚拟载玻片设备的成像设备101拾取的图像数据的较大容量存储装置的计算机。图像服务器1101可以将具有不同的显示倍率的分级的图像数据全部一起存储在与图像服务器1101连接的本地存储器中，或者可以分割各个图像数据并且在存在于网络上某处的服务器组(云服务器)中分离地包括分割的图像数据的实体以及链接信息。不必要将分级的图像数据存储在一个服务器中。图像处理设备102和显示设备103与根据第一实施例的图像处理系统的图像处理设备和显示设备相同。假设图像处理设备1104存在于远离图像服务器1101和图像处理设备102的地点(远程地点)。图像处理设备1104的功能与图像处理设备102的功能相同。在不同的用户使用图像处理设备102和1104并且添加注释时，添加的数据被存储在图像服务器1101中。因此，可以参考来自两个用户的图像数据和注释内容。

在图11中示出的示例中，图像处理系统包括五个设备，即，图像服务器1101、图像处理设备102和1104、以及显示设备103和1105。然而，本发明不限于此配置。例如，可以使用与显示设备103和1105集成的图像处理设备102和1104。图像处理设备102和1104的功能的一部分可以被并入图像服务器1101中。相反地，图像处理设备102和1104以及图像服务器1101的功能可以被分割和由多个设备实现。

假设其中存在于远程地点中的不同的图像处理设备102和1104访问添加有存储在图像服务器1101中的注释的图像数据并且获取图像数据的配置。然而，本发明可以采用其中一个图像处理设备(例如，102)本地地存储图像数据并且其它用户访问来自远程地点的图像处理设备102的配置。

(感兴趣区中的注释的分组)

图12是用于说明通过向第一实施例中参考图7说明的用于添加注释的处理增加对于相同的感兴趣区的分组功能(其是本实施例的特征)而获得的处理的流程的流程图。直到获取注释添加的各种信息的处理都与图7中的处理相同。因此，省略相同的处理的说明。

从步骤S701到步骤S710的注释添加的处理内容基本上与第一实施例中参考图7说明的内容相同。在用于注释数据的产生处理(S709)之前，增加将添加到相同的注意区域的注释全部收集在一起的处理。

在步骤S1201中，用户确定是否使用用于将多个注释全部收集在一起作为相同的感兴趣区中的相关信息(称为分类或者分组)的处理。关于对于同一地点的注释，如第一实施例中所说明的，显示的形式被变为使得可以识别用户的类型、添加的日期和时间等，并且执行用于注释的统一(uniting)处理。例如，用户确定是否期望地将以任意的倍率(通常，等于或者高于20的高倍率)显示的感兴趣区(作为用户的病理学家注意的区域)中添加的多个注释全部收集在一起作为用于诊断的信息。这是因为以多个视点基于多种信息不仅执行恶性的部分的指示而且执行对周边组织的影响的诊断、与认为正常的组织和细胞的比较等。在执行多个注释的分组时，用户使用鼠标411等指示分组功能的执行，由此处理进行到步骤S1202。当不执行分组时，处理进行到步骤S709。下面参考图13A和13B说明用于分组的方法。

在步骤S1202中，注释数据产生单元305(参见图3)使得用户指定要被分组的注释。作为用于指定的方法，存在例如使用复选框(check box)从呈现为列表的多个注释当中选择注释的方法、以及利用鼠标411等指定要被分组的区域作为范围并且选择和指定该范围中包括的注释的方法。

用于步骤S709中的注释数据的产生和步骤S710中的注释数据列表的更新和产生的处理与第一实施例中的处理相同。因此，省略该处理的说明。与第一实施例的不同之处在于，在产生注释数据时，以和给出同一地点中的组ID相同的方式给出相同的感兴趣区中的组ID，并且组ID的内容被存储在列表中。

(显示屏幕布局)

图13是在由图像处理设备102产生的显示数据被显示在显示设备103上时显示的显示屏幕的示例。在图13中，说明相同的注意区域中的分组以及添加注释时执行的显示倍率和多个图像显示位置的再现。

图13A是在指定要被分组的注释时显示作为屏幕的注释列表的示例。注释列表1301包括独立地分配的ID号、指示收集的同一地点中的注释的组的关系的组ID、注释内容、用户名、以及作为相关信息的用于指定要被分组的注释的复选框1302。示出其中选择注释ID1、2和4的示例。ID1和2最初被分组作为添加到同一地点的注释。将组ID“1”给予ID1和2。假设多个注释可以使用复选框1302被选择。还可以对项目区分优先级，并且执行对于多个项目的排序(sort)操作。说明其中可以使用复选框执行一个分组的配置。然而，在设定多个感兴趣区时，可以通过对于感兴趣区分配组ID来处理感兴趣区。

图13B是用于通过指定区域而不是根据列表地执行图13A中示出的分组操作的显示屏幕的示例。在这里说明的示例中，添加三个地点中的四个注释包括添加到同一地点的注释。附图标记1305表示注释被添加处的点(位置)，以及1306表示添加的注释的内容。在1303中，指示这个图像具有5的显示倍率。通过使用鼠标411的拖曳操作的区域指定来指定感兴趣区。附图标记1304表示由鼠标411指定的感兴趣区。注释1、2和4作为相同的感兴趣区中的相关信息被选择和指定。

图13C是其中再现在添加注释时的图像中的显示倍率和多个显示地点的屏幕的显示示例。在注释显示模式和指示器显示模式中选择期望的注释时，参考注释数据列表分别再现添加注释时的图像中的显示位置和显示倍率。在该示例中，总计显示六个所选择的注释。在六个注释之中，仅仅右上方处的注释添加时的显示倍率被设定为40，其不同于其它显示倍率。显示倍率之间的不同除通过显示倍率1303中的倍率显示之外还可以通过例如显示区域905的框的颜色的改变被清楚地指出。三个注释被显示在左上方处的显示框中作为相同的感兴趣区中的目标。附图标记1307表示注释的显示内容。

以与第一实施例中相同的方式显示所选择的注释和整个图像之间的位置关系。可以根据缩略图像903中的整个注释的显示框1308和多个选择的注释的再现范围1309确定位置关系。可以使用框线条的颜色、线条类型等区分再现范围1309和显示区域905之间的对应关系。通过选择显示区域905中的任意的显示图像或者再现范围1309，还可以移动到其中使用整个显示区域905的显示模式。

(本实施例的效果)

不仅对添加到相同地点的注释进行分组而且对添加到不同地点的注释进行分组，以及作为相关信息呈现注释的功能。因此，从点到区域地扩展注意的目标。可以清楚地呈现对于注意点的多个用户的诊断意见的比较和参考、以及按时间序列的评论的变迁。

<第三实施例>

参考附图说明根据本发明第三实施例的图像处理系统。

在第一实施例中，除添加注释的位置和显示倍率之外，还将用户信息存储作为列表以便使得在向用户呈现注释时易于识别用户。在第二实施例中，不仅相同地点中的注释被分组而且添加到不同地点中的感兴趣区的多个注释被分组以便使得可以精确地呈现必需的信息并且致力于诊断工作。在第三实施例中，“用户属性”信息被重新添加到注释列表的项目以便使得可以平滑化病理诊断中的工作流程。在病理诊断中的工作流程中，多个用户(例如，技师、病理学家和临床医生)出于不同的目的(观点，角色)或者利用不同的方法(例如，通过图像分析进行的自动添加和通过目测进行的添加)将注释添加到相同的图像。用户属性是指示在用户添加注释时的方法或者目的(观点，角色)的信息。在第三实施例中，除注释列表的配置和注释添加的流程之外第一实施例中说明的组件可以被使用。

(注释数据列表的示例)

图14示出根据本实施例的图像处理设备102产生的注释数据列表的配置。

在第一实施例中使用的注释列表已经被示出在图10中并且被说明。图14不同于图10之处在于“用户属性”被添加作为列表项。“用户属性”指出添加注释的用户的属性。例如，可设想的是，“病理学家”、“技师”、“临床医生”、和“自动诊断”。然而，根据与通过诸如病理学家、技师和临床医生之类的人类的注释添加不同的过程执行通过自动诊断的注释添加。因此，下面参考图15说明在本实施例中的注释添加的过程。在图14中，属性名称被直接存储作为用户属性。然而，可以使用关系数据库格式的列表，在该列表中制备了存储用户属性ID代替属性名称并且与用户属性ID分离地存储用户属性名称和用户属性ID的表。

在考虑一般的病理诊断的工作流程时，通过准备用户属性来更有效地进行诊断工作。例如，在一般的病理诊断中，关于载玻片的数据从技师依次流动到病理学家和临床医生。然而，在病理学家和临床医生之间可以包含其它病理学家。鉴于此，在使用本实施例的诊断中，可以设想在获取载玻片的图像之后，首先，技师执行放映并且添加注释到技师期望病理学家注意的地点。在技师使用一些自动诊断功能时，通过自动诊断功能的软件添加注释。可以设想，随后，病理学家参考技师添加的注释来添加注释到诊断所必需的地点，诸如载玻片上的样本的异常部分以及用作参考的正常的部分。在病理学家使用自动诊断功能时，如在技师的情况下一样通过软件添加注释。在通过多个病理学家执行诊断时，可以设想参考早先执行诊断的病理学家的注释来添加额外的注释。可以设想，其后，在载玻片数据到达临床医生时，临床医生参考病理学家添加的注释来理解诊断原因。在理解诊断原因中，在存在通过技师以及自动诊断功能添加的注释时，临床医生通过在适当时不显示注释来不必参考多余的信息。自然地，像技师和病理学家一样，临床医生可以添加关于载玻片的意见作为注释。即使载玻片数据被递送给其它医院中的临床医生以便获得第二意见，如在临床医生的情况下一样，其它医院中的临床医生也可以参考过去添加的各种注释来执行诊断。以这种方式，用户属性作为一种用户信息而与注释关联以便使得可以对于每个用户属性改变注释的显示形式并且切换注释的显示和不显示。因此，在病理诊断工作流程的各个阶段中，容易掌握各种注释信息的特征并且选择信息和平滑化病理诊断工作。

(注释的添加)

图15是用于说明在本实施例中的注释添加过程的流程图。在图15中，说明在包括自动诊断的用户属性被添加作为注释列表的项目时的注释添加的流程。

在步骤S1501中，确定是否从用户接收自动诊断软件的执行指令。当接收执行指令时，处理进行到步骤S1502。当未接收指令时，处理进行到步骤S1503。

在步骤S1502中，自动诊断软件根据用户的执行指令执行自动诊断。下面参考图16说明处理的细节。

在步骤S1503中，通过用户执行注释添加。步骤S1503中的处理的细节与图7所示出的处理相同。

通过步骤S704到步骤S710指示的注释添加的处理内容基本上与第一实施例中参考图7说明的内容相同。然而，在本实施例中的步骤S704和S705不同于第一实施例之处在于，根据自动诊断软件的输出结果获取位置信息和输入信息。在本实施例中的步骤S707不同于第一实施例之处在于根据自动诊断软件获取用户信息。

(自动诊断过程的示例)

图16是用于说明自动诊断执行过程的示例的流程图。在图16中，说明其中自动诊断程序执行图像分析并且产生诊断信息的流程的示例。

在步骤S1601中，自动诊断程序执行用于分析的图像的获取。作为示例说明了组织的诊断。组织的诊断被应用于通过HE染色薄切片的组织片而获得的样本。

在步骤S1602中，自动诊断程序提取所获取的图像中包括的分析目标细胞的边缘。为了便于提取处理，可以提前应用通过空间滤波器进行的边缘增强处理。例如，可取的是利用细胞由曙红钠染成红色到粉色的颜色的事实根据相同颜色的区域来检测细胞膜的边界。

在步骤S1603中，自动诊断程序基于步骤S1602中提取的边缘来提取细胞的轮廓。在步骤S1602中检测的边缘是不连续的时，可以通过应用用于连接边缘的不连续点的处理来提取轮廓部分。可以通过一般的线性内插执行不连续点的连接。可以采用高次的内插公式以便进一步改善精度。

在步骤S1604中，自动诊断程序基于步骤S1603中检测的轮廓来执行细胞的识别和指定。通常，细胞是圆形的。因此，可以通过考虑轮廓的形状和尺寸来减少确定误差。难以指定一些细胞，这是因为在细胞的一部分中发生细胞的交迭。在那种情况下，在获得后级处的细胞核(nucleus)的指定结果之后再次执行用于识别和指定的处理。

在步骤S1605中，自动诊断程序提取细胞核的轮廓。在步骤S1602中，自动诊断程序利用细胞由曙红钠染成红色到粉色的颜色的事实来检测细胞膜的边界。细胞核由苏木精染成蓝紫色的颜色。因此，在步骤S1605中，可取的是检测其中心部分(细胞核)是蓝紫色并且其周边(细胞质)是红色的区域，并且检测蓝紫色中心部分的区域的边界。

在步骤S1606中，自动诊断程序基于步骤S1605中检测的轮廓信息来执行细胞核的指定。通常，在正常的细胞中细胞核的尺寸为约3到5μm(微米)。然而，在发生异常时，发生各种改变，诸如尺寸的放大、多核化和变形。步骤S1604中指定的细胞中的内含物是细胞核的存在的符号的一个。即使在步骤S1604中难以指定的细胞也可以通过指定细胞核而被确定。

在步骤S1607中，自动诊断程序测量步骤S1604和步骤S1606中指定的细胞核和细胞的尺寸。尺寸指出面积。自动诊断程序计算细胞膜中的细胞质的面积和细胞核中的面积。此外，自动诊断程序可以对细胞的总数进行计数并且获得关于细胞的尺寸和形状的统计信息。

在步骤S1608中，自动诊断程序基于步骤S1607中获得的面积信息计算N/C比率，其是细胞质和细胞核的比率。自动诊断程序获得关于各个细胞的计算的结果的统计信息。

在步骤S1609中，自动诊断程序确定在用于分析的图像的区域内并且在一些情况下在由用户指定的范围内关于所有细胞的分析处理是否被完成。当完成分析处理时，自动诊断程序完成处理。当分析处理未完成时，自动诊断程序返回到步骤S1602并且重复分析处理。

作为分析的结果，可以提取其中怀疑异常的具有大N/C比率的地点并且添加注释信息到所提取的地点。

(本实施例的效果)

作为存储在注释列表中的信息，除用户名之外还使用用户属性。因此，可以从病理诊断工作流程的观点识别注释。例如，可取的是，注释的显示形式在通过自动诊断添加注释的情况和由用户添加注释的情况之间变化。显示形式可以在用户是技师的情况和用户是医师(病理学家，临床医生等)的情况之间变化。此外，显示形式可以在用户是病理学家的情况和用户是临床医生的情况之间变化。因此，即使存在大量的注释，也可以根据参考注释的用户的业务内容更清楚地呈现评论的变迁和评论的内容。

<其它实施例>

本发明的目的可以通过以下实现。其中记录有用于实现上面说明的实施例的功能的一部分或全部的软件的程序代码的记录介质(或存储介质)被供应到系统或设备。设备或系统的计算机(或CPU或MPU)读出并且执行存储在记录介质中的程序代码。在该情况下，从记录介质读出的程序代码自身实现实施例的功能。其中非暂态地记录有程序代码的记录介质构成本发明。

计算机执行读出的程序代码，由此在计算机上运行的操作系统(OS)等基于程序代码的指令执行实际处理的一部分或全部。通过处理实现实施例的功能。这个情况也被包括在本发明内。

此外，从记录介质读出的程序代码被写入包括在插入计算机中的功能扩展卡或与计算机连接的功能扩展单元内的存储器中。其后，包括在功能扩展卡或功能扩展单元内的CPU等基于程序代码的指令执行实际处理的一部分或全部。通过处理实现实施例的功能。这个情况也被包括在本发明内。

当本发明被应用于记录介质时，与上面说明的流程图对应的程序代码被存储在记录介质中。

在第一到第三实施例中说明的配置可以彼此结合。例如，可以采用其中图像处理设备连接到成像设备和图像服务器两者并且可以从两个设备获取用于处理的图像的配置。此外，通过适当地结合实施例中的各种技术获得的配置也属于本发明的范畴。

虽然已经参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。以下权利要求的范围将被给予最宽的解释从而包括所有这样的修改、等同的结构与功能。

本申请要求2011年12月26日提交的日本专利申请No.2011-283723和2012年10月1日提交的日本专利申请No.2012-219498的权益，上述两个申请的全部内容通过参考被并入于此。

附图标记

101：成像设备，102：图像处理设备，103：显示设备，301：图像数据获取单元，305：注释数据产生单元，306：用户信息获取单元，308：注释数据列表，309：显示数据产生控制单元。

Claims (14)

1.一种图像处理设备，包括：

获取单元，获取对象的图像的数据以及添加到该图像的多个注释的数据；以及

显示控制单元，在显示设备上与该注释一起显示该图像，其中

该多个注释的数据包括指出添加注释处的图像中的位置的位置信息以及关于将该注释添加到该图像的用户的信息，以及

该显示控制单元对该多个注释中的一部分或全部进行分组，并且，当由不同的用户添加该多个注释时，该显示控制单元改变对于每个用户的注释的显示形式并且在将该注释叠加在该图像上的同时显示该多个注释。

2.根据权利要求1所述的图像处理设备，其中

多个用户出于不同的目的或利用不同的方法将注释添加到图像，

关于用户的信息包括指出在每个用户添加注释时的目的或方法的用户属性，以及

该显示控制单元改变对于每个用户属性的注释的显示形式。

3.根据权利要求1或2所述的图像处理设备，其中该显示控制单元在通过自动诊断添加注释的情况和由用户添加注释的情况之间改变注释的显示形式。

4.根据权利要求1到3中的任何一个所述的图像处理设备，其中该显示控制单元在用户是技师的情况和用户是医师的情况之间改变注释的显示形式。

5.根据权利要求1到4中的任何一个所述的图像处理设备，其中该显示控制单元在用户是病理学家的情况和用户是临床医生的情况之间改变显示形式。

6.根据权利要求1到5中的任何一个所述的图像处理设备，其中通过获取单元获取的图像的数据包括通过分辨率逐步不同的相同对象的多个图像来形成的分级的图像的数据。

7.根据权利要求1到6中的任何一个所述的图像处理设备，其中该显示控制单元基于该位置信息对该多个注释之中的添加到该图像中的相同的感兴趣区的注释进行分组。

8.根据权利要求1到7中的任何一个所述的图像处理设备，其中该显示控制单元基于该位置信息对该多个注释之中的添加到该图像中的相同的位置的注释进行分组。

9.根据权利要求1到8中的任何一个所述的图像处理设备，其中该显示控制单元对该多个注释之中的由用户指定的注释进行分组。

10.根据权利要求1到9中的任何一个所述的图像处理设备，其中

该多个注释的数据还包括关于添加注释时的日期和时间的信息，以及

该显示控制单元基于关于日期和时间的信息按时间顺序显示属于同一组的注释。

11.根据权利要求1到10中的任何一个所述的图像处理设备，其中

该多个注释的数据还包括关于添加注释时的日期和时间的信息，以及

该显示控制单元改变对于不同时段中添加的注释中的每一种的显示形式。

12.一种图像处理系统，包括：

根据权利要求1到11中的任何一个所述的图像处理设备；以及

显示设备，显示从该图像处理设备输出的图像以及注释。

13.一种图像处理方法，包括：

获取步骤，其中计算机获取对象的图像的数据以及添加到该图像的多个注释的数据；以及

显示步骤，其中计算机在显示设备上与该注释一起显示该图像，其中

该多个注释的数据包括指出添加注释处的图像中的位置的位置信息以及关于将该注释添加到该图像的用户的信息，以及

在该显示步骤中，计算机对该多个注释中的一部分或全部进行分组，并且，当由不同的用户添加该多个注释时，计算机改变对于每个用户的注释的显示形式并且在将该注释叠加在该图像上的同时显示该多个注释。

14.一种程序，用于使得计算机执行根据权利要求13所述的图像处理方法的步骤。