CN102769769B - 医用图像处理装置 - Google Patents

Abstract

本发明的实施方式涉及一种医用图像处理装置。能够提供一种能够在3D监视器上显示文本信息的医用图像处理装置。实施方式的医用图像处理装置具备图像存储部、文本信息存储部、视差图像生成部以及显示部。图像存储部存储三维医用图像数据。文本信息存储部存储与存储于图像存储部的三维医用图像数据相关联的文本信息。视差图像生成部使用投影处理而生成合成了三维医用图像数据和文本信息的、与多个不同的视差方向相对应的视差图像。显示部能够立体观看地显示由视差图像生成部生出的、合成了三维医用图像数据和文本信息的多个视差图像。另外，视差图像生成部根据视差方向来变更文本信息的显示区域的方向。

Description

医用图像处理装置

本申请以日本专利申请2011-103812（申请日：2011年5月6日）为基础，从该申请中享受优先的利益。本申请通过参照该申请而包含该申请的全部内容。

技术领域

本发明的实施方式涉及一种医用图像处理装置。

背景技术

已知如下的体绘制（VR）技术：重构通过图像诊断装置拍摄的医用图像并设为体图像数据，作为2D图像显示在监视器上。为了在该体图像上体现出现实的纵深感，还想到进行3D图像显示。通过对医用图像进行3D图像显示，能够期待手术前的会议、手术计划模拟、术中导航等各种场面中的应用。

以往，实用化了能够使用立体观看用眼镜等的专用仪器来立体观看从2个视点拍摄的2视差图像（双眼视差图像）的监视器。另外，近年来实用化了能够使用双凸透镜等光线控制器而以裸眼立体观看从多个视点拍摄的多视差图像（例如，9视差图像）的监视器。此外，由能够立体观看的监视器显示的2视差图像、9视差图像有时是通过推定从1视点拍摄的图像的纵深信息并使用所推定出的信息的图像处理而生成的。

而且，作为近年来实用化的能够立体观看的监视器，有如下的装置：通过使用双凸透镜等光线控制器，例如，观察者能够以裸眼来立体观看9视差图像等的多视差图像。上述立体显示装置是如下装置：能够进行基于双眼视差的立体观看，而且还能够进行基于随着观察者的视点移动所观察的影像也变化的运动视差的立体观看。

通过将该能够以裸眼进行立体观看的监视器即裸眼3D监视器用于医用，例如在术中也不需要麻烦的眼镜，而且可以考虑多个人同时地立体观看医用图像。在术中，特别是多个人从不同的方向看裸眼3D监视器，因此开发了从所有的角度看监视器都能够进行立体观看的技术。

另外，一般是同时对医用图像和检查报告进行画面显示，医师将根据医用图像诊断出的意见输入到检查报告中。在这种情况下，当以3D图像显示医用图像时，虽然在二维中难以判别前后关系，但通过3D显示却变得易懂，并且病变的发现也变得容易。

发明内容

但是，检查报告等文本信息是二维的信息，因此在与进行3D图像显示的医用图像同时显示的情况下，由其它的二维监视器来显示检查报告。另外，还能够由3D监视器来显示二维的文本信息，但存在如下问题：在视线方向左右变化的情况下，导致文本信息看起来倾斜，从而难以查看文本信息。

本发明要解决的课题在于，提供一种能够在3D监视器上显示文本信息的医用图像处理装置。

实施方式的医用图像处理装置具有图像存储部、文本信息存储部、视差图像生成部以及显示部。图像存储部存储三维医用图像数据。文本信息存储部存储与存储于图像存储部的三维医用图像数据相关联的文本信息。视差图像生成部使用投影处理来生出合成了三维医用图像数据和文本信息的、与多个不同的视差方向相对应的视差图像。显示部能够立体观看地显示由视差图像生成部生出的、合成了三维医用图像数据和文本信息的多个视差图像。另外，视差图像生成部根据视差方向来变更文本信息的显示区域的方向。

根据上述结构的医用图像处理装置，能够在3D监视器上显示文本信息。

附图说明

图1是表示作为本发明的一个实施方式的医用图像处理装置的、与图像诊断装置之间的网络系统的结构图。

图2是表示图像处理部的详细结构的框图。

图3是表示控制部的详细结构的框图。

图4是表示对文本信息进行立体观看显示的基本的动作的例子的流程图。

图5是表示对文本信息进行立体观看显示的基本的动作的例子的概念图。

图6是在观察者以任意的角度观察显示部时的、立体显示文本信息的概念图。

图7是表示通过9视差图像进行立体显示的一个例子的图。

图8A是表示文本平面比三维医用图像的显示面更深的例子的图。

图8B是表示文本平面被制作成与三维医用图像的显示面接近的平面的例子的图。

图9A是表示文本区域的一部分从显示部的显示范围偏离的例子的图。

图9B是表示将文本区域设定在不从显示部的显示范围偏离的位置的例子的图。

图10是表示缩窄了文本区域的区域宽度的例子的图。

图11是表示三维医用图像与文本区域重叠的情况下的例子的图。

图12A是表示三维医用图像与文本区域重叠的情况下的右眼的视差图像的一个例子的图。

图12B是表示三维医用图像与文本区域重叠的情况下的左眼的视差图像的一个例子的图。

图12C是表示三维医用图像与文本区域重叠的情况下的双眼中的立体观看图像的一个例子的图。

具体实施方式

下面，根据附图说明本发明的实施方式。

图1是表示作为本发明的一个实施方式的医用图像处理装置1的、与图像诊断装置2之间的网络系统的结构图。医用图像处理装置1与图像诊断装置2等其它装置连接为能够经由医院内的LAN相互进行通信。

图像诊断装置2为X射线CT装置等的形态，对被检体进行X射线拍摄并具有医用图像数据。

医用图像处理装置1包含控制部10、显示部12、操作部13、通信部15、存储部16、信息存储介质17、图像处理部18、图像数据库21以及文本信息存储部22，连接构成为能够通过总线而相互进行通信。

操作部13是触摸面板、操作键等输入装置。显示部12是监视器等，能够立体观看地显示9视差图像等的多视差图像。该显示部12构成为根据观察者看的位置（观察方向）而使观察者的右眼、左眼中能看到的视差图像变化。通信部15与医院内LAN连接，进行与图像诊断装置2的通信。

图像数据库21包含体图像数据存储部212以及视差图像数据存储部214。体图像数据存储部212保存由图像诊断装置2拍摄并由图像处理部18内的图像处理电路182进行图像处理后的体图像数据。视差图像生成部183对基于体图像数据的体图像进行与多个视差方向相对应的投影处理，生成多个视差图像数据。该多个视差图像数据的每一个被利用为视差图像的源数据。多个视差图像通过从显示部12分别显示在规定的视差方向上，作为能够立体观看的三维医用图像而被操作者识别。视差图像数据存储部214保存由视差图像生成部183生成的能够立体观看的多个视差图像数据。详细情况后述。

文本信息存储部22存储由后述的文本信息获取部101获取的文本信息。

图像处理部18进行图像数据的各种处理。在图2中示出图像处理部18的详细结构。图像处理部18包含图像获取部181、图像处理电路182以及视差图像生成部183。

图像获取部181获取由图像诊断装置2拍摄到的图像数据。图像处理电路182对由图像获取部181获取的图像数据进行图像处理并制作体图像数据。视差图像生成部183基于由图像处理电路182进行图像处理后的体图像数据来生成相同部位的不同的例如9幅作为视差图像的源数据的9个视差图像数据。其结果，能够在显示部12上显示能够立体观看的多个视差图像。另外，视差图像生成部183将体图像数据和文本信息在三维的图像空间上进行合成。

存储部16是成为控制部10、通信部15等的工作区域的单元，能够由RAM（RandomAccessMemory：随机存取存储器）等来实现。

信息存储介质17（计算机可读取的介质）是保存程序、数据等的单元，能够通过硬盘、或者存储器（FlashMemory、ROM：ReadOnlyMemory）等来实现。在信息存储介质17中存储用于使计算机作为本实施方式的各部分而发挥功能的程序（用于使计算机执行各部分的处理的程序）、显示三维医用图像的多个应用程序等。

控制部10是进行医用图像处理装置1的总体的控制、并且进行其它的各种运算处理和控制处理等的运算装置。控制部10的功能能够通过各种处理器（CPU、DSP等）、ASIC（门阵列等）等硬件、程序来实现。控制部10根据保存在信息存储介质17中的程序（数据）进行本实施方式的各种处理。

在图3中示出控制部10的详细结构。控制部10包含文本信息获取部101以及检测部104。

文本信息获取部101获取由图像诊断装置2拍摄到的图像数据所附带的表示图像的详细情况的文本信息、或者显示于显示部12的操作用的UI（UserInterface：用户界面）的文本信息。

检测部104检测相对于显示部12的观察者的位置。

接着，说明上述结构的医用图像处理装置的动作。

<基本动作的例子>

首先，参照图4的流程图以及图5的概念图说明对文本信息进行立体观看显示的基本动作的例子。

图像处理部18内的图像获取部181从图像诊断装置2获取二维的医用图像数据（步骤S101），由图像处理电路182进行图像处理并制作体图像数据而保存到体图像数据存储部212中（步骤S102）。

接着，控制部10内的文本信息获取部101获取与在步骤S101中获取的二维的医用图像数据有关的文本信息，并保存到文本信息存储部22中（步骤S103）。该文本信息例如包含医用图像数据中的部位的检查报告。

接着，视差图像生成部183将在步骤S102中保存到体图像数据存储部212中的体图像数据、和在步骤S103中保存到文本信息存储部22中的文本信息在三维的图像空间上进行合成（步骤S105）。

接着，视差图像生成部183对在步骤S105中合成的体图像数据和文本信息沿着视差方向进行投影处理（绘制处理），生成多个视差图像数据、例如与9个视差方向相对应的9视差图像数据，保存到视差图像数据存储部214中，并且使基于该多个视差图像数据的多个视差图像的每一个相对于显示部12显示到规定的视差方向（步骤S107）。此时，视差图像生成部183根据各个视差图像的视差方向对文本信息变更显示区域的方向，之后进行投影处理，制作能够立体观看的文本平面70并显示到显示部12上。

关于图5的文本信息，将观察者朝着文本区域50a、60a的、与右眼以及左眼的视线方向相对应的、例如垂直的文本平面（右眼用为50b、左眼用为60b）作为视差图像，制作能够立体观看的文本平面70并显示到显示部12上。此时观察者看起来三维医用图像30和文本平面70显示在从显示部12的显示面跳出的位置的规定的平面上，文本平面70例如与观察者的视线20垂直。此外，文本平面70的方向不需要在9视差图像中全部改变，例如也可以设为如右侧、正面、左侧那样地在3个方向上以多个视差图像单位进行变更。

由此，能够显示正对观察者的能够立体观看的文本信息。

此外，也可以由检测部104检测观察者的位置（观察方向），并根据检测出的观察方向来制作文本平面。

在图6中表示观察者以任意的角度观察显示部12时的、对文本信息进行立体显示的概念图。图6的情况也与图5相同，将观察者朝向文本区域50a、60a的、与每个眼睛的视线方向相对应的文本平面50b、60b作为视差图像来制作能够立体观看的文本平面70。此时制作的文本平面70例如与观察者的视线20垂直，因此相对于显示部12具有规定的角度。

由此，即使观察者看的方向发生变化，也能够显示正对观察者的、能够立体观看的文本信息。

图7中表示通过9视差图像进行立体显示的显示部12的例子。显示部12在液晶面板等平面状的显示面200的前表面配置光线控制器。例如，在显示部12中，作为光线控制器而在显示面200的前表面粘贴有光学开口在垂直方向延伸的垂直双凸薄片201。此外，在图7所示的例子中，粘贴为使垂直双凸薄片201的凸部成为前表面，但是也可以粘贴为使垂直双凸薄片201的凸部与显示面200相对置的情况。

在显示面200上，如图7所示那样矩阵状地配置有像素202，该像素202的纵横比为3：1，且在纵方向配置有作为子像素的红（R）、绿（G）、蓝（B）的3个子像素。显示部12在将由9个图像构成的9视差图像变换为以规定格式（例如瓦片状）配置的中间图像的基础上，输出到显示面200。即，显示部12将9视差图像中位于相同位置的9个像素的每一个分配到9列的像素202并进行输出。9列的像素202成为同时显示视差角不同的9个图像的单位像素群203。

在显示面200中作为单位像素群203而同时输出的9视差图像，例如通过LED（LightEmittingDiode：发光二极管）背光作为平行光而发射，并且通过垂直双凸薄片201向多方向发射。通过使9视差图像的各像素的光向多方向发射，入射到观察者的右眼以及左眼的光与观察者的位置（视点的位置）联动地变化。即，根据观察者看的角度，入射到右眼的图像和入射到左眼的图像的视差角不同。由此，观察者能够例如在9个位置的每一处立体地视觉辨认拍摄对象。另外，根据图7，观察者例如在“5”的位置处，能够以正对拍摄对象的状态立体地视觉辨认，并且在“5”以外的各个位置处，能够以改变了拍摄对象的方向的状态立体地进行视觉辨认。

在通过步骤S107设定的文本区域中，不仅是上述所记载的设定，根据状况还有各种设定方法。下面，作为变形例而具体地进行叙述。

<变形例1>

在图8中表示将能够立体观看的文本平面70制作成接近三维医用图像30的立体显示面的平面的例子。在图8A中，观察者感觉立体显示文本平面70而看到的面比立体显示三维医用图像30而看到的面更深地显示。视差图像生成部183将右眼用的文本区域50a向箭头X方向错开，如图8B所示那样变更右眼用的文本平面50b的位置。将变更后的右眼用的文本平面50b、和左眼用的文本平面60b作为视差图像，在与三维医用图像30的显示面相同、或者接近的平面上制作文本平面70。

由此，观察者能够在几乎相同的显示空间上无不适感地观察与三维医用图像相关联的文本信息。

<变形例2>

接着，在图9、图10中表示文本区域的一部分从显示部12的显示范围偏离的情况下的例子。在图9A中，在立体显示三维医用图像30的位置为观察者的眼前的情况下，视差图像生成部183将文本区域例如变更到显示部12的左眼侧（图9A所说的下侧），以使得在观察者的视线方向上三维医用图像30的显示位置不重叠。但是，此时在立体显示三维医用图像30的位置为从显示部12的正中央靠左的情况下，将文本区域设定在显示部12的左侧，有时区域的一部分从显示部12的显示范围偏离。

因此，如图9B所示，将文本区域50a、60a再设定到作为不从显示部12的显示范围偏离的位置的三维医用图像的右侧（图9B所说的上侧）。此时，观察者也偏移到显示部12的右侧，以使得观察者对于文本平面70的视线方向成为相同的角度。

由此，能够防止由于文本区域从显示范围偏离而不显示文本信息的一部分的情形。

另外，如图10所示，使文本区域50a、60a的区域宽度比图9A缩窄，以使得不从显示部12的显示范围偏离。

由此，文本区域内的文本能够通过显示范围变窄，例如2行显示的文字列变成3行等改变文字列的换行位置来进行显示。

<变形例3>

接着，在图11中表示在文本信息为操作面板、操作按钮的情况下，三维医用图像和文本区域重叠时的例子，在图12中表示图像的例子。在这种情况下，与上述的其它例子不同，文本区域占据显示部12的大部分。

在图11中，在将右眼用的文本平面50b、左眼用的文本平面60b作为视差图像来制作文本平面70时，阴影部分与三维医用图像的显示位置重叠。关于与该阴影部分相对应的文本区域50c、60c，视差图像生成部183不进行文本区域的设定，而是优先地显示三维医用图像30。

在图12中表示此时从观察者看到的图像的例子。在图12中，文本信息设为4个操作按钮。图12A是右眼的视差图像，图12B是左眼的视差图像，图12C是双眼中的立体观看图像。在与三维医用图像30部分重叠的文本区域50c、60c中，不显示操作按钮而显示了三维医用图像。

由此，能够防止显示位置重叠而引起的三维医用图像和操作按钮的重叠显示，能够使三维医用图像显示在前表面。

根据以上说明的实施例，获取体图像数据和与其相关的文本信息，将体图像数据和文本信息在三维的图像空间上进行合成。对合成的体图像数据和文本信息沿着视差方向进行投影处理，生成多个视差图像并进行显示。此时，根据视差图像的视差方向变更显示区域的方向后对文本信息进行投影处理，制作能够立体观看的文本平面并显示到3D监视器上。由此，在医用图像处理装置中，即使观察者看的方向发生变化，也以文本平面始终大致正对的方式显示在3D显示器上，变得容易看到文本信息。

以上，说明了本发明的几个实施方式，但是这些实施方式是作为例子而提示的，并不意图限定发明的范围。这些实施方式能够以其它各种方式来实施，能够在不超出发明的要旨范围内进行各种省略、替换、变更。这些实施方式、其变形包含在发明的范围、要旨内，并且包含在权利要求所记载的发明及其均等的范围内。

Claims (4)

1.一种医用图像处理装置，其特征在于，具备：

图像存储部，存储三维医用图像数据；

文本信息存储部，存储与存储于上述图像存储部的上述三维医用图像数据相关联的文本信息；

视差图像生成部，使用投影处理生成合成了上述三维医用图像数据和上述文本信息的、与多个不同的视差方向相对应的视差图像数据；以及

显示部，能够立体观看地显示基于由上述视差图像生成部生成的、合成了上述三维医用图像数据和上述文本信息的多个上述视差图像数据的多个视差图像，

上述视差图像生成部根据上述视差方向来变更上述文本信息的显示区域的方向，

在上述文本信息的显示区域的至少一部分从上述显示部的显示范围偏离的情况下，上述视差图像生成部在观察者的视线方向上、立体显示的上述三维医用图像的显示位置不重叠、且在上述显示部的显示范围内再设定上述文本信息的显示区域，或者上述视差图像生成部使上述多个显示区域的宽度变窄来再设定上述文本信息的显示区域。

2.根据权利要求1所述的医用图像处理装置，其特征在于，

上述视差图像生成部制作文本平面，该文本平面在与由上述显示部显示的上述多个视差图像从观察者看起来立体显示为三维医用图像的平面相同的平面上、或者在微小范围内前后不同的平面上显示文本信息。

3.根据权利要求1或2所述的医用图像处理装置，其特征在于，

上述视差图像生成部构成为在上述三维医用图像和上述文本平面的显示重叠的情况下，不进行重叠的部分的上述文本信息的显示区域的设定。

4.一种医用图像处理装置，其特征在于，具备：

图像存储部，存储三维医用图像数据；

文本信息存储部，存储与存储于上述图像存储部的上述三维医用图像数据相关联的文本信息；

视差图像生成部，使用投影处理来生成合成了上述三维医用图像数据和上述文本信息的、与多个不同的视差方向相对应的视差图像数据；

显示部，能够立体观看地显示基于由上述视差图像生成部生成的、合成了上述三维医用图像数据和上述文本信息的多个上述视差图像数据的多个视差图像；以及

检测部，检测观察者的位置，

上述视差图像生成部根据由上述检测部检测到的上述观察者的位置来变更上述文本信息的显示区域的方向，

在上述文本信息的显示区域的至少一部分从上述显示部的显示范围偏离的情况下，上述视差图像生成部在观察者的视线方向上、立体显示的上述三维医用图像的显示位置不重叠、且在上述显示部的显示范围内再设定上述文本信息的显示区域，或者上述视差图像生成部使上述多个显示区域的宽度变窄来再设定上述文本信息的显示区域。