CN102915557A - 图像处理系统、终端装置以及方法 - Google Patents

图像处理系统、终端装置以及方法 Download PDF

Info

Publication number
CN102915557A
CN102915557A CN2012102171053A CN201210217105A CN102915557A CN 102915557 A CN102915557 A CN 102915557A CN 2012102171053 A CN2012102171053 A CN 2012102171053A CN 201210217105 A CN201210217105 A CN 201210217105A CN 102915557 A CN102915557 A CN 102915557A
Authority
CN
China
Prior art keywords
mentioned
end device
subject
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102171053A
Other languages
English (en)
Other versions
CN102915557B (zh
Inventor
荒木田和正
塚越伸介
前田达郎
原拓实
森安健太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Publication of CN102915557A publication Critical patent/CN102915557A/zh
Application granted granted Critical
Publication of CN102915557B publication Critical patent/CN102915557B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/02Composition of display devices
    • G09G2300/023Display panel composed of stacked panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0457Improvement of perceived resolution by subpixel rendering
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/08Biomedical applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明提供一种能够显示利用者所希望的立体图像的图像处理系统、终端装置以及方法。本发明所涉及的图像处理系统是具有包含显示医用图像的显示部的终端装置的图像处理系统,具有取得部和显示控制部。取得部取得终端装置相对于规定的对象物的位置。显示控制部使与由取得部取得的、终端装置相对于对象物的相对位置对应的医用图像显示于显示部。

Description

图像处理系统、终端装置以及方法
本申请主张2011年6月27日申请的日本专利申请号2011-142227的优先权,并在本申请中引用上述日本专利申请的全部内容。
技术领域
本发明涉及图像处理系统(system)、终端装置以及方法。
背景技术
以往,已知一种通过将从2个视点拍摄到的2个图像显示在显示器(monitor)上,来显示对于使用立体观测用眼镜(glasses)等专用设备的利用者而言能够立体观测的图像的技术。另外,近年来,已知一种通过使用柱状透镜(lenticular lens)等光线控制元件,将从多个视点拍摄到的图像(例如,9个图像)显示在显示器上,来显示对于裸眼的利用者而言能够立体观测的图像的技术。另外,显示于能够立体观测的显示器的多个图像有时通过推定从1个视点拍摄到的图像的深度信息,并使用推定出的信息的图像处理来生成。
另一方面,在X射线CT(Computed Tomography)装置或MRI(Magnetic Resonance Imaging)装置、超声波诊断装置等医用图像诊断装置中,能够生成三维医用图像数据(以下,称为“体数据”)的装置正在被实用化。该医用图像诊断装置通过对体数据执行各种图像处理来生成显示用平面图像,并显示在通用显示器上。例如,医用图像诊断装置通过对体数据执行体绘制处理(volume rendering),来生成反映出针对被检体的三维信息的二维绘制(rendering)图像,并将所生成的绘制图像显示在通用显示器上。
发明内容
本发明要解决的问题在于,提供一种能够显示利用者所希望的立体图像的图像处理系统、终端装置以及方法。
本发明所涉及的图像处理系统是具有包含显示医用图像的显示部的终端装置的图像处理系统,具有取得部和显示控制部。取得部取得终端装置相对于规定对象物的位置。显示控制部使与由取得部取得的、终端装置相对于对象物的相对位置对应的医用图像显示于显示部。
根据本发明的图像处理系统,能够显示利用者所希望的立体图像。
附图说明
图1是用于说明第1实施方式所涉及的图像处理系统的构成例的图。
图2A以及图2B是用于说明通过2视差图像进行立体显示的立体显示显示器的一个例子的图。
图3是用于说明通过9视差图像进行立体显示的立体显示显示器的一个例子的图。
图4是用于说明第1实施方式所涉及的工作站(workstation)的构成例的图。
图5是用于说明图4所示的绘制处理部的构成例的图。
图6是用于说明第1实施方式所涉及的体绘制处理的一个例子的图。
图7是表示由第1实施方式中的终端装置显示的立体图像的一个例子的图。
图8是用于说明第1实施方式中的终端装置的构成例的图。
图9是用于说明第1实施方式中的终端装置所进行的处理的一个例子的图。
图10是用于说明第1实施方式中的终端装置所进行的处理的一个例子的图。
图11是用于说明第1实施方式中的终端装置所进行的处理的一个例子的图。
图12是用于说明第1实施方式中的终端装置所进行的处理的一个例子的图。
图13是表示第1实施方式中的图像处理系统所进行的处理的流程的一个例子的序列(sequence)图。
图14是表示第1实施方式中的图像处理系统所进行的处理的流程的一个例子的序列图。
图15是用于说明第1实施方式的变形例的图。
图16是用于说明第1实施方式的变形例的图。
图17是用于说明第1实施方式的变形例的图。
图18是用于说明第1实施方式的变形例的图。
图19是用于说明立体图像与观察位置的关系的图。
图20是表示第2实施方式中的终端装置的外观的图。
图21是用于说明第2实施方式中的终端装置的构成例的图。
图22是用于说明第2实施方式中的终端装置所进行的处理的一个例子的图。
图23是表示第2实施方式中的图像处理系统所进行的处理的流程的一个例子的序列图。
图24A以及图24B是用于说明第2实施方式的变形例的图。
具体实施方式
以下,参照附图详细说明图像处理系统、终端装置以及方法的实施方式。在此,针对以下的实施方式所使用的用语进行说明,所谓“视差图像组”是指通过对体数据,将视点位置按逐个规定视差角移动来进行体绘制处理而生成的图像组。即,“视差图像组”由“视点位置”不同的多个“视差图像”构成。另外,所谓“视差角”是指通过为了生成“视差图像组”而设定的各视点位置中相邻的视点位置与通过体数据表示的空间内的规定位置(例如,空间的中心)来决定的角度。另外,所谓“视差数”是指在立体显示显示器上进行立体观测所需的“视差图像”的数量。另外,所谓以下所述的“9视差图像”是指由9个“视差图像”构成的“视差图像组”。另外,所谓以下所述的“2视差图像”是指由2个“视差图像”构成的“视差图像组”。
(第1实施方式)
首先,针对第1实施方式所涉及的图像处理系统的构成例进行说明。图1是用于说明第1实施方式所涉及的图像处理系统的构成例的图。
如图1所示,第1实施方式所涉及的图像处理系统1具有医用图像诊断装置110、图像保管装置120、工作站130、终端装置140。图1所示例的各装置处于例如通过设置在医院内的院内LAN(Local AreaNetwork)2,能够直接或者间接地相互通信的状态。例如,当对图像处理系统1导入有PACS(Picture Archiving and CommunicationSystem)时,各装置按照DICOM(Digital Imaging and Communicationsin Medicine)标准,相互发送接收医用图像等。
该图像处理系统1根据由医用图像诊断装置110生成的三维医用图像数据即体数据来生成视差图像组,并将该视差图像组显示在能够立体观测的显示器上,从而对在医院内工作的医师或检查技师等观察者提供作为该观察者能够立体地识别的图像的立体图像。具体而言,在第1实施方式中,工作站130对体数据进行各种图像处理,生成视差图像组。另外,工作站130以及终端装置140具有能够立体观测的显示器,通过将在工作站130中生成的视差图像组显示在显示器上来对利用者显示立体图像。另外,图像保管装置120保管在医用图像诊断装置110中生成的体数据、或在工作站130中生成的视差图像组。例如,工作站130或终端装置140从图像保管装置120取得体数据或视差图像组,并对所取得的体数据或视差图像组执行任意的图像处理,或将视差图像组显示在显示器上。以下,依次说明各装置。
医用图像诊断装置110是X射线诊断装置、X射线CT(ComputedTomography)装置、MRI(Magnetic Resonance Imaging)装置、超声波诊断装置、SPECT(Single Photon Emission ComputedTomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置与X射线CT装置被一体化后的SPECT-CT装置、PET装置与X射线CT装置被一体化后的PET-CT装置、或者它们的装置组等。另外,第1实施方式所涉及的医用图像诊断装置110能够生成三维医用图像数据(体数据)。
具体而言,第1实施方式所涉及的医用图像诊断装置110通过对被检体进行拍摄来生成体数据。例如,医用图像诊断装置110通过对被检体进行拍摄来收集投影数据或MR信号等数据,并根据收集到的数据,重建沿着被检体体轴方向的多个轴向(axial)面的医用图像数据,来生成体数据。例如,当医用图像诊断装置110重建500个轴向面的医用图像数据时,该500个轴向面的医用图像数据组是体数据。另外,也可以将被医用图像诊断装置110拍摄到的被检体的投影数据或MR信号等本身作为体数据。
另外,第1实施方式所涉及的医用图像诊断装置110将所生成的体数据发送至图像保管装置120。另外,医用图像诊断装置110当对图像保管装置120发送体数据时,发送例如识别患者的患者ID、识别检查的检查ID、识别医用图像诊断装置110的装置ID、识别医用图像诊断装置110所进行的1次拍摄的序列(series)ID等作为附带信息。
图像保管装置120是保管医用图像的数据库(database)。具体而言,第1实施方式所涉及的图像保管装置120从医用图像诊断装置110接收体数据,并将接收到的体数据保管于规定的存储部。另外,在第1实施方式中,工作站130根据体数据生成视差图像组,并将生成的视差图像组发送至图像保管装置120。因此,图像保管装置120将从工作站130发送出的视差图像组保管于规定的存储部。另外,本实施方式也可以通过使用能够保管大容量图像的工作站130,来综合图1所示例的工作站130与图像保管装置120。即,本实施方式也可以将体数据或者视差图像组存储于工作站130本身中。
另外,在第1实施方式中,图像保管装置120所保管的体数据或视差图像组与患者ID、检查ID、装置ID、序列ID等对应地保管。因此,工作站130或终端装置140通过进行使用患者ID、检查ID、装置ID、序列ID等的检索,来从图像保管装置120取得所需的体数据或视差图像组。
工作站130是对医用图像进行图像处理的图像处理装置。具体而言,第1实施方式所涉及的工作站130通过对从图像保管装置120取得的体数据进行各种绘制处理,来生成视差图像组。
另外,作为显示部,第1实施方式所涉及的工作站130具有能够显示立体图像的显示器(也称为“立体显示显示器”、“立体图像显示装置”)。工作站130生成视差图像组,并将所生成的视差图像组显示在立体显示显示器上。其结果,工作站130的操作者能够一边确认立体显示显示器所显示出的能够立体观测的立体图像,一边进行用于生成视差图像组的操作。
另外,工作站130将所生成的视差图像组发送至图像保管装置120或终端装置140。另外,工作站130当对图像保管装置120或终端装置140发送视差图像组时,发送例如患者ID、检查ID、装置ID、序列ID等作为附带信息。作为将视差图像组发送至图像保管装置120时所发送的附带信息,还可以列举出与视差图像组相关的附带信息。作为与视差图像组相关的附带信息,存在视差图像的个数(例如,“9”)、或视差图像的分辨率(例如,“466×350像素”)等。
终端装置140是用于使在医院内工作的医师或检查技师阅览医用图像的装置。例如,终端装置140是通过在医院内工作的医师或检查技师来操作的PC(Personal Computer)或平板(tablet)式PC、PDA(Personal Digital Assistant)、手机等。具体而言,作为显示部,第1实施方式所涉及的终端装置140具有立体显示显示器。另外,终端装置140从图像保管装置120或工作站130取得视差图像组,并将所取得的视差图像组显示在立体显示显示器上。其结果,作为观察者的医师或检查技师能够阅览能够立体观测的医用图像。另外,终端装置140也可以是与作为外部装置的立体显示显示器连接的任意的信息处理终端。
在此,针对工作站130或终端装置140所具有的立体显示显示器进行说明。现在最普及的一般的通用显示器是二维地显示二维图像的显示器,不能立体显示二维图像。假设,当观察者希望在通用显示器上进行立体观测时,对通用显示器输出图像的装置需要通过平行法或交叉法来并列显示观察者能够立体观测的2视差图像。或者,对通用显示器输出图像的装置需要例如使用在左眼用部分安装了红色玻璃纸,在右眼用部分安装了蓝色玻璃纸的眼镜通过补色法来显示观察者能够立体观测的图像。
另一方面,作为立体显示显示器,存在通过使用立体观测用眼镜等专用设备,就能够立体观测2视差图像(也称为“两眼视差图像”)的显示器。
图2A以及图2B是用于说明通过2视差图像进行立体显示的立体显示显示器的一个例子的图。图2A以及图2B所示的一个例子是通过快门(shutter)方式进行立体显示的立体显示显示器,使用快门眼镜作为观察显示器的观察者所佩戴的立体观测用眼镜。该立体显示显示器在显示器上交替地射出2视差图像。例如,图2A所示的显示器以120Hz交替地射出左眼用图像与右眼用图像。在此,如图2A所示,在显示器上设置红外线射出部,红外线射出部与切换图像的定时(timing)一致地控制红外线的射出。
另外,从红外线射出部射出的红外线通过图2A所示的快门眼镜的红外线接收部来接收。在快门眼镜的左右框上分别安装有快门,快门眼镜与红外线接收部接收红外线的定时一致地交替切换左右快门各自的透过状态以及遮光状态。以下,针对快门中的透过状态以及遮光状态的切换处理进行说明。
如图2B所示,各快门具有入射侧的偏振片与射出侧的偏振片,另外在入射侧的偏振片与射出侧的偏振片之间具有液晶层。另外,如图2B所示,入射侧的偏振片与射出侧的偏振片彼此正交。在此,如图2B所示,在没有施加电压的“OFF”的状态下,通过了入射侧的偏振片的光由于液晶层的作用而旋转90度,透过射出侧的偏振片。即,没有施加电压的快门变为透过状态。
另一方面,如图2B所示,在施加了电压的“ON”的状态下,由于基于液晶层的液晶分子的偏光旋转作用消失,因此通过了入射侧的偏振片的光会被射出侧的偏振片遮住。即,施加了电压的快门变为遮光状态。
因此,例如在显示器上显示有左眼用图像的期间,红外线射出部射出红外线。并且,在正在接收红外线的期间,红外线接收部不对左眼的快门施加电压,而对右眼的快门施加电压。由此,如图2A所示,由于右眼的快门变为遮光状态,左眼的快门变为透过状态,因此左眼用图像入射至观察者的左眼。另一方面,在显示器上显示有右眼用图像的期间,红外线射出部停止红外线的射出。并且,在没有接收红外线的期间,红外线接收部不对右眼的快门施加电压,而对左眼的快门施加电压。由此,由于左眼的快门为遮光状态,右眼的快门为透过状态,因此,右眼用图像入射至观察者的右眼。这样,图2A以及图2B所示的立体显示显示器通过联动地切换显示器所显示的图像与快门的状态,来显示观察者能够立体观测的图像。另外,作为能够立体观测2视差图像的立体显示显示器,除了上述快门方式以外,还公知有采用了偏光眼镜方式的显示器。
另外,作为近年来实用化的立体显示显示器,存在通过使用柱状透镜等光线控制元件,例如观察者能够裸眼地立体观测9视差图像等多视差图像的显示器。该立体显示显示器能够进行基于双眼视差的立体观测,并且能够进行基于所观察的影像与观察者的视点移动一致地发生变化的运动视差的立体观测。
图3是用于说明通过9视差图像进行立体显示的立体显示显示器的一个例子的图。在图3所示的立体显示显示器上,在液晶屏(panel)等平面状的显示面200的前面配置光线控制元件。例如,作为光线控制元件,在图3所示的立体显示显示器上,在显示面200的前面粘贴有光学开口在垂直方向上延伸的垂直透镜板(lenticular sheet)201。另外,在图3所示的一个例子中,以垂直透镜板201的凸部是前面的方式进行粘贴,也可以以垂直透镜板201的凸部与显示面200对置的方式进行粘贴。
在显示面200上,如图3所示,矩阵(matrix)状地配置纵横比是3:1、纵方向上配置有作为子(sub)像素的红(R)、绿(G)、蓝(B)3个的像素202。图3所示的立体显示显示器将由9个图像构成的9视差图像转换成规定格式(format)(例如格子状)地配置的中间图像,并输出到显示面200。即,图3所示的立体显示显示器将在9视差图像中位于同一位置的9个像素分别分配成9列像素202来输出。9列像素202是同时显示视点位置不同的9个图像的单位像素组203。
在显示面200中作为单位像素组203同时输出的9视差图像例如通过LED(Light Emitting Diode)背光作为平行光来放射,另外通过垂直透镜板201在多方向放射。通过将9视差图像的各像素的光在多方向放射,从而入射至观察者的右眼以及左眼的光与观察者的位置(视点的位置)联动地变化。即,根据观察者观察角度的不同,入射至右眼的视差图像与入射至左眼的视差图像的视差角也不同。由此,例如,分别在图3所示的9个位置上,观察者能够立体地识别拍摄对象。另外,例如在图3所示的“5”的位置上,观察者能够以与拍摄对象正对的状态立体地识别,并且在图3所示的“5”以外的各个位置上,能够以改变拍摄对象的朝向的状态立体地识别。另外,图3所示的立体显示显示器始终是一个例子。如图3所示,显示9视差图像的立体显示显示器可以是“RRR…、GGG…、BBB…”的横条(stripe)液晶,也可以是“RGBRGB…”的纵条液晶。另外,如图3所示,图3所示的立体显示显示器可以是透镜板垂直的纵透镜方式,也可以是透镜板倾斜的倾斜透镜(lens)方式。
到此为止针对第1实施方式所涉及的图像处理系统1的构成例简单地进行了说明。另外,上述图像处理系统1并不限定于应用于导入有PACS时。例如,图像处理系统1也同样应用于导入有管理添加了医用图像的电子病历(chart)的电子病历系统时。此时,图像保管装置120是保管电子病历的数据库。另外,例如图像处理系统1也同样应用于导入有HIS(Hospital Information System)、RIS(RadiologyInformation System)时。另外,图像处理系统1并不限定于上述构成例。各装置所具有的功能或其分工也可以根据运用的方式而适当地变更。
接着,针对第1实施方式所涉及的工作站的构成例使用图4进行说明。图4是用于说明第1实施方式所涉及的工作站的构成例的图。另外,以下,所谓“视差图像组”是通过对体数据进行体绘制处理而生成的立体观测用图像组。另外,所谓“视差图像”是指构成“视差图像组”的各个图像。即,“视差图像组”由视点位置不同的多个“视差图像”构成。
第1实施方式所涉及的工作站130是应用于图像处理等的高性能计算机(computer),如图4所示,具有输入部131、显示部132、通信部133、存储部134、控制部135、绘制处理部136。另外,以下使用工作站130是应用于图像处理等的高性能计算机的情况进行说明,但并不限定于此,也可以是任意的信息处理装置。例如,也可以是任意的个人计算机。
输入部131是鼠标(mouse)、键盘(keyboard)、轨迹球(trackball)等,从操作者处接受针对工作站130的各种操作的输入。具体而言,第1实施方式所涉及的输入部131接受用于从图像保管装置120取得成为绘制处理对象的体数据的信息的输入。例如,输入部131接受患者ID、检查ID、装置ID、序列ID等的输入。另外,第1实施方式所涉及的输入部131接受与绘制处理相关的条件(以下,称为“绘制条件”)的输入。
显示部132是作为立体显示显示器的液晶屏等,显示各种信息。具体而言,第1实施方式所涉及的显示部132显示用于接受操作者进行的各种操作的GUI(Graphical User Interface)、或视差图像组等。通信部133是NIC(Network Interface Card)等,在与其他装置之间进行通信。
存储部134是硬盘(hard disk)、半导体存储器(memory)元件等,存储各种信息。具体而言,第1实施方式所涉及的存储部134存储经由通信部133从图像保管装置120取得的体数据。另外,第1实施方式所涉及的存储部134存储绘制处理中的体数据、或通过绘制处理生成的视差图像组等。
控制部135是CPU(Central Processing Unit)、MPU(MicroProcessing Unit)或GPU(Graphics Processing Unit)等电子电路、ASIC(Application Specific Integrated Circuit)或FPGA(FieldProgrammable Gate Array)等集成电路,进行工作站130的整体控制。
例如,第1实施方式所涉及的控制部135控制对显示部132的GUI的显示或视差图像组的显示。另外,例如控制部135控制在与图像保管装置120之间经由通信部133进行的体数据或视差图像组的发送接收。另外,例如控制部135控制绘制处理部136所进行的绘制处理。另外,例如控制部135控制体数据从存储部134的读入、或视差图像组向存储部134的存储。
绘制处理部136在控制部135的控制下,对从图像保管装置120取得的体数据进行各种绘制处理,生成视差图像组。具体而言,第1实施方式所涉及的绘制处理部136从存储部134读入体数据,并首先对该体数据进行前处理。接着,绘制处理部136对前处理后的体数据进行体绘制处理,生成视差图像组。接着,绘制处理部136通过生成描绘出各种信息(刻度、患者名、检查项目等)的二维图像,并将其分别与视差图像组相重叠,来生成输出用二维图像。并且,绘制处理部136将所生成的视差图像组或输出用二维图像存储于存储部134。另外,在第1实施方式中,所谓绘制处理是指对体数据进行的图像处理整体,所谓体绘制处理是指绘制处理内,生成反映出三维信息的二维图像的处理。所谓通过绘制处理生成的医用图像例如是视差图像。
图5是用于说明图4所示的绘制处理部的构成例的图。如图5所示,绘制处理部136具有前处理部1361、三维图像处理部1362、以及二维图像处理部1363。前处理部1361进行对体数据的前处理,三维图像处理部1362根据前处理后的体数据来生成视差图像组,二维图像处理部1363生成将各种信息重叠于视差图像组而成的输出用二维图像。以下,依次说明各部。
前处理部1361是当对体数据进行绘制处理时,进行各种前处理的处理部,具有图像校正处理部1361a、三维物体整合部1361e、三维物体显示区域设定部1361f。
图像校正处理部1361a是当将2种体数据作为1个体数据进行处理时,进行图像校正处理的处理部,如图5所示,具有变形校正处理部1361b、体运动校正处理部1361c以及图像间位置对准处理部1361d。例如,当将由PET-CT装置生成的PET图像的体数据与X射线CT图像的体数据作为1个体数据进行处理时,图像校正处理部1361a进行图像校正处理。或者,当将由MRI装置生成的T1强调图像的体数据与T2强调图像的体数据作为1个体数据进行处理时,图像校正处理部1361a进行图像校正处理。
另外,变形校正处理部1361b校正在各个体数据中,由于医用图像诊断装置110进行数据收集时的收集条件而引起的数据的变形。另外,体运动校正处理部1361c校正由于为了生成各个体数据而使用的数据收集时期中的被检体的体运动而引起的移动。另外,图像间位置对准处理部1361d在进行了基于变形校正处理部1361b以及体运动校正处理部1361c的校正处理的2个体数据间,例如进行使用了相互相关法等的位置对准(Registration)。
三维物体整合部1361e使通过图像间位置对准处理部1361d进行了位置对准的多个体数据整合。另外,当对单一的体数据进行绘制处理时,省略图像校正处理部1361a以及三维物体整合部1361e的处理。
三维物体显示区域设定部1361f是设定与操作者指定的显示对象脏器对应的显示区域的处理部,具有分割(segmentation)处理部1361g。分割处理部1361g是例如通过根据体数据的像素值(体素(voxel)值)的区域扩张法来提取操作者指定的心脏、肺、血管等脏器的处理部。
另外,当操作者未指定显示对象脏器时,分割处理部1361g不进行分割处理。另外,当操作者指定了多个显示对象脏器时,分割处理部1361g提取符合的多个脏器。另外,有时会根据参照绘制图像的操作者的微调整要求来再次执行分割处理部1361g的处理。
三维图像处理部1362对前处理部1361进行了处理的前处理后的体数据进行体绘制处理。作为进行体绘制处理的处理部,三维图像处理部1362具有投影方法设定部1362a、三维几何转换处理部1362b、三维物体表现处理部1362f、三维虚拟空间绘制部1362k。
投影方法设定部1362a确定用于生成视差图像组的投影方法。例如,投影方法设定部1362a确定是通过平行投影法来执行体绘制处理,还是通过透视投影法来执行体绘制处理。
三维几何转换处理部1362b是对用于三维几何学地转换执行体绘制处理的体数据的信息进行确定的处理部,具有平行移动处理部1362c、旋转处理部1362d以及放大缩小处理部1362e。平行移动处理部1362c是当平行移动进行体绘制处理时的视点位置时,确定使体数据平行移动的移动量的处理部,旋转处理部1362d是当旋转移动进行体绘制处理时的视点位置时,确定使体数据旋转移动的移动量的处理部。另外,放大缩小处理部1362e是当要求将视差图像组放大或缩小时,确定体数据的放大率或缩小率的处理部。
三维物体表现处理部1362f具有三维物体色彩处理部1362g、三维物体不透明度处理部1362h、三维物体材质处理部1362i以及三维虚拟空间光源处理部1362j。三维物体表现处理部1362f通过这些处理部,例如根据操作者的要求,来进行确定所显示的视差图像组的显示状态的处理。
三维物体色彩处理部1362g是确定对在体数据中分割出的各区域进行着色的色彩的处理部。三维物体不透明度处理部1362h是确定构成在体数据中分割出的各区域的各体素的不透明度(Opacity)的处理部。另外,在体数据中不透明度为“100%”的区域的后方区域在视差图像组中没有被描绘出。另外,在体数据中不透明度为“0%”的区域在视差图像组中没有被描绘出。
三维物体材质处理部1362i是通过确定在体数据中分割出的各区域的材质,来调整描绘该区域时的质感的处理部。三维虚拟空间光源处理部1362j是当对体数据进行体绘制处理时,确定设置在三维虚拟空间中的虚拟光源的位置、或虚拟光源的种类的处理部。作为虚拟光源的种类,可以列举出从无限远处照射平行光线的光源、或从视点处照射放射状光线的光源等。
三维虚拟空间绘制部1362k对体数据进行体绘制处理,来生成视差图像组。另外,三维虚拟空间绘制部1362k在进行体绘制处理时,根据需要使用由投影方法设定部1362a、三维几何转换处理部1362b、三维物体表现处理部1362f确定出的各种信息。
在此,三维虚拟空间绘制部1362k进行的体绘制处理按照绘制条件来进行。例如,绘制条件是“平行投影法”或者“透视投影法”。另外,例如,绘制条件是“基准的视点位置、视差角以及视差数”。另外,例如,绘制条件是“视点位置的平行移动”、“视点位置的旋转移动”、“视差图像组的放大”、“视差图像组的缩小”。另外,例如,绘制条件是“被着色的色彩”、“透明度”、“质感”、“虚拟光源的位置”、“虚拟光源的种类”。这样的绘制条件被认为经由输入部131从操作者处接受、或是初始设定。任一情况下,三维虚拟空间绘制部1362k都从控制部135处接受绘制条件,并按照该绘制条件来进行对体数据的体绘制处理。另外,此时,由于上述的投影方法设定部1362a、三维几何转换处理部1362b、以及三维物体表现处理部1362f按照该绘制条件来确定所需的各种信息,因此,三维虚拟空间绘制部1362k使用所确定的这些各种信息来生成视差图像组。
图6是用于说明第1实施方式所涉及的体绘制处理的一个例子的图。例如,如图6的“9视差图像生成方式(1)”所示,作为绘制条件,假设三维虚拟空间绘制部1362k接受平行投影法,另外接受基准的视点位置(5)与视差角“1度”。此时,三维虚拟空间绘制部1362k以视差角间隔“1度”的方式,将视点的位置平行移动至(1)~(9),并通过平行投影法生成视差角(视线方向间的角度)1度1度地不同的9个视差图像。另外,当进行平行投影法时,三维虚拟空间绘制部1362k设定沿着视线方向从无限远处照射平行的光线的光源。
或者,如图6的“9视差图像生成方式(2)”所示,作为绘制条件,假设三维虚拟空间绘制部1362k接受透视投影法,另外接受基准的视点位置(5)与视差角“1度”。此时,三维虚拟空间绘制部1362k以将体数据的中心(重心)作为中心视差角间隔“1度”的方式,将视点的位置旋转移动至(1)~(9),并通过透视投影法生成视差角1度1度不同的9个视差图像。另外,当进行透视投影法时,三维虚拟空间绘制部1362k在各视点处设置以视线方向为中心三维放射状地照射光的点光源或面光源。另外,当进行透视投影法时,根据绘制条件的不同,也可以平行移动视点(1)~(9)。
另外,三维虚拟空间绘制部1362k也可以通过设定对所显示的体数据绘制图像的纵方向,以视线方向为中心二维放射状地照射光,对所显示的体数据绘制图像的横方向,沿着视线方向从无限远处照射平行的光线的光源,来进行并用平行投影法与透视投影法的体绘制处理。
这样生成的9个视差图像是视差图像组。在第1实施方式中,9个视差图像例如通过控制部135转换成规定格式(例如格子状)地配置的中间图像,并在作为立体显示显示器的显示部132上输出。于是,工作站130的操作者能够一边确认立体显示显示器所显示出的能够立体观测的医用图像,一边进行用于生成视差图像组的操作。
另外,在图6的例子中,说明了接受了投影方法、基准的视点位置以及视差角作为绘制条件的情况,但即使在接受了其他条件作为绘制条件的情况下,三维虚拟空间绘制部1362k也同样地一边反映各自的绘制条件,一边生成视差图像组。
另外,三维虚拟空间绘制部1362k不仅具有体绘制的功能,还具有进行剖面重建法(MPR:Multi Planer Reconstruction)并根据体数据来重建MPR图像的功能。另外,三维虚拟空间绘制部1362k还具有进行“Curved MPR”的功能、或进行“Intensity Projection”的功能。
接着,三维图像处理部1362根据体数据生成的视差图像组被作为底图(Underlay)。并且,通过将描绘出各种信息(刻度、患者名、检查项目等)的覆盖图(Overlay)与底图相重叠,来作为输出用二维图像。二维图像处理部1363是通过对覆盖图以及底图进行图像处理,来生成输出用二维图像的处理部,如图5所示,具有二维物体描绘部1363a、二维几何转换处理部1363b以及亮度调整部1363c。例如,二维图像处理部1363为了减轻输出用二维图像的生成处理所需的负荷,通过分别对9个视差图像(底图)重叠1个覆盖图,来生成9个输出用二维图像。另外,以下,有时仅仅将重叠有覆盖图的底图记作“视差图像”。
二维物体描绘部1363a是描绘覆盖图所描绘出的各种信息的处理部,二维几何转换处理部1363b是将覆盖图所描绘出的各种信息的位置进行平行移动处理或者旋转移动处理,或将覆盖图所描绘出的各种信息进行放大处理或者缩小处理的处理部。
另外,亮度调整部1363c是进行亮度转换处理的处理部,例如是根据输出目标的立体显示显示器的风格、窗宽(WW:Window Width)、窗位(WL:Window Level)等图像处理用参数(parameter),来调整覆盖图以及底图的亮度的处理部。
控制部135例如将这样生成的输出用二维图像暂时存储于存储部134,之后经由通信部133发送至图像保管装置120。并且,终端装置140例如从图像保管装置120取得该输出用二维图像,转换成规定格式(例如格子状)地配置的中间图像并显示在立体显示显示器上。另外,例如,控制部135将输出用二维图像暂时存储于存储部134,之后经由通信部133发送至图像保管装置120,并且发送至终端装置140。并且,终端装置140将从工作站130接收到的输出用二维图像转换成规定格式(例如格子状)地配置的中间图像并显示在立体显示显示器上。由此,利用终端装置140的医师或检查技师能够在描绘出各种信息(刻度、患者名、检查项目等)的状态下,阅览能够立体观测的医用图像。
另外,第1实施方式中的终端装置140是平板式PC、PDA或者手机等可携带的终端,当被被检体遮住时,通过显示与被遮住的位置对应的部位(脏器等)的视差图像组,来对利用者提供该脏器等的立体图像。针对该点,使用图7简单地说明。图7是表示通过第1实施方式中的终端装置140显示的立体图像的一个例子的图。
在图7中,示出利用者利用终端装置140遮住被检体P胸部的例子。此时,终端装置140将作为位于被检体P的胸部的脏器,心脏的立体图像显示于立体显示显示器。由此,利用者仅仅通过将终端装置140遮住被检体P,就能够观察与遮住的位置对应的部位的立体图像。以下,针对这样的第1实施方式中的终端装置140详细地进行说明。
图8是用于说明第1实施方式中的终端装置140的构成例的图。图8所示的终端装置140是平板式PC等可携带的终端,当利用者进行了规定操作时,显示对该操作对应的立体图像。如图8所示例的那样,第1实施方式中的终端装置140具有输入部141、立体显示显示器142、通信部143、存储部144、位置传感器(sensor)145、控制部146。
输入部141是设置于终端装置140的规定的按键(key)等,接受操作者对终端装置140的各种操作的输入。例如,作为立体观测要求,输入部141输入用于指定操作者希望立体观测的体数据的患者ID、检查ID、装置ID、序列ID等的输入。
立体显示显示器142是作为立体显示显示器的液晶屏等,显示各种信息。具体而言,第1实施方式所涉及的立体显示显示器142显示用于接受操作者进行的各种操作的GUI(Graphical User Interface)、或视差图像组等。例如,立体显示显示器142是使用图2A以及图2B说明的立体显示显示器(以下,记作“2视差显示器”)、或使用图6说明的立体显示显示器(以下,记作“9视差显示器”)。以下,针对立体显示显示器142是9视差显示器的情况进行说明。
另外,由于第1实施方式中的终端装置140是平板式PC等可携带的终端,因此也可以具有输入部141与立体显示显示器142被一体化后的触摸屏(touch panel)式的显示部。
通信部143是NIC(Network Interface Card)等,在与其他的装置之间进行通信。具体而言,第1实施方式所涉及的通信部143将输入部141接受到的立体观测要求发送至工作站130。另外,第1实施方式所涉及的通信部143根据立体观测要求来接收工作站130发送出的视差图像组。
存储部144是硬盘、半导体存储器元件等,存储各种信息。具体而言,存储部144存储经由通信部143从工作站130取得的视差图像组。另外,存储部144还存储经由通信部143从工作站130取得的视差图像组的附带信息(视差数、分辨率等)。
另外,第1实施方式中的存储部144存储由医用图像诊断装置110拍摄到的被检体P的X射线CT图像或伦琴(roentgen)图像等。该X射线CT图像或伦琴图像是通过大范围地对被检体P进行拍摄而生成的二维图像,例如是后述的图9中的图像A10。以下,有时将这样的X射线CT图像或伦琴图像记作“扫描(scanogram)像”。
位置传感器145检测终端装置140相对于被检体P的位置。另外,在第1实施方式中,假设在被检体P上也安装有位置传感器的发送部,终端装置140所具有的位置传感器145是位置传感器的接收部。即,位置传感器145通过从安装于被检体P的位置传感器接收信号,来检测终端装置140相对于该被检体P的位置。针对这些位置传感器之后进行叙述。
控制部146是CPU、MPU或GPU等电子电路,ASIC或FPGA等集成电路,进行终端装置140的整体控制。例如,控制部146控制在与工作站130之间经由通信部143进行的立体观测要求或视差图像组的发送接收。另外,例如控制部146控制视差图像组向存储部144的存储、或视差图像组从存储部144的读入。
如图8所示例的那样,这样的控制部146具有初始设定部1461、取得部1462以及显示控制部1463,通过这些处理部进行的处理,当终端装置140被被检体P遮住时,通过显示与被遮住的位置对应的部位(脏器等)的视差图像组,来对利用者提供该脏器等的立体图像。
初始设定部1461设定终端装置140相对于被检体P的基准位置。取得部1462取得终端装置140相对于被检体P的位置。第1实施方式中的取得部1462取得终端装置140相对于由初始设定部1461设定的基准位置的位置变动。具体而言,取得部1462根据由位置传感器145检测到的位置,来取得终端装置140相对于被检体P的相对位置变动。显示控制部1463使视差图像组显示于立体显示显示器142。具体而言,第1实施方式中的显示控制部1463基于与由取得部1462取得的位置变动对应的显示方式来使规定视差图像组显示于立体显示显示器142。
在此,使用图9以及图10,针对第1实施方式中的初始设定部1461、取得部1462以及显示控制部1463进行的处理的一个例子进行说明。图9以及图10是用于说明第1实施方式中的终端装置140进行的处理的一个例子的图。另外,以下,假设横方向(x方向)是与地表是水平的方向、且与终端装置140的横方向对应,纵方向(y方向)是与地表垂直的方向、且与终端装置140的纵方向对应,深度方向(z方向)是与xy平面垂直的方向、且与垂直于终端装置140的显示面的方向对应。
作为图9以及图10所示的例子的前提,假设工作站130保持通过由医用图像诊断装置110对被检体P进行拍摄而生成的体数据VD10。或者,假设工作站130是能够从图像保管装置120取得该体数据VD10的状态。另外,图9所示例出的扫描像A10通过由医用图像诊断装置110对被检体P的胸部周边大范围地进行拍摄而生成。该扫描像A10被存储于终端装置140的存储部144,并且也存储于工作站130的存储部134。另外,假设工作站130保持与体数据VD10和扫描像A10的位置关系相关的信息。也就是说,工作站130保持表示扫描像A10的规定位置与体数据VD10的哪一位置对应的信息。
在这样的前提下,在图9所示的例子中,在被检体P的头(头部)附近安装位置传感器151,在终端装置140的上侧面设置位置传感器145a以及145b。另外,位置传感器145a以及145b与图8所示的位置传感器145对应。以下,当不需要区分位置传感器145a与位置传感器145b时,有时将双方总称记作“位置传感器145”。这样的位置传感器145通过从位置传感器151接收信号,来检测终端装置140相对于被检体P的位置。
在此,第1实施方式中的终端装置140的初始设定部1461从利用者处经由输入部141,接受显示扫描像A10的一部分的操作。在图9所示的例子中,假设初始设定部1461接受显示扫描像A10中心脏附近的图像A11的操作。此时,如图9(A)所示,显示控制部1463将图像A11显示在立体显示显示器142上。另外,该图像A11是二维图像。
接着,如图9(A)所示,利用者利用显示出图像A11的终端装置140遮住如图像A11所示的被检体P的位置。在图9(A)所示的例子中,由于在立体显示显示器142上显示有心脏附近的图像A11,因此,终端装置140被被检体P的胸部附近遮住。另外,此时,终端装置140的初始设定部1461也可以将在图像A11所示的位置遮住终端装置140的意思的引导信息显示于立体显示显示器142。
并且,终端装置140的初始设定部1461在被被检体P遮住的状态下,从利用者处经由输入部141接受设定基准位置的意思的操作。此时,初始设定部1461判定为终端装置140与图像A11所示的部位对应的位置对置。此时,初始设定部1461确定将图像A11内的规定位置作为基准位置。在图9(A)所示的例子中,初始设定部1461将图像A11的重心作为基准位置ST10。
并且,初始设定部1461对工作站130发送这样确定的基准位置ST10。例如,当作为二维图像的扫描图像A10以二维坐标系来进行表示时,初始设定部1461对工作站130发送扫描图像A10中的基准位置ST10的坐标。另外,假设表示扫描图像A10的二维坐标系在终端装置140以及工作站130中共有。
接收到基准值ST10的工作站130确定与该基准值ST10对应的体数据VD10的位置。针对该点使用图10进行说明。图10所示的体数据VD10是通过由医用图像诊断装置110对被检体P进行拍摄而生成的体数据,是配置于以横方向(x方向)、纵方向(y方向)以及深度方向(z方向)的三维坐标系表示的三维虚拟空间(以下,有时记作“体数据空间”)中的状态。另外,假设图10所示的扫描像A10是与从垂直于横方向(x方向)以及纵方向(y方向)的方向(垂直于xy平面垂直的方向)来观察体数据VD10的图像对应的图像。
在此,如上述那样,工作站130保持使扫描像A10与体数据VD10的位置关系对应的信息。例如,当扫描像A10的二维坐标系(xy坐标系)是(x1,y1),体数据空间(xyz坐标系)是(x2,y2,z2)时,工作站130保持通过“x2=F1(x1)”、“y2=F2(x2)”来表示的函数“F1”或“F2”。另外,函数“F1”或“F2”通过扫描图像A10或体数据VD10的尺寸、扫描图像A10的拍摄方向等来确定。从而,函数“F1”或“F2”可以由系统预先设定,但也可以通过控制部135动态地计算。
当从终端装置140接收到基准位置ST10时,工作站130的控制部135使用这样的函数“F1”或“F2”,来确定与基准位置ST10对应的体数据VD10的基准位置ST11。
接着,终端装置140的初始设定部1461从工作站130来取得与图像A11所示的部位对应的视差图像组。具体而言,初始设定部1461通过对工作站130发送包含扫描图像A10中图像A11的位置信息的取得要求,来从工作站130取得与图像A11对应的视差图像组。例如,初始设定部1461对工作站130发送扫描图像A10中的图像A11的四个角的坐标作为图像A11的位置信息。
从终端装置140接收到取得要求的工作站130的控制部135控制绘制处理部136,提取与图像A11的位置信息对应的体数据。另外,控制部135控制绘制处理部136,对提取出的体数据进行绘制处理。由此,绘制处理部136提取体数据,并根据提取出的体数据来生成视差图像组。
使用图10所示的例子进行说明,控制部135控制绘制处理部136,对体数据VD10中与图像A11的位置信息对应的体数据VD11进行绘制处理。例如,控制部135使用上述的函数“F1”或“F2”,根据扫描图像A10中图像A11的xy坐标来计算体数据空间中的xy坐标,并将包含计算出的xy坐标的体数据空间中的区域(z是任意的)确定为体数据VD11的位置。并且,控制部135控制绘制处理部136,对体数据VD11进行绘制处理。
由此,第1实施方式中的绘制处理部136(例如,分割处理部1361g或三维几何转换处理部1362b)以绘制对象是体数据VD11的方式来确定视点位置以及视线方向。并且,绘制处理部136通过对体数据VD11进行体绘制处理来生成视差图像组。工作站130将这样通过绘制处理部136生成的视差图像组发送至终端装置140。
终端装置140的显示控制部1463通过将从工作站130接收到的视差图像组显示于立体显示显示器142,从而如图9(B)所示例的那样,对利用者提供与图像A11所示的部位对应的立体图像。这样,在第1实施方式中,在显示出图像A11的状态下由被检体P遮住终端装置140之后,当进行了设定基准位置的意思的操作时,利用者也能够将与遮住的位置对应的被检体P的脏器等作为立体图像来观察。在此,成为基于初始设定部1461的初始设定处理。
之后,如图9(C)所示的例子那样,当从图9(B)所示状态开始移动,在被检体P的不同的位置被遮住时,终端装置140显示与移动后的位置对应的被检体P的部位(脏器等)的视差图像组。
具体而言,当终端装置140从图9(B)所示的状态移动至图9(C)所示的状态时,由终端装置140的位置传感器145检测出的、终端装置140相对于被检体P的位置信息也发生变动。因此,终端装置140的取得部1462根据这样的由位置传感器145检测出的位置信息,来取得终端装置140相对于被检体P的相对位置变动。具体而言,取得部1462通过计算终端装置140相对于基准位置中被检体P的位置、和终端装置140相对于移动后被检体P的位置的差异,来取得终端装置140的移动向量(vector)。
例如,如图9(A)所示的例子那样,当进行了设定基准位置的意思的操作时,取得部1462将此时的终端装置140相对于被检体P的位置信息存储于存储部144等。并且,如图9(C)所示的例子那样,当由位置传感器145检测出的位置信息发生变动后,取得部1462根据变动后的位置信息和存储于存储部144等的位置信息,取得表示终端装置140的移动量以及移动方向的移动向量M10,作为终端装置140相对于被检体P的相对位置变动。并且,取得部1462通过对工作站130发送终端装置140的移动向量M10,来从工作站130取得与移动后的位置对应的视差图像组。另外,在图9(C)所示的例子中,假设终端装置140的移动向量M10的方向是与y方向平行的方向。即,在图9(C)所示的例子中,假设终端装置140被利用者移动到正下方。
接收了终端装置140的移动向量M10的工作站130的控制部135将终端装置140实际存在的实际空间中的移动向量M10转换成体数据空间中的移动向量(作为“移动向量M11”)。另外,由于仅实际空间与体数据空间的比例尺不同,因此控制部135通过将规定值乘以从终端装置140接收到的移动向量M10的大小,就能够将实际空间中的移动向量M10转换成与体数据空间对应的移动向量M11。
并且,控制部135根据移动向量M11,来确定与移动后的终端装置140所对置的被检体P的部位对应的体数据。具体而言,如图10所示,控制部135将以从前述中确定的基准位置ST11移动了移动向量M11的位置为中心的规定的区域,确定为与遮住了移动后的终端装置140的被检体P的位置对应的体数据VD12。另外,体数据VD12的横方向(x方向)以及纵方向(y方向)的大小根据图像A11的大小来确定,与前述的体数据VD11的大小相同。并且,控制部135控制绘制处理部136,对该体数据VD12进行绘制处理。工作站130对终端装置140发送由绘制处理部136生成的视差图像组。
终端装置140的显示控制部1463通过将从工作站130接收到的视差图像组显示于立体显示显示器142,从而如图9(C)所示例的那样,对利用者提供与移动后的终端装置140所遮住的被检体P的位置对应的立体图像。这样,在第1实施方式中,当移动终端装置140被被检体P遮住的位置时,利用者能够将被检体P与移动后的位置对应的脏器等作为立体图像来观察。
另外,在图9(B)以及(C)中,为了使说明简单,列举终端装置140只在垂直方向(y方向)移动时为例进行了说明。但是,即使在被检体P的侧面或背面移动的情况下,第1实施方式中的终端装置140也能够显示与被遮住的位置对应的立体图像。
针对该点,使用图11以及图12具体地进行说明。图11以及图12是用于说明第1实施方式中的终端装置140进行的处理的一个例子的图。图11是从上方(y方向)来观察被检体P的图,图12是从体数据空间上(y方向)来观察体数据VD10的图。另外,图11(A)表示设定了基准位置时的终端装置140的位置。另外,图12(A)表示当终端装置140处于图11(A)所示的状态时,由绘制处理部136进行的绘制处理时的视线方向L1等,图12(B)表示当终端装置140处于图11(B)所示的状态时,由绘制处理部136进行的绘制处理时的视线方向L1等。另外,在此,假设通过透视投影法来进行绘制处理。
如图11所示,假设终端装置140以被检体P为中心的圆弧状地旋转移动。具体而言,假设终端装置140从图11(A)所示的状态,移动至图11(B)所示的状态。此时,终端装置140的取得部1462根据将基准位置中的位置传感器145a的位置作为起点的位置传感器145a的移动向量、和将基准位置中的位置传感器145b的位置作为起点的位置传感器145b的移动向量,来取得终端装置140的移动向量、和移动后的终端装置140相对于基准位置中的终端装置140的斜率θ11。
具体而言,取得部1462根据位置传感器145a以及位置传感器145b的配置位置,来取得终端装置140的移动向量。例如,如图11所示的例子那样,当将位置传感器145a以及位置传感器145b相对于终端装置140的重心左右对称地配置时,取得部1462能够根据双方的移动向量,来取得终端装置140的移动向量。另外,取得部1462能够通过计算连结基准位置中的位置传感器145a以及位置传感器145b的双方的位置直线、与连结移动后的双方的位置的直线所成的角度,来取得上述的斜率θ11。
取得部1462对工作站130发送这样取得的移动向量以及终端装置140的斜率θ11。这样,终端装置140通过在横方向不同的位置上具有2个位置传感器,从而能够取得相对于终端装置140的横方向(x方向)的斜率θ11。
接收了终端装置140的移动向量等的工作站130的控制部135与图10所示的例子相同,根据移动向量,取得与移动后的终端装置140所遮住的被检体P的位置对应的体数据。另外,如图12所示,控制部135根据终端装置140的斜率θ11,来变更绘制处理时相对于体数据VD10的视线方向。具体而言,如图12(B)所示,控制部135将绘制处理时的视点位置作为移动后的终端装置140的位置,并将来自该视点位置的视线方向L1等倾斜与斜率θ11对应的量。控制部135控制绘制处理部136,根据这样的绘制条件进行绘制处理。并且,工作站130对终端装置140发送绘制处理部136所生成的视差图像组。由此,终端装置140通过将从工作站130接收到的视差图像组显示于立体显示显示器142,从而即使在被检体P的侧面或背面移动的情况下,也能够显示与被遮住的位置对应的立体图像。
接着,使用图13以及图14,表示第1实施方式中的工作站130以及终端装置140进行的处理的流程的一个例子。图13以及图14是表示第1实施方式中的图像处理系统进行的处理的流程的一个例子的序列图。另外,在图13中,针对初始设定处理的流程进行说明,在图14中,针对终端装置140移动时的显示处理的流程进行说明。
如图13所示,终端装置140的初始设定部1461判定是否接受了显示扫描像A10的一部分的操作(步骤(step)S101)。在此,当没有接受到该操作时(步骤S101为否定),终端装置140待机。另一方面,当通过初始设定部1461接受到了该操作时(步骤S101为肯定),显示控制部1463将扫描图像A10内的一部分的图像显示在立体显示显示器142上(步骤S102)。
接着,初始设定部1461判定是否接受到了设定基准位置的意思的操作(步骤S103)。在此,当没有接受到设定基准位置的操作时(步骤S103为否定),终端装置140待机。另一方面,当接受到了设定基准位置的操作时(步骤S103为肯定),初始设定部1461确定将显示图像内的规定的位置作为基准位置,并将所确定的基准位置发送至工作站130(步骤S104)。工作站130的控制部135根据从终端装置140接收到的基准位置,来确定体数据的基准位置(步骤S105)。
接着,终端装置140的初始设定部1461对工作站130发送扫描图像A10中显示图像的位置信息(步骤S106)。工作站130的控制部135控制绘制处理部136,确定与显示图像的位置信息对应的体数据,并对所确定的体数据进行绘制处理。由此,绘制处理部136根据由控制部135确定的体数据来生成视差图像组(步骤S107)。工作站130对终端装置140发送所生成的视差图像组(步骤S108)。
并且,终端装置140的显示控制部1463将从工作站130接收到的视差图像组显示在立体显示显示器142上(步骤S109)。由此,终端装置140能够对利用者提供与显示图像(扫描图像A10的一部分的图像)对应的立体图像。
接着,使用图14,针对移动了终端装置140的情况进行说明。如图14所示,终端装置14的取得部1462根据由位置传感器145检测出的位置信息,来判定是否移动了终端装置140(步骤S201)。在此,当没有移动终端装置140时(步骤S201为否定),终端装置140待机。
另一方面,当移动了终端装置140时(步骤S201为肯定),取得部1462根据由位置传感器145检测出的位置信息,来取得终端装置140的移动向量以及斜率(步骤S202)。并且,取得部1462对工作站130发送所取得的移动向量以及斜率(步骤S203)。
工作站130的控制部135将从终端装置140取得的实际空间中的移动向量转换成体数据空间中的移动向量,并根据转换后的移动向量,来确定与移动后的终端装置140所对置的被检体P的部位对应的体数据(步骤S204)。另外,控制部135根据终端装置140的斜率,来确定绘制处理时的视线方向(步骤S205)。
并且,控制部135控制绘制处理部136,对在步骤S204中确定的体数据根据在步骤S205中确定的视线方向来进行绘制处理。由此,绘制处理部136生成视差图像组(步骤S206)。工作站130对终端装置140发送所生成的视差图像组(步骤S207)。
并且,终端装置140的显示控制部1463将从工作站130接收到的视差图像组显示在立体显示显示器142上(步骤S208)。由此,终端装置140能够对利用者提供与终端装置140所对置的被检体P的位置对应的部位(脏器等)的立体图像。
如上述那样,根据第1实施方式,由于能够显示表示终端装置140所对置的被检体的部位的立体图像,因此能够显示利用者所希望的立体图像。
另外,第1实施方式并不限定于上述的实施方式,也可以是包含以下所示的若干变形例的方式的实施方式。以下,使用图15~图18,针对第1实施方式的变形例进行说明。
[终端装置的斜率检测]
首先,在上述第1实施方式中,示出了通过终端装置140具有2个位置传感器145,来检测终端装置140的斜率的例子。具体而言,如图11以及图12所示例的那样,在上述例子中,检测了终端装置140相对于横方向(x方向)的斜率。但是,第1实施方式中的终端装置140并不限定于保持与纵方向(y方向)水平的状态被被检体P遮住,即,也存在以相对于纵方向(y方向)倾斜的状态被被检体P遮住的情况。第1实施方式中的终端装置140即使在以相对于纵方向(y方向)倾斜的状态被被检体P遮住的情况下,也能够显示与被遮住的位置对应的被检体P的立体图像。
针对该点,使用图15具体地进行说明。在图15所示的例子中,终端装置140与图9等所示的例子相同,在上侧面具有位置传感器145a以及145b。另外,本变形例所涉及的终端装置140在下侧面具有位置传感器145c。在图15所示的例子中,终端装置140的取得部1462根据由位置传感器145a、145b以及145c检测出的位置信息,取得终端装置140相对于被检体P的相对位置变动,同时取得终端装置140相对于横方向(x方向)的斜率θ11(参照图11以及图12)、和终端装置140相对于纵方向(y方向)的斜率θ12(参照图15)。并且,取得部1462对工作站130发送所取得的移动向量以及终端装置140的斜率θ11以及θ12。另外,在图15所示的例子中,假设斜率θ11是“0”。
如图15所示,接收到这些各种信息的工作站130的控制部135根据体数据VD10来确定作为绘制对象的体数据VD13。具体而言,控制部135确定相对于体数据空间中的xz平面倾斜与角度θ12对应的量之后的体数据VD13。并且,控制部135控制绘制处理部136,对所确定的体数据VD13进行绘制处理。由此,绘制处理部136(例如,分割处理部1361g或三维几何转换处理部1362b)以绘制对象变为体数据VD13的方式来确定视点位置以及视线方向。并且,绘制处理部136通过对体数据VD13进行体绘制处理来生成视差图像组。终端装置140通过将由绘制处理部136生成的视差图像组显示在立体显示显示器142上,即使在相对于纵方向(y方向)倾斜的情况下,也能够显示与被遮住的位置对应的被检体P的立体图像。
另外,设置于终端装置140的位置传感器145的数量也可以是多个。例如,当预先决定以终端装置140相对于纵方向(y方向)水平、且将被检体P作为中心的圆弧状来移动时,终端装置140也可以只具有1个位置传感器145。这是由于当预先决定了终端装置140的移动方式时,工作站130能够根据该移动方式,通过由1个位置传感器145检测出的终端装置140的位置,来取得终端装置140的朝向。
另外,例如终端装置140也可以具有4个以上的位置传感器145。设置于终端装置140的位置传感器145的数量越多,工作站130越能根据由该多个位置传感器145检测出的位置信息,详细地取得终端装置140的位置或朝向。
[立体图像的缩小/放大]
另外,上述第1实施方式中的终端装置140也可以根据与被检体P的距离,来变更立体显示显示器142所显示的立体图像的显示形式。例如,终端装置140也可以根据与被检体P的距离,来改变立体图像的比例尺。
针对该点,使用图16具体地进行说明。假设图16(A1)是设定了终端装置140的基准位置的状态。另外,图16(A2)表示位于基准位置的终端装置140的立体显示显示器142所显示的立体图像。在这样的情况下,如图16(B1)所示,假设终端装置140向远离被检体P的方向移动。此时,如图16(B2)所示,终端装置140显示比在基准位置上显示的立体图像(参照图16(A2))缩小了的立体图像。另外,在此,省略图示的情况,但当向靠近被检体P的方向移动时,终端装置140显示比在基准位置上显示的立体图像(参照图16(A2))放大的立体图像。
为了实现这样的缩小/放大显示,工作站130的控制部135根据终端装置140与被检体P的距离,来生成缩小或者放大后的视差图像组。例如,控制部135控制绘制处理部136,使得终端装置140与被检体P的距离越远就越是缩小绘制对象的体数据,并对于缩小后的体数据进行绘制处理。另外,例如控制部135控制绘制处理部136,使得终端装置140与被检体P的距离越近就越是放大绘制对象的体数据,并对于放大后的体数据进行绘制处理。
另外,上述第1实施方式中的终端装置140也可以通过根据与被检体P的距离改变视差图像组的视差角,来改变立体图像的立体感。具体而言,构成视差图像组的视差图像间的视差角越大,通过立体显示显示器142显示的立体图像的深度方向(z方向)分量变得越大,立体感越大。另一方面,视差图像间的视差角越小,立体图像的深度方向(z方向)分量变得越小,立体感越小。
在此,工作站130的控制部135根据终端装置140与被检体P的距离,来改变视差图像组的视差角。例如,控制部135控制绘制处理部136,使得终端装置140与被检体P的距离越远,以越小的视差角来进行绘制处理。另一方面,控制部135控制绘制处理部136,使得终端装置140与被检体P的距离越近,以越大的视差角来进行绘制处理。在该例子的情况下,终端装置140能够显示越是向距离被检体P远的方向移动立体感越小的立体图像,也能够显示越是向距离被检体P近的方向进行移动立体感越大的立体图像。
另外,上述第1实施方式中的终端装置140也可以根据与被检体P的距离,来改变立体图像的焦点(focus)位置。具体而言,工作站130的绘制处理部136如使用图6说明的那样,从多个视点位置进行绘制处理,但来自该多个视点位置的视线方向在体数据的规定的位置相交。这样的各视线方向的交点是通过从该各视线方向进行体绘制而生成的视差图像组的焦点。换而言之,通过变更视线方向,能够改变视差图像组的焦点位置。
因此,工作站130的控制部135根据终端装置140与被检体P的距离,来改变焦点(各视线方向的交点)。例如,控制部135控制绘制处理部136,使得终端装置140与被检体P的距离越远,越向远离利用者(观察者)的方向移动焦点并进行绘制处理。另一方面,控制部135控制绘制处理部136,使得终端装置140与被检体P的距离越近,越向距离利用者(观察者)近的方向移动焦点并进行绘制处理。在该例子的情况下,终端装置140能够显示越是向远离被检体P的方向移动,焦点越是位于远离利用者(观察者)的方向的立体图像,并能够显示越是向距离被检体P近的方向移动,焦点越是位于距离利用者(观察者)近的方向的立体图像。
[立体图像的旋转]
另外,在立体显示显示器142上显示出立体图像的状态下,当终端装置140本身摇动时,上述第1实施方式中的终端装置140也可以将立体图像旋转显示。针对该点,使用图17具体地进行说明。当如图17的上图所示的那样摇动时,终端装置140也可以如图17的下图所示的那样使在立体显示显示器142上显示出的立体图像旋转。
为了实现这样的旋转显示,图像保管装置120具有整个周围的视差图像组,该视差图像组根据将体数据VD10作为中心的圆弧状地、按逐个固定角度(例如,1度)地配置的多个视点位置来进行绘制。并且,终端装置140根据摇动操作,从图像保管装置120取得显示对象的视差图像组,并显示于立体显示显示器142。或者,终端装置140具有整个周围的视差图像组,根据摇动操作来从整个周围的视差图像组选择显示对象的视差图像,并将所选择出视差图像组显示于立体显示显示器142。
另外,在上述例子中,终端装置140也可以具有加速度传感器。并且,终端装置140也可以通过该加速度传感器来检测摇动方向以及摇动速度,并根据检测到的摇动方向来确定立体图像的旋转方向,根据摇动速度来确定立体图像的旋转量。
[显示变动的抑止]
另外,当没有移动而只旋转时,上述第1实施方式中的终端装置140也可以不改变立体显示显示器142所显示的立体图像。针对该点,使用图18具体地进行说明。假设图18(A1)是设定了终端装置140的基准位置的状态。另外,图18(A2)表示位于基准位置的终端装置140的立体显示显示器142所显示的立体图像。
在这样的情况下,当如图18(B1)所示的那样移动时,如使用图11以及图12所说明的那样,终端装置140显示被检体P与遮住位置对应的立体图像(参照图18(B2))。在此,如图18(C1)所示,当终端装置140的重心位置没有发生变动而只以该重心为中心进行了旋转动作时,如图18(C2)所示,终端装置140也可以不使立体显示显示器142所显示的立体图像发生变化,而原样地显示图18(B2)所示的立体图像。由此,利用者本身没有移动,利用者也能够观察被检体P的侧面的立体图像。
[模式匹配(pattern matching)]
另外,在上述第1实施方式中,终端装置140接受设定基准位置的意思的操作,并根据由位置传感器145检测到的位置信息取得终端装置140的移动向量。并且,工作站130在体数据VD10中设定基准位置,并根据终端装置140的移动向量,生成被检体P与遮住了终端装置140的位置对应的视差图像组。但是,取得终端装置140与被检体P的位置关系的处理并不限定于该例子。例如,第1实施方式中的终端装置140也可以不接受设定基准位置的意思的操作,另外没有位置传感器145。
具体而言,终端装置140具有能够对被检体P进行拍摄的拍摄装置,当在被被检体P遮住的状态下进行了规定操作时,使拍摄装置对被检体P进行拍摄。并且,终端装置140的取得部1462使用利用了区域扩张(region growing)法或形状模板(template)的模式匹配(matching)法等,来确定扫描图像A10中由拍摄装置拍摄到的图像所示的位置。即,终端装置140通过使用模式匹配法等,匹配扫描图像A10与拍摄图像的轮廓,来确定终端装置140所遮住的被检体P的位置。并且,终端装置140通过将所确定的被检体P的位置发送至工作站130,来从工作站130取得与该位置对应的被检体P的视差图像组。由此,终端装置140能够将与被遮住的位置对应的被检体P的立体图像显示于立体显示显示器142。另外,当使用模式匹配法来确定遮住了终端装置140的被检体P的位置时,终端装置140也可以没有上述的初始设定部1461。
[二维图像]
另外,当被被检体P遮住时,上述第1实施方式中的终端装置140通过显示与被遮住的位置对应的部位(脏器等)的视差图像组,来对利用者提供该脏器等的立体图像。但是,终端装置140也可以不显示视差图像组,而显示二维图像(例如,CT图像或MPR图像等)。即,上述第1实施方式中的终端装置140显示出由工作站130根据体数据生成的视差图像组,但也可以显示由工作站130根据体数据生成的二维图像。此时,当接收了终端装置140的移动向量时,工作站130生成根据体数据生成的二维图像,并将所生成的二维图像发生至终端装置140。
这样,即使在显示与被遮住的位置对应的被检体P的二维图像的情况下,终端装置140也可以根据与被检体P的距离来变更立体显示显示器142所显示的立体图像的显示形式。例如,终端装置140也可以与图16所示的例子相同,根据与被检体P的距离来变更二维图像的比例尺。
另外,例如,当显示二维图像时,终端装置140也可以根据与被检体P的距离来变更显示对象的二维剖面图像。具体而言,终端装置140将终端装置140的移动向量发送至工作站130。工作站130的控制部135根据终端装置140的移动向量,生成终端装置140与被检体P的距离越远在被检体P内部中距离终端装置140越近的部位的剖面图像,并生成终端装置140与被检体P的距离越近被检体P内部中距离终端装置140越远的部位的剖面图像。并且,工作站130将所生成的剖面图像发送至终端装置140。
由此,终端装置140能够显示基于与被检体P之间的距离的二维剖面图像。具体而言,当终端装置140在远离被检体P的方向移动时,显示被检体P内部中距离终端装置140近的部位的剖面图像,当向距离被检体P近的方向移动时,生成被检体P内部中距离终端装置140远的部位的剖面图像。针对该点,使用图16所示的例子进行说明。例如,当是图16(A1)所示的状态时,假设终端装置140显示被检体P的心脏剖面图像。此时,当如图16(B1)所示的那样向远离被检体P的方向移动时,终端装置140显示被检体P内部中与距离在图16(A1)所示的状态下显示出的心脏相比距离终端装置140近的方向的部位(例如,胸骨等)的剖面图像。另外,当在距离被检体P近的方向移动时,终端装置140显示被检体P内部中与在图16(A1)所示的状态下显示出的心脏相比远离终端装置140的方向的部位(例如,背骨等)的剖面图像。
另外,在上述第1实施方式中,说明了终端装置140是平板式PC等可携带终端的情况。但是,终端装置140的实施方式并不限定于此。例如,第1实施方式中的终端装置140也可以通过能够使终端装置140上下左右移动的可动式臂(arm)等来固定。
(第2实施方式)
在上述第1实施方式中,示出了根据终端装置140与被检体P的位置关系,来改变终端装置140的立体显示显示器142所显示的立体图像的显示形式的例子。在第2实施方式中,针对根据终端装置与利用者(观察者)的位置关系,来改变立体显示显示器142所显示的立体图像的显示形式的例子进行说明。
首先,在说明第2实施方式中的图像处理系统之前,使用图19,针对由立体显示显示器显示的立体图像进行说明。图19是用于说明立体图像与观察位置的关系的图。在图19所示的例子中,立体显示显示器显示观察者能够立体观测的立体图像。在此,对于观察者而言易于立体地识别立体图像的观察位置在规定的区域中确定。一般而言,当观察位置是立体显示显示器的正面或倾斜45°时,大多数情况下观察者易于立体地识别立体图像。例如,在图19所示的例子中,当从区域R11、R12以及R13来观察立体显示显示器时,观察者易于立体地识别立体图像,但当从区域R21以及R22来观察时,难以立体地识别立体图像。在该例子的情况下,观察者将难以从区域R21来立体地识别立体图像的右侧面。
因此,在第2实施方式中的终端装置中,根据观察者的观察位置,改变立体显示显示器的朝向,同时旋转显示立体图像。以下,针对这样的第2实施方式中的终端装置240详细地进行说明。
首先,使用图20,针对第2实施方式中的终端装置240的外观进行说明。图20是表示第2实施方式中的终端装置240的外观的图。如图20所示例的那样,终端装置240具有能够与立体显示显示器142一起旋转的旋转部22、和能够取得利用者(观察者)位置的位置传感器245。
接着,针对图20所示的第2实施方式中的终端装置240的构成例进行说明。图21是用于说明第2实施方式中的终端装置240的构成例的图。图21所示的终端装置240与图1所示的终端装置140对应。另外,以下,假设对与已经示出的构成部位具有相同的功能的部位添加同一附图标记,省略其详细的说明。如图20所示例的那样,第2实施方式中的终端装置240具有位置传感器245和控制部246。
如图20所示例的那样,位置传感器245被设置于立体显示显示器142。该位置传感器245取得作为正在观察立体显示显示器142的观察者相对于终端装置240的相对位置的观察位置。
控制部246是CPU、MPU或GPU等电子电路,ASIC或FPGA等集成电路,进行终端装置240的整体控制。该控制部246具有取得部2461、旋转控制部2462、以及显示控制部2463。
取得部2461根据由位置传感器245取得的观察位置,取得规定的基准方向和向观察者的立体显示显示器142的视线方向(连结终端装置240与观察位置的直线)所形成的角度。另外,在第2实施方式中,假设规定基准方向是与立体显示显示器142的显示面垂直的方向(深度方向、z方向)。另外,以下,有时将基准方向与视线方向所成的角度记作“观察角度”。
另外,取得部2461根据由位置传感器245取得的观察位置来从工作站130取得与向立体显示显示器142的视线方向对应的视差图像组。具体而言,取得部2461通过将观察角度发送至工作站130,来取得与视线方向对应的视差图像组。针对该点之后进行叙述。
旋转控制部2462根据通过取得部2461取得的观察角度,以立体显示显示器142的显示面朝向观察位置的方式,使旋转部22旋转。具体而言,旋转控制部2462以从观察位置向立体显示显示器142的视线方向与立体显示显示器142的显示面成垂直关系(对置关系)的方式,来使旋转部22旋转。
显示控制部2463将从工作站130接收到的视差图像组显示在立体显示显示器142上。另外,当由取得部2461从工作站130取得视差图像组时,第2实施方式中的显示控制部2463将该视差图像组显示在立体显示显示器142上。
在此,使用图22,针对第2实施方式中的取得部2461、旋转控制部2462以及显示控制部2463进行的处理的一个例子进行说明。图22是用于说明第2实施方式中终端装置240进行的处理的一个例子的图。
在图22所示的例子中,观察者U观察通过立体显示显示器142显示出的立体图像I11。此时,终端装置240的位置传感器245将观察者U相对于终端装置240的位置作为观察位置来取得。在图22(A1)所示的例子中,由于观察者U位于立体显示显示器142的正面,因此,在这样的情况下,终端装置240的旋转控制部2462不进行处理。另外,在此,假设立体显示显示器142显示通过由图22(A2)所示例出的视线方向L1、…、L5、…、L9进行绘制处理而生成的视差图像组。
接着,如图22(B1)所示的例子那样,假设观察者U移动到立体显示显示器142的左前方。即,被认为观察者U希望立体地识别立体图像I11的左侧面。
此时,取得部2461根据由位置传感器245取得的观察者U的观察位置,来取得基准方向与视线方向所成的观察角度θ21。并且,取得部2461将观察位置以及观察角度θ21发送至工作站130。如图22(B2)所示,接受到观察位置以及观察角度θ21的工作站130的控制部135将绘制处理时的视点位置作为从终端装置240接收到的观察位置,将来自该视点位置的视线方向L1等倾斜与观察角度θ21对应的量。控制部135控制绘制处理部136根据这样的绘制条件进行绘制处理。并且,工作站130将绘制处理部136所生成的视差图像组发送至终端装置240。
并且,如图22(B1)所示,终端装置240的旋转控制部2462根据由取得部2461取得的观察角度θ21,以立体显示显示器142的显示面与观察者U正对的方式,将旋转部22旋转与观察角度θ21对应的量。
另外,如图22(B1)所示,终端装置240的显示控制部2463通过将从工作站130接收到的视差图像组显示在立体显示显示器142上,来对观察者U提供立体图像I12。即,当从正面进行观察时,立体显示显示器142显示与立体图像I11的左侧面对应的立体图像I12。如图22(B1)所示,由于观察者U正在从正面来观察立体显示显示器142,因此,感觉能够立体地识别立体图像I12,并且能够从自身移动的方向来识别立体图像I11。
另外,在上述图22中,示出了通过旋转控制部2462使旋转部22旋转与观察角度θ21对应的量,从而使立体显示显示器142与观察者对置的例子。但是,旋转控制部2462也可以不将旋转部22旋转与观察角度θ21对应的量。具体而言,如使用图19所说明的那样,即使在没有将立体显示显示器142与观察者对置的情况下,也存在对于观察者而言易于立体地识别立体图像的区域。因此,旋转控制部2462旋转旋转部22,使观察者位于该区域(例如,图19所示例出的区域R11)即可。
接着,使用图23,表示第2实施方式中的工作站130以及终端装置240进行的处理的流程的一个例子。图23是表示第2实施方式中的图像处理系统进行的处理的流程的一个例子的序列图。
如图23所示,终端装置240的取得部2461根据由位置传感器245检测出的位置信息,来判定观察者是否移动(步骤S301)。在此,当没有检测到观察者的移动时(步骤S301为否定),终端装置240待机。
另一方面,当检测到观察者移动时(步骤S201为肯定),取得部2461根据由位置传感器245取得的观察者的观察位置,来取得观察角度(步骤S302)。接着,终端装置240的旋转控制部2462将旋转部22旋转与观察角度θ21对应的量,使立体显示显示器142的显示面与观察者正对(步骤S303)。并且,取得部2461对工作站130发送观察位置以及观察角度(步骤S304)。
工作站130的控制部135根据从终端装置240接收到的观察位置以及观察角度,来确定绘制处理时的视线方向(步骤S305)。并且,控制部135控制绘制处理部136,以便根据在步骤S304中确定的视线方向来进行绘制处理。由此,绘制处理部136生成视差图像组(步骤S306)。工作站130对终端装置240发送所生成的视差图像组(步骤S307)。
并且,终端装置240的显示控制部2463将从工作站130接收到的视差图像组显示在立体显示显示器142上(步骤S308)。
如上述那样,根据第2实施方式,由于能够显示基于观察者的观察位置的立体图像,因此能够显示利用者所希望的立体图像。
另外,第2实施方式并不限定于上述的实施方式,也可以是包含以下所示的若干变形例的方式的实施方式。以下,针对第2实施方式的变形例进行说明。
[手动旋转]
另外,在上述第2实施方式中,终端装置240也可以通过观察者等手动地旋转移动。此时,终端装置240根据自装置的旋转量,来变更显示对象的视差图像组。针对该点,使用图24A以及图24B具体地进行说明。图24A以及图24B是用于说明第2实施方式的变形例的图。
在图24A以及图24B所示的例子中,假设终端装置240是通过立体显示显示器142与主体部通过可旋转的旋转部22连结的手机等。当是这样的手机时,虽然有时观察者根据利用方式来旋转立体显示显示器142,但大多数情况下都从正面来观察旋转后的立体显示显示器142。
在此,如图24A以及图24B所示,假设显示有立体图像I11的终端装置240的立体显示显示器142旋转了90度。此时,终端装置240对工作站130发送立体显示显示器142的旋转量“90度”。此时,工作站130的控制部135控制绘制处理部136,使生成在图24A中显示出的视差图像组时的视点位置旋转移动90度,并从该视点位置进行绘制处理。
如图24B所示,终端装置240将这样由绘制处理部136生成的视差图像组显示在立体显示显示器142上。由此,终端装置240能够对观察者U提供与立体图像I 11的左侧面对应的立体图像I13。其结果,由于观察者U正在从正面来观察立体显示显示器142,因此,感觉能够立体地识别立体图像I13,另外,感觉根据立体显示显示器142的旋转量识别旋转的立体图像I11。
[头部追踪(head tracking)]
另外,在上述第2实施方式中,示出了终端装置240具有取得观察者的观察位置的位置传感器245的例子。但是,终端装置240也可以具有对观察者进行拍摄的拍摄装置,通过根据头部追踪等技术来解析基于拍摄装置的拍摄图像,来取得观察者的观察位置。
(第3实施方式)
然后,上述的实施方式也能够变形为其他的实施方式。因此,在第3实施方式中,说明了上述的实施方式的变形例。
[处理主体]
在上述实施方式中,针对终端装置140或者240从工作站130来取得与自装置的移动或观察位置的移动对应的视差图像组的例子进行了说明。但是,终端装置140或者240也可以具有与工作站130的控制部135或绘制处理部136等相同的功能。此时,终端装置140或者240从图像保管装置120取得体数据,并进行与上述的控制部135相同的处理。
另外,在上述实施方式中,也可以是工作站130没有根据体数据生成视差图像组,医用图像诊断装置110具有与绘制处理部136相同的功能,根据体数据来生成视差图像组。此时,终端装置140或者240从医用图像诊断装置110取得视差图像组。
[视差图像数]
另外,在上述实施方式中,主要针对作为9个视差图像的视差图像组,重叠显示图形图像的例子进行了说明,但实施方式并不限定于此。例如,工作站130也可以生成作为2个视差图像的视差图像组。
[系统结构]
另外,在上述实施方式中所说明的各处理中,也可以手动地进行作为自动地进行的处理来说明的处理的全部或者一部分,或者,也可以以公知的方法来自动地进行作为手动地进行的处理来说明的处理的全部或者一部分。另外,针对包含上述说明书或附图中所示的处理步骤、控制步骤、具体的名称、各种数据或参数的信息,除了特别标记的情况能够任意地进行变更。
另外,图示出的各装置的各构成要素是功能概念性的,不必如图示的那样物理性地构成。即,各装置的分散、综合的具体方式并不限定于图示,也能够根据各自负荷或使用状况,以任意的单位功能性或者物理性地分散、综合其全部或者一部分来构成。例如,也可以将工作站130的控制部135作为工作站130的外部装置经由网络(network)来连接。
[程序(program)]
另外,也能够制成由计算机能够执行的语言来记述上述实施方式中的终端装置140或者240所执行的处理的程序。此时,通过计算机执行程序,从而能够得到与上述实施方式相同的效果。另外,也可以通过将该程序记录于计算机可读的记录介质,并使记录于该记录介质的程序读入计算机并执行来实现与上述实施方式相同的处理。例如,该程序记录于硬盘、软盘(flexible)(FD)、CD-ROM、MO、DVD、蓝光(Blu-ray)等。另外,该程序也可以经由因特网(internet)等网络来分配。
虽然说明了本发明的几个实施方式,但这些实施方式是作为例子而提示的,并不意图限定本发明的范围。这些实施方式能够以其他各种形态进行实施,在不脱离发明要旨的范围内,能够进行各种省略、置换、变更。这些实施方式或其变形与包含于发明范围或要旨中一样,包含于权利要求书记载的发明及其均等的范围中。

Claims (13)

1.一种图像处理系统,具有包含显示医用图像的显示部的终端装置,其特征在于,具备:
取得部,其取得上述终端装置相对于规定的对象物的位置;和
显示控制部,其使与由上述取得部取得的、上述终端装置相对于上述对象物的相对位置对应的医用图像显示于上述显示部。
2.根据权利要求1所述的图像处理系统,其特征在于,
上述图像处理系统还具备绘制处理部,该绘制处理部通过对三维医用图像数据亦即体数据进行绘制处理来生成被检体的视差图像组,
上述显示部使用由上述绘制处理部生成的被检体的视差图像组来显示能够立体观测的立体图像,
上述显示控制部使由上述绘制处理部生成的视差图像组中与由上述取得部取得的、上述终端装置相对于上述对象物的相对位置对应的视差图像组显示于上述显示部。
3.根据权利要求2所述的图像处理系统,其特征在于,
上述取得部取得终端装置相对于上述规定的对象物亦即上述被检体的位置,
上述绘制处理部根据由上述取得部取得的、终端装置相对于上述被检体的位置来确定绘制处理时的视点位置以及视线方向,并根据所确定的视点位置以及视线方向来对上述体数据进行绘制处理,从而生成表示被检体与上述终端装置对置的部位的视差图像组,
上述显示控制部使表示被检体与上述终端装置对置的部位的视差图像组显示于上述显示部。
4.根据权利要求3所述的图像处理系统,其特征在于,
上述取得部取得表示上述终端装置自规定基准位置起的位置变动的移动向量,
上述绘制处理部根据由上述取得部取得的、上述终端装置的移动向量来确定上述视点位置以及上述视线方向,并根据所确定的视点位置以及视线方向来对上述体数据进行绘制处理,从而生成表示被检体与移动后的终端装置对置的部位的视差图像组,
上述显示控制部使表示被检体与移动后的终端装置对置的部位的视差图像组显示于上述显示部。
5.根据权利要求3所述的图像处理系统,其特征在于,
上述图像处理系统还具备对上述被检体进行拍摄的拍摄部,
上述取得部通过将由上述拍摄部拍摄得到的拍摄图像、和在比该拍摄图像大范围拍摄得到的上述被检体的被检体图像进行比较,来取得由上述拍摄部拍摄得到的被检体的位置。
6.根据权利要求2所述的图像处理系统,其特征在于,
上述绘制处理部根据由上述取得部取得的、上述终端装置与上述被检体的距离,来生成缩小或者放大的视差图像组。
7.根据权利要求2所述的图像处理系统,其特征在于,
上述绘制处理部根据由上述取得部取得的上述终端装置与上述被检体的距离来确定构成视差图像组的视差图像间的视差角,并根据所确定的视差角对上述体数据进行绘制处理,从而生成被检体的视差图像组。
8.根据权利要求4所述的图像处理系统,其特征在于,
当由上述取得部取得表示使上述终端装置在同一位置旋转而得到的移动向量时,上述显示控制部使上述终端装置被旋转前的视差图像组显示于上述显示部。
9.根据权利要求1所述的图像处理系统,其特征在于,
上述图像处理系统还具备绘制处理部,该绘制处理部通过对三维医用图像数据亦即体数据进行绘制处理来生成被检体的剖面图像,
上述取得部取得终端装置相对于上述规定的对象物亦即上述被检体的位置,
上述绘制处理部根据由上述取得部取得的终端装置相对于上述被检体的位置,来生成上述终端装置与上述被检体的距离越远上述被检体内部中距离上述终端装置越近的部位的剖面图像,并生成上述终端装置与上述被检体的距离越近上述被检体内部中距离上述终端装置越远的部位的剖面图像,
上述显示控制部使由上述绘制处理部生成的剖面图像显示于上述显示部。
10.一种图像处理系统,具有包含显示医用图像的显示部的终端装置,其特征在于,具备:
旋转部,其能够与上述显示部一起旋转;
取得部,其取得观察上述终端装置的观察者相对于上述终端装置的位置;
旋转控制部,其根据由上述取得部取得的上述观察者的位置,使上述旋转部旋转以将上述显示部的显示面与上述观察者对置;
绘制处理部,其根据由上述取得部取得的上述观察者的位置来变更视点位置,并对三维医用图像数据亦即体数据进行绘制处理,从而生成视差图像组;以及
显示控制部,其使由上述绘制处理部生成的视差图像组显示于上述显示部。
11.一种图像处理系统,具有包含显示医用图像的显示部的终端装置,其特征在于,具备:
旋转部,其能够与上述显示部一起旋转;
取得部,其取得上述旋转部的旋转角度亦即旋转量;
绘制处理部,其基于根据由上述取得部取得的旋转量而确定的视点位置来对三维医用图像数据亦即体数据进行绘制处理,来生成视差图像组;以及
显示控制部,其使由上述绘制处理部生成的视差图像组显示于上述显示部。
12.一种终端装置,显示医用图像,该终端装置的特征在于,具备:
显示部,其显示上述医用图像;
取得部,其取得上述终端装置相对于规定的对象物的位置;
显示控制部,其使与由上述取得部取得的、上述终端装置相对于上述对象物的相对位置对应的医用图像显示于上述显示部。
13.一种图像处理方法,是具有包含显示医用图像的显示部的终端装置的图像处理系统所执行的图像处理方法,其特征在于,包括:
取得上述终端装置相对于规定的对象物的位置;并且
使与所取得的上述终端装置相对于上述对象物的相对位置对应的医用图像显示于上述显示部。
CN201210217105.3A 2011-06-27 2012-06-27 图像处理系统、终端装置以及方法 Expired - Fee Related CN102915557B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-142227 2011-06-27
JP2011142227A JP6147464B2 (ja) 2011-06-27 2011-06-27 画像処理システム、端末装置及び方法

Publications (2)

Publication Number Publication Date
CN102915557A true CN102915557A (zh) 2013-02-06
CN102915557B CN102915557B (zh) 2016-12-21

Family

ID=47361414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210217105.3A Expired - Fee Related CN102915557B (zh) 2011-06-27 2012-06-27 图像处理系统、终端装置以及方法

Country Status (3)

Country Link
US (1) US9426443B2 (zh)
JP (1) JP6147464B2 (zh)
CN (1) CN102915557B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104168469A (zh) * 2013-05-16 2014-11-26 联发科技股份有限公司 立体影像预览装置以及立体影像预览方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013111813A1 (ja) * 2012-01-27 2013-08-01 株式会社 東芝 医用画像処理装置
KR102001255B1 (ko) * 2013-02-28 2019-07-17 고려대학교 산학협력단 스테레오 영상 획득 및 시청 연동 시스템
CN104777700B (zh) * 2015-04-01 2016-08-24 北京理工大学 高沉浸投影多投影机优化部署方法
WO2018101093A1 (ja) * 2016-12-01 2018-06-07 シャープ株式会社 撮像装置、撮像方法、及び表示装置
US20230041782A1 (en) 2020-01-08 2023-02-09 Sony Group Corporation Information processing apparatus, information processing method, and information processing program
JP7404139B2 (ja) 2020-04-07 2023-12-25 シャープ株式会社 表示制御システム、表示制御方法、及び表示制御プログラム
IT202000009772A1 (it) * 2020-05-04 2021-11-04 Alberto VAZZOLA Apparato perfezionato per la navigazione di dati volumetrici
TW202225783A (zh) * 2020-12-18 2022-07-01 宏碁股份有限公司 裸視立體顯示器及其控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1881254A (zh) * 2005-06-15 2006-12-20 株式会社东芝 图像处理装置以及图像处理方法
CN101248460A (zh) * 2005-07-29 2008-08-20 株式会社竹中工务店 断面图像显示装置、断面图像显示方法以及断面图像显示程序
US20080204453A1 (en) * 2007-02-27 2008-08-28 Canon Kabushiki Kaisha Method and apparatus for generating three-dimensional model information
CN101351156A (zh) * 2005-10-07 2009-01-21 株式会社日立医药 图像显示方法和医用图像诊断系统
CN101529924A (zh) * 2006-10-02 2009-09-09 株式会社东芝 用于产生立体图像的方法、装置和计算机程序产品
US20100045783A1 (en) * 2001-10-19 2010-02-25 Andrei State Methods and systems for dynamic virtual convergence and head mountable display using same

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0984000A (ja) * 1995-09-07 1997-03-28 Toshiba Corp 画像表示システム
JPH09173352A (ja) * 1995-12-25 1997-07-08 Toshiba Medical Eng Co Ltd 医用ナビゲーションシステム
US6975755B1 (en) * 1999-11-25 2005-12-13 Canon Kabushiki Kaisha Image processing method and apparatus
JP2002101428A (ja) * 2000-09-22 2002-04-05 Toshiba Corp 画像立体視表示装置
US6931596B2 (en) * 2001-03-05 2005-08-16 Koninklijke Philips Electronics N.V. Automatic positioning of display depending upon the viewer's location
EP1443385A1 (en) * 2001-10-24 2004-08-04 Sony Corporation Image information displaying device
JP4015090B2 (ja) 2003-09-08 2007-11-28 株式会社東芝 立体表示装置および画像表示方法
US7338449B2 (en) * 2004-05-25 2008-03-04 Siemens Medical Solutions Usa, Inc. Three dimensional locator for diagnostic ultrasound or medical imaging
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
US10908421B2 (en) * 2006-11-02 2021-02-02 Razer (Asia-Pacific) Pte. Ltd. Systems and methods for personal viewing devices
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
EP2486503A2 (en) * 2009-10-07 2012-08-15 Hologic, Inc. Processing and displaying computer-aided detection information associated with breast x-ray images
JP5541974B2 (ja) * 2010-06-14 2014-07-09 任天堂株式会社 画像表示プログラム、装置、システムおよび方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100045783A1 (en) * 2001-10-19 2010-02-25 Andrei State Methods and systems for dynamic virtual convergence and head mountable display using same
CN1881254A (zh) * 2005-06-15 2006-12-20 株式会社东芝 图像处理装置以及图像处理方法
CN101248460A (zh) * 2005-07-29 2008-08-20 株式会社竹中工务店 断面图像显示装置、断面图像显示方法以及断面图像显示程序
CN101351156A (zh) * 2005-10-07 2009-01-21 株式会社日立医药 图像显示方法和医用图像诊断系统
CN101529924A (zh) * 2006-10-02 2009-09-09 株式会社东芝 用于产生立体图像的方法、装置和计算机程序产品
US20080204453A1 (en) * 2007-02-27 2008-08-28 Canon Kabushiki Kaisha Method and apparatus for generating three-dimensional model information

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104168469A (zh) * 2013-05-16 2014-11-26 联发科技股份有限公司 立体影像预览装置以及立体影像预览方法
CN104168469B (zh) * 2013-05-16 2017-01-04 联发科技股份有限公司 立体影像预览装置以及立体影像预览方法
US9838672B2 (en) 2013-05-16 2017-12-05 Mediatek Inc. Apparatus and method for referring to motion status of image capture device to generate stereo image pair to auto-stereoscopic display for stereo preview

Also Published As

Publication number Publication date
JP2013008324A (ja) 2013-01-10
CN102915557B (zh) 2016-12-21
US9426443B2 (en) 2016-08-23
JP6147464B2 (ja) 2017-06-14
US20120327080A1 (en) 2012-12-27

Similar Documents

Publication Publication Date Title
CN102892018B (zh) 图像处理系统、装置、方法以及医用图像诊断装置
CN102915557A (zh) 图像处理系统、终端装置以及方法
JP6211764B2 (ja) 画像処理システム及び方法
US9578303B2 (en) Image processing system, image processing apparatus, and image processing method for displaying a scale on a stereoscopic display device
CN103702612B (zh) 图像处理系统、装置、方法以及医用图像诊断装置
CN102892016B (zh) 图像显示系统、装置、方法以及医用图像诊断装置
CN103444194B (zh) 图像处理系统、图像处理装置以及图像处理方法
CN102843564B (zh) 图像处理系统、装置以及方法
CN102860837A (zh) 图像处理系统、装置、方法以及医用图像诊断装置
CN103561655B (zh) 医用图像诊断装置、医用图像处理装置以及方法
CN102893308A (zh) 图像处理系统、装置以及方法
CN102821695A (zh) 图像处理系统、装置、方法以及程序
CN102892017B (zh) 图像处理系统、装置、方法以及医用图像诊断装置
CN102892015A (zh) 图像处理装置、图像处理方法以及医用图像诊断装置
CN102892022A (zh) 图像处理系统、图像处理装置以及图像处理方法
CN102833570B (zh) 图像处理系统、装置以及方法
JP5974238B2 (ja) 画像処理システム、装置、方法及び医用画像診断装置
CN103403770A (zh) 图像处理系统以及方法
CN102860836B (zh) 图像处理装置、图像处理方法以及医用图像诊断装置
CN102890748A (zh) 图像处理系统、装置、 方法以及医用图像诊断装置
JP5813986B2 (ja) 画像処理システム、装置、方法及びプログラム
JP5868051B2 (ja) 画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160713

Address after: Japan Tochigi Tian Yuan City

Applicant after: Toshiba Medical System Co., Ltd.

Address before: Tokyo, Japan, Japan

Applicant before: Toshiba Corp

Applicant before: Toshiba Medical System Co., Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161221

Termination date: 20200627

CF01 Termination of patent right due to non-payment of annual fee