CN102984532A - 图像处理系统、图像处理装置以及图像处理方法 - Google Patents

图像处理系统、图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN102984532A
CN102984532A CN2012101918149A CN201210191814A CN102984532A CN 102984532 A CN102984532 A CN 102984532A CN 2012101918149 A CN2012101918149 A CN 2012101918149A CN 201210191814 A CN201210191814 A CN 201210191814A CN 102984532 A CN102984532 A CN 102984532A
Authority
CN
China
Prior art keywords
mentioned
display
stereo
space
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101918149A
Other languages
English (en)
Other versions
CN102984532B (zh
Inventor
塚越伸介
猪川弘康
中山道人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Publication of CN102984532A publication Critical patent/CN102984532A/zh
Application granted granted Critical
Publication of CN102984532B publication Critical patent/CN102984532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

实施方式涉及图像处理系统、图像处理装置以及图像处理方法。提供一种能够在能够立体观测的显示器上显示将被观察者立体观测的图像与实际空间建立对应的尺度的图像处理装置以及图像处理方法。实施方式的图像处理系统具备取得部、确定部、以及输出部。取得部取得为了根据作为三维医用图像数据的体数据来生成作为规定视差数的视差图像的视差图像组所使用的绘制条件。确定部根据上述绘制条件所包含的至少构成上述视差图像组的视差图像间的视差角与上述立体显示装置所显示的视差图像组的显示尺寸,来设定将通过参照显示上述视差图像组的立体显示装置而被立体观测的立体图像的空间坐标与上述体数据的摄影部位的空间坐标建立对应的对应信息。

Description

图像处理系统、图像处理装置以及图像处理方法
本申请主张2011年6月13日申请的日本专利申请号2011-131518的优先权,并在本申请中引用上述日本专利申请的全部内容。
技术领域
实施方式涉及图像处理系统、图像处理装置以及图像处理方法。
背景技术
目前,使用立体观测用眼镜(glasses)等专用机器,能够立体观测从2个视点进行摄影的2视差图像的显示器(monitor)正在实用化。另外,近年来,使用柱状透镜(lenticular lens)等光线控制元件,能够裸眼地立体观测从多个视点进行摄影的多视差图像(例如,9视差图像)的显示器正在实用化。另外,能够立体观测的显示器所显示的2视差图像或9视差图像有时通过推定从1视点进行摄影的图像的深度信息,并使用所推定出的信息的图像处理来生成。
另一方面,在X射线CT(Computed Tomography)装置或MRI(Magnetic Resonance Imaging)装置、以及超声波诊断装置等医用图像诊断装置中,能够生成三维的医用图像数据(以下,称为体数据(volume data))的装置正在实用化。目前,通过该医用图像诊断装置生成的体数据通过各种图像处理成为二维图像,并二维显示在通用显示器上。例如,通过医用图像诊断装置生成的体数据通过绘制(rendering)处理,作为被规定的剖面(轴向(axial)面等)切断的二维图像(轴向图像等)二维显示在通用显示器上。
另外,目前,存在与二维图像一起,显示使该二维图像与体数据的摄影部位的实际空间对应的XY方向的标度(scale)(尺度)的技术。
发明内容
本发明要解决的问题在于,提供一种能够在能够立体观测的显示器显示使观察者进行立体观测的图像与实际空间对应的尺度的图像处理装置以及图像处理方法。
实施方式的图像处理系统具备取得部、确定部、以及输出部。取得部取得为了根据作为三维医用图像数据(data)的体数据来生成作为规定视差数的视差图像的视差图像组所使用的绘制条件。确定部根据上述绘制条件所包含的至少构成上述视差图像组的视差图像间的视差角与上述立体显示装置所显示的视差图像组的显示尺寸(size),来设定将通过参照显示上述视差图像组的立体显示装置而被立体观测的立体图像的空间坐标与上述体数据的摄影部位的空间坐标建立对应的对应信息。并且,确定部根据上述对应信息,确定用于将上述立体图像的空间中的相对于上述立体显示装置的显示面垂直的方向的长度换算成上述摄影部位的空间上的长度的尺度。输出部进行输出控制,使得上述尺度在上述立体显示装置上相对于基于上述视差图像组的立体图像重叠显示。
根据实施方式的图像处理系统,能够在能够立体观测的显示器显示将被观察者立体观测的图像与实际空间建立对应的尺度。
附图说明
图1是用于说明第1实施方式所涉及的图像处理系统的构成例的图。
图2A以及图2B是用于说明根据2视差图像进行立体显示的立体显示显示器的一个例子的图。
图3是用于说明根据9视差图像进行立体显示的立体显示显示器的一个例子的图。
图4是用于说明第1实施方式所涉及的工作站(workstation)的构成例的图。
图5是用于说明图4所示的绘制处理部的构成例的图。
图6A、图6B以及图6C是用于说明第1实施方式所涉及的体绘制处理的一个例子的图。
图7是用于说明第1实施方式所涉及的终端装置的构成例的图。
图8是用于说明以往的标度的图。
图9是用于说明立体图像空间的图。
图10是用于说明第1实施方式所涉及的终端装置的控制部的构成例的图。
图11A是用于说明Z方向上的对应信息的设定所使用的参数(parameter)的一个例子的图。
图11B是用于说明修正根据图11A所示例出的参数设定的Z方向上的对应信息时所使用的参数的图。
图12是用于说明Z方向的标度显示的一个例子的图。
图13是用于说明伴随着移动的Z方向的标度显示控制的一个例子的图。
图14、图15以及图16是用于说明标度确定的第2方法的图。
图17是用于说明第1实施方式所涉及的终端装置的标度显示处理的流程图(flowchart)。
图18A、图18B、图18C、图18D、图18E、图19、图20A、图20B、图20C以及图21是用于说明第2实施方式的图。
具体实施方式
以下,参照附图,详细说明图像处理系统以及图像处理装置的实施方式。另外,以下,将包含具有作为图像处理装置的功能的工作站的图像处理系统作为实施方式进行说明。在此,针对以下的实施方式所使用的用语进行说明,所谓“视差图像组”是指对于体数据,通过使视点位置一点一点地移动规定的视差角来进行体绘制处理而生成的图像组。即,“视差图像组”由“视点位置”不同的多个“视差图像”构成。另外,所谓“视差角”是指由为了生成“视差图像组”而设定的各视点位置中相邻的视点位置、与通过体数据表示的空间内的规定位置(例如,空间的中心)决定的角度。另外,所谓“视差数”是指在立体显示显示器进行立体观测所需的“视差图像”的数量。另外,所谓以下所述的“9视差图像”是指由9个“视差图像”构成的“视差图像组”。另外,所谓以下所述的“2视差图像”是指由2个“视差图像”构成的“视差图像组”。另外,所谓“立体图像”是指在立体显示显示器被观察者立体观测的图像。换而言之,立体显示显示器通过显示视差数相应的视差图像,来对观察者显示“立体图像”。另外,所谓“立体图像空间”是指在立体显示显示器上参照“立体图像”的观察者所感觉到的虚拟的空间。另外,所谓“实际空间”是指体数据的摄影部位的现实空间。
(第1实施方式)
首先,针对第1实施方式所涉及的图像处理系统的构成例进行说明。图1是用于说明第1实施方式所涉及的图像处理系统的构成例的图。
如图1所示,第1实施方式所涉及的图像处理系统1具有:医用图像诊断装置110、图像保管装置120、工作站130、终端装置140。图1所示的各装置处于例如通过医院内设置的院内LAN(Local AreaNetwork)2,能够直接或者间接地相互通信的状态。例如,当对图像处理系统1导入PACS(Picture Archiving and Communication System)时,各装置按照DICOM(Digital Imaging and Communications inMedicine)标准,相互发送接收医用图像等。
该图像处理系统1根据作为通过医用图像诊断装置110生成的三维的医用图像数据的体数据来生成视差图像组,并将该视差图像组显示于能够立体观测的显示器,从而对在医院内工作的医师或检查技师提供能够立体观测的医用图像。具体而言,在第1实施方式中,工作站130对于体数据进行各种图像处理,并生成视差图像组。另外,工作站130以及终端装置140具有能够立体观测的显示器,将于工作站130生成的视差图像组显示于该显示器。另外,图像保管装置120保管在医用图像诊断装置110生成的体数据、或在工作站130生成的视差图像组。即,工作站130或终端装置140从该图像保管装置120取得体数据或视差图像组,并将其进行处理,或显示于显示器。以下,依次说明各装置。
医用图像诊断装置110是X射线诊断装置、X射线CT(ComputedTomography)装置、MRI(Magnetic Resonance Imaging)装置、超声波诊断装置、SPECT(Single Photon Emission ComputedTomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置与X射线CT装置一体化的SPECT-CT装置、PET装置与X射线CT装置一体化的PET-CT装置、或者这些装置组等。另外,第1实施方式所涉及的医用图像诊断装置110能够生成三维的医用图像数据(体数据)。
具体而言,第1实施方式所涉及的医用图像诊断装置110通过将被检体进行摄影来生成体数据。例如,医用图像诊断装置110通过将被检体进行摄影来收集投影数据或MR信号等数据,并根据收集到的数据,重建沿着被检体的体轴方向的多个轴向面的医用图像数据,从而生成体数据。例如,医用图像诊断装置110重建500个轴向面的医用图像数据。该500个轴向面的医用图像数据组是体数据。另外,也可以将通过医用图像诊断装置110进行摄影的被检体的投影数据或MR信号等本身作为体数据。
另外,第1实施方式所涉及的医用图像诊断装置110将生成的体数据发送至图像保管装置120。另外,当将体数据发送至图像保管装置120时,作为附带信息,医用图像诊断装置110例如发送识别患者的患者ID、识别检查的检查ID、识别医用图像诊断装置110的装置ID、识别由医用图像诊断装置110进行的1次的摄影的序列(series)ID等。
图像保管装置120是保管医用图像的数据库(database)。具体而言,第1实施方式所涉及的图像保管装置120将从医用图像诊断装置110发送出的体数据存储于存储部,并将其进行保管。另外,第1实施方式所涉及的图像保管装置120也能够将工作站130根据体数据生成的视差图像组存储于存储部,并将其进行保管。此时,工作站130将生成的视差图像组发送至图像保管装置120,图像保管装置120将从工作站130发送出的视差图像组存储于存储部,并将其进行保管。另外,本实施方式也可以是通过使用能够保管大容量的图像的工作站130,来综合图1所示的工作站130与图像保管装置120的情况。即,本实施方式也可以将体数据或者视差图像组存储于工作站130本身。
另外,在第1实施方式中,图像保管装置120所保管的体数据或视差图像组与患者ID、检查ID、装置ID、序列ID等对应地保管。因此,工作站130或终端装置140通过进行使用患者ID、检查ID、装置ID、序列ID等的检索,来从图像保管装置120取得所需的体数据或视差图像组。
工作站130是对于医用图像进行图像处理的图像处理装置。具体而言,第1实施方式所涉及的工作站130对于从图像保管装置120取得的体数据进行各种绘制处理,并生成视差图像组。所谓视差图像组是指从多个视点进行摄影的多个视差图像,例如,所谓显示于能够裸眼立体观测9视差图像的显示器的视差图像组是指视点位置不同的9个视差图像。
另外,作为显示部,第1实施方式所涉及的工作站130具有能够立体观测的显示器(以下,称为立体显示显示器)。工作站130生成视差图像组,并将所生成的视差图像组显示于立体显示显示器。其结果,工作站130的操作者能够一边确认显示于立体显示显示器的能够立体观测的医用图像,一边进行用于生成视差图像组的操作。
另外,工作站130将生成的视差图像组发送至图像保管装置120。另外,当将视差图像组发送至图像保管装置120时,作为附带信息,工作站130例如发送患者ID、检查ID、装置ID、序列ID等。另外,作为将视差图像组发送至图像保管装置120时所发送的附带信息,也可以列举与视差图像组相关的附带信息。作为与视差图像组相关的附带信息,存在视差图像的个数(例如,“9”)或视差图像的分辨率(例如,“466像素×350像素”)等。另外,工作站130也能够根据来自终端装置140的立体观测要求,将所生成的视差图像组发送至终端装置140。
终端装置140是用于使在医院内工作的医师或检查技师阅览医用图像的装置。例如,终端装置140是由在医院内工作的医师或检查技师操作的PC(Personal Computer)或平板(tablet)式PC、PDA(Personal Digital Assistant)、手机等。具体而言,第1实施方式所涉及的终端装置140作为显示部具有立体显示显示器。另外,终端装置140从工作站130或者图像保管装置120来取得视差图像组,并将所取得的视差图像组显示于立体显示显示器。其结果,作为观察者的医师或者检查技师能够阅览能够立体观测的医用图像。
在此,针对工作站130或终端装置140所具有的立体显示显示器进行说明。现在最普及的一般的通用显示器是二维地显示二维图像的显示器,不能立体显示二维图像。假设,当观察者希望在通用显示器上进行立体观测时,对于通用显示器输出图像的装置需要通过平行法或交差法,将观察者能够立体观测的2视差图像进行并列显示。或者,对于通用显示器输出图像的装置需要使用例如在左眼用部分安装红色的玻璃纸(cellophane),在右眼用部分安装蓝色的玻璃纸的眼镜,通过补色法来显示观察者能够立体观测的图像。
另一方面,作为立体显示显示器,有时通过使用立体观测用眼镜等专用机器,来使2视差图像(也称为两眼视差图像)能够立体观测。
图2A以及图2B是用于说明通过2视差图像进行立体显示的立体显示显示器的一个例子的图。图2A以及图2B所示的一个例子是通过快门(shutter)方式进行立体显示的立体显示显示器,作为观察显示器的观察者佩戴的立体观测用眼镜使用快门眼镜。该立体显示显示器在显示器上交错射出2视差图像。例如,图2A所示的显示器将左眼用图像与右眼用图像以120Hz交错射出。在此,如图2A所示,在显示器上,设置红外线射出部,红外线射出部与切换图像的定时(timing)相匹配地控制红外线的射出。
另外,从红外线射出部射出的红外线通过图2A所示的快门眼镜的红外线接收部来接收。在快门眼镜的左右的框上分别安装有快门,快门眼镜与红外线接收部接收红外线的定时相匹配地交替切换左右的快门各自的透过状态以及遮光状态。以下,针对快门中的透过状态以及遮光状态的切换处理进行说明。
如图2B所示,各快门具有入射侧的偏振片与射出侧的偏振片,另外,在入射侧的偏振片与射出侧的偏振片之间具有液晶层。另外,如图2B所示,入射侧的偏振片与射出侧的偏振片相互正交。在此,如图2B所示,在没有施加电压的“OFF”的状态下,通过了入射侧的偏振片的光通过液晶层的作用旋转90度,透过射出侧的偏振片。即,没有施加电压的快门变为透过状态。
另一方面,如图2B所示,由于在施加了电压的“ON”的状态下,基于液晶层的液晶分子的偏光旋转作用消失,因此,通过了入射侧的偏振片的光会被射出侧的偏振片遮住。即,施加了电压的快门变为遮光状态。
因此,例如,在显示器上显示有左眼用图像的期间,红外线射出部射出红外线。并且,在接收到红外线的期间,红外线接收部没有对左眼的快门施加电压,而对右眼的快门施加电压。由此,如图2A所示,由于右眼的快门变为遮光状态,左眼的快门变为透过状态,因此,左眼用图像入射至观察者的左眼。另一方面,在显示器上显示出右眼用图像期间,红外线射出部停止射出红外线。并且,在没有接收红外线期间,红外线接收部没有对右眼的快门施加电压,而对左眼的快门施加电压。由此,左眼的快门变为遮光状态,右眼的快门变为透过状态,因此,右眼用图像入射至观察者的右眼。这样,图2A以及图2B所示的立体显示显示器通过使显示器所显示的图像与快门的状态联动地切换,来显示观察者能够立体观测的图像。另外,作为能够立体观测2视差图像的立体显示显示器,上述的快门方式以外,还知道有采用了偏振眼镜方式的显示器。
另外,作为近年来实用化的立体显示显示器,存在通过使用柱状透镜等光线控制元件,例如使观察者能够裸眼地立体观测9视差图像等多视差图像的显示器。该立体显示显示器能够进行基于两眼视差的立体观测,另外,也能够进行基于与观察者的视点移动相应地被观察的映像也发生变化的运动视差的立体观测。
图3是用于说明通过9视差图像来进行立体显示的立体显示显示器的一个例子的图。在图3所示的立体显示显示器中,在液晶面板等平面状的显示面200的前面,配置光线控制元件。例如,在图3所示的立体显示显示器上,作为光线控制元件,将光学开口在垂直方向延伸的垂直透镜板(lenticular sheet)201粘贴在显示面200的前面。另外,在图3所示的一个例子中,以垂直透镜板201的凸部为前面的方式粘贴,但也可以以垂直透镜板201的凸部与显示面200对置的方式进行粘贴。
在显示面200上,如图3所示,矩阵(matrix)状地配置横纵比为3:1,在纵方向上配置是子(sub)像素的红(R)、绿(G)、蓝(B)3个的像素202。图3所示的立体显示显示器将由9个图像构成的9视差图像转换成配置成规定格式(format)(例如格子状)的中间图像,并且输出至显示面200。例如,对于9视差图像而言,将9个图像转换成“3行3列”地配置的格子状的格式的中间图像,并输出至显示面200。即,图3所示的立体显示显示器将在9视差图像中位于同一位置的9个像素分别分配成9列的像素202并输出。9列的像素202是同时显示视点位置不同的9个图像的单位像素组203。
在显示面200中作为单位像素组203而同时输出的9视差图像例如通过LED(Light Emitting Diode)背光灯(backlight)来发射平行光,另外,通过垂直透镜板201,向多方向放射。9视差图像的各像素的光向多方向放射,从而入射至观察者的右眼以及左眼的光与观察者的位置(视点的位置)联动地变化。即,根据观察者观察的角度,入射至右眼的视差图像与入射至左眼的视差图像的视差角不同。由此,观察者例如能够分别在图3所示的9个位置上,立体地识别摄影对象。另外,例如,在图3所示的“5”的位置上,观察者能够以对于摄影对象正对的状态立体地识别,同时在图3所示的“5”以外的各个位置上,能够以使摄影对象的朝向变化的状态立体地识别。另外,图3所示的立体显示显示器始终是一个例子。如图3所示,显示9视差图像的立体显示显示器可以是“RRR…、GGG…、BBB…”的横条(stripe)液晶,也可以是“RGBRGB…”的纵条液晶。另外,如图3所示,图3所示的立体显示显示器可以是透镜板垂直的纵透镜(lens)方式,也可以是透镜板倾斜的倾斜透镜方式。另外,中间图像的格式并不限定于“3行3列”的格子状。例如,中间图像的格式也可以是“1行9列”或“9行1列”等对应于显示器的规格的任意的格式。
以下,将使用图2A以及图2B进行说明的立体显示显示器记作2视差显示器。另外,以下,将使用图3进行说明的立体显示显示器记作9视差显示器。即,2视差显示器是能够进行基于两眼视差的立体观测的立体显示装置。另外,9视差显示器是能够进行基于两眼视差的立体观测,还能够通过同时显示9个图像(9视差图像)从而根据“观察者的视点移动(运动视差)”变更观察者所观察的图像的立体显示装置。
在此,针对第1实施方式所涉及的图像处理系统1的构成例简单地进行说明。另外,上述的图像处理系统1并不限定于应用于导入有PACS的情况。例如,图像处理系统1也同样应用于导入有管理添加有医用图像的电子病历的电子病历系统的情况。此时,图像保管装置120是保管电子病历(chart)的数据库。另外,例如,图像处理系统1也同样应用于导入有HIS(Hospital Information System)、RIS(Radiology Information System)的情况。另外,图像处理系统1并不限定于上述的构成例。各装置所具有的功能或其分工也可以根据运用的方式适当地变更。
接着,针对第1实施方式所涉及的工作站的构成例,使用图4进行说明。图4是用于说明第1实施方式所涉及的工作站的构成例的图。另外,以下,所谓“视差图像组”是指通过对于体数据进行体绘制处理而生成的立体观测用图像组(体绘制图像组)。另外,所谓“视差图像”是指构成“视差图像组”的各个图像。即,“视差图像组”由视点位置不同的多个“视差图像”构成。
第1实施方式所涉及的工作站130是适于图像处理等的高性能的计算机,如图4所示,具有:输入部131、显示部132、通信部133、存储部134、控制部135、绘制处理部136。另外,以下,使用工作站130是适于图像处理等的高性能的计算机的情况进行说明,但并不限定于此,也可以是任意的信息处理装置。例如,也可以是任意的个人计算机。
输入部131是鼠标(mouse)、键盘(keyboard)、轨迹球(trackball)等,接受由操作者对于工作站130的各种操作的输入。具体而言,第1实施方式所涉及的输入部131接受用于从图像保管装置120取得是绘制处理的对象的体数据的信息的输入。例如,输入部131接受患者ID、检查ID、装置ID、序列ID等的输入。另外,第1实施方式所涉及的输入部131接受与绘制处理相关的条件(绘制条件)的输入。
显示部132是作为立体显示显示器的液晶面板(panel)等,显示各种信息。具体而言,第1实施方式所涉及的显示部132显示用于接受由操作者进行的各种操作的GUI(Graphical User Interface)或视差图像组等。例如,显示部132是2视差显示器或9视差显示器。以下,针对显示部132是9视差显示器的情况进行说明。通信部133是NIC(Network Interface Card)等,在与其他的装置之间进行通信。
存储部134是硬盘(hard disk)、半导体存储器(memory)元件等,存储各种信息。具体而言,第1实施方式所涉及的存储部134存储经由通信部133从图像保管装置120取得的体数据。另外,第1实施方式所涉及的存储部134存储绘制处理中的体数据、通过绘制处理生成的视差图像组等。
控制部135是CPU(Central Processing Unit)或MPU(MicroProcessing Unit)等电子电路、ASIC(Application SpecificIntegrated Circuit)或FPGA(Field Programmable Gate Array)等集成电路,进行工作站130的整体控制。
例如,第1实施方式所涉及的控制部135控制对于显示部132的GUI的显示或视差图像组的显示。另外,例如,控制部135控制在与图像保管装置120之间经由通信部133进行的体数据或视差图像组的发送接收。另外,例如,控制部135控制基于绘制处理部136的绘制处理。另外,例如,控制部135控制从存储部134读取体数据、或向存储部134存储视差图像组。
绘制处理部136在基于控制部135的控制下,对于从图像保管装置120取得的体数据进行各种绘制处理,并生成视差图像组。具体而言,第1实施方式所涉及的绘制处理部136从存储部134读取体数据,对于该体数据,首先进行前处理。接着,绘制处理部136对于前处理后的体数据进行体绘制处理,并生成视差图像组。接着,绘制处理部136通过生成描绘出各种信息(刻度、患者名、检查项目等)的二维图像,并将其分别对于视差图像组进行重叠,从而生成输出用二维图像。并且,绘制处理部136将生成的视差图像组或输出用二维图像存储于存储部134。另外,在第1实施方式中,所谓绘制处理是指对于体数据进行的图像处理整体,所谓体绘制处理是指在绘制处理内,生成反映三维的信息的二维图像的处理。所谓通过绘制处理生成的医用图像例如是指视差图像。
图5是用于说明图4所示的绘制处理部的构成例的图。如图5所示,绘制处理部136具有:前处理部1361、三维图像处理部1362、以及二维图像处理部1363。前处理部1361进行对于体数据的前处理,三维图像处理部1362根据前处理后的体数据生成视差图像组,二维图像处理部1363生成使各种信息重叠于视差图像组的输出用二维图像。以下,依次将各部进行说明。
前处理部1361是在对于体数据进行绘制处理时,进行各种前处理的处理部,具有图像校正处理部1361a、三维物体融合(fusion)部1361e、以及三维物体显示区域设定部1361f。
图像校正处理部1361a是将2种体数据作为1个体数据进行处理时进行图像校正处理的处理部,如图5所示,具有变形校正处理部1361b、体运动校正处理部1361c以及图像间位置对准处理部1361d。例如,当将通过PET-CT装置生成的PET图像的体数据与X射线CT图像的体数据作为1个体数据进行处理时,图像校正处理部1361a进行图像校正处理。或者,当将通过MRI装置生成的T1强调图像的体数据与T2强调图像的体数据作为1个体数据进行处理时,图像校正处理部1361a进行图像校正处理。
另外,变形校正处理部1361b在各个体数据中,校正基于医用图像诊断装置110的数据收集时的收集条件所导致的数据的变形。另外,体运动校正处理部1361c校正为了生成各个体数据而使用的数据的收集时期的被检体的体运动所导致的移动。另外,在进行了基于变形校正处理部1361b以及体运动校正处理部1361c的校正处理的2个体数据间,例如,图像间位置对准处理部1361d进行使用了相互关联法等的位置对准(Registration)。
三维物体融合部1361e使通过图像间位置对准处理部1361d进行了位置对准的多个体数据融合。另外,在对于单一的体数据进行绘制处理时,省略图像校正处理部1361a以及三维物体融合部1361e的处理。
三维物体显示区域设定部1361f是设定与操作者所指定的显示对象脏器对应的显示区域的处理部,具有分割(segmentation)处理部1361g。分割处理部1361g是例如通过根据体数据的像素值(体素(voxel)值)的区域扩张法,提取出操作者所指定的心脏、肺、血管等脏器的处理部。
另外,当操作者没有指定显示对象脏器的情况下,分割处理部1361g不进行分割处理。另外,当操作者指定了多个显示对象脏器的情况下,分割处理部1361g提取符合的多个脏器。另外,有时按照参照绘制图像的操作者的微调整要求,再次执行分割处理部1361g的处理。
三维图像处理部1362对于前处理部1361进行了处理的前处理后的体数据进行体绘制处理。作为进行体绘制处理的处理部,三维图像处理部1362具有投影方法设定部1362a、三维几何转换处理部1362b、三维物体表现(appearance)处理部1362f、三维虚拟空间绘制部1362k。
投影方法设定部1362a确定用于生成视差图像组的投影方法。例如,投影方法设定部1362a确定是通过平行投影法来执行体绘制处理,还是通过透视投影法来执行。
三维几何转换处理部1362b是确定用于将体绘制处理被执行的体数据进行三维几何学转换的信息的处理部,具有平行移动处理部1362c、旋转处理部1362d以及扩大缩小处理部1362e。平行移动处理部1362c是当平行移动进行体绘制处理时的视点位置时,确定使体数据平行移动的移动量的处理部,旋转处理部1362d是当旋转移动进行体绘制处理时的视点位置时,确定使体数据旋转移动的移动量的处理部。另外,扩大缩小处理部1362e是要求将视差图像组扩大或缩小时,确定体数据的扩大率或缩小率的处理部。
三维物体表现处理部1362f具有三维物体色彩处理部1362g、三维物体不透明度处理部1362h、三维物体材质处理部1362i以及三维虚拟空间光源处理部1362j。三维物体表现处理部1362f通过这些处理部,例如,根据操作者的要求,进行确定显示的视差图像组的显示状态的处理。
三维物体色彩处理部1362g是确定对于在体数据中分割出的各区域着色的色彩的处理部。三维物体不透明度处理部1362h是确定构成在体数据中分割出的各区域的各体素的不透明度(Opacity)的处理部。另外,在体数据中不透明度为“100%”的区域的后方的区域在视差图像组中没有被描绘出。另外,在体数据中不透明度为“0%”的区域在视差图像组没有被描绘出。
三维物体材质处理部1362i是通过确定在体数据中分割出的各区域的材质,来调整描绘出该区域时的质感的处理部。三维虚拟空间光源处理部1362j是对于体数据进行体绘制处理时,确定在三维虚拟空间中设置的虚拟光源的位置、虚拟光源的种类的处理部。作为虚拟光源的种类,可以列举从无限远来照射平行的光线的光源、或从视点照射放射状的光线的光源等。
三维虚拟空间绘制部1362k对于体数据进行体绘制处理,生成视差图像组。另外,三维虚拟空间绘制部1362k在进行体绘制处理时,根据需要,使用通过投影方法设定部1362a、三维几何转换处理部1362b、三维物体表现处理部1362f确定的各种信息。
在此,基于三维虚拟空间绘制部1362k的体绘制处理将按照绘制条件来进行。例如,绘制条件是“平行投影法”或者“透视投影法”。另外,例如,绘制条件是“基准的视点位置以及视差角”。另外,例如,绘制条件是“视点位置的平行移动”、“视点位置的旋转移动”、“视差图像组的扩大”、以及“视差图像组的缩小”。另外,例如,绘制条件是“被着色的色彩”、“透明度”、“质感”、“虚拟光源的位置”、“虚拟光源的种类”。这样的绘制条件考虑经由输入部131从操作者接受的情况、或初期设定的情况。任一情况下,三维虚拟空间绘制部1362k都从控制部135来接受绘制条件,并按照该绘制条件,进行对于体数据的体绘制处理。另外,此时,由于上述的投影方法设定部1362a、三维几何转换处理部1362b、三维物体表现处理部1362f按照该绘制条件来确定所需的各种信息,因此,三维虚拟空间绘制部1362k使用这些确定出的各种信息来生成视差图像组。
图6A、图6B以及图6C是用于说明第1实施方式所涉及的体绘制处理的一个例子的图。例如,如图6A所示,作为绘制条件,假设三维虚拟空间绘制部1362k接受平行投影法,另外,接受基准的视点位置(5)与视差角“1度”。此时,如图6A所示,三维虚拟空间绘制部1362k设定沿着视线方向从无限远照射平行的光线的光源。并且,三维虚拟空间绘制部1362k以视差角间隔“1度”的方式,将视点的位置平行移动到(1)~(9),并通过平行投影法生成视差角(视线方向间的角度)1度1度不同的9个视差图像。
或者,如图6B所示,作为绘制条件,假设三维虚拟空间绘制部1362k接受透视投影法,另外,接受基准的视点位置(5)与视差角“1度”。此时,如图6B所示,三维虚拟空间绘制部1362k在各视点设定以视线方向为中心三维地放射状地照射光的点光源或面光源。并且,三维虚拟空间绘制部1362k例如以体数据的剖面的中心(重心)为中心以将视差角间隔“1度”的方式,将视点的位置旋转移动至(1)~(9),并通过透视投影法生成视差角1度1度不同的9个视差图像。另外,进行透视投影法时,根据绘制条件,视点(1)~(9)也可以平行移动。另外,如图6A以及图6B所示,视线方向是从视点朝向体数据的剖面的中心(重心)的方向。
或者,如图6C所示,三维虚拟空间绘制部1362k也可以通过设定对于所显示的体绘制图像的纵方向,以视线方向为中心二维地放射状地照射光,对于所显示的体绘制图像的横方向,沿着视线方向从无限远来照射平行的光线的光源,从而进行将平行投影法与透视投影法并用的体绘制处理。
这样生成的9个视差图像是视差图像组。在第1实施方式中,9个视差图像例如被转换成通过控制部135配置成规定格式(例如格子状)的中间图像,并输出至作为立体显示显示器的显示部132。于是,工作站130的操作者能够一边确认立体显示显示器所显示出的能够立体观测的医用图像,一边进行用于生成视差图像组的操作。
另外,在图6A、图6B以及图6C的例子中,说明了作为绘制条件,接受投影方法、基准的视点位置以及视差角的情况,但是,作为绘制条件,接受其他的条件的情况下,三维虚拟空间绘制部1362k也同样反映各个的绘制条件,同时生成视差图像组。
另外,三维虚拟空间绘制部1362k不仅具有体绘制的功能,还具有进行剖面重建法(MPR:Multi Planer Reconstruction)来根据体数据重建MPR图像的功能。另外,三维虚拟空间绘制部1362k也具有进行“Curved MPR”的功能、进行“Intensity Projection”的功能。
接着,将三维图像处理部1362根据体数据生成的视差图像组作为底图(Underlay)。并且,通过对于底图重叠描绘出各种信息(刻度、患者名、检查项目等)的覆盖图(Overlay),生成输出用二维图像。二维图像处理部1363是通过对于覆盖图以及底图进行图像处理,来生成输出用二维图像的处理部,如图5所示,具有二维物体描绘部1363a、二维几何转换处理部1363b以及亮度调整部1363c。例如,二维图像处理部1363为了减轻输出用二维图像的生成处理所需的负荷,通过分别对于9个视差图像(底图)重叠1个覆盖图,来生成9个输出用二维图像。
二维物体描绘部1363a是描绘覆盖图所描绘出的各种信息的处理部,二维几何转换处理部1363b是将覆盖图所描绘出的各种信息的位置进行平行移动处理或者旋转移动处理,或将覆盖图所描绘出的各种信息进行扩大处理或者缩小处理的处理部。
另外,亮度调整部1363c是进行亮度转换处理的处理部,例如,是根据输出目标的立体显示显示器的色调、窗宽(WW:Window Width)、窗位(WL:Window Level)等图像处理用参数,来调整覆盖图以及底图的亮度的处理部。
这样生成的输出用二维图像例如由控制部135暂时存储于存储部134,之后,经由通信部133发送至图像保管装置120。例如,终端装置140如果从图像保管装置120取得该输出用二维图像,转换成以规定格式(例如格子状)配置的中间图像,并显示于立体显示显示器,则作为观察者的医师或检查技师能够在描绘出各种信息(刻度、患者名、检查项目等)的状态下,阅览能够立体观测的医用图像。或者,输出用二维图像例如由控制部135经由通信部133,直接地发送至终端装置140。
并且,如上述那样,第1实施方式所涉及的终端装置140是使在医院内工作的医师或者检查技师阅览医用图像的装置,从图像保管装置120或者工作站130取得绘制处理部136所生成的视差图像组(输出用二维图像)。图7是用于说明第1实施方式所涉及的终端装置的构成例的图。
如图7所示,第1实施方式所涉及的终端装置140具有输入部141、显示部142、通信部143、存储部144、控制部145、二维图像处理部146。
输入部141是鼠标、键盘、轨迹球等,接受由操作者对于终端装置140的各种操作的输入。具体而言,第1实施方式所涉及的输入部141从操作者接受立体观测要求。例如,作为立体观测要求,输入部141接受用于指定操作者要求进行读影用显示的体数据的患者ID、检查ID、装置ID、序列ID等的输入。
显示部142是作为立体显示显示器的液晶屏等,显示各种信息。具体而言,第1实施方式所涉及的显示部142显示用于接受由操作者进行的各种操作的GUI(Graphical User Interface)或立体观测图像等。例如,显示部142是2视差显示器或9视差显示器。以下,针对显示部142是9视差显示器的情况进行说明。
通信部143是NIC(Network Interface Card)等,在与其他的装置之间进行通信。例如,第1实施方式所涉及的通信部143将与输入部141接受到的立体观测要求相关的信息发送至图像保管装置120。另外,第1实施方式所涉及的通信部143根据立体观测要求,接收图像保管装置120或者工作站130发送出的视差图像组等。
存储部144是硬盘、半导体存储元件等,存储各种信息。具体而言,第1实施方式所涉及的存储部144存储经由通信部143从图像保管装置120或者工作站130取得的视差图像组等。另外,存储部144也存储经由通信部143从图像保管装置120或者工作站130取得的视差图像组的附带信息(视差数或分辨率等)。
控制部145是CPU(Central Processing Unit)或MPU(MicroProcessing Unit)等电子电路、ASIC(Application SpecificIntegrated Circuit)或FPGA(Field Programmable Gate Array)等集成电路,进行终端装置140的整体控制。
例如,控制部145控制在与图像保管装置120之间经由通信部143进行的显示要求、或在与图像保管装置120或者工作站130之间经由通信部143进行的视差图像组等的发送接收。另外,例如,控制部145控制向存储部144存储视差图像组等、或从存储部144读取视差图像组等。
另外,第1实施方式所涉及的控制部145控制对于显示部142的GUI的显示或视差图像组的显示。第1实施方式所涉及的控制部145将视差图像组转换成规定格式(例如,格子状)配置的中间图像,并显示于作为9视差显示器的显示部142。
另外,第1实施方式所涉及的控制部145控制基于二维图像处理部146的图像处理。
二维图像处理部146具有与使用图5说明的二维图像处理部1363相同的功能。即,二维图像处理部146通过对于作为由三维图像处理部1362生成的底图的视差图像组,生成覆盖图并重叠,从而能够生成对于显示部142的输出用二维图像。
另外,如上述那样,绘制处理部136在基于控制部135的控制下,根据体数据生成视差图像组。另外,终端装置140取得视差图像组并显示于显示部142。由此,作为终端装置140的操作者的医师或检查技师能够在描绘出各种信息(刻度、患者名、检查项目等)的状态下,阅览能够立体观测的医用图像。
在此,以往,当通过通用显示器二维地显示由规定的剖面切断体数据的二维图像时,显示使该二维图像与体数据的摄影部位的实际空间对应的XY方向的标度(尺度)。另外,所谓XY方向的标度,是指分别将显示器所显示出的二维图像的横方向以及纵方向的长度,换算成与该二维图像对应的实际空间的长度的标度。图8是用于说明以往的标度的图。
例如,如图8所示,通用显示器显示由轴面切断由X射线CT装置生成的体数据的轴向图像,同时显示使该轴向图像与实际空间对应的XY方向的标度(尺度)。通过参照XY方向的标度,通用显示器的观察者(例如,放射线科医师等)能够大致把握轴向图像所描绘出的关心区域的XY方向的尺寸。
另一方面,在立体图像空间中观察者立体地感觉立体图像。图9是用于说明立体图像空间的图。
如图9所示,参照在立体观测显示器上显示出的视差图像组的观察者在立体图像空间中立体地识别立体图像A。在此,如图9所示,观察者感觉到的立体感大致分为突出感与深度感。突出感是在从立体显示显示器的显示面向观察者的视点(观察者视点E)接近的方向,观察者感觉立体图像突出那样的感觉。另外,深度感是在从立体显示显示器的显示面远离观察者的视点(观察者视点E)的方向,观察者感觉立体图像像凹进去那样的感觉。
以下,将从立体显示显示器的显示面向观察者的视点接近的方向记作“突出方向”,将从立体显示显示器的显示面远离观察者的视点的方向记作“深度方向”。具体而言,“突出方向”与“深度方向”是对于立体图像空间中的立体观测显示器的显示面垂直的方向。换而言之,如图9所示,对于立体图像空间中的立体观测显示器的显示面是垂直方向的方向是对于X方向以及Y方向双方垂直的“Z方向”。
但是,例如,即使9视差显示器等立体显示显示器的观察者参照XY方向的标度,也不能把握立体地感觉的立体图像空间中的尺寸,特别是Z方向的尺寸。
因此,第1实施方式所涉及的终端装置140的控制部145为了在能够立体观测的显示器上显示被观察者立体观测的图像与实际空间对应的尺度(标度),例如,如图10所示地那样构成。图10是用于说明第1实施方式所涉及的终端装置的控制部的构成例的图。
如图10所示,控制部145具有取得部145a、确定部145b、以及输出部145c。
取得部145a取得为了根据作为三维的医用图像数据的体数据来生成作为规定视差数的视差图像的视差图像组所使用的绘制条件。并且,确定部145b根据绘制条件所包含的至少构成视差图像组的视差图像间的视差角、与显示于立体显示显示器的视差图像组的显示尺寸(size),来设定使通过参照显示视差图像组的立体显示显示器来进行立体观测的立体图像的空间坐标(立体图像空间的坐标)、与体数据的摄影部位的空间坐标(实际空间的坐标)对应的对应信息。
并且,确定部145b根据对应信息,确定用于将对于立体图像空间中的立体显示显示器的显示面垂直的方向的长度换算成实际空间上的长度的标度。输出部145c进行输出控制,使得对于基于视差图像组的立体图像,将标度重叠显示于立体显示显示器。
以下,针对取得部145a、确定部145b以及输出部145c进行处理的一个例子进行说明。另外,在将9视差图像传送至控制部145之后执行取得部145a、确定部145b、以及输出部145c的处理。即,工作站130从图像保管装置120取得终端装置140的操作者所指定的体数据,并根据取得的体数据生成作为用于输出至作为9视差显示器的显示部142的视差图像组的9视差图像。例如,绘制处理部136根据终端装置140的操作者输入的绘制条件(视差数、视差角、投影方法以及视点的位置信息等),来生成9视差图像。并且,控制部135控制通信部133,将绘制处理部136生成的9视差图像发送至终端装置140。终端装置140的通信部143将接收到的9视差图像传送至控制部145。
另外,以下,使用(x,y,z)的正交的3个轴的坐标来表示体数据的坐标系。另外,将x方向作为实际空间坐标中的水平方向。另外,将y方向作为实际空间坐标中的垂直方向。另外,将z方向作为与实际空间坐标中的xy平面垂直的方向,具体而言,作为与“深度方向”对应的方向。即,z方向的正方向是“深度方向”,z方向的负方向是“突出方向”。
另外,以下,使用(X,Y,Z)的正交的3个轴的坐标来表示立体图像空间的坐标系。另外,将X方向作为立体图像空间坐标中的水平方向(显示面的横方向)。另外,将Y方向作为立体图像空间坐标中的垂直方向(显示面的纵方向)。另外,将Z方向作为与立体图像空间坐标中的“深度方向”对应的方向。即,Z方向的正方向是“深度方向”,Z方向的负方向是“突出方向”。
取得部145a取得绘制条件。并且,确定部145b根据绘制条件所包含的9视差图像的视差角以及显示部142所显示的9视差图像的显示尺寸,来设定使立体图像空间的坐标与实际空间的坐标对应的对应信息。具体而言,确定部145b根据显示尺寸来设定XY方向的对应信息,并根据视差角以及显示尺寸来设定Z方向的对应信息。另外,显示尺寸例如通过由终端装置140的操作者与绘制条件一起输入来取得。
假设体数据由“500×500×500”的体素构成,1体素是“0.5mm×0.5mm ×0.5mm”的尺寸。
此时,在体数据的xy平面内,10体素与5mm对应。在此,当显示尺寸是“1体素:1.0mm”时,确定部145b设定在XY平面内假设是“10像素(pixel):10mm”的对应信息。并且,确定部145b将XY方向的标度确定为“10像素:10mm”。另外,上述的设定处理是即使进行体绘制的投影处理,也可以在xy平面的尺寸(size)与XY平面的尺寸大致一致的平行投影法中应用的方法。
另一方面,确定部145b例如使用图11A所示的参数来设定Z方向上的对应信息。图11A是用于说明Z方向上的对应信息的设定所使用的参数的一个例子的图。
在9视差显示器的情况下,立体图像的立体感依存于视差角(θ)以及显示尺寸(S)。因此,如图11-1所示,确定部145b使用将视差角(θ)以及显示尺寸(S)作为变量的参数“a(θ,S)”以及“b(θ,S)”。“a(θ,S)”以及“b(θ,S)”是根据立体显示显示器的规格而预先设定的参数,例如,是图像处理系统1的管理者设定的信息。
如图11A所示,“a(θ,S)”是用于设定突出方向的对应信息的参数。另外,如图11A所示,“b(θ,S)”是用于设定深度方向的对应信息的参数。具体而言,“a(θ,S)”是视差角以及显示尺寸为“θ”以及“S”时的突出量(单位:mm)。另外,“b(θ,S)”是视差角以及显示尺寸为“θ”以及“S”时的深度量(单位:mm)。
例如,当“θ”为“1度”以及“S”为“1体素:1.0mm”时,假设“a(θ,S)”是“5mm”。另外,当“θ”为“1度”以及“S”为“1体素:1.0mm”时,假设“b(θ,S)”是“5mm”。此时,确定部145b设定在Z方向上与“显示面的1mm是实际空间的5mm”对应的对应信息。并且,确定部145b将Z方向的标度确定为“显示面的10mm:实际空间的50mm”。
另外,在上述中,针对由于“a(θ,S)”以及“b(θ,S)”是相同的值,因此Z方向的标度的比例尺在显示面的前后相同的情况进行了说明。但是,当“a(θ,S)”以及“b(θ,S)”是不同的值时,确定部145b也可以确定在显示面的前后比例尺不同的Z方向的标度。即,确定部145b也可以根据对应信息,确定在对于显示面的突出方向与深度方向上不同的比例尺的Z方向的标度。
或者,当“a(θ,S)”以及“b(θ,S)”是不同的值时,确定部145b也可以使用“a(θ,S)”以及“b(θ,S)”的平均值,来确定Z方向的标度的比例尺在显示面的前后相同的Z方向的标度。
然而,观察者通过参照显示部142而感觉到的立体感根据显示部142的规格而存在界限。即,显示部142能够显示的突出方向的量(突出量)与显示部142能够显示的深度方向的量(深度量)根据显示部142的规格而存在界限。以下,将突出量的界限值记作“突出界限值”,将深度量的界限值记作“深度界限值”。
即,确定部145b根据上述的“a(θ,S)”以及“b(θ,S)”而设定的突出方向的对应信息以及深度方向的对应信息需要根据“突出界限值”以及“深度界限值”进行修正。
因此,确定部145b根据立体显示显示器的硬件规格,来计算“突出界限值”以及“深度界限值”。具体而言,确定部145b根据“立体显示显示器的显示面与观察立体显示显示器的观察者的距离的观察距离”和立体显示显示器的硬件规格,来计算突出界限量以及深度界限量。另外,如果无法确定观察者的位置,则不能求出立体显示显示器与观察者的观察距离。但是,一般而言,作为立体显示显示器的显示部142等将立体显示显示器的观察位置假设成规定的位置来设计。因此,确定部145b根据是被假设为规定的位置的观察位置与立体显示显示器的显示面的距离的“假设观察距离”,来计算突出界限量以及深度界限量。
在此,说明通过确定部145b计算的突出界限量以及深度界限量的一个例子。确定部145b例如通过以下的(数学公式1)来计算突出界限量。另外,例如,确定部145b通过以下的(数学公式2)来计算深度界限量。另外,在以下的(数学公式1)以及(数学公式2)中,在深度方向中,以立体显示显示器的显示面为原点,以从该显示面向观察者的视点接近的方向为负,以从显示面远离观察者的视点的方向为正。
(数学公式1)=突出界限量(mm)=-假定观察距离/{2×[(假定观察距离+间隙(gap))/假定观察距离]×(子像素间距(sub-pixelpitch)/间隙)×突出界限频率+1}
(数学公式2)=深度界限量(mm)=假定观察距离/{2×[(假定观察距离+间隙)/假定观察距离]×(子像素间距/间隙)×突出界限频率-1}
在此,使用图11B,针对上述(数学公式1)以及(数学公式2)所示的“间隙”、“子像素间距”等进行说明。图11B是用于说明修正根据图11A所示的参数设定的Z方向上的对应信息时所使用的参数时的图。图11B是从纵方向观察图3所示的立体显示显示器的图。如图11-2所示,“间隙”表示LCD(Liquid Crystal Display)像素面与柱状透镜201的焦点的距离。另外,“子像素间距”表示被配置在立体显示显示器内的LCD像素202间的距离。另外,“透镜间距”表示视差数相应的LCD像素202的横方向的长度,通过“子像素间距×视差数”来表示。
另外,上述(数学公式1)以及(数学公式2)所示的“突出界限频率”单位是“CPR(cycles per radian)”,通过“能够最大显示的频率×N(0<N≦1)”来表示。该“能够最大显示的频率”通过“观察距离/(2×透镜间距(lens pitch))”来表示,表示在立体显示显示器的显示面上的分辨率。更具体地进行说明,“CPR”表示从立体显示显示器照射的光线中由观察者的眼睛放大的射线锥面所容许的光线的密度。在同一观察距离的情况下,配置柱状透镜的密度越高该“CPR”变得越大,配置柱状透镜的密度越低变得越小。换而言之,当配置柱状透镜的密度相同时,观察距离越远“CPR”变得越大,观察距离越近变得越小。“能够最大显示的频率”是“CPR”变为最大的分辨率。即,“能够最大显示的频率”表示立体显示显示器的显示面上的分辨率。
在此,在上述(数学公式1)以及(数学公式2)中,例如,假设观察距离是“1000mm”,间隙是“0.5mm”,子像素间距是“0.05mm”,突出界限频率是“300CPR”。此时,取得部145a根据上述(数学公式1),计算“显示部142的突出界限量:-16.4mm”,并根据上述(数学公式2),计算“显示部142的深度界限量:16.9mm”。另外,在此,假设将小数的第2位四舍五入。
在此,假设确定部145b根据“a(θ,S)”以及“b(θ,S)”,来分别在突出方向以及深度方向上设定与“显示面的1mm是实际空间的5mm”对应的对应信息。另外,确定部145b还将体数据的实际空间坐标中的z方向的长度,例如在重心前后设定为“100mm”。
在此,当实际空间的z方向上的长度是“100×2=200mm”时,Z方向上的突出方向以及深度方向的对应信息分别是“实际空间的100mm”是“显示面的20mm”。但是,“显示面的20mm”是超出了突出界限量以及深度界限量的值。
因此,确定部145b将突出方向的对应信息从“显示面的20mm是实际空间的100mm”修正为“显示面的16.4mm是实际空间的100mm”。另外,确定部145b将深度方向的对应信息,从“显示面的20mm是实际空间的100mm”修正为“显示面的16.9mm是实际空间的100mm”。换而言之,确定部145b根据基于突出界限量以及深度界限量计算出的立体图像的Z方向上的上限压缩度,来修正根据“a(θ,S)”以及“b(θ,S)”设定的突出方向以及深度方向上的对应信息。
由此,确定部145b将突出方向的标度确定为“显示面的10mm:实际空间的61mm”。另外,确定部145b将深度方向的标度确定为“显示面的10mm:实际空间的59mm”。或者,确定部145b使用平均值,将Z方向的标度确定为“显示面的10mm:实际空间的60mm”。
输出部145c控制在显示部142输出9视差图像组以及标度。具体而言,输出部145c控制二维图像处理部146,生成标度的覆盖图,另外,生成分别将所生成的覆盖图重叠于底图(9个视差图像)的输出用二维图像。
并且,输出部145c将二维图像处理部146所生成的输出用的9个二维图像作为9视差图像转换成中间图像并输出至显示部142。由此,在显示部142中,将立体图像与XYZ方向的标度同时进行重叠显示。图12是用于说明Z方向的标度显示的一个例子的图。
在图12所示的一个例子中,在对于显示面的突出方向与深度方向上是同一比例尺的Z方向的标度为了对于XY方向的标度示出立体感,而在倾斜方向以重叠的形式来显示。通过参照该Z方向的标度,终端装置140的操作者(观察者)例如能够把握在立体图像空间中从显示面突出的区域(参照图12中的黑框内)的突出方向的尺寸。在此,在图12所示的一个例子中,显示出将突出方向作为正方向的Z方向的标度。
另外,标度能够根据观察者的要求进行移动。例如,假设以观察者使用输入部141的鼠标在标度的位置点击的状态来移动鼠标。此时,控制部145对二维图像处理部146发送指示,使得再生成移动了标度的位置的覆盖图。由此,显示部142能够显示根据观察者的鼠标操作而移动标度的位置的立体图像。例如,观察者通过操作鼠标,从而能够将标度移动到立体图像中肿瘤部位等关心区域(ROI:Region OfInterest)。由此,观察者能够测量ROI的实际空间中的三维的大小。
另外,输出部145c根据对于立体图像重叠显示尺度的位置,来控制变更构成尺度的线段的方向。图13是用于说明伴随着移动的Z方向的标度显示控制的一个例子的图。
例如,如图13所示,当标度的位置向显示面的右下方移动时,输出部145c使二维图像处理部146生成将Z方向的标度作为从右下方朝向左上方的方向的线段的覆盖图。另外,如图13所示,当标度的位置移动到显示面的右上方时,输出部145c使二维图像处理部146生成将Z方向的标度作为从右上方朝向左下方的方向的线段的覆盖图。
另外,如图13所示,当标度的位置移动到显示面的左下方时,输出部145c使二维图像处理部146生成将Z方向的标度作为从左下方朝向右上方的方向的线段的覆盖图。另外,如图13所示,当标度的位置移动到显示面的左上方时,输出部145c使二维图像处理部146生成将Z方向的标度作为从左上方朝向右下方的方向的线段的覆盖图。
通过该控制,观察者能够参照自身所感觉到的立体感的、特别是对于突出感没有不舒服感的标度。例如,当观察者将标度移动到想要测量大小的ROI的位置时,根据ROI的显示面中的位置,Z方向的标度的朝向通过上述的控制,自动变更为对于观察者所感觉到的突出感没有不舒服感的朝向。
以上,针对标度的确定法的一个例子(以下,称为第1方法)进行了说明。但是,标度的确定处理也可以通过以下说明的第2方法来执行。
即,在第2方法中,确定部145b根据将立体图像空间坐标转换成体数据空间坐标的、以视差角、显示尺寸以及视线方向为参数的函数来设定对应信息。并且,在第2方法中,作为根据对应信息的尺度,确定部145b确定Z方向的标度,同时确定用于将立体图像空间中的立体显示显示器的显示面中的XY方向的长度换算成摄影部位的空间上的长度的标度。图14~图16是用于说明标度确定的第2方法的图。
在此,图14的左图与右图表示相同的被检体。图14的左图是表示通过体数据坐标表示的被检体的摄影部位中的体数据的一个例子的图。另外,图14的右图是表示终端装置140所显示的立体图像的一个例子的图。另外,图14的左图所示的“x方向、y方向以及z方向”与图14的右图所示的“X方向、Y方向以及Z方向”是上述的方向。图14的左图中的坐标301、坐标302、以及距离303分别与图14的右图中的坐标304、坐标305、以及距离306对应。
图14的右图的立体图像与图14的左图所示的体数据相比较,突出方向以及深度方向变窄。换而言之,在图14的右图的立体图像中,图14的左图所示的被检体的突出方向以及深度方向的分量被压缩显示。此时,如图14的右图所示,坐标304与坐标305之间的距离306与图14的左图中的坐标301与坐标302之间的距离303相比较,被压缩的部分变短。换而言之,在立体图像内显示的距离306与实际空间中的距离303相比较变短。另外,在图14所示的例子中,说明了只有z方向变窄的情况,例如,也存在x方向以及z方向都变窄的情况、y方向以及z方向都变窄的情况、以及xyz方向均变窄的情况。即,体数据空间上的直线在立体图像空间上,有时是不同长度的直线,有时是不同长度的曲线。
该立体图像空间坐标与体数据空间坐标的对应关系通过立体图像的标度或视野角度、视线方向(绘制时的视线方向、或者立体图像观察时的视线方向)等唯一地确定,例如,能够通过以下的如(数学公式3)那样的形式来表现。
(数学公式3)=(x1,y1,z1)=F(x2,y2,z2)
在(数学公式3)中,“x2”“y2”“z2”分别表示立体图像空间坐标。“x1”“y1”“z1”分别表示体数据空间坐标。函数“F”是通过立体图像的标度或视野角度、视线方向等唯一地确定的函数。即,确定部145b通过使用(数学公式3),能够设定立体图像空间坐标与体数据空间坐标的对应关系。另外,函数“F”每当变更立体图像的标度或视野角度、视线方向(绘制时的视线方向、或者立体图像观察时的视线方向)等时,通过确定部145b生成。例如,作为转换旋转、平行移动、扩大、缩小的函数“F”使用(数学公式4)所示的仿射(affine)转换。
(数学公式4)x1=a*x2+b*y2+c*z3+d
y1=e*x2+f*y2+g*z3+h
z1=i*x2+j*y2+k*z3+l
(a~l是转换系数)
在此,体数据空间坐标与实际空间坐标的对应关系能够根据体数据的生成条件来设定。确定部145b例如根据存储于图像保管装置120的体数据的附带信息来取得该生成条件。并且,确定部145b根据由函数“F”取得的立体图像空间坐标与体数据空间坐标的对应关系、和从附带信息取得的体数据空间坐标与实际空间坐标的对应关系,来设定立体图像空间坐标与实际空间坐标的对应信息。
例如,通过使用函数“F”,如图15所示,确定部145b将来自观察者的视点E的视线方向上的2点间的距离D、和与来自绘制处理时的视点e的视线方向上的2点间的距离d对应的实际空间的距离设定为对应信息。并且,例如,如图15所示,确定部145b根据“距离D”和“与距离d对应的实际空间的距离”的比率来确定Z方向的标度。在图15所示的一个例子中,确定部145b确定将突出方向作为正方向的Z方向的标度。
另外,即使在第2方法中,也与第1方法相同,确定部145b也可以确定在对于显示面的突出方向与深度方向上不同的比例尺的标度。
例如,如图16所示,确定部145b在体数据空间坐标中,取得正交于来自绘制处理时的视点e的视线方向的、与体绘制时的基准面(投影面)对应的剖面的位置信息。另外,确定部145b取得基准面与来自视点e的视线方向的交点304(重心)的位置信息。并且,确定部145b取得“距离d1以及距离d2”,该距离是来自绘制处理时的视点e的视线方向上的2点分别与交点304的距离。
另外,如图16所示,确定部145b在立体图像空间坐标中,在来自观察者的视点E的视线方向上,取得与上述的基准面对应的剖面,即,显示面的位置信息。另外,确定部145b取得显示面与视线方向的交点307的位置信息。并且,确定部145b取得“距离D1以及距离D2”,该距离是来自观察者的视点E的视线方向上的2点分别与交点307的距离。
并且,确定部145b将“距离D1以及与距离d1对应的实际空间的距离”设定为突出方向的对应信息。另外,确定部145b将“距离D2和与距离d2对应的实际空间的距离”设定为深度方向的对应信息。并且,确定部145b根据“距离D1”和“与距离d1对应的实际空间的距离”的比率来确定Z方向上的突出方向的标度。另外,确定部145b根据“距离D2”和“与距离d2对应的实际空间的距离”的比率来确定Z方向上的深度方向的标度。即,如图16所示,确定部145b确定尺度隔着显示面而在突出方向与深度方向上不同的Z方向的标度。在图16所示的一个例子中,确定部145b确定将突出方向作为正方向的Z方向的标度。
另外,如上述那样,确定部145b能够设定基准面与显示面的对应信息。即,如上述那样,根据函数“F”,基准面与显示面不必成比例关系。另外,即使是同一视线方向,在体数据空间坐标中如果基准面的位置移动,则在立体图像空间坐标中显示面的位置也将移动。当基准面在同一视线方向移动时,即使观察时的视线方向是同一方向,显示面的标度,即,XY方向的标度也发生变动。因此,确定部145b根据所设定的基准面与显示面的对应信息,来确定XY方向的标度。
另外,根据函数“F”,在立体图像空间中与基准面对应的面不一定必须为平面。此时,与基准面对应的面与显示面不同,根据标度的显示位置,XY方向的标度也不同。因此,确定部145b根据所设定的基准面与显示面的对应信息,根据显示位置,控制变更XY方向的标度,并显示变更后的XY方向的标度。
另外,在上述的说明中,使用确定部145b根据函数“F”来设定对应信息的情况进行了说明。但是,本实施方式例如也可以是存储部144具有作为立体图像空间坐标与体数据空间坐标对应的表的坐标表,确定部145b使用坐标表,来取得立体图像空间坐标与体数据空间坐标的对应关系,并设定立体图像空间坐标与实际空间坐标的对应信息的情况。在上述的第2方法中,例如,当观察者将标度移动到ROI的位置时,X方向的标度、Y方向的标度以及Z方向的标度根据移动后的位置进行变更。通过参照由上述的第2方法输出的标度,观察者能够正确地测量ROI的实际空间中的三维的大小。
接着,使用图17针对第1实施方式所涉及的图像处理系统1的处理进行说明。图17是用于说明第1实施方式所涉及的终端装置的标度显示处理的流程图。另外,图17是表示由工作站130来生成终端装置140的操作者所指定的体数据的视差图像组之后的处理的流程图。
如图17所示,第1实施方式所涉及的图像处理系统1的终端装置140判定是否接收到视差图像组(步骤(step)S101)。在此,当没有接收到视差图像组时(步骤S101否定),终端装置140一直待机到接收到视差图像组。
另一方面,当接收到视差图像组时(步骤S101肯定),取得部145a取得绘制条件,确定部145b使用绘制条件所包含的视差角以及显示尺寸,来设定使立体图像空间的坐标与实际空间的坐标对应的对应信息(步骤S102)。例如,确定部145b通过使用以视差角以及显示尺寸为变量的参数的第1方法、或使用将立体图像空间坐标转换成体数据空间坐标的、将视差角、显示尺寸以及立体图像观察时的视线方向作为参数的函数的第2方法,来设定对应信息。
并且,确定部145b根据对应信息来确定标度(步骤S103),输出部145c通过二维图像处理部146来分别使标度重叠于视差图像组(步骤S104)。
并且,输出部145c将二维图像处理部146使标度重叠的视差图像组转换成中间图像,并显示于显示部142(步骤S105),并结束处理。另外,当变更了标度的显示位置时,输出部145c确定根据显示位置而变更了尺度的标度,并通过二维图像处理部146,将所确定的标度分别重叠于视差图像组。
如上述的那样,在第1实施方式中,通过使用第1方法或第2方法,能够显示根据生成立体图像的显示用视差图像组时所使用的绘制条件的Z方向的标度。从而,在第1实施方式中,能够在能够立体观测的显示器显示被观察者立体观测的图像与实际空间对应的尺度。另外,在第1实施方式中,通过使用第2方法,除了立体图像空间中的Z方向的标度之外,X方向以及Y方向的标度也能够根据绘制条件来确定。即,通过设定使用有函数“F”的对应信息,确定部145b能够确定追随视点以及视线方向的移动、或体数据的扩大、缩小等的标度。
另外,在第1实施方式中,通过使用由第1方法或第2方法设定的对应信息,能够显示在突出方向与深度方向比例尺不同的标度。另外,在第1实施方式中,根据标度的显示位置,能够变更标度的形状(线段方向)、或标度的尺度。特别的,通过根据标度的显示位置变更标度的尺度,能够大致把握观察者关注的关心区域的尺寸。
(第2实施方式)
另外,上述的第1实施方式以外,也可以在其他的实施方式中实施。因此,以下,示出其他的实施方式。图18A~E、图19、图20A~C以及图21是用于说明第2实施方式的图。
(针对立体观测显示器)
在第1实施方式中,针对立体显示显示器是9视差显示器的情况进行了说明。但是,第1实施方式所说明的标度输出处理也能够应用于立体显示显示器是2视差显示器的情况。即,第1实施方式也可以通过使用符合2视差显示器的规格的“a(θ,S)”以及“b(θ,S)”或函数“F”,来进行对应信息的设定以及标度的确定。
(针对标度)
第1实施方式针对是X方向以及Y方向的标度的XY方向的标度被固定于显示面的纵方向的情况进行了说明。但是,例如,如图18A所示,XY方向的标度也可以根据操作者(观察者)的鼠标操作进行旋转移动。
另外,第1实施方式针对将X方向以及Y方向的标度统一为XY方向的情况进行了说明。但是,例如,如图18B所示,XY方向的标度也可以被分割成X方向以及Y方向的标度。
另外,标度并不限定于如第1实施方式所说明的那样由线段构成的情况。例如,如图18C所示,标度也可以由表示XY方向的标度的平面和表示ZX方向的标度的平面构成。另外,例如,如图18D所示,标度也可以由集中地示出XYZ方向的标度的长方体构成。另外,例如,如图18E所示,标度也可以由集中地示出XYZ方向的标度的球体构成。其中,显示图18C~图18E所示的标度时,为了避免减低立体图像的识别性,优选进行使标度的不透明度例如为“50%”的处理。
另外,作为根据对应信息的尺度,确定部145b也可以确定将立体图像空间分割成网格(grid)状的网格线。即,如图19所示的一个例子那样,标度也可以是使用了网格线的标度。另外,在图19所示的一个例子中,示出了网格线的间隔分别在X方向、Y方向、Z方向是等间隔的情况,但实际上,根据“a(θ,S)”以及“b(θ,S)”或函数“F”,分别在X方向、Y方向、Z方向,网格线的间隔不均匀。另外,根据“a(θ,S)”以及“b(θ,S)”或函数“F”,分别在X方向、Y方向、Z方向的网格线有时是直线,有时是曲线。
这样,通过由网格线将X方向、Y方向以及Z方向的标度显示在立体图像空间整体中,从而观察者能够整体地把握立体图像的实际空间中的尺寸。另外,通过设定使用有函数“F”的对应信息,确定部145b能够确定追随视点以及视线方向的移动、体数据的扩大、缩小等的网格线。另外,通过由网格线将标度显示在立体图像空间整体中,从而观察者能够更立体地识别立体图像。
另外,确定部145b也可以将根据对应信息的尺度所使用的轴的信息从立体图像空间的坐标轴转换成体数据空间的坐标轴。即,确定部145b也可以进行从立体图像空间的标度向体数据空间的标度的转换处理。此时,取得部145a例如根据在图像保管装置120中与体数据对应的附带信息来取得与体数据空间的坐标轴相关的信息。
例如,如图20A以及图20B所示,取得部145a根据摄影时的被检体的姿势,取得在与实际空间对应的体数据空间中,设定z方向是以从脚朝向头的方向为正的方向,x方向是以从右腕朝向左腕的方向为正的方向,y方向是以从背侧朝向腹侧为正的方向的信息。另外,例如,在取得使用函数“F”的对应信息时,取得部145a还取得来自绘制处理时的视点e的视线方向的信息(参照图16)。
在此,如图20A所示,假设来自由取得部145a取得的绘制处理时的视点e的视线方向是沿着从负朝向正的z方向的方向。此时,确定部145b如上述那样确定立体图像空间中的XY方向以及Z方向的标度(参照图20A)。另外,由于XY方向的标度与xy方向的标度对应,Z方向的标度与z方向的标度对应,因此,如图20A所示,作为输出用标度,确定部145b确定xy方向以及z方向的标度。在此,由于从观察者的视点E识别的立体图像的深度方向与z方向的正方向对应,因此,如图20A所示,确定部145b设定z方向的箭头的朝向与Z方向的箭头的朝向相反。
另外,如图20B所示,假设来自由取得部145a取得的绘制处理时的视点e的视线方向是沿着从负朝向正的x方向的方向。此时,确定部145b如上述那样确定立体图像空间中的XY方向以及Z方向的标度(参照图20B)。另外,由于XY方向的标度与yz方向的标度对应,Z方向的标度与x方向的标度对应,因此,如图20B所示,作为输出用标度,确定部145b确定yz方向以及x方向的标度。在此,由于从观察者的视点E识别的立体图像的深度方向与x方向的正方向对应,因此,如图20B所示,确定部145b设定x方向的箭头的朝向与Z方向的箭头的朝向相反。
在此,如图20A以及图20B所示例的那样,当来自绘制处理时的视点e的视线方向不是与xy平面、或yz平面、zx平面正对的方向时,在体数据空间的标度(以下,称为V标度),不适合使用xyz的符号。此时,如图20C所示,确定部145b也可以使二维图像处理部146生成将绘制时的视线方向以及投影时的基准面重叠于由立方体的形状来示意性表示体数据的图形的图像,并将该图像与XY方向以及Z方向的标度作为V标度。
通过进行这样的处理,观察者能够容易地识别自身通过立体显示显示器观察的立体图像是否是在体数据空间中,从任何方向观察到体数据的图像。另外,在上述中,针对与立体图像空间的标度一起,体数据空间的标度被确定为输出用的情况进行了说明,但被确定为输出用的标度也可以仅仅是体数据空间的标度。
在此,从立体图像空间的标度向体数据空间的标度的转换处理也可以应用于将使用图19说明的网格线作为标度的情况。此时,网格线通过分别沿着x方向、y方向、z方向的直线或者曲线来显示。当使用利用有网格线的体数据空间的标度时,可以不进行图20C所示的那样的处理,而对于观察者,能够容易地识别通过立体显示显示器观察的立体图像是否是在体数据空间中从任何方向观察到体数据的图像。
(针对标度显示)
在第1实施方式中,针对输出部145c控制显示由确定部145b确定的标度的情况进行了说明。但是,标度也可以根据观察者的要求,不进行显示。即,输出部145c也可以根据立体显示显示器的观察者的要求,控制是否输出由确定部145b所确定的标度。
即,当观察者观察立体图像时,有时判断为不需要显示出的标度。此时,例如,作为观察者的终端装置140的操作者经由输入部141,输入标度的非显示要求。由此,输出部145c为了不显示显示出的标度,将标度的覆盖图重叠之前的9视差图像转换成中间图像,并输出至显示部142。
(系统构成)
在第1实施方式中,针对在终端装置140中,进行绘制条件的取得、对应信息的设定、标度的确定以及标度的输出的情况进行了说明。但是,第1实施方式也可以在工作站130中,进行绘制条件的取得、对应信息的设定、标度的确定以及标度的输出。此时,如图21所示,控制部135具有与取得部145a对应的取得部135a、与确定部145b对应的确定部135b、以及与输出部145c对应的输出部135c。取得部135a取得绘制条件,确定部135b根据取得部135a所取得的绘制条件设定对应信息,另外,根据对应信息,确定X方向、Y方向以及Z方向的标度。
并且,输出部135c控制由显示部142来输出9视差图像以及标度。具体而言,输出部135c控制绘制处理部136生成标度的覆盖图,另外生成分别将生成的覆盖图重叠于底图(9个视差图像)的输出用二维图像。并且,输出部135c控制通信部133,使得将绘制处理部136所生成的输出用9个二维图像作为9视差图像发送至终端装置140。终端装置140的通信部143将接收到的9视差图像传送至控制部145,控制部145将9视差图像转换成中间图像并输出至显示部142。由此,在显示部142中,将立体图像与XYZ方向的标度同时显示。
另外,在上述实施方式中,针对工作站130进行视差图像组的生成的情况进行了说明。但是,视差图像组的生成也可以通过医用图像诊断装置110来进行。此时,绘制条件的取得、对应信息的设定、标度的确定以及标度的输出也可以通过医用图像诊断装置110来进行。另外,与上述实施方式所说明的“绘制条件的取得、对应信息的设定、标度的确定以及标度的输出”相关的处理也可以只通过医用图像诊断装置110来进行,或只通过工作站130来进行,或只通过终端装置140来进行。例如,取得部135a、确定部135b、以及输出部135c也可以输出显示部132所显示的立体图像的XYZ方向的标度。另外,与上述实施方式所说明的“绘制条件的取得、对应信息的设定、标度的确定以及标度的输出”相关的处理也可以是在医用图像诊断装置110与工作站130之间进行,也可以是在医用图像诊断装置110与终端装置140之间进行。
即,上述的实施方式所说明的“绘制条件的取得、对应信息的设定、标度的确定以及标度的输出”相关的处理能够根据图像处理系统1所包含的各装置的各种的负荷或使用状况等,以任意的单位功能性或物理性地分散、综合来构成。另外,在各装置进行的各处理功能的全部或者任意的一部分通过CPU以及由该CPU解析执行的程序来实现,或者作为基于布线逻辑的硬件来实现得到。
(其他)
另外,上述的实施方式所说明的图像处理方法能够通过由个人计算机(personal computer)或工作站等计算机来执行预先准备好的图像处理程序(program)来实现。该图像处理程序能够经由因特网(internet)等网络(network)来发布。另外,该程序也能够被存储于硬盘、软盘(flexible disk)(FD)、CD-ROM、MO、DVD、Blu-rayDisc(注册商标)等计算机可读的存储介质中,通过由计算机从存储介质中读出来执行。
以上,如所说明的那样,根据第1实施方式以及第2实施方式以及第2实施方式所涉及的变形例,能够在能够立体观测的显示器上显示被观察者立体观测的图像与实际空间对应的尺度。
虽然说明了本发明的几个实施方式,但这些实施方式是作为例子而提示的,并不意图限定本发明的范围。这些实施方式能够以其他的各种形态进行实施,在不脱离发明的要旨的范围内,能够进行各种的省略、置换、变更。这些实施方式或其变形与包含于发明的范围或要旨中一样,包含于权利要求书记载的发明及其均等的范围中。

Claims (9)

1.一种图像处理系统,其特征在于,具备:
取得部,取得为了根据作为三维医用图像数据的体数据来生成作为规定视差数的视差图像的视差图像组而使用的绘制条件;
确定部,根据上述绘制条件所包含的至少构成上述视差图像组的视差图像间的视差角与上述立体显示装置所显示的视差图像组的显示尺寸,来设定将通过参照对上述视差图像组进行显示的立体显示装置而被立体观测的立体图像的空间坐标与上述体数据的摄影部位的空间坐标建立对应的对应信息,并根据上述对应信息,来确定用于将上述立体图像的空间中的相对于上述立体显示装置的显示面垂直的方向的长度换算成上述摄影部位的空间上的长度的尺度;和
输出部,进行输出控制,使得上述尺度在上述立体显示装置上相对于基于上述视差图像组的立体图像重叠显示。
2.根据权利要求1所述的图像处理系统,其特征在于,
上述确定部根据将上述立体图像的空间坐标转换成上述体数据的空间坐标且将上述视差角、上述显示尺寸以及视线方向作为参数的函数,来设定上述对应信息,以及确定用于将上述立体图像的空间中的相对于上述立体显示装置的显示面垂直的方向的长度换算成上述摄影部位的空间上的长度的尺度,并且确定用于将上述立体图像的空间中的上述立体显示装置的显示面中的长度换算成上述摄影部位的空间上的长度的尺度,来作为基于上述对应信息的上述尺度。
3.根据权利要求1所述的图像处理系统,其特征在于,
上述确定部根据上述对应信息,来确定在相对于上述显示面的突出方向与深度方向上成为不同的比例尺的尺度。
4.根据权利要求1所述的图像处理系统,其特征在于,
上述输出部根据上述尺度相对于上述立体图像重叠显示的位置来进行控制,使得变更构成上述尺度的线段的方向。
5.根据权利要求1所述的图像处理系统,其特征在于,
上述确定部确定将上述立体图像的空间分割成网格状的网格线,来作为对应于上述对应信息的上述尺度。
6.根据权利要求1所述的图像处理系统,其特征在于,
上述输出部根据上述立体显示装置的观察者的要求来控制是否重叠显示由上述确定部所确定的上述尺度。
7.根据权利要求1所述的图像处理系统,其特征在于,
上述确定部将对应于上述对应信息的尺度所使用的轴的信息从立体图像空间的坐标轴转换成体数据空间的坐标轴。
8.一种图像处理装置,其特征在于,具备:
取得部,取得为了根据作为三维医用图像数据的体数据来生成作为规定视差数的视差图像的视差图像组而使用的绘制条件;
确定部,根据上述绘制条件所包含的至少构成上述视差图像组的视差图像间的视差角与上述立体显示装置所显示的视差图像组的显示尺寸,来设定将通过参照对上述视差图像组进行显示的立体显示装置而被立体观测的立体图像的空间坐标与上述体数据的摄影部位的空间坐标建立对应的对应信息,并根据上述对应信息,确定用于将上述立体图像的空间中的相对于上述立体显示装置的显示面垂直的方向的长度换算成上述摄影部位的空间上的长度的尺度;和
输出部,进行输出控制,使得上述尺度在上述立体显示装置上相对于基于上述视差图像组的立体图像重叠显示。
9.一种图像处理方法,其特征在于,包含:
取得部取得为了根据作为三维医用图像数据的体数据来生成作为规定视差数的视差图像的视差图像组而使用的绘制条件,
确定部根据上述绘制条件所包含的至少构成上述视差图像组的视差图像间的视差角与上述立体显示装置所显示的视差图像组的显示尺寸,来设定将通过参照对上述视差图像组进行显示的立体显示装置而被立体观测的立体图像的空间坐标和上述体数据的摄影部位的空间坐标建立对应的对应信息,并根据上述对应信息,来确定用于将上述立体图像的空间中的相对于上述立体显示装置的显示面垂直的方向的长度换算成上述摄影部位的空间上的长度的尺度,
输出部进行输出控制,使得上述尺度在上述立体显示装置上相对于基于上述视差图像组的立体图像重叠显示。
CN201210191814.9A 2011-06-13 2012-06-11 图像处理系统、图像处理装置以及图像处理方法 Active CN102984532B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-131518 2011-06-13
JP2011131518A JP5909055B2 (ja) 2011-06-13 2011-06-13 画像処理システム、装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
CN102984532A true CN102984532A (zh) 2013-03-20
CN102984532B CN102984532B (zh) 2016-09-28

Family

ID=46650325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210191814.9A Active CN102984532B (zh) 2011-06-13 2012-06-11 图像处理系统、图像处理装置以及图像处理方法

Country Status (4)

Country Link
US (1) US9578303B2 (zh)
EP (1) EP2536156B1 (zh)
JP (1) JP5909055B2 (zh)
CN (1) CN102984532B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104127206A (zh) * 2013-05-02 2014-11-05 株式会社东芝 超声波诊断装置以及医用图像处理装置
CN104284177A (zh) * 2014-10-28 2015-01-14 天津大学 会聚立体图像视差控制方法
CN109983767A (zh) * 2016-11-24 2019-07-05 株式会社尼康 图像处理装置、显微镜系统、图像处理方法及计算机程序
CN110998659A (zh) * 2017-08-14 2020-04-10 乐天株式会社 图像处理系统、图像处理方法、及程序
CN111510590A (zh) * 2015-03-10 2020-08-07 株式会社理光 图像处理系统、图像处理方法
CN112204383A (zh) * 2018-05-30 2021-01-08 株式会社尼康 信息处理装置、信息处理方法、信息处理程序以及显微镜
CN115118952A (zh) * 2016-05-13 2022-09-27 索尼公司 信息处理装置和信息处理方法以及再现装置和再现方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5818531B2 (ja) 2011-06-22 2015-11-18 株式会社東芝 画像処理システム、装置及び方法
US9525825B1 (en) * 2012-09-25 2016-12-20 Amazon Technologies, Inc. Delayed image data processing
US10445867B2 (en) 2016-07-13 2019-10-15 The Boeing Company System and method for generating enhanced stereographic videos of aircraft build processes
KR102547821B1 (ko) 2016-11-25 2023-06-26 삼성전자주식회사 3d 디스플레이 장치
US11210844B1 (en) 2021-04-13 2021-12-28 Dapper Labs Inc. System and method for creating, managing, and displaying 3D digital collectibles
US11099709B1 (en) 2021-04-13 2021-08-24 Dapper Labs Inc. System and method for creating, managing, and displaying an interactive display for 3D digital collectibles
USD991271S1 (en) 2021-04-30 2023-07-04 Dapper Labs, Inc. Display screen with an animated graphical user interface
US11227010B1 (en) 2021-05-03 2022-01-18 Dapper Labs Inc. System and method for creating, managing, and displaying user owned collections of 3D digital collectibles
US11170582B1 (en) 2021-05-04 2021-11-09 Dapper Labs Inc. System and method for creating, managing, and displaying limited edition, serialized 3D digital collectibles with visual indicators of rarity classifications
US11533467B2 (en) * 2021-05-04 2022-12-20 Dapper Labs, Inc. System and method for creating, managing, and displaying 3D digital collectibles with overlay display elements and surrounding structure display elements
WO2023188511A1 (ja) * 2022-03-29 2023-10-05 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080144773A1 (en) * 2005-04-20 2008-06-19 Visionsense Ltd. System and Method for Producing an Augmented Image of an Organ of a Patient
US20110021936A1 (en) * 2009-07-24 2011-01-27 Shen Luo Medical data display with 3-D and 2-D color mapping
US20110107270A1 (en) * 2009-10-30 2011-05-05 Bai Wang Treatment planning in a virtual environment

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0774725B2 (ja) * 1989-08-21 1995-08-09 株式会社機動技研 Tv画像上での測長方法
JP3081383B2 (ja) * 1992-09-29 2000-08-28 富士通株式会社 3次元ボリュームデータの量子化方式
JP3579162B2 (ja) * 1995-06-29 2004-10-20 松下電器産業株式会社 立体cg画像生成装置
JPH10170227A (ja) * 1996-12-12 1998-06-26 Canon Inc 表示装置
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP4625805B2 (ja) * 2003-07-11 2011-02-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元モデルをスケーリングする方法及びスケーリングユニット
JP4015090B2 (ja) 2003-09-08 2007-11-28 株式会社東芝 立体表示装置および画像表示方法
JP2005136726A (ja) * 2003-10-30 2005-05-26 Canon Inc 立体画像表示装置、立体画像表示システム、立体画像表示方法及びプログラム
JP2006101329A (ja) * 2004-09-30 2006-04-13 Kddi Corp 立体視画像観察装置ならびにその共有サーバ、クライアント端末およびピア・ツー・ピア端末、レンダリング画像生成方法および立体視画像表示方法ならびにそのプログラムおよび記憶媒体
JP4753711B2 (ja) * 2005-12-22 2011-08-24 株式会社キーエンス 3次元画像表示装置、3次元画像表示装置の操作方法、3次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
US20090147073A1 (en) * 2007-12-11 2009-06-11 David Getty Methods and Systems for Stereoscopic Three Dimensional Viewing
JP5166120B2 (ja) * 2008-05-26 2013-03-21 株式会社東芝 医用画像表示装置及び医用画像表示プログラム
CN102326395A (zh) * 2009-02-18 2012-01-18 皇家飞利浦电子股份有限公司 3d观看者元数据的传送

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080144773A1 (en) * 2005-04-20 2008-06-19 Visionsense Ltd. System and Method for Producing an Augmented Image of an Organ of a Patient
US20110021936A1 (en) * 2009-07-24 2011-01-27 Shen Luo Medical data display with 3-D and 2-D color mapping
US20110107270A1 (en) * 2009-10-30 2011-05-05 Bai Wang Treatment planning in a virtual environment

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104127206A (zh) * 2013-05-02 2014-11-05 株式会社东芝 超声波诊断装置以及医用图像处理装置
CN104284177A (zh) * 2014-10-28 2015-01-14 天津大学 会聚立体图像视差控制方法
CN111510590A (zh) * 2015-03-10 2020-08-07 株式会社理光 图像处理系统、图像处理方法
CN111510590B (zh) * 2015-03-10 2022-08-19 株式会社理光 图像处理系统、图像处理方法
US11659282B2 (en) 2015-03-10 2023-05-23 Ricoh Company, Ltd. Image processing system and image processing method
CN115118952A (zh) * 2016-05-13 2022-09-27 索尼公司 信息处理装置和信息处理方法以及再现装置和再现方法
CN109983767A (zh) * 2016-11-24 2019-07-05 株式会社尼康 图像处理装置、显微镜系统、图像处理方法及计算机程序
CN110998659A (zh) * 2017-08-14 2020-04-10 乐天株式会社 图像处理系统、图像处理方法、及程序
CN110998659B (zh) * 2017-08-14 2023-12-05 乐天集团股份有限公司 图像处理系统、图像处理方法、及程序
CN112204383A (zh) * 2018-05-30 2021-01-08 株式会社尼康 信息处理装置、信息处理方法、信息处理程序以及显微镜

Also Published As

Publication number Publication date
EP2536156B1 (en) 2021-07-21
EP2536156A2 (en) 2012-12-19
JP2013005052A (ja) 2013-01-07
EP2536156A3 (en) 2016-09-21
JP5909055B2 (ja) 2016-04-26
US20120313933A1 (en) 2012-12-13
CN102984532B (zh) 2016-09-28
US9578303B2 (en) 2017-02-21

Similar Documents

Publication Publication Date Title
CN102984532A (zh) 图像处理系统、图像处理装置以及图像处理方法
CN102892018B (zh) 图像处理系统、装置、方法以及医用图像诊断装置
CN102843564B (zh) 图像处理系统、装置以及方法
CN102892016B (zh) 图像显示系统、装置、方法以及医用图像诊断装置
JP6211764B2 (ja) 画像処理システム及び方法
CN102860837B (zh) 图像处理系统、装置、方法以及医用图像诊断装置
CN102893308B (zh) 图像处理系统、装置以及方法
CN102833562B (zh) 图像处理系统以及方法
CN103444194B (zh) 图像处理系统、图像处理装置以及图像处理方法
CN103702612A (zh) 图像处理系统、装置、方法以及医用图像诊断装置
CN102915557A (zh) 图像处理系统、终端装置以及方法
CN102892022B (zh) 图像处理系统、图像处理装置以及图像处理方法
CN102892015B (zh) 图像处理装置、图像处理方法以及医用图像诊断装置
CN102821695A (zh) 图像处理系统、装置、方法以及程序
CN102892017B (zh) 图像处理系统、装置、方法以及医用图像诊断装置
CN102833570B (zh) 图像处理系统、装置以及方法
CN103356290B (zh) 医用图像处理系统以及方法
CN102860836B (zh) 图像处理装置、图像处理方法以及医用图像诊断装置
CN103403770A (zh) 图像处理系统以及方法
CN102890748B (zh) 图像处理系统、装置、 方法以及医用图像诊断装置
JP5813986B2 (ja) 画像処理システム、装置、方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160729

Address after: Japan Tochigi

Applicant after: Toshiba Medical System Co., Ltd.

Address before: Tokyo, Japan, Japan

Applicant before: Toshiba Corp

Applicant before: Toshiba Medical System Co., Ltd.

C14 Grant of patent or utility model
GR01 Patent grant