CN104574485A - 基于手持设备的医学图像重建的控制方法及控制系统 - Google Patents

基于手持设备的医学图像重建的控制方法及控制系统 Download PDF

Info

Publication number
CN104574485A
CN104574485A CN201310501256.6A CN201310501256A CN104574485A CN 104574485 A CN104574485 A CN 104574485A CN 201310501256 A CN201310501256 A CN 201310501256A CN 104574485 A CN104574485 A CN 104574485A
Authority
CN
China
Prior art keywords
handheld device
plane
mpr
manipulated
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310501256.6A
Other languages
English (en)
Other versions
CN104574485B (zh
Inventor
荣成城
上官晓清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN201310501256.6A priority Critical patent/CN104574485B/zh
Publication of CN104574485A publication Critical patent/CN104574485A/zh
Application granted granted Critical
Publication of CN104574485B publication Critical patent/CN104574485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Abstract

一种基于手持设备的医学图像重建的控制方法及控制系统,所述方法包括:建立手持设备与三维影像工作站的连接,所述三维影像工作站存储有若干多平面重建MPR平面;基于手持设备的姿态感知信息,确定所述手持设备对应在所述三维影像工作站的坐标系统中的第一平面;分别计算所述第一平面与各MPR平面的距离,以选定被操控的MPR平面;通过所述手持设备对所述被操控的MPR平面进行操作。所述方法将手持设备应用于医学图像三维重建的工作流中,基于所述手持设备的姿态感知信息可以简单、方便的确定当前需要操控的MPR平面,可以简便实现对于MPR平面的操控,用户体验度较高。

Description

基于手持设备的医学图像重建的控制方法及控制系统
技术领域
本发明涉及医学图像重建控制领域,尤其涉及一种基于手持设备的医学图像重建的控制方法及控制系统。
背景技术
随着计算机断层造影术(CT,Computerized Tomography)、核磁共振成像(MRI,Magnetic Resonance Imaging)、正电子发射断层摄影(PET,PositronEmission Tomography)等医学影像技术的快速发展,CT、MRI和PET等医学成像设备在医疗领域已得到了广泛的应用,但是这些医学成像设备只能提供二维图像。医学图像的三维重建可以对CT、MRI和PET等图像序列进行处理,根据输入的断层图像序列,经分割和提取后,构造成三维几何模型,三维重建是进行医学诊断的重要工作。
现在用于临床三维重建方法中,较为常用的一种方法是多平面重建(MPR,Multi-Planar Reformation),所述多平面重建将所扫描范围内所有原始横轴位图像叠加起来,再对某些标定线段或曲线所指定的组织进行冠状位、矢状位、横轴位和任意角度进行图像重组,重建后的图像仍是二维的断面图像。基于上述方法,医生可以获得三维体数据在空间中任意某个平面上的二维图像,进而可以从所述冠状面、矢状面、横断面三个空间方位上显示病变与周围结构的关系,使病变的细微结构、病变和血管周围组织的关系显示得更清楚,为诊断提供更多的信息。当医生想得到患者某个组织或者器官的某一个切割面的信息的时候,通过所述MPR方法可以对三维体数据在某一个角度、位置进行截断,获取相应的切割平面的图像,即得到相应的MPR平面的图像,通常在三维影像工作站中会存储有多个MPR平面的二维图像。
但是,目前在医生通过三维影像工作站操控MPR平面,即操控所述切割平面进行医学诊断的时候,通常都是通过鼠标、键盘等方式对所述MPR平面进行操控,当三维体数据上存在多个MPR平面的时候,通常需要先通过鼠标、键盘等方式从三维影像工作中所存储的若干个MPR平面中进行平面选取,然后对所选取的平面进行操控,但当MPR平面数量较多的时候,通过鼠标、键盘等方式选取MPR平面进而对所述MPR平面进行操控是比较繁琐、不便的,用户体验度不高。
发明内容
本发明解决的问题是通过鼠标、键盘等方式选取MPR平面,并对所述MPR平面进行操控的过程繁琐、不便且用户体验度不高的问题。
为解决上述问题,本发明技术方案提供一种基于手持设备的医学图像重建的控制方法,所述方法包括:
建立手持设备与三维影像工作站的连接,所述三维影像工作站存储有若干多平面重建MPR平面;
基于手持设备的姿态感知信息,确定所述手持设备对应在所述三维影像工作站的坐标系统中的第一平面;
分别计算所述第一平面与各MPR平面的距离,以选定被操控的MPR平面;
通过所述手持设备对所述被操控的MPR平面进行操作。
可选的,所述被操控的MPR平面为与所述第一平面距离最近的MPR平面。
可选的,所述方法还包括:当与所述第一平面距离最近的MPR平面具有多个时,选择其中一个MPR平面为所述被操控的MPR平面。
可选的,计算第一平面与MPR平面的距离是指在由医学图像的三维体数据所确定的空间范围内,计算第一平面的中心点到MPR平面的距离。
可选的,所述对所述被操控的MPR平面进行操作包括:
基于手持设备的信息控制所述被操控的MPR平面执行相应的操作,所述手持设备的信息包括所述手持设备的姿态变化信息和所述手持设备所识别的用户手势信息中的至少一种信息。
可选的,所述手持设备的姿态变化信息包括所述手持设备的移动信息、旋转信息和翻转信息中的至少一种姿态变化信息。
可选的,所述基于手持设备的信息控制所述被操控的MPR平面执行相应的操作包括:
在同步操控模式,控制所述被操控的MPR平面执行与所述手持设备的姿态变化相同的动作;
在增量操控模式,基于所述手持设备的姿态变化确定位移,按照所确定的位移移动所述被操控的MPR平面。
可选的,所述手持设备的姿态变化信息为所述手持设备旋转信息,所述基于手持设备的信息控制所述被操控的MPR平面执行相应的操作包括:固定所述被操控的MPR平面的中心点,控制所述被操控的MPR平面旋转。
可选的,所述基于手持设备的信息控制所述被操控的MPR平面执行相应的操作包括:控制被操控的MPR平面执行与用户手势相应的动作,所述与用户手势相应的动作包括窗宽调整、平移、缩放和旋转中的至少一种动作。
可选的,所述方法还包括:在对用户手势进行识别之前,锁定所述被操控的MPR平面的位置。
可选的,所述方法还包括:在屏幕上显示医学图像的三维体数据在操作后的MPR平面上的二维图像,所述屏幕包括三维影像工作站的显示屏幕和所述手持设备的显示屏幕中的至少一种屏幕。
可选的,所述方法还包括:当操作后的MPR平面移到由医学图像的三维体数据所确定的空间范围之外时,提供提示信息。
本发明技术方案还提供一种医学图像重建的控制系统,所述控制系统包括手持设备和三维影像工作站;所述手持设备包括第一通信单元和平面检测单元,所述三维影像工作站包括第二通信单元和操作单元,所述三维影像工作站存储有若干多平面重建MPR平面;
所述第一通信单元和第二通信单元适于建立手持设备与三维影像工作站的连接;
所述平面检测单元适于计算第一平面与各MPR平面的距离,以选定被操控的MPR平面,所述第一平面为基于手持设备的姿态感知信息所确定的所述手持设备对应在所述三维影像工作站的坐标系统中的平面;
所述操作单元适于通过所述手持设备对所述被操控的MPR平面进行操作。
可选的,所述第一通信单元和第二通信单元还适于将所述平面检测单元选定的所述被操控的MPR平面的信息传送至所述三维影像工作站。
可选的,所述被操控的MPR平面为与所述第一平面距离最近的MPR平面。
可选的,所述手持设备还包括姿态识别单元或手势识别单元中的至少一个单元;所述姿态识别单元适于识别所述手持设备的姿态变化,所述手势识别单元适于识别用户手势;
所述第一通信单元和第二通信单元还适于将手持设备的信息传送至所述三维影像工作站,所述手持设备的信息包括所述手持设备的姿态变化信息和所述手持设备所识别的用户手势信息中的至少一种信息;
所述操作单元适于基于手持设备的信息控制所述被操控的MPR平面执行相应的操作。
与现有技术相比,本发明的技术方案具有以下优点:
通过建立手持设备与三维影像工作站的连接,可以基于手持设备的姿态感知信息确定所述手持设备对应在所述三维影像工作站的坐标系统中的第一平面,基于所述第一平面与所述三维影像工作站存储的若干多平面重建MPR平面之间的距离,确定被操控的MPR平面,进而实现通过所述手持设备对所述被操控的MPR平面进行操作,该方法将手持设备应用于医学图像三维重建的工作流中,基于所述手持设备的姿态感知信息可以简单、方便的确定当前需要操控的MPR平面,可以简便实现对于MPR平面的操控,用户体验度较高。
进一步,可以基于手持设备的移动信息、旋转信息和翻转信息等姿态变化信息控制所述被操控的MPR平面执行相应的移动、旋转和翻转等操作,可以简单、方便的实现对于所述被操控的MPR平面的操控。
进一步,也可以基于所述手持设备所识别的用户手势信息控制所述被操控的MPR平面执行与用户手势相应的动作,例如,可以控制所述被操控的MPR平面执行与用户手势相应的窗宽调整、平移、缩放和旋转等操作,可以简单、方便的实现对于所述被操控的MPR平面的操控。
附图说明
图1是本发明技术方案提供的基于手持设备的医学图像重建的控制方法的流程示意图;
图2是本发明实施例一提供的基于手持设备的医学图像重建的控制方法的流程示意图;
图3是本发明实施例二提供的基于手持设备的医学图像重建的控制方法的流程示意图;
图4是本发明实施例二提供的基于手持设备的医学图像重建的控制过程中的各模式的切换示意图;
图5是本发明技术方案提供的医学图像重建的控制系统的结构示意图。
具体实施方式
为了解决现有技术中通过鼠标、键盘等方式选取MPR平面,并对所述MPR平面进行操控的过程繁琐、不便且用户体验度不高的问题,本发明技术方案提供一种基于手持设备的医学图像重建的控制方法,在该方法中,可以基于手势设备的姿态感知信息选取MPR平面,进而实现对所选取的MPR平面的操控。
图1是本发明技术方案提供的基于手持设备的医学图像重建的控制方法的流程示意图,如图1所示,首先执行步骤S101,建立手持设备与三维影像工作站的连接。
在医学图像重建的过程中,三维影像工作站可以将计算机数据存储技术、数字图像处理处理技术集为一体,其具有提升医学数据自动分析能力的图像处理库,在所述三维影像工作站中可以实现医学图像数据的存储和医学图像及其它信息的显示处理。
可以通过现有技术中的多种技术手段建立手持设备与三维影像工作站之间的连接,例如,手持设备可以通过无线网络与三维影像工作站建立连接,在三维影像工作站可以配置一个可访问的IP地址,然后对手持设备进行网络配置,使其可以通过IP地址访问、连接所述三维影像工作站。手持设备与三维影像工作站之间可以采用现有技术中的多种手段建立连接,在此不作限定。
执行步骤S102,基于手持设备的姿态感知信息,确定所述手持设备对应在所述三维影像工作站的坐标系统中的第一平面。
所述手持设备和所述三维影像工作站建立连接之后,可以基于所述手持设备的姿态感知元件获取所述姿态感知信息,所述姿态感知元件包括加速度传感器、陀螺仪等,可以基于加速度传感器的敏感轴的偏转角、陀螺仪输出的敏感轴的角速度等信息获取手持设备的位置信息以及姿态信息等,例如可以得到所述手持设备的空间位置信息。
在所述三维影像工作站中,基于MPR平面的空间信息、MPR平面的图像的三维体数据等信息可以建立相应的三维空间坐标系统,在确定手持设备的姿态感知信息后,就可以确定所述手持设备对应在所述三维空间坐标系统中的平面位置。
可以在所述三维空间坐标系统中给定一个位置,将其作为所述手持设备对应在所述三维空间坐标系统的初始位置。基于所述初始位置,可以确定所述手持设备对应在所述三维影像工作站的坐标系统中的平面位置,在本申请文件中,将所述手持设备对应在所述三维影像工作站的坐标系统中的平面称为第一平面。举例来说,可以将手持设备的屏幕所在的平面对应在所述三维影像工作站的坐标系统中的平面确定为第一平面的位置。
执行步骤S103,分别计算所述第一平面与各MPR平面的距离,以选定被操控的MPR平面。
通过计算第一平面与存储在三维影像工作站中的各MPR平面之间的距离,确定被操控的MPR平面。在本申请文件中,所述计算第一平面与MPR平面的距离是指在由医学图像的三维体数据所确定的空间范围内,计算第一平面到MPR平面的距离,可以通过计算第一平面的中心点到各个MPR平面的距离,确定所述第一平面距离各个MPR平面的距离。
可以将与所述第一平面距离最近的MPR平面,选定为被操控的MPR平面,也可以通过其它方式选定被操控的MPR平面。例如,也可以基于一定的权值运算选定被操控的MPR平面,在此不作限定。
执行步骤S104,通过所述手持设备对所述被操控的MPR平面进行操作。
在选定被操控的MPR平面后,可以基于手持设备的信息控制所述被操控的MPR平面执行相应的操作,所述手持设备的信息包括所述手持设备的姿态变化信息和所述手持设备所识别的用户手势信息中的至少一种信息。例如,可以基于所述手持设备的移动、旋转、翻转等姿态变化信息控制所述被操控的MPR平面执行相应的移动、旋转、翻转等操作;也可以控制被操控的MPR平面执行与用户手势相应的动作,例如执行与用户手势动作相应的窗宽调整、平移、缩放、旋转等操作中至少一种动作;也可以结合所述手持设备的姿态变化信息和所述手持设备所识别的用户手势信息对所述被操控的MPR平面进行操作。
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
实施例一
在本实施例中,在手持设备的医学图像重建的过程中,首先基于手持设备的姿态感知信息,确定所述手持设备对应在所述三维影像工作站的坐标系统中的第一平面,基于所述第一平面信息确定被操控的MPR平面,基于手持设备的姿态变化信息控制所述被操控的MPR平面执行相应的操作。
图2是本实施例提供的基于手持设备的医学图像重建的控制方法的流程示意图,如图2所示,首先执行步骤S201,建立手持设备与三维影像工作站的连接。请参考步骤S101。
执行步骤S202,确定第一平面。
基于手持设备的姿态感知信息,确定所述手持设备对应在所述三维影像工作站的坐标系统中的第一平面。请参考步骤S102。
执行步骤S203,计算第一平面的中心点到MPR平面的距离。
在由医学图像的三维体数据所确定的空间范围内,计算第一平面的中心点到MPR平面的距离。所述第一平面的中心点可以通过第一平面的横向中轴线和纵向中轴线的交点确定,也可以采用其它方式确定所述中心点。所述第一平面的中心点到MPR平面的距离可以采用点到平面的距离的多种计算方法获取,例如可以通过获取所述中心点到平面的垂直距离获得点到平面的距离。在此步骤中,计算第一平面的中心点与所述三维影像工作站中存储的每一个MPR平面之间的距离,可以获取多个距离值。
执行步骤S204,确定被操控的MPR平面。
由步骤S203可以得到第一平面的中心点与所述三维影像工作站中存储的每一个MPR平面之间的距离,将与所述第一平面距离最近的MPR平面确定为被操控的MPR平面,所述被操控的MPR平面也可以称作是被激活的MPR平面。
当由步骤S203确定的与所述第一平面距离最近的MPR平面具有多个时,即当出现有多个MPR平面距离手持设备的距离都是最近距离时,可以任意选择其中一个MPR平面为所述被操控的MPR平面,也可以按照一定的规则从中选取一个MPR平面作为所述被操控的MPR平面,例如可以通过随机数生成算法从中选取一个MPR平面作为所述被操控的MPR平面。
在具体实施时,当与所述第一平面距离最近的MPR平面具有多个时,可以在手持设备的屏幕上呈现不同颜色的按钮,一一对应于与所述第一平面距离最近的不同的MPR平面,用户通过触碰不同颜色的按钮,选取对应的MPR平面作为被触控的MPR平面。可以通过语音、震动等方式提示用户进行选择,例如可以通过语音提示用户不同颜色的按钮分别代表的具体的MPR平面信息,或者通过震动的方式提醒用户依据屏幕显示信息进行选择。
由步骤S204可以完成平面的拾取工作,即可以确定被操控的MPR平面。
执行步骤S205,获取手持设备的姿态变化信息。
基于所述手持设备的姿态感知元件获取所述姿态变化信息,所述手持设备的姿态变化信息包括所述手持设备的移动信息、旋转信息和翻转信息中的至少一种姿态变化信息。本领域技术人员可以采用现有技术中的多种方法获取所述姿态变化信息,在此不再赘述。
执行步骤S206,判断用户选取的操控模式。
在基于手持设备的姿态变化信息对所述被操控的MPR平面进行控制的方式可以有多种,在本实施例中,给出同步操控模式和增量操控模式两种具体的操控模式,在其他实施例中,也可以有其它操控模式。
所述同步操控模式是指用户可以控制所述被操控的MPR平面执行与所述手持设备的姿态变化相同的动作,被操控的MPR平面始终与手持设备的空间姿态变化保持同步的动作。例如,手持设备旋转时,被操控的MPR平面相应的进行旋转等。
所述增量操控模式是指用户基于所述手持设备的姿态变化确定位移,按照所确定的位移移动所述被操控的MPR平面,举例来说,在增量模式下,MPR平面以上次动作结束时的位置为初始位置,之后基于所述手持设备的位移增量,在所述初始位置的基础上计算所述被操控的MPR平面的位移。
在具体实施时,可以设定相应的按钮,在此处可以称为增量按钮,当用户按下增量按钮时,计算此时手持设备的位移,则MPR平面以上次动作结束时的位置结合计算得到的此时手持设备的位移,即为MPR平面的位移量,当用户松开增量按钮时,记录MPR平面位置作为本次动作结束时的位置,此时手持设备的位置的变化并不会影响MPR平面位置,当再次按下增量按钮时,则重新计算按下增量按钮时刻开始的手持设备的位移量,并基于MPR平面上次动作结束时的位置和按下增量按钮时刻开始的手持设备的位移量得到MPR平面的位移量。
用户可以根据实际操作需求选取不同的操控模式,即选取所述同步操控模式或者增量操控模式,可以通过在手持设备上设置相应的操控按钮进行不同的操控模式之间的切换。在本实施例中,给出了上述增量操控模式和同步操控模式,在其他实施例中,也可以给出其他操控模式,例如,也可以固定所述被操控的MPR平面的中心点,并通过旋转所述手持设备使得所述被操控的MPR平面绕一定的轴线进行旋转,例如绕所述被操控的MPR平面的纵向中轴线或者横向中轴线等进行旋转,具体操控方式在此不作限定。
在步骤S206中,判断用户选择的操控模式,即确定用户操控MPR平面的模式,如果是同步操控模式,则执行步骤S207,否则执行步骤S208。
步骤S207,控制所述被操控的MPR平面执行与所述手持设备的姿态变化相同的动作。
可以基于所述手持设备的移动、旋转、翻转等姿态变化信息控制所述被操控的MPR平面执行相应的移动、旋转、翻转等操作。
步骤S208,基于所述手持设备的姿态变化确定位移,按照所确定的位移移动所述被操控的MPR平面。
如上所述,在增量控制模式下,可以通过增量控制按钮实现对于所述手持设备的位移的确定,需要说明的是,在增量模式下,手持设备的姿态的变化也不局限于位移的变化,在其他实施例中,也可以采用类似的方式实现基于手持设备的姿态变化和操控MPR平面进行相应的变化,例如可以基于所述手持设备的旋转角度,确定被操控的MPR平面的旋转角度等。
在步骤S207或者步骤S208之后,执行步骤S209,判断被操控的MPR平面是否移动到空间范围之外。
如果判断结果为是,即当前当操作的MPR平面移到由医学图像的三维体数据所确定的空间范围之外时,则执行步骤S210,给用户提供相关的提示信息,例如,可以提示用户当前被操控的MPR平面已处于由医学图像的三维体数据所确定的空间范围之外,提示用户将被操控的MPR平面移动至所述空间范围之内,以使得被操控的MPR平面始终有重建结果可以显示。所述提示信息可以通过画面、语音等方式进行提醒。
如果判断结果为否则执行步骤S211。
步骤S211,判断是否完成操控。
判断用户是否完成对被操控的MPR平面的操控,如果是,则结束操控流程;否则返回执行步骤S205,继续基于手持设备的姿态变化控制被操控的MPR平面。
在上述操作过程中,用户可以在完成对被操控的MPR平面的操控后,可以通过手持设备相应的热键、功能按钮等重新返回MPR平面拾取的步骤,即可以返回执行步骤S204,重新选择下一个需要进行操控的MPR平面。在返回步骤S204重新确定被操控的MPR平面的时候,可以对已经完成操控的MPR平面进行标示,可以在未被标示的MPR平面中重新确定需要进行操控的MPR平面,例如可以在未被标示的MPR平面中,选取距离第一平面最近的MPR平面作为重新确定的被操控MPR平面。
在其他实施例中,用户也可以在完成对被操控的MPR平面的操控后,返回执行步骤S202,重新确定第一平面,即在其他实施例中,也可以不固定所述手持设备对应在三维空间坐标系统中的初始位置,而是根据手持设备的实际的空间位置确定其对应在三维空间坐标系统中的初始位置,进而重新确定第一平面的位置。在重新确定第一平面位置之后,则可以执行步骤S203及后续步骤,重新确定被操控的MPR平面,并对其进行相应的操控。
在用户对被操控的MPR平面进行操控的过程中,可以在PC端的三维影像工作站的显示屏幕上显示相关的操作结果。为了保证手持设备与三维影像工作站显示的MPR平面可以达到同步的性能,在手持设备和三维影像工作站之间可以定义相应的私有协议,通过私有协议可以将手持设备实时的信息传输给PC端的三维影像工作站,可以有效保证信息传输的高效性。信息被PC端接收到之后,PC端可以调用相应的指令以及相应的接口程序实现对于被操控平面的相应的操作动作,并在三维影像工作站的显示屏幕、所述手持设备的显示屏幕上显示医学图像的三维体数据在操作后的MPR平面上的二维图像,便于用户直观了解操作结果。
在本实施例中,基于所述手持设备的姿态感知信息可以简单、方便的确定当前需要操控的MPR平面,进一步,可以基于手持设备的移动信息、旋转信息和翻转信息等姿态变化信息控制所述被操控的MPR平面执行相应的移动、旋转和翻转等操作,用户可以根据需要选择不同的操控模式,可以简单、方便的实现对于所述被操控的MPR平面的操控,提高用户的体验度。
实施例二
在本实施例中,在手持设备的医学图像重建的过程中,首先基于手持设备的姿态感知信息,确定所述手持设备对应在所述三维影像工作站的坐标系统中的第一平面,基于所述第一平面信息确定被操控的MPR平面,之后用户可以根据的不同的需求选择进入不同的操控模式,在MPR平面操控模式中,用户可以使用预定义的手势对所述被操控的平面进行操控。
图3是本实施例提供的基于手持设备的医学图像重建的控制方法的流程示意图,如图3所示,首先执行如步骤S301,建立手持设备与三维影像工作站的连接。请参考步骤S101。
执行步骤S302,确定第一平面。
基于手持设备的姿态感知信息,确定所述手持设备对应在所述三维影像工作站的坐标系统中的第一平面。请参考步骤S102。
执行步骤S303,计算第一平面的中心点到MPR平面的距离。请参考实施例一步骤S203。
执行步骤S304,确定被操控的MPR平面。请参考实施例一步骤S204。
执行步骤S305,确定用户选取的操控模式。
在本实施例中,仍以同步操控模式和增量操控模式两种具体的操控模式为例进行说明,用户可以通过手持设备上相应的操控按钮进入不同的操控模式,当用户选择相应的操控按钮后,即可确定用户选取的操控模式。
执行步骤S306,锁定所述被操控的MPR平面。
当用户进入相应的操控模式后,仍然可以采用如实施例一步骤S207或者步骤S208所述的操控方式,基于手持设备的姿态变化信息对被操控的MPR平面进行相应的操控。在用户对所述MPR平面操控的过程中,用户也可以根据用户的手势对被操控的MPR平面进行控制,为了避免由于手持设备的移动而导致MPR平面位置发生变化,可以将所述被操控的MPR平面位置进行锁定。所述被操控的MPR平面锁定之后,手持设备就会解除与MPR平面的关联,MPR平面不会随着手持设备的姿态的变化而进行相应的变化。
在其他实施例中,当用户通过手持设备上的相应的操控按钮进入具体的操控模式后,也可以不基于手持设备的姿态变化信息对被操控的MPR平面进行相应的操控,而直接将被操控的MPR平面锁定,基于用户的手势信息对被操控的MPR平面进行操控。例如在同步操控模式下,控制所述被操控的MPR平面执行与用户手势变化相同的动作,在增量操控模式下,则可以基于用户手势的变化确定位移,按照所确定的位移移动所述被操控的MPR平面。
在另外一种实施方式中,在步骤S304之后直接执行步骤S306,即在确定被操控的MPR平面后,则直接锁定被操控的MPR平面,基于预先设定的相应的与用户手势对应的操控规则,对所述被操控的MPR平面进行操控。此处也可以理解为是和同步操控模式、增量操控模式类似的另外一种操控模式(基于手势的操控模式),在步骤S304确定被操控的MPR平面后,进入基于手势的操控模式,执行步骤S306锁定所述被操控的MPR平面。
执行步骤S307,对用户的手势进行识别。
可以采用现有技术中的多种手势识别技术对用户的手势进行识别,在系统中,可以预设一些手势用于操控MPR平面,例如可以预设用于控制被操控的MPR平面进行缩放、平移、旋转、调整窗宽等操作的手势。在此步骤中,对用户的手势进行识别,以确定其是否为预设的用于操控MPR平面的手势。
执行步骤S308,基于所识别的用户手势信息控制所述被操控的MPR平面执行相应的操作。
可以控制被操控的MPR平面执行与用户手势相应的动作,例如执行与用户手势动作相应的窗宽调整、平移、缩放、旋转等操作中至少一种动作。
在所述被操控的MPR平面执行与用户手势相应的动作之后,用户可以选择结束操控流程;也可以返回执行步骤S307,继续对用户的手势进行识别,继续操控该MPR平面;也可以返回执行步骤S304,重新选择下一个需要进行操控的MPR平面。
为了对本实施例可以更好的进行说明,图4给出了MPR平面拾取模式、操控模式、平面操作模式之间的切换示意图,如图4所示,首先在初始环节中完成手持设备与三维影像工作站的连接、确定所述手持设备对应在所述三维影像工作站的坐标系统中的第一平面等工作。
然后进入如图4所示的MPR平面拾取模式,即进入基于所述第一平面信息确定被操控的MPR平面的流程。
在确定被操控的MPR平面后,可以根据用户的实际需求进入不同的操控模式,进入如图4所示的MPR平面增量操控模式或者MPR平面同步操控模式,两种模式之间是可以通过功能按钮等进行切换的,可以从一种模式退出而进入另外一种模式。
在用户进入选定的操控模式后,则可以基于手持设备所识别的用户手势信息控制所述被操控的MPR平面执行相应的操作,进入如图4所示的平面操作模式。在对平面执行操作的过程中,为了避免由于手持设备的移动而导致MPR平面发生变化,可以将所述被操控的MPR平面进行锁定。在执行相关的操作后,用户也可以通过解锁操作解除平面的锁定,但由于在锁定的时候已解除了手持设备与被操控的MPR平面的关联,所以解锁之后可以返回MPR平面增量操控模式,基于手持设备的位移变化信息等可以对当前被操控的MPR平面进行相应的位移变化操作。如果用户需要进入同步操控模式,则可以通过再次进入MPR平面拾取模式完成选取被操控的MPR平面,使得被操控的MPR平面和手持设备进行关联,之后进行相应的操作。
需要说明的是,在本实施例中,在确定被操控的MPR平面后,在不同的操控模式中,基于所识别的用户手势信息对所述被操控的MPR平面进行相应的控制。在其他实施方式中,在不同的操控模式中,用户也可以在基于手持设备姿态操控和基于手势识别操控的方式中切换。
例如,可以在手持设备上设置有基于手持设备姿态操控的按钮和基于手势识别操控的按钮,可以随时通过这两个按钮在基于手持设备姿态操控和基于手势识别操控的方式中切换。
当用户从在基于手持设备姿态操控方式转换到基于手势识别操控方式时,可以将被操控的MPR平面锁定,基于所识别的用户手势信息对所述被操控的MPR平面进行相应的控制。当用户从基于手势识别操控方式转换到基于手持设备姿态操控方式时,可以将被锁定的MPR平面解锁,基于手持设备姿态对所述被操控的MPR平面进行相应的控制。
对应于上述的医学图像重建的控制方法,本发明技术方案还提供一种医学图像重建的控制系统,如图5所示,所述系统包括手持设备U10和三维影像工作站U20。所述手持设备U10包括第一通信单元U102和平面检测单元U103。所述手持设备还可以包括初始单元U101和识别单元U104,所述初始单元U101适于获取所述手持设备在初始位置时的姿态信息等,所述识别单元U104适于识别手持设备的姿态变化信息或者用户的手势信息。所述三维影像工作站包括第二通信单元U201和操作单元U202,所述三维影像工作站存储有若干多平面重建MPR平面。所述第一通信单元U102和第二通信单元U201适于建立手持设备U10与三维影像工作站U20的连接;所述平面检测单元U103适于计算第一平面与各MPR平面的距离,以选定被操控的MPR平面,所述第一平面为基于手持设备的姿态感知信息所确定的所述手持设备对应在所述三维影像工作站的坐标系统中的平面;所述操作单元U202适于通过所述手持设备对所述被操控的MPR平面进行操作。
下面对在具体实施例中,上述控制系统的工作流程进行说明。
以实施例一为例,在如图2所示的基于手持设备的医学图像重建的控制流程中,首先通过手持设备U10的第一通信单元U102和三维影像工作站U20的第二通信单元U201建立手持设备U10与三维影像工作站U20的连接,然后基于手持设备U10的初始单元U101的信息,通过所述平面检测单元U103可以确定被操控的MPR平面,之后用户可以通过手持设备U10的不同的操控按钮选取不同的MPR平面操控模式,基于识别单元U104可以对手持设备的姿态变化进行识别,将识别的结果通过第一通信单元U102和第二通信单元U201传递给三维影像工作站U20的操作单元U202,操作单元U202可以调用相关的控制指令,控制被操控的MPR平面执行与手持设备姿态变化相应的操作。
需要说明的是,在上述过程中,由于通常手持设备U10的系统处理能力相对于三维影像工作站U20可能会低一些,所以可以将上述过程中相对比较复杂的处理,可以实时通过第一通信单元U102和第二通信单元U201传递到三维影像工作站U20完成,在手持设备U10可以只是进行一些简单的显示等操作,例如,对于平面检测单元U103而言,其确定被操控的平面的计算过程可以交由三维影像工作站U20完成,在三维影像工作站U20完成相关的计算过程后,将计算结果通过第一通信单元U102和第二通信单元U201传递到平面检测单元U103。
对于实施例二所描述的基于手持设备的医学图像重建的控制流程中,控制系统的工作流程与实施例一基本相同,区别在于手持设备U10的识别单元U104是对用户的手势进行识别,之后将手势识别的结果通过第一通信单元U102和第二通信单元U201传递给三维影像工作站U20的操作单元U202,操作单元U202可以调用相关的控制指令,控制被操控的MPR平面执行与用户手势相应的操作。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (16)

1.一种基于手持设备的医学图像重建的控制方法,其特征在于,包括:
建立手持设备与三维影像工作站的连接,所述三维影像工作站存储有若干多平面重建MPR平面;
基于手持设备的姿态感知信息,确定所述手持设备对应在所述三维影像工作站的坐标系统中的第一平面;
分别计算所述第一平面与各MPR平面的距离,以选定被操控的MPR平面;
通过所述手持设备对所述被操控的MPR平面进行操作。
2.如权利要求1所述的基于手持设备的医学图像重建的控制方法,其特征在于,所述被操控的MPR平面为与所述第一平面距离最近的MPR平面。
3.如权利要求2所述的基于手持设备的医学图像重建的控制方法,其特征在于,还包括:当与所述第一平面距离最近的MPR平面具有多个时,选择其中一个MPR平面为所述被操控的MPR平面。
4.如权利要求1所述的基于手持设备的医学图像重建的控制方法,其特征在于,计算第一平面与MPR平面的距离是指在由医学图像的三维体数据所确定的空间范围内,计算第一平面的中心点到MPR平面的距离。
5.如权利要求1所述的基于手持设备的医学图像重建的控制方法,其特征在于,所述对所述被操控的MPR平面进行操作包括:
基于手持设备的信息控制所述被操控的MPR平面执行相应的操作,所述手持设备的信息包括所述手持设备的姿态变化信息和所述手持设备所识别的用户手势信息中的至少一种信息。
6.如权利要求5所述的基于手持设备的医学图像重建的控制方法,其特征在于,所述手持设备的姿态变化信息包括所述手持设备的移动信息、旋转信息和翻转信息中的至少一种姿态变化信息。
7.如权利要求5所述的基于手持设备的医学图像重建的控制方法,其特征在于,所述基于手持设备的信息控制所述被操控的MPR平面执行相应的操作包括:
在同步操控模式,控制所述被操控的MPR平面执行与所述手持设备的姿态变化相同的动作;
在增量操控模式,基于所述手持设备的姿态变化确定位移,按照所确定的位移移动所述被操控的MPR平面。
8.如权利要求5所述的基于手持设备的医学图像重建的控制方法,其特征在于,所述手持设备的姿态变化信息为所述手持设备旋转信息,所述基于手持设备的信息控制所述被操控的MPR平面执行相应的操作包括:固定所述被操控的MPR平面的中心点,控制所述被操控的MPR平面旋转。
9.如权利要求5所述的基于手持设备的医学图像重建的控制方法,其特征在于,所述基于手持设备的信息控制所述被操控的MPR平面执行相应的操作包括:控制被操控的MPR平面执行与用户手势相应的动作,所述与用户手势相应的动作包括窗宽调整、平移、缩放和旋转中的至少一种动作。
10.如权利要求9所述的基于手持设备的医学图像重建的控制方法,其特征在于,还包括:在对用户手势进行识别之前,锁定所述被操控的MPR平面的位置。
11.如权利要求1所述的基于手持设备的医学图像重建的控制方法,其特征在于,还包括:在屏幕上显示医学图像的三维体数据在操作后的MPR平面上的二维图像,所述屏幕包括三维影像工作站的显示屏幕和所述手持设备的显示屏幕中的至少一种屏幕。
12.如权利要求1所述的基于手持设备的医学图像重建的控制方法,其特征在于,还包括:当操作后的MPR平面移到由医学图像的三维体数据所确定的空间范围之外时,提供提示信息。
13.一种医学图像重建的控制系统,其特征在于,包括手持设备和三维影像工作站;所述手持设备包括第一通信单元和平面检测单元,所述三维影像工作站包括第二通信单元和操作单元,所述三维影像工作站存储有若干多平面重建MPR平面;
所述第一通信单元和第二通信单元适于建立手持设备与三维影像工作站的连接;
所述平面检测单元适于计算第一平面与各MPR平面的距离,以选定被操控的MPR平面,所述第一平面为基于手持设备的姿态感知信息所确定的所述手持设备对应在所述三维影像工作站的坐标系统中的平面;
所述操作单元适于通过所述手持设备对所述被操控的MPR平面进行操作。
14.如权利要求13所述的医学图像重建的控制系统,其特征在于,所述第一通信单元和第二通信单元还适于将所述平面检测单元选定的所述被操控的MPR平面的信息传送至所述三维影像工作站。
15.如权利要求13所述的医学图像重建的控制系统,其特征在于,所述被操控的MPR平面为与所述第一平面距离最近的MPR平面。
16.如权利要求13所述的医学图像重建的控制系统,其特征在于,所述手持设备还包括姿态识别单元或手势识别单元中的至少一个单元;所述姿态识别单元适于识别所述手持设备的姿态变化,所述手势识别单元适于识别用户手势;
所述第一通信单元和第二通信单元还适于将手持设备的信息传送至所述三维影像工作站,所述手持设备的信息包括所述手持设备的姿态变化信息和所述手持设备所识别的用户手势信息中的至少一种信息;
所述操作单元适于基于手持设备的信息控制所述被操控的MPR平面执行相应的操作。
CN201310501256.6A 2013-10-22 2013-10-22 基于手持设备的医学图像重建的控制方法及控制系统 Active CN104574485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310501256.6A CN104574485B (zh) 2013-10-22 2013-10-22 基于手持设备的医学图像重建的控制方法及控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310501256.6A CN104574485B (zh) 2013-10-22 2013-10-22 基于手持设备的医学图像重建的控制方法及控制系统

Publications (2)

Publication Number Publication Date
CN104574485A true CN104574485A (zh) 2015-04-29
CN104574485B CN104574485B (zh) 2018-05-04

Family

ID=53090451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310501256.6A Active CN104574485B (zh) 2013-10-22 2013-10-22 基于手持设备的医学图像重建的控制方法及控制系统

Country Status (1)

Country Link
CN (1) CN104574485B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569696A (zh) * 2016-11-08 2017-04-19 深圳岚锋创视网络科技有限公司 一种渲染输出全景影像的方法、系统及便携式终端
CN110544245A (zh) * 2019-08-30 2019-12-06 北京推想科技有限公司 图像处理方法、装置、计算机可读存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101443729A (zh) * 2006-05-16 2009-05-27 美国医软科技公司 调整3d空间中3d断面平面的操纵杆样图形用户界面
CN101513350A (zh) * 2008-02-22 2009-08-26 西门子公司 用于显示医学图像信息的装置和方法以及成像系统
US20120036466A1 (en) * 2010-08-04 2012-02-09 General Electric Company Systems and methods for large data set navigation on a mobile device
WO2012136495A1 (en) * 2011-04-04 2012-10-11 Agfa Healthcare 3d image navigation method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101443729A (zh) * 2006-05-16 2009-05-27 美国医软科技公司 调整3d空间中3d断面平面的操纵杆样图形用户界面
CN101513350A (zh) * 2008-02-22 2009-08-26 西门子公司 用于显示医学图像信息的装置和方法以及成像系统
US20120036466A1 (en) * 2010-08-04 2012-02-09 General Electric Company Systems and methods for large data set navigation on a mobile device
WO2012136495A1 (en) * 2011-04-04 2012-10-11 Agfa Healthcare 3d image navigation method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M. TEISTLER 等: "Simplifying the Exploration of Volumetric Images: Development of a 3D User Interface for the Radiologist’s Workplace", 《JOURNAL OF DIGITAL IMAGING》 *
MICHAEL TEISTLER: "Explore in 3D: a new virtual image navigation tool", 《SPIE—THE INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569696A (zh) * 2016-11-08 2017-04-19 深圳岚锋创视网络科技有限公司 一种渲染输出全景影像的方法、系统及便携式终端
CN110544245A (zh) * 2019-08-30 2019-12-06 北京推想科技有限公司 图像处理方法、装置、计算机可读存储介质及电子设备
CN110544245B (zh) * 2019-08-30 2020-11-27 北京推想科技有限公司 图像处理方法、装置、计算机可读存储介质及电子设备

Also Published As

Publication number Publication date
CN104574485B (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
CN106408290B (zh) 一种支付界面启动方法和移动终端
EP0689167B1 (en) Image processing apparatus and method
US7113186B2 (en) 3 Dimensional slab rendering system method and computer-readable medium
AU2013200054A1 (en) Touch free operation of devices by use of depth sensors
JP5946216B2 (ja) タッチパネルを有するコンピュータ、その作動方法、及びプログラム
JP5661382B2 (ja) 画像表示装置
CN110384922B (zh) 在3d图形中监测用户活动并管理控制器的方法和系统
JPH1011614A (ja) 三次元画像構成法における視点位置及び視線方向の設定方法及び装置
JPWO2013118373A1 (ja) 画像処理装置、画像処理方法及びプログラム
US11087561B2 (en) Three-dimensional sketching in mobile augmented reality
CN106548447B (zh) 获取医学二维图像的方法及装置
CN109976614A (zh) 一种立体图形的标注方法、装置、设备及介质
CN104574485A (zh) 基于手持设备的医学图像重建的控制方法及控制系统
US9524579B2 (en) Orientating an oblique plane in a 3D representation
WO2001097174A1 (fr) Dispositif et procede d'entree de points pour images tridimensionnelles
CN112043359B (zh) 乳腺穿刺方法、装置、设备及存储介质
CN203736306U (zh) 医学图像设备及其遥控设备,及医学图像系统
JP3672352B2 (ja) 3次元立体配置編集方法及び3次元立体配置編集装置
JP6204891B2 (ja) 画像表示装置、方法、及びプログラム
JP4537813B2 (ja) 3次元画像表示装置
JPH05189541A (ja) 画像操作方法
CN114764327B (zh) 一种三维可交互媒体的制作方法、装置及存储介质
Jiawei et al. Three-dimensional interactive pen based on augmented reality
CN104808890B (zh) 一种显示方法和设备
CN106293098A (zh) 用于医疗显示的基于手势的光标移动方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 201815 Shanghai City, Jiading District Jiading Industrial Zone No. 1180 Building 8 Hing Road

Patentee after: Shanghai Lianying Medical Technology Co., Ltd

Address before: 201815 Shanghai City, Jiading District Jiading Industrial Zone No. 1180 Building 8 Hing Road

Patentee before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd.

CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 201807 2258 Chengbei Road, Jiading District, Shanghai

Patentee after: Shanghai Lianying Medical Technology Co.,Ltd.

Address before: 201815 No. 1180 Xingxian Road, Jiading Industrial Zone, Jiading District, Shanghai

Patentee before: Shanghai Lianying Medical Technology Co.,Ltd.