CN102354345A

CN102354345A - 一种具有体感交互方式的医学影像浏览设备

Info

Publication number: CN102354345A
Application number: CN2011103226735A
Authority: CN
Inventors: 杨健; 耿辰; 王涌天; 刘越
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2011-10-21
Filing date: 2011-10-21
Publication date: 2012-02-15

Abstract

传统医学影像显示方式难以实现数字显示与非接触交互的结合。本发明设计了一种体感式图像浏览器，由体感摄像机、图像浏览软件系统、个人计算机与显示设备组成。图像浏览软件系统配置在个人计算机中，包括深度数据从及医学影像显示系统两部分。由体感摄像机获取深度信息并与个人计算机进行数据通信，深度数据处理系统对数据进行分析实现体感交互，医学影像显示系统实现数字影像的显示和图像处理。该体感式图像浏览器能够通过手势对显示的医学影像进行缩放、旋转、平移、改变显示数量、改变窗宽窗位等图像处理操作。该浏览设备解决了医学图像数字显示与非接触式交互相结合的难题，很适合于在手术室等卫生条件要求高的场合使用。

Description

一种具有体感交互方式的医学影像浏览设备

技术领域

本发明涉及一种具有体感交互方式的医学影像浏览设备，具体涉及一种具有深度摄像机的体感交互显示设备，适合于医学影像浏览领域。

背景技术

深度摄像机是一种可以实时获取目标场景深度信息的影像获取设备，深度摄像机主要基于以下原理：

结构光法：通过使用特殊模式的光(即结构光)照射目标物体并得到反射光的图像，依据单幅这样的图像即可获得目标的深度数据。所谓的结构光可以是互相平行或者垂直的线，也可以是点或者黑白相间的棋盘格等形式。该种方法优势在于成本较低且能够提供满足实时获取数据的响应速度，但缺点在于精确度较飞行时间法稍低。

飞行时间法(TOF法)：通过标准的飞行时间(TOF)技术获取目标的深度信息，通过计算光脉冲发射和返回的时间差来获取目标的深度信息。该种方法优势在于高精确度和较高的响应速度，但其缺点在于由于需要使用特制的CCD或CMOS图像传感器作为影像捕捉原件，造成其成本较高。

以上两种方法均已经在实际产品中大量应用，其中基于飞行时间法的深度相机占据了大部分市场。

医学成像是指通过X光成像(X-ray)，电脑断层扫描(CT)，核磁共振成像(MRI)，超声成像(ultrasound)，正电子发射计算机断层扫描(PET)，脑电图(EEG)，脑磁图(MEG)，眼球追踪(eye-tracking)，穿颅磁波刺激(TMS)，光学相干断层扫描等现代成像技术检查人体无法用非手术手段检查的部位的过程，通常作为一种医疗辅助手段用于诊断和治疗，也可以作为一种科研手段用于生命科学的研究中。

目前浏览医学影像的方式主要有胶片显示与数字显示两种。胶片式的医学影像需要经过显影、定影、冲洗和烘干四个步骤，显影及定影过程中所使用的溶液腐蚀性强，对容器要求较高。该种浏览方式由于在获得成品时医学影像已经固化为胶片，故难以对医学影像进行缩放、改变窗宽窗位等操作，目前制作胶片常用自动洗片机，价格高昂，所需原材料成本也不容忽视。除此之外，胶片式医学影像通常采用纸质标签进行分档管理，占用大量仓储空间，且由于管理对人工依赖性较大，长时间保存极易造成标签信息的丢失和胶片的损坏，在存储环境变化较大时胶片也难以保持原先性状的稳定。在使用时，胶片式医学影像需要使用专门的观片灯作为背景光源，在自然光及普通白炽灯下均无法获得满意的观看效果，根据背景光的不同胶片的观看效果也会发生较大变化，极易造成误诊或无法准确判断发病部位等非正常情况的发生。由于胶片式医学影像尺寸有限，在实际使用时用户的使用距离范围也被限制。而采用数字显示的方式浏览医学影像，克服了以上种种缺点，首先，目前数字医学影像在产生时直接通过通用的传输接口读取数据产生图像，保证了图像的本源性，避免了在医学影像的生成过程中发生二次修改的情况，其次，数字医学影像允许多种交互操作，如缩放、改变显示窗宽窗位、旋转等，而且，数字医学影像使用方便，普通个人电脑即可用于观察和交互，通过互联网或可移动存储设备即可与其他医疗工作者分享，便于进行远程会诊和网络会诊。此外，数字医学影像可以长期保存，目前的磁盘技术和数据库管理技术可以提供安全、高效、便捷的管理，且磁盘物理性状稳定，适合长期保存，利用计算机进行管理也在很大程度上节约了人力资源。目前该种浏览方式常与PACS系统相结合用于放射科室的诊疗中，但该种浏览方式仍存在弊端，由于计算机的交互方式仍停留在鼠标与键盘等物理接触式交互方式，而该种交互方式难以满足无菌操作的要求，在诸如实验室、手术室等对卫生要求较高的环境中难以应用，由于使用者往往必须距离计算机较近，在手术室等环境下常需配备专人操作，浪费了人力资源，同时降低了手术的效率。而若不配备专人操作，由于其卫生性和操作性，将对手术过程造成严重的干扰。

现有医学影像浏览方式存在的问题：

1、胶片形式成本较高，浪费资源，无法实现对图像的实时操作；

2、计算机的交互方式局限于鼠标与键盘；

3、无法实现非接触式的交互操作，不适于无菌环境

发明内容

传统医学影像浏览方式难以解决对影像的操作与非接触式交互相结合的难题，胶片式的医学影像虽然无需接触，但是图片大小与窗宽窗位均为固定值，且成本高，难以长期保存，占用空间大。而利用计算机浏览医学影像则难以做到非接触交互。

为了解决胶片浏览方式难以交互操作的问题，为了解决数字浏览方式难以非接触操作的问题，本发明提出了一种具有体感交互方式的医学影像浏览设备。该设备由深度摄像机D、个人计算机P、显示设备S和医学影像浏览软件M组成：

医学影像浏览软件M运行在个人计算机P上，并包括深度数据处理系统与医学影像显示系统；

个人计算机P与显示设备S间、深度摄像机D与个人计算机P间均有实时的数据通信；

深度数据处理系统获取深度摄像机D的原始深度数据经过运算得到场景中各点的实际三维信息，对场景中的三维信息进行分析识别用户的手掌并进行跟踪，可以识别多只手掌并可以判断手掌的姿态及数量；

显示系统实时侦测深度数据处理系统的输出并调用相应功能，可以实现利用手势控制数字医学影像的显示及缩放、改变窗宽窗位等交互操作和一定的图像处理；

深度数据处理系统与显示系统并行运行。

与传统医学影像浏览方式相比的有益效果是：

1.采用深度摄像机捕捉人体动作实现体感交互，无需接触即可实现对医学影像的所有操作；

2.用户与设备间距离可进行调整以适应环境需要；

3.可以任意调整显示医学影像的数量并可独立显示指定影像；

4.可同时显示影像对应的病人信息及图像信息如窗宽窗位等；

5.可以快速实现对医学影像的缩放、平移、窗宽窗位改变等操作。

附图说明

图1是本发明所提出的工作流程图；

图2是本发明所提出的一种优选实例示意图；

图3是本发明所提出的硬件组成及数据传输方向示意图；

图4是本发明系统的结构示意图；

图5是本发明一种优选实例的系统结构示意图。

具体实施方式

关于本发明的优点与精神可以通过以下的发明详述及附图得到进一步的了解。

附图1为工作流程图，所述医学影像显示及交互包括以下几个步骤：

步骤S101，通过深度摄像机获取场景中的原始深度数据，此实例中使用的深度摄像机基于结构光原理，深度数据获取的有效范围为0.8m至3.5m，距离精度为1cm，使用时应避免用户与深度摄像机间有物体阻隔。

步骤S102，将数字医学影像读入，在此实例中读取的数字医学影像无固定文件格式限制，但同一序列图像应具有相同的文件格式，且文件命名应有一定规律

步骤S103，分析原始深度数据，利用转换公式：

D＝K tan(H*Dw+L)-O (1)

x＝(i-c_x)f_xD (2)

y＝(j-c_y)f_yD (3)

z＝D (4)

将原始深度数据换算为实际三维坐标。

步骤S104，分析影像，通过对读入影像的分析获取其数量和灰度范围。

步骤S105，判定场景中手掌所在位置及姿态，通过对深度数据的分析提取手掌所在处一定范围的三维空间进行分析，根据手掌形貌判断手指数量，在本实例中，手指数量多于3时判断手为手掌姿态，小于3时判断为握拳姿态。

步骤S106，在本实例中通过换算公式：

获得图像显示的最佳窗位值。窗宽窗位影像数字医学影像显示时的实际效果，对应不同组织或器官的医学影像具有一个最佳窗位，且由于医学影像的灰度范围值以HU值定义，而人眼能够识别的灰度级数有限，因此要将原始的医学影像通过改变窗宽窗位的技术将其原始灰度范围投射到人眼可识别的灰度级数范围内。

步骤S107，根据手的数量、姿态及手的运动轨迹调用相应的回调函数，将不同的输出值传递至影像显示系统。在本实例中，手势与相应功能的定义如下表所示：

表1 实例1的手势与效果的对应关系

相关手势	手势效果
		双拳合拢	图像缩小
双拳分开	图像放大
		单拳平移	图像平移
双掌合拢	图像显示数量减少
		双掌分开	图像显示数量增多
双掌左右平移	改变图像显示窗宽
		双掌上下平移	改变图像显示窗位
单拳停留	单独显示所在位置图像/返回多图显示
		单掌停留	恢复显示图像默认窗宽窗位及缩放比例

手掌的数量和姿态由S105判断并进行标志的存储，而手的运动通过深度影像进行逐帧分析判断，通过计算一定时间范围内在三维坐标系内手点的坐标改变量判断手点的运动轨迹，在本实例中，屏幕内坐标变化超过15像素将判定为运动，停留超过1.5秒将判断为停留。

步骤S108，将所读取的医学影像按层以三维体数据的形式存储，在本实例中，医学影像以垂直于Z轴按序列存储，在读取后可以获取XY坐标系内医学影像的坐标范围，通过对不同切面的调用可以实现多个切面的显示，但在本实例中主要显示与Z轴相垂直的各层医学影像。

步骤S109，显示系统根据深度数据处理系统的指令对图像进行显示及相应的处理，在本实例中除二维显示外还利用所读取的所有医学影像进行整体器官的体绘制作为医学影像显示的对比，技术人员可根据需求对体绘制时的透明度及颜色等效果进行设置，此处三维体绘制使用的方法为Raycasting法，该种方法能够提供较好的透明度及表面纹理。

本发明的硬件系统结构图如附图3所示，包括深度摄像机、个人计算机、显示设备三部分，其中深度摄像机由于采用的技术原理不同有多种品牌和型号可供选择，但获取的深度数据无太大区别。个人计算机基于X86或X64结构，但对操作系统无特定要求。显示设备根据需要可为个人计算机的一部分，在需要大范围显示时为投影设备，由于在特定场合的医学影像显示需要专门的显示设备，因此其他现有特种显示设备也包括在本发明的范围内。

本发明的系统结构图如附图4所示，在本实例中添加了三维体绘制模块，系统结构如附图5所示。

虽然参考优选实施例对本发明进行描述，但以上所述实例并不构成本发明保护范围的限定，任何在本发明的精神及原则内的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围内。

Claims

1.一种具有体感交互方式的医学影像浏览设备，由四个关键元件构成，其中包括：

(1)深度摄像机，获取场景中所有点的距离信息并将原始深度数据以数据通信的形式传输至个人计算机；

(2)医学影像浏览软件系统，包括深度数据处理系统及医学影像处理系统，负责处理原始深度数据获取真实三维信息及医学影像的显示和交互，软件系统配置于个人计算机上；

(3)个人计算机，基于X86或X64架构的个人计算机，与深度摄像机、显示设备之间有数据通信；

(4)显示设备，包括具有显示能力的投影设备、显示器等。

2.如权利要求1所述深度摄像机，基于结构光原理或飞行时间(Time-Of-Flight)原理，可以实时获取视场中一定分辨率下每一点对应的深度信息。

3.如权利要求1所述的医学影像浏览设备，其中医学影像处理系统中的深度数据处理系统具有识别场景中用户手掌位置及姿态的功能，且可以识别手掌数目及手指数目。

4.如权利要求1所述的医学影像浏览设备，其中医学影像处理系统中的深度数据处理系统的手势识别距离可以根据需要进行调节。

5.如权利要求1所述的医学影像浏览设备，其中医学影像处理系统中的深度数据处理系统可以判断视场中手的移动方式及手的开合状态并对医学影像处理系统进行控制。

6.如权利要求1所述的医学影像浏览设备，其中，医学影像浏览软件系统中的医学影像显示系统可识别读取医学影像在整体序列中的位置。

7.如权利要求1所述的医学影像浏览设备，其中医学影像处理系统中的医学影像显示系统可读取并显示医学影像相关的病人信息。

8.如权利要求1所示的医学影像浏览设备，其中，医学影像浏览软件系统中的医学影像显示系统可以所读取医学影像生成时的最佳窗宽及窗位对医学影像进行显示。

9.如权利要求1所述的医学影像浏览设备，其中，医学影像浏览软件系统具备医学影像的显示及一定的图像处理能力并至少具备以下功能：

通过识别手势对图像进行缩放、平移、旋转；

通过识别手势进行同一窗口内多图像与单图像显示的转换；

通过识别手势改变图像的窗宽、窗位；

通过识别手势复位图像窗宽、窗位、大小、旋转角度、位置。