CN106846496A - 基于混合现实技术的dicom影像查看系统及操作方法 - Google Patents

Abstract

本发明涉及混合现实技术领域，具体涉及一种基于混合现实技术的DICOM影像查看系统及其操作方法。本发明提供了一种基于混合现实技术的DICOM影像查看系统，包括：服务器、DICOM影像数据库、存储器和MR智能终端，所述MR智能终端用于获取物理环境信息，进行物理环境建模，生成物理环境模型，并且将DICOM医学影像投射到物理环境模型中，获得混合现实场景；所述MR智能终端还用于通过多种控制方式对混合现实场景中的DICOM医学影像进行查阅、排列顺序、标记和对比分析。通过上述的方案，DICOM医学影像可以以更直观的方式呈现，且超越传统电子屏幕的尺寸限制；此外DICOM医学影像的阅览可以以更自然的方式进行操作。

Description

基于混合现实技术的DICOM影像查看系统及操作方法

技术领域

本发明涉及混合现实技术领域，具体涉及一种基于混合现实技术的DICOM影像查看系统及其操作方法。

背景技术

混合现实技术(MR)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。混合现实(MR)(既包括增强现实和增强虚拟)指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。

DICOM即医学数字成像和通信，是医学图像和相关信息的国际标准(ISO 12052)。它定义了质量能满足临床需要的可用于数据交换的医学图像格式。DICOM医学影像(例如CT图像、核磁共振图像等)在现如今的医疗系统中发挥着无法替代的作用，然而对于DICOM医学影像的查阅方式较为有限，多使用DICOM图像浏览器：即在电脑、手机或平板设备中展示DICOM影像，并通过鼠标、键盘或触屏进行图像浏览的软件技术。现有的DICOM图像浏览器的主要问题有：通过传统电子屏幕查看DICOM图像，并不直观；当扫描的断层图片(多为纵深向扫描)有几十、上百或上千张时，利用鼠标滚轮、手势滑动的姿势，并不符合人体自然运动语言。

由于混合现实技术的迅猛发展，可以作为DICOM医学影像查看分析的有力技术支撑，可以通过混合现实强大的模拟功能谋求实现医学影像高效查看的愿景。

发明内容

本发明为了解决上述技术问题，提供一种基于混合现实技术的DICOM影像查看系统及其操作方法，使用全息投影技术，可以传统现实装置屏幕尺寸的限制，展示更多有效内容，极大的提高了医学影像查看的便利性和高效性。

为了达到上述技术效果，本发明包括以下技术方案：

本发明提供了一种基于混合现实技术的DICOM影像查看系统，包括：服务器、DICOM影像数据库、存储器和MR智能终端，

所述服务器，分别连接所述DICOM影像数据库、存储器和MR智能终端；

DICOM影像数据库用于存储需要查看的DICOM医学影像；

所述存储器用于存储查看记录；

所述MR智能终端用于获取物理环境信息，进行物理环境建模，生成物理环境模型，并且将DICOM医学影像投射到物理环境模型中，获得混合现实场景；所述MR智能终端还用于通过多种控制方式对混合现实场景中的DICOM医学影像进行查阅、排列顺序、标记和对比分析。

多种控制方式包括头部移动、身体移动、走动、视线凝视、手势操作和语音命令中的一种或多种

通过上述的方案，DICOM医学影像可以以更直观的方式呈现，且超越传统电子屏幕的尺寸限制；此外DICOM医学影像的阅览可以以更自然的方式进行操作；

进一步地，上述基于混合现实技术的DICOM影像查看系统还包括医学影像三维重建系统，所述的医学影像三维重建系统分别与服务器和DICOM影像数据库连接，所述的医学影像三维重建系统用于将DICOM医学影像还原的患病器官模型；所述的MR智能终端用于将患病器官模型投射到物理环境模型中，获得混合现实场景；所述的MR智能终端还用于观察患病器官表面、穿透患病器官模型观察内部、通过虚拟的手术设备患病对器官模型进行模拟分离及解剖。有效的解决了通过医学影像三维重建技术所还原的患病器官模型，无法直观的在类似软件中进行展示的问题，医师往往只能通过鼠标或类似设备对模型进行拖拽、旋转及缩放，以寻找更好的观察角度，费时费力，通过本方案可以解决上述的问题。

进一步地，所述MR智能终端为MR智能眼镜，包括控制器，还包括与控制器连接的通信模块、光学投射模块、输入模块、输出模块和操作模块，

所述控制器用于控制执行混合现实交互程序；

所述通信模块用于各个MR智能眼镜之间的通信连接，还用于MR智能眼镜与服务器之间的通信连接；

所述光学投射模块用于执行将医疗资料投射到物理环境模型中，形成混合现实场景；

所述输入模块，用于输入用于控制MR智能眼镜的数据；

所述输出模块包括扬声器和显示器，分别用于输出音频信号、视频信号；

所述操作模块用于获取MR智能眼镜的状态、MR智能眼镜的周围事物的状态、MR智能眼镜穿戴者的状态和运动信息，并且将感测到的信息发送到控制器。

一种上述DICOM影像查看系统的操作方法，包括以下步骤：

步骤一：MR智能终端自动识别佩戴者所处物理环境信息，并进行物理环境建模，生成物理环境模型；

步骤二：MR智能终端连接DICOM影像数据库或医学影像三维重建系统，进行数据同步，获取到DICOM医学影像或医学影像三维重建系统生成的患病器官模型；

步骤三：MR智能终端将DICOM医学影像或患病器官模型经运算处理后以全息影像的形式投射到物理环境模型中，生成混合现实场景；

步骤四：MR智能终端佩戴者在混合现实场景中通过多种控制方式实现对DICOM医学影像的查阅、排列顺序、标记和对比分析，实现对患病器官模型的查看、分离及解剖。

采用上述的方法，使用全息投影技术，可以突破空间的限制，通过混合现实环境来展示更多有效内容，将医学影像在三维空间内进行展示，极大增强了查阅的高效性和准确性。

进一步地，所述的物理环境信息包括墙壁、地面、天花板、桌椅和特殊标示。

进一步地，所述的DICOM医学影像包括CT图像、核磁共振图像、X射线图像或超声图像。上述的各种信息可以在混合现实场景中呈现并提供给医生查阅，方便医生进行并且诊断。

进一步地，步骤四中的控制方式包括头部移动、身体移动、走动、视线凝视、手势操作和语音命令中的一种或多种。通过多种多样易于实现的控制方式实现医生与混合现实场景的交互，实现对混合现实场景中DICOM医学影像的查看、分离或标注。

进一步地，所述的MR智能终端可用于时时截取当前视角所呈现的画面，进行样片对比。

进一步地，所述的服务器还连接有显示装置，所述显示装置用于呈现通过MR智能终端所看到的视角。即在具体的使用过程中，可以用显示装置对MR智能终端的视角进行呈现，方便他人进行查看。

进一步地，MR智能终端连接有存储器，查看记录存储在存储器内。

采用上述技术方案，包括以下有益效果：

DICOM影像可以以更直观的方式呈现，且超越传统电子屏幕的尺寸限制且DICOM影像的阅览以更自然的方式进行操作；可以更方便的进行图像对比；三维器官可以以更直观的方式呈现，观察内部结构更加便捷；可模拟外科手术。

附图说明

图1为本发明DICOM影像查看系统的通信结构连接示意图；

图2为本发明中MR智能眼镜的结构框图；

图3为本发明DICOM影像查看系统的操作方法一种实施方式的流程框图；

图中，

1、服务器；2、DICOM影像数据库；3、存储器；4、MR智能终端；401、控制器；402、通信模块；403、光线投射模块；404、输入模块；405、输出模块；406、操作模块；5、显示终端；6、医学影像三维重建系统。

具体实施方式

下面通过具体的实施例对本发明做进一步的详细描述。

本文使用的包括描述性或技术性术语在内的所有术语应当被解释为具有本领域普通技术人员理解的含义。然而，根据本领域普通技术人员的意图、先例或者新技术的出现，术语可具有不同含义。另外，一些术语可由申请人选择，并且在此情况下，所选择的术语的含义将在详细描述中加以详细描述。从而，本文使用的术语必须基于术语的含义连同整个说明书中的描述来定义。

另外，当一部件“包括”或“包含”一元素时，除非有与之相反的具体描述，否则该部件还可包括其他元素，不排除其他元素。在其他的描述中，诸如“模组”和“模块”之类的术语指用于处理至少一个功能或操作的单元，其中该模组和模块可实现为硬件或软件或者可通过组合硬件和软件来实现。

实施例可以以许多不同形式实现，而不应当被解释为限于本文记载的实施例；更确切地说，提供这些实施例是为了使得本公开将会透彻且完整，并且将会把一个或多个实施例的构思完整地传达给本领域普通技术人员。在接下来的描述中，没有详细描述公知的功能或构造，因为它们将会以不必要的细节模糊实施例，并且附图中的相似的标号在整个说明书中始终表示相似或类似的元素。

按照本文使用的，术语“和/或”包括关联的列出项目中的一个或多个的任意和所有组合。诸如“……中的至少一个”之类的表述当在元素的列表之前时修饰整个元素列表，而不修饰列表中的个体元素。

实施例：

本发明提供了一种基于混合现实技术的DICOM影像查看系统，如图1所示，包括服务器1、DICOM影像数据库2、存储器3和MR智能终端4，

所述服务器1，分别连接所述DICOM影像数据库2、存储器3和MR智能终端4；

DICOM影像数据库2用于存储需要查看的DICOM医学影像；

所述存储器3用于存储查看记录；

所述MR智能终端4用于获取物理环境信息，进行物理环境建模，生成物理环境模型，并且将DICOM医学影像投射到物理环境模型中，获得混合现实场景；所述MR智能终端4还用于通过多种控制方式对混合现实场景中的DICOM医学影像进行查阅、排列顺序、标记和对比分析。

在上述实施方式中，所述服务器1还可以采取其他相同功能的计算设备的形式来代替，应当理解，可使用基本上任何计算机架构而不背离本公开的范围，在不同的实施例中，计算设备可以采取大型计算机、服务器1计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。如上所述，在一些实施例中，服务器1可被集成到MR智能终端4中。

在上述实施方式中，DICOM医学影像包括CT图像、核磁共振图像、X射线图像或超声图像，但不限于此。

在上述实施方式的基础上，基于混合现实技术的DICOM影像查看系统还包括医学影像三维重建系统6，所述的医学影像三维重建系统6分别与服务器1和DICOM影像数据库2连接，所述的医学影像三维重建系统6用于将DICOM医学影像还原的患病器官模型；所述的MR智能终端4用于将患病器官模型投射到物理环境模型中，获得混合现实场景；所述的MR智能终端4还用于观察患病器官表面、穿透患病器官模型观察内部、通过虚拟的手术设备患病对器官模型进行模拟分离及解剖。

在上述实施方式中，服务器1还可以连接有显示终端5，可以为常规的具有显示功能的终端。例如智能手机，平板电脑或其他。

在上述实施中，具体地，所述MR智能终端4为MR智能眼镜，如图2所示，包括控制器401，还包括与控制器401连接的通信模块402、光学投射模块、输入模块404、输出模块405和操作模块406，

所述控制器401用于控制执行混合现实交互程序；

所述通信模块402用于各个MR智能眼镜之间的通信连接，还用于MR智能眼镜与服务器1之间的通信连接；

所述光学投射模块用于执行将医疗资料投射到物理环境模型中，形成混合现实场景；

所述输入模块404，用于输入用于控制MR智能眼镜的数据；

所述输出模块405包括扬声器和显示器，分别用于输出音频信号、视频信号；

所述操作模块406用于获取MR智能眼镜的状态、MR智能眼镜的周围事物的状态、MR智能眼镜穿戴者的状态和运动信息，并且将感测到的信息发送到控制器401。

在上述实施方式中，控制器401总体上控制MR智能眼镜的整体操作。例如，控制器401可通过执行其内部存储的程序来总体上控制输出模块405、输入模块404、通信模块402、操作模块406和光线投射模块403。

当用户的采用操作方式进行操作时，控制器401可获得穿戴着MR智能眼镜的用户的运动信息。用户的运动信息可包括用户的运动状态信息、运动速度信息和位置信息中的至少一种。

控制器401可基于MR智能眼镜中的操作模块406中包括的至少一个传感器或元件确定用户是否穿戴着MR智能眼镜，并且当确定用户穿戴着MR智能眼镜时，控制器401可获得用户的运动信息。

控制器401也可通过基于利用MR智能眼镜测量到的走动、视线凝视、手势操作和语音命令的至少一者分析用户的运动来获得用户的运动信息或输入信息。

控制器401可基于用户的运动信息或输入信息确定提供与操作方式相对应的对于混合现实场景的具体操作。

控制器401可考虑到关于从MR智能眼镜起的特定距离内的环境的环境信息来确定将通知内容输出为音频信号或视频信号中的至少一者。环境信息可包括关于在从MR智能眼镜起的特定距离内生成的声音的外部声音信息和关于利用高清摄像头获得的外部图像的信息中的至少一者。

在上述实施方式中，通信模块402可包括使得MR智能眼镜能够与外部设备或服务器1通信的至少一个组件。例如，通信模块402可包括短程无线通信模块402、移动通信模块402(例如GPRS)和广播接收电路模块。短程无线通信模块402可以为蓝牙、NFC、Wi-Fi、紫蜂、IrDA、WFD、UWB和Ant+中的任意一种或几种，但不限于此。

通信模块402可从连接到MR智能眼镜的外部设备请求并接收用户的运动信息。通信模块402可在向外部设备发送利用MR智能眼镜测量到的走动、视线凝视、手势操作和语音命令信息等等的同时请求用户的运动信息。

在上述实施方式中，输入模块404可以是运动输入、触摸输入、键输入、语音输入和多重输入中的至少一者，但不限于此。例如，输入方式可包括用于触摸眼镜的框架的特定区域的输入、用于选择眼镜的框架中包括的按钮的输入、语音声音输入、抬头运动输入等等，但不限于此。眼镜的框架的特定区域可以是预先设定的。

在上述实施方式中，所述输出模块405用于输出音频信号、视频信号或者振动信号，并且可包括显示器、扬声器和振动器，但不局限于此。

在上述实施方式中，所述的操作模块406可包括麦克风、惯性测量传感器、环境感知相机、高清摄像头、景深相机、混合现实捕捉模组、眼球跟踪传感器中的至少一种，但操作模块406中包括的组件不限于此。操作模块406还可包括温度传感器、亮度传感器、压力传感器或虹膜扫描传感器，磁传感器、加速度传感器、倾斜传感器、深度传感器、陀螺仪传感器、位置传感器。因为每个传感器或组件的功能可由本领域普通技术人员基于其名称直观地推断，所以这里不描述其细节。

一种基于混合现实技术的远程医疗方法，如图3所示，包括以下步骤：

S101：MR智能终端4自动识别佩戴者所处物理环境信息，并进行物理环境建模，生成物理环境模型；

S102：MR智能终端4连接DICOM影像数据库2或医学影像三维重建系统6，进行数据同步，获取到DICOM医学影像或医学影像三维重建系统6生成的患病器官模型；

S103：MR智能终端4将DICOM医学影像或患病器官模型经运算处理后以全息影像的形式投射到物理环境模型中，生成混合现实场景；

S104：MR智能终端4佩戴者在混合现实场景中通过多种控制方式实现对DICOM医学影像的查阅、排列顺序、标记和对比分析，实现对患病器官模型的查看、分离及解剖。

需要说明的是，在发明中，所述医学影像三维重建系统6及其重建方法均采用现有技术的系统和方法进行，比如公开于名称为“一种基于VTK的医学图像三维重建方法”的中国专利申请CN201510346662.9，或者公开于名称为“医学影像二维处理及三维重建系统”的中国专利申请CN201310503694.6，其内容被整体纳入本文，当然本方面所采用的系统还可以为其他并未述及到的现有技术。

需要说明的是，具体的控制方式可以预先在MR智能终端中进行程序设定，控制方式的选择并不局限于上述几种实施方式。

一种具体控制过程可以如下：

多个序列的DICOM图像可以集中放置在MR智能终端形成的混合现实场景当中，可以采用手指的移动来控制场景中光标的移动，当光标移动到不同的区域时，相应的区域可以在虚拟空间中被点亮，可被配置成用于表示信息被选中的高亮显示，显现为宛如在电脑屏幕上操作各种文件夹，但其显示空间可随视角进行进一步扩展；

通过手指的点选或者特定的手势，诸如“抓捏”的手势，例如，当某个序列的DICOM图像的文件夹高亮显示后，拇指和食指触摸，形成抓捏手势，该序列的DICOM图像即在MR智能终端的混合现实场景当中展现后所选对象或关注点可以在虚拟空间中被高亮显示；

此时该序列的DICOM图像所显示的为第一张或某一张图像，当采用抓捏的手势在空间内采取来回滑动的操作时，可以实现对序列中不同图像的变换，具体地，当抓捏手势从左至右移动时，序列的DICOM图像按照编号由小至大的顺序进行变化，当抓捏手势从右至左移动时，序列的DICOM图像按照编号由大至小的顺序进行变化，当移动停止时，图像定各位当时的DICOM图像。

具体地，每个序列的DICOM图像还相应地设有用于指代标记、收藏、返回等功能的虚拟标签，当通过手指的移动使得光标位于相应的虚拟标签上时，可以通过手指的点选或抓捏手势选中该虚拟标签，并可以操作相应的功能，例如当选中标记标签后，可以通过手指将光标移动到需要标记的位置，再次通过手指的点选或抓捏手势实现该位置的标记，当通过手指移动光标并选中收藏标签时，可以实现当前被标记过的图像的收藏。

相应地，每个序列的DICOM图像展现在混合现实场景中之后，图像的变更可以通过头部移动来实现，例如，通过手势选中该序列的图像后，用户继而移动他的头部，来变换图像，以更详细地查看感兴趣或者需要重点关注的图像，头部移动可以是向左继而向上，或者可以是直接斜线移动至操作者感兴趣的图像。

当然，除了身体动作控制之外，还可以在系统环境中利用的典型语音命令来实现控制功能。这些包括屏幕命令，诸如向上、向下、向左、向右移动光标，向左、向右、向上、向下平移图像，放大、缩小、缩放5倍、缩放10倍等。语音命令还可以包括诸如“选择”、“后退”、“前进”之类的命令，或其他特定命令，诸如“加粗”、“加下划线”、“圈注”等。

上述的各种控制方式仅仅作为较为优选的举例，并不是唯一可以实现的控制方式，本领域的技术人员还可以在不违背本发明主旨精神的前提下通过其他的控制方式来实现本发明的功能，例如如握拳、摊开手掌、目光凝视等等。

在上述的实施例中，MR智能终端4可以为MR智能眼镜，即可穿戴眼镜，是被穿戴在用户的头上以在用户的眼睛前方提供图像的显示装置。本发明构思不限于眼镜型可穿戴设备，而是也可应用到基于MR技术的头戴式显示器(HMD)装置，其主体的一部分固定到用户的头部以在用户的视角内显示信息。可实现为各种形式，例如，HMD装置可实现为眼镜、头盔和帽子，但不限于此。

在上述的实施例中，通信方式可以为现有技术中各种成熟的通信连接方式，可以为有线连接、WIFI连接、蓝牙连接、NFC连接、移动通信连接，还可以为通过服务器1进行间接连接，但不限于此。

在上述的实施例中，所述的物理环境信息包括墙壁、地面、天花板、桌椅和特殊标示，但不限于此。

在上述的实施例中，所述的DICOM医学影像包括CT图像、核磁共振图像、X射线图像或超声图像，但不限于此。

在上述的实施例中，步骤四中的控制方式包括头部移动、身体移动、走动、视线凝视、手势操作和语音命令中的一种或多种。，但不限于此。

在上述的实施例中，所述的MR智能终端4可用于时时截取当前视角所呈现的画面，进行样片对比。

在上述实施例中，所述的服务器1还连接有显示装置，所述显示装置用于呈现通过MR智能终端4所看到的视角。

在上述的实施例中，MR智能终端4连接有存储器3，用于存储查看记录等信息。当然所述的存储器3可以为用户自定义的个性化存储器3，例如服务器1内的存储单元、云端存储器3或其他，还可以为设置在MR智能终端4内的存储器3。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于混合现实技术的DICOM影像查看系统，其特征在于，包括：服务器(1)、DICOM影像数据库(2)、存储器(3)和MR智能终端(4)，

所述服务器，分别连接所述DICOM影像数据库、存储器和MR智能终端；

DICOM影像数据库用于存储需要查看的DICOM医学影像；

所述存储器用于存储查看记录；

所述MR智能终端用于获取物理环境信息，进行物理环境建模，生成物理环境模型，并且将DICOM医学影像投射到物理环境模型中，获得混合现实场景；所述MR智能终端还用于通过多种控制方式对混合现实场景中的DICOM医学影像进行查阅、排列顺序、标记和对比分析。

2.根据根据权利要求1所述的基于混合现实技术的DICOM影像查看系统，其特征在于，还包括医学影像三维重建系统(6)，所述的医学影像三维重建系统分别与服务器和DICOM影像数据库连接，所述的医学影像三维重建系统用于将DICOM医学影像还原的患病器官模型；所述的MR智能终端用于将患病器官模型投射到物理环境模型中，获得混合现实场景；所述的MR智能终端还用于观察患病器官表面、穿透患病器官模型观察内部、通过虚拟的手术设备患病对器官模型进行模拟分离及解剖；

多种控制方式包括头部移动、身体移动、走动、视线凝视、手势操作和语音命令中的一种或多种。

3.根据权利要求1所述的基于混合现实技术的DICOM影像查看系统，其特征在于，所述MR智能终端为MR智能眼镜，包括控制器(401)，还包括与控制器连接的通信模块(402)、光学投射模块(403)、输入模块(404)、输出模块(405)和操作模块(406)，

所述控制器用于控制执行混合现实交互程序；

所述通信模块用于各个MR智能眼镜之间的通信连接，还用于MR智能眼镜与服务器之间的通信连接；

所述光学投射模块用于执行将DICOM医学影像投射到物理环境模型中，形成混合现实场景；

所述输入模块，用于输入用于控制MR智能眼镜的数据；

所述输出模块包括扬声器和显示器，分别用于输出音频信号、视频信号；

所述操作模块用于获取MR智能眼镜的状态、MR智能眼镜的周围事物的状态、MR智能眼镜穿戴者的状态和运动信息，并且将感测到的信息发送到控制器。

4.一种权利要求1～3任一项所述的DICOM影像查看系统的操作方法，其特征在于，包括以下步骤：

步骤一：MR智能终端自动识别佩戴者所处物理环境信息，并进行物理环境建模，生成物理环境模型；

步骤二：MR智能终端连接DICOM影像数据库或医学影像三维重建系统，进行数据同步，获取到DICOM医学影像或医学影像三维重建系统生成的患病器官模型；

步骤三：MR智能终端将DICOM医学影像或患病器官模型经运算处理后以全息影像的形式投射到物理环境模型中，生成混合现实场景；

步骤四：MR智能终端佩戴者在混合现实场景中通过多种控制方式实现对DICOM医学影像的查阅、排列顺序、标记和对比分析，实现对患病器官模型的查看、分离及解剖。

5.根据权利要求4所述的DICOM影像查看系统的操作方法，其特征在于，所述的物理环境信息包括墙壁、地面、天花板、桌椅和特殊标示。

6.根据权利要求4所述的DICOM影像查看系统的操作方法，其特征在于，所述的DICOM医学影像包括CT图像、核磁共振图像、X射线图像或超声图像。

7.根据权利要求4所述的DICOM影像查看系统的操作方法，其特征在于，步骤四中的控制方式包括头部移动、身体移动、走动、视线凝视、手势操作和语音命令中的一种或多种。

8.根据权利要求4所述的DICOM影像查看系统的操作方法，其特征在于，所述的MR智能终端可用于时时截取当前视角所呈现的画面，进行样片对比。

9.根据权利要求4～8任一项所述的DICOM影像查看系统的操作方法，其特征在于，所述的服务器还连接有显示装置，所述显示装置用于呈现通过MR智能终端所看到的视角。