CN106109015A - 一种头戴式医疗系统及其操作方法 - Google Patents

Abstract

本发明公开了一种头戴式医疗系统及其操作方法，包括AR/MR头戴显示设备和激光发生器，AR/MR头戴显示设备佩戴在医生的头部，激光发生器架设在手术台的上方，在病患者体表做好人造骨性标志，激光发生器对准患者患病部位的体表进行照射，把CT扫描取得的患部3D模型输入AR/MR头戴显示设备中，医生佩戴并启动AR/MR头戴显示设备，视线对准人造骨性标志，佩戴AR/MR头戴显示设备内的摄像头对人造骨性标志进行观察和识别，把患部3D模型显示在患者身体的对应位置，佩戴AR/MR头戴显示设备的医生围绕手术台随意走动，观察患部3D模型，指导手术操作。本发明相对于现有手术技术有更高效、更直观、安全性更高、功能性更强的特点。

Description

一种头戴式医疗系统及其操作方法

技术领域

本发明涉及医疗设备领域，具体是一种头戴式医疗系统及其操作方法。

背景技术

现有手术：术前用CT、核磁共振、B超、X光等医学影像设备拍摄患部，在显示屏上呈现2D平面图像，医生根据2D图像想象病患部位空间位置及结构，并据此施术。某些对操作精度有要求的手术(如椎间孔镜、骶孔贯穿术等等)，在术中需要多次进行CT扫描或X光照射来获取手术器械在人体内的实际位置，低效、不直观且风险高。

发明内容

本发明的目的在于提供一种头戴式医疗系统及其操作方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种头戴式医疗系统，包括AR/MR头戴显示设备和激光发生器，所述AR/MR头戴显示设备佩戴在医生的头部，医生佩戴AR/MR头戴显示设备站在手术台的一侧，所述激光发生器架设在手术台的上方，在患者的体表上进行标记人造骨性标志，激光发生器对准患病部位的体表进行照射，医生通过AR/MR头戴显示设备内的摄像头对人造骨性标志进行观察和识别。

一种所述的头戴式医疗系统的操作方法，包括准备步骤和使用步骤，具体步骤如下：

(1)准备步骤

1)在患者体表做好人造骨性标志；

2)对患者进行CT扫描，把取得的患部3D模型输入AR/MR头戴显示设备中；

3)在手术台旁边架设好激光发生器；

(2)使用步骤

1)医生佩戴并启动AR/MR头戴显示设备；

2)视线对准人造骨性标志；

3)经模式识别算法处理，在AR/MR头戴显示设备上会看到患者身体上出现患部3D模型，实现透视效果，此时头显不能移动；

4)开启激光发生器，在患部体表形成激光矩阵；

5)移动视线，使人造骨性标志和激光矩阵同时出现在AR/MR头戴显示设备的显示屏中；

6)模式识别算法会自动记录激光矩阵的点、线信息，完成空间标定；

7)佩戴AR/MR头戴显示设备的医生围绕手术台随意走动，观察患部3D模型，指导手术操作。

与现有技术相比，本发明的有益效果是：本发明相对于现有手术技术有更高效、更直观、安全性更高、功能性更强的特点。

附图说明

图1为头戴式医疗系统的结构示意图。

图2为头戴式医疗系统中使用场景的示意图。

图3为头戴式医疗系统中应用逻辑的示意图。

图4为头戴式医疗系统中模式识别的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1和图2，本发明实施例中，头戴式医疗系统，包括AR/MR头戴显示设备3和激光发生器2，AR/MR头戴显示设备3佩戴在医生的头部，医生佩戴AR/MR头戴显示设备3站在手术台的一侧，激光发生器2架设在手术台的上方，在患者的体表上进行标记人造骨性标志1，激光发生器2对准人造骨性标志1进行照射，医生通过AR/MR头戴显示设备3内的摄像头对人造骨性标志1进行观察和识别。

本发明的使用分为准备阶段和使用阶段。

1、准备阶段如图1所示：

(1)在患者体表做好人造骨性标志1；

(2)对患者CT扫描(本例假定CT扫描已完成)，把取得的患部3D模型输入AR/MR头戴显示设备3中；

(3)在手术台旁边架设好激光发生器2；

2、使用阶段如图2所示：

(1)医生佩戴并启动AR/MR头戴显示设备3；

(2)视线对准人造骨性标志1；

(3)经模式识别算法处理，在AR/MR头戴显示设备3上会看到患者身体上出现患部3D模型5，实现“透视”效果(此时头显不能移动)；

(4)开启激光发生器2，在患部体表形成激光矩阵4；

(5)移动视线，使人造骨性标志1和激光矩阵4同时出现在AR/MR头戴显示设备3的显示屏中；

(6)模式识别算法会自动记录激光矩阵4的点、线信息完成空间标定；

(7)佩戴AR/MR头戴显示设备3的医生可以围绕手术台随意走动，观察患部3D模型5，指导手术操作。

本发明的工作逻辑，如图3和图4所示，

本发明是把虚拟3D模型叠加在现实物体上，生成具有精确空间位置的混合图像(AR/MR)的技术。患部3D模型具有极高的定位精度和3D空间感，医生可以在上面设置虚拟手术路径，指导手术器械的实施位置、角度及深度，对于复杂手术，也无需通过术中多次CT扫描确认器械在患者体内的位置。

1、手术前在患者体表做人造骨性标志：所谓人造骨性标志，是医学上用于标记体表位置的标记物，其密度与患病部位相似，在CT(此处以CT为例，任何支持DICOM协议且具有3D成像功能的医学影像设备均可)扫描时，可以与病患部位一同被扫描，并显示在患部3D模型中。本专利使用一组特殊造型的人造骨性标志作为3D模型显示位置的标记，比如三角形、菱形、星形；

2、对做好人造骨性标志的患者CT扫描，取得患部3D模型(包含人造骨性标志的图像)；

3、把取得的3D模型输入AR/MR头戴显示设备，由开发的模式识别算法做预处理，对模型的关键点做标定(通常是人造骨性标志的图像)；

4、AR/MR头戴显示设备(头显)佩戴者目视患者体表，此时头显显示屏上看到的是未经加工合成的真实世界图像，头显上的摄像头会自动扫描患者体表图像，在捕捉到患者体表的骨性标志时，模式识别算法会与患部模型上的关键点做比较；

5、如果模型关键点与骨性标志能够匹配，模式识别算法会驱动头显把患部3D模型上的关键点与骨性标志重合，并在头显显示屏上把重合后的患部3D模型显示出来，此时头显佩戴者看到的图像是3D模型与真实空间中人体叠加后的图像，实现了患部3D模型的原位置显示，视觉效果类似“人体透视”；

6、此时的叠加图像并不稳定，当头显佩戴者发生大角度长距离位移时(如佩戴头显的医生从手术台左侧移动到右侧时)，3D模型可能出现消失、图像震动、错位等显示异常。需借助激光矩阵来辅助模式识别算法对空间位置的标定。

7、激光矩阵会在患者体表形成由激光点和激光线组成的规则矩阵，头显会把这些点和线的信息传递给模式识别算法，由模式识别算法对这些点和线的位置做出标定记录，当位移发生时，这些点和线与头显间的相对角度和相对位置会发生变化，模式识别算法会把这些角度与位置的变化与原始标定位置做比较，根据偏移量对显示的图像做出补偿和修正，确保叠加图像的空间位置是正确的。比如当医生在手术台左侧时，看到的应该是患部3D模型的左侧，移动到右侧时，看到的应当是患部3D模型的右侧。

本发明的工作原理：

1、AR/MR头戴显示设备(以下简称头显)通过摄像头识别到患者体表的人造骨性标志，通过模式识别算法，与预先输入的患部3D模型上的骨性标志进行匹配；

2、匹配成功后头显把3D模型叠加在现实影像上形成AR/MR图像，并显示在头显自带显示屏上，实现“透视”效果；

3、为避免头显佩戴者发生位移时(如从手术台左侧移动到右侧)，AR/MR图像的异常(如3D模型的振颤或消失)，需要用辅助手段对真实世界的3D空间做标注，便于头显设备根据位移实时运算出正确的图像；

4、激光矩阵在手术部位投射出若干激光点和激光线构成的矩阵，这些点和线会被头显的摄像头捕捉并记录；

5、位移发生时，模式识别算法会根据这些点、线发生的偏移量来对头显上的图像做修正，确保头显佩戴者看到正确的影像(如站在左侧看到的是骨骼模型的左侧，站在右侧看到的是骨骼模型的右侧)。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (2)

1.一种头戴式医疗系统，包括AR/MR头戴显示设备和激光发生器，其特征在于，所述AR/MR头戴显示设备佩戴在医生的头部，医生佩戴AR/MR头戴显示设备站在手术台的一侧，所述激光发生器架设在手术台的上方，在患者的体表上进行标记人造骨性标志，激光发生器对准患病部位的体表进行照射，医生通过AR/MR头戴显示设备内的摄像头对人造骨性标志进行观察和识别。

2.一种如权利要求1所述的头戴式医疗系统的操作方法，其特征在于，包括准备步骤和使用步骤，具体步骤如下：

(1)准备步骤

1)在患者体表做好人造骨性标志；

2)对患者进行CT扫描，把取得的患部3D模型输入AR/MR头戴显示设备中；

3)在手术台旁边架设好激光发生器；

(2)使用步骤

1)医生佩戴并启动AR/MR头戴显示设备；

2)视线对准人造骨性标志；

3)经模式识别算法处理，在AR/MR头戴显示设备上会看到患者身体上出现患部3D模型，实现透视效果，此时头显不能移动；

4)开启激光发生器，在患部体表形成激光矩阵；

5)移动视线，使人造骨性标志和激光矩阵同时出现在AR/MR头戴显示设备的显示屏中；

6)模式识别算法会自动记录激光矩阵的点、线信息，完成空间标定；

7)佩戴AR/MR头戴显示设备的医生围绕手术台随意走动，观察患部3D模型，指导手术操作。