CN111281540A - 基于虚实融合的骨科微创术中实时可视化导航系统 - Google Patents

Abstract

本发明提供一种基于虚实融合的骨科微创术中实时可视化导航系统，包括：NDIPolaris光学追踪设备：用于获取标记点在现实三维空间中的6自由度位姿信息；光学追踪设备支架：用于支撑光学追踪设备(NDIPolaris)，使光学追踪设备以任意角度摆放在指点位置；深度相机：用于获取手术中正位、侧位方向视频数据及视频深度信息；显示器：用于实时展示术中被追踪手术器械在正侧视频、侧位视频及三维虚拟模型中的位姿，实现微创手术“可视化”；视频设备支架：用于支撑深度相机、显示器设备，并将其固定在指定位置；视频导航计算装置，用于对光学追踪设备和深度相机获取的数据进行处理，计算视频导航数据发送到显示器。

Description

基于虚实融合的骨科微创术中实时可视化导航系统

技术领域

本发明涉及一种基于虚实融合的骨科微创术中实时可视化导航系统。

背景技术

“微创化”是骨科手术发展的必然趋势，如何使微创手术“精准化”是目前亟待解决的问题。随着虚拟现实技术和增强现实技术的不断发展，将其应用至医学领域，尤其是骨科微创领域，越来越受到人们的广泛关注。利用虚拟现实技术可以突破空间的束缚，将患者的病灶区域全方位无死角地展现给术者；利用增强显示技术，可以将数字化虚拟信息叠加到真实场景，从根本上解决骨科微创手术非直观、定位不准确等问题。

基于虚实融合的骨科微创术中实时可视化导航系统可以有效地解决骨科微创手术的“精准化”问题，实现微创手术“透视化”，提高手术的安全性、精确性；“术中实时可视化”的实现可减少穿刺过程的盲目性，降低手术难度，从而使骨科微创手术更具有可推广性。该系统操作简便、不需要额外配置大型设备，可迅速地、广泛地进行传播和交流，具有良好的可推广性。

发明内容

本发明解决的技术问题是骨科微创手术定位不准、手术过程不直观的问题，针对此问题，本发明提供了一种基于虚实融合的骨科微创术中实时可视化导航系统。该系统满足了骨科微创手术“精准化”和“可视化”的要求。

本发明采用的技术方案为：一种基于虚实融合的骨科微创术中实时可视化导航系统，包括：

NDIPolaris光学追踪设备：用于获取标记点在现实三维空间中的6自由度位姿信息；

光学追踪设备支架：用于支撑光学追踪设备(NDIPolaris)，使光学追踪设备以任意角度摆放在指点位置；

深度相机：用于获取手术中正位、侧位方向视频数据及视频深度信息；

显示器：用于实时展示术中被追踪手术器械在正侧视频、侧位视频及三维虚拟模型中的位姿，实现微创手术“可视化”；

视频设备支架：用于支撑深度相机、显示器设备，并将其固定在指定位置；

视频导航计算装置，用于对光学追踪设备和深度相机获取的数据进行处理，计算视频导航数据发送到显示器。

进一步的，视频导航计算装置，包括以下三个模块：

术中多元数据配准与虚实融合模块：用于识别患者体表放置的标记点，标记患者病灶区域，实现对其定位与追踪；并且利用深度学习的方法，构建YOLO v3网络，对输入的术中实时视频和X光影像，识别并跟踪标记点的位置，通过计算视频的尺度信息和X光影像尺度信息调整X光影像的大小，根据视频标志点的位置信息调整X光影像的角度，实现与术中实时视频的匹配与融合显示；

光学跟踪数据与X光影像配准模块：用于根据NDIPolaris光学追踪设备提供的实时6自由度坐标信息，获取当前时刻穿刺针的位姿信息，利用坐标映射矩阵和X光影像的尺度信息，实现穿刺针的实时渲染；

光学跟踪数据与三维模型配准模块：用于根据术前获取的CT数据，重建患者病灶区域三维模型并构建三维模型坐标系；根据NDIPolaris光学追踪设备提供的实时6自由度坐标信息，计算穿刺针模型的位移大小和方向，根据坐标映射矩阵公式将其映射至三维模型坐标系下，完成穿刺针模型的渲染。

进一步的，所述的术中多元数据配准与虚实融合模块，用于对X光影像和术中手术视频进行配准及虚实融合，在患者体表放置标记点，标记患者病灶区域，实现对其定位与追踪；首先利用YOLO v3深度神经网络识别并标记术中实时视频的标记点位置及对应X光影像中标记点位置，利用标记点在视频中的尺度信息和在X光影像中的尺度信息，计算视频空间尺度和X光影像空间尺度的映射关系，并根据尺度映射关系调整X光影像的大小；

然后根据所获得的标记点位置，选取标记点中坐标最小的两个点作为线段的两个端点，将术中视频中该线段与坐标系的夹角并与X光影像中该线段与坐标系的夹角进行比较，二者差值即为完成图像匹配时X光图像的旋转角；

以术中视频与X光影像中坐标最小的标记点为匹配中心，根据计算所得旋转角，将调整至适当大小的X光影像旋转，并与术中实时视频叠加，实现X光影像和术中手术视频的配准及虚实融合。

进一步的，所述光学跟踪数据与X光影像配准模块，用于对微创手术穿刺针在X光影像中6自由度进行实时更新及融合，计算NDIPolaris光学追踪设备坐标系和X光影像坐标系的映射矩阵，根据当前时刻穿刺针的6自由度位姿信息，计算穿刺针模型在X光影像坐标系中的位姿，完成穿刺针的渲染；

根据NDIPolaris光学追踪设备和X光机在现实空间中的物理位置关系，计算二者坐标系的映射关系，并根据NDIPolaris光学追踪设备的尺度信息和X光影像的尺度信息，计算二者坐标系间尺度映射关系，最终计算得到NDIPolaris光学追踪设备坐标系和X光影像坐标系的映射矩阵；

规定穿刺针在相机坐标系中坐标为(u,v)，穿刺针在NDIPolaris光学追踪设备坐标系中坐标为(x₁,y₁,z₁)，穿刺针在现实空间坐标系中坐标为(x₂,y₂,z₂)，则：

其中，dx、dy、dz、du、dv为坐标系单位长度变换比例；

然后根据NDIPolaris光学追踪设备获得的穿刺针位姿信息，通过坐标系映射矩阵，计算得到穿刺针在X光影像坐标系下的6自由度位姿，并根据穿刺针的尺度信息，完成穿刺针在X光影像坐标系下的实时渲染。

进一步的，所述光学跟踪数据与三维模型配准模块，用于对穿刺针在三维模型中的位置实时渲染更新，通过计算NDIPolaris光学追踪设备坐标系和物理空间坐标系的映射矩阵，以及物理空间坐标系和三维模型坐标系的映射矩阵，利用两个坐标系映射矩阵实现穿刺针模型在三维模型坐标系的渲染；

首先，根据NDIPolaris光学追踪设备和病人在现实空间中的物理位置关系和尺度信息，计算二者坐标系的映射矩阵；根据病人和三维模型的尺度关系，构建二者坐标系的映射矩阵。规定穿刺针在NDIPolaris光学追踪设备坐标系中坐标为(x₁,y₁,z₁)，穿刺针在现实空间坐标系中坐标为(x₂,y₂,z₂)，则：

其中，dx、dy、dz为坐标系单位长度变换比例；

然后，在三维模型空间中设定穿刺针的初始位置和姿态，将穿刺针摆放至现实物理空间中对应位置和姿态，记录此时NDIPolaris光学追踪设备提供的实时6自由度坐标信息作为穿刺针初始位姿，之后实时获取穿刺针6自由度位姿信息，计算穿刺针在NDIPolaris光学追踪设备坐标系下相对初始位姿的实时位移和角度偏转；通过NDIPolaris光学追踪设备-现实物理空间坐标系映射矩阵及现实物理空间-三维模型空间坐标系映射矩阵，计算穿刺针在三维模型空间下相对初始位姿的位移和角度偏转，从而实现穿刺针在三维模型空间系下实时定位追踪，实现穿刺针模型的实时渲染。

本发明与现有技术相比的优点在于：

1、本发明的导航系统将X光影像和穿刺针实时渲染至术中视频中，实现“术中实时可视化”，可减少穿刺过程的盲目性，降低手术难度。

2、本发明的导航系统利用深度学习，结合NDIPolaris光学追踪设备，实现病人空间坐标定位和体表无创定位，所用器材简单、可靠，方便医生在术中使用。

3、本发明的导航系统以骨科微创手术为应用背景，相对于其他医学专业而言，骨骼为刚体，术中当患者体位固定时无明显位移，其定位、匹配及追踪难度较低，有更好的应用前景。

附图说明

图1：本发明基于虚实融合的骨科微创术中实时可视化导航系统框图；

图2：本发明“术中多元数据配准与虚实融合模块”与“光学跟踪数据与X光影像配准模块”共同所得的最终结果展示；

图3：本发明患者腰椎模型及穿刺针实时渲染效果图；

图4：本发明“光学跟踪数据与X光影像配准模块”坐标映射关系展示；

图5：本发明“光学跟踪数据与三维模型配准模块”坐标映射关系展示；

图6：本发明基于虚实融合的骨科微创术中实时可视化导航系统结构示意图。

以下是附图中各个标号的说明：

1.光学追踪设备(NDIPolaris)；

2.光学追踪设备支架；

3.深度相机；

4.显示器；

5.视频设备支架。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

图1给出了基于虚实融合的骨科微创术中实时可视化导航系统框图，下面结合其他附图及具体实施方式进一步说明本发明。

本发明以术中视频数据、术中X光数据、NDI定位传感器数据、CT数据重建后的三维模型作为系统输入：对术中视频数据、术中X光数据、NDI定位传感器数据进行尺度调整、坐标变换等操作，完成X光配准与穿刺针配准，实现虚实融合与穿刺针配准；对NDI定位传感器数据、CT数据重建后的三维模型进行跟踪定位、尺度调整、坐标变换等操作，完成穿刺针在三维模型中的配准操作，实现穿刺针增强现实导航。

参见图6，本发明提供一种基于虚实融合的骨科微创术中实时可视化导航系统，主要包括光学追踪设备和视频设备两大部分，其中：光学追踪设备支架2支撑光学追踪设备1(NDIPolaris)，使光学追踪设备1以任意角度摆放在指点位置，以获取标记点在现实三维空间中的6自由度位姿信息；深度相机3获取手术中正位、侧位方向视频数据及视频深度信息；显示器4用于实时展示术中被追踪手术器械在正侧视频、侧位视频及三维虚拟模型中的位姿，实现微创手术“可视化”；视频设备支架支撑深度相机、显示器等设备，并将其固定在指定位置。还包括视频导航计算装置，用于对光学追踪设备和深度相机获取的数据进行处理，计算视频导航数据发送到显示器。

所述的视频导航计算装置还包括如下三个模块：

1、术中多元数据配准与虚实融合模块

该模块利用深度学习的方法。构建CNN网络识别并标记术中实时视频的标记点位置及对应X光影像中标记点的位置，通过计算视频的尺度信息和X光影像尺度信息调整X光影像的大小，根据视频标志点的位置信息调整X光影像的角度，实现与术中实时视频的匹配与叠加，其效果如图2所示。

首先利用YOLO v3等深度神经网络识别并标记术中实时视频的标记点位置及对应X光影像中标记点位置，利用标记点在视频中的尺度信息和在X光影像中的尺度信息，计算视频空间尺度和X光影像空间尺度的映射关系，并根据尺度映射关系调整X光影像的大小。

然后根据所获得的标记点位置，选取标记点中坐标最小的两个点作为线段的两个端点，将术中视频中该线段与坐标系的夹角并与X光影像中该线段与坐标系的夹角进行比较，二者差值即为完成图像匹配时X光图像的旋转角。

以术中视频与X光影像中坐标最小的标记点为匹配中心，根据计算所得旋转角，将调整至适当大小的X光影像旋转，并与术中实时视频叠加，实现X光影像和术中手术视频的配准及虚实融合。

2、光学跟踪数据与X光影像配准模块

该步骤根据NDIPolaris光学追踪设备提供的实时6自由度坐标信息，获取当前时刻穿刺针的位姿信息，利用坐标映射矩阵和X光影像的尺度信息，完成穿刺针的实时渲染，其效果如图2所示。

首先，根据NDIPolaris光学追踪设备和X光机在现实空间中的物理位置关系，计算二者坐标系的映射关系，并根据NDIPolaris光学追踪设备的尺度信息和X光影像的尺度信息，计算二者坐标系间尺度映射关系，最终计算得到NDIPolaris光学追踪设备坐标系和X光影像坐标系的映射矩阵。

各坐标系关系如图4所示，规定穿刺针在相机坐标系中坐标为(u,v)，穿刺针在NDIPolaris光学追踪设备坐标系中坐标为(x₁,y₁,z₁)，穿刺针在现实空间坐标系中坐标为(x₂,y₂,z₂)，则：

其中，dx、dy、dz、du、dv为坐标系单位长度变换比例。

然后根据NDIPolaris光学追踪设备获得的穿刺针位姿信息，通过坐标系映射矩阵，计算得到穿刺针在X光影像坐标系下的6自由度位姿，并根据穿刺针的尺度信息，完成穿刺针在X光影像坐标系下的实时渲染。

3、光学跟踪数据与三维模型配准模块

该模块通过计算NDIPolaris光学追踪设备坐标系和物理空间坐标系的映射矩阵，以及物理空间坐标系和三维模型坐标系的映射矩阵，利用两个坐标系映射矩阵实现穿刺针模型在三维模型坐标系的渲染，其效果如图3所示。

首先，根据NDIPolaris光学追踪设备和病人在现实空间中的物理位置关系和尺度信息，计算二者坐标系的映射矩阵；根据病人和三维模型的尺度关系，构建二者坐标系的映射矩阵。

各坐标系关系如图5所示，规定穿刺针在NDI设备坐标系中坐标为(x₁,y₁,z₁)，穿刺针在现实空间坐标系中坐标为(x₂,y₂,z₂)，则：

其中，dx、dy、dz为坐标系单位长度变换比例。

然后，在三维模型空间中设定穿刺针的初始位置和姿态，将穿刺针摆放至现实物理空间中对应位置和姿态，记录此时NDIPolaris光学追踪设备提供的实时6自由度坐标信息最为穿刺针初始位姿，之后实时获取穿刺针6自由度位姿信息，计算穿刺针在NDIPolaris光学追踪设备坐标系下相对初始位姿的实时位移和角度偏转。通过NDIPolaris光学追踪设备-现实物理空间坐标系映射矩阵及现实物理空间-三维模型空间坐标系映射矩阵，计算穿刺针在三维模型空间下相对初始位姿的位移和角度偏转，从而实现穿刺针在三维模型空间系下实时定位追踪，实现穿刺针模型的实时渲染。

本发明未详细阐述的技术内容属于本领域技术人员的公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种基于虚实融合的骨科微创术中实时可视化导航系统，其特征在于，包括：

NDIPolaris光学追踪设备：用于获取标记点在现实三维空间中的6自由度位姿信息；

光学追踪设备支架：用于支撑光学追踪设备(NDIPolaris)，使光学追踪设备以任意角度摆放在指点位置；

深度相机：用于获取手术中正位、侧位方向视频数据及视频深度信息；

显示器：用于实时展示术中被追踪手术器械在正侧视频、侧位视频及三维虚拟模型中的位姿，实现微创手术“可视化”；

视频设备支架：用于支撑深度相机、显示器设备，并将其固定在指定位置；

视频导航计算装置，用于对光学追踪设备和深度相机获取的数据进行处理，计算视频导航数据发送到显示器。

2.根据权利要求1所述的一种基于虚实融合的骨科微创术中实时可视化导航系统，其特征在于，视频导航计算装置，包括以下三个模块：

术中多元数据配准与虚实融合模块：用于识别患者体表放置的标记点，标记患者病灶区域，实现对其定位与追踪；并且利用深度学习的方法，构建YOLO v3网络，对输入的术中实时视频和X光影像，识别并跟踪标记点的位置，通过计算视频的尺度信息和X光影像尺度信息调整X光影像的大小，根据视频标志点的位置信息调整X光影像的角度，实现与术中实时视频的匹配与融合显示；

光学跟踪数据与X光影像配准模块：用于根据NDIPolaris光学追踪设备提供的实时6自由度坐标信息，获取当前时刻穿刺针的位姿信息，利用坐标映射矩阵和X光影像的尺度信息，实现穿刺针的实时渲染；

光学跟踪数据与三维模型配准模块：用于根据术前获取的CT数据，重建患者病灶区域三维模型并构建三维模型坐标系；根据NDIPolaris光学追踪设备提供的实时6自由度坐标信息，计算穿刺针模型的位移大小和方向，根据坐标映射矩阵公式将其映射至三维模型坐标系下，完成穿刺针模型的渲染。

3.根据权利要求2所述的一种基于虚实融合的骨科微创术中实时可视化导航系统，其特征在于：

所述的术中多元数据配准与虚实融合模块，用于对X光影像和术中手术视频进行配准及虚实融合，在患者体表放置标记点，标记患者病灶区域，实现对其定位与追踪；首先利用YOLO v3深度神经网络识别并标记术中实时视频的标记点位置及对应X光影像中标记点位置，利用标记点在视频中的尺度信息和在X光影像中的尺度信息，计算视频空间尺度和X光影像空间尺度的映射关系，并根据尺度映射关系调整X光影像的大小；

然后根据所获得的标记点位置，选取标记点中坐标最小的两个点作为线段的两个端点，将术中视频中该线段与坐标系的夹角并与X光影像中该线段与坐标系的夹角进行比较，二者差值即为完成图像匹配时X光图像的旋转角；

以术中视频与X光影像中坐标最小的标记点为匹配中心，根据计算所得旋转角，将调整至适当大小的X光影像旋转，并与术中实时视频叠加，实现X光影像和术中手术视频的配准及虚实融合。

4.根据权利要求2所述的一种基于虚实融合的骨科微创术中实时可视化导航系统，其特征在于：

所述光学跟踪数据与X光影像配准模块，用于对微创手术穿刺针在X光影像中6自由度进行实时更新及融合，计算NDIPolaris光学追踪设备坐标系和X光影像坐标系的映射矩阵，根据当前时刻穿刺针的6自由度位姿信息，计算穿刺针模型在X光影像坐标系中的位姿，完成穿刺针的渲染；

根据NDIPolaris光学追踪设备和X光机在现实空间中的物理位置关系，计算二者坐标系的映射关系，并根据NDIPolaris光学追踪设备的尺度信息和X光影像的尺度信息，计算二者坐标系间尺度映射关系，最终计算得到NDIPolaris光学追踪设备坐标系和X光影像坐标系的映射矩阵；

规定穿刺针在相机坐标系中坐标为(u,v)，穿刺针在NDIPolaris光学追踪设备坐标系中坐标为(x₁,y₁,z₁)，穿刺针在现实空间坐标系中坐标为(x₂,y₂,z₂)，则：

其中，dx、dy、dz、du、dv为坐标系单位长度变换比例；

然后根据NDIPolaris光学追踪设备获得的穿刺针位姿信息，通过坐标系映射矩阵，计算得到穿刺针在X光影像坐标系下的6自由度位姿，并根据穿刺针的尺度信息，完成穿刺针在X光影像坐标系下的实时渲染。

5.根据权利要求2所述的一种基于虚实融合的骨科微创术中实时可视化导航系统，其特征在于：

所述光学跟踪数据与三维模型配准模块，用于对穿刺针在三维模型中的位置实时渲染更新，通过计算NDIPolaris光学追踪设备坐标系和物理空间坐标系的映射矩阵，以及物理空间坐标系和三维模型坐标系的映射矩阵，利用两个坐标系映射矩阵实现穿刺针模型在三维模型坐标系的渲染；

首先，根据NDIPolaris光学追踪设备和病人在现实空间中的物理位置关系和尺度信息，计算二者坐标系的映射矩阵；根据病人和三维模型的尺度关系，构建二者坐标系的映射矩阵，规定穿刺针在NDIPolaris光学追踪设备坐标系中坐标为(x₁,y₁,z₁)，穿刺针在现实空间坐标系中坐标为(x₂,y₂,z₂)，则：

其中，dx、dy、dz为坐标系单位长度变换比例；

然后，在三维模型空间中设定穿刺针的初始位置和姿态，将穿刺针摆放至现实物理空间中对应位置和姿态，记录此时NDIPolaris光学追踪设备提供的实时6自由度坐标信息作为穿刺针初始位姿，之后实时获取穿刺针6自由度位姿信息，计算穿刺针在NDIPolaris光学追踪设备坐标系下相对初始位姿的实时位移和角度偏转；通过NDIPolaris光学追踪设备-现实物理空间坐标系映射矩阵及现实物理空间-三维模型空间坐标系映射矩阵，计算穿刺针在三维模型空间下相对初始位姿的位移和角度偏转，从而实现穿刺针在三维模型空间系下实时定位追踪，实现穿刺针模型的实时渲染。

Images