CN113034700A - 基于移动终端的前交叉韧带重建手术导航方法及系统 - Google Patents
基于移动终端的前交叉韧带重建手术导航方法及系统 Download PDFInfo
- Publication number
- CN113034700A CN113034700A CN202110245214.5A CN202110245214A CN113034700A CN 113034700 A CN113034700 A CN 113034700A CN 202110245214 A CN202110245214 A CN 202110245214A CN 113034700 A CN113034700 A CN 113034700A
- Authority
- CN
- China
- Prior art keywords
- marker
- real
- virtual
- patient
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 210000001264 anterior cruciate ligament Anatomy 0.000 title claims abstract description 36
- 238000001356 surgical procedure Methods 0.000 title claims abstract description 29
- 239000003550 marker Substances 0.000 claims abstract description 68
- 238000003384 imaging method Methods 0.000 claims abstract description 28
- 238000005516 engineering process Methods 0.000 claims abstract description 22
- 230000011218 segmentation Effects 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims description 23
- 210000000629 knee joint Anatomy 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000003190 augmentative effect Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 7
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005553 drilling Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 210000005259 peripheral blood Anatomy 0.000 description 1
- 239000011886 peripheral blood Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000011541 total hip replacement Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明的目的在于提供一种前交叉韧带重建手术导航方法及系统，包括：通过术前分割和建模模块三维重建患者患处的虚拟模型，并在所述虚拟模型中设定基准点；通过摄像机标定和视频采集模块获取真实手术场景信息以及计算患者身上标记物的位置坐标；利用虚实配准技术模块对所述虚拟模型与真实手术部位的空间配准，并且在显示器上配备手术规划路径，并进行导航；通过成像与位置跟踪模块显示真实手术成像结果，并实时跟踪所述标记物并且计算所述标记物的坐标信息，以完成前交叉韧带重建手术导航。本发明采用点对点配准自动完成虚拟场景与真实场景的配准，当出现基准点配准不准确，可以通过实时反馈的位置信息改为手动完成基准点的配准，提高了配准率。
Description
技术领域
本发明涉及增强现实技术领域，具体为一种基于移动终端的前交叉韧带重建手术导航方法及系统。
背景技术
随着计算机视觉、图像处理、跟踪定位等技术的快速发展，计算机辅助手术导航成为外科手术的重要研究方向之一。它已经运用于骨科、腔镜等手术中，并且因其精确、高效、低辐射等特点使其在临床实践中逐渐得到广泛应用。传统的全髋关节置换手术导航根据患者的术前三维影像完成患者病灶区域的定位。由于手术复杂度大、手术时间长，医生在术中的疲劳度会随之增加从而影响手术的精确度。除此之外，当病人位姿发生改变时还需要术中重新拍摄X光图片来确认导航定位是否有效，这不仅给医生和患者带来大量辐射，而且会延长手术时间和增加患者痛苦。
增强现实技术是一种将虚拟物体与真实场景无缝衔接的技术，它可以在屏幕上把虚拟世界套在现实世界中并进行互动。基于增强现实的手术导航系统能够在术中实时地呈现患者膝关节区域与手术器械的相对位置，并且可以对二者的位置进行跟踪检测。由于早期的增强现实技术设备昂贵、软件算法对CPU和GPU性能要求极高以及实时性、交互性、手眼协调都无法保证，因此不能运用于前交叉韧带重建术中。随着硬件设备的革新、算法的不断优化和对增强现实技术研究的不断深入，增强现实技术已经运用于前交叉韧带重建术中，它为胫骨和股骨隧道的钻取显著地提高了效率。
目前增强现实常用的交互设备分为投影仪、头戴式显示器、增强镜片和增强显示器。投影仪是一种手持式或者固定式的投影装置，它通过精准的配准技术将计算机生成的虚拟图像直接叠加到患者病灶处，从而完成增强显示。头戴式显示器是集显示与计算模块于一体，将计算机生成的虚拟画面直接覆盖到肉眼，或者将虚拟场景与摄镜头捕获的真实场景结合达到增强现实的效果。增强镜片则是在显示器和患者中间插入一个半透明镀银的镜片，通过镜片将计算机生产的虚拟场景准确反射到病人身上完成叠加显示。增强显示器是将虚拟三维模型与真实手术场景配准后的结果传输到平板电脑或者手机中完成显示。它通过自身集成的摄像头或者外部连接的高清摄像机实时获取真实手术场景的视频信号，然后利用计算机中的虚实配准程序完成病人手术部位的虚拟三维模型与真实的手术场景的融合，并且将视频信号实时呈现出来。投影仪和头戴式显示器的成像方式需要高昂的成本以及复杂的系统设置，不利于广泛地应用，而增强镜片由于占据过大的工作空间从而增大手术难度，因此不适宜广泛应用于前交叉韧带重建术。
一种成本低，配准率高的前交叉韧带重建手术导航方法及系统亟待研发。
发明内容
本发明的目的在于提供一种前交叉韧带重建手术导航方法及系统，能够采用点对点配准自动完成虚拟场景与真实场景的配准，同时，采用增强显示器作为成像工具，具有成本低廉的优点。
本发明的技术方案是：一种基于移动终端的前交叉韧带重建手术导航方法，包括：
通过术前分割和建模模块三维重建患者患处的虚拟模型，并在所述虚拟模型中设定基准点；
通过摄像机标定和视频采集模块获取真实手术场景信息以及计算患者身上标记物的位置坐标；
利用虚实配准技术模块对所述虚拟模型与真实手术部位的空间配准，并且在显示器上配备手术规划路径，并进行导航；
通过成像与位置跟踪模块显示真实手术成像结果，并实时跟踪所述标记物并且计算所述标记物的坐标信息，以完成前交叉韧带重建手术导航。
所述“通过术前分割和建模模块三维重建患者膝关节的虚拟模型”，包括：
Step 101:采集患者的CT/MRI图集，并通过Mimics软件对CT图集处理；
Step 102:在Minics软件中选定膝关节所在区域，手动裁剪蒙版的多余部分；
Step 103:在Minics软件中选取感兴趣区域作为源掩膜，对每张CT图像进行优化处理；
Step 104:采用Marching Cube(MC)算法将所述CT图集转化为三维模型。
所述“利用虚实配准技术模块对所述虚拟模型与真实手术部位的空间配准”，包括：
Step 201:采集所述摄像机标定和视频采集模块中的视频信号；
Step 202:对所述视频信号中的所述标识物进行识别；
Step 203:通过三维配准矩阵的计算将所述虚拟模型与所述真实手术场景信息进行叠加并进行显示。
所述“对所述视频信号中的所述标识物进行识别”，包括：
使用一个医疗电极片作为标识物，贴在患者膝关节切口处下方3cm处；
在Unity3D软件中，对所述虚拟模型的文件进行处理；同时将所述标记物的文件导入Unity3D软件中；
根据所述标记物的真实尺寸相应修改它在Unity3D软件中的大小，并放置在与真实场景相对应的位置上。
所述“通过三维配准矩阵的计算将所述虚拟模型与所述真实手术场景信息进行叠加并进行显示”，包括：
所述摄像机标定和视频采集模块和所述标记物之间的注册关系式为：
markerTcamera＝ markerTvirtual_model virtual_modelTpatient patientTcamera；
其中，markerTvirtual_model是将所述虚拟模型注册到所述标记物的坐标系中；
virtual_modelT patient是将患者注册到所述虚拟模型的坐标系中；
patientTcamera是将所述摄像机标定和视频采集模块中摄像机的坐标系注册到所述患者的坐标系中。
所述“通过摄像机标定和视频采集模块获取真实手术场景信息以及计算患者身上标识物的位置坐标”，包括：
Step 301:通过摄像机标定获得至少两个摄像头的内部参数、外部参数和畸变系数；
Step 302:通过双目标定获得世界坐标中的某一点与所述摄像头的映射关系；
Step 303:通过立体匹配将所述摄像头视图的相同特征进行匹配，从而得到视差图；
Step 304:通过对所述视差图对目标点进行距离测量，得到所述目标点的深度值。
所述“通过双目标定获得世界坐标中的某一点与所述摄像头的映射关系”，包括：
在OpenCV软件中寻找棋盘格图像中的内角点位置，再对检测到的角点作进一步的优化计算使角点的精度达到亚像素级别；
绘制出检测到的棋盘角点，再计算两个所述摄像头的立体校正映射矩阵，获得两个所述摄像头的投影矩阵以及重投影矩阵；
通过计算所述摄像头的无畸变和修正转换映射从而生成一个映射矩阵。
所述“通过成像与位置跟踪模块显示真实手术成像结果，并实时跟踪所述标记物并且计算所述标记物的坐标信息，以完成前交叉韧带重建手术导航”，包括：
Step 401：监测跟踪真实场景中的对象，获取真实手术场景的图像；
Step 402：通过模板匹配算法对所述标识物的图像符号进行识别，当识别成功后，根据所述虚拟模型与所述标识物预设的相对位置将虚拟物体画面与真实场景进行匹配；
Step 403：通过触屏控制或虚拟按钮形式进行视频交互；
Step 404：通过位置跟踪评估所述标识物移动过程中，所述虚拟模型中的基准点与患者身上的所述标识物之间的位置变换关系。
一种基于移动终端的前交叉韧带重建手术导航方法，还包括：
将所述“实时跟踪所述标记物并且计算所述标记物的坐标信息”通过Android平台进行发布。
一种应用如上述基于移动终端的前交叉韧带重建手术导航方法的系统，包括：
术前分割和建模模块，用于根据CT/MRI图集三维重建患者患处的虚拟模型；
摄像机标定和视频采集模块，设置在手术室内，用于获取真实手术场景信息以及计算患者身上标记物的位置坐标；
虚实配准技术模块，与所述术前分割和建模模块、所述摄像机标定和视频采集模块同时连接，用于对所述虚拟模型与真实手术部位的空间配准；
成像与位置跟踪模块，与所述虚实配准技术模块连接，用于显示真实手术成像结果并实时跟踪所述标记物并且计算所述标记物的坐标信息，以完成前交叉韧带重建手术导航。
本发明的有益效果至少包括：本发明采用点对点配准自动完成虚拟场景与真实场景的配准，当出现基准点配准不准确，可以通过实时反馈的位置信息改为手动完成基准点的配准，提高了配准率；
本发明为胫骨和股骨隧道的钻取提供了一种更直观、更高效的解决方案。该系统采用增强显示器作为成像工具，降低了成本；将术前分割、规划的手术方案和术中信息叠加到真实的手术场景中，并且通过双目摄像头实时跟踪并反馈病灶区域的位置信息；相对传统手术导航系统而言，本发明可以简化手术过程、缩短手术时间，既能高效、准确地进行手术，又能保护周围重要的血管和神经。
附图说明
图1为本发明所述方法的流程图。
图2为虚实配准技术模块的工作原理图；
图3为成像与位置跟踪模块的程序流程图。
具体实施方式
下面结合附图对本申请进行进一步的说明。
如图1，一种应用如上述基于移动终端的前交叉韧带重建手术导航方法的系统，包括：术前分割和建模模块、摄像机标定和视频采集模块、虚实配准技术模块以及成像与位置跟踪模块；其中，术前分割和建模模块，用于根据CT/MRI图集三维重建患者患处的虚拟模型；摄像机标定和视频采集模块设置在手术室内，用于获取真实手术场景信息以及计算患者身上标记物的位置坐标；虚实配准技术模块与所述术前分割和建模模块、所述摄像机标定和视频采集模块同时连接，用于对所述虚拟模型与真实手术部位的空间配准；成像与位置跟踪模块与所述虚实配准技术模块连接，用于显示真实手术成像结果并实时跟踪所述标记物并且计算所述标记物的坐标信息，以完成前交叉韧带重建手术导航。
一种基于移动终端的前交叉韧带重建手术导航方法，包括：通过术前分割和建模模块三维重建患者患处的虚拟模型，并在所述虚拟模型中设定基准点；通过摄像机标定和视频采集模块获取真实手术场景信息以及计算患者身上标记物的位置坐标；利用虚实配准技术模块对所述虚拟模型与真实手术部位的空间配准，并且在显示器上配备手术规划路径，并进行导航；通过成像与位置跟踪模块显示真实手术成像结果，并实时跟踪所述标记物并且计算所述标记物的坐标信息，以完成前交叉韧带重建手术导航。
下面对各个部分进行详细说明：
术前分割和建模模块的作用；
在前交叉韧带重建术中，首先通过医院放射科的机器对患者的膝关节进行扫描从而获取CT/MRI图像。将扫描后的CT图集保存为DICOM或者BMP格式导入Mimics软件。
基于Mimics的术前分割和建模主要分为四步：
·Step 1:对CT图集进行预处理。预处理包括调整窗宽和窗位，设置方位参数，把不同视图中图片的阈值调整到一个合适的范围。为了合理地定义CT图集的上下界阈值，使用功能区中的“contrast”进行调节。其中阈值越小，模型漏洞越少，适合软组织的分割。阈值越大，模型的稠密程度越高，适合骨头的分割。实验中，当阈值下界为226，上界为1692时，对膝关节的分割效果最佳。
·Step 2:蒙版(mask)编辑。蒙板是将不同灰度色值转化为不同的透明度，并作用到它所在的图层，使图层不同部位透明度产生相应的变化。在Minics中使用“crop mask”选定膝关节所在区域，然后点击“edit masks”手动裁剪蒙版的多余部分。
·Step 3:区域生长。点击“region growing”选取感兴趣区域作为源掩膜，单击鼠标左键开始分割。为了去掉像素中的漂浮物质，我们将每张CT图像进行了优化处理，包括擦除多余像素和填补漏洞。
·Step 4:三维重建。本文采用Marching Cube(MC)算法将CT图集转化为三维模型，其中MC算法是最常用的面绘制方法。MC算法以数据场中两幅相邻CT图像的8个点组成的立方体为基本单位(voxel)。将体素中8个顶点的属性值分别与阈值进行比较，如果大于阈值在等值面外部，反之在等值面内部。要确定每一个体素中三角面片顶点的具体空间位置，需要利用线性插值法计算体素的棱边和等值面的交点坐标。假设体素的棱边分别平行于x轴，y轴和z轴，则三角面片顶点坐标为T(x，y，z)，其中x，y，z的求解见式(1)。
其中T1(x1，y1，z1)，T2(x2，y2，z2)是体素的棱边两个端点的坐标；g1，g2是这两个端点在T1，T2处的灰度值；D是给定的阈值。计算出各个顶点后，近似拟合等值面的三角网格。为了优化重建后的模型需要加入光照模型，因此需要计算三角面片的法向量。由于等值面上各点的梯度方向可以近似为等值面在该点的法方向，因此MC算法一般使用梯度向量替代法向量。采用中心差分方法求解出体素内8个顶点的梯度值，再采用线性插值求解三角面片顶点的法向量，体素棱边顶点处的梯度，如式(2)。
其中m、n、t是立方体的边长；f(x，y，z)是在点(x，y，z)处的灰度值；Gx、Gy、Gz表示3个方向上梯度。得到体素棱边顶点的梯度值后，计算三角面片顶点的法向量N(Nx，Ny，Nz)，如式(3)。
其中:N(Nx1，Ny1，Nz1)，N(Nx2，Ny2，Nz2)是体素棱边两个端点处的法向量，Δg＝g2-g1。通过MC算法完成膝关节虚拟模型构建之后以“STL”格式保存，并将其导入3D Builder中转化为“OBJ”格式。最后将“OBJ”格式的模型文件导入Unity3D中进行后续处理；
本发明采用MC算法完成膝关节模型的三维重建，算法逻辑简单，计算量较小且速度快。
1、虚实配准技术模块的作用；
虚实配准技术模块主要实现病人的影像学数据与真实病灶区域的空间配准。本文在Unity3D中通过Vuforia开发工具包中的标识法进行虚实配准，该过程主要包括视频信号的获取、标记物的识别、三维配准矩阵的计算和虚实叠加显示，如图2所示。
本发明使用一个的3厘米×3厘米的医疗电极片作为标记物，贴在患者膝关节切口处下方3cm处。将“OBJ”格式的模型文件拖入Unity3D的“Scene面板”中，并将标记物的电子图片上传到Vuforia官网，将其包装成一个“Unity Package”文件导入Unity3D中使用。根据标记物的真实尺寸相应修改它在Unity3D中的大小，并放置在与真实场景相对应的位置上。根据医生术前的规划在Unity3D的“Scene面板”中创建一个长为15厘米，半径为0.1厘米的圆柱体充当胫骨或股骨隧道的导针。为了虚实叠加效果更接近透视的效果，将膝关节模型中“Mesh Renderer”属性下的“Renderer Mode”设置为半透明模式，并将颜色中“RGBA”的“A”值设在90和100之间。同时将导针模型也设置为半透明颜色，并将A值设置在200和220之间以避免出现视觉混淆。最后，通过USB接口连接双目摄像头与计算机来拍摄真实手术场景影像。
整个虚实配准模块包含三个转换关系：markerTvirtual_model，virtual_modelTpatient和patientTcamera。markerTvirtual_model是将虚拟膝关节模型注册到标记物的坐标系中。virtual_ modelTpatient是将患者注册到膝关节模型的坐标系中。patientTcamera则将相机坐标系注册到患者的坐标系中。因此，摄像机和标记物之间的注册关系如(4)所示。
markerTcamera＝ markerTvirtual_model virtual_modelTpatient patientTcamera (4)
2、摄像机标定和视频采集模块的作用；
摄像机标定和视频采集模块主要采用一台ZED 2代双目深度传感立体相机进行，并且从不同角度不同距离拍摄16组棋盘格的图像，将图像导入Open Source ComputerVision Library(OpenCV)中完成相机标定、双目立体测距以及后续图像处理；
摄像机标定和视频采集模块主要分为以下四步进行工作：
·Step 1:摄像机标定。摄像机标定主要为了求出两个摄像头的内部参数、外部参数和畸变系数。内部参数M主要是由两个真实主点与理想主点间的偏移参数cx和cy以及x轴与y轴上的焦距fx和fy组成。cx和cy主要解决制造工艺中真实主点无法保证在成像设备的正中心的问题，而引入两个焦距主要是解决像素点在摄像机上不能保证是正方形的问题。外部参数W由一个3×3的旋转矩阵R和一个3×1的平移T矩阵组成。单应性矩阵H＝MW，如式(5)。
假设成像平面上的点为q＝[x y 1]T，目标物体点为Q＝[X Y Z 1]T，引入参数s(比例因子)，其定义如式(6)。
q＝s*H*Q (6)
由于径向畸变和切向畸变的影响，需要对图像进行畸变校正。假设qd(xd，yd)为待校正点，qp(xp，yp)为校正后的点，两者的关系如式(7)所示。
其中畸变矩阵由一个5×1的矩阵构成，表示为(k1，k2，p1，p2，k3)。
·Step 2:双目标定。这一步目的是计算出世界坐标中的某一点与左右摄像头的映射关系。在OpenCV中调用findChessboardCorners()函数寻找棋盘格图像的中的内角点位置，再使用cornerSubPix()或者find4QuadCornerSubpix()函数对检测到的角点作进一步的优化计算使角点的精度达到亚像素级别。接下来，使用drawChessboardCorners()函数绘制出检测到的棋盘角点，再使用stereoRectify()函数计算两个摄像头的立体校正映射矩阵，该函数返回的结果主要包括左右摄像头之间的旋转矩阵和平移向量、左右摄像头的投影矩阵Pleft和Pright以及重投影矩阵Q。其中投影矩阵是将三维点转化成二维点，而重投影矩阵是将二维点转换成三维点，如式(8)-(10)所示。
其中投影平面上的点坐标为(x/w，y/w)，三维坐标为(X/W，Y/W，Z/W)，主点在左图像上的坐标为(cx，cy)，f为焦距，Tx为双目间距，c'x为主点在右图像的x坐标。最后使用initUndistortRectifyMap()计算摄像头的无畸变和修正转换映射从而生成一个映射矩阵。
·Step 3:立体匹配。这一步主要将左右摄像头视图的相同特征进行匹配，从而得到视差图。使用StereoBM()查找左右两幅校正的图像之间的最优匹配点，这个过程包括归一化预过滤、使用小窗口查找匹配点和筛选高质量匹配点等。
·Step 4:三角测距。通过对两幅图像视差的计算对目标点进行距离测量。假设世界坐标系中某点在左摄像头坐标为(xl，yl)，右摄像头坐标为(xr，yr)，视差为d＝xl–xr。根据相似三角形原理得到该点的深度值Z，如式(11)所示。
3、成像与位置跟踪模块的作用；
成像与位置跟踪模块的程序流程如图3所示；在Unity3D基于Vuforia开发包实现增强现实主要包括图像获取、图像匹配与虚实结合、视频交互和位置跟踪，具体分为以下4个步骤：
·Step 1：图像获取。将“ARCamera”和“ImageTarget”拖入项目中，把虚拟膝关节模型拖到“ImageTarget”目录下。通过“ImageTarget”中的Image Converter将摄像头拍摄到的图片从相机的OpenGL ES rendering的格式转换成tracking的格式以便后续的图片检测、匹配和跟踪。通过Trackable基类监测跟踪真实场景中的对象。
·Step 2：图像匹配与虚实结合。本文使用医学电极片作为标记物，它本质上是一种二维矩阵码。通过Vuforia中特定的模板匹配算法对标记物的图像符号进行识别。当识别成功后，根据Unity3D场景中虚拟膝关节模型与标记物预设的相对位置将虚拟物体画面与真实场景进行精准匹配。
·Step 3：视频交互。常见的视频交互指令包括沿着3个坐标轴的平移和旋转运动以及缩放。交互的方式主要分为触屏控制和虚拟按钮形式。其中触屏控制形式根据Input.touchCount获取的触摸屏点数以及触摸点的运动状态定义相关功能，它非常方便、直观地对物体进行相应操作。本专利在Input.touchCount等于1且为刚接触的状态(TouchPhase.Stationary)时，通过单个手指头上下左右滑动屏幕相应改变模型Transform组件中Position的x和y值。在Input.touchCount等于2且两个接触点位置状态存在移动(TouchPhase.Moved)时，当二者距离减少则将虚拟模型Transform中的Scale值随时间缩小，反之增大，从而完成缩放功能。
但是触屏控制形式的手势操作非常有限，因此限制了功能实现的数目。虚拟按钮形式则是在运行画面中直接生成一个矩形按钮，通过点击按钮实现相对应的功能。虚拟按钮的创建形式为GUI.Button，如“按钮位置大小信息”，“按钮名称”)。本专利通过虚拟按键形式实现截屏、摄像头切换、闪光灯开关等功能，这为虚拟模型的多维角度观察以及术中虚拟模型的调整带来了极大的便利。截屏功能通过“System.DateTime.Now”获取当前系统截屏时间，并将截屏的照片以"AR_ScreenShot+截屏时间+.jpg"的文件名保存到设备中，其中设备目录设置为"/sdcard/DCIM/Sceenshots"。摄像头切换功能则主要经过四步：禁用第一台摄像机(CameraDevice.Instance.Stop)、取消第一台摄像机初始化(CameraDevice.Instance.Deinit)、第二台摄像机初始化(CameraDevice.Instance.Init)、打开第二台摄像头(CameraDevice.Instance.Start)。闪光灯的开关则引入一个布尔类型的值作为CameraDevice.Instance.SetFlashTorchMode的参数来控制是否开启。本专利还通过引入虚拟按钮来控制虚拟物体的景深，其本质是改变模型Transform组件中的Position的z值。
·Step 4：位置跟踪。这一步主要评估标记物移动过程中虚拟骨盘模型的基准点与患者身上的标记点之间的位置变换关系。本专利在Unity3D的Asset Store中导入“OpenCV for Unity 2.3.8”插件，使用OpenCV中的CamShift算法对基准点进行跟踪。由于RGB颜色空间对光照亮度变化较为敏感，为了减少此变化对跟踪效果的影响，首先将图像从RGB空间转换到HSV空间，并且提取H分量，使用calcHist()作直方图。根据H分量出现的概率或者像素个数计算颜色概率，并使用calcBackProject()将每个像素的值与相应颜色出现的概率交换得到颜色概率分布图。在颜色概率分布图中选取搜索窗W计算零阶矩阵M00、x的一阶矩阵M10、y的一阶矩阵M01(12)以及长度l、宽度s(13)和质心(xc,yc)(14)；
移动搜索窗口使得它的中心与患者身上的基准点的圆心对齐，然后不断计算下一帧视频图像的H值来重新初始化搜索窗的大小和位置，从而不断反向投影得到新的概率分布图来持续跟踪。
为了在移动终端上使用，最后，将Unity场景打包发布到安卓平台。整个流程包括：JDK安装和环境参数配置、SDK安装和环境配置和Unity中Android平台参数的设置。在Unity的外部工具设置中，需要把JDK和SDK的路径分别放进去，同时在Player Settings中将Company Name和Product Name与Other Settings中的Package Name相对照；最后，打包成apk文件在安卓端即可运行。
本发明能够在安卓移动端完成增强现实的功能；在移动端可以完成相机切换、开关闪光灯、截屏、对虚拟模型的拆分以及移动的功能，方便使用。
需要明确的是：本发明所述的技术同样可以应用在基于Hololens的前交叉韧带重建术AR导航系统或基于便捷式手持式投影仪的前交叉韧带重建术AR导航系统。
以上所述仅为发明的较佳实施例而己，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于移动终端的前交叉韧带重建手术导航方法，其特征在于，包括：
通过术前分割和建模模块三维重建患者患处的虚拟模型，并在所述虚拟模型中设定基准点；
通过摄像机标定和视频采集模块获取真实手术场景信息以及计算患者身上标记物的位置坐标；
利用虚实配准技术模块对所述虚拟模型与真实手术部位的空间配准，并且在显示器上配备手术规划路径，并进行导航；
通过成像与位置跟踪模块显示真实手术成像结果，并实时跟踪所述标记物并且计算所述标记物的坐标信息，以完成前交叉韧带重建手术导航；并与移动端进行实时通信。
2.根据权利要求1所述的基于移动终端的前交叉韧带重建手术导航方法，其特征在于，所述“通过术前分割和建模模块三维重建患者膝关节的虚拟模型”，包括：
Step 101:采集患者的CT/MRI图集，并通过Mimics软件对CT图集处理；
Step 102:在Minics软件中选定膝关节所在区域，手动裁剪蒙版的多余部分；
Step 103:在Minics软件中选取感兴趣区域作为源掩膜，对每张CT图像进行优化处理；
Step 104:采用Marching Cube(MC)算法将所述CT图集转化为三维模型。
3.根据权利要求1所述的基于移动终端的前交叉韧带重建手术导航方法，其特征在于，所述“利用虚实配准技术模块对所述虚拟模型与真实手术部位的空间配准”，包括：
Step 201:采集所述摄像机标定和视频采集模块中的视频信号；
Step 202:对所述视频信号中的所述标识物进行识别；
Step 203:通过三维配准矩阵的计算将所述虚拟模型与所述真实手术场景信息进行叠加并进行显示。
4.根据权利要求3所述的基于移动终端的前交叉韧带重建手术导航方法，其特征在于，所述“对所述视频信号中的所述标识物进行识别”，包括：
使用一个医疗电极片作为标识物，贴在患者膝关节切口处下方3cm处；
在Unity3D软件中，对所述虚拟模型的文件进行处理；同时将所述标记物的文件导入Unity3D软件中；
根据所述标记物的真实尺寸相应修改它在Unity3D软件中的大小，并放置在与真实场景相对应的位置上。
5.根据权利要求3所述的基于移动终端的前交叉韧带重建手术导航方法，其特征在于，所述“通过三维配准矩阵的计算将所述虚拟模型与所述真实手术场景信息进行叠加并进行显示”，包括：
所述摄像机标定和视频采集模块和所述标记物之间的注册关系式为：
markerTcamera＝ markerTvirtual_model virtual _ modelT patient patientTcamera；
其中，markerTvirtual_model是将所述虚拟模型注册到所述标记物的坐标系中；
virtual _ modelT patient是将患者注册到所述虚拟模型的坐标系中；
patientTcamera是将所述摄像机标定和视频采集模块中摄像机的坐标系注册到所述患者的坐标系中。
6.根据权利要求1所述的基于移动终端的前交叉韧带重建手术导航方法，其特征在于，所述“通过摄像机标定和视频采集模块获取真实手术场景信息以及计算患者身上标识物的位置坐标”，包括：
Step 301:通过摄像机标定获得至少两个摄像头的内部参数、外部参数和畸变系数；
Step 302:通过双目标定获得世界坐标中的某一点与所述摄像头的映射关系；
Step 303:通过立体匹配将所述摄像头视图的相同特征进行匹配，从而得到视差图；
Step 304:通过对所述视差图对目标点进行距离测量，得到所述目标点的深度值。
7.根据权利要求6所述的基于移动终端的前交叉韧带重建手术导航方法，其特征在于，所述“通过双目标定获得世界坐标中的某一点与所述摄像头的映射关系”，包括：
在OpenCV软件中寻找棋盘格图像中的内角点位置，再对检测到的角点作进一步的优化计算使角点的精度达到亚像素级别；
绘制出检测到的棋盘角点，再计算两个所述摄像头的立体校正映射矩阵，获得两个所述摄像头的投影矩阵以及重投影矩阵；
通过计算所述摄像头的无畸变和修正转换映射从而生成一个映射矩阵。
8.根据权利要求1所述的基于移动终端的前交叉韧带重建手术导航方法，其特征在于，所述“通过成像与位置跟踪模块显示真实手术成像结果，并实时跟踪所述标记物并且计算所述标记物的坐标信息，以完成前交叉韧带重建手术导航”，包括：
Step 401：监测跟踪真实场景中的对象，获取真实手术场景的图像；
Step 402：通过模板匹配算法对所述标识物的图像符号进行识别，当识别成功后，根据所述虚拟模型与所述标识物预设的相对位置将虚拟物体画面与真实场景进行匹配；
Step 403：通过触屏控制或虚拟按钮形式进行视频交互；
Step 404：通过位置跟踪评估所述标识物移动过程中，所述虚拟模型中的基准点与患者身上的所述标识物之间的位置变换关系。
9.根据权利要求8所述的基于移动终端的前交叉韧带重建手术导航方法，其特征在于，还包括：
将所述“实时跟踪所述标记物并且计算所述标记物的坐标信息”通过Android平台进行发布。
10.一种应用如权利要求1～9所述基于移动终端的前交叉韧带重建手术导航方法的系统，其特征在于，包括：
术前分割和建模模块，用于根据CT/MRI图集三维重建患者患处的虚拟模型；
摄像机标定和视频采集模块，设置在手术室内，用于获取真实手术场景信息以及计算患者身上标记物的位置坐标；
虚实配准技术模块，与所述术前分割和建模模块、所述摄像机标定和视频采集模块同时连接，用于对所述虚拟模型与真实手术部位的空间配准；
成像与位置跟踪模块，与所述虚实配准技术模块连接，用于显示真实手术成像结果并实时跟踪所述标记物并且计算所述标记物的坐标信息，以完成前交叉韧带重建手术导航。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110245214.5A CN113034700A (zh) | 2021-03-05 | 2021-03-05 | 基于移动终端的前交叉韧带重建手术导航方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110245214.5A CN113034700A (zh) | 2021-03-05 | 2021-03-05 | 基于移动终端的前交叉韧带重建手术导航方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113034700A true CN113034700A (zh) | 2021-06-25 |
Family
ID=76468198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110245214.5A Pending CN113034700A (zh) | 2021-03-05 | 2021-03-05 | 基于移动终端的前交叉韧带重建手术导航方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113034700A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113648061A (zh) * | 2021-07-15 | 2021-11-16 | 上海交通大学医学院附属第九人民医院 | 一种基于混合现实的头戴式导航系统及导航配准方法 |
| CN114224489A (zh) * | 2021-12-12 | 2022-03-25 | 浙江德尚韵兴医疗科技有限公司 | 用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法 |
| CN115061575A (zh) * | 2022-07-28 | 2022-09-16 | 环球数科集团有限公司 | 一种基于虚拟人技术的人机交互系统 |
| CN116433874A (zh) * | 2021-12-31 | 2023-07-14 | 杭州堃博生物科技有限公司 | 支气管镜导航方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107536643A (zh) * | 2017-08-18 | 2018-01-05 | 北京航空航天大学 | 一种前交叉韧带重建的增强现实手术导航系统 |
| CN108335365A (zh) * | 2018-02-01 | 2018-07-27 | 张涛 | 一种影像引导的虚实融合处理方法及装置 |
| CN109276266A (zh) * | 2018-09-19 | 2019-01-29 | 晓智科技（成都）有限公司 | 一种根据厚度值进行x光成像剂量确定方法 |
-
2021
- 2021-03-05 CN CN202110245214.5A patent/CN113034700A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107536643A (zh) * | 2017-08-18 | 2018-01-05 | 北京航空航天大学 | 一种前交叉韧带重建的增强现实手术导航系统 |
| CN108335365A (zh) * | 2018-02-01 | 2018-07-27 | 张涛 | 一种影像引导的虚实融合处理方法及装置 |
| CN109276266A (zh) * | 2018-09-19 | 2019-01-29 | 晓智科技（成都）有限公司 | 一种根据厚度值进行x光成像剂量确定方法 |
Non-Patent Citations (3)
| Title |
|---|
| 汤泉: "基于AdaBoost和Camshift的人脸检测与跟踪", 《电子科技》 * |
| 蔡丽等: "头部CT三维重建在鼻窦内翻性乳头状瘤术前规划的应用", 《中国临床解剖学杂志》 * |
| 谢劲冰等: "双目视觉技术在前交叉韧带重建手术导航系统中的应用", 《中国组织工程研究与临床康复》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113648061A (zh) * | 2021-07-15 | 2021-11-16 | 上海交通大学医学院附属第九人民医院 | 一种基于混合现实的头戴式导航系统及导航配准方法 |
| CN113648061B (zh) * | 2021-07-15 | 2022-08-09 | 上海交通大学医学院附属第九人民医院 | 一种基于混合现实的头戴式导航系统及导航配准方法 |
| CN114224489A (zh) * | 2021-12-12 | 2022-03-25 | 浙江德尚韵兴医疗科技有限公司 | 用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法 |
| CN114224489B (zh) * | 2021-12-12 | 2024-02-13 | 浙江德尚韵兴医疗科技有限公司 | 用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法 |
| CN116433874A (zh) * | 2021-12-31 | 2023-07-14 | 杭州堃博生物科技有限公司 | 支气管镜导航方法、装置、设备及存储介质 |
| CN115061575A (zh) * | 2022-07-28 | 2022-09-16 | 环球数科集团有限公司 | 一种基于虚拟人技术的人机交互系统 |
| CN115061575B (zh) * | 2022-07-28 | 2022-10-25 | 环球数科集团有限公司 | 一种基于虚拟人技术的人机交互系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Video see‐through augmented reality for oral and maxillofacial surgery | |
| CN113034700A (zh) | 基于移动终端的前交叉韧带重建手术导航方法及系统 | |
| US6006126A (en) | System and method for stereotactic registration of image scan data | |
| US9107698B2 (en) | Image annotation in image-guided medical procedures | |
| Cutolo et al. | Software framework for customized augmented reality headsets in medicine | |
| US20140218366A1 (en) | Method and device for displaying an object | |
| US12016633B2 (en) | Alignment of medical images in augmented reality displays | |
| US11948265B2 (en) | Image data set alignment for an AR headset using anatomic structures and data fitting | |
| Hu et al. | Head-mounted augmented reality platform for markerless orthopaedic navigation | |
| JP2024501897A (ja) | 術前画像データを手術シーンなどのシーンの術中画像データにレジストレーションする方法およびシステム | |
| KR102056436B1 (ko) | 의료용 네비게이션 시스템 및 그 방법 | |
| Vogt et al. | Reality augmentation for medical procedures: System architecture, single camera marker tracking, and system evaluation | |
| CN110751681A (zh) | 一种增强现实的配准方法、装置、设备及存储介质 | |
| CN107194988B (zh) | 显示人体器官三维医学模型内部标记点的方法和装置 | |
| Ma et al. | 3D visualization and augmented reality for orthopedics | |
| Liu et al. | Toward intraoperative image-guided transoral robotic surgery | |
| Gsaxner et al. | Augmented reality in oral and maxillofacial surgery | |
| Fischer et al. | A hybrid tracking method for surgical augmented reality | |
| Kim et al. | Designing a new endoscope for panoramic-view with focus-area 3D-vision in minimally invasive surgery | |
| CN111658142A (zh) | 一种基于mr的病灶全息导航方法及系统 | |
| Huang et al. | Augmented reality-based autostereoscopic surgical visualization system for telesurgery | |
| Xie et al. | Image-guided navigation system for minimally invasive total hip arthroplasty (MITHA) using an improved position-sensing marker | |
| JP2022059877A (ja) | プログラム、情報処理方法及び内視鏡システム | |
| US20230074630A1 (en) | Surgical systems and methods for positioning objects using augmented reality navigation | |
| Shi et al. | Augmented reality for oral and maxillofacial surgery: The feasibility of a marker‐free registration method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210625 |
|
| RJ01 | Rejection of invention patent application after publication |