CN108010587A - 基于ct影像的盆腔手术视觉导航仿真视频的制备方法 - Google Patents
基于ct影像的盆腔手术视觉导航仿真视频的制备方法 Download PDFInfo
- Publication number
- CN108010587A CN108010587A CN201711262113.9A CN201711262113A CN108010587A CN 108010587 A CN108010587 A CN 108010587A CN 201711262113 A CN201711262113 A CN 201711262113A CN 108010587 A CN108010587 A CN 108010587A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- msub
- endoscope
- mtr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Endoscopes (AREA)
Abstract
本发明提供一种基于CT影像的盆腔手术视觉导航仿真视频的制备方法，其包括以下步骤：步骤S1：对患者术前CT扫描所得DICOM数据的骨盆分割及三维重建，提供骨盆三维模型的可视化；步骤S2：获取手术中的视频，形成具有真实纹理的三维模型；步骤S3：对内窥镜进行标定；按内窥镜各参数计算投影矩阵与畸变映射，创建虚拟内窥镜，按3D图像渲染引擎机制显示三维模型，使得模型在近裁剪平面的成像与实际内窥镜成像相同；步骤S4：根据内窥镜与三维模型的相对位置关系，录制一段手术仿真视频，以来验证内窥镜的跟踪算法在微创手术仿真视频的准确性。通过该套视频可以验证各种内窥镜的跟踪算法在微创手术过程的准确性。
Description
技术领域
本发明涉及计算机技术仿真领域，具体是一种基于CT影像的盆腔手术视觉导航仿真视频的制备方法。
背景技术
微创手术具有创伤小、疼痛轻、恢复快，逐渐已经取代传统的开放式手术。在盆腔微创手术过程中，医生是通过内窥镜获取的实时视频来获取即时视觉信息，从而引导手术的推进。由于微创手术缺乏触觉反馈，而且内窥镜提供的只是表面的二维信息，不能显示位于暴露的器官表面下的解剖结构和手术目标。医生往往需要回顾并参考复杂的人体解剖学结构,结合大脑中记忆的术前拟定的手术方案路径,并借助内窥镜捕获的实时画面来寻找定位手术的目标,从而引导手术的开展.这对医生丰富的经验和手术器械的精确掌控提出更大要求和挑战。因此，需要更多形式的可视化技术来引导开展了安全有效的手术。内窥镜增强现实是一种能够将重建的三维模型与手术实时画面相结合来增强术中可视化的研究热点技术。
研究增强现实技术难点在于对相机轨迹的跟踪，跟踪算法的准确性对增强现实的效果影响很大。然而，由于微创手术过程中内窥镜真实轨迹很难获取，跟踪算法无法验证在手术过程中跟踪的准确性，故急需一种方法能够验证其算法的准确性。
发明内容
本发明的目的在于设计一种基于CT影像的盆腔手术视觉导航仿真视频的制备方法。提供一套与实际内窥镜成像原理相同、包含手术真实场景画面的视频，且能获得内窥镜真实轨迹，用来验证视觉定位算法的准确性，方便研究人员进行新算法在微创手术过程的测试。
本发明采用以下技术方案实现：一种基于CT影像的盆腔手术视觉导航仿真视频的制备方法，其包括以下步骤：步骤S1：对患者术前CT扫描所得DICOM数据的骨盆分割及三维重建，提供骨盆三维模型的可视化；步骤S2：获取手术中的视频，截取出含有骨盆区域和病灶区域的手术画面作为纹理，通过UV展开对模型进行纹理贴图，形成具有真实纹理的三维模型；步骤S3：对内窥镜进行标定，获取相机的内参数矩阵、畸变矩阵以及图像分辨率的长宽；按内窥镜各参数计算投影矩阵与畸变映射，创建虚拟内窥镜，按3D图像渲染引擎机制显示三维模型，使得模型在近裁剪平面的成像与实际内窥镜成像相同；步骤S4：内窥镜移动的真实轨迹是已知的；根据内窥镜与三维模型的相对位置关系，录制一段手术仿真视频，以来验证内窥镜的跟踪算法在微创手术仿真视频的准确性。
在本发明一实施例中，步骤S2中包括以下步骤：将重建的三维模型分割成成前表面，后表面，内侧面和外侧面，以及病灶区域，按UV展开成二维平面，因此重建的三维模型每个顶点都有相对应UV参数值，将手术画面按UV展开图分割相对应的区域作为纹理，然后使用OpenGL 将纹理贴上，形成具有真实纹理的三维模型。
在本发明一实施例中，步骤S3包括以下步骤：步骤S31：对内窥镜进行标定，获得内窥镜的内参数矩阵K：在u轴和v轴的归一化焦距fu，fv，光学中心u0，v0，畸变矩阵Q：径向畸变系数k1,k2,k3，切向畸变系数p1,p2，内窥镜的拍摄图像的分辨率W*H，其中W是图像的宽度，H是图像的高度，若为立体内窥镜则包括：左右内窥镜相对姿态，用符号ML2R表示；步骤 S32：根据3D图形透视投影原理，将内窥镜的参数转换成投影矩阵P：
其中n为近裁剪平面，f远裁剪平面；步骤S33：根据模型视图矩阵M和投影矩阵将三维模型显示在当前窗口，截取当前窗口视图，获得内窥镜拍摄的无畸变图像；步骤S34：对无畸变图像进行畸变处理，以获得与实际内窥镜具有同样畸变效果的相机视图。
在本发明一实施例中，步骤S34包括以下具体步骤：步骤S341：获取顶点的投影坐标值，先进行正常的透视投影求出无畸变坐标值[u,v]T，再进行畸形变换求出
式中，[x y z 1]T为三维模型顶点在世界坐标系下的齐次坐标；步骤S342：无畸变坐标值[u,v]T与畸变坐标值的映射关系如下：
式中，[u,v]T为无畸变视图中的顶点投影坐标，为顶点在畸变视图的坐标， k1,k2,k3为径向畸变系数，p1,p2为切向畸变系数。
步骤S343：在顶点着色器里，利用[u,v]T与的映射关系式，计算出顶点投影值，最后渲染出与实际内窥镜具有同样畸变效果的视图，此时获取当前窗口画面，作为内窥镜拍摄的视频帧。
在本发明一实施例中，n取为1，f为骨盆最大横截面的长度的两倍以上。
在本发明一实施例中，步骤S4包括以下具体步骤：
步骤S41：根据内窥镜与三维模型的相对位置关系，通过多自由度的变换矩阵来实现模型的旋转平移变换，从而来预设虚拟内窥镜的移动轨迹；
步骤S42：根据相机姿态与模型姿态的互逆关系，在已知相机的移动轨迹，对模型姿态进行旋转平移变换；设模型初始位置为则相机初始位置为Tc＝(Tm)-1，设模型姿态发生T1变换，T1可分解成旋转和平移，模型先绕相机坐标Z轴旋转yaw，再绕相机坐标Y轴pitch，然后绕相机坐标X轴roll，最后再平移t1，则模型经变换后的姿态相对应的相机姿态为：
式中 t1＝[tx,ty,tz]T为平移向量，tm为模型姿态初始位置的平移向量，Rm为模型姿态初始位置的旋转矩阵,为经旋转平移变换一次后的模型姿态；步骤S43：每变换一次，截取模型的当前视图作为视频帧，经过多次变换及存储视频帧，形成一套具有内窥镜真实轨迹的仿真视频。
在本发明一实施例中，还包括步骤S5：计算跟踪算法在仿真视频的相机轨迹与真实轨迹的欧氏距离，相机姿态的欧拉角方向与真实相机姿态的欧拉角误差来验证算法的准确性。
与现有技术相比，本发明充分利用计算机仿真设计的优势，为不易获取微创手术过程中内窥镜的轨迹，提供一种能获得内窥镜真实轨迹与具有真实纹理的手术仿真视频制备，通过这套视频可以验证各种内窥镜的跟踪算法在微创手术过程的准确性。为研究人员和医生加快微创手术增强现实导航中内窥镜跟踪算法研究的步伐，验证算法在各种场景中的准确性。
附图说明
图1为本发明盆腔手术视觉导航仿真视频的制备。
图2为空白的骨盆模型。
图3为具有真实纹理的骨盆模型。
图4为虚拟内窥镜透视投影成像示意图。
图5为模型绕相机坐标轴旋转示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步解释说明。
本发明提供一种基于CT影像的盆腔手术视觉导航仿真视频的制备方法，其包括以下步骤：步骤S1：对患者术前CT扫描所得DICOM数据的骨盆分割及三维重建，提供骨盆三维模型的可视化；步骤S2：获取手术中的视频，截取出含有骨盆区域和病灶区域的手术画面作为纹理，通过UV展开对模型进行纹理贴图，形成具有真实纹理的三维模型；步骤S3：对内窥镜进行标定，获取相机的内参数矩阵、畸变矩阵以及图像分辨率的长宽；按内窥镜各参数计算投影矩阵与畸变映射，创建虚拟内窥镜，按3D图像渲染引擎机制显示三维模型，使得模型在近裁剪平面的成像与实际内窥镜成像相同；步骤S4：内窥镜移动的真实轨迹是已知的；根据内窥镜与三维模型的相对位置关系，录制一段手术仿真视频，以来验证内窥镜的跟踪算法在微创手术仿真视频的准确性。主要流程示意图参见图1。
在本发明一实施例中，步骤S2中包括以下步骤：将重建的三维模型分割成成前表面，后表面，内侧面和外侧面，以及病灶区域，按UV展开成二维平面，因此重建的三维模型每个顶点都有相对应UV参数值，将手术画面按UV展开图分割相对应的区域作为纹理，然后使用OpenGL 将纹理贴上，形成具有真实纹理的三维模型。本发明以盆骨为例，其中图2为空白的骨盆模型，图3为具有真实纹理的骨盆模型。
步骤S3建立虚拟立体内窥镜，并显示三维模型，包括以下具体步骤：
步骤S31：对内窥镜进行标定，获得内窥镜的内参数矩阵(以符号K表示)：在u轴和v轴的归一化焦距fu，fv，光学中心u0，v0，畸变矩阵(以符号Q表示)：径向畸变系数k1,k2,k3，切向畸变系数p1,p2，内窥镜的拍摄图像的分辨率W*H(W是图像的宽度，H是图像的高度)，若为立体内窥镜则包括：左右内窥镜相对姿态(用符号ML2R表示)。
步骤S32：根据3D图形透视投影原理，如图4，将内窥镜的参数转换成投影矩阵(以符号 P表示)：
其中n为近裁剪平面，f远裁剪平面。
在本发明一实施例中，以盆骨为例，n可取为1，f为骨盆最大横截面的长度的两倍以上即可。具体实施例案例骨盆最大横截面的长度为284mm，设n＝1，f＝600。
步骤S33：根据模型视图矩阵(以符号M表示)和投影矩阵将三维模型显示在当前窗口，截取当前窗口视图，获得内窥镜拍摄的无畸变图像。
步骤S34：畸变处理可在顶点着色器或者片段着色器执行，以获得与实际内窥镜具有同样畸变效果的相机视图。
进一步的，步骤S34包括以下步骤：
无畸变坐标值[u,v]T与畸变坐标值的映射关系如下：
式中，[u,v]T为无畸变视图中的顶点投影坐标，为顶点在畸变视图的坐标， k1,k2,k3为径向畸变系数，p1,p2为切向畸变系数。
在顶点着色器里，利用[u,v]T与的映射关系式，计算出顶点投影值，最后渲染出与实际内窥镜具有同样畸变效果的视图。此时获取当前窗口画面，作为内窥镜拍摄的视频帧。
要获取顶点的投影坐标值，先进行正常的透视投影求出无畸变坐标值[u,v]T，再进行畸形变换求出
式中，[x y z 1]T为三维模型顶点在世界坐标系下的齐次坐标。
在本发明一实施例中，步骤S4包括以下具体步骤：根据内窥镜与三维模型的相对位置关系，通过多自由度的变换矩阵来实现模型的旋转平移变换，从而来预设虚拟内窥镜的移动轨迹。
根据相机姿态与模型姿态的互逆关系，在已知相机的移动轨迹，可以对模型姿态进行旋转平移变换。反过来先设定模型姿态变换，再去确定相机姿态。本发明设模型初始位置为则相机初始位置为Tc＝(Tm)-1，设模型姿态发生T1变换，T1可分解成旋转和平移，旋转示意图如图5所示，模型先绕相机坐标Z轴旋转yaw，再绕相机坐标Y轴pitch，然后绕相机坐标X轴roll，最后再平移t1，则模型经变换后的姿态相对应的相机姿态为：
式中t1＝[tx,ty,tz]T为平移向量，tm为模型姿态初始位置的平移向量，Rm为模型姿态初始位置的旋转矩阵,为经旋转平移变换一次后的模型姿态。通过模型姿态来设定获得相机姿态，可以更好地指定理想中的路线。每变换一次，截取模型的当前视图作为视频帧。经过多次变换及存储视频帧，形成一套具有内窥镜真实轨迹的仿真视频。
进一步的，本发明利用生成的仿真视频来验证各种内窥镜跟踪算法的准确性。计算跟踪算法在仿真视频的相机轨迹与真实轨迹的欧氏距离，相机姿态的欧拉角方向与真实相机姿态的欧拉角误差来验证算法的准确性。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (7)
1.一种基于CT影像的盆腔手术视觉导航仿真视频的制备方法，其特征在于：包括以下步骤：
步骤S1：对患者术前CT扫描所得DICOM数据的骨盆分割及三维重建，提供骨盆三维模型的可视化；
步骤S2：获取手术中的视频，截取出含有骨盆区域和病灶区域的手术画面作为纹理，通过UV展开对模型进行纹理贴图，形成具有真实纹理的三维模型；
步骤S3：对内窥镜进行标定，获取相机的内参数矩阵、畸变矩阵以及图像分辨率的长宽；按内窥镜各参数计算投影矩阵与畸变映射，创建虚拟内窥镜，按3D图像渲染引擎机制显示三维模型，使得模型在近裁剪平面的成像与实际内窥镜成像相同；
步骤S4：内窥镜移动的真实轨迹是已知的；根据内窥镜与三维模型的相对位置关系，录制一段手术仿真视频，以来验证内窥镜的跟踪算法在微创手术仿真视频的准确性。
2.根据权利要求1基于CT影像的盆腔手术视觉导航仿真视频的制备方法，其特征在于：步骤S2中包括以下步骤：将重建的三维模型分割成成前表面，后表面，内侧面和外侧面，以及病灶区域，按UV展开成二维平面，因此重建的三维模型每个顶点都有相对应UV参数值，将手术画面按UV展开图分割相对应的区域作为纹理，然后使用OpenGL将纹理贴上，形成具有真实纹理的三维模型。
3.根据权利要求1基于CT影像的盆腔手术视觉导航仿真视频的制备方法，其特征在于：步骤S3包括以下步骤：
步骤S31：对内窥镜进行标定，获得内窥镜的内参数矩阵K：在u轴和v轴的归一化焦距fu，fv，光学中心u0，v0，畸变矩阵Q：径向畸变系数k1,k2,k3，切向畸变系数p1,p2，内窥镜的拍摄图像的分辨率W*H，其中W是图像的宽度，H是图像的高度，若为立体内窥镜则包括：左右内窥镜相对姿态，用符号ML2R表示；
步骤S32：根据3D图形透视投影原理，将内窥镜的参数转换成投影矩阵P：
<mrow>
<mi>P</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mfrac>
<mrow>
<mn>2</mn>
<mi>n</mi>
</mrow>
<mrow>
<mi>r</mi>
<mo>-</mo>
<mi>l</mi>
</mrow>
</mfrac>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mfrac>
<mrow>
<mi>r</mi>
<mo>+</mo>
<mi>l</mi>
</mrow>
<mrow>
<mi>r</mi>
<mo>-</mo>
<mi>l</mi>
</mrow>
</mfrac>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mfrac>
<mrow>
<mn>2</mn>
<mi>n</mi>
</mrow>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mi>b</mi>
</mrow>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<mi>t</mi>
<mo>+</mo>
<mi>b</mi>
</mrow>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mi>b</mi>
</mrow>
</mfrac>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mfrac>
<mrow>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>+</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>f</mi>
<mo>-</mo>
<mi>n</mi>
</mrow>
</mfrac>
</mtd>
<mtd>
<mfrac>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>f</mi>
<mi>n</mi>
</mrow>
<mrow>
<mi>f</mi>
<mo>-</mo>
<mi>n</mi>
</mrow>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
其中n为近裁剪平面，f远裁剪平面；
步骤S33：根据模型视图矩阵M和投影矩阵将三维模型显示在当前窗口，截取当前窗口视图，获得内窥镜拍摄的无畸变图像；
步骤S34：对无畸变图像进行畸变处理，以获得与实际内窥镜具有同样畸变效果的相机视图。
4.根据权利要求3基于CT影像的盆腔手术视觉导航仿真视频的制备方法，其特征在于：步骤S34包括以下具体步骤：
步骤S341：获取顶点的投影坐标值，先进行正常的透视投影求出无畸变坐标值[u,v]T，再进行畸形变换求出
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>u</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>v</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>(</mo>
<mfrac>
<msub>
<mi>t</mi>
<mn>1</mn>
</msub>
<msub>
<mi>t</mi>
<mn>4</mn>
</msub>
</mfrac>
<mo>*</mo>
<mn>0.5</mn>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
<mo>*</mo>
<mi>W</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>(</mo>
<mfrac>
<msub>
<mi>t</mi>
<mn>2</mn>
</msub>
<msub>
<mi>t</mi>
<mn>4</mn>
</msub>
</mfrac>
<mo>*</mo>
<mn>0.5</mn>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
<mo>*</mo>
<mi>H</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mfrac>
<msub>
<mi>t</mi>
<mn>1</mn>
</msub>
<msub>
<mi>t</mi>
<mn>4</mn>
</msub>
</mfrac>
<mo>,</mo>
<mfrac>
<msub>
<mi>t</mi>
<mn>2</mn>
</msub>
<msub>
<mi>t</mi>
<mn>4</mn>
</msub>
</mfrac>
<mo>&Element;</mo>
<mo>&lsqb;</mo>
<mn>0</mn>
<mo>,</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
式中，[x y z 1]T为三维模型顶点在世界坐标系下的齐次坐标。
步骤S342：无畸变坐标值[u,v]T与畸变坐标值的映射关系如下：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mover>
<mi>u</mi>
<mo>~</mo>
</mover>
</mtd>
</mtr>
<mtr>
<mtd>
<mover>
<mi>v</mi>
<mo>~</mo>
</mover>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>u</mi>
<mo>+</mo>
<mi>u</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msup>
<mi>r</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msup>
<mi>r</mi>
<mn>4</mn>
</msup>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>3</mn>
</msub>
<msup>
<mi>r</mi>
<mn>6</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<msup>
<mi>r</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<mn>2</mn>
<msup>
<mi>u</mi>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>2</mn>
<msub>
<mi>p</mi>
<mn>2</mn>
</msub>
<mi>u</mi>
<mi>v</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>v</mi>
<mo>+</mo>
<mi>v</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msup>
<mi>r</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msup>
<mi>r</mi>
<mn>4</mn>
</msup>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>3</mn>
</msub>
<msup>
<mi>r</mi>
<mn>6</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>p</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<msup>
<mi>r</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<mn>2</mn>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>2</mn>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
<mi>u</mi>
<mi>v</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
式中，
<mrow>
<mi>r</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mi>u</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>v</mi>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>,</mo>
</mrow>
[u,v]T为无畸变视图中的顶点投影坐标，为顶点在畸变视图的
坐标，k1,k2,k3为径向畸变系数，p1,p2为切向畸变系数；
步骤S343：在顶点着色器里，利用[u,v]T与的映射关系式，计算出顶点投影值，最后渲染出与实际内窥镜具有同样畸变效果的视图，此时获取当前窗口画面，作为内窥镜拍摄的视频帧。
5.根据权利要求3基于CT影像的盆腔手术视觉导航仿真视频的制备方法，其特征在于：n取为1，f为骨盆最大横截面的长度的两倍以上。
6.根据权利要求1基于CT影像的盆腔手术视觉导航仿真视频的制备方法，其特征在于：步骤S4包括以下具体步骤：
步骤S41：根据内窥镜与三维模型的相对位置关系，通过多自由度的变换矩阵来实现模型的旋转平移变换，从而来预设虚拟内窥镜的移动轨迹；
步骤S42：根据相机姿态与模型姿态的互逆关系，在已知相机的移动轨迹，对模型姿态进行旋转平移变换；设模型初始位置为则相机初始位置为Tc＝(Tm)-1，设模型姿态发生T1变换，T1可分解成旋转和平移，模型先绕相机坐标Z轴旋转yaw，再绕相机坐标Y轴pitch，然后绕相机坐标X轴roll，最后再平移t1，则模型经变换后的姿态相对应的相机姿态为：
<mrow>
<msubsup>
<mi>T</mi>
<mi>c</mi>
<mn>1</mn>
</msubsup>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>T</mi>
<mi>m</mi>
<mn>1</mn>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>;</mo>
</mrow>
<mrow>
<msubsup>
<mi>T</mi>
<mi>m</mi>
<mn>1</mn>
</msubsup>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>R</mi>
<mrow>
<mi>r</mi>
<mi>o</mi>
<mi>l</mi>
<mi>l</mi>
</mrow>
</msub>
<mo>*</mo>
<msub>
<mi>R</mi>
<mrow>
<mi>p</mi>
<mi>i</mi>
<mi>t</mi>
<mi>c</mi>
<mi>h</mi>
</mrow>
</msub>
<mo>*</mo>
<msub>
<mi>R</mi>
<mrow>
<mi>y</mi>
<mi>a</mi>
<mi>w</mi>
</mrow>
</msub>
<mo>*</mo>
<msub>
<mi>R</mi>
<mi>m</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>t</mi>
<mi>m</mi>
</msub>
<mo>+</mo>
<msub>
<mi>t</mi>
<mn>1</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
式中t1＝[tx,ty,tz]T为平移向量，tm为模型姿态初始位置的平移向量，Rm为模型姿态初始位置的旋转矩阵，为经旋转平移变换一次后的模型姿态；
步骤S43：每变换一次，截取模型的当前视图作为视频帧，经过多次变换及存储视频帧，形成一套具有内窥镜真实轨迹的仿真视频。
7.根据权利要求6基于CT影像的盆腔手术视觉导航仿真视频的制备方法，其特征在于：还包括步骤S5：计算跟踪算法在仿真视频的相机轨迹与真实轨迹的欧氏距离，相机姿态的欧拉角方向与真实相机姿态的欧拉角误差来验证算法的准确性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711262113.9A CN108010587A (zh) | 2017-12-04 | 2017-12-04 | 基于ct影像的盆腔手术视觉导航仿真视频的制备方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711262113.9A CN108010587A (zh) | 2017-12-04 | 2017-12-04 | 基于ct影像的盆腔手术视觉导航仿真视频的制备方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108010587A true CN108010587A (zh) | 2018-05-08 |
Family
ID=62056528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711262113.9A Pending CN108010587A (zh) | 2017-12-04 | 2017-12-04 | 基于ct影像的盆腔手术视觉导航仿真视频的制备方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108010587A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109243614A (zh) * | 2018-09-11 | 2019-01-18 | 深圳先进技术研究院 | 一种手术仿真方法、装置和系统 |
| CN109717956A (zh) * | 2019-01-16 | 2019-05-07 | 上海长海医院 | 基于c臂x光机的激光定位仪、手术导航系统及使用方法 |
| CN111627100A (zh) * | 2020-04-09 | 2020-09-04 | 浙江大学 | 一种用于评价摄影测量精度的数值模拟方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1293801A (zh) * | 1998-01-26 | 2001-05-02 | 西姆博尼克斯有限公司 | 内窥镜检查辅导系统 |
| US6977660B2 (en) * | 2001-11-29 | 2005-12-20 | Minolta Co., Ltd. | Data processing apparatus |
| CN104778301A (zh) * | 2015-02-12 | 2015-07-15 | 福州大学 | 基于个性化人体影像数据的体表人体通信建模方法 |
| CN106327587A (zh) * | 2016-11-16 | 2017-01-11 | 北京航空航天大学 | 一种用于增强现实手术导航的腹腔镜视频精准融合方法 |
-
2017
- 2017-12-04 CN CN201711262113.9A patent/CN108010587A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1293801A (zh) * | 1998-01-26 | 2001-05-02 | 西姆博尼克斯有限公司 | 内窥镜检查辅导系统 |
| US6977660B2 (en) * | 2001-11-29 | 2005-12-20 | Minolta Co., Ltd. | Data processing apparatus |
| CN104778301A (zh) * | 2015-02-12 | 2015-07-15 | 福州大学 | 基于个性化人体影像数据的体表人体通信建模方法 |
| CN106327587A (zh) * | 2016-11-16 | 2017-01-11 | 北京航空航天大学 | 一种用于增强现实手术导航的腹腔镜视频精准融合方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109243614A (zh) * | 2018-09-11 | 2019-01-18 | 深圳先进技术研究院 | 一种手术仿真方法、装置和系统 |
| CN109243614B (zh) * | 2018-09-11 | 2020-07-31 | 深圳先进技术研究院 | 一种手术仿真方法、装置和系统 |
| CN109717956A (zh) * | 2019-01-16 | 2019-05-07 | 上海长海医院 | 基于c臂x光机的激光定位仪、手术导航系统及使用方法 |
| CN109717956B (zh) * | 2019-01-16 | 2024-04-26 | 上海长海医院 | 基于c臂x光机的激光定位仪、手术导航系统及使用方法 |
| CN111627100A (zh) * | 2020-04-09 | 2020-09-04 | 浙江大学 | 一种用于评价摄影测量精度的数值模拟方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | A practical marker-less image registration method for augmented reality oral and maxillofacial surgery | |
| Shahidi et al. | Implementation, calibration and accuracy testing of an image-enhanced endoscopy system | |
| CN103313675B (zh) | 用于内窥镜手术的术中照相机校准 | |
| CN1312639C (zh) | 虚拟内窥镜检查的自动导航的方法和系统 | |
| CN111281540B (zh) | 基于虚实融合的骨科微创术中实时可视化导航系统 | |
| US20130259315A1 (en) | Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same | |
| Tran et al. | Augmented reality system for oral surgery using 3D auto stereoscopic visualization | |
| CN101797182A (zh) | 一种基于增强现实技术的鼻内镜微创手术导航系统 | |
| CN107680688B (zh) | 一种基于3d打印的盆腔仿真微创手术视觉导航验证方法 | |
| CN107016685A (zh) | 一种实时匹配的手术场景增强现实投射方法 | |
| Ma et al. | Moving-tolerant augmented reality surgical navigation system using autostereoscopic three-dimensional image overlay | |
| Vogt et al. | Reality augmentation for medical procedures: System architecture, single camera marker tracking, and system evaluation | |
| CN108010587A (zh) | 基于ct影像的盆腔手术视觉导航仿真视频的制备方法 | |
| US20230114385A1 (en) | Mri-based augmented reality assisted real-time surgery simulation and navigation | |
| Kutter et al. | Real-time volume rendering for high quality visualization in augmented reality | |
| JP6493885B2 (ja) | 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム | |
| CN109767458A (zh) | 一种半自动分段的顺序优化配准方法 | |
| CN109925054A (zh) | 确定靶点路径的辅助方法、装置和系统、可读存储介质 | |
| CN116421313A (zh) | 胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法 | |
| CN114711962A (zh) | 一种增强现实手术规划导航系统及方法 | |
| Maharjan et al. | A novel visualization system of using augmented reality in knee replacement surgery: Enhanced bidirectional maximum correntropy algorithm | |
| US20210128243A1 (en) | Augmented reality method for endoscope | |
| Shi et al. | Augmented reality for oral and maxillofacial surgery: The feasibility of a marker‐free registration method | |
| Li et al. | 3d volume visualization and screen-based interaction with dynamic ray casting on autostereoscopic display | |
| US11406471B1 (en) | Hand-held stereovision system for image updating in surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180508 |