CN107680688B - 一种基于3d打印的盆腔仿真微创手术视觉导航验证方法 - Google Patents

一种基于3d打印的盆腔仿真微创手术视觉导航验证方法 Download PDF

Info

Publication number
CN107680688B
CN107680688B CN201710888589.7A CN201710888589A CN107680688B CN 107680688 B CN107680688 B CN 107680688B CN 201710888589 A CN201710888589 A CN 201710888589A CN 107680688 B CN107680688 B CN 107680688B
Authority
CN
China
Prior art keywords
model
camera
view
pelvis
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710888589.7A
Other languages
English (en)
Other versions
CN107680688A (zh
Inventor
高钦泉
黄伟萍
杜民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201710888589.7A priority Critical patent/CN107680688B/zh
Publication of CN107680688A publication Critical patent/CN107680688A/zh
Application granted granted Critical
Publication of CN107680688B publication Critical patent/CN107680688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Educational Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Medicinal Chemistry (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Computational Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于3D打印的盆腔仿真微创手术视觉导航验证方法。该方法该方法提供具有类似真实纹理的仿真骨盆模型用来做盆腔手术的仿真；而后，基于颜色一致性的配准算法使3D模型与仿真模型快速重叠；最后，基于立体视觉的内窥镜跟踪算法来验证视觉导航的准确性。本发明为微创手术的模拟训练提供真实场景；通过此场景，可以验证微创手术中的视觉定位算法的准确性；提出可视点快速查找法和颜色一致性的配准算法应用于跟踪开始阶段，提高了3D模型与仿真模型的重叠效率；虚实模型之间的重叠显示增强了视觉效果，并为视觉定位跟踪算法的准确性提供验证方法。

Description

一种基于3D打印的盆腔仿真微创手术视觉导航验证方法
技术领域
本发明涉及微创外科手术的视觉导航技术领域，具体为一种基于3D打印的盆腔仿真微创手术视觉导航验证方法。
背景技术
微创手术具有创伤小、疼痛轻、恢复快的优越性,在临床中受到广泛的欢迎.通过内窥镜等监控系统,医生可以通过小孔在人体内施行手术,对人体伤害小,达到理想的手术效果.在传统的盆腔微创手术导航中,医生通过从术前影像(如CT、MRI等)来确定病灶的位置并规划手术实施方案，通过内窥镜从微小的孔洞获取即时的手术视觉信息,引导手术的推进。然而，内窥镜只提供狭窄的二维视觉信息,由于人体内部器官组织错综复杂,很难根据当前二维视觉信息获取当前手术刀在人体当中准确的位置,有可能造成手术刀“迷路”.如果不能准确找到病灶部位, 容易造成癌变组织的切少或者正常组织切除过多,造成肿瘤残留或者对器官功能的过多破坏，极大降低手术效果。因此，临床医生对术中借助先验知识的视觉导航有着急切的需求。
由于术前图像(CT或MRI)等模态影像有较高的分辨率和视觉效果，利用术前影像重建的3D 模型逐渐被应用于各类手术导航当中，但如何实现重建的3D模型与手术画面中目标区域以正确的姿态实时重叠融合成为导航技术的难点。
目前已经不同形式的手术导航技术应用于手术当中，其中视觉导航是一研究热点。通过内窥镜画面来定位跟踪内窥镜姿态，从而实时更新3D模型，以达到虚实融合的效果，来增强视觉效果和引导手术进行。但是由于微创手术的内窥镜真实轨迹很难获取，无法验证跟踪算法的准确性。若3D模型与手术画面目标区域重叠的程度受其3D模型重建的精度以及内窥镜定位的精度影响，若重叠越好，视觉导航的精度就越高。因此，3D模型与手术画面目标区域的重叠程度是视觉导航成功应用于微创手术导航的基础。
发明内容
本发明的目的在于提供一种基于3D打印的盆腔仿真微创手术视觉导航验证方法，该方法提供具有类似真实纹理的仿真骨盆模型用来做盆腔手术的仿真；而后，基于颜色一致性的配准算法使3D模型与仿真模型快速重叠；最后，基于立体视觉的内窥镜跟踪算法来验证视觉导航的准确性。
为实现上述目的，本发明的技术方案是：一种基于3D打印的盆腔仿真微创手术视觉导航验证方法，包括如下步骤，
S1、根据患者CT影像分割骨盆区域，重建骨盆3D模型，将3D模型导入3D打印设备，打印获得骨盆打印模型，而后为3D模型涂上各种手术血肉颜色，形成具有纹理的仿真骨盆模型；
S2、模拟真实手术过程中内窥镜的运动，利用双目相机拍摄在仿真骨盆模型进行模拟微创手术的内窥镜视频；
S3、对双目相机进行单目相机标定和立体标定，获得左右相机的内参数矩阵、左右相机的畸变矩阵、相机拍摄图像的宽高，左右内窥镜相对姿态；
S4、根据3D图形透视投影原理，将左右相机的内参数矩阵转换成左右视图的投影矩阵，而后将步骤S1重建的骨盆3D模型分别按左右视图的模型视图投影矩阵渲染到屏幕上；其中，左右视图的模型视图投影矩阵由左右视图的投影矩阵与左右相机的视图矩阵相乘得到；
S5、在视频里的手术开始阶段，利用基于颜色一致性的配准原理估计左视图的初始视图矩阵，使步骤S1重建的骨盆3D模型完全重叠到手术画面的无畸变图像中的仿真骨盆模型，然后内窥镜开始运动，基于立体视觉的跟踪算法来估计相机运动姿态，从而更新骨盆3D模型的视图矩阵，通过观察骨盆3D模型在左右视图与仿真模型的重叠程度来验证跟踪算法的准确性。
在本发明一实施例中，所述步骤S4中，左右视图的投影矩阵的采用下式计算，
Figure DEST_PATH_GDA0001444272340000021
其中，
Figure DEST_PATH_GDA0001444272340000022
fu,fv,u0,v0,w,h分别取自步骤S3标定左右相机的内参数矩阵
Figure DEST_PATH_GDA0001444272340000023
和相机拍摄图像的宽W、高H，n为近裁剪平面距离，f远裁剪平面距离，I＝left,right，left表示左相机，right表示右相机。
在本发明一实施例中，所述步骤S5具体实现过程如下，
S51、由于重建的骨盆3D模型是由多个三角片组成，对每个三角片进行编号，按序号将三角片渲染成不同颜色，形成一个带颜色的3D模型，通过OpenGL的3D图形渲染引擎投影几何关系，生成2D投影图像Iproject，Iproject是由W*H像素点组成的，并且每个像素点的颜色RGB 是已知的；
S52、根据投影变换原理，求出骨盆3D模型的顶点在屏幕投影的坐标值(u,v)T：
Figure DEST_PATH_GDA0001444272340000031
式中，
Figure DEST_PATH_GDA0001444272340000032
为顶点在世界坐标系的齐次坐标，M为视图矩阵，P为投影矩阵；
S53、将三角片的三个顶点分别按投影变换关系投影到二维平面，若投影区域包含一个或多个整型像素点，采用搜寻算法，输出第一个最先被搜寻到的整型像素点(u,v)T；判断(u,v)T在 Iproject对应颜色RGB与其颜色模型上的三角片颜色是否一致；若是一致的，则认为三角片上的三个顶点在当前姿态为可视的；反之不是；
找出双目相机共同的可视点，共同的可视点需在左右相机都能被观测到，并记可视点的集合为Ω；
S54、对录制的视频采用下式进行畸形校正，获得无畸变图像的视频：
Figure DEST_PATH_GDA0001444272340000033
其中，
Figure DEST_PATH_GDA0001444272340000034
为视频帧畸变图像的像素点坐标，
Figure DEST_PATH_GDA0001444272340000035
k1,k2,k3为左右相机的径向畸变系数，p1,p2为左右相机的切向畸变系数；
S55、利用基于颜色一致性的配准原理估计左视图的初始视图矩阵：
通过最小化颜色一致性的能量方程误差来估计Mleft
Figure DEST_PATH_GDA0001444272340000036
其中，IR-left、IG-left、IB-left、IR-right、IG-right、IB-right分别为左右相机图像畸变校正后的无畸变图像RGB，Kleft、Kright分别是左右相机的内参数矩阵，
Figure DEST_PATH_GDA0001444272340000041
分别为三维点在左右相机无畸变图像投影的颜色RGB平均值，Pi为顶点在世界坐标系的齐次坐标，zleft、zright分别为三维点在左右相机坐标系所对应的Z值，ML2R为左右相机的关系矩阵；通过优化上述的能量方程，当能量方程收敛时，可视点投影的像素点颜色RGB之差的平方和最小，此时3D模型与真实的仿真模型完全重叠；
S56、利用跟踪算法进行估计相机轨迹，取相邻的视频两帧来估计相机的姿态，利用参考帧来估计相机在当前帧的姿态，先用姿态矩阵表示两帧相机姿态关系：Mk＝ΔM*Mk -1，Mk、Mk-1分别表示当前帧、参考帧的视图矩阵，ΔM为待估计视图矩阵；优化ΔM使得真实仿真模型的顶点在参考帧和当前帧的投影点灰度值误差的最小化，根据ΔM来更新虚拟的3D骨盆模型，观测 3D模型与仿真模型的重叠度来验证跟踪算法的准确性。
相较于现有技术，本发明具有以下有益效果：本发明的创新点在于充分利用CT影像的三维重建和3D打印的优势，为微创手术的模拟训练提供真实场景；通过此场景，可以验证微创手术中的视觉定位算法的准确性；提出可视点快速查找法和颜色一致性的配准算法应用于跟踪开始阶段，提高了3D模型与仿真模型的重叠效率；虚实模型之间的重叠显示增强了视觉效果，并为视觉定位跟踪算法的准确性提供验证方法；本发明为临床医生提供一种可模拟训练的场景，为研发人员研究视觉定位提供一种验证视觉定位算法准确性的途径。
附图说明
图1为本发明方法的总体框图。
图2为有纹理的仿真骨盆模型。
图3为虚拟内窥镜透视投影成像示意图。
图4为3D模型与仿真模型完全重叠。
图5为颜色模型。
图6为三角片投影及搜寻可视点。
图7为模型可视点的检测。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明的一种基于3D打印的盆腔仿真微创手术视觉导航验证方法，包括如下步骤，
S1、根据患者CT影像分割骨盆区域，重建骨盆3D模型，将3D模型导入3D打印设备，打印获得骨盆打印模型，而后为3D模型涂上各种手术血肉颜色，形成具有纹理的仿真骨盆模型；
S2、模拟真实手术过程中内窥镜的运动，利用双目相机拍摄在仿真骨盆模型进行模拟微创手术的内窥镜视频；
S3、对双目相机进行单目相机标定和立体标定，获得左右相机的内参数矩阵、左右相机的畸变矩阵、相机拍摄图像的宽高，左右内窥镜相对姿态；
S4、根据3D图形透视投影原理，将左右相机的内参数矩阵转换成左右视图的投影矩阵，而后将步骤S1重建的骨盆3D模型分别按左右视图的模型视图投影矩阵渲染到屏幕上；其中，左右视图的模型视图投影矩阵由左右视图的投影矩阵与左右相机的视图矩阵相乘得到；左右视图的投影矩阵的采用下式计算，
Figure DEST_PATH_GDA0001444272340000051
其中，
Figure DEST_PATH_GDA0001444272340000052
fu,fv,u0,v0,w,h分别取自步骤S3标定左右相机的内参数矩阵
Figure DEST_PATH_GDA0001444272340000053
和相机拍摄图像的宽W、高H，n为近裁剪平面距离，f远裁剪平面距离，I＝left,right，left表示左相机，right表示右相机；
S5、在视频里的手术开始阶段，利用基于颜色一致性的配准原理估计左视图的初始视图矩阵，使步骤S1重建的骨盆3D模型完全重叠到手术画面的无畸变图像中的仿真骨盆模型，然后内窥镜开始运动，基于立体视觉的跟踪算法来估计相机运动姿态，从而更新骨盆3D模型的视图矩阵，通过观察骨盆3D模型在左右视图与仿真模型的重叠程度来验证跟踪算法的准确性；具体实现如下：
S51、由于重建的骨盆3D模型是由多个三角片组成，对每个三角片进行编号，按序号将三角片渲染成不同颜色，形成一个带颜色的3D模型，通过OpenGL的3D图形渲染引擎投影几何关系，生成2D投影图像Iproject，Iproject是由W*H像素点组成的，并且每个像素点的颜色RGB 是已知的；
S52、根据投影变换原理，求出骨盆3D模型的顶点在屏幕投影的坐标值(u,v)T：
Figure DEST_PATH_GDA0001444272340000061
式中，
Figure DEST_PATH_GDA0001444272340000062
为顶点在世界坐标系的齐次坐标，M为视图矩阵，P为投影矩阵；
S53、将三角片的三个顶点分别按投影变换关系投影到二维平面，若投影区域包含一个或多个整型像素点，采用搜寻算法，输出第一个最先被搜寻到的整型像素点(u,v)T；判断(u,v)T在 Iproject对应颜色RGB与其颜色模型上的三角片颜色是否一致；若是一致的，则认为三角片上的三个顶点在当前姿态为可视的；反之不是；
找出双目相机共同的可视点，共同的可视点需在左右相机都能被观测到，并记可视点的集合为Ω；
S54、对录制的视频采用下式进行畸形校正，获得无畸变图像的视频：
Figure DEST_PATH_GDA0001444272340000063
其中，
Figure DEST_PATH_GDA0001444272340000064
为视频帧畸变图像的像素点坐标，
Figure DEST_PATH_GDA0001444272340000065
k1,k2,k3为左右相机的径向畸变系数，p1,p2为左右相机的切向畸变系数；
S55、利用基于颜色一致性的配准原理估计左视图的初始视图矩阵：
通过最小化颜色一致性的能量方程误差来估计Mleft
Figure DEST_PATH_GDA0001444272340000071
其中，IR-left、IG-left、IB-left、IR-right、IG-right、IB-right分别为左右相机图像畸变校正后的无畸变图像RGB，Kleft、Kright分别是左右相机的内参数矩阵，
Figure DEST_PATH_GDA0001444272340000072
分别为三维点在左右相机无畸变图像投影的颜色RGB平均值，Pi为顶点在世界坐标系的齐次坐标，zleft、zright分别为三维点在左右相机坐标系所对应的Z值，ML2R为左右相机的关系矩阵；通过优化上述的能量方程，当能量方程收敛时，可视点投影的像素点颜色RGB之差的平方和最小，此时3D模型与真实的仿真模型完全重叠；S56、利用跟踪算法进行估计相机轨迹，取相邻的视频两帧来估计相机的姿态，利用参考帧来估计相机在当前帧的姿态，先用姿态矩阵表示两帧相机姿态关系： Mk＝ΔM*Mk-1，Mk、Mk-1分别表示当前帧、参考帧的视图矩阵，ΔM为待估计视图矩阵；优化ΔM使得真实仿真模型的顶点在参考帧和当前帧的投影点灰度值误差的最小化，根据ΔM来更新虚拟的3D骨盆模型，观测3D模型与仿真模型的重叠度来验证跟踪算法的准确性。
以下为本发明的具体实现过程。
本发明的一种基于3D打印的盆腔仿真微创手术视觉导航验证方法，具体实现步骤如下，
1.根据患者CT影像分割骨盆区域，并重建骨盆的3D模型，导出为.stl文件格式。将3D 模型按1:1导入3D打印设备，并指定打印精度，选定白色打印材料，进行打印，获得骨盆打印模型。模仿微创手术实施过程中的手术画面为3D模型涂上各种手术血肉颜色，形成具有纹理的仿真骨盆模型，如图2。
2.模拟真实手术过程中内窥镜的运动，利用双目相机拍摄一段在仿真骨盆模型进行模拟微创手术的内窥镜视频。
3.对双目相机进行单目相机标定和立体标定，获得左右相机的内参数矩阵(以符号Kleft表示左相机内参数矩阵，符号Kright表示右相机内参数矩阵)、左右相机的畸变矩阵(径向畸变系数 k1,k2,k3，切向畸变系数p1,p2)、相机拍摄图像的宽高(W、H分别为图像的宽、高)，左右内窥镜相对姿态(用符号ML2R表示)。
4.根据3D图形透视投影原理，如图3，将左右相机的内参数矩阵转换成左右视图的投影矩阵(以符号Pleft、Pright表示)。设左相机的视图矩阵为Mleft，则右相机的视图矩阵为Mright＝ML2R*Mleft。重建的骨盆3D模型分别左右视图的模型视图投影矩阵(分别以符号MVPleft、 MVPright表示)渲染到屏幕上。
4.1左右视图投影矩阵的计算：
Figure DEST_PATH_GDA0001444272340000081
其中，I＝left,right，left表示左相机，right表示右相机，
Figure DEST_PATH_GDA0001444272340000082
Figure DEST_PATH_GDA0001444272340000083
fu,fv,u0,v0,w,h分别取自步骤S3标定左右相机的内参数矩阵
Figure DEST_PATH_GDA0001444272340000084
和相机拍摄图像的宽W、高H，n为近裁剪平面距离，f远裁剪平面距离，，可根据具体案例而定，n可取为1，f最好为骨盆最大横截面的长度的两倍以上即可。本案例骨盆最大横截面的长度为284mm，设n＝1，f＝600。
5.在视频里的手术开始阶段，利用基于颜色一致性的配准原理估计左视图的初始视图矩阵 T，使重建的骨盆模型完全重叠到手术画面的无畸变图像中的仿真骨盆模型，如图4所示。然后内窥镜开始运动，基于立体视觉的跟踪算法来估计相机运动姿态，从而更新3D模型的视图矩阵，通过观察骨盆3D模型在左右视图与仿真模型的重叠程度来验证跟踪算法的准确性。
5.1重建的3D模型是由多个三角片组成，对每个三角片进行编号，按序号将三角片渲染成不同颜色，形成一个带颜色的3D模型,如图5所示，通过OpenGL的3D图形渲染引擎投影几何关系,生成2D投影图像Iproject，如图4所示，Iproject是由W*H像素点组成的,并且每个像素点的颜色RGB是已知的。
5.2根据投影变换原理,求出3D模型的顶点在屏幕投影的坐标值(u,v)T：
Figure DEST_PATH_GDA0001444272340000091
式中，
Figure DEST_PATH_GDA0001444272340000092
为顶点在世界坐标系的齐次坐标，M为视图矩阵，P为投影矩阵。
5.3三角片的三个顶点分别按投影变换关系投影到二维平面，若投影区域包含一个或多个整型像素点，输出第一个最先被搜寻到的整型像素点(u,v)T。图6展示搜寻算法，步骤如下：
输入：二维平面投影点p1:(u1,v1)，p2:(u2,v2)，p3:(u3,v3)。
输出：p:(u,v)。
Step1.分别计算L1,L2,L3直线的一般方程a1,2,3x+b1,2,3y+c1,2,3＝0，其中a1＝v2-v1， b1＝u1-u2，c1＝-(a1u1+b1v1)，a2＝v2-v3，b2＝u3-u2，c2＝-(a2u2+b2v2)，a3＝v3-v1， b3＝u1-u3，c3＝-(a3u3+b3v3)。
Step2.计算z1＝a2u1+b2v1+c2，z2＝a3u2+b3v2+c3，z3＝a1u3+b1v3+c1。
Step3.计算xmin＝min(u1,u2,u3)，xmax＝max(u1,u2,u3)，ymin＝min(v1,v2,v3)， ymax＝max(v1,v2,v3)，i＝xmin，j＝ymin。
Step4.判断a2i+b2j+c2与z1，a3i+b3j+c3与z2，a1i+b1j+c1与z3是否同正负号。若是，则(i,j)在区域里，输出(u,v)＝(i,j)，算法结束.否则,继续下一步。
Step5.i＝i+1，j＝j+1，如果i＜＝xmax，j＜＝ymax，转Step4；否则，(u,v)无解。
搜寻算法得出(u,v)T，判断(u,v)T在Iproject对应颜色RGB与其颜色模型上的三角片颜色是否一致。若是一致的，则认为三角片上的三个顶点在当前姿态为可视的。反之不是。
模型表面的三角片投影区域受视点远近影响，当视点较远时，此时三角片投影区域可能没有包含一个整型像素点(即(u,v)无解)，此时，用传统的插值方法(如双线性插值(BI)，最近邻插值(NN)，部分体积插值(PV))得到投影点的RGB，再分别单独判断三个顶点与模型三角片颜色是否一致，若一致，则认为该顶点为可视。
找出双目相机共同的可视点，所以可视点需在左右相机都能被观测到，如图7所示，左图能够被左右相机同时观测故为可视点，右图由于只被左相机观测故为不可视点。记可视点的集合为Ω。
5.4对录制的视频进行畸形校正，获得无畸变图像的视频。
Figure DEST_PATH_GDA0001444272340000101
5.5可以通过最小化颜色一致性的能量方程误差来估计Ml：
Figure DEST_PATH_GDA0001444272340000102
其中，IR-left、IG-left、IB-left、IR-right、IG-right、IB-right分别为左右相机图像畸变校正后的无畸变图像RGB，Kleft、Kright分别是左右相机的内参数矩阵，
Figure DEST_PATH_GDA0001444272340000103
分别为三维点在左右相机无畸变图像投影的颜色RGB平均值，Pi为顶点在世界坐标系的齐次坐标，zleft、zright分别为三维点在左右相机坐标系所对应的Z值，ML2R为左右相机的关系矩阵；通过优化上述的能量方程，当能量方程收敛时，可视点投影的像素点颜色RGB之差的平方和最小，此时3D模型与真实的仿真模型完全重叠。
5.6待虚拟的3D模型与真实的仿真模型重叠完全后，此时开始用跟踪算法进行估计相机轨迹。
5.7取相邻的视频两帧来估计相机的姿态，利用参考帧来估计相机在当前帧的姿态，先用姿态矩阵表示两帧相机姿态关系：Mk＝ΔM*Mk-1(Mk、Mk-1分别表示当前帧、参考帧的视图矩阵，ΔM为待估计视图矩阵)。优化ΔM使得真实仿真模型的顶点在参考帧和当前帧的投影点灰度值误差的最小化，根据ΔM来更新虚拟的3D骨盆模型，观测3D模型与仿真模型的重叠度来验证跟踪算法的准确性。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种基于3D打印的盆腔仿真微创手术视觉导航验证方法，其特征在于：包括如下步骤，
S1、根据患者CT影像分割骨盆区域，重建骨盆3D模型，将3D模型导入3D打印设备，打印获得骨盆打印模型，而后为3D模型涂上各种手术血肉颜色，形成具有纹理的仿真骨盆模型；
S2、模拟真实手术过程中内窥镜的运动，利用双目相机拍摄在仿真骨盆模型进行模拟微创手术的内窥镜视频；
S3、对双目相机进行单目相机标定和立体标定，获得左右相机的内参数矩阵、左右相机的畸变矩阵、相机拍摄图像的宽高和左右内窥镜相对姿态；
S4、根据3D图形透视投影原理，将左右相机的内参数矩阵转换成左右视图的投影矩阵，而后将步骤S1重建的骨盆3D模型分别按左右视图的模型视图投影矩阵渲染到屏幕上；其中，左右视图的模型视图投影矩阵由左右视图的投影矩阵与左右相机的视图矩阵相乘得到；
S5、在视频里的手术开始阶段，利用基于颜色一致性的配准原理估计左视图的初始视图矩阵，使步骤S1重建的骨盆3D模型完全重叠到手术画面的无畸变图像中的仿真骨盆模型，然后内窥镜开始运动，基于立体视觉的跟踪算法来估计相机运动姿态，从而更新骨盆3D模型的视图矩阵，通过观察骨盆3D模型在左右视图与仿真模型的重叠程度来验证跟踪算法的准确性；
所述利用基于颜色一致性的配准原理估计左视图的初始视图矩阵，即：
通过最小化颜色一致性的能量方程误差来估计左视图的初始视图矩阵Mleft
Figure FDA0002881935870000011
其中，IR-left、IG-left、IB-left、IR-right、IG-right、IB-right分别为左右相机图像畸变校正后的无畸变图像RGB，Kleft、Kright分别是左右相机的内参数矩阵，
Figure FDA0002881935870000012
分别为三维点在左右相机无畸变图像投影的颜色RGB平均值，Pi为顶点在世界坐标系的齐次坐标，zleft、zright分别为三维点在左右相机坐标系所对应的Z值，ML2R为左右相机的关系矩阵，Ω为可视点的集合。
2.根据权利要求1所述的一种基于3D打印的盆腔仿真微创手术视觉导航验证方法，其特征在于：所述步骤S4中，左右视图的投影矩阵的采用下式计算，
Figure FDA0002881935870000021
其中，
Figure FDA0002881935870000022
fu,fv,u0,v0,w,h分别取自步骤S3标定左右相机的内参数矩阵
Figure FDA0002881935870000023
和相机拍摄图像的宽W、高H，n为近裁剪平面距离，f远裁剪平面距离，I＝left,right，left表示左相机，right表示右相机。
3.根据权利要求2所述的一种基于3D打印的盆腔仿真微创手术视觉导航验证方法，其特征在于：所述步骤S5具体实现过程如下，
S51、由于重建的骨盆3D模型是由多个三角片组成，对每个三角片进行编号，按序号将三角片渲染成不同颜色，形成一个带颜色的3D模型，通过OpenGL的3D图形渲染引擎投影几何关系，生成2D投影图像Iproject，Iproject是由W*H像素点组成的，并且每个像素点的颜色RGB是已知的；
S52、根据投影变换原理，求出骨盆3D模型的顶点在屏幕投影的坐标值(u,v)T：
Figure FDA0002881935870000024
式中，
Figure FDA0002881935870000025
Pi为顶点在世界坐标系的齐次坐标，M为视图矩阵，P为投影矩阵；
S53、将三角片的三个顶点分别按投影变换关系投影到二维平面，若投影区域包含一个或多个整型像素点，采用搜寻算法，输出第一个最先被搜寻到的整型像素点(u,v)T；判断(u,v)T在Iproject对应颜色RGB与其颜色模型上的三角片颜色是否一致；若是一致的，则认为三角片上的三个顶点在当前姿态为可视的；反之不是；
找出双目相机共同的可视点，共同的可视点需在左右相机都能被观测到，并记可视点的集合为Ω；
S54、对录制的视频采用下式进行畸变校正，获得无畸变图像的视频：
Figure FDA0002881935870000031
其中，
Figure FDA0002881935870000032
为视频帧畸变图像的像素点坐标，
Figure FDA0002881935870000033
k1,k2,k3为左右相机的径向畸变系数，p1,p2为左右相机的切向畸变系数；
S55、利用基于颜色一致性的配准原理估计左视图的初始视图矩阵：
通过最小化颜色一致性的能量方程误差来估计Mleft
Figure FDA0002881935870000034
其中，IR-left、IG-left、IB-left、IR-right、IG-right、IB-right分别为左右相机图像畸变校正后的无畸变图像RGB，Kleft、Kright分别是左右相机的内参数矩阵，
Figure FDA0002881935870000035
分别为三维点在左右相机无畸变图像投影的颜色RGB平均值，Pi为顶点在世界坐标系的齐次坐标，zleft、zright分别为三维点在左右相机坐标系所对应的Z值，ML2R为左右相机的关系矩阵；通过优化上述的能量方程，当能量方程收敛时，可视点投影的像素点颜色RGB之差的平方和最小，此时3D模型与真实的仿真模型完全重叠；
S56、利用跟踪算法估计相机轨迹，取相邻的两帧视频来估计相机的姿态，利用参考帧来估计相机在当前帧的姿态，先用姿态矩阵表示两帧相机姿态关系：Mk＝ΔM*Mk-1，Mk、Mk-1分别表示当前帧、参考帧的视图矩阵，ΔM为待估计视图矩阵；优化ΔM使得真实仿真模型的顶点在参考帧和当前帧的投影点灰度值误差的最小化，根据ΔM来更新虚拟的3D骨盆模型，观测3D模型与仿真模型的重叠度来验证跟踪算法的准确性。
CN201710888589.7A 2017-09-27 2017-09-27 一种基于3d打印的盆腔仿真微创手术视觉导航验证方法 Active CN107680688B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710888589.7A CN107680688B (zh) 2017-09-27 2017-09-27 一种基于3d打印的盆腔仿真微创手术视觉导航验证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710888589.7A CN107680688B (zh) 2017-09-27 2017-09-27 一种基于3d打印的盆腔仿真微创手术视觉导航验证方法

Publications (2)

Publication Number Publication Date
CN107680688A CN107680688A (zh) 2018-02-09
CN107680688B true CN107680688B (zh) 2021-03-02

Family

ID=61137501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710888589.7A Active CN107680688B (zh) 2017-09-27 2017-09-27 一种基于3d打印的盆腔仿真微创手术视觉导航验证方法

Country Status (1)

Country Link
CN (1) CN107680688B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942522B (zh) * 2019-10-14 2024-04-16 北京奇艺世纪科技有限公司 一种用于模型间重叠判定的处理方法及装置
CN110706545A (zh) * 2019-10-24 2020-01-17 西安交通大学医学院第二附属医院 一种心内科手术模拟训练系统
CN111857625B (zh) * 2020-07-06 2023-08-29 山东金东数字创意股份有限公司 一种异形曲面矫正及边缘融合的方法
CN112631145B (zh) * 2020-11-20 2022-05-17 福州大学 一种用于无人机视觉组合导航测试的半实物仿真系统
CN112750167B (zh) * 2020-12-30 2022-11-04 燕山大学 基于虚拟现实的机器人视觉定位仿真方法及其仿真装置
CN117038064B (zh) * 2023-10-07 2024-01-09 之江实验室 一种辅助分析算法的评估方法、装置、存储介质及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
CN106890025A (zh) * 2017-03-03 2017-06-27 浙江大学 一种微创手术导航系统和导航方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
CN106890025A (zh) * 2017-03-03 2017-06-27 浙江大学 一种微创手术导航系统和导航方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"2D/3D Registration of a Preoperative Model with Endoscopic Video Using Colour-Consistency";PingLin Chang;《Proceedings of the 2011 Workshop on Augmented Environments for Computer-Assisted Interventions》;20111231;全文 *
"基于特征点的内窥镜图像和CT影像配准方法";郭晓君 等;《现代商贸工业》;20131231;全文 *

Also Published As

Publication number Publication date
CN107680688A (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
CN107680688B (zh) 一种基于3d打印的盆腔仿真微创手术视觉导航验证方法
EP2930689B1 (en) Method for rendering
CN109448041B (zh) 一种胶囊内镜图像三维重建方法及系统
Totz et al. Dense surface reconstruction for enhanced navigation in MIS
CN106327587B (zh) 一种用于增强现实手术导航的腹腔镜视频精准融合方法
JP5153620B2 (ja) 連続的にガイドされる内視鏡と関係する画像を重ね合わせるためのシステム
US20180174311A1 (en) Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
CN110033465B (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
Stoyanov et al. Dense 3D depth recovery for soft tissue deformation during robotically assisted laparoscopic surgery
Collins et al. Computer-assisted laparoscopic myomectomy by augmenting the uterus with pre-operative MRI data
US20170035268A1 (en) Stereo display system and method for endoscope using shape-from-shading algorithm
JP2012185772A (ja) 非固定ズームカメラを用いた自由視点映像の合成画質高精度化方法およびプログラム
CN112233155B (zh) 一种2d-3d影像配准算法
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
CN108010587A (zh) 基于ct影像的盆腔手术视觉导航仿真视频的制备方法
Zhou et al. Synthesis of stereoscopic views from monocular endoscopic videos
EP3130273B1 (en) Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
US20210128243A1 (en) Augmented reality method for endoscope
Lerotic et al. Dynamic view expansion for enhanced navigation in natural orifice transluminal endoscopic surgery
TW201509360A (zh) 單鏡頭內視鏡立體視覺化系統及其方法
JP2005063041A (ja) ３次元モデリング装置、方法、及びプログラム
Ke et al. Towards real-time 3D visualization with multiview RGB camera array
CN111899293B (zh) Ar应用中的虚实遮挡处理方法
CN115601233B (zh) 一种医学图像的2d转3d方法
Lamata et al. Addressing shading-based laparoscopic registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant