CN110368089A - 一种支气管内窥镜三维导航方法 - Google Patents
一种支气管内窥镜三维导航方法 Download PDFInfo
- Publication number
- CN110368089A CN110368089A CN201910727100.7A CN201910727100A CN110368089A CN 110368089 A CN110368089 A CN 110368089A CN 201910727100 A CN201910727100 A CN 201910727100A CN 110368089 A CN110368089 A CN 110368089A
- Authority
- CN
- China
- Prior art keywords
- virtual
- navigation
- endoscope
- image
- observation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Robotics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种支气管内窥镜三维导航方法，包括以下步骤：读取多模态医学断层影像数据；将多模态医学断层影像数据生成虚拟三维模型；计算虚拟坐标和虚拟方向；根据实际位置图像和虚拟位置图像进行比较，调整虚拟坐标的坐标值和虚拟观察方向的方向值；对内窥镜实时图像边缘进行高斯函数衰减，并与内窥镜的虚拟场景视图融合，解决现有技术手术导航中医学影像成像质量差、精度低以及导航效果不理想的技术问题。
Description
技术领域
本发明涉及内窥镜领域，尤其涉及的是一种支气管内窥镜三维导航方法。
背景技术
一般支气管疾病的发生位置较深，病变部位结构复杂难辨。现阶段支气管手术一般采用内窥镜微创手术，内窥镜微创手术术式简洁，术后恢复快，通过内窥镜图像引导避免了手术入路对于支气管部位结构的破坏，大大降低了各种并发症发生的概率。
但是，手术导航中医学影像对手术器械和人体之间的相对位置和距离、方向等表现并不精确，导航效果不理想；单模态医学影像的组织结构信息单一，图像精度和成像质量并不好，对手术造成一定的影响。
因此，现有技术还有待于改进和发展。
发明内容
本发明的目的在于提供一种支气管内窥镜三维导航方法，以解决现有技术手术导航中医学影像成像质量差、精度低以及导航效果不理想的技术问题。
本发明的技术方案如下：
一种支气管内窥镜三维导航方法，其中，包括：
S1：读取多模态医学断层影像数据；
S2：将多模态医学断层影像数据生成虚拟三维模型；
S3：计算内窥镜在电磁导航坐标系统中的当前坐标在虚拟三维模型的坐标系统中对应的位置坐标，作为虚拟坐标；获取所述内窥镜在电磁导航系统中的当前实际观察方向在虚拟三维模型的坐标系统中对应的观察方向作为虚拟观察方向；
S4：根据实际位置图像和虚拟位置图像进行比较，调整虚拟坐标的坐标值和虚拟观察方向的方向值；
S5：对内窥镜实时图像边缘进行高斯函数衰减，并与内窥镜的虚拟场景视图融合，实现场景分层渲染。
所述的支气管内窥镜三维导航方法，其中，所述根据实际位置图像和虚拟位置图像进行比较，调整虚拟坐标的坐标值和虚拟观察方向的方向值，调整方法包括：
将多模态医学断层影像分割成被测腔体体素和背景体素，用快速3D距离变化计算每个被测腔体体素到最近背景体素的距离D；
利用距离梯度方向和距离值引入虚拟拉力，进行导航方向的校正，修正虚拟摄像机当前的运动方向，使摄像机远离被测腔体内壁，摄像机接近中心线；
校正导航方向过程中，预先计算导航轨迹控制点；
被测腔体体素集合为F，背景集合为B，采用快速3D距离变换，计算每个体素的3D距离梯度G，根据距离D和距离梯度G，修正虚拟观察方向，使得虚拟摄像机朝着距离最大的方向运动；
计算当前位置的距离梯度方向G，并把当前运动方向投影到当前切平面，得到归一化的切线方向T，其中，为权重， 得到修正后的虚拟观察方向的方向值v’。
所述的支气管内窥镜三维导航方法，其中，计算导航轨迹控制点的方法包括：
假设计算得出虚拟摄像机第i个导航轨迹控制点Pi，在第i个导航轨迹控制点Pi的基础上前进一个步长，得到第i+1个导航轨迹控制点Pi+1。
所述的支气管内窥镜三维导航方法，其中，所述3D距离变换的方法包括：
在待匹配图像中选取标记点；
在基准图像中以预设定的顺序选取参考点，建立待匹配图像的标记点和基准图像参考点之间的对应集；
根据对应集，计算得到基准图像和待匹配图像之间的旋转和平移矩阵，实现两幅图像的全仿射匹配。
所述的支气管内窥镜三维导航方法，其中，计算导航轨迹控制点的方法还包括：在任意两个相邻的导航轨迹控制点Pi和Pi+1之间插值得到一段具有至少C1连续的三次Bezier曲线；该曲线中间部分具有C2连续，导航轨迹控制点两端处确保C1连续。
本发明的有益效果：本发明通过提供一种支气管内窥镜三维导航方法，多模态成像分辨率高、定位准确；方向准确度大为提高，对手术器械和人体之间的相对位置和距离、方向等表现精确；解决现有技术手术导航中医学影像成像质量差、精度低以及导航效果不理想的技术问题。
附图说明
图1是本发明支气管内窥镜三维导航方法的方法流程图；
图2是本发明中调整虚拟坐标的坐标值和虚拟观察方向的方向值的方法流程图；
图3是本发明中计算导航轨迹控制点的方法流程图；
图4是3D距离变换的方法流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。
参阅图1—图4，本发明提供一种支气管内窥镜三维导航方法，其中，包括：
S1：读取多模态医学断层影像数据；
S2：将多模态医学断层影像数据生成虚拟三维模型；
S3：计算内窥镜在电磁导航坐标系统中的当前坐标在虚拟三维模型的坐标系统中对应的位置坐标，作为虚拟坐标；获取所述内窥镜在电磁导航系统中的当前实际观察方向在虚拟三维模型的坐标系统中对应的观察方向作为虚拟观察方向；
S4：根据实际位置图像和虚拟位置图像进行比较，调整虚拟坐标的坐标值和虚拟观察方向的方向值；
S5：对内窥镜实时图像边缘进行高斯函数衰减，并与内窥镜的虚拟场景视图融合，实现场景分层渲染。
本发明采集多模态医学断层影像数据后，将多模态医学断层影像数据生成虚拟三维模型，将不同模态的影响融合，多模态成像分辨率高、定位准确，克服了单模态成像中空间分辨率和组织分辨率低的缺点，最大限度挖掘影像学信息，得到更为丰富的信息比便于了解病变组织或器官的综合信息，为医生做出准确的诊断和合适的治疗方案提供可靠依据。
进一步地，在S4中，所述根据实际位置图像和虚拟位置图像进行比较，调整虚拟坐标的坐标值和虚拟观察方向的方向值，调整方法包括以下步骤：
101、将多模态医学断层影像分割成被测腔体体素和背景体素，用快速3D距离变化计算每个被测腔体体素到最近背景体素的距离D；
102、利用距离梯度方向和距离值引入虚拟拉力，进行导航方向的校正，修正虚拟摄像机当前的运动方向，使摄像机远离被测腔体内壁，摄像机接近中心线；
103、校正导航方向过程中，预先计算导航轨迹控制点；
104、被测腔体体素集合为F，背景集合为B，采用快速3D距离变换，计算每个体素的3D距离梯度G，根据距离D和距离梯度G，修正虚拟观察方向，使得虚拟摄像机朝着距离最大的方向运动；
105、计算当前位置的距离梯度方向G，并把当前运动方向投影到当前切平面，得到归一化的切线方向T，其中，为权重，根据支气管内窥镜手术的特点，在本实施例中，取0.83，得到修正后的虚拟观察方向的方向值v’。
本发明通过调整虚拟坐标的坐标值和虚拟观察方向的方向值，利用距离梯度方向G得到在当前切平面的切线方向T得到修正后的虚拟观察方向的方向值v’，通过距离梯度G修正后的虚拟观察方向的方向v’，方向准确度比修正前提高20％以上，对手术器械和人体之间的相对位置和距离、方向等表现精确，很好地避免了因手术抖动带来的影像模糊。
进一步地，所述计算导航轨迹控制点的方法包括：
201、假设计算得出虚拟摄像机第i个导航轨迹控制点Pi，在第i个导航轨迹控制点Pi的基础上前进一个步长，得到第i+1个导航轨迹控制点Pi+1；
202、在任意两个相邻的导航轨迹控制点Pi和Pi+1之间插值得到一段具有至少C1连续的三次Bezier曲线；该曲线中间部分具有C2连续，导航轨迹控制点两端处确保C1连续。本发明预先计算导航轨迹控制点，边计算变前进，采用分段三次Bezier曲线拼接方式，生成具有至少C1连续的光滑导航轨迹，防止摄像机图像卡顿。
3D距离变换的方法包括以下步骤：
301、在待匹配图像中选取标记点；
302、在基准图像中以预设定的顺序选取参考点，建立待匹配图像的标记点和基准图像参考点之间的对应集；
303、根据对应集，计算得到基准图像和待匹配图像之间的旋转和平移矩阵，实现两幅图像的全仿射匹配。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (5)
1.一种支气管内窥镜三维导航方法，其特征在于，包括：
S1：读取多模态医学断层影像数据；
S2：将多模态医学断层影像数据生成虚拟三维模型；
S3：计算内窥镜在电磁导航坐标系统中的当前坐标在虚拟三维模型的坐标系统中对应的位置坐标，作为虚拟坐标；获取所述内窥镜在电磁导航系统中的当前实际观察方向在虚拟三维模型的坐标系统中对应的观察方向作为虚拟观察方向；
S4：根据实际位置图像和虚拟位置图像进行比较，调整虚拟坐标的坐标值和虚拟观察方向的方向值；
S5：对内窥镜实时图像边缘进行高斯函数衰减，并与内窥镜的虚拟场景视图融合，实现场景分层渲染。
2.根据权利要求1所述的支气管内窥镜三维导航方法，其特征在于，所述根据实际位置图像和虚拟位置图像进行比较，调整虚拟坐标的坐标值和虚拟观察方向的方向值，调整方法包括：
将多模态医学断层影像分割成被测腔体体素和背景体素，用快速3D距离变化计算每个被测腔体体素到最近背景体素的距离D；
利用距离梯度方向和距离值引入虚拟拉力，进行导航方向的校正，修正虚拟摄像机当前的运动方向，使摄像机远离被测腔体内壁，摄像机接近中心线；
校正导航方向过程中，预先计算导航轨迹控制点；
被测腔体体素集合为F，背景集合为B，采用快速3D距离变换，计算每个体素的3D距离梯度G，根据距离D和距离梯度G，修正虚拟观察方向，使得虚拟摄像机朝着距离最大的方向运动；
计算当前位置的距离梯度方向G，并把当前运动方向投影到当前切平面，得到归一化的切线方向T，其中，为权重， 得到修正后的虚拟观察方向的方向值v’。
3.根据权利要求2所述的支气管内窥镜三维导航方法，其特征在于，计算导航轨迹控制点的方法包括：
假设计算得出虚拟摄像机第i个导航轨迹控制点Pi，在第i个导航轨迹控制点Pi的基础上前进一个步长，得到第i+1个导航轨迹控制点Pi+1。
4.根据权利要求2所述的支气管内窥镜三维导航方法，其特征在于，所述3D距离变换的方法包括：
在待匹配图像中选取标记点；
在基准图像中以预设定的顺序选取参考点，建立待匹配图像的标记点和基准图像参考点之间的对应集；
根据对应集，计算得到基准图像和待匹配图像之间的旋转和平移矩阵，实现两幅图像的全仿射匹配。
5.根据权利要求3所述的支气管内窥镜三维导航方法，其特征在于，计算导航轨迹控制点的方法还包括：在任意两个相邻的导航轨迹控制点Pi和Pi+1之间插值得到一段具有至少C1连续的三次Bezier曲线；该曲线中间部分具有C2连续，导航轨迹控制点两端处确保C1连续。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910727100.7A CN110368089A (zh) | 2019-08-07 | 2019-08-07 | 一种支气管内窥镜三维导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910727100.7A CN110368089A (zh) | 2019-08-07 | 2019-08-07 | 一种支气管内窥镜三维导航方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110368089A true CN110368089A (zh) | 2019-10-25 |
Family
ID=68258453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910727100.7A Pending CN110368089A (zh) | 2019-08-07 | 2019-08-07 | 一种支气管内窥镜三维导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110368089A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113633375A (zh) * | 2021-08-04 | 2021-11-12 | 天津国科医工科技发展有限公司 | 一种虚拟支气管镜的构建方法 |
| CN114191078A (zh) * | 2021-12-29 | 2022-03-18 | 上海复旦数字医疗科技股份有限公司 | 一种基于混合现实的内窥镜手术导航机器人系统 |
| CN114404042A (zh) * | 2022-03-31 | 2022-04-29 | 珠海维尔康生物科技有限公司 | 一种手术机器人导航板及导航方法 |
| CN115414120A (zh) * | 2022-11-07 | 2022-12-02 | 中南大学 | 一种内镜导航系统 |
| CN116999166A (zh) * | 2023-10-07 | 2023-11-07 | 杭州先奥科技有限公司 | 术中地图拓展方法、存储介质及电磁导航支气管镜系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050004454A1 (en) * | 2003-05-20 | 2005-01-06 | Matthias Mitschke | Method for marker-free automatic fusion of 2-D fluoroscopic C-arm images with preoperative 3D images using an intraoperatively obtained 3D data record |
| CN103169445A (zh) * | 2013-04-16 | 2013-06-26 | 苏州朗开医疗技术有限公司 | 一种内窥镜的导航方法及系统 |
| CN105231978A (zh) * | 2015-09-14 | 2016-01-13 | 袁非牛 | 一种引导式虚拟内窥镜导航方法 |
| CN106256331A (zh) * | 2015-06-19 | 2016-12-28 | 柯惠有限合伙公司 | 用于导航通过虚拟支气管镜视图中的气道的系统和方法 |
| CN107456278A (zh) * | 2016-06-06 | 2017-12-12 | 北京理工大学 | 一种内窥镜手术导航方法和系统 |
-
2019
- 2019-08-07 CN CN201910727100.7A patent/CN110368089A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050004454A1 (en) * | 2003-05-20 | 2005-01-06 | Matthias Mitschke | Method for marker-free automatic fusion of 2-D fluoroscopic C-arm images with preoperative 3D images using an intraoperatively obtained 3D data record |
| CN103169445A (zh) * | 2013-04-16 | 2013-06-26 | 苏州朗开医疗技术有限公司 | 一种内窥镜的导航方法及系统 |
| CN106256331A (zh) * | 2015-06-19 | 2016-12-28 | 柯惠有限合伙公司 | 用于导航通过虚拟支气管镜视图中的气道的系统和方法 |
| CN105231978A (zh) * | 2015-09-14 | 2016-01-13 | 袁非牛 | 一种引导式虚拟内窥镜导航方法 |
| CN107456278A (zh) * | 2016-06-06 | 2017-12-12 | 北京理工大学 | 一种内窥镜手术导航方法和系统 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113633375A (zh) * | 2021-08-04 | 2021-11-12 | 天津国科医工科技发展有限公司 | 一种虚拟支气管镜的构建方法 |
| CN113633375B (zh) * | 2021-08-04 | 2023-02-28 | 天津国科医工科技发展有限公司 | 一种非诊疗目的的虚拟支气管镜的构建方法 |
| CN114191078A (zh) * | 2021-12-29 | 2022-03-18 | 上海复旦数字医疗科技股份有限公司 | 一种基于混合现实的内窥镜手术导航机器人系统 |
| CN114191078B (zh) * | 2021-12-29 | 2024-04-26 | 上海复旦数字医疗科技股份有限公司 | 一种基于混合现实的内窥镜手术导航机器人系统 |
| CN114404042A (zh) * | 2022-03-31 | 2022-04-29 | 珠海维尔康生物科技有限公司 | 一种手术机器人导航板及导航方法 |
| CN114404042B (zh) * | 2022-03-31 | 2022-07-08 | 珠海维尔康生物科技有限公司 | 一种手术机器人导航板及导航方法 |
| CN115414120A (zh) * | 2022-11-07 | 2022-12-02 | 中南大学 | 一种内镜导航系统 |
| CN116999166A (zh) * | 2023-10-07 | 2023-11-07 | 杭州先奥科技有限公司 | 术中地图拓展方法、存储介质及电磁导航支气管镜系统 |
| CN116999166B (zh) * | 2023-10-07 | 2024-01-12 | 杭州先奥科技有限公司 | 术中地图拓展方法、存储介质及电磁导航支气管镜系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110368089A (zh) | 一种支气管内窥镜三维导航方法 | |
| CN103313675B (zh) | 用于内窥镜手术的术中照相机校准 | |
| CN110033465B (zh) | 一种应用于双目内窥镜医学图像的实时三维重建方法 | |
| CN107456278B (zh) | 一种内窥镜手术导航方法和系统 | |
| Merritt et al. | Interactive CT-video registration for the continuous guidance of bronchoscopy | |
| US8045780B2 (en) | Device for merging a 2D radioscopy image with an image from a 3D image data record | |
| US20150379760A1 (en) | Adaptive navigation technique for navigating a catheter through a body channel or cavity | |
| US20180189966A1 (en) | System and method for guidance of laparoscopic surgical procedures through anatomical model augmentation | |
| Deguchi et al. | Selective image similarity measure for bronchoscope tracking based on image registration | |
| Bernhardt et al. | Automatic localization of endoscope in intraoperative CT image: A simple approach to augmented reality guidance in laparoscopic surgery | |
| Pokhrel et al. | A novel augmented reality (AR) scheme for knee replacement surgery by considering cutting error accuracy | |
| Soper et al. | In vivo validation of a hybrid tracking system for navigation of an ultrathin bronchoscope within peripheral airways | |
| JP2018047258A (ja) | 仮想気管支鏡検査視野における気道を通ってナビゲートするためのシステムおよび方法 | |
| WO2014081725A2 (en) | Electromagnetic sensor integration with ultrathin scanning fiber endoscope | |
| CN107680688B (zh) | 一种基于3d打印的盆腔仿真微创手术视觉导航验证方法 | |
| JP2012165838A (ja) | 内視鏡挿入支援装置 | |
| CN116421313A (zh) | 胸腔镜下肺部肿瘤切除手术导航中的增强现实融合方法 | |
| CN116966381A (zh) | 基于自监督单目深度估计的气管插管机器人自主导航方法 | |
| CN115511997A (zh) | 一种血管造影图像处理方法和系统 | |
| CN109498106B (zh) | 一种基于三维图像的髓内针钉孔的定位和导航方法 | |
| Shao et al. | Augmented reality navigation with real-time tracking for facial repair surgery | |
| JP2006239253A (ja) | 画像処理装置及び画像処理方法 | |
| JP2019505271A (ja) | 投影データセットの提供 | |
| JP2010075554A (ja) | Ｘ線診断装置、及びその画像処理方法 | |
| CN112315582B (zh) | 一种手术器械的定位方法、系统及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191025 |