CN108090954A - 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法 - Google Patents

基于图像特征的腹腔环境地图重建与腹腔镜定位的方法 Download PDF

Info

Publication number
CN108090954A
CN108090954A CN201711346697.8A CN201711346697A CN108090954A CN 108090954 A CN108090954 A CN 108090954A CN 201711346697 A CN201711346697 A CN 201711346697A CN 108090954 A CN108090954 A CN 108090954A
Authority
CN
China
Prior art keywords
laparoscope
abdominal cavity
environmental map
positioning
optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711346697.8A
Other languages
English (en)
Inventor
陈韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Hospital Southern Medical University
Original Assignee
Southern Hospital Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Hospital Southern Medical University filed Critical Southern Hospital Southern Medical University
Priority to CN201711346697.8A priority Critical patent/CN108090954A/zh
Publication of CN108090954A publication Critical patent/CN108090954A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric

Abstract

本发明提供了一种基于图像特征的腹腔环境地图重建与腹腔镜定位的方法。所述方法是以前、后帧图像特征为基础，根据真实内窥镜图像序列进行光流分析设计，运用ORB‑SLAM(Oriented FAST and Rotated BRIEF‑SLAM基于改良型FAST特征点检测法及BRIEF描述子组合的同时定位与地图构建)的方法，实现内窥镜在腹腔中的实时定位和手术场景的重建，提高导航的精确性，精确地指引手术进程，提高手术成功率，有利于腹腔镜胃肠手术的应用和推广。

Description

基于图像特征的腹腔环境地图重建与腹腔镜定位的方法
技术领域
本发明属于有微创外科学、计算机辅助医学、影像学等领域，涉及一种基于图像特征的腹腔环境地图重建与腹腔镜定位的方法，适用于胃癌腔镜手术实时导航系统。
背景技术
胃癌是我国常见的肿瘤之一，根治性切除是其主要的治疗手段。腹腔镜技术因其创伤少、且有助于术后恢复等特点，在胃肠外科领域上的应用越来越多。然而腹腔镜存在管状视野、缺少触觉及纵深感等自身特有的局限性，而且胃周血管走行复杂，解剖变异较多，术中淋巴结清扫引起的血管损伤是腹腔镜胃癌手术严重并发症之一，也是导致非计划二次手术的重要原因，使得这项技术的推广受到了一定的限制。
随着计算机辅助技术的发展，三维重建技术可作为术中导航，使术者对腹腔镜下解剖信息辨别具有重要的补充意义。但其形式属于一种“静态”导航。得益于光学定位技术的研发和应用，导航由“静态”向“动态”的转变成为了可能。其原理是通过光学定位技术捕捉固定在腹腔镜外端的标记点来计算镜头的位置和姿态，来获得手术视野在术前影像中的对应信息，在术中实时将内窥镜的位置在手术场景模型中进行定位，从而达到实时导航的效果。光学定位具有测量精度高、范围广等优点，但其仅能实现粗略的场景匹配，而且腹腔镜胃肠手术具有组织脏器不固定且易形变等特点，光学定位达不到精准的配准。鉴于此，以前、后帧图像特征为基础，根据内窥镜图像序列进行光流分析设计基于图像特征的腹腔镜姿态估计系统，在此基础上通过单目相机稠密重建来重建腹腔的环境地图，实现内窥镜在重建手术场景中的实时定位，作为辅助信息为医生提供准确和有效的导航信息。
发明内容
本发明的目的在于提供一种基于图像特征的腹腔环境地图重建与腹腔镜定位的方法，该方法是以前、后帧图像特征为基础，根据内窥镜图像序列进行光流分析设计，实现同时定位与地图构建(Simultaneous Localization and Mapping，简称SLAM)，能有效克服形变组织的匹配难题，提高胃癌腔镜手术实时导航系统的精确性，精确地指引手术进程，提高手术成功率，有利于腹腔镜胃肠手术的应用和推广。
本发明所述的基于图像特征的腹腔环境地图重建与腹腔镜定位的方法包括以下步骤：
(1)确定腹腔镜的内部参数与畸变参数。
内部参数简称“内参”，可包括：焦距、主点以及像素大小。一般腹腔镜厂商会提供内参。如果没有提供腹腔镜的内参，可以采用张正友标定法(Zhang Z.A Flexible NewTechnique for Camera Calibration[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2000,22(11):1330-1334.)来标定腹腔镜内参与畸变参数。
(2)采集内窥镜实时图像。
(3)根据ORB(Oriented FAST and Rotated BRIEF)特征提取相邻帧的特征点并进行匹配和筛选。
ORB(Oriented FAST and Rotated BRIEF)特征由关键点(key point)和描述子(descriptor)两部分组成。它的关键点采用了Oriented FAST，是一种改进的FAST角点，描述子为BRIEF。FAST只需要比较亮度的大小，非常快捷。ORB特征提取方法参见文献：RubleeE,Rabaud V,Konolige K,et al.ORB:An efficient alternative to SIFT or SURF[J].2011,58(11):2564-2571.以及Mur-Artal R,Montiel J M M,TardósJ D.ORB-SLAM:AVersatile and Accurate Monocular SLAM System[J].IEEE Transactions onRobotics,2015,31(5):1147-1163。
(4)根据配对点的像素求出对极约束中的本质矩阵E。
(5)根据E或F通过SVD(奇异值分解)求出腹腔镜外部参数，简称外参，即旋转R和平移t。
(6)通过对特征点组的三角化测得特征点的空间位置。
(7)BA图优化。通过g2o(General Graph Optimization通用图优化，C++中的非线性最优化算法集)来求解最小化重投影误差。g2o求解方法可参见文献：Kümmerle R,Grisetti G,Strasdat H,et al.G2o:A general framework for graph optimization:IEEE International Conference on Robotics and Automation,2011[C]。
(8)位姿图优化。位姿图优化依然也可以用g2o进行求解。
(9)腹腔环境地图重建：采用单目稠密地图重建方法，可参见文献：Vogiatzis G,Hernández C.Video-based,real-time multi-view stereo[J].Image&VisionComputing,2011,29(7):434-441。
(10)实时导航：将腹腔镜在所述重建的腹腔环境地图中进行实时定位，实现腹腔中手术场景的重建和腹腔镜的实时定位，作为辅助信息为医生提供准确和有效的导航信息。
本发明所述的基于图像特征的腹腔环境地图重建与腹腔镜定位的方法具有以下有益效果：
(1)运用了ORB-SLAM，能实时地构建出腹腔内部的3D环境地图并精确、快速地指示腹腔镜的实时位置；实时精确地指引手术进程，减少术中血管损伤的并发症，提高手术效率，减少手术时间。在内窥镜有较大范围的移动时，基于图像特征的SLAM更稳定，计算速度更快；对重定位问题，更快速和准确。
(2)促进患者术后恢复，降低术后并发症率，缩短术后住院日，进而降低患者住院费用，减少腹腔镜胃癌手术的医疗成本。
(3)该导航系统亦能缩短初学者的学习曲线，有利于腹腔镜胃癌手术的应用和推广。
(4)有利于实现胃癌精准化治疗，具有较高的科学价值和社会效益。
附图说明
图1是本发明所述的基于图像特征的腹腔环境地图重建与腹腔镜定位的方法的一般流程图。
图2是BA(Bundle Adjustment，光束平差法)图优化示意图。
图3是位姿图优化示意图。
具体实施方式
(1)确定腹腔镜的内部参数(包括焦距、主点以及像素大小等，简称内参)和畸变参数，一般腹腔镜厂商会提供。若没有提供腹腔镜的内参，可以采用张正友标定法来标定腹腔镜内参和畸变参数。标定使用的棋盘格数据为在医院使用腹腔镜采集到的数据。对内窥镜进行标定得到相机的带有畸变矫正的内参矩阵。有关张正友标定法可参见文献：Zhang Z.AFlexible New Technique for Camera Calibration[J].IEEE Transactions on PatternAnalysis&Machine Intelligence,2000,22(11):1330-1334。
(2)采集内窥镜实时图像。
(3)通过ORB(Oriented FAST and Rotated BRIEF)特征[2,3]提取相邻帧的特征点并进行匹配和筛选。ORB特征由关键点(key point)和描述子(descriptor)两部分组成。它的关键点采用了Oriented FAST，是一种改进的FAST角点，描述子为BRIEF。FAST只需要比较亮度的大小，非常快捷。有关ORB特征可参见文献：Rublee E,Rabaud V,Konolige K,etal.ORB:An efficient alternative to SIFT or SURF[J].2011,58(11):2564-2571.以及Mur-Artal R,Montiel J M M,Tardós J D.ORB-SLAM:A Versatile and AccurateMonocular SLAM System[J].IEEE Transactions on Robotics,2015,31(5):1147-1163。
ORB特征的检测过程为：
1.在图像中选中像素p，设它的亮度为Ip。
2.设置一个阈值T，值为Ip的20％。
3.以p为中心，选取半径为3像素的圆上的16个像素点
4.假如选取的圆上有连续的12个点的亮度大于Ip+T或小于Ip-t，p即被认为是特征点。
5.重复第前1-4步。
在复杂的腹腔环境中，每一帧图像符合上述检测的FAST角点可多达上千个，因此，第一，我们要用非极大值抑制来避免角点过于集中的问题。第二，对原始FAST角点计算其各自的Harris响应值，然后取前200个作为最终的特征点。
BRIEF描述子通过随机地选取特征点附近的q和p点，对比128组q和p的大小关系，返回一个由0和1构成的128维的向量。
最后，通过快速近似最近邻算法(FLANN)[6]来匹配这两帧的特征点。有关FLANN可参见文献：Muja M.Fast approximate nearest neighbors with automatic algorithmconfiguration:International Conference on Computer Vision Theory andApplication Vissapp,2009[C]。
(4)根据配对点的像素求出对极约束中的本质矩阵E。本质矩阵E＝t^R,其中^为外积符号。因为t与R均有3个自由度，加上尺度等价性(对极约束左右同乘任意常数仍满足约束)，E一共有5个自由度。若只考虑尺度等价性，则可以通过8个点来估计E。有关尺度等价性，可参见文献：Longuet-Higgins H C.A computer algorithm forreconstructing a scene from two projections[J].Nature,1981,293(5828):133-135.以及Hartley R I.In Defense of the Eight-Point Algorithm[J].IEEE Transactionson Pattern Analysis&Machine Intelligence,1997,19(6):580-593。
(5)根据E通过SVD(奇异值分解)求出腹腔镜外参，简称外参，即旋转R和平移t
(6)通过对特征点组的三角化测得特征点的空间位置，通过OpenCV提供的triangulation函数可以实现。
(7)BA图优化。BA(Bundle Adjustment，光束平差法)是指视觉重建中提炼出最优的3D模型和腹腔镜参数。如图2所示，从每一个特征点反射出来的几束光线，在把位姿和特征点的空间位置做出最优的调整之后，最后收束到腹腔镜光心的过程。具体步骤为通过g2o(General Graph Optimization通用图优化，C++中的非线性最优化算法集)来求解最小化重投影误差，其中以位姿和特征点的空间位置为节点，运动模型与观测模型构成了边。参见文献：Kümmerle R,Grisetti G,Strasdat H,et al.G2o:A general framework for graphoptimization:IEEE International Conference on Robotics and Automation,2011[C]。
(8)位姿图优化。经过若干次观察之后，收敛的空间点会一直保持不动，若继续进行BA图优化，计算效率会不断下降。如图3所示，我们在优化几次过后便将特征点都固定住，只把它们看作是位姿(节点)的约束(边)，这样我们就得到了一个位姿图优化。通过这种方式省去了大量的特征点优化和计算。与BA图优化类似的是，位姿图优化依然也可以用g2o进行求解。
图3是位姿图优化示意图。当不再优化BA图中的特征点，仅把它看作是对腹腔镜位姿的约束时，得到了计算规模小很多的位姿图优化
(9)腹腔环境地图重建(单目稠密地图重建)：通过极限搜索和块匹配技术，计算每一帧中每一个像素(不仅是特征点)的深度。有关地图重建可参见文献：Vogiatzis G,Hernández C.Video-based,real-time multi-view stereo[J].Image&Vision Computing,2011,29(7):434-441。有关极限搜索和块匹配技术可参见文献：Pizzoli M,Forster C,Scaramuzza D.REMODE:Probabilistic,monocular dense reconstruction in realtime:IEEE International Conference on Robotics and Automation,2014[C]。
为了使测量值收敛，采用了均匀-高斯分布的深度滤波器。有关深度滤波器可参见文献：Forster C,Pizzoli M,Scaramuzza D.SVO:Fast semi-direct monocular visualodometry:IEEE International Conference on Robotics and Automation,2014[C]。
(10)实时导航：将腹腔镜在所述重建的腹腔环境地图中进行实时定位，实现腹腔中手术场景的重建和腹腔镜的实时定位，作为辅助信息为医生提供准确和有效的导航信息。

Claims (1)

1.一种基于图像特征的腹腔环境地图重建与腹腔镜定位的方法，其特征在于，包括以下步骤：
(1)确定腹腔镜的内部参数与畸变参数；
(2)采集内窥镜实时图像；
(3)根据ORB(Oriented FAST and Rotated BRIEF)特征提取相邻帧的特征点并进行匹配和筛选；
(4)根据配对点的像素求出对极约束中的本质矩阵E；
(5)根据E通过奇异值分解(SVD)求出腹腔镜外部参数，简称外参，即旋转R和平移t；
(6)通过对特征点组的三角化测得特征点的空间位置；
(7)BA图优化：通过g2o(General Graph Optimization通用图优化，C++中的非线性最优化算法集)来求解最小化重投影误差；
(8)位姿图优化：采用g2o进行求解；
(9)腹腔环境地图重建：采用单目稠密地图重建方法；
(10)实时导航：将腹腔镜在所述重建的腹腔环境地图中进行实时定位，实现腹腔中手术场景的重建和腹腔镜的实时定位，作为辅助信息为医生提供准确和有效的导航信息。
CN201711346697.8A 2017-12-15 2017-12-15 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法 Pending CN108090954A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711346697.8A CN108090954A (zh) 2017-12-15 2017-12-15 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711346697.8A CN108090954A (zh) 2017-12-15 2017-12-15 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法

Publications (1)

Publication Number Publication Date
CN108090954A true CN108090954A (zh) 2018-05-29

Family

ID=62176570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711346697.8A Pending CN108090954A (zh) 2017-12-15 2017-12-15 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法

Country Status (1)

Country Link
CN (1) CN108090954A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410244A (zh) * 2018-08-28 2019-03-01 浙江工业大学 一种基于全局光流法的肺部肿瘤自动检测跟踪方法
CN109620409A (zh) * 2019-01-14 2019-04-16 艾瑞迈迪科技石家庄有限公司 一种内窥镜外部参数实时优化系统及方法
CN110108258A (zh) * 2019-04-09 2019-08-09 南京航空航天大学 一种单目视觉里程计定位方法
CN111461998A (zh) * 2020-03-11 2020-07-28 中国科学院深圳先进技术研究院 一种环境重建方法及装置
CN111862120A (zh) * 2020-07-22 2020-10-30 苏州大学 一种单目slam尺度恢复的方法
CN113786239A (zh) * 2021-08-26 2021-12-14 哈尔滨工业大学（深圳） 胃部消化道下手术器械追踪和实时预警的方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130345509A1 (en) * 2005-10-26 2013-12-26 The Reseach Foundation for The State University of New York System and method for endoscopic measurement and mapping of internal organs, tumors and other objects
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法
CN106331670A (zh) * 2015-06-30 2017-01-11 明士股份有限公司 使用色度成形法的内视镜立体视觉化系统及方法
CN106327587A (zh) * 2016-11-16 2017-01-11 北京航空航天大学 一种用于增强现实手术导航的腹腔镜视频精准融合方法
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130345509A1 (en) * 2005-10-26 2013-12-26 The Reseach Foundation for The State University of New York System and method for endoscopic measurement and mapping of internal organs, tumors and other objects
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法
CN106331670A (zh) * 2015-06-30 2017-01-11 明士股份有限公司 使用色度成形法的内视镜立体视觉化系统及方法
CN106327587A (zh) * 2016-11-16 2017-01-11 北京航空航天大学 一种用于增强现实手术导航的腹腔镜视频精准融合方法
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
权美香 等: ""视觉SLAM综述"", 《智能系统学报》 *
杨滨豪: ""基于单目 SLAM 的内窥镜定位和胃肠特征地图构建"", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410244A (zh) * 2018-08-28 2019-03-01 浙江工业大学 一种基于全局光流法的肺部肿瘤自动检测跟踪方法
CN109620409A (zh) * 2019-01-14 2019-04-16 艾瑞迈迪科技石家庄有限公司 一种内窥镜外部参数实时优化系统及方法
CN110108258A (zh) * 2019-04-09 2019-08-09 南京航空航天大学 一种单目视觉里程计定位方法
CN111461998A (zh) * 2020-03-11 2020-07-28 中国科学院深圳先进技术研究院 一种环境重建方法及装置
WO2021179745A1 (zh) * 2020-03-11 2021-09-16 中国科学院深圳先进技术研究院 一种环境重建方法及装置
CN111862120A (zh) * 2020-07-22 2020-10-30 苏州大学 一种单目slam尺度恢复的方法
CN111862120B (zh) * 2020-07-22 2023-07-11 苏州大学 一种单目slam尺度恢复的方法
CN113786239A (zh) * 2021-08-26 2021-12-14 哈尔滨工业大学（深圳） 胃部消化道下手术器械追踪和实时预警的方法和系统

Similar Documents

Publication Publication Date Title
CN108090954A (zh) 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法
Song et al. Dynamic reconstruction of deformable soft-tissue with stereo scope in minimal invasive surgery
Croom et al. Visual sensing of continuum robot shape using self-organizing maps
JP4631057B2 (ja) 内視鏡システム
US20220157047A1 (en) Feature Point Detection
US20180174311A1 (en) Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
WO2006127713A2 (en) A fast 2d-3d image registration method with application to continuously guided endoscopy
CN111080778B (zh) 一种双目内窥镜软组织图像的在线三维重建方法
CN112766416B (zh) 一种消化内镜导航方法和系统
Phan et al. Optical flow-based structure-from-motion for the reconstruction of epithelial surfaces
US20220198693A1 (en) Image processing method, device and computer-readable storage medium
Sun et al. Surface reconstruction from tracked endoscopic video using the structure from motion approach
Su et al. Comparison of 3d surgical tool segmentation procedures with robot kinematics prior
Bao et al. Modeling of the movement of the endoscopy capsule inside gi tract based on the captured endoscopic images
Turan et al. A fully dense and globally consistent 3d map reconstruction approach for gi tract to enhance therapeutic relevance of the endoscopic capsule robot
Van der Stap et al. The use of the focus of expansion for automated steering of flexible endoscopes
Ben-Hamadou et al. Construction of extended 3D field of views of the internal bladder wall surface: A proof of concept
Bano et al. Image mosaicking
CN116993805A (zh) 面向手术规划辅助的术中剩余器官体积估计系统
Wei et al. A novel SLAM method for laparoscopic scene reconstruction with feature patch tracking
CN115018890A (zh) 一种三维模型配准方法及系统
Huang et al. Enhanced u-net tool segmentation using hybrid coordinate representations of endoscopic images
Quan et al. Med-3d: 3d reconstruction of medical images based on structure-from-motion via transfer learning
WO2024050918A1 (zh) 内窥镜定位方法、电子设备和非暂态计算机可读存储介质
Luo et al. A comparison of modified evolutionary computation algorithms with applications to three-dimensional endoscopic camera motion tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180529