CN112967330B - 一种结合SfM和双目匹配的内窥图像三维重建方法 - Google Patents

一种结合SfM和双目匹配的内窥图像三维重建方法 Download PDF

Info

Publication number
CN112967330B
CN112967330B CN202110305793.8A CN202110305793A CN112967330B CN 112967330 B CN112967330 B CN 112967330B CN 202110305793 A CN202110305793 A CN 202110305793A CN 112967330 B CN112967330 B CN 112967330B
Authority
CN
China
Prior art keywords
point cloud
sfm
binocular
binocular matching
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110305793.8A
Other languages
English (en)
Other versions
CN112967330A (zh
Inventor
周长江
王立强
杨青
袁波
余浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Zhejiang Lab
Original Assignee
Zhejiang University ZJU
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Zhejiang Lab filed Critical Zhejiang University ZJU
Priority to CN202110305793.8A priority Critical patent/CN112967330B/zh
Publication of CN112967330A publication Critical patent/CN112967330A/zh
Application granted granted Critical
Publication of CN112967330B publication Critical patent/CN112967330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种结合SfM(Structure from Motion)和双目匹配的内窥图像三维拼接方法,包括内窥镜左右视图序列获取,左视图或右视图序列SfM重建,双目匹配位点判断,双目匹配重建,点云预处理和SfM点云与双目匹配点云配准等步骤,本方法针对胃肠道场景的特点,在SfM三维重建点云框架的基础上,通过双目匹配点云的三维拼接,实现整个场景的快速稠密重建,重建结果保留了原有的特征和尺度信息,方便医生进行重点区域的观察和三维测量。

Description

一种结合SfM和双目匹配的内窥图像三维重建方法
技术领域
本发明涉及内窥镜技术领域,具体涉及一种结合SfM和双目匹配的内窥图像三维拼接方法。
背景技术
内窥镜能够帮助医生观察到胃肠道中的真实场景,在临床诊断和治疗上具有广泛的应用。然而传统内窥镜无法产生直观的三维形态信息,容易导致医生在手术过程中对重要的结构及其相对的位置判断不准,从而难以进行有效准确的操作,增加手术的时间和风险。
双目内窥镜能够提供三维信息,辅助医生进行深度感知。 如果在获取三维影像的同时能够对胃肠道器官进行三维重建,则可以大大缩短手术时间,减少手术风险从而提高手术效率和安全性。
双目匹配是常用的内窥镜三维重建方法,如专利CN110033465A提出的对器官表面图像进行分割后,利用SfS(Shape from Shading)进行三维重建;专利CN111508068A提出的基于改进匹配代价值的视差优化实现的双目内窥三维重建方法。它们都是对单个视场进行重建,视野的局限性影响医生的观察,容易造成误差。完整场景的重建需要通过点云配准技术。常用的点云配准方法ICP(Iterative Closest Point)计算量巨大,且过于依赖初始变换矩阵,容易造成局部最优解。
SfM和SLAM(Simultaneous localization and mapping)方法能通过相机的移动还原整个场景的三维结构。专利CN111145238A通过SLAM方法实现单目内窥镜的三维重建,但该方法属于稀疏重建,其稠密化也是基于特征点的处理,只能得到场景的轮廓,医生无法通过该重建对具体细节进行观察;且其丢失了尺度信息,医生无法进行三维测量。
发明内容
针对现有技术的不足,本发明提出了一种结合SfM和双目匹配的内窥图像三维拼接方法。本发明针对胃肠道图像的场景特点,结合了SfM和双目匹配的优点,实现内窥图像的三维重建。
本发明通过SfM进行快速稀疏三维重建,双目匹配结果以此为框架,进行全局配准和拼接,速度快准确率高;双目匹配点云只需少量重叠就可实现拼接,速度快且保留了胃器官的三维特征。
一种结合SfM和双目匹配的内窥图像三维拼接方法,该方法以SfM三维重建结果为骨架,填入双目匹配点云,快速完成整个胃或其他器官场景的稠密三维拼接,该方法具体包括如下步骤:
S1:内窥镜左右视图序列获取,即使用双目标定后的内窥镜相机拍摄目标获得左右视图序列;
S2:左视图或右视图序列SfM重建,即通过增量式SfM实现左视图序列的稀疏三维重建,并使用CMVS(Clustering Views for Multi-view Stereo)和PMVS(Patch-basedMulti-view Stereo)方法对稀疏结果进行稠密重建;
S3:双目匹配位点判断,即使用二维特征匹配方法计算左视图序列的图像重叠面积,并根据重叠面积确定双目匹配位点;
S4:双目匹配重建,即通过双目匹配算法生成视差图,并结合双目相机参数生成相应的点云;
S5:点云预处理,即对双目重建点云和SfM重建点云分别执行相应的预处理操作;
S6:SfM点云与双目匹配点云配准,将各双目匹配位点的点云分别与SfM重建点云进行全局配准,获得对应的变化矩阵,实现胃器官的三维拼接。
作为优选,所述的左视图或右视图SfM重建,具体为:
首先,对左视图或右视图序列进行两两SIFT特征点检测和匹配,用RANSAC算法过滤误匹配点;
然后,通过增量式运动恢复结构进行场景稀疏重建,通过捆绑调整不断优化场景结构;
最后,通过CMVS对图进行聚类,后利用PMVS在局部光度一致性和全局可见性约束下,经过匹配、扩散、过滤生成稠密点云。
作为优选,所述的点云预处理,具体为:
对双目匹配点云进行空洞填充和离群点剔除,首先使用半径式离群点剔除法,删除初始点云中固定半径的球体范围内邻域点稀疏的点,该处理会剔除误匹配点;
计算双目匹配点云和SfM点云值的范围,将SfM点云按双目匹配点云的尺度范围进行缩放,使二者在同一范围内。
作为优选,所述的SfM点云与双目匹配点云配准,具体为:
首先,将双目匹配点云和SfM点云进行体素降采样操作,设置voxel参数,删除点云的细节信息,只保留大致轮廓信息;
然后,通过RANSAC算法,让不同位点的双目重建点云分别与SfM点云进行全局配准,得到相应的变换矩阵;
最后,将未进行降采样的双目匹配点云根据相应的变换矩阵进行变换,实现双目匹配点云的三维拼接,实现整个目标的三维重建。
本发明通过双目匹配实现像素点级别的稠密三维重建,方便医生对重点区域细节的观察。重建结果保留了尺度信息,方便医生进行三维测量。
附图说明
图1是本发明实施例的结合SfM和双目匹配的内窥图像三维拼接方法的流程图;
图2是内窥图像SfM三维重建的结果;
图3是结合SfM与双目匹配点云后的内窥图像三维拼接结果。
具体实施方法
下面根据附图和优选实施例详细描述本发明,本发明的目的和效果将变得更加明白,应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明的结合SfM和双目匹配的内窥图像三维拼接方法 ,如图1所示,该方法具体包括如下步骤:
S1:内窥镜左右视图序列获取。
完成双目内窥镜系统的搭建,并对双目相机进行标定。 本实施例采用张正友棋盘格标定法计算双目相机内部参数和外部参数。使用棋盘格为9*6、方格边长为12mm的黑白棋盘格作为标定板,在双目内窥镜工作距离的范围内拍摄了15组不同位姿的标定板双目图像,利用OpenCV库对拍摄双目图像实现标定。
将胃模型放置在双目内窥镜工作距离范围内,并将双目内窥镜对准胃模型左边作为移动起点,通过内窥镜手柄控制双目内窥镜缓慢移动扫视胃模型,并以固定运动时间间隔拍摄胃模型获取左右图像序列,扫视胃模型全部区域后结束移动。本实施例拍摄的图像分辨率为1280*800。
S2:左视图或右视图序列SfM重建。
本实施例选取左视图序列进行SfM重建。在获取胃模型左右视图序列后,选取左视图序列,作为SfM三维重建的输入。
首先,对二维图进行两两SIFT特征点检测和匹配。用RANSAC算法过滤误匹配点。
然后,通过增量式运动恢复结构进行场景稀疏重建,通过捆绑调整不断优化场景结构。
最后,通过CMVS对左视图进行聚类,后利用PMVS在局部光度一致性和全局可见性约束下,经过匹配、扩散、过滤生成稠密点云。SfM重建的最终结果如图2所示。
S3:双目匹配位点判断。
首先,选取第一个位点p1为双目匹配位点。
然后,调用S2中后续位点序列上的每一张左视图与p1左视图的双目匹配结果。通过配对点,生成变换矩阵,并对p1左视图应用变换矩阵生成对后续位点的映射图像。
最后,计算两个左视图的重叠面积,若重叠面积小于25%,则该位点为下一个双目匹配位点,且后续位点左视图与该位点左视图进行匹配计算重叠面积。
S4:双目匹配重建,即通过SGBM(Semi-global Matching)进行双目匹配,得到各位点的点云。
本实施例使用SGBM算法对所有左右图像对进行双目匹配,获得与左视图对应的视差图结果,将视差值从小到大排列,前10%处值为阈值,即小于此视差值的空洞。对于空洞,计算其周围3*3矩阵的平均值作为其新的视差值。迭代上述操作。
根据双目相机参数由视差结果计算出每一点的深度值,生成各位点的深度图。根据在相机坐标系下的三维坐标将深度图转换为点云。
S5:点云预处理,即对双目匹配点云和SfM重建点云分别进行相应的预处理。
对双目匹配点云进行空洞填充和离群点剔除。首先使用半径式离群点剔除法,删除初始点云中固定半径的球体范围内邻域点稀疏的点。该处理会剔除误匹配点。
计算双目匹配点云和SfM点云值的范围,将SfM点云按双目匹配点云范围进行缩放,使点云在同一尺度范围内。
S6:SfM点云与双目匹配点云配准
首先,将双目匹配点云和SfM点云进行体素降采样操作,设置voxel 参数为5,去掉细节信息,使点云都只留下胃模型的大致轮廓信息。
然后,通过RANSAC算法,让双目匹配位点的点云分别与SfM点云进行全局配准,生成变换矩阵。
最后,将未进行降采样的双目匹配点云根据相应的变换矩阵进行变换,实现双目匹配点云的三维拼接,实现整个胃器官的三维重建。最终的三维拼接结果如图3所示。
本领域普通技术人员可以理解,以上所述仅为发明的优选实例而已,并不用于限制发明,尽管参照前述实例对发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实例记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内,所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (4)

1.一种结合SfM和双目匹配的内窥图像三维拼接方法,其特征在于,该方法以SfM三维重建结果为骨架,填入双目匹配点云,快速完成整个胃或其他器官场景的稠密三维拼接,该方法具体包括如下步骤:
S1:内窥镜左右视图序列获取,即使用双目标定后的内窥镜相机拍摄目标获得左右视图序列;
S2:左视图或右视图序列SfM重建,即通过增量式SfM实现左视图或右视图序列的稀疏三维重建,并使用CMVS和PMVS方法对稀疏结果进行稠密重建;
S3:双目匹配位点判断,即使用二维特征匹配方法计算左视图序列的图像重叠面积,并根据重叠面积确定双目匹配位点;
S4:双目匹配重建,即通过双目匹配算法生成视差图,并结合双目相机参数生成相应的点云;
S5:点云预处理,即对双目重建点云和SfM重建点云分别执行相应的预处理操作;
S6:SfM点云与双目匹配点云配准,将各双目匹配位点的点云分别与SfM重建点云进行全局配准,获得对应的变化矩阵,实现胃器官的三维拼接。
2.根据权利要求1所述的一种结合SfM和双目匹配的内窥图像三维拼接方法,其特征在于,所述的左视图或右视图SfM重建,具体为:
首先,对左视图或右视图序列进行两两SIFT特征点检测和匹配,用RANSAC算法过滤误匹配点;
然后,通过增量式运动恢复结构进行场景稀疏重建,通过捆绑调整不断优化场景结构;
最后,通过CMVS对图进行聚类,后利用PMVS在局部光度一致性和全局可见性约束下,经过匹配、扩散、过滤生成稠密点云。
3.根据权利要求1所述的一种结合SfM和双目匹配的内窥图像三维拼接方法,其特征在于,所述的点云预处理,具体为:
对双目匹配点云进行空洞填充和离群点剔除,首先使用半径式离群点剔除法,删除初始点云中固定半径的球体范围内邻域点稀疏的点,该处理会剔除误匹配点;
计算双目匹配点云和SfM点云值的范围,将SfM点云按双目匹配点云的尺度范围进行缩放,使二者在同一范围内。
4.根据权利要求1所述的一种结合SfM和双目匹配的内窥图像三维拼接方法,其特征在于,所述的SfM点云与双目匹配点云配准,具体为:
首先,将双目匹配点云和SfM点云进行体素降采样操作,设置voxel参数,删除点云的细节信息,只保留轮廓信息;
然后,通过RANSAC算法,让不同位点的双目重建点云分别与SfM点云进行全局配准,得到相应的变换矩阵;
最后,将未进行降采样的双目匹配点云根据相应的变换矩阵进行变换,实现双目匹配点云的三维拼接,实现整个目标的三维重建。
CN202110305793.8A 2021-03-23 2021-03-23 一种结合SfM和双目匹配的内窥图像三维重建方法 Active CN112967330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110305793.8A CN112967330B (zh) 2021-03-23 2021-03-23 一种结合SfM和双目匹配的内窥图像三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110305793.8A CN112967330B (zh) 2021-03-23 2021-03-23 一种结合SfM和双目匹配的内窥图像三维重建方法

Publications (2)

Publication Number Publication Date
CN112967330A CN112967330A (zh) 2021-06-15
CN112967330B true CN112967330B (zh) 2022-08-09

Family

ID=76278069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110305793.8A Active CN112967330B (zh) 2021-03-23 2021-03-23 一种结合SfM和双目匹配的内窥图像三维重建方法

Country Status (1)

Country Link
CN (1) CN112967330B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445633B (zh) * 2022-01-25 2024-09-06 腾讯科技(深圳)有限公司 图像处理方法、装置和计算机可读存储介质
CN115375772B (zh) * 2022-08-10 2024-01-19 北京英智数联科技有限公司 相机标定方法、装置、设备及存储介质
CN115919461B (zh) * 2022-12-12 2023-08-08 之江实验室 一种基于slam的手术导航方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107170042A (zh) * 2017-06-19 2017-09-15 电子科技大学 一种无序图像的多视立体匹配的三维重建方法
CN111105493A (zh) * 2019-12-04 2020-05-05 东南大学 基于多视角立体视觉的人体手部三维采集方法
US10682108B1 (en) * 2019-07-16 2020-06-16 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for three-dimensional (3D) reconstruction of colonoscopic surfaces for determining missing regions
CN111815757A (zh) * 2019-06-29 2020-10-23 浙江大学山东工业技术研究院 基于图像序列的大型构件三维重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017027638A1 (en) * 2015-08-10 2017-02-16 The Board Of Trustees Of The Leland Stanford Junior University 3d reconstruction and registration of endoscopic data
US10733745B2 (en) * 2019-01-07 2020-08-04 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for deriving a three-dimensional (3D) textured surface from endoscopic video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107170042A (zh) * 2017-06-19 2017-09-15 电子科技大学 一种无序图像的多视立体匹配的三维重建方法
CN111815757A (zh) * 2019-06-29 2020-10-23 浙江大学山东工业技术研究院 基于图像序列的大型构件三维重建方法
US10682108B1 (en) * 2019-07-16 2020-06-16 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for three-dimensional (3D) reconstruction of colonoscopic surfaces for determining missing regions
CN111105493A (zh) * 2019-12-04 2020-05-05 东南大学 基于多视角立体视觉的人体手部三维采集方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
3D RECONSTRUCTION OF WHOLE STOMACH FROM ENDOSCOPE VIDEO USING STRUCTURE-FROM-MOTION;Aji Resindra Widya等;《IEEE Engineering in Medicine and Biology Society Conference Proceedings》;20200910;全文 *
A Method to Introduce & Evaluate Motion Parallax with Stereo for Medical AR/MR;Megha Kalia等;《2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)》;20190815;全文 *
基于双目视觉和IMU的SLAM算法研究与实现;郎世兵;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑2021年第02期》;20210215;全文 *

Also Published As

Publication number Publication date
CN112967330A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN112967330B (zh) 一种结合SfM和双目匹配的内窥图像三维重建方法
Farahani et al. Three-dimensional imaging and scanning: current and future applications for pathology
CN106289106B (zh) 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法
CN111563921B (zh) 一种基于双目相机的水下点云获取方法
CN110033465A (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
CN110246186A (zh) 一种自动化三维彩色成像与测量方法
CN107610215B (zh) 一种高精度多角度口腔三维数字成像模型构建方法
CN112002010B (zh) 基于线激光扫描的损伤皮肤重建方法及重建系统
CN110243307A (zh) 一种自动化三维彩色成像与测量系统
CN111429500B (zh) 轴向扫描光场数据的重建与拼接方法及装置
CN106981090B (zh) 一种管内步进单向光束扫描断层图像的三维重建方法
CN111127613B (zh) 基于扫描电子显微镜的图像序列三维重构方法及系统
CN111060006A (zh) 一种基于三维模型的视点规划方法
CN110230979A (zh) 一种立体标靶及其三维彩色数字化系统标定方法
CN110675436A (zh) 基于3d特征点的激光雷达与立体视觉配准方法
CN101909165A (zh) 一种基于混合测度的视频数据宽景成像方法
CN113160335A (zh) 一种基于双目视觉的模型点云及三维表面重建方法
Peng et al. Binocular-vision-based structure from motion for 3-D reconstruction of plants
CN107204045A (zh) 基于ct图像的虚拟内窥镜系统
CN112261399A (zh) 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质
CN104732586B (zh) 一种三维人体动态形体和三维运动光流快速重建方法
CN112862687B (zh) 一种基于二维特征点的双目内窥图像三维拼接方法
Liu et al. Research on 3D reconstruction method based on laser rotation scanning
CN113808019A (zh) 一种非接触测量系统及方法
CN112525106B (zh) 基于三相机协同激光的3d探测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant