CN111861874A - 一种稠密化单目slam特征点地图的方法 - Google Patents

一种稠密化单目slam特征点地图的方法 Download PDF

Info

Publication number
CN111861874A
CN111861874A CN202010713182.2A CN202010713182A CN111861874A CN 111861874 A CN111861874 A CN 111861874A CN 202010713182 A CN202010713182 A CN 202010713182A CN 111861874 A CN111861874 A CN 111861874A
Authority
CN
China
Prior art keywords
triangle
point
points
dimensional image
key frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010713182.2A
Other languages
English (en)
Other versions
CN111861874B (zh
Inventor
郁树梅
郭文康
孙荣川
干旻峰
孙立宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
First Affiliated Hospital of Suzhou University
Original Assignee
Suzhou University
First Affiliated Hospital of Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University, First Affiliated Hospital of Suzhou University filed Critical Suzhou University
Priority to CN202010713182.2A priority Critical patent/CN111861874B/zh
Publication of CN111861874A publication Critical patent/CN111861874A/zh
Application granted granted Critical
Publication of CN111861874B publication Critical patent/CN111861874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种稠密化单目SLAM特征点地图方法，其特征在于，包括以下步骤：S1、对每帧关键帧中的特征点进行Delaunay三角剖分,获得三角剖分后的关键帧；S2、将所述三角剖分后的关键帧投影至三维空间，获得三角剖分后的关键帧在空间坐标系下的坐标，构建关键帧的三维图像；S3、设置所述三角剖分的三角形边长阈值，滤除三维图像中的异常点，获得优化后的三维图像；S4、对所述优化后的三维图像中的每个三角形进行均匀补点，获得稠密化的单目SLAM特征点地图。其能够实现手术机器人精准导航。

Description

一种稠密化单目SLAM特征点地图的方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种稠密化单目SLAM特征点地图方法。
背景技术
SLAM(Simultaneous Localization And Mapping)技术的发展使其成为内窥镜场景重建的一种新的解决方案。SLAM是移动机器人领域中机器人在未知区域进行定位和同步地图构建，以视觉传感器为主体的视觉的SLAM按传感器分类主要分为：单目、双目和RGB-D。双目相机和RGB-D相机由于体积的限制无法在人体肠道内灵活运动，因此对肠道进行地图构建只能使用携带单目相机的内窥镜。单目SLAM可快速对相机进行跟踪，但所构建的地图是稀疏的特征点地图，稀疏的特征点地图只可以用来定位，无法用于手术机器人的导航。
发明内容
本发明要解决的技术问题是提供一种密化单目SLAM特征点地图方法，其能够实现手术机器人精准导航。
为了解决上述技术问题，本发明提供了一种稠密化单目SLAM特征点地图方法，包括以下步骤：
S1、对每帧关键帧中的特征点进行Delaunay三角剖分,获得三角剖分后的关键帧；
S2、将所述三角剖分后的关键帧投影至三维空间，获得三角剖分后的关键帧在空间坐标系下的坐标，构建关键帧的三维图像；
S3、设置所述三角剖分的三角形边长阈值，滤除三维图像中的异常点，获得优化后的三维图像；
S4、对所述优化后的三维图像中的每个三角形进行均匀补点，获得稠密化的单目SLAM特征点地图。
作为优选的，所述S1中的关键帧为单目SLAM运行过程中挑选出的关键帧。
作为优选的，所述S1中，Delaunay三角剖分是在关键帧的像素平面上做二维三角剖分。
作为优选的，所述S2中的投影关系是单目SLAM建图过程中所保存的关键帧中的特征点和所有地图点的索引关系。
作为优选的，所述步骤3中，所设置的边长阀值为所构建地图最大尺寸的1/50。
作为优选的，所述S3中滤除三维图像中的异常点，获得优化后的三维图像，具体包括：
当所述三维图像中的三角形的最短边长大于边长阈值，则该三角形的三个顶点坐标为异常点；
遍历所述三维图像中的所有三角形，去除异常点，获得优化后的三维图像。
作为优选的，所述S4中的补点是按关键帧的顺序对其中每个三角形内进行补点，所述每个三角形进行均匀补点具体包括：
S41、设置步长，所述步长根据稠密化程度的要求进行调整；
S42、选取三角形的最短边，将最短的边长除以步长并向上取整，得到将三角形另外两条边分割的段数m；
S43、根据分隔的段数m依次对三角形的两条长边分别进行补点，
令三角形的三个顶点为A点、B点和C点，A点坐标为(xa,ya,za)，B点坐标为(xb,yb,zb)，C点坐标为(xc,yc,zc)，三角形的最短边为BC；
在AB边上的补点D为(xab,yab,zab)＝(i/m)(xa,ya,za)+((m-i)/m)(xb,yb,zb)，
在AC边上的补点E为(xac,yac,zac)＝(i/m)(xa,ya,za)+((m-i)/m)(xc,yc,zc)；
S44、对补点D与补点E所在线段DE进行补点，线段DE长度除以步长并向上取整，获得线段DE分割的段数n；
线段DE上均匀补点为(xde,yde,zde)＝(k/n)(xab,yab,zab)+((n-k)/n)(xac,yac,zac)，
每在线段DE上补完一个点后，令k＝k+1，重复本步骤，直至k＝n-1，完成DE两点之间所有补点，其中，k为从1到n-1的整数；
S45、重复S43和S44，每次执行一次，令i＝i+1，直至i＝m-1时，完成线段AB、线段AC及线段DE完成所有补点，其中，i为从1到m-1的整数。
一种slam导航方法，包括上述的稠密化单目SLAM特征点地图方法。
一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的方法。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述存储器执行所述程序时实现上述方法的步骤。
本发明的有益效果：
本发明使用从像素平面进行二维三角剖分再投影到三维空间中的三角剖分方法，准确的将肠道表面进行三维的三角剖分，同时在三角形补点前滤除了异常点，稠密化之前设置步长使得稠密化的点十分均匀，且可以根据实际要求调整稠密化点的稀疏程度，本发明可实现手术机器人精准导航。
附图说明
图1为本发明实施例一的方法流程图。
图2为对一帧关键帧进行的Delaunay三角剖分。
图3为图2三角形投影到三维空间中。
图4为在一个三角形内的均匀补点。
图5对对所有三角形内补点并去除异常点的结果。
图6为对所有三角形内补点未去除异常点的结果。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
参照图1所示，本发明公开了稠密化单目SLAM特征点地图方法，包括以下步骤：
S1、对每帧关键帧中的特征点进行Delaunay三角剖分,获得三角剖分后的关键帧。
如图2所示，为第一帧关键帧中的特征点在像素平面上进行的Delaunay三角剖分。
本步骤中的关键帧为单目SLAM运行过程中挑选出的关键帧，而Delaunay三角剖分是在关键帧的像素平面上做二维三角剖分。
S2、将所述三角剖分后的关键帧投影至三维空间，获得三角剖分后的关键帧在空间坐标系下的坐标，构建关键帧的三维图像。
如图3所示，为将图2的第一帧关键帧在平面上剖分出的三角形按特征点和地图点的索引关系投影到三维空间中。
本步骤中，投影关系是单目SLAM建图过程中所保存的关键帧中的特征点和所有地图点的索引关系。
S3、设置所述三角剖分的三角形边长阈值，滤除三维图像中的异常点，获得优化后的三维图像。
本步骤中，所设置的边长阀值为所构建地图最大尺寸的1/50。
而“滤除三维图像中的异常点，获得优化后的三维图像”，具体包括：
当所述三维图像中的三角形的最短边长大于边长阈值，则该三角形的三个顶点坐标为异常点；
遍历所述三维图像中的所有三角形，去除异常点，获得优化后的三维图像。
S4、对所述优化后的三维图像中的每个三角形进行均匀补点，获得稠密化的单目SLAM特征点地图。
如图4所示，为在一个三角形内的均匀补点。
本步骤中的补点是按关键帧的顺序对其中每个三角形内进行补点，所述每个三角形进行均匀补点具体包括：
S41、设置步长，所述步长根据稠密化程度的要求进行调整；
S42、选取三角形的最短边，将最短的边长除以步长并取整，得到将三角形另外两条边分割的段数m；
S43、根据分隔的段数m依次对三角形的两条长边分别进行补点，
令三角形的三个顶点为A点、B点和C点，A点坐标为(xa,ya,za)，B点坐标为(xb,yb,zb)，C点坐标为(xc,yc,zc)，三角形的最短边为BC；
在AB边上的补点D为(xab,yab,zab)＝(i/m)(xa,ya,za)+((m-i)/m)(xb,yb,zb)，
在AC边上的补点E为(xac,yac,zac)＝(i/m)(xa,ya,za)+((m-i)/m)(xc,yc,zc)；
S44、对补点D与补点E所在线段DE进行补点，线段DE长度除以步长并取整，获得线段DE分割的段数n；
线段DE上均匀补点为(xde,yde,zde)＝(k/n)(xab,yab,zab)+((n-k)/n)(xac,yac,zac)，
每在线段DE上补完一个点后，令k＝k+1，重复本步骤，直至k＝n-1，完成DE两点之间所有补点，其中，k为从1到n-1的整数；
S45、重复S43和S44，每次执行一次，令i＝i+1，直至i＝m-1时，完成线段AB、线段AC及线段DE完成所有补点，其中，i为从1到m-1的整数。
如图5所示，为所有三角形内补点并去除异常点的结果。共有634069个点，未补点之前的稀疏特征点地图只有5048个点，稠密化之后点的数目约为稠密化前的125倍。
如图6所示，为对所有三角形内补点未去除异常点的结果，从图中右上角的椭圆形圈内可以看出，存在大量的异常点。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种稠密化单目SLAM特征点地图方法，其特征在于，包括以下步骤：
S1、对每帧关键帧中的特征点进行Delaunay三角剖分,获得三角剖分后的关键帧；
S2、将所述三角剖分后的关键帧投影至三维空间，获得三角剖分后的关键帧在空间坐标系下的坐标，构建关键帧的三维图像；
S3、设置所述三角剖分的三角形边长阈值，滤除三维图像中的异常点，获得优化后的三维图像；
S4、对所述优化后的三维图像中的每个三角形进行均匀补点，获得稠密化的单目SLAM特征点地图。
2.如权利要求1所述的稠密化单目SLAM特征点地图方法，其特征在于，所述S1中的关键帧为单目SLAM运行过程中挑选出的关键帧。
3.如权利要求1所述的稠密化单目SLAM特征点地图方法，其特征在于，所述S1中，Delaunay三角剖分是在关键帧的像素平面上做二维三角剖分。
4.如权利要求1所述的稠密化单目SLAM特征点地图方法，其特征在于，所述S2中的投影关系是单目SLAM建图过程中所保存的关键帧中的特征点和所有地图点的索引关系。
5.如权利要求1所述的稠密化单目SLAM特征点地图方法，其特征在于，所述步骤3中，所设置的边长阀值为所构建地图最大尺寸的1/50。
6.如权利要求1所述的稠密化单目SLAM特征点地图方法，其特征在于，所述S3中滤除三维图像中的异常点，获得优化后的三维图像，具体包括：
当所述三维图像中的三角形的最短边长大于边长阈值，则该三角形的三个顶点坐标为异常点；
遍历所述三维图像中的所有三角形，去除异常点，获得优化后的三维图像。
7.如权利要求1所述的稠密化单目SLAM特征点地图方法，其特征在于，所述S4中的补点是按关键帧的顺序对其中每个三角形内进行补点，所述每个三角形进行均匀补点具体包括：
S41、设置步长，所述步长根据稠密化程度的要求进行调整；
S42、选取三角形的最短边，将最短的边长除以步长并取整，得到将三角形另外两条边分割的段数m；
S43、根据分隔的段数m依次对三角形的两条长边分别进行补点，
令三角形的三个顶点为A点、B点和C点，A点坐标为(xa,ya,za)，B点坐标为(xb,yb,zb)，C点坐标为(xc,yc,zc)，三角形的最短边为BC；
在AB边上的补点D为(xab,yab,zab)＝(i/m)(xa,ya,za)+((m-i)/m)(xb,yb,zb)，
在AC边上的补点E为(xac,yac,zac)＝(i/m)(xa,ya,za)+((m-i)/m)(xc,yc,zc)；
S44、对补点D与补点E所在线段DE进行补点，线段DE长度除以步长并取整，获得线段DE分割的段数n；
线段DE上均匀补点为(xde,yde,zde)＝(k/n)(xab,yab,zab)+((n-k)/n)(xac,yac,zac)，
每在线段DE上补完一个点后，令k＝k+1，重复本步骤，直至k＝n-1，完成DE两点之间所有补点，其中，k为从1到n-1的整数；
S45、重复S43和S44，每次执行一次，令i＝i+1，直至i＝m-1时，完成线段AB、线段AC及线段DE完成所有补点，其中，i为从1到m-1的整数。
8.一种slam导航方法，其特征在于，包括权利要求1-7任一项所述的稠密化单目SLAM特征点地图方法。
9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7任一项所述的方法。
10.一种手术机器人，其特征在于，使用权利要求1-7任一项所述的稠密化单目SLAM特征点地图方法导航。
CN202010713182.2A 2020-07-22 2020-07-22 一种稠密化单目slam特征点地图的方法 Active CN111861874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010713182.2A CN111861874B (zh) 2020-07-22 2020-07-22 一种稠密化单目slam特征点地图的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010713182.2A CN111861874B (zh) 2020-07-22 2020-07-22 一种稠密化单目slam特征点地图的方法

Publications (2)

Publication Number Publication Date
CN111861874A true CN111861874A (zh) 2020-10-30
CN111861874B CN111861874B (zh) 2023-07-11

Family

ID=72949287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010713182.2A Active CN111861874B (zh) 2020-07-22 2020-07-22 一种稠密化单目slam特征点地图的方法

Country Status (1)

Country Link
CN (1) CN111861874B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113203407A (zh) * 2021-05-20 2021-08-03 南昌大学 基于关键平面的视觉惯性里程计方法
CN114119891A (zh) * 2021-11-26 2022-03-01 江苏科技大学 一种机器人单目半稠密地图三维重建方法和重建系统
WO2022179690A1 (en) * 2021-02-25 2022-09-01 Telefonaktiebolaget Lm Ericsson (Publ) Map processing device and method thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279989A (zh) * 2013-05-30 2013-09-04 北京航天控制仪器研究所 一种三维激光成像系统平面点云数据三角化处理方法
WO2013188885A1 (en) * 2012-06-15 2013-12-19 Oregon Health & Science University Non-invasive 3d imaging and measuring of anterior chamber angle of the eye
CN103985155A (zh) * 2014-05-14 2014-08-13 北京理工大学 基于映射法的散乱点云Delaunay三角剖分曲面重构方法
CN107945191A (zh) * 2016-10-11 2018-04-20 中国测绘科学研究院 一种随机点群目标外轮廓提取及目标简化方法
CN110544294A (zh) * 2019-07-16 2019-12-06 深圳进化动力数码科技有限公司 一种基于全景视频的稠密三维重构方法
CN111340947A (zh) * 2020-03-13 2020-06-26 华润电力技术研究院有限公司 一种煤场物料的三维模型的建立方法、装置、设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013188885A1 (en) * 2012-06-15 2013-12-19 Oregon Health & Science University Non-invasive 3d imaging and measuring of anterior chamber angle of the eye
CN103279989A (zh) * 2013-05-30 2013-09-04 北京航天控制仪器研究所 一种三维激光成像系统平面点云数据三角化处理方法
CN103985155A (zh) * 2014-05-14 2014-08-13 北京理工大学 基于映射法的散乱点云Delaunay三角剖分曲面重构方法
CN107945191A (zh) * 2016-10-11 2018-04-20 中国测绘科学研究院 一种随机点群目标外轮廓提取及目标简化方法
CN110544294A (zh) * 2019-07-16 2019-12-06 深圳进化动力数码科技有限公司 一种基于全景视频的稠密三维重构方法
CN111340947A (zh) * 2020-03-13 2020-06-26 华润电力技术研究院有限公司 一种煤场物料的三维模型的建立方法、装置、设备及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022179690A1 (en) * 2021-02-25 2022-09-01 Telefonaktiebolaget Lm Ericsson (Publ) Map processing device and method thereof
CN113203407A (zh) * 2021-05-20 2021-08-03 南昌大学 基于关键平面的视觉惯性里程计方法
CN113203407B (zh) * 2021-05-20 2024-01-02 南昌大学 基于关键平面的视觉惯性里程计方法
CN114119891A (zh) * 2021-11-26 2022-03-01 江苏科技大学 一种机器人单目半稠密地图三维重建方法和重建系统

Also Published As

Publication number Publication date
CN111861874B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
CN111861874B (zh) 一种稠密化单目slam特征点地图的方法
CN110033465B (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
CN107945220B (zh) 一种基于双目视觉的重建方法
US20110235897A1 (en) Device and process for three-dimensional localization and pose estimation using stereo image, and computer-readable storage medium storing the program thereof
US20170270644A1 (en) Depth image Denoising Method and Denoising Apparatus
CN103948361B (zh) 无标志点的内窥镜定位跟踪方法和系统
CN101923713A (zh) 一种提取冠状动脉血管中心线的方法
TW201922163A (zh) 用於分析皮膚狀況的系統和方法
EP3166082A1 (en) Rendering expanded lumen image
CN107895349B (zh) 一种基于合成的内窥镜视频去模糊方法
CN105005964A (zh) 基于视频序列影像的地理场景全景图快速生成方法
US9607383B2 (en) Method for recording individual three-dimensional optical images of a dental object
CN110852979A (zh) 一种基于相位信息匹配的点云配准及融合方法
CN106236264A (zh) 基于光学跟踪和图像匹配的胃肠手术导航方法及系统
CN108564604B (zh) 基于平面约束和三角剖分的双目视觉立体匹配方法及装置
CN112509055A (zh) 基于双目视觉和编码结构光相结合的穴位定位系统及方法
CN110096999B (zh) 棋盘识别方法、棋盘识别装置、电子设备和可存储介质
JP2002525746A (ja) ３次元空間における２つの表面のコンピュータモデルを結合する方法
CN111862120B (zh) 一种单目slam尺度恢复的方法
CN109300154A (zh) 一种基于双目立体的测距方法及装置
JP2004028811A (ja) 監視システムの距離補正装置および距離補正方法
CN116429087A (zh) 一种适应于动态环境的视觉slam方法
CN111179210A (zh) 一种人脸的纹理贴图生成方法、系统及电子设备
JP2007275258A (ja) 画像表示装置
CN113888614B (zh) 深度恢复方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant