CN109993747A - 融合点线特征的快速图像匹配方法 - Google Patents

融合点线特征的快速图像匹配方法 Download PDF

Info

Publication number
CN109993747A
CN109993747A CN201910221164.XA CN201910221164A CN109993747A CN 109993747 A CN109993747 A CN 109993747A CN 201910221164 A CN201910221164 A CN 201910221164A CN 109993747 A CN109993747 A CN 109993747A
Authority
CN
China
Prior art keywords
point
image
feature
line
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910221164.XA
Other languages
English (en)
Inventor
王永雄
张震
严龙
何壮壮
罗顺心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910221164.XA priority Critical patent/CN109993747A/zh
Publication of CN109993747A publication Critical patent/CN109993747A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于点线特征融合的快速图像匹配方法,解决视觉SLAM中在低纹理场景等特征缺失的问题。首先对两帧有视差的图像进行预处理,提取图像中的ORB特征点和Edline线特征,并设置长度阈值参数来获得精确的线特征;然后利用已知的深度信息,将获得的2D图像线段和点反投影至3D空间,将点和线段之间建立联系,从而剔除异常值;最后分别构造点特征描述符和线特征描述符进行相关匹配。通过引入线特征,解决了在低纹理场景中点特征缺失的问题,以及引入两条匹配线特征角度阈值和线段重叠长度阈值参数,大幅度减少计算时间成本,解决了在低纹理环境中无法提取到具有代表性的环境特征。

Description

融合点线特征的快速图像匹配方法
技术领域
本发明涉及一种图像处理技术,特别涉及一种融合点线特征的快速图像匹配方法。
背景技术
随着移动机器人和计算机技术的发展,基于视觉传感器的SLAM(SimultaneousLocalization and Mapping同时定位与建图)技术受到越来越多的研究者们的关注。视觉SLAM利用视觉传感器可以获取到丰富的环境信息,用来解决相机的定位以及周围环境地图的构建。在现今许多行业均能看到其身影,如工业搬运机器人、旅游业中的导航机器人、以及生活当中家庭清洁机器人等等,包括如今的自动驾驶领域,可以使用SLAM技术做汽车最后的自动泊车功能,以视觉,超声波等传感器,应用SLAM技术使汽车自动构建当前环境地图,自动进行寻找停车位进行停车,在VR/AR领域,利用视觉传感器获取的图像数据,通过对图像数据之间的处理以及渲染,构建出三维空间感,让使用者身临其境一般。在对未知领域的探索,便需要机器人携带视觉等传感器,自动在环境中定位以及构建周围的环境信息,以方便人们的作业。由此可见,视觉SLAM技术体现在人类生活的方方面面,对人们的生活具有重大影响。
图像匹配是对于视觉SLAM中重要的一环,其匹配结果的精度直接影响前端定位和建图的精度,目前常用的特征点是使用ORB特征点,能够实时的运行场景之中,并能够精确地进行定位和构建稀疏地图。现有技术在视觉SLAM中,当相机遇到低纹理,如走道等场景中时,特征点缺失,无法得到有效的图像匹配对,从而无法获得相机精确的定位以及准确的环境地图。
发明内容
本发明是针对相机在低纹理环境中无法得到有效的图像匹配的问题,提出了一种融合点线特征的快速图像匹配方法,通过相机获得的具有视差的两幅图像,首先对其预处理,分别提取图像中的ORB特征点和Edline线特征,利用相机所获得的深度信息,将提取的点和线特征反投影至3D空间中,并将点和线特征之间建立联系,将投影后的点特征到线段距离小于某一阈值以及在线段上时,则保留,否则剔除,从而减少计算时间,并分别构造描述符进行图像匹配。
本发明的技术方案为:一种融合点线特征的快速图像匹配方法,通过视觉传感器获取具有视差的两幅匹配图像,首先对两幅图像进行预处理,利用高斯滤波进行平滑处理;再对预处理后的两幅图像进行ORB特征点的提取和Edline线特征的提取;将提取的点特征和线特征利用相机获得的深度信息反投影至3D空间中,将点特征和线特征建立联系,通过设置阈值参数,采样的3D线检测方法,如点到线之间的距离大于设定的阈值,则判定为异常的点和线特征,进行剔除;最后对两幅图中的线特征构建描述符进行图像匹配。
所述ORB特征点的提取:对平滑处理后的图像进行构造图像金字塔,在不同尺度上提取FAST检测子,同时引入图像的灰度质心,解决检测子的旋转不变性和尺度不变性。
所述ORB特征点的提取具体实现步骤:首先使用FAST检测子:根据图像的区域灰度信息,引入图像区域块,并确定图像区域块质心位置,以图像区域块中任意一点为圆心,半径为3个像素,划分圆区域,在圆区域进行FAST检测子检测,满足下面条件则判断该点为FAST检测子;
判定方法:当作为中心点的该点周围圆周上有9或12个连续点位置的像素与该点像素差大于某一阈值εd时,则定义为检测子N,即:
I(p)为中心点像素值,I(X)为以中心点划分圆圆周上点像素值;
同时为使该检测子具有旋转不变性,引入图像区域块质心作为该检测子的方向;即:
其中C为当前点特征区域块的质心位置;mpq为点特征所属区域块,I(x,y)为图像该点灰度值;x、y分别为图像点坐标值;p和q代表图像中特征点点领域的p+q阶矩;m10/m00则代表图像像素在x方向上的偏重,也即为质心的x坐标;m01/m00则代表图像像素在y方向上的偏重,也即为质心的y坐标;
以此进行FAST检测子检测,直到检测出图像中所有检测子,检测到的检测子即为图像中特征点。
所述Edline线特征的提取:首先对图像进行平滑处理,再利用边缘绘制,计算图像的梯度大小和方向,采用现有的梯度算子,并定义图像梯度最大值所对应点为锚点,通过连接锚点以形成边缘,最后采用最小二乘线拟合对所对应的像素点进行拟合得出线特征。
本发明的有益效果在于:本发明融合点线特征的快速图像匹配方法,不仅在常规场景下能够获得很好的图像匹配,在低纹理场景下,依然能够得到足够的有效匹配对,实现相机的精确定位和地图构建。与其他的点线融合方法不同,采用了ORB特征点和Edline线特征,并通过深度信息反投影将在一条线上的点和线建立联系或者将点和线之间的距离小于某一阈值来建立联系,剔除异常点,大大减少运算量,改善了在低纹理环境下的图像匹配效果。
附图说明
图1为本发明融合点线特征的快速图像匹配算法的流程图;
图2为本发明反投影点线之间的关系图。
具体实施方式
融合点线特征的快速图像匹配方法:提取需要匹配的两幅图像,对其预处理,再分别进行ORB特征点的提取和Edline线特征的提取,将提取的点线特征反投影至3D空间检测,最后进行点线匹配和判定,得到匹配结果。如图1所示流程图,具体步骤如下:
第一步:利用视觉传感器获取到图像帧后,为了提高图像清晰度,首先进行预处理,使用高斯滤波进行去噪处理,得到平滑的图像帧。为了使提取到的图像特征点具有尺度不变性,对平滑处理后的图像进行构造图像金字塔,在不同层次金字塔上进行提取ORB特征点。即在不同尺度上提取FAST检测子,同时引入图像的灰度质心,解决检测子的旋转不变性和尺度不变性。
具体实现如下:
首先使用FAST检测子。根据图像的区域灰度信息,引入图像区域块,并确定图像区域块质心位置,以图像区域块中任意一点为圆心,半径为3个像素,划分圆区域,在圆区域进行FAST检测子检测,满足下面条件则判断该点为FAST检测子。判定方法:当作为中心点的该点周围圆周上有9或12个连续点位置的像素与该点像素差大于某一阈值εd时,则定义为检测子N,即:
I(p)为中心点像素值,I(X)为以中心点划分圆圆周上点像素值。
同时为使该检测子具有旋转不变性,引入图像区域块质心作为该检测子的方向。即:
其中C为当前点特征区域块的质心位置;mpq为点特征的区域块,I(x,y)为图像该点灰度值;x、y分别为图像点坐标值;p和q代表图像中特征点点领域的p+q阶矩;m10/m00则代表图像像素在x方向上的偏重,也即为质心的x坐标;m01/m00则代表图像像素在y方向上的偏重,也即为质心的y坐标。
以此进行检测到的FAST检测子,便为检测到的图像中特征点。
第二步:对经过预处理后得到平滑的图像帧进行线段的提取,首先进行边缘绘制,计算图像像素的水平和垂直两个方向的梯度大小,并将梯度图进行阈值化,消除弱像素,同时通过比较水平边缘和垂直边缘相邻的像素梯度值大小来定义锚点,取梯度值较大的为锚点,连接锚点以形成边缘。通过设置阈值以及不同的扫描间隔来调整锚点的数量。通过计算的梯度幅度和边缘方向确定锚点的连接走向。若水平边缘通过锚点,则向左和右边连接移动;若垂直边缘通过锚点,则将开始上下移动连接过程。在移动过程中,只有三个紧邻的点被考虑,最大梯度值的便会被选中;当检测到边缘像素便停止,以此来连接锚点构建边缘。最后利用最小二乘线拟合的方法对锚点像素进行拟合,直到点到线之间的距离误差超过某个阈值(如一个像素的误差)便生成新的线段,然后通过递归处理锚点的剩余像素。
具体分以下几个步骤:
1.首先对图像进行高斯滤波,去除噪声,使图像平滑;
2.然后计算图像的梯度大小和方向,可以采用任意现有的梯度算子,如sobel算子等,计算水平和垂直两个方向的梯度Gx和Gy,然后计算某一像素点上的总梯度大小为:与梯度大小图一样,边缘方向图通过比较在每个像素的水平和垂直的梯度,如果水平梯度比较大,即|Gx|>|Gy|,则认为垂直边缘通过该像素点,反之则是水平边缘通过该像素点。使用两个方向梯度是足够有效的,增加梯度角度的数量,同时也会增加计算成本,并不会改善锚点链接的过程;
3.计算可能是边缘因素的一系列像素,这些像素与图像梯度最大值相对应的点,称为锚点,也就是梯度图的峰值;
4.连接这些锚点并形成边缘,线段检测算法不是测试边缘区域内单个像素点作为边缘,而是通过连接这些锚点形成边缘。
为了剔除非边缘像素并加快计算速度,对梯度图进行阈值化,消除“弱”像素。锚定义为梯度图的一个顶点,因此只需要将像素的梯度值与其相邻进行比较,对于水平边缘,比较上下;对于垂直边缘,则比较左右邻居,如果像素的梯度值大于其相邻值,此像素标记为锚。通过设置阈值,来调整锚的数量,并且以不同的扫描间隔检测锚点,如每行/列,每两行/列等,同理锚点数量的改变将直接影响边缘细节的描述。最后通过连接锚点来绘制边缘,根据所计算的梯度幅度和边缘方向确定锚点的连接走向。从锚点开始,查看通过锚的边缘方向,如果水平边缘通过锚点,则向左和右边连接移动;若垂直边缘通过锚点,则将开始上下移动连接过程。在移动过程中,只有三个紧邻的点被考虑,最大梯度值的便会被选中)
由上述两步骤分别获得了图像中的点和线特征。
第三步:为减少计算量,将提取的点特征和线特征利用相机获得的深度信息反投影至3D空间,由于线段是由无限多个点组成,在反投影过程中,投影到3D时会造成重叠,因此使用一种基于采样的3D线检测方法,将点和线特征在近似一条直线上则保留(以点到线之间的距离小于设定的阈值为准),否则剔除,以此建立点和线之间的联系进行匹配,如图2所示反投影点线之间的关系图。
第四步:利用LBD描述符,对上面所判定后的线段进行两幅图的线段匹配,其描述符由一系列相互平行的条带Bj所组成的线段支持域计算得到,其条带的描述子由相邻的条带Bj-1和Bj+1计算得到。由于其大小尺度的不同,分别对LBD的均值和标准方差进行规范化处理。为减少非线性光照变化的影响,对LBD每个维度的进行抑制,使它小于一个阈值。最后重新规范约束向量得到单元LBD。在匹配线段时,在LBD基础之上引入线段几何性质,两个线段匹配的条件是:1.两个匹配线角度小于某一阈值;
2.线段的长度相似判定,阈值为τ
其中min(||l1||,||l2||)为取l1,l2两条线段长度较短的一条,max(||l1||,||l2||)为取l1,l2两条线段长度较长的一条。
3.两条线段的重叠长度大于一定值β:
其中loverlap表示两条线段重叠的长度。
满足上面两个线段匹配的所有条件,即认为两个线段匹配成功。

Claims (4)

1.一种融合点线特征的快速图像匹配方法,其特征在于,通过视觉传感器获取具有视差的两幅匹配图像,首先对两幅图像进行预处理,利用高斯滤波进行平滑处理;再对预处理后的两幅图像进行ORB特征点的提取和Edline线特征的提取;将提取的点特征和线特征利用相机获得的深度信息反投影至3D空间中,将点特征和线特征建立联系,通过设置阈值参数,采样的3D线检测方法,如点到线之间的距离大于设定的阈值,则判定为异常的点和线特征,进行剔除;最后对两幅图中的线特征构建描述符进行图像匹配。
2.根据权利要求1所述融合点线特征的快速图像匹配方法,其特征在于,所述ORB特征点的提取:对平滑处理后的图像进行构造图像金字塔,在不同尺度上提取FAST检测子,同时引入图像的灰度质心,解决检测子的旋转不变性和尺度不变性。
3.根据权利要求1所述融合点线特征的快速图像匹配方法,其特征在于,所述ORB特征点的提取具体实现步骤:
首先使用FAST检测子:根据图像的区域灰度信息,引入图像区域块,并确定图像区域块质心位置,以图像区域块中任意一点为圆心,半径为3个像素,划分圆区域,在圆区域进行FAST检测子检测,满足下面条件则判断该点为FAST检测子;
判定方法:当作为中心点的该点周围圆周上有9或12个连续点位置的像素与该点像素差大于某一阈值εd时,则定义为检测子N,即:
I(p)为中心点像素值,I(X)为以中心点划分圆圆周上点像素值;
同时为使该检测子具有旋转不变性,引入图像区域块质心作为该检测子的方向;即:
其中C为当前点特征区域块的质心位置;mpq为点特征所属区域块,I(x,y)为图像该点灰度值;x、y分别为图像点坐标值;p和q代表图像中特征点点领域的p+q阶矩;m10/m00则代表图像像素在x方向上的偏重,也即为质心的x坐标;m01/m00则代表图像像素在y方向上的偏重,也即为质心的y坐标;
以此进行FAST检测子检测,直到检测出图像中所有检测子,检测到的检测子即为图像中特征点。
4.根据权利要求1所述融合点线特征的快速图像匹配方法,其特征在于,所述Edline线特征的提取:首先对图像进行平滑处理,再利用边缘绘制,计算图像的梯度大小和方向,采用现有的梯度算子,并定义图像梯度最大值所对应点为锚点,通过连接锚点以形成边缘,最后采用最小二乘线拟合对所对应的像素点进行拟合得出线特征。
CN201910221164.XA 2019-03-22 2019-03-22 融合点线特征的快速图像匹配方法 Pending CN109993747A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910221164.XA CN109993747A (zh) 2019-03-22 2019-03-22 融合点线特征的快速图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910221164.XA CN109993747A (zh) 2019-03-22 2019-03-22 融合点线特征的快速图像匹配方法

Publications (1)

Publication Number Publication Date
CN109993747A true CN109993747A (zh) 2019-07-09

Family

ID=67129811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910221164.XA Pending CN109993747A (zh) 2019-03-22 2019-03-22 融合点线特征的快速图像匹配方法

Country Status (1)

Country Link
CN (1) CN109993747A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110489501A (zh) * 2019-07-24 2019-11-22 西北工业大学 基于线特征的slam系统快速重定位算法
CN111461140A (zh) * 2020-03-30 2020-07-28 北京航空航天大学 适用于slam系统的直线描述子构建和匹配方法
CN111833341A (zh) * 2020-07-22 2020-10-27 浙江大华技术股份有限公司 确定图像中条纹噪声的方法及装置
CN113536839A (zh) * 2020-04-15 2021-10-22 阿里巴巴集团控股有限公司 数据处理方法及装置、实现定位的方法及装置和智能设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170236258A1 (en) * 2015-11-02 2017-08-17 Cognex Corporation System and method for finding lines in an image with a vision system
CN108053445A (zh) * 2017-12-08 2018-05-18 中南大学 特征融合的rgb-d相机运动估计方法
CN108921896A (zh) * 2018-06-15 2018-11-30 浙江大学 一种融合点线特征的下视视觉罗盘

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170236258A1 (en) * 2015-11-02 2017-08-17 Cognex Corporation System and method for finding lines in an image with a vision system
CN108053445A (zh) * 2017-12-08 2018-05-18 中南大学 特征融合的rgb-d相机运动估计方法
CN108921896A (zh) * 2018-06-15 2018-11-30 浙江大学 一种融合点线特征的下视视觉罗盘

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘志洋: "基于点线特征的RGB-D SLAM系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张震,王永雄: "基于Edline 线特征的图像快速匹配算法", 《计算机与数字工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110489501A (zh) * 2019-07-24 2019-11-22 西北工业大学 基于线特征的slam系统快速重定位算法
CN110489501B (zh) * 2019-07-24 2021-10-22 西北工业大学 基于线特征的slam系统快速重定位算法
CN111461140A (zh) * 2020-03-30 2020-07-28 北京航空航天大学 适用于slam系统的直线描述子构建和匹配方法
CN111461140B (zh) * 2020-03-30 2022-07-08 北京航空航天大学 适用于slam系统的直线描述子构建和匹配方法
CN113536839A (zh) * 2020-04-15 2021-10-22 阿里巴巴集团控股有限公司 数据处理方法及装置、实现定位的方法及装置和智能设备
CN113536839B (zh) * 2020-04-15 2024-05-24 阿里巴巴集团控股有限公司 数据处理方法及装置、实现定位的方法及装置和智能设备
CN111833341A (zh) * 2020-07-22 2020-10-27 浙江大华技术股份有限公司 确定图像中条纹噪声的方法及装置

Similar Documents

Publication Publication Date Title
CN109993747A (zh) 融合点线特征的快速图像匹配方法
EP3446065B1 (en) Flight parameter measuring apparatus and flight parameter measuring method
CN109100741A (zh) 一种基于3d激光雷达及图像数据的目标检测方法
WO2018208791A1 (en) Systems and methods for inspection and defect detection using 3-d scanning
CN111210477B (zh) 一种运动目标的定位方法及系统
CN108389256B (zh) 二三维交互式无人机电力杆塔巡检辅助方法
CN106969706A (zh) 基于双目立体视觉的工件检测与三维测量系统及检测方法
CN108564616A (zh) 快速鲁棒的rgb-d室内三维场景重建方法
CN108475433A (zh) 用于大规模确定rgbd相机姿势的方法和系统
CN104809738B (zh) 一种基于双目视觉的安全气囊轮廓尺寸检测方法
CN110334678A (zh) 一种基于视觉融合的行人检测方法
Wang et al. Edge extraction by merging 3D point cloud and 2D image data
CN105913013A (zh) 双目视觉人脸识别算法
CN109448045A (zh) 基于slam的平面多边形物体测量方法及机器可读存储介质
CN110147748A (zh) 一种基于道路边缘检测的移动机器人障碍物识别方法
CN109816051A (zh) 一种危化品货物特征点匹配方法及系统
Shen et al. Knowledge-based road extraction from high resolution remotely sensed imagery
EP2309456B1 (en) Algorithm for detecting contour points in an image
Kang et al. Progressive 3D model acquisition with a commodity hand-held camera
Meers et al. Face recognition using a time-of-flight camera
CN115855018A (zh) 一种基于点线综合特征的改进同步定位与建图方法
CN113642529B (zh) 基于ga-bp神经网络的障碍物尺寸预测系统及方法
Chen et al. Measurement of displacement and top beam attitude angle of advanced hydraulic support based on visual detection
Qu et al. Statistical classification based fast drivable region detection for indoor mobile robot
Chen et al. Object recognition and localization based on kinect camera in complex environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190709