CN111460941A - 一种穿戴式导航装备中视觉导航特征点提取与匹配方法 - Google Patents

一种穿戴式导航装备中视觉导航特征点提取与匹配方法 Download PDF

Info

Publication number
CN111460941A
CN111460941A CN202010206651.1A CN202010206651A CN111460941A CN 111460941 A CN111460941 A CN 111460941A CN 202010206651 A CN202010206651 A CN 202010206651A CN 111460941 A CN111460941 A CN 111460941A
Authority
CN
China
Prior art keywords
points
feature points
gaussian
layer
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010206651.1A
Other languages
English (en)
Other versions
CN111460941B (zh
Inventor
谢非
梅一剑
何逸
郭钊利
杨继全
吴俊�
钱伟行
陆飞
章悦
汪璠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Intelligent High End Equipment Industry Research Institute Co ltd
Nanjing Normal University
Original Assignee
Nanjing Intelligent High End Equipment Industry Research Institute Co ltd
Nanjing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Intelligent High End Equipment Industry Research Institute Co ltd, Nanjing Normal University filed Critical Nanjing Intelligent High End Equipment Industry Research Institute Co ltd
Priority to CN202010206651.1A priority Critical patent/CN111460941B/zh
Publication of CN111460941A publication Critical patent/CN111460941A/zh
Application granted granted Critical
Publication of CN111460941B publication Critical patent/CN111460941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种穿戴式导航装备中视觉导航特征点提取与匹配方法,包括:读取两帧原始图像,构建图像的高斯‑拉普拉斯金字塔,生成高斯‑拉普拉斯差分尺度空间;进行特征点检测,将局部极值点作为特征点提取出来;计算出特征点的方向;基于BRIEF算子生成特征点的描述符,对每个点对进行二进制赋值,形成一个二进制编码;基于前一步生成的描述子对两张图像进行特征点的匹配,测量前一帧图中的每一个特征点与后一帧图像中所有特征点的相似程度,将相似程度最大的匹配成一对;重复上一步匹配操作,直到两帧图像中的所有特征点匹配完成,这些匹配好的特征点对为视觉导航提供大量的基础信息,提高导航定位结果的稳定性、环境适应性及抗干扰性能。

Description

一种穿戴式导航装备中视觉导航特征点提取与匹配方法
技术领域
本发明涉及视觉导航定位及图像处理的技术领域,具体涉及一种穿戴式导航装备中视觉导航特征点提取与匹配方法。
背景技术
图像特征点提取与匹配方法是视觉导航领域的一个重要研究方向,多年来国内外都有大量的科技工作者致力于这方面的研究开发工作。通过处理分析连续视频序列帧图像,进行特征点的提取与匹配,可完成对移动相机的位置及姿态估计,为视觉导航、图像拼接、智能监控、机器人探测等领域技术研究奠定了重要的研究基础。
目前的视觉导航技术中存在特征点提取与匹配方法无法在保证实时性的同时具有抗视觉与尺度变换的问题。
发明内容
发明目的:为解决背景技术中存在的技术问题,本发明提出一种穿戴式导航装备中视觉导航特征点提取与匹配方法,包括如下步骤:
步骤1,读取摄像头前后两帧原始图像,对两张图像分别构建6组5层的高斯-拉普拉斯金字塔;
步骤2,在步骤1构建的高斯-拉普拉斯金字塔中,将同一组相邻的上下两层图像相减,得到高斯-拉普拉斯差分尺度空间;
步骤3,遍历高斯-拉普拉斯差分尺度空间中的所有像素点,每个像素点与周围空间内26个像素点一一比较,运用快速比较法将局部极值点作为特征点提取出来,这些特征点都具有较好的尺度不变性;
步骤4,运用灰度质心法【ORB算法中计算特征点方向的方法,可参考E.Rublee,V.Rabaud,K.Konolige,G.Bradski,ORB:an efficient alternative to SIFT or SURF[C].Computer Vision(ICCV),2011】为步骤3所提取出的特征点添加方向信息,使特征点具备了旋转不变性;
步骤5,基于BRIEF算子【一种二进制描述子,可参考C.Michael,L.Vincent,S.Christoph,F.Pascal,BRIEF:Binary Robust Independent Elementary Features[C].11th European Conference on Computer Vision(ECCV),2010】描述步骤3所提取的特征点,结合步骤4所得的特征点的方向信息,生成特征点的BRIEF描述符;;
步骤6,从步骤1提取的两帧原始图像中各选取一个特征点进行匹配,由于步骤5中生成的特征点描述符是256位的二进制串,故通过比较二进制串的相似度来确定两个特征点是否匹配,基于两个特征点的BRIEF描述符计算两个特征点间的汉明距离,如果两点间的汉明距离【两个字码中不同位值的数目定义为汉明距离,这是一种用于比较二进制图像的有效手段,可参考R.Himanshu,Y.Anamika.Iris recognition using combined supportvector machine and Hamming distance approac[J].Expert SystemswithApplications,2014,41(2):588-593】小于128,则将两特征点匹配,否则视为不匹配;
步骤7,遍历两张图像各特征点,重复步骤6,直至所有可匹配的特征点对匹配完成,这些匹配好的特征点对为导航定位操作提供了大量的基础信息。
本发明中,步骤1包括如下步骤:
步骤1-1,本方法中所述高斯-拉普拉斯金字塔的含义为,同时对原始图像进行上采样与下采样,构成包含原始图像在内的各种尺度图像的图像金字塔,其中下采样含义为舍弃图像部分像素点,得到缩小图像,上采样含义为在图像像素点之间插值,得到放大图像。
高斯-拉普拉斯金字塔由多组原始图像金字塔组成,原始图像金字塔的每一组包含若干层。在构建高斯-拉普拉斯金字塔时,首先构建一个6组5层的原始图像金字塔。以原始图像的上采样为第一组第一层,具体方法为:将原始图像的每个像素点(i,j)映射到(2i+1,2j+1)的位置,所有(2i,2j)位置的像素点取0值,构成一张2倍大小的图像。再利用插值方法将0值像素点的近似值取为周围平面内4个像素点的平均值,最终得到尺度更大的图像。
以原图像为第一组第二层,然后依次采取二分之一降采样后得到第三、四层,以此类推至第五层,二分之一降采样的具体方法为:舍弃上层图像的偶数行、偶数列的像素点,得到下层图像;每一组的第三层作为后一组的第一层,如此反复执行,直到得到一共6组,每组5层的金字塔,共包含30个不同尺度的图像,构成原始图像金字塔。
步骤1-2,基于原始图像金字塔构建高斯-拉普拉斯金字塔,高斯-拉普拉斯金字塔的每一层由原始图像金字塔的对应层与高斯函数卷积得到,高斯函数如下所示:
Figure BDA0002421321050000031
上式中的G(i,j)为上一步构建的二维高斯函数,(i,j)表示图像中第i行j列的像素点,σ为高斯核参数,取值为常数1.5。
Figure BDA0002421321050000032
表示一个以自然常数e为底,
Figure BDA0002421321050000033
为指数的指数函数。x,y是上述高斯函数的两个二维变量。
按照如下公式将原始图像金字塔的每一层与高斯函数卷积,构成高斯-拉普拉斯金字塔:
L(x,y)=G(i,j)*I(i,j)
上式中的L(x,y)为每一层图像对应的高斯函数,I(i,j)为图像中第i行j列的像素点的灰度值。
步骤2包括:
在步骤1构建完成的6组5层高斯-拉普拉斯金字塔中,生成高斯-拉普拉斯差分尺度空间,具体方法为:将高斯-拉普拉斯金字塔中同一组相邻的上下两层图像相减得到高斯-拉普拉斯差分尺度空间,公式如下:
D(x,y)=Ln+1(x,y)-Ln(x,y)
上式中的D(x,y)为本步骤构建的高斯-拉普拉斯差分尺度空间,Ln+1(x,y),Ln(x,y)分别表示步骤1构建的高斯-拉普拉斯金字塔中同一组图像的上、下两层。
步骤3包括如下步骤:
本方法中,所述局部极值点的定义如下:如果某一像素点的响应值在该像素点3×3×3的邻域内为最大值,则是一个局部极值点,每一个待检测的像素点需要与同层的8个相邻点以及上下相邻两层对应的9×2个点共26个点进行一一比较。
在比较响应值操作之前,进行以下预操作:选取与当前像素点顶角相接8个点,如果当前像素点非9点中的极值点,则该当前像素点为非特征点,如果为极值点,再与其余18个点一一比较,从而筛除非特征点。此操作可预先筛去绝大多数的非特征点,提高算法速度。
步骤3包括如下预处理:
由于本方法生成的高斯-拉普拉斯金字塔对噪声和边缘敏感,所以在步骤3的尺度空间中检测到的局部极值点还要经过进一步的筛选,去除不稳定和错误检测出的极值点,方法如下:
在高斯-拉普拉斯金字塔中,响应值过小的特征点属于不稳定的特征点,所以预设阈值T=0.04,即当步骤3检测出的特征点响应值小于0.04时,将此特征点剔除。
步骤4包括:
定义特征点邻域像素,即一小矩形块B的矩:
mpq=∑(i,j)∈BipjqI(i,j),p,q∈{0,1}
上式中mpq表示小矩形块B的矩,ip、jq的值视矩的阶次而定,如在0阶矩中,ipjq为常数0,在1阶矩中,ipjq有两个取值,分别为i和j;p,q是两个非0即1的常数。通过矩确定所述矩形块B的质心C:
Figure BDA0002421321050000041
其中,m00为图像的0阶矩,m01、m10为图像的1阶矩。矩形块B的中心O指向质心C的向量
Figure BDA0002421321050000042
用来表示特征点的方向,方向角度θ表示为:
Figure BDA0002421321050000043
其中,
Figure BDA0002421321050000044
是一个2阶不变矩。
步骤5包括如下步骤:
步骤5-1,以步骤3所提取的特征点为中心,取3×3的邻域窗口,并在窗口内选取一对(两个)像素点,比较二者灰度值大小,进行如下二进制赋值:
Figure BDA0002421321050000045
其中,τ(I;(i1,j1),(i2,j2))表示一个二进制字符串中每个比特位的数值,(i1,j1)与(i2,j2)表示选定邻域窗口内的两像素点。
设定选取对比像素点数量为N,则最终生成的BRIEF描述符可用下式表示:
Figure BDA0002421321050000046
其中,N取为256,上式中的fN(k)即为BRIEF描述符,它是一个256位的二进制字符串,占用32字节;
步骤5-2,由于该BRIEF描述符是一个二进制字符串,无法直接描述方向信息,故使用下述方法为BRIEF描述符加上方向信息:
设定第n个点像素位置为(in,jn),n=1,2,…,N,将N个点组成矩阵S:
Figure BDA0002421321050000051
再基于步骤4中确定的特征点方向角度θ对应的旋转矩阵Rθ构建带有方向信息的矩阵Sθ
Sθ=Rθ·S
其中,
Figure BDA0002421321050000052
利用矩阵Sθ为BRIEF描述符添加方向信息,得到FN(k)=fN(k)|((i1,j1),(i2,j2))∈Sθ;其中,FN(k)表示带方向信息的BRIEF描述符。
步骤6包括如下步骤:
步骤6-1,汉明距离是两个BRIEF描述符对应比特位上相同元素的个数。基于带方向信息的BRIEF描述符,计算两特征点之间的汉明距离,本方法中将阈值设为128,即汉明距离大于128的特征点对视为不匹配。
步骤6-2,两张图像上汉明距离最小的两个特征点匹配成一对。
有益效果:本发明公开了一种穿戴式导航装备中视觉导航特征点提取与匹配方法,该方法所提取出的特征点同时具有旋转不变性以及尺度不变性,提高了导航定位结果的稳定性、环境适应性及抗干扰性能,以适应复杂多变的环境。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述或其他方面的优点将会变得更加清楚。
图1为本发明技术流程框图。
图2为一例2组4层的高斯-拉普拉斯金字塔的图像效果。
图3为本发明在相机平稳的情况下,特征点提取与匹配的结果。
图4为本发明在相机视角发生小角度旋转时,特征点提取与匹配的结果。
图5为本发明在相机视角发生大角度翻转时,特征点提取与匹配的结果。
图6为本发明在画面同时发生旋转与尺度变化时,特征点提取与匹配的结果。
图7为一种穿戴式视觉导航装备示意图。
图8为筛除非特征点示意图。
具体实施方式
如图1所示,本发明公开了一种穿戴式导航装备中视觉导航特征点提取与匹配方法,包括如下步骤:
步骤1,读取摄像头前后两帧原始图像,对两张图像分别构建6组5层的高斯-拉普拉斯金字塔具体方法如下:
步骤1-1,本方法中高斯-拉普拉斯金字塔的含义为,同时对原始图像进行上采样与下采样,构成包含原始图像在内的各种尺度图像的图像金字塔,其中下采样含义为舍弃图像部分像素点,得到缩小图像,上采样含义为在图像像素点之间插值,得到放大图像。
高斯-拉普拉斯金字塔由多组原始图像金字塔组成,原始图像金字塔的每一组包含若干层。在构建高斯-拉普拉斯金字塔时,首先构建一个6组5层的原始图像金字塔。以原始图像的上采样为第一组第一层,具体方法为:将原始图像的每个像素点(i,j)映射到(2i+1,2j+1)的位置,所有(2i,2j)位置的像素点取0值,构成一张2倍大小的图像。再利用插值方法将0值像素点的近似值取为周围平面内4个像素点的平均值,最终得到尺度更大的图像。
以原图像为第一组第二层,然后依次采取二分之一降采样后得到第三、四层,以此类推至第五层,二分之一降采样的具体方法为:舍弃上层图像的偶数行、偶数列的像素点,得到下层图像;每一组的第三层作为后一组的第一层,如此反复执行,直到得到一共6组,每组5层的金字塔,共包含30个不同尺度的图像,构成原始图像金字塔。
步骤1-2,基于原始图像金字塔构建高斯-拉普拉斯金字塔,高斯-拉普拉斯金字塔的每一层由原始图像金字塔的对应层与高斯函数卷积得到,高斯函数如下所示:
Figure BDA0002421321050000061
上式中的G(i,j)为上一步构建的二维高斯函数,(i,j)表示图像中第i行j列的像素点,σ为高斯核参数,取值为常数1.5。
Figure BDA0002421321050000062
表示一个以自然常数e为底,
Figure BDA0002421321050000071
为指数的指数函数。x,y是上述高斯函数的两个二维变量。
按照如下公式将原始图像金字塔的每一层与高斯函数卷积,构成高斯-拉普拉斯金字塔:
L(x,y)=G(i,j)*I(i,j)
上式中的L(x,y)为每一层图像对应的高斯函数,I(i,j)为图像中第i行j列的像素点的灰度值。
下图2所示为一例2组4层的高斯-拉普拉斯金字塔的图像效果。
步骤2,在步骤1构建完成的6组5层高斯-拉普拉斯金字塔中,生成高斯-拉普拉斯差分尺度空间,具体方法为:将高斯-拉普拉斯金字塔中同一组相邻的上下两层图像相减得到高斯-拉普拉斯差分尺度空间,公式如下:
D(x,y)=Ln+1(x,y)-Ln(x,y)
上式中的D(x,y)为本步骤构建的高斯-拉普拉斯差分尺度空间,Ln+1(x,y),Ln(x,y)表示上述步骤构建的高斯-拉普拉斯金字塔中同一组图像的上下两层。
步骤3,遍历高斯-拉普拉斯差分尺度空间中的所有像素点,每个像素点与同层的8个相邻点以及上下相邻两层对应的9×2个点共26个点进行一一比较。在比较响应值操作之前,进行以下预操作:如图8所示,中心黑色方块所示位置的像素点点为当前像素点,选取与当前像素点顶角相接8个点,即图8中灰色方块所示位置的像素点,如果当前像素点非9点中的极值点,则该当前像素点为非特征点,将其筛除;如果为极值点,再与其余18个点,即图8中白色方块所示位置的像素点一一比较,从而筛除非特征点。此操作预先筛去了绝大多数的非特征点,提高了算法速度。另外,由于本方法生成的高斯-拉普拉斯金字塔对噪声和边缘敏感,所以在尺度空间中检测到的局部极值点还要经过进一步的筛选,去除不稳定和错误检测出的极值点,方法如下:
在高斯-拉普拉斯金字塔中,响应值过小的特征点属于不稳定的特征点,所以预设阈值0.04,即当步骤3检测出的特征点响应值小于0.04时,将此特征点剔除。本步骤提取出的特征点都具有较好的尺度不变性;
步骤4,运用灰度质心法为步骤3所提取出的特征点添加方向信息,方法如下:
定义特征点邻域像素,即一小矩形块B的矩
npq=∑(i,j)∈BipjqI(i,j),p,q∈{0,1}
上式中mpq表示小矩形块的矩,ip、jq的值视矩的阶次而定,如在0阶矩中,ipjq为常数0,在1阶矩中,ipjq有两个取值,分别为i和j;p,q是两个非0即1的常数。通过矩确定该矩形块的质心:
Figure BDA0002421321050000081
上式中的m00为图像的0阶矩,m01、m10为图像的1阶矩。矩形块的中心O指向质心C的向量
Figure BDA0002421321050000082
即为该特征点的方向,方向角度表示为:
Figure BDA0002421321050000083
其中,
Figure BDA0002421321050000084
是一个2阶不变矩。
本步骤为加上了方向信息,使特征点具备了旋转不变性。
步骤5,基于BRIEF算子描述步骤3所提取的特征点,结合步骤4所得的特征点的方向信息,生成特征点的BRIEF描述符,包括如下步骤:
步骤5-1,以步骤3所提取的特征点为中心,取3×3的邻域窗口,并在窗口内选取一对(两个)像素点,比较二者灰度值大小,进行如下二进制赋值:
Figure BDA0002421321050000085
其中,τ(I;(i1,j1),(i2,j2))表示一个二进制字符串中每个比特位的数值,(i1,j1)与(i2,j2)表示选定邻域窗口内的两像素点。
假定选取对比像素点数量为N,则最终生成的BRIEF描述符可用下式表示
Figure BDA0002421321050000086
本方法中N取为256,上式中的fN(k)即为BRIEF描述符,它是一个256位的二进制字符串,占用32字节;
步骤5-2,由于该BRIEF描述符是一个二进制字符串,无法直接描述方向信息,故使用下述方法为BRIEF描述符加上方向信息:
将上述的n个点(in,jn),n=1,2,…,N组成矩阵S:
Figure BDA0002421321050000087
再基于步骤4中确定的特征点方向角θ对应的旋转矩阵Rθ构建带有方向信息的矩阵Sθ
Sθ=Rθ·S
其中,
Figure BDA0002421321050000091
利用矩阵Sθ为上述步骤所得的BRIEF描述符添加方向信息,可得FN(k)=fN(k)|((i1,j1),(i2,j2))∈Sθ;其中,FN(k)表示带上方向信息的BRIEF描述符。步骤6,从步骤1提取的两帧原始图像中各选取一个特征点进行匹配,,由于步骤5中生成的特征点描述符是256位的二进制串,故通过比较二进制串的相似度来确定两特征点是否匹配,若两点间的汉明距离小于128,则将两特征点匹配,否则视为不匹配。汉明距离是两个二进制字符串对应比特位上相同元素的个数。
步骤7,遍历两张图像各特征点,重复步骤6,直至所有可匹配的特征点对匹配完成,这些匹配好的特征点对为导航定位操作提供了大量的基础信息。
实施例
本实施例应用于以单目摄像头为传感器的穿戴式导航定位系统,首先通过摄像头采集两帧图像,分别构建6组5层的高斯-拉普拉斯金字塔,下图2为一例2组4层的高斯-拉普拉斯金字塔的图像效果。在构建完成的6组5层高斯-拉普拉斯金字塔中,将同一组相邻的上下两层图像相减,得到高斯-拉普拉斯差分尺度空间,在尺度空间中提取特征点,这样提取出的特征点都具有较好的尺度不变性。遍历高斯-拉普拉斯差分尺度空间中的所有像素点,每个像素点与自身3×3×3邻域内的26个像素点一一比较。在比较响应值操作之前,进行以下预操作:选取与当前像素点顶角相接8个点,若当前点非9点中的极值点,则该点不可能为特征点,若为极值点,再与其余18个点一一比较;在尺度空间中检测到的局部极值点后,再进行进一步筛选,预设阈值0.04,当步骤3检测出的特征点响应值小于0.04时,说明该特征点是不稳定的,将其剔除,再运用灰度质心法得到所提出特征点的方向信息。基于BRIEF算子描述已提取的特征点,结合方向信息,生成特征点的BRIEF描述符,使特征点具有了旋转不变性。最后对两张图像上的特征点进行匹配,直至所有可匹配的特征点对匹配完成,这些匹配好的特征点对为导航定位操作提供了大量的基础信息。
图3、图4、图5、图6是本发明对应的视觉导航特征点提取与匹配方法实验结果图,在两帧图像的视角发生小角度旋转、大角度反转以及同时发生尺度与旋转变化时,本方法均能有效匹配到大量特征点,且运行耗时在可接受的范围内。
本发明最终实现的视觉导航特征点提取与匹配方法可以应用于穿戴式定位导航装备,实现自身位姿判断、导航与路径规划等功能。在穿戴式定位导航装备中,运用特征点进行相机位姿估计与载体导航功能的系统称为视觉里程计,基于对极几何的原理,根据两帧原始图像上匹配的特征点可以估计相机在两帧时间内所做的运动,即将当期帧的特征点投影到前一帧的相机坐标系中,再从前一帧的相机坐标系投影到前一帧的图像坐标系中,得到当前帧和前一帧的相机坐标系之间的变换矩阵,即相对位姿,从而估计出相机的运动轨迹,实现定位与导航功能,本方法为视觉里程计提供了稳定优质的特征点,使视觉里程计的位姿估计更准确,导航定位精度更高。图7为一种穿戴式视觉导航装备的示意图,其中①为固定在头盔上的摄像头,②为可拆卸的LED灯,③为背包携带的处理器与电源模块。此类装备可以提供在室内环境下的个人位置信息服务,例如实现对巡检人员、井下及消防作业人员等行业的个人导航及定位功能。
本发明提供了一种穿戴式导航装备中视觉导航特征点提取与匹配方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (8)

1.一种穿戴式导航装备中视觉导航特征点提取与匹配方法,其特征在于,包括以下步骤:
步骤1,读取摄像头前后两帧原始图像,对两张图像分别构建6组5层的高斯-拉普拉斯金字塔;
步骤2,在步骤1构建的高斯-拉普拉斯金字塔中,将同一组相邻的上下两层图像相减,得到高斯-拉普拉斯差分尺度空间;
步骤3,遍历高斯-拉普拉斯差分尺度空间中的所有像素点,将每个像素点与周围空间内26个像素点一一比较,运用快速比较法将局部极值点作为特征点提取出来;
步骤4,运用灰度质心法为步骤3所提取出的特征点添加方向信息;
步骤5,基于BRIEF算子描述步骤3所提取的特征点,结合步骤4所得的特征点的方向信息,生成特征点的BRIEF描述符;
步骤6,从步骤1提取的两帧原始图像中各选取一个特征点进行匹配,通过比较相似度来确定两个特征点是否匹配,基于两个特征点的BRIEF描述符计算两个特征点间的汉明距离,如果两点间的汉明距离小于128,则将两特征点匹配,否则视为不匹配;
步骤7,遍历两张图像各特征点,重复步骤6,直至所有可匹配的特征点对匹配完成。
2.根据权利要求1所述的方法,特征在于,步骤1包括如下步骤:
步骤1-1,在构建高斯-拉普拉斯金字塔时,首先构建一个6组5层的原始图像金字塔,以原始图像的上采样为第一组第一层,具体方法为:将原始图像的每个像素点(i,j)映射到(2i+1,2j+1)的位置,所有(2i,2j)位置的像素点取0值,构成一张2倍大小的图像,再利用插值方法将0值像素点的近似值取为周围平面内4个像素点的平均值,最终得到尺度更大的图像;
以原始图像为第一组第二层,然后依次采取二分之一降采样后得到第三、四层,以此类推至第五层,二分之一降采样的具体方法为:舍弃上层图像的偶数行、偶数列的像素点,得到下层图像;每一组的第三层作为后一组的第一层,如此反复执行,直到得到一共6组,每组5层的金字塔,共包含30个不同尺度的图像,构成原始图像金字塔;
步骤1-2,基于原始图像金字塔构建高斯-拉普拉斯金字塔,高斯-拉普拉斯金字塔的每一层由原始图像金字塔的对应层与高斯函数卷积得到,高斯函数如下所示:
Figure FDA0002421321040000021
上式中的G(i,j)为二维高斯函数,(i,j)表示图像中第i行j列的像素点,σ为高斯核参数,
Figure FDA0002421321040000022
表示一个以自然常数e为底,
Figure FDA0002421321040000023
为指数的指数函数,x,y是所述高斯函数的两个二维变量;
按照如下公式将原始图像金字塔的每一层与高斯函数卷积,构成高斯-拉普拉斯金字塔:
L(x,y)=G(i,j)*I(i,j)
上式中的L(x,y)为每一层图像对应的高斯函数,I(i,j)为原始图像中第i行j列的像素点的灰度值。
3.根据权利要求2所述的方法,特征在于,步骤2包括:
在步骤1构建完成的6组5层高斯-拉普拉斯金字塔中,生成高斯-拉普拉斯差分尺度空间,具体方法为:将高斯-拉普拉斯金字塔中同一组相邻的上下两层图像相减得到高斯-拉普拉斯差分尺度空间,公式如下:
D(x,y)=Ln+1(x,y)-Ln(x,y)
上式中的D(x,y)为高斯-拉普拉斯差分尺度空间,Ln+1(x,y),Ln(x,y)分别表示步骤1构建的高斯-拉普拉斯金字塔中同一组图像的上、下两层。
4.根据权利要求3所述的方法,特征在于,步骤3包括如下步骤:
所述局部极值点的定义如下:如果一像素点的响应值在该像素点3×3×3的邻域内为最大值,则是一个局部极值点。每一个待检测的像素点需要与同层的8个相邻点以及上下相邻两层对应的9×2个点共26个点进行一一比较。
5.根据权利要求4所述的方法,特征在于,步骤3还包括:
在高斯-拉普拉斯金字塔中,预设阈值T,即当步骤3检测出的特征点响应值小于T时,将此特征点剔除。
6.根据权利要求5所述的方法,特征在于,步骤4包括:
定义特征点邻域像素,即一小矩形块B的矩:
mpq=∑(i,j)∈B ipjqI(i,j),p,q∈{0,1}
上式中mpq表示小矩形块B的矩,ip、jq的值视矩的阶次而定,在0阶矩中,ipjq为常数0,在1阶矩中,ipjq有两个取值,分别为i和j;p,q是两个非0即1的常数;通过矩确定所述矩形块B的质心C:
Figure FDA0002421321040000031
其中,m00为图像的0阶矩,m01、m10为图像的1阶矩;矩形块B的中心O指向质心C的向量
Figure FDA0002421321040000032
用来表示特征点的方向,方向角度θ表示为:
Figure FDA0002421321040000033
其中,
Figure FDA0002421321040000034
是一个2阶不变矩。
7.根据权利要求6所述的方法,特征在于,步骤5包括如下步骤:
步骤5-1,以步骤3所提取的特征点为中心,取3×3的邻域窗口,并在窗口内选取一对即两个像素点,比较二者灰度值大小,进行如下二进制赋值:
Figure FDA0002421321040000035
其中,τ(I;(i1,j1),(i2,j2))表示一个二进制字符串中每个比特位的数值,(i1,j1)与(2,j2)表示选定邻域窗口内的两像素点;
设定选取对比像素点数量为N,则最终生成的BRIEF描述符用下式表示:
Figure FDA0002421321040000036
其中,N取为256,上式中的fN(k)即为BRIEF描述符,它是一个256位的二进制字符串,占用32字节;
步骤5-2,使用下述方法为BRIEF描述符加上方向信息:
设定第n个点像素位置为(in,jn),n=1,2,…,N,将N个点组成矩阵S:
Figure FDA0002421321040000037
再基于特征点方向角度θ对应的旋转矩阵θ构建带有方向信息的矩阵Sθ
Sθ=Rθ·S
其中,
Figure FDA0002421321040000041
利用矩阵Sθ为BRIEF描述符添加方向信息,得到FN(k)=fN(k)|((i1,j1),(i2,j2))∈Sθ,其中,FN(k)表示带方向信息的BRIEF描述符。
8.根据权利要求1所述的方法,特征在于,步骤6包括如下步骤:
步骤6-1,基于带方向信息的BRIEF描述符,计算两特征点之间的汉明距离,将阈值设为128,即汉明距离大于128的特征点对视为不匹配;
步骤6-2,两张图像上汉明距离最小的两个特征点匹配成一对。
CN202010206651.1A 2020-03-23 2020-03-23 一种穿戴式导航装备中视觉导航特征点提取与匹配方法 Active CN111460941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010206651.1A CN111460941B (zh) 2020-03-23 2020-03-23 一种穿戴式导航装备中视觉导航特征点提取与匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010206651.1A CN111460941B (zh) 2020-03-23 2020-03-23 一种穿戴式导航装备中视觉导航特征点提取与匹配方法

Publications (2)

Publication Number Publication Date
CN111460941A true CN111460941A (zh) 2020-07-28
CN111460941B CN111460941B (zh) 2023-06-09

Family

ID=71683655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010206651.1A Active CN111460941B (zh) 2020-03-23 2020-03-23 一种穿戴式导航装备中视觉导航特征点提取与匹配方法

Country Status (1)

Country Link
CN (1) CN111460941B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381844A (zh) * 2020-11-12 2021-02-19 三峡大学 基于图像分块的自适应orb特征提取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054269A (zh) * 2009-10-27 2011-05-11 华为技术有限公司 图像特征点检测方法及装置
CN106204660A (zh) * 2016-07-26 2016-12-07 华中科技大学 一种基于特征匹配的地面目标跟踪装置
CN106960451A (zh) * 2017-03-13 2017-07-18 西安电子科技大学 一种提升图像弱纹理区域特征点数量的方法
CN110006444A (zh) * 2019-03-21 2019-07-12 南京师范大学 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054269A (zh) * 2009-10-27 2011-05-11 华为技术有限公司 图像特征点检测方法及装置
CN106204660A (zh) * 2016-07-26 2016-12-07 华中科技大学 一种基于特征匹配的地面目标跟踪装置
CN106960451A (zh) * 2017-03-13 2017-07-18 西安电子科技大学 一种提升图像弱纹理区域特征点数量的方法
CN110006444A (zh) * 2019-03-21 2019-07-12 南京师范大学 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381844A (zh) * 2020-11-12 2021-02-19 三峡大学 基于图像分块的自适应orb特征提取方法
CN112381844B (zh) * 2020-11-12 2022-12-02 三峡大学 基于图像分块的自适应orb特征提取方法

Also Published As

Publication number Publication date
CN111460941B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN107038448B (zh) 目标检测模型构建方法
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
Choi et al. Thermal image enhancement using convolutional neural network
CN108288088B (zh) 一种基于端到端全卷积神经网络的场景文本检测方法
Shi et al. Orientation-aware vehicle detection in aerial images via an anchor-free object detection approach
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN112287860B (zh) 物体识别模型的训练方法及装置、物体识别方法及系统
CN112446383A (zh) 车牌识别方法及装置、存储介质、终端
CN111047626A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN103353941B (zh) 基于视角分类的自然标志物注册方法
CN112287859A (zh) 物体识别方法、装置和系统,计算机可读存储介质
CN113011288A (zh) 一种基于Mask RCNN算法的遥感建筑物检测方法
CN112395962A (zh) 数据增广方法及装置、物体识别方法及系统
Gao et al. EOVNet: Earth-observation image-based vehicle detection network
CN106845555A (zh) 基于Bayer格式的图像匹配方法及图像匹配装置
CN111460941B (zh) 一种穿戴式导航装备中视觉导航特征点提取与匹配方法
CN116403200A (zh) 基于硬件加速的车牌实时识别系统
CN113657225B (zh) 一种目标检测方法
CN112800932B (zh) 海上背景下显著船舶目标的检测方法及电子设备
CN111178158B (zh) 一种骑车人检测方法及系统
Haryono et al. Oriented object detection in satellite images using convolutional neural network based on ResNeXt
CN111160255B (zh) 一种基于三维卷积网络的捕鱼行为识别方法及系统
CN113780096A (zh) 基于半监督深度学习的植被类地物提取方法
CN112001355A (zh) 室外视频下模糊人脸识别的训练数据预处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant