CN109101981A - 一种街景场景下基于全局图像条纹码的回环检测方法 - Google Patents

一种街景场景下基于全局图像条纹码的回环检测方法 Download PDF

Info

Publication number
CN109101981A
CN109101981A CN201810797155.0A CN201810797155A CN109101981A CN 109101981 A CN109101981 A CN 109101981A CN 201810797155 A CN201810797155 A CN 201810797155A CN 109101981 A CN109101981 A CN 109101981A
Authority
CN
China
Prior art keywords
image
point
scale
value
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810797155.0A
Other languages
English (en)
Other versions
CN109101981B (zh
Inventor
张小国
郑冰清
袁金
邵俊杰
刘启汉
王慧青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201810797155.0A priority Critical patent/CN109101981B/zh
Publication of CN109101981A publication Critical patent/CN109101981A/zh
Application granted granted Critical
Publication of CN109101981B publication Critical patent/CN109101981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种街景场景下基于全局图像条纹码的回环检测方法，包括如下步骤：对已有地图的所有图像帧进行编码，并将编码存储在分层数据结构中；对新采集到的关键帧也进行二进制编码，与已有的二进制描述码进行对比，获取汉明距离最小的前K张图片；将K张图片与新采集的图像关键帧一起进行特征点提取比对操作，比对两个图像间的特征相似度，得到分值最高的图，以此获知此时机器人的位置。本发明只需要对图像进行简单的编码，利用已有的算法对编码进行匹配即能完成目的，可操作性高；不需要借助图像的特征点以及提前进行提前训练，减小了计算量；与传统方法相比，解决了不能进行回环检测、工作强度大、效率低等问题。

Description

一种街景场景下基于全局图像条纹码的回环检测方法
技术领域
本发明涉及图像处理方法，尤其涉及一种街景场景下基于全局图像条纹码的回环检测方法。
背景技术
即时定位与地图构建(SLAM)是解决移动机器人在未知非结构化环境中自主导航与控制的关键，一个完整的SLAM系统包括传感器数据处理、位姿估计、构建地图、回环检测四个部分。其中回环检测机制是解决移动机器人的闭环重定位，提高SLAM系统鲁棒性的重要环节。已有的像素级别SLAM定位方法除非借助于特征点，否则无法进行回环检测的操作，词袋模型就是一种典型的使用特征点的回环检测的方法。但在基于直接法的SLAM系统中使用特征点就违背了使用直接法的本意，效率大大降低。机器学习算法进行回环检测不用提取特征点但需要提前训练，消耗时间过长且效果不稳定。因此对于速度快又高效的回环检测的算法的需求就日益凸显。
发明内容
发明目的：针对现有技术存在的问题，本发明的目的在于提供一种基于全局图像条纹码进行回环检测的方法，以实现在基于像素的SLAM方法中直接而高效地进行回环检测，有效提高SLAM系统的全局一致性且保持系统较高的实时性。
技术方案：一种街景场景下基于全局图像条纹码的回环检测方法，包括如下步骤：
(1)对已有地图的所有图像帧进行编码，并将编码存储在分层数据结构中；
(2)对新采集到的关键帧也进行二进制编码，与已有的二进制描述码进行对比，获取Hamming距离最小的前K张图片；
(3)将K张图片与新采集的图像关键帧一起进行特征点提取比对操作，比对两个图像间的特征相似度，得到分值最高的图，以此获知此时机器人的位置。
所述步骤(1)中，具体包括如下内容：
(1.1)对图像进行x和y方向的梯度计算，得到灰度图像：
(1.1.1)将RGB彩色图像转化为灰度图：
Grey＝0.299×R+0.587×G+0.115×B
根据上式，依次读取每个像素点的R、G、B值，进行计算灰度值，将灰度值赋值给新图像的相应位置，所有像素点遍历一遍完成转换；
(1.1.2)采用索贝尔算子进行图像梯度计算，索贝尔卷积因子为：
该算子包含两组3×3的矩阵，分别为横向矩阵及纵向矩阵；将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值；以I代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，其公式如下：
Gx＝[f(x+1,y-1)+2×f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2×f(x-1,y)+f(x-1,y+1)]
Gy＝[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2×f(x,y+1)+f(x+1,y+1)]
其中，f(x,y)表示图像(x,y)像素点的灰度值，图像的每一个像素的横向及纵向灰度值通过以下公式结合，来计算该点灰度的大小：
|G|＝|Gx|+|Gy|；
(1.2)设定阈值T1，若像素点的灰度值大于该阈值则该像素点置1；设定阈值T2，将W个像素宽的图像竖组合在一起，形成一个group，在每一个group中维护一个W*H的窗口，其中，W表示窗口宽度，H表示窗口长度，竖直移动窗口，计算窗口中每个竖直像素列中连续的“1”的个数，当连续的“1”的个数超过T2，则将该竖直像素列置1；设置阈值T3，针对宽为W的滑动窗口图像竖，计算竖直像素列的“1”的个数，若超过T3，则整个group置1；遍历所有group，最终形成了128bits的图像描述码；根据图像的大小调节W的大小，使得描述码为128bits，默认情况下T2为20，T3为1，T1是图像灰度值中值；
(1.3)采用KD树分割128维数据空间的数据结构便于快速索引：
(1.3.1)输入：128维空间数据集T＝{x1,x2,…,xi…,xn},其中xi＝{xi(1),xi(2),…xi(128)},i＝1….N；
(1.3.2)构造根节点：根结点对应于包含T的128维空间的超矩形区域；选择x(1)为坐标轴，以T中所有实例的x(1)坐标的中位数为切分点，将根结点对应的超矩形区域切分为两个子区域；切分由通过切分点并与坐标轴x(1)垂直的超平面实现；由根结点生成深度为1的左、右子结点：左子结点对应坐标x(1)小于切分点的子区域，右子结点对应于坐标x(1)大于切分点的子区域；将落在切分超平面上的实例点保存在根结点；
(1.3.3)重复：对深度为j的结点选择x(i)为切分的坐标轴，i＝j％128+1，以该结点的区域中所有实例的x(i)坐标的中位数为切分点，将该结点对应的超矩形区域切分为两个子区域；切分由通过切分点并与坐标轴x(i)垂直的超平面实现；由该结点生成深度为j+1的左、右子结点：左子结点对应坐标x(i)小于切分点的子区域，右子结点对应坐标x(i)大于切分点的子区域；将落在切分超平面上的实例点保存在该结点。
所述步骤(2)中，具体包括如下内容：
利用MIH方法进行快速检索；在建立索引时将长度为128维的二进制码划分为8个连续不重合的子串，每个子串的长度为16，然后为每个子串建立一个哈希表；在查询时，按照同样的方式把待查询二进制码划分为8个子串，然后在相应的哈希表中进行查找以返回候选结果，最后根据候选结果和查询之间的Hamming距离对候选结果排序，并得到最近邻，Hamming距离计算方法为：
D(X,Y)＝∑(X[i]⊕Y[i])。
所述步骤(3)中，具体包括如下内容：
(3.1)选用SIFT算法对图像进行特征检测与匹配：
(3.1.1)构建尺度空间，模拟图像数据的多尺度特征；
一幅二维图像的尺度空间定义为：
L(x,y,s)＝G(x,y,s)*I(x,y)
其中，G(x,y,s)是尺度可变高斯函数
利用不同尺度的高斯差分核与图像卷积生成：
D(x,y,s)＝L(x,y,ks)-L(x,y,s)
L(x,y,s)定义的是二维图像的尺度空间，x,y是空间坐标，s大小决定图像的平滑程度，G(x,y,s)是尺度可变高斯函数；
(3.1.2)寻找尺度空间的极值点，每一个采样点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共9×2+8＝26个点比较，以确保在尺度空间和二维图像空间都检测到极值点；一个图像点点如果在DOG尺度空间本层以及上下两层的9×2+8＝26个领域中是最大或最小值时，则认为该点是图像在该尺度下的一个候选关键点。
(3.1.3)对尺度空间D(x,y,s)进行二次泰勒展开，再利用二次泰勒展开式进行最小二乘拟合；然后通过计算拟合曲面的极值来进一步确定图像特征点的尺度和图像特征点的位置；确定了每幅图中的特征点后，为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性；
θ(x,y)＝atan2((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y)))
M(x,y)和θ(x,y)为(x,y)处梯度的模值和方向公式；其中L所用的尺度为每个关键点各自所在的尺度；至此，图像的关键点已经检测完毕，每一个关键点有三个信息：位置，所处尺度和方向，由此确定一个SIFT特征区域；
(3.1.4)生成关键点描述子；将坐标轴旋转为关键点的方向，以确保旋转不变性，以关键点为中心取8×8的窗口，然后在每4×4的小块上计算各方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。计算关键点周围的16*16的窗口中每一个像素的梯度，而且使用高斯下降函数降低远离中心的权重。这样就可以对每个特征形成一个4*4*8＝128维的描述子，每一维都可以表示4*4个格子中尺度和方向。
(3.2)根据SIFT进行图像匹配；当两幅图像的描述子生成后，下一步采用关键点特征向量的欧氏距离来作为两幅图像中关键点的相似性判定度量；取其中一幅图像中的某个关键点，并找出其与另一幅图像中欧氏距离最近的前两个关键点，在两个关键点中，如果最近的距离除以欠近的距离少于两个距离的比例阈值，则接受这一对匹配点，最后选取匹配点数最多的图像即可作为参考图像；所述比例阈值取值为0.4～0.6，优选为0.5。
有益效果：本发明和现有技术相比，显著进步在于：本发明在进行回环检测时，只需要对图像进行简单的编码，利用已有的算法对编码进行匹配即能完成目的，可操作性高。而且不需要借助图像的特征点以及提前进行提前训练，大大减小了计算量和工作强度，提高了工作效率。本方法利用关键帧描述码进行回环检测得到匹配对，与传统方法相比，解决了不能进行回环检测、工作强度大、效率低等问题，为回环检测提供了极大的便利。
附图说明
图1为本发明具体实施例的编码流程图；
图2为本发明的方法流程图。
具体实施方式
以下结合附图和具体实施例对本发明中的关键技术和具体实现方法进行详细说明。
如图1、图2所示，本发明的一种街景条件下基于图像全局描述码的回环检测算法，核心思想为：对已有的图像帧以及新进入的图像关键帧进行二进制编码，以海明距离为参考计算关键帧的K近邻，再利用SIFT算法对前K张图片与原图进行特征点提取比对操作比对两个图像间的特征相似度。得到分值最高的图。下面对本发明的各个步骤进行详细的说明。
步骤一、对已有地图的所有图像帧进行编码操作，并将编码存储在分层数据结构中以便快速索引。具体包括：
1.1、对图像进行x和y方向的梯度计算，得到灰度图像。
(1)将RGB彩色图像转化为灰度图。
Grey＝0.299×R+0.587×G+0.115×B
根据这个公式，依次读取每个像素点的R、G、B值，进行计算灰度值(转化为整型数)，将灰度值赋值给新图像的相应位置，所有像素点遍历一遍完成转换；
(2)采用索贝尔算子进行图像梯度计算，索贝尔卷积因子为：
该算子包含两组3×3的矩阵，分别为横向及纵向矩阵。将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。以I代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，其公式如下：
Gx＝[f(x+1,y-1)+2×f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2×f(x-1,y)+f(x-1,y+1)]
Gy＝[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2×f(x,y+1)+f(x+1,y+1)]
其中，f(x,y)表示图像(x,y)点的灰度值。
图像的每一个像素的横向及纵向灰度值通过以下公式结合，来计算该点灰度的大小：
|G|＝|Gx|+|Gy|；
1.2、设定阈值T1，若像素点的灰度值大于该阈值则该像素点置1。设定阈值T2，将W个像素宽的图像竖组合在一起，形成一个group，在每一个group中维护一个W*H的窗口(一张1280*960图片，默认参数设置W为10，H为30)，竖直移动窗口，计算窗口中每个竖直像素列中连续的“1”的个数，当连续的“1”的个数超过T2，则将该竖直像素列置1。设置阈值T3，针对宽为W的滑动窗口图像竖，计算竖直像素列的“1”的个数，若超过T3，则整个group置1。遍历所有group，最终形成了128bits的图像描述码。根据图像的大小调节W的大小，使得描述码为128bits，默认情况下T2为20，T3为1，T1是图像灰度值中值；
1.3、采用KD树分割128维数据空间的数据结构便于快速索引。
(1)输入：128维空间数据集T＝{x1,x2,….xn},其中xi＝{xi(1),xi(2),…xi(128)},i＝1,….N；
(2)构造根节点：根结点对应于包含T的128维空间的超矩形区域。选择x(1)为坐标轴，以T中所有实例的x(1)坐标的中位数为切分点，将根结点对应的超矩形区域切分为两个子区域。切分由通过切分点并与坐标轴x(1)垂直的超平面实现。由根结点生成深度为1的左、右子结点：左子结点对应坐标x(1)小于切分点的子区域，右子结点对应于坐标x(1)大于切分点的子区域。将落在切分超平面上的实例点保存在根结点；
(3)重复：对深度为j的结点选择x(i)为切分的坐标轴，i＝j％128+1，以该结点的区域中所有实例的x(i)坐标的中位数为切分点，将该结点对应的超矩形区域切分为两个子区域。切分由通过切分点并与坐标轴x(i)垂直的超平面实现。由该结点生成深度为j+1的左、右子结点：左子结点对应坐标x(i)小于切分点的子区域，右子结点对应坐标x(i)大于切分点的子区域。将落在切分超平面上的实例点保存在该结点；
步骤二、对新采集到的关键帧也进行二进制编码，跟已有的二进制描述码进行对比，获取Hamming距离最小的前3张图片。具体包括：
利用MIH方法进行快速检索。在建立索引时将长度为128维的二进制码划分为8个连续不重合的子串，每个子串的长度为16，然后为每个子串建立一个哈希表.在查询时，按照同样的方式把待查询二进制码划分为8个子串，然后在相应的哈希表中进行查找以返回候选结果，最后根据候选结果和查询之间的Hamming距离对候选结果排序，并得到最近邻，其中海明距离计算方法为：
D(X,Y)＝∑(X[i]⊕Y[i])；
步骤三、根据步骤二获取的3张图片，将它们与新采集的图像关键帧一起进行特征点提取比对操作，比对两个图像间的特征相似度，得到分值最高的图，则获知此时机器人的位置。具体包括：
3.1、选用SIFT算法对图像进行特征检测与匹配，SIFT特征不止具有尺度不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果。具体步骤如下：
(1)构建尺度空间，模拟图像数据的多尺度特征。一幅二维图像的尺度空
间定义为：
L(x,y,s)＝G(x,y,s)*I(x,y)
其中，G(x,y,σ)是尺度可变高斯函数
为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间，利用不同尺度的高斯差分核与图像卷积生成：
D(x,y,s)＝L(x,y,ks)-L(x,y,s)
对于一幅图像建立其在不同尺度的图像，也成为子八度(octave)，这是为了scale-invariant，也就是在任何尺度都能够有对应的特征点，第一个子八度的scale为原图大小，后面每个octave为上一个octave降采样的结果，即原图的1/4(长宽分别减半)，构成下一个子八度(高一层金字塔)；
(2)寻找尺度空间的极值点，每一个采样点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点；
(3)对尺度空间D(x,y,s)进行二次泰勒展开，再利用二次泰勒展开式进行最小二乘拟合。然后通过计算拟合曲面的极值来进一步确定图像特征点的尺度和图像特征点的位置。确定了每幅图中的特征点后，，为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。
θ(x,y)＝atan2((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y)))
M(x,y)和θ(x,y)为(x,y)处梯度的模值和方向公式。其中L所用的尺度为每个关键点各自所在的尺度。至此，图像的关键点已经检测完毕，每一个关键点有三个信息：位置，所处尺度，方向，由此确定一个SIFT特征区域；
(4)生成关键点描述子。将坐标轴旋转为关键点的方向，以确保旋转不变性，以关键点为中心取8×8的窗口，然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。计算关键点周围的16*16的窗口中每一个像素的梯度，而且使用高斯下降函数降低远离中心的权重。这样就可以对每个特征形成一个4*4*8＝128维的描述子，每一维都可以表示4*4个格子中尺度和方向(scale/orientation)；
3.2、根据SIFT进行图像匹配。当两幅图像的描述子生成后，下一步采用关键点特征向量的欧氏距离来作为两幅图像中关键点的相似性判定度量。取图像1中的某个关键点，并找出其与图像2中欧氏距离最近的前两个关键点，在两个关键点中，如果最近的距离除以欠近的距离少于某个比例阈值，则接受这一对匹配点，阈值取值在0.4～0.6最佳，本实施例中取值为0.5。最后选取匹配点数最多的图像即可作为参考图像。

Claims (5)

1.一种街景场景下基于全局图像条纹码的回环检测方法，其特征在于，包括如下步骤：
(1)对已有地图的所有图像帧进行编码，并将编码存储在分层数据结构中；
(2)对新采集到的关键帧也进行二进制编码，与已有的二进制描述码进行对比，获取Hamming距离最小的前K张图片；
(3)将K张图片与新采集的图像关键帧一起进行特征点提取比对操作，比对两个图像间的特征相似度，得到分值最高的图，以此获知此时机器人的位置。
2.根据权利要求1所述的回环检测方法，其特征在于，所述步骤(1)中，具体包括如下内容：
(1.1)对图像进行x和y方向的梯度计算，得到灰度图像：
(1.1.1)将RGB彩色图像转化为灰度图：
Grey＝0.299×R+0.587×G+0.115×B
根据上式，依次读取每个像素点的R、G、B值，进行计算灰度值，将灰度值赋值给新图像的相应位置，所有像素点遍历一遍完成转换；
(1.1.2)采用索贝尔算子进行图像梯度计算，索贝尔卷积因子为：
该算子包含两组3×3的矩阵，分别为横向矩阵及纵向矩阵；将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值；以I代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值，其公式如下：
Gx＝[f(x+1,y-1)+2×f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2×f(x-1,y)+f(x-1,y+1)]
Gy＝[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]-[f(x-1,y+1)+2×f(x,y+1)+f(x+1,y+1)]
其中，f(x,y)表示图像(x,y)像素点的灰度值，图像的每一个像素的横向及纵向灰度值通过以下公式结合，来计算该点灰度的大小：
|G|＝|Gx|+|Gy|；
(1.2)设定阈值T1，若像素点的灰度值大于该阈值则该像素点置1；设定阈值T2，将W个像素宽的图像竖组合在一起，形成一个group，在每一个group中维护一个W*H的窗口，其中，W表示窗口宽度，H表示窗口长度，竖直移动窗口，计算窗口中每个竖直像素列中连续的“1”的个数，当连续的“1”的个数超过T2，则将该竖直像素列置1；设置阈值T3，针对宽为W的滑动窗口图像竖，计算竖直像素列的“1”的个数，若超过T3，则整个group置1；遍历所有group，最终形成了128bits的图像描述码；根据图像的大小调节W的大小，使得描述码为128bits，默认情况下T2为20，T3为1，T1是图像灰度值中值；
(1.3)采用KD树分割128维数据空间的数据结构便于快速索引：
(1.3.1)输入：128维空间数据集T＝{x1,x2,…,xi…,xn},其中xi＝{xi(1),xi(2),…xi(128)},i＝1….N；
(1.3.2)构造根节点：根结点对应于包含T的128维空间的超矩形区域；选择x(1)为坐标轴，以T中所有实例的x(1)坐标的中位数为切分点，将根结点对应的超矩形区域切分为两个子区域；切分由通过切分点并与坐标轴x(1)垂直的超平面实现；由根结点生成深度为1的左、右子结点：左子结点对应坐标x(1)小于切分点的子区域，右子结点对应于坐标x(1)大于切分点的子区域；将落在切分超平面上的实例点保存在根结点；
(1.3.3)重复：对深度为j的结点选择x(i)为切分的坐标轴，i＝j％128+1，以该结点的区域中所有实例的x(i)坐标的中位数为切分点，将该结点对应的超矩形区域切分为两个子区域；切分由通过切分点并与坐标轴x(i)垂直的超平面实现；由该结点生成深度为j+1的左、右子结点：左子结点对应坐标x(i)小于切分点的子区域，右子结点对应坐标x(i)大于切分点的子区域；将落在切分超平面上的实例点保存在该结点。
3.根据权利要求1所述的回环检测方法，其特征在于，所述步骤(2)中，具体包括如下内容：
利用MIH方法进行快速检索；在建立索引时将长度为128维的二进制码划分为8个连续不重合的子串，每个子串的长度为16，然后为每个子串建立一个哈希表；在查询时，按照同样的方式把待查询二进制码划分为8个子串，然后在相应的哈希表中进行查找以返回候选结果，最后根据候选结果和查询之间的Hamming距离对候选结果排序，并得到最近邻，Hamming距离计算方法为：
4.根据权利要求1所述的回环检测方法，其特征在于，所述步骤(3)中，具体包括如下内容：
(3.1)选用SIFT算法对图像进行特征检测与匹配：
(3.1.1)构建尺度空间，模拟图像数据的多尺度特征；
一幅二维图像的尺度空间定义为：
L(x,y,s)＝G(x,y,s)*I(x,y)
其中，G(x,y,s)是尺度可变高斯函数
利用不同尺度的高斯差分核与图像卷积生成：
D(x,y,s)＝L(x,y,ks)-L(x,y,s)
L(x,y,s)定义的是二维图像的尺度空间，x,y是空间坐标，s大小决定图像的平滑程度，G(x,y,s)是尺度可变高斯函数；
(3.1.2)寻找尺度空间的极值点，每一个采样点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共9×2+8＝26个点比较，以确保在尺度空间和二维图像空间都检测到极值点；一个图像点点如果在DOG尺度空间本层以及上下两层的9×2+8＝26个领域中是最大或最小值时，则认为该点是图像在该尺度下的一个候选关键点；
(3.1.3)对尺度空间D(x,y,s)进行二次泰勒展开，再利用二次泰勒展开式进行最小二乘拟合；然后通过计算拟合曲面的极值来进一步确定图像特征点的尺度和图像特征点的位置；确定了每幅图中的特征点后，为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性；
θ(x,y)＝atan2((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y)))
M(x,y)和θ(x,y)为(x,y)处梯度的模值和方向公式；其中L所用的尺度为每个关键点各自所在的尺度；至此，图像的关键点已经检测完毕，每一个关键点有三个信息：位置，所处尺度和方向，由此确定一个SIFT特征区域；
(3.1.4)生成关键点描述子；将坐标轴旋转为关键点的方向，以确保旋转不变性，以关键点为中心取8×8的窗口，然后在每4×4的小块上计算各方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点；一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息；计算关键点周围的16*16的窗口中每一个像素的梯度，而且使用高斯下降函数降低远离中心的权重。这样就可以对每个特征形成一个4*4*8＝128维的描述子，每一维都可以表示4*4个格子中尺度和方向；
(3.2)根据SIFT进行图像匹配；当两幅图像的描述子生成后，下一步采用关键点特征向量的欧氏距离来作为两幅图像中关键点的相似性判定度量；取其中一幅图像中的某个关键点，并找出其与另一幅图像中欧氏距离最近的前两个关键点，在两个关键点中，如果最近的距离除以欠近的距离少于两个距离的比例阈值，则接受这一对匹配点，最后选取匹配点数最多的图像即可作为参考图像；所述比例阈值取值为0.4～0.6。
5.根据权利要求4所述的回环检测方法，其特征在于，所述比例阈值取值为0.5。
CN201810797155.0A 2018-07-19 2018-07-19 一种街景场景下基于全局图像条纹码的回环检测方法 Active CN109101981B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810797155.0A CN109101981B (zh) 2018-07-19 2018-07-19 一种街景场景下基于全局图像条纹码的回环检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810797155.0A CN109101981B (zh) 2018-07-19 2018-07-19 一种街景场景下基于全局图像条纹码的回环检测方法

Publications (2)

Publication Number Publication Date
CN109101981A true CN109101981A (zh) 2018-12-28
CN109101981B CN109101981B (zh) 2021-08-24

Family

ID=64846727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810797155.0A Active CN109101981B (zh) 2018-07-19 2018-07-19 一种街景场景下基于全局图像条纹码的回环检测方法

Country Status (1)

Country Link
CN (1) CN109101981B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110501339A (zh) * 2019-08-13 2019-11-26 江苏大学 一种复杂环境下的布面定位方法
CN111815578A (zh) * 2020-06-23 2020-10-23 浙江大华技术股份有限公司 图像条纹检测方法、视频监控系统及相关装置
CN111860050A (zh) * 2019-04-27 2020-10-30 北京初速度科技有限公司 一种基于图像帧的回环检测方法及装置、车载终端
CN112614187A (zh) * 2020-12-31 2021-04-06 深圳市优必选科技股份有限公司 回环检测方法、装置、终端设备和可读存储介质
CN112990040A (zh) * 2021-03-25 2021-06-18 北京理工大学 一种结合全局和局部特征的鲁棒回环检测方法
CN114998216A (zh) * 2022-05-06 2022-09-02 湖北文理学院 透明件表面缺陷快速检测方法及装置
CN117475359A (zh) * 2023-12-27 2024-01-30 湖北经济学院 一种led灯的识别方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011100374A2 (en) * 2010-02-09 2011-08-18 Whitehead Institute For Biomedical Research Mediator and cohesin connect gene expression and chromatin architecture
EP3182373A1 (en) * 2015-12-17 2017-06-21 STmicroelectronics SA Improvements in determination of an ego-motion of a video apparatus in a slam type algorithm
CN106909877A (zh) * 2016-12-13 2017-06-30 浙江大学 一种基于点线综合特征的视觉同时建图与定位方法
CN107045353A (zh) * 2017-06-06 2017-08-15 江苏力德尔电子信息技术有限公司 全方位移动agv主控系统及其控制方法
CN107220932A (zh) * 2017-04-18 2017-09-29 天津大学 基于词袋模型的全景图像拼接方法
CN107403163A (zh) * 2017-07-31 2017-11-28 武汉大学 一种基于深度学习的激光slam闭环检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011100374A2 (en) * 2010-02-09 2011-08-18 Whitehead Institute For Biomedical Research Mediator and cohesin connect gene expression and chromatin architecture
EP3182373A1 (en) * 2015-12-17 2017-06-21 STmicroelectronics SA Improvements in determination of an ego-motion of a video apparatus in a slam type algorithm
CN106909877A (zh) * 2016-12-13 2017-06-30 浙江大学 一种基于点线综合特征的视觉同时建图与定位方法
CN107220932A (zh) * 2017-04-18 2017-09-29 天津大学 基于词袋模型的全景图像拼接方法
CN107045353A (zh) * 2017-06-06 2017-08-15 江苏力德尔电子信息技术有限公司 全方位移动agv主控系统及其控制方法
CN107403163A (zh) * 2017-07-31 2017-11-28 武汉大学 一种基于深度学习的激光slam闭环检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GUANGCONG ZHANG等: "Learning binary features online from motion dynamics for incremental loop-closure detection and place recognition", 《2016 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 *
LEI HAN等: "Beyond SIFT using binary features in loop closure detection", 《2017 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *
LEI HAN等: "MILD: Multi-index hashing for appearance based loop closure detection", 《2017 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》 *
封倩倩: "基于单目RGB摄像机的三维重建技术的算法研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
潘心冰: "基于Kinect的移动机器人SLAM技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860050A (zh) * 2019-04-27 2020-10-30 北京初速度科技有限公司 一种基于图像帧的回环检测方法及装置、车载终端
CN110501339A (zh) * 2019-08-13 2019-11-26 江苏大学 一种复杂环境下的布面定位方法
CN110501339B (zh) * 2019-08-13 2022-03-29 江苏大学 一种复杂环境下的布面定位方法
CN111815578A (zh) * 2020-06-23 2020-10-23 浙江大华技术股份有限公司 图像条纹检测方法、视频监控系统及相关装置
CN111815578B (zh) * 2020-06-23 2024-05-28 浙江大华技术股份有限公司 图像条纹检测方法、视频监控系统及相关装置
CN112614187A (zh) * 2020-12-31 2021-04-06 深圳市优必选科技股份有限公司 回环检测方法、装置、终端设备和可读存储介质
CN112614187B (zh) * 2020-12-31 2024-03-26 深圳市优必选科技股份有限公司 回环检测方法、装置、终端设备和可读存储介质
CN112990040A (zh) * 2021-03-25 2021-06-18 北京理工大学 一种结合全局和局部特征的鲁棒回环检测方法
CN112990040B (zh) * 2021-03-25 2022-09-06 北京理工大学 一种结合全局和局部特征的鲁棒回环检测方法
CN114998216A (zh) * 2022-05-06 2022-09-02 湖北文理学院 透明件表面缺陷快速检测方法及装置
CN117475359A (zh) * 2023-12-27 2024-01-30 湖北经济学院 一种led灯的识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109101981B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN109101981A (zh) 一种街景场景下基于全局图像条纹码的回环检测方法
CN105844669B (zh) 一种基于局部哈希特征的视频目标实时跟踪方法
CN103077512B (zh) 基于主成分析的数字图像的特征提取与匹配方法
CN104200495B (zh) 一种视频监控中的多目标跟踪方法
Costea et al. Creating roadmaps in aerial images with generative adversarial networks and smoothing-based optimization
CN104156965B (zh) 一种矿井监控图像自动快速拼接方法
CN104574347A (zh) 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN107392215A (zh) 一种基于sift算法的重图检测方法
CN113963222B (zh) 一种基于多策略组合的高分辨率遥感影像变化检测方法
CN101976461A (zh) 一种新的户外增强现实无标跟踪注册算法
CN113468968B (zh) 一种基于无锚框的遥感图像旋转目标检测方法
CN111652240B (zh) 一种基于cnn的图像局部特征检测与描述方法
CN112163588A (zh) 基于智能进化的异源图像目标检测方法、存储介质及设备
CN102446356A (zh) 一种获取均匀分布匹配点的遥感影像并行自适应匹配方法
Wei et al. A concentric loop convolutional neural network for manual delineation-level building boundary segmentation from remote-sensing images
Zhang et al. Research on image feature point matching based on ORB and RANSAC algorithm
Zhao et al. Boundary regularized building footprint extraction from satellite images using deep neural network
Shuai et al. An improved YOLOv5-based method for multi-species tea shoot detection and picking point location in complex backgrounds
CN114689038A (zh) 基于机器视觉的果实检测定位与果园地图构建方法
CN107038710B (zh) 一种以纸张为目标的视觉跟踪算法
Sun et al. Exploiting discriminative advantage of spectrum for hyperspectral image classification: SpectralFormer enhanced by spectrum motion feature
CN106504219A (zh) 有约束的路径形态学高分辨率遥感影像道路增强方法
Fang et al. He-slam: A stereo slam system based on histogram equalization and orb features
Peng et al. RWT-SLAM: Robust visual SLAM for highly weak-textured environments
CN110569711A (zh) 面向人体动作识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant