CN113112565B - 一种基于机器人视觉闭环检测算法的地图构建方法、存储介质及设备 - Google Patents
一种基于机器人视觉闭环检测算法的地图构建方法、存储介质及设备 Download PDFInfo
- Publication number
- CN113112565B CN113112565B CN202110377491.1A CN202110377491A CN113112565B CN 113112565 B CN113112565 B CN 113112565B CN 202110377491 A CN202110377491 A CN 202110377491A CN 113112565 B CN113112565 B CN 113112565B
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- gaussian
- region
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000010276 construction Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000007613 environmental effect Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器人视觉闭环检测算法的地图构建方法、存储介质及设备，该方法包括所述方法包括：步骤S1，根据机器人所自带的相机采集环境信息，从环境信息中提取出特征突出的强特征区域；步骤S2，采用高斯HOG描述符对环境信息进行处理，提取图像的全局特征；步骤S3，将通过高斯HOG描述符提取出的全局特征与强特征区域结合，得到图像中基于强特征区域的的特征描述符，并利用全局特征与事件场景记忆库中的图像进行粗匹配：步骤S4，将基于强特征区域的的特征描述符进行匹配，并进行强特征区域的位置匹配以实现二次检测。本发明既以减少误匹配的概率又减少图像匹配环节的匹配次数和相关区域，降低了耗时。
Description
技术领域
本发明属于同步定位与地图创建(Simultaneous Location And Mapping，SLAM)技术领域，涉及一种基于机器人视觉闭环检测算法的地图构建方法、存储介质及设备。
背景技术
同时定位与地图创建(Simultaneous Location And Mapping，SLAM)是指机器人在陌生环境中，利用自身所携带的传感器，自主采集周围环境信息，构建环境认知地图。但是机器人在运动过程中，由于自身的运动问题与传感器的精度问题而产生误差，并且这种误差会随着时间的增加变得越来越大，最终得到的认知地图会有很大的漂移误差，而在SLAM中添加闭环检测环节可以很好地解决这个问题。闭环检测又称为视觉位置识别，是SLAM系统中重要的组成部分。闭环检测的任务是可以识别机器人以前到过的地方，修正机器人的位姿，解决SLAM系统累积误差的问题。
原始的Co-HOG算法计算效率高且无需像其他算法需要提前训练，但在长时间的运行下，还是会出现匹配效率的不断下滑和误匹配的情况发生，现有技术无法解决误匹配的问题，或者能解决但会导致匹配效率进一步下降，这是因为事件场景记忆库中存储的参考图像不断增多，从而大大增加匹配计算所消耗的时间。而且现有的Co-HOG算法不能突出图像纹理的特点，令匹配的可靠性无法保证。
发明内容
本发明的目的在于提供一种基于机器人视觉闭环检测算法的地图构建方法，以解决现有技术中由于长时间运行导致现有地图构建方法匹配效率越来越慢，并且无法兼顾效率和可靠性、鲁棒性之间的的技术问题。
所述的一种基于机器人视觉闭环检测算法的地图构建方法，包括：
步骤S1，根据机器人所自带的相机采集环境信息，从环境信息中提取出特征突出的强特征区域；
步骤S2，采用高斯HOG描述符对环境信息进行处理，提取图像的全局特征；
步骤S3，将所述全局特征与强特征区域结合，得到图像中基于强特征区域的的特征描述符，并利用全局特征与事件场景记忆库中的图像进行粗匹配：
步骤S4，将基于强特征区域的的特征描述符以矩阵形式表示，与事件场景记忆库中参考图像的特征转置矩阵相乘，并采用最大池化，得出最佳匹配结果，根据匹配得出的图像差异对机器人的轨迹图像进行修正；
步骤S4中在匹配完成后，进行当前图像与事件场景记忆库中的参考图像之间的强特征区域位置匹配，以实现对匹配结果的二次检测。
优选的，所述步骤S1中，首先设某一图像为I，图像的长为H1，宽为Z1，则将图像的大小表示为(H1,Z1)，现将图像I划分为N个区域，定义每一块区域的大小为(H2,Z2)，定义图像某一区域的特征值为：
其中，x为像素的灰度值，y为领域灰度均值，f(x,y)为该图像的某一区域的灰度运算，c为图像的尺度，υ为由样本数据获得的灰度运算结果的算术均值，σ为根据样本数据得到的特征值的标准差，由上式求出图像各个区域的特征值，接着再以每4个彼此相邻的区域为单位区域，将单位区域图像的特征值进行均值处理，得出图像的优度矩阵，再与设定的优度阈值比较，求取图像的强特征区域。
优选的，在所述步骤S2中，采用新型Co-HOG算法获得新型HOG描述符并进一步提取全局特征，新型Co-HOG算法在计算图像梯度时，采用高斯导数滤波方法来表示图像的纹理特征，首先使用下式能同时求出图像在水平方向与竖直方向的导数，图像的导数为：
其中，I为图像，σ2为高斯导数滤波器的方差，d为导数滤波器的长度，d2为导数滤波器的长度的平方，λ为方向参数，取值为1或2，取值为1时，求取图像竖直方向的图像导数，取值为2时，求取水平方向的图像导数。由于高斯函数的可分离性，高斯滤波器分成两步进行，首先将图像在水平方向与一位高斯函数进行卷积；然后将卷积后的结果在竖直方向使用相同的一维高斯函数得到的结果进行卷积运算，通过两个方向导数的结合以获得图像整体的导数结果，再通过上述导数结果，获取新型高斯HOG描述符的梯度幅值信息与梯度方向信息。
优选的，计算新型高斯HOG描述符的梯度幅值信息与梯度方向信息的方法如下：根据导数结果计算图像I的梯度方向公式为：
其中，*为卷积符号，It1为图像在水平方向上的梯度方向公式，It2为图像在竖直方向上的梯度方向公式，θ为该区域的梯度角度，将上述公式变形，可得到如下公式：
当
时，从上述能推得图像的梯度幅值为：
优选的，所述步骤S3中，全局特征与事件场景记忆库中的图像进行粗匹配的方法包括，提出一种距离公式对图像进行粗匹配，公式表示为：
其中，
为当前图像的新型高斯HOG描述符的算术平均值，GHi为直方图的第i个区间，
为事件场景记忆库中图像的新型高斯HOG描述符的算术平均值，GHi'为直方图的第i个区间；该式通过直方图的相似性进行度量，设定距离阈值，将当前图像的直方图与所有事件场景记忆库中的图像进行比较，大于阈值的图像视为不相关图像，暂时舍弃，仅将留存的图像作为步骤S4中匹配的对象。
优选的，所述步骤S4中，表示基于强特征区域的的特征描述符的矩阵与事件场景记忆库中参考图像的特征转置矩阵相乘得到新的匹配结果矩阵，匹配结果矩阵的每一行表示当前图像的强特征区域，矩阵的每一列表示相应参考图像的预先匹配分数，对匹配结果矩阵使用最大池化将其转换为一个向量，该向量的每个元素为当前图像的强特征区域找到最佳匹配的参考图像的候选区域，取该向量的算术均值能得到当前图像与当前事件场景记忆库的参考图像在0到1范围的相似度评分，再将当前图像与所有事件场景记忆库的参考图像的相似度评分进行比较，匹配分数最高的参考图像即为最佳匹配结果。
优选的，所述步骤S4中，设当前图像Iq的第i个强特征区域的位置为
参考图像Ir的第j个强特征区域的位置为
其中
表示当前图像Iq的第i个强特征区域左上角坐标，
同理，则能得到两个坐标的差值为：
得到两个坐标在x方向和y方向的差之后，强特征区域位置匹配结果为：
其中，Sij表示该区域匹配是否差值过大，值为1表示匹配差值过大，值为0表示为匹配差值符合范围，Ti和Tj分别为x坐标和y坐标的差值阈值，∧为且预算符，∨为或运算符，如果wi与hj都超过阈值则去除该区域的匹配，否则视为匹配符合闭环检测标准。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的一种基于机器人视觉闭环检测算法的地图构建方法的步骤。
本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的一种基于机器人视觉闭环检测算法的地图构建方法的步骤。
本发明的技术效果：1、本文在原有Co-HOG算法上，将图像特征提取使用的HOG描述符改进为可以更加突出图像纹理特征的新型高斯HOG描述符，从而能让图像纹理特征的匹配结果更加准确可靠；在原始Co-HOG算法的图像匹配环节前，融入新型高斯HOG全局粗匹配，筛选事件场景记忆库数量，减少图像匹配环节的匹配次数；在图像匹配环节后，融入强特征区域位置匹配，进行二次检测，以减少误匹配的概率。
2、使用新型高斯HOG描述符来提取图像的全局特征，由于旋转、缩放和平移操作都是线性变换，因此它们保留了图像的形状，所以，即使图像的坐标改变，形状的确切状态也不会改变。高斯函数是一种连续的线性相关函数。因此，该函数可用于一阶和二阶连续旋转不变导数的计算，利用两个基础滤波器的线性组合，可以使高斯一阶导数和二阶导数滤波器任意角度旋转，具有较强的数学鲁棒性和抗噪声能力。
3、在其匹配环节中，首先融入新型高斯HOG描述符全局粗匹配，以减少事件场景记忆库的数量，提升相似性度量的匹配速度；接着进行图像之间的相似性度量，比较当前视觉场景信息与事件场景记忆库中的场景信息是否匹配，如果有成功匹配结果，则视为熟悉场景事件对移动机器人进行位姿校正，否则将当前场景信息视为新场景存入事件场景记忆库中，与未来的新场景进行匹配。
附图说明
图1为一种基于机器人视觉闭环检测算法的地图构建方法的流程示意图。
图2为一种基于机器人视觉闭环检测算法的地图构建方法的算法结构图。
图3为本方法在闭环检测匹配环节的流程示意图。
图4为本方法在ESSEX3IN1数据集下运行得到的准确率与召回率折线图。
图5为本方法在GardensPoint数据集下运行得到的准确率与召回率折线图。
图6为本方法在SPEDTest数据集下运行得到的准确率与召回率折线图。
图7为本方法在Cross Seasons数据集下运行得到的准确率与召回率折线图。
图8为在SLAM公共数据集下获取的未经修正的轨迹图。
图9为在SLAM公共数据集下本方法检测到的相似性场景。
图10为在SLAM公共数据集下采用本方法经过闭环检测修正后的轨迹图。
图11为真实实验环境场景和对应的平面布局图。
图12为移动机器人运行到c点时里程计信息图。
图13为移动机器人运行到b点时里程计信息图。
图14为移动机器人运行结束时里程计信息图。
图15为移动机器人运行到c点时使用本方法进行修正的里程计信息图。
图16为移动机器人运行到b点时使用本方法进行修正的里程计信息图。
图17为移动机器人运行结束时使用本方法进行修正的里程计信息图。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。
机器人在运动过程中，由于自身的运动问题与传感器的精度问题而产生误差，并且这种误差会随着时间的增加变得越来越大，最终得到的认知地图会有很大的漂移误差，而在SLAM中添加闭环检测环节可以很好地解决这个问题。闭环检测又称为视觉位置识别，是SLAM系统中重要的组成部分。闭环检测的任务是可以识别机器人以前到过的地方，修正机器人的位姿，解决SLAM系统累积误差的问题。因此，一种好的闭环检测算法，可以实现复杂环境下的定位与导航，构建出二维环境位置估计图，能够直观地反映定位和导航的情况。利用该原理对现有的SLAM技术进行改进得到本发明方案。
实施例一：
如图1-3所示，本发明提供了一种基于机器人视觉闭环检测算法的地图构建方法，本方法具体包括。
步骤S1，根据机器人所自带的相机采集环境信息，从环境信息中提取出特征突出的强特征区域。
根据机器人所自带的相机采集环境信息，从环境信息中提取出特征突出的信息点，将其称为强特征区域。
具体包括：图像的强特征区域即为图像中场景复杂、特征明显的区域，相对于其他图像来说，这些区域有着很强区分度，强特征区域提取可以很好地提高图像处理的运算效率。
在采用机器人所自带的相机提取环境信息的过程中，首先要在视觉图像中提取强特征区域，图像的强特征区域即为图像中场景复杂、特征明显的区域，相对于其他图像来说，这些区域有着很强区分度，强特征区域提取可以很好地提高图像处理的运算效率，在本文算法中，采用一种计算图像像素的灰度值及其领域灰度均值间的运算及得到的结果来判断图像的强特征区域。
首先设某一图像为I，图像的长为H1，宽为Z1，则将图像的大小表示为(H1,Z1)，现将图像I划分为N个区域，定义每一块区域的大小为(H2,Z2)，定义图像某一区域的特征值为：
其中，x为像素的灰度值，y为领域灰度均值，f(x,y)为该图像的某一区域的灰度运算，c为图像的尺度，υ为由样本数据获得的灰度运算结果的算术均值，σ为根据样本数据得到的特征值的标准差，由上式求出图像各个区域的特征值，接着再以每4个彼此相邻的区域为单位区域，将单位区域图像的特征值进行均值处理得到结果yij，再得出图像中每个单位区域的优度矩阵，再与设定的优度阈值比较，求取图像的强特征区域。
其中，得出图像的优度矩阵为：
进一步获得区分强特征区域和弱特征区域的公式为。
其中，m＝Z1/Z2，n＝H1/H2，m与n为图像在横纵方向上所分得的个数，也可以作为优度矩阵的边界值，Eij＝0时，表示该区域为弱特征区域，Eij＝1时，表示该区域为强特征区域。T为优度阈值，是一个变量，取决于场景在图像中表示。
步骤S2，采用高斯HOG描述符对环境信息进行处理，提取图像的全局特征。
该步骤中采用改进后的新型Co-HOG算法获得新型HOG描述符并进一步提取全局特征，新型Co-HOG算法在计算图像梯度时，采用高斯导数滤波方法来表示图像的纹理特征。由于旋转、缩放和平移操作都是线性变换，因此它们保留了图像的形状，所以，即使图像的坐标改变，形状的确切状态也不会改变。高斯函数是一种连续的线性相关函数。因此，该函数可用于一阶和二阶连续旋转不变导数的计算，利用两个基础滤波器的线性组合，可以使高斯一阶导数和二阶导数滤波器任意角度旋转。
采用高斯导数滤波方法来表示和分类纹理图像。图像的主要一阶微分量是梯度。梯度是一个二维矢量。它的方向和大小信息在每一点上都不同。首先使用下式能同时求出图像在水平方向与竖直方向的导数，图像的导数为：
其中，I为图像，σ2为高斯导数滤波器的方差，d为导数滤波器的长度，d2为导数滤波器的长度的平方，λ为方向参数，取值为1或2，取值为1时，求取图像竖直方向的图像导数，取值为2时，求取水平方向的图像导数。由于高斯函数的可分离性，高斯滤波器分成两步进行，首先将图像在水平方向与一位高斯函数进行卷积；然后将卷积后的结果在竖直方向使用相同的一维高斯函数得到的结果进行卷积运算，通过两个方向导数的结合以获得图像整体的导数结果。
之后计算新型高斯HOG描述符的梯度幅值信息与梯度方向信息的方法如下：根据导数结果计算图像I的梯度方向公式为：
其中，*为卷积符号，It1为图像在水平方向上的梯度方向公式，It2为图像在竖直方向上的梯度方向公式，θ为该区域的梯度角度，将上述公式变形，可得到如下公式：
当
时，从上述能推得图像的梯度幅值为：
基于上述方式计算得到的梯度信息根据现有Co-HOG方法获得相应的高斯HOG描述符特征和图像的全局特征。
步骤S3，将所述全局特征与强特征区域结合，得到图像中基于强特征区域的的特征描述符，并利用全局特征与事件场景记忆库中的图像进行粗匹配。
本方法在匹配环节中，首先采用全局粗匹配方法，减少事件场景记忆库中无用视觉环境信息，提升相似性度量的匹配速度；在粗匹配完成后，接着进行图像之间的相似性度量，比较当前视觉场景信息与事件场景记忆库中的场景信息是否匹配，如果有匹配结果，则视为熟悉场景对移动机器人进行位姿校正，否则将当前场景信息视为新场景存入事件场景记忆库中，与未来的新场景进行匹配；最后在相似性度量后，进行强特征区域的位置匹配，用于检验匹配结果是否准确，提高闭环检测的准确率。
本步骤中全局特征与事件场景记忆库中的图像进行粗匹配的方法包括，提出一种距离公式对图像进行粗匹配，公式表示为：
其中，
为当前图像的新型高斯HOG描述符的算术平均值，GHi为直方图的第i个区间，
为事件场景记忆库中图像的新型高斯HOG描述符的算术平均值，GHi'为直方图的第i个区间；该式通过直方图的相似性进行度量，设定距离阈值，将当前图像的直方图与所有事件场景记忆库中的图像进行比较，大于阈值的图像视为不相关图像，暂时舍弃，仅将留存的图像作为步骤S4中匹配的对象。该方法上的改进可以减少图像事件场景记忆库的数量，提高算法运算速度。
而当前图像在匹配前，先将新型高斯HOG描述符提取出的全局特征与图像的强特征区域相结合，使用矩阵来表示这些区域的特征描述；在匹配环节中，只使用强特征区域中的图像特征进行匹配。
步骤S4，将基于强特征区域的的特征描述符以矩阵形式表示，与事件场景记忆库中参考图像的特征转置矩阵相乘，并采用最大池化，得出最佳匹配结果，根据匹配得出的图像差异对机器人的轨迹图像进行修正。
表示基于强特征区域的的特征描述符的矩阵与事件场景记忆库中参考图像的特征转置矩阵相乘得到新的匹配结果矩阵，匹配结果矩阵的每一行表示当前图像的强特征区域，矩阵的每一列表示相应参考图像的预先匹配分数，对匹配结果矩阵使用最大池化将其转换为一个向量，该向量的每个元素为当前图像的强特征区域找到最佳匹配的参考图像的候选区域，取该向量的算术均值能得到当前图像与当前事件场景记忆库的参考图像在0到1范围的相似度评分，再将当前图像与所有事件场景记忆库的参考图像的相似度评分进行比较，匹配分数最高的参考图像即为最佳匹配结果。
在匹配完成后，进行当前图像与事件场景记忆库中的参考图像之间的强特征区域位置匹配，以实现对匹配结果的二次检测。位置匹配的具体方式包括：设当前图像Iq的第i个强特征区域的位置为
参考图像Ir的第j个强特征区域的位置为
其中
表示当前图像Iq的第i个强特征区域左上角坐标，
同理，则可以得到两个坐标的差值为：
得到两个坐标在x方向和y方向的差之后，强特征区域位置匹配结果为：
其中，Sij表示该区域匹配是否差值过大，1为匹配差值过大，0为匹配差值符合范围，Ti和Tj分别为x坐标和y坐标的差值阈值，∧为且预算符，∨为或运算符，如果wi与hj都超过阈值则去除该区域的匹配，否则视为匹配符合闭环检测标准。
下面以结合具体实验对上述基于GRL-CoHOG闭环检测算法的过程进行说明。
图4至图7分别给出了在不同的数据集下,本文算法运行出的准确率与召回率的折线图。本文采用4个公共数据集公共数据集来完成各实验，这4个数据集的侧重各有不同。ESSEX3IN1数据集由高度混乱和具有挑战性的视角变化的地点图像组成；Gardens point数据集侧重于连续的视角变化；SPEDTest数据集侧重于时间与季节的变化所导致环境的变化；Cross Seasons数据集主要由低质量、高动态和模糊的图像所组成，图像特征提取与匹配都有很大的难度。可以看出，在不同环境特征的考验下，本文算法任可以保持较高的匹配成功率，提高SLAM系统整体鲁棒性。
图8至图10为本文算法在公开数据集KITTI数据集05序列进行测试，区中图8为在环境中未经关联修正的轨迹图。图9为本算法在闭环检测中的位置估计图，图10是本文算法进过闭环检测修正后与真实轨迹的比较图。在结合SLAM算法后，可以看出经过本文算法闭环检测修正后，旋转误差与平移误差都要小于未经修正的SLAM系统。
下面将用另一组实验对本实施例的方法进行说明：选取室内长方形会议桌构建的环形场地作为实验环境，本文选取学校会议室为室内实验场景，如图11所示，大小为5m×7m。图11为会议室场景的平面布局图，其中虚线部分为会议桌，阴影部分为桌子，椅子等障碍物。其中，a为机器人的起始点，围绕会议桌做顺时针运动，从a点到b点到c点最后返回到a点，整个运动过程一共两圈。其中，图12为移动机器人运行到c点时里程计信息图；图13为移动机器人运行到b点时里程计信息图；图14为移动机器人运行结束时里程计信息图；图15为移动机器人运行到c点时使用本文算法进行修正的里程计信息图；图16为移动机器人运行到b点时使用本文算法进行修正的里程计信息图；图17为移动机器人运行结束时使用本文算法进行修正的里程计信息图。
从图中可以看出，移动机器人在完成一圈之后，已经产生了位置误差，使用视觉里程计提取信息后，并未进行修正，所以在第二圈结束时，依然保持着误差。本文算法在一圈重新回到a点时也有误差，但通过本文的闭环检测算法，检测出移动机器人又重新回到了熟悉的场景，并立即开始进行位姿修正，由于位姿的实时校正，在第二圈结束时，本文算法所得出的轨迹图与第一圈的路径几乎无差别，说明本文算法可以进行实时的闭环检测。
实施例二：
与本发明实施例一对应，本发明实施例二提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时依照实施例一的方法实现以下步骤：
与本发明实施例一对应，本发明实施例三提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
步骤S1，根据机器人所自带的相机采集环境信息，从环境信息中提取出特征突出的信息点，将其称为强特征区域；
步骤S2，采用新型高斯HOG描述符对环境信息进行处理，提取图像的全局特征；
步骤S3，使用新型高斯HOG描述符特征与强特征区域结合，将基于强特征区域的新型高斯HOG描述符特征与事件场景记忆库进行比较：
步骤S4，将图像的特征描述符以矩阵形式表示，与事件场景记忆库中的图像特征矩阵相乘，并采用最大池化，得出最佳匹配结果，根据图像的差异对机器人的轨迹图进行修正。
上述关于计算机设备实现步骤的具体限定可以参见实施例一，在此不再做详细说明。
需要说明的是，本发明的说明书附图中的框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与获得机指令的组合来实现。
优选的，所述步骤S4中，表示基于强特征区域的的特征描述符的矩阵与事件场景记忆库中参考图像的特征转置矩阵相乘得到新的匹配结果矩阵，匹配结果矩阵的每一行表示当前图像的强特征区域，矩阵的每一列表示相应参考图像的预先匹配分数，对匹配结果矩阵使用最大池化将其转换为一个向量，该向量的每个元素为当前图像的强特征区域找到最佳匹配的参考图像的候选区域，取该向量的算术均值能得到当前图像与当前事件场景记忆库的参考图像在0到1范围的相似度评分，再将当前图像与所有事件场景记忆库的参考图像的相似度评分进行比较，匹配分数最高的参考图像即为最佳匹配结果。
优选的，所述步骤S4中，设当前图像Iq的第i个强特征区域的位置为
参考图像Ir的第j个强特征区域的位置为
其中
表示当前图像Iq的第i个强特征区域左上角坐标，
同理，则能得到两个坐标的差值为：
得到两个坐标在x方向和y方向的差之后，强特征区域位置匹配结果为：
其中，Sij表示该区域匹配是否差值过大，值为1表示匹配差值过大，值为0表示为匹配差值符合范围，Ti和Tj分别为x坐标和y坐标的差值阈值，∧为且预算符，∨为或运算符，如果wi与hj都超过阈值则去除该区域的匹配，否则视为匹配符合闭环检测标准。
实施例二：
与本发明实施例一对应，本发明实施例二提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时依照实施例一的方法实现以下步骤：
步骤S1，根据机器人所自带的相机采集环境信息，从环境信息中提取出特征突出的强特征区域。
步骤S2，采用高斯HOG描述符对环境信息进行处理，提取图像的全局特征。
步骤S3，将通过高斯HOG描述符提取出的全局特征与强特征区域结合，得到图像中基于强特征区域的的特征描述符，并利用全局特征与事件场景记忆库中的图像进行粗匹配。
步骤S4，将基于强特征区域的的特征描述符以矩阵形式表示，与事件场景记忆库中参考图像的特征转置矩阵相乘，并采用最大池化，得出最佳匹配结果，根据匹配得出的图像差异对机器人的轨迹图进行修正；步骤S4中在匹配完成后，进行当前图像与事件场景记忆库中的参考图像之间的强特征区域位置匹配，以实现对匹配结果的二次检测。
上述存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、光盘等各种可以存储程序代码的介质。
上述关于计算机可读存储介质中程序执行后实现步骤的具体限定可以参见实施例一，在此不再做详细说明。
实施例三：
与本发明实施例一对应，本发明实施例三提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时依照实施例一的方法实现以下步骤：
步骤S1，根据机器人所自带的相机采集环境信息，从环境信息中提取出特征突出的强特征区域。
步骤S2，采用高斯HOG描述符对环境信息进行处理，提取图像的全局特征。
步骤S3，将通过高斯HOG描述符提取出的全局特征与强特征区域结合，得到图像中基于强特征区域的的特征描述符，并利用全局特征与事件场景记忆库中的图像进行粗匹配。
步骤S4，将基于强特征区域的的特征描述符以矩阵形式表示，与事件场景记忆库中参考图像的特征转置矩阵相乘，并采用最大池化，得出最佳匹配结果，根据匹配得出的图像差异对机器人的轨迹图进行修正；步骤S4中在匹配完成后，进行当前图像与事件场景记忆库中的参考图像之间的强特征区域位置匹配，以实现对匹配结果的二次检测。
上述关于计算机设备实现步骤的具体限定可以参见实施例一，在此不再做详细说明。
需要说明的是，本发明的说明书附图中的框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与获得机指令的组合来实现。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。
Claims (7)
1.一种基于机器人视觉闭环检测算法的地图构建方法，其特征在于，所述方法包括：
步骤S1，根据机器人所自带的相机采集环境信息，从环境信息中提取出特征突出的强特征区域；
步骤S2，采用高斯HOG描述符对环境信息进行处理，提取图像的全局特征；
该步骤中采用新型Co-HOG算法获得新型HOG描述符并进一步提取全局特征，新型Co-HOG算法在计算图像梯度时，采用高斯导数滤波方法来表示图像的纹理特征，首先使用下式能同时求出图像在水平方向与竖直方向的导数，图像的导数为：
其中，I为图像，σ2为高斯导数滤波器的方差，d为导数滤波器的长度，d2为导数滤波器的长度的平方，λ为方向参数，取值为1或2，取值为1时，求取图像竖直方向的图像导数，取值为2时，求取水平方向的图像导数；由于高斯函数的可分离性，高斯滤波器分成两步进行，首先将图像在水平方向与一位高斯函数进行卷积；然后将卷积后的结果在竖直方向使用相同的一维高斯函数得到的结果进行卷积运算，通过两个方向导数的结合以获得图像整体的导数结果，再通过上述导数结果，获取新型高斯HOG描述符的梯度幅值信息与梯度方向信息；
计算新型高斯HOG描述符的梯度幅值信息与梯度方向信息的方法如下：根据导数结果计算图像I的梯度方向公式为：
其中，*为卷积符号，It1为图像在水平方向上的梯度方向公式，It2为图像在竖直方向上的梯度方向公式，θ为该区域的梯度角度，将上述公式变形，可得到如下公式：
当
时，从上述能推得图像的梯度幅值为：
基于上述方式计算得到的梯度信息根据现有Co-HOG方法获得相应的高斯HOG描述符特征和图像的全局特征；
步骤S3，将通过高斯HOG描述符提取出的全局特征与强特征区域结合，得到图像中基于强特征区域的的特征描述符，并利用全局特征与事件场景记忆库中的图像进行粗匹配：
步骤S4，将基于强特征区域的的特征描述符以矩阵形式表示，与事件场景记忆库中参考图像的特征转置矩阵相乘，并采用最大池化，得出最佳匹配结果，根据匹配得出的图像差异对机器人的轨迹图进行修正；
步骤S4中在匹配完成后，进行当前图像与事件场景记忆库中的参考图像之间的强特征区域位置匹配，以实现对匹配结果的二次检测。
2.根据权利要求1所述的一种基于机器人视觉闭环检测算法的地图构建方法，其特征在于，所述步骤S1中，首先设某一图像为I，图像的长为H1，宽为Z1，则将图像的大小表示为(H1,Z1)，现将图像I划分为N个区域，定义每一块区域的大小为(H2,Z2)，定义图像某一区域的特征值为：
其中，x为像素的灰度值，y为领域灰度均值，f(x,y)为该图像的某一区域的灰度运算，c为图像的尺度，υ为由样本数据获得的灰度运算结果的算术均值，σ为根据样本数据得到的特征值的标准差，由上式求出图像各个区域的特征值，接着再以每4个彼此相邻的区域为单位区域，将单位区域图像的特征值进行均值处理，得出图像的优度矩阵，再与设定的优度阈值比较，求取图像的强特征区域。
3.根据权利要求1所述的一种基于机器人视觉闭环检测算法的地图构建方法，其特征在于，所述步骤S3中，全局特征与事件场景记忆库中的图像进行粗匹配的方法包括，提出一种距离公式对图像进行粗匹配，公式表示为：
其中，
为当前图像的新型高斯HOG描述符的算术平均值，GHi为直方图的第i个区间，
为事件场景记忆库中图像的新型高斯HOG描述符的算术平均值，GHi'为直方图的第i个区间；该式通过直方图的相似性进行度量，设定距离阈值，将当前图像的直方图与所有事件场景记忆库中的图像进行比较，大于阈值的图像视为不相关图像，暂时舍弃，仅将留存的图像作为步骤S4中匹配的对象。
4.根据权利要求1所述的一种基于机器人视觉闭环检测算法的地图构建方法，其特征在于，所述步骤S4中，表示基于强特征区域的的特征描述符的矩阵与事件场景记忆库中参考图像的特征转置矩阵相乘得到新的匹配结果矩阵，匹配结果矩阵的每一行表示当前图像的强特征区域，矩阵的每一列表示相应参考图像的预先匹配分数，对匹配结果矩阵使用最大池化将其转换为一个向量，该向量的每个元素为当前图像的强特征区域找到最佳匹配的参考图像的候选区域，取该向量的算术均值能得到当前图像与当前事件场景记忆库的参考图像在0到1范围的相似度评分，再将当前图像与所有事件场景记忆库的参考图像的相似度评分进行比较，匹配分数最高的参考图像即为最佳匹配结果。
5.根据权利要求1所述的一种基于机器人视觉闭环检测算法的地图构建方法，其特征在于，所述步骤S4中，设当前图像Iq的第i个强特征区域的位置为
参考图像Ir的第j个强特征区域的位置为
其中
表示当前图像Iq的第i个强特征区域左上角坐标，
同理，则能得到两个坐标的差值为：
得到两个坐标在x方向和y方向的差之后，强特征区域位置匹配结果为：
其中，Sij表示该区域匹配是否差值过大，值为1表示匹配差值过大，值为0表示为匹配差值符合范围，Ti和Tj分别为x坐标和y坐标的差值阈值，∧为且运算符，∨为或运算符，如果wi与hj都超过阈值则去除该区域的匹配，否则视为匹配符合闭环检测标准。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的一种基于机器人视觉闭环检测算法的地图构建方法的步骤。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-5中任一所述的一种基于机器人视觉闭环检测算法的地图构建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110377491.1A CN113112565B (zh) | 2021-04-08 | 2021-04-08 | 一种基于机器人视觉闭环检测算法的地图构建方法、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110377491.1A CN113112565B (zh) | 2021-04-08 | 2021-04-08 | 一种基于机器人视觉闭环检测算法的地图构建方法、存储介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113112565A CN113112565A (zh) | 2021-07-13 |
| CN113112565B true CN113112565B (zh) | 2022-01-25 |
Family
ID=76714634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110377491.1A Active CN113112565B (zh) | 2021-04-08 | 2021-04-08 | 一种基于机器人视觉闭环检测算法的地图构建方法、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113112565B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393432B (zh) * | 2022-08-11 | 2023-04-28 | 安徽工程大学 | 消除静态特征误匹配的机器人定位方法、存储介质及设备 |
| CN118505746A (zh) * | 2024-05-15 | 2024-08-16 | 安徽工程大学 | 一种基于深度学习的视觉低光闭环检测算法、存储介质及设备 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540039B (zh) * | 2008-03-21 | 2011-09-07 | 李金宗 | 单帧图象超分辨方法 |
| CN103752534B (zh) * | 2014-01-14 | 2016-04-20 | 温州中波电气有限公司 | 智觉图像智能识别分拣装置及识别分拣方法 |
| WO2016029939A1 (en) * | 2014-08-27 | 2016-03-03 | Metaio Gmbh | Method and system for determining at least one image feature in at least one image |
| CN104807465B (zh) * | 2015-04-27 | 2018-03-13 | 安徽工程大学 | 机器人同步定位与地图创建方法及装置 |
| CN105046224A (zh) * | 2015-07-16 | 2015-11-11 | 东华大学 | 基于分块自适应加权梯度方向直方图特征的人脸识别方法 |
| CN105093196B (zh) * | 2015-07-24 | 2017-06-20 | 西安电子科技大学 | 基于逆伽马纹理复合高斯模型下的相干检测方法 |
| CN106271081B (zh) * | 2016-09-30 | 2018-02-27 | 华南理工大学 | 三坐标直角机器人线激光焊缝自动跟踪系统及其跟踪方法 |
| CN106874854B (zh) * | 2017-01-19 | 2019-12-31 | 西安电子科技大学 | 基于嵌入式平台的无人机车辆跟踪方法 |
| CN106871911B (zh) * | 2017-04-28 | 2019-12-10 | 安徽工程大学 | 一种突发障碍物识别的bvgsp-slam复合模型的实现方法 |
| US10628965B2 (en) * | 2017-11-17 | 2020-04-21 | Qualcomm Incorporated | Systems and methods for illuminant-invariant model estimation |
| CN109359549A (zh) * | 2018-09-20 | 2019-02-19 | 广西师范大学 | 一种基于混合高斯和hog_lbp的行人检测方法 |
| CN111157956A (zh) * | 2019-12-24 | 2020-05-15 | 清华大学 | 一种非高斯背景下的雷达信号失配敏感检测方法及系统 |
-
2021
- 2021-04-08 CN CN202110377491.1A patent/CN113112565B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113112565A (zh) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ullah et al. | Using orientation codes for rotation-invariant template matching | |
| KR100493159B1 (ko) | 이동체의 효율적 자기 위치 인식을 위한 랜드마크 및 이를이용한 자기 위치 인식 장치 및 방법 | |
| Zivkovic et al. | Hierarchical map building using visual landmarks and geometric constraints | |
| US8265425B2 (en) | Rectangular table detection using hybrid RGB and depth camera sensors | |
| Olson | Maximum-likelihood template matching | |
| Pirker et al. | CD SLAM-continuous localization and mapping in a dynamic world | |
| CN113112565B (zh) | 一种基于机器人视觉闭环检测算法的地图构建方法、存储介质及设备 | |
| CN114782499A (zh) | 一种基于光流和视图几何约束的图像静态区域提取方法及装置 | |
| Ferguson et al. | A 2d-3d object detection system for updating building information models with mobile robots | |
| CN113538620A (zh) | 一种面向二维栅格地图的slam建图结果评价方法 | |
| Ma et al. | Visual homing via guided locality preserving matching | |
| CN116921932A (zh) | 焊接轨迹识别方法、装置、设备及存储介质 | |
| Alcantarilla et al. | Learning visibility of landmarks for vision-based localization | |
| Moreno et al. | Stereo vision specific models for particle filter-based SLAM | |
| Nielsen et al. | Survey on 2d lidar feature extraction for underground mine usage | |
| Menegatti et al. | Hierarchical image-based localisation for mobile robots with monte-carlo localisation | |
| Vlassis et al. | Edge-based features from omnidirectional images for robot localization | |
| CN117152719A (zh) | 除草障碍物检测方法、设备、存储介质及装置 | |
| Paya et al. | Estimating the position and orientation of a mobile robot with respect to a trajectory using omnidirectional imaging and global appearance | |
| CN113744301B (zh) | 移动机器人的运动轨迹估计方法、装置和存储介质 | |
| Berenguer et al. | Nearest position estimation using omnidirectional images and global appearance descriptors | |
| Alhwarin | Fast and robust image feature matching methods for computer vision applications | |
| Frontoni et al. | An efficient similarity metric for omnidirectional vision sensors | |
| Song et al. | A Hidden Markov model approach for Voronoi localization | |
| Shen et al. | Visual based Localization for mobile robots with Support Vector Machines |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |