CN103252778B - 用于估计机器人位置的设备及其方法 - Google Patents

Abstract

一种用于估计机器人位置的设备及其方法，所述设备包括：图像获取单元，被配置为：获取RGB图像和具有深度信息的红外图像，通过将RGB图像与红外图像匹配来顺序地生成充当用于提取特征点的参考的参考图像以及要与参考图像进行比较的目标图像；图像处理单元，被配置为：从参考图像和目标图像中的每一个提取二维的参考特征点，在参考图像与目标图像之间匹配参考特征点，并从匹配的二维的参考特征点提取三维的至少一个附加特征点；位置估计单元，被配置为：从附加特征点估计机器人的位置，并优化估计的机器人的位置，其中，除参考特征点以外，还提取附加特征点，从而提高识别机器人的位置的稳定性。

Description

用于估计机器人位置的设备及其方法

技术领域

本公开的实施例涉及一种用于估计机器人的位置的设备及其方法，其中，所述设备能够通过提供除参考特征点以外的附加特征点来计算机器人的位置。

背景技术

关于识别机器人的位置，已经使用各种传感器。对于室内而言，已经使用超声传感器、红外传感器、无线信号和相机进行了针对机器人位置识别的大量研究。

为了成本和有效性的利益，已经使用各种传感器中的相机(主要使用立体相机、模拟人体双目视觉和单相机)进行了大量研究。

使用相机可以明显地降低机器人位置识别中的成本，但是导致难以匹配特征点和计算特征点的三维位置。

因此，传统的研究已经关注于实现特征点的鲁棒匹配。为了计算机器人的位置，即使当在不同的方向和不同的距离处观看图像时，也需要识别特征点，因此，特征点匹配是重要的。

如果实现了足够量的特征点匹配，那么通过数学公式来计算机器人的位置。但是，室内的壁表面缺少特征点，因此，匹配的特征点的数量少，并且，难以计算机器人的位置。

即使用数学公式来计算，基于少量匹配特征点计算机器人的位置也会产生错误的结果。

也就是说，在室内估计机器人的位置时，特征点的数量和特征点的匹配是新出现的问题。

发明内容

因此，本公开的一方面在于提供一种用于估计机器人的位置的设备及其方法，其中，所述设备能够提取除参考特征点以外的与参考特征点相邻的附加特征点。

本公开的另外的方面将在下面的描述中被部分地阐述，并且，根据所述描述部分地将变得明显，或者，可以通过本公开的实践来获知。

根据本公开的一方面，一种用于估计机器人的位置的设备包括图像获取单元、图像处理单元和位置估计单元。图像获取单元可以被配置为：获取RGB图像和具有深度信息的红外图像，并且，通过将RGB图像与红外图像匹配来顺序地生成充当用于提取特征点的参考的参考图像以及将与参考图像进行比较的目标图像。图像处理单元可以被配置为：从参考图像和目标图像中的每一个提取二维的参考特征点，在参考图像与目标图像之间匹配参考特征点，并且，从匹配的二维的参考特征点提取三维的至少一个附加特征点。位置估计单元可以被配置为：从附加特征点估计机器人的位置，并优化估计的机器人的位置。

附加特征点可以是位于与匹配参考特征点相邻的位置的坐标信息，并具有深度信息。

附加特征点可以包括针对每一个匹配参考特征点提取的四个附加特征点或八个附加特征点。

图像处理单元可以包括参考特征点提取单元、特征点匹配单元和附加特征点提取单元。参考特征点提取单元可以被配置为：通过使用参考特征点提取算法，从参考图像或目标图像提取参考特征点。特征点匹配单元可以被配置为：将参考图像的参考特征点与目标图像的参考特征点匹配，以便确定参考图像的参考特征点是否为与目标图像的参考特征点相同的特征点。附加特征点提取单元可以被配置为：从自图像获取单元发送的三维图像提取位于与匹配参考特征点相邻的位置的至少一个附加特征点。

附加特征点提取单元可以包括确定单元，其中，所述确定单元被配置为确定是否提取附加特征点或者选择要提取的附加特征点的数量。

确定单元可以通过比较匹配参考特征点的数量与第一参考值来确定是否提取附加特征点。

确定单元可以通过比较匹配参考特征点的数量与第二参考值来选择要提取的附加特征点的数量。

位置估计单元可以通过使用下面的数学公式来获得机器人在三维空间中的位移：

${\min }_{R,d}{\mathrm{\Σ}}_{i=1}^n{\left|\right|{\mathrm{RX}}_i+d-Y_i\left|\right|}^2.$

根据本公开的另一方面，估计机器人的位置的方法如下。可以获取RGB图像和具有深度信息的红外图像。通过将RGB图像与红外图像匹配，可以顺序地生成参考图像和目标图像。参考图像可以充当用于提取特征点的参考，并且，可以将目标图像与参考图像进行比较。可以从参考图像和目标图像中的每一个提取二维的参考特征点。在参考图像与目标图像之间匹配参考特征点。可以从二维的匹配参考特征点提取三维的至少一个附加特征点，以便执行图像处理。可以从附加特征点估计机器人的位置，并且，可以优化估计的机器人的位置。

附加特征点可以是位于与匹配参考特征点相邻的位置的坐标信息，并且具有深度信息。

附加特征点可以包括针对每一个匹配参考特征点提取的四个附加特征点或者八个附加特征点。

图像处理的执行如下。可以通过使用参考特征点提取算法从参考图像或者目标图像来提取参考特征点。可以通过将参考图像的参考特征点与目标图像的参考特征点匹配来确定参考图像的参考特征点是否为与目标图像的参考特征点相同的特征点。可以从自图像获取单元发送的三维图像提取位于与匹配参考特征点相邻的位置的至少一个附加特征点。

附加特征点的提取如下。可以执行以下确定：确定是否提取附加特征点或者选择要提取的附加特征点的数量。

确定的执行可以包括将匹配参考特征点的数量与第一参考值进行比较。

确定的执行可以包括将匹配参考特征点的数量与第二参考值进行比较。

机器人的位置的估计可以包括通过使用下面的数学公式来获得机器人在三维空间中的位移：

${\min }_{R,d}{\mathrm{\Σ}}_{i=1}^n{\left|\right|{\mathrm{RX}}_i+d-Y_i\left|\right|}^2.$

如上所述，提取除参考特征点以外的附加特征点，并且，使用提取的附加特征点来计算机器人的位置，从而提高识别机器人的位置的稳定性。

另外，提取和处理附加特征点所花费的时间落入针对实时位置识别所允许的范围中，从而实时地估计机器人的位置。

附图说明

通过下面结合附图对实施例的描述，本公开的这些和/或其它方面将变得清楚和更容易被理解，在附图中：

图1是示出根据本公开的一实施例的在机器人位置估计设备估计机器人的位置的方法的示例的示图。

图2是示出根据本公开的一实施例的机器人位置估计设备的控制框图。

图3是根据本公开的一实施例的机器人位置估计设备的图像处理单元的详细框图。

图4A是示出根据本公开的一实施例的从机器人位置估计设备的传感器获取的参考图像或目标图像的示例的示图。

图4B是示出根据本公开的一实施例的从机器人位置估计设备的传感器获取的红外图像的示例的示图。

图5是示出根据本公开的一实施例的机器人位置估计设备进行机器人位置识别的控制流程图。

图6是示出根据本公开的一实施例的机器人位置估计设备进行附加特征点的提取的控制流程图。

图7A是示出均由机器人位置估计设备在通道环境的相似位置处获取的两个图像之间的特征点的匹配的示例的示图。

图7B是示出根据本公开的一实施例的在机器人位置估计设备进行附加特征点(4邻点)的提取和匹配的示例的示图。

图8A是示出根据本公开的一实施例的机器人位置估计设备进行与参考点相邻的附加特征点(4邻点)的提取的概念图。

图8B是示出根据本公开的一实施例的机器人位置估计设备进行与参考点相邻的附加特征点(8邻点)的提取的概念图。

图9是示出传统的位置识别方法与根据本公开的一实施例的建议的方法之间的性能的比较结果的示图。

具体实施方式

现在将详细地介绍本公开的实施例，其示例在附图中示出，在附图中，相同的附图标记始终是指相同的要素。

图1是示出根据本公开的一实施例的在机器人位置估计设备估计机器人的位置的方法的示例的示图。

参照图1，根据本公开的机器人位置估计设备100被配置为通过识别与机器人相邻的多个特征点来估计机器人的位置。

图2是示出根据本公开的一实施例的机器人位置估计设备的控制框图。图3是根据本公开的一实施例的机器人位置估计设备的图像处理单元的详细框图。图4A是示出根据本公开的一实施例的从机器人位置估计设备的传感器获取的参考图像或目标图像的示例的示图。图4B是示出根据本公开的一实施例的从机器人位置估计设备的传感器获取的红外图像的示例的示图。

机器人位置估计设备100可以包括图像获取单元110、图像处理单元120、位置估计单元130、控制单元140和存储单元150。

图像获取单元110可以获取参考图像，然后获取目标图像。

参考图像表示充当用于提取特征点的参考的图像，目标图像表示要在提取特征点时与参考图像进行比较的图像。

图像获取单元110可以包括相机传感器(未示出)、红外传感器(未示出)和信号处理单元(未示出)。

相机传感器被配置为获取RGB图像，并且，红外传感器被配置为获取包括深度信息的红外图像。通过将从相机传感器获取的RGB图像与红外图像匹配，信号处理单元可以生成均包括深度信息的三维的目标图像和参考图像。

图像获取单元110可以是三维视觉传感器，例如，飞行时间(TOF)相机和结构光相机，其被配置为实时地获取与机器人相邻的各种目标(例如，障碍物或壁)的三维图像。

例如，三维视觉传感器可以被实现为RGB-D相机，并且，RGB-D相机可以包括用于接收彩色图像的部分和用于接收深度图像(rangeimage)的部分。用于接收彩色图像的部分可以由普通的CMOS成像传感器组成。RGB-D相机可以使用红外结构光来获得深度信息。为此，RGB-D相机可以由用于投射红外光的红外投影仪和用于感测红外光的黑/白CMOS成像传感器组成。

除智能机器人以外，图像获取单元110可以被设置在诸如游戏机、移动电话和智能电话的信息技术(IT)装置处。

参照图3，图像处理单元120可以包括参考特征点提取单元121、特征点匹配单元122和附加特征点提取单元123。

参考特征点提取单元121可以通过使用参考特征点提取算法来从参考图像或目标图像提取二维的参考特征点。参考特征点是指参考图像或目标图像中的坐标。

作为在参考特征点提取单元121中使用的参考特征点提取算法，可以使用加速鲁棒特征(SURF)算法、Harris角点检测和尺度不变特征变换(SIFT)算法。

但是，根据本公开的参考特征点提取算法可以是SURF算法。作为用于描述参考特征点的描述符，可以使用SURF描述符。

由于SURF算法提供高处理速度，所以特征点被快速地提取，使得可以实时地实现机器人的位置估计。

在下文中，将详细地描述提取参考特征点的方法。

参考特征点提取单元121从参考图像或目标图像生成积分图像(integralimage)，并针对矩形区域的每一个像素来计算亮度和。

参考特征点提取单元121从积分图像获得以精确的位置标识的参考特征点向量。

其后，参考特征点提取单元121通过使用参考图像或目标图像的积分图像来获得描述符向量，并获得参考特征点向量。

图像处理单元120将参考图像的参考特征点与目标图像的参考特征点匹配。

特征点匹配单元122可以通过将参考图像的参考特征点与目标图像的参考特征点进行比较来确定参考图像的参考特征点是否与目标图像的参考特征点相同。

例如，特征点匹配单元122可以通过将参考图像的随机描述符向量与目标图像的多个描述符向量进行比较来计算描述符向量之间的距离，并且获得其间具有最小距离的一对匹配的描述符向量。

在这种情况下，正确地匹配的参考特征点可以被称为匹配参考特征点(内点，inlier)。

附加特征点提取单元123用于从自图像获取单元110发送的三维图像提取三维的至少一个附加特征点，所述至少一个附加特征点位于与二维的匹配参考特征点相邻的位置。

由于三维图像的像素具有深度信息，所以附加特征点提取单元123可以提取位于与匹配参考特征点相邻的位置的至少一个附加特征点。

例如，附加特征点提取单元123可以提取位于与匹配参考特征点相邻的位置的四个附加特征点或者位于与匹配参考特征点相邻的位置的八个附加特征点。

附加特征点提取单元123可以包括确定单元(未示出)，用于确定是否提取附加特征点或者用于选择要提取的附加特征点的数量。

例如，确定单元(未示出)可以通过将匹配参考特征点的数量与第一参考值进行比较来确定是否提取附加特征点，或者可以通过将匹配参考特征点的数量与第二参考值进行比较来选择要提取的附加特征点的数量。第一参考值可以表示为MAX_N_IF，并且，第二参考值可以表示为MIN_N_IF。

参照图4A，壁表面或天花板缺少特征点，所以，可用于提取的参考特征点的数量明显少，从而难以计算机器人的位置。

同时，在图4B上示出的红外图像具有在图4A上没有观察到的大量的点。

诸如此类的点均包括深度信息，并且，可以作为附加特征点被提取。

另外，参考图像的附加特征点与目标图像的附加特征点之间的距离短，所以，参考图像的附加特征点和目标图像的附加特征点可以被识别为相互匹配。

也就是说，根据本公开的机器人位置估计设备100，除参考特征点以外，进一步提取附加特征点，使得使用更多的特征点来估计机器人的位置，从而改善机器人位置估计设备100的性能。

将再次参照图2进行描述。

位置估计单元130可以通过使用参考特征点和至少一个附加特征点来估计机器人的位置。

在这种情况下，为了计算机器人的位置，可以使用各种算法。例如，根据本公开的位置估计单元130可以通过使用随机采样一致性(RANSAC)来执行计算。

这里，机器人的位置的计算可以被称为计算从拍摄参考图像时的机器人的位置到拍摄目标图像时的机器人的位置的位移。

在这种情况下，可以通过下面的数学公式1来获得机器人在三维空间中的位移：

[数学公式1]

${\underset{R,d}{\min }\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|\right|{\mathrm{RX}}_i+d-Y_i\left|\right|}^2$

在数学公式1中，R是指相机传感器的三维旋转矩阵，X_i是指参考图像的特征点集，Y_i是指目标图像的特征点集，并且，d是指平移矩阵(translationmatrix)。获得使数学公式最小化的R和d。

位置估计单元130可以通过使用机器人的位移来估计机器人的位置。可以使用各种数值方法来实现计算机器人的位置的方法。

在计算速度方面，奇异值分解(SVD)可以用作本公开的数值方法。

位置估计单元130可以进一步包括优化单元(未示出)，并且，优化单元可以通过使用数学公式1中的R和d来优化机器人的位置。

例如，优化单元可以通过使用普遍使用的稀疏集束调整(SBA)来优化机器人的位置，但是，根据本公开的优化并不限于此。可以用其它的算法来实现优化。

控制单元140可以对机器人位置估计设备100执行整体的控制。

例如，当从图像获取单元110获得新输入的图像(新的目标图像)时，控制单元140可以更新参考图像。

在这种情况下，新的输入图像成为新的目标图像，并且，原始的目标图像成为更新的新参考图像。

存储单元150可以存储参考图像的参考特征点、目标图像的参考特征点以及识别机器人的位置所需的匹配参考特征点。

另外，存储单元150可以存储参考图像的附加特征点和目标图像的附加特征点。

图5是示出根据本公开的一实施例的机器人位置估计设备进行机器人位置识别的控制流程图。在下文中，将参照图5，结合图2和3来进行描述。

图像获取单元110接收参考图像(205)，然后接收目标图像(210)。

参考图像可以是充当用于提取特征点的参考的图像，目标图像可以是针对提取特征点而要与参考图像进行比较的图像。

图像获取单元110包括相机传感器(未示出)、红外传感器(未示出)和信号处理单元(未示出)。

相机传感器被配置为获取RGB图像，并且，红外传感器被配置为获取包括深度信息的红外图像。通过将从相机传感器获取的RGB图像与红外图像匹配，信号处理单元生成均包括深度信息的三维的目标图像和参考图像。

图像获取单元110可以是三维视觉传感器，其中，所述三维视觉传感器包括飞行时间(TOF)相机和结构光相机，其被配置为实时地获取与机器人相邻的各种目标(例如，障碍物或壁)的三维图像。

例如，三维视觉传感器可以被实现为RGB-D相机，并且，RGB-D相机可以包括用于接收彩色图像的部分和用于接收深度图像的部分。用于接收彩色图像的部分可以由普通的CMOS成像传感器组成。RGB-D相机可以使用红外结构光来获得深度信息。为此，RGB-D相机可以由用于投射红外光的红外投影仪和用于感测红外光的黑/白CMOS成像传感器组成。

除智能机器人以外，图像获取单元110可以被设置在诸如游戏机、移动电话和智能电话的信息技术(IT)装置处。

图像处理单元120从参考图像和目标图像提取参考特征点(220)。

参考特征点提取单元121可以通过使用参考特征点提取算法来从参考图像或目标图像提取二维的参考特征点。参考特征点是指参考图像或目标图像中的坐标。

作为在参考特征点提取单元121中使用的参考特征点提取算法，可以使用加速鲁棒特征(SURF)算法、Harris角点检测和尺度不变特征变换(SIFT)算法。

但是，根据本公开的参考特征点提取算法可以是SURF算法。作为用于描述参考特征点的描述符，可以使用SURF描述符。

由于SURF算法提供高处理速度，所以特征点被快速地提取，使得可以实时地实现机器人的位置估计。

在下文中，将详细地描述提取参考特征点的方法。

参考特征点提取单元121从参考图像或目标图像生成积分图像，并针对矩形区域的每一个像素来计算亮度和。

参考特征点提取单元121从积分图像获得以精确的位置标识的参考特征点向量。

其后，参考特征点提取单元121通过使用参考图像或目标图像的积分图像来获得描述符向量，并获得参考特征点向量。

图像处理单元120将参考图像的参考特征点与目标图像的参考特征点进行匹配(230)。

特征点匹配单元122可以通过将参考图像的参考特征点与目标图像的参考特征点进行比较来确定参考图像的参考特征点是否与目标图像的参考特征点相同。

例如，特征点匹配单元122通过将参考图像的随机描述符向量与目标图像的多个描述符向量进行比较来计算描述符向量之间的距离，并且获得其间具有最小距离的一对匹配的描述符向量。

在这种情况下，正确地匹配的参考特征点可以被称为匹配参考特征点(内点)。

图像处理单元120提取位于与匹配参考特征点相邻的位置的附加特征点(240)。

附加特征点提取单元123用于从自图像获取单元110发送的三维图像提取三维的至少一个附加特征点，所述至少一个附加特征点位于与二维的匹配参考特征点相邻的位置。

由于三维图像的像素具有深度信息，所以附加特征点提取单元123可以提取位于与匹配参考特征点相邻的位置的至少一个附加特征点。

例如，附加特征点提取单元123可以提取位于与匹配参考特征点相邻的位置的四个附加特征点或者位于与匹配参考特征点相邻的位置的八个附加特征点。

附加特征点提取单元123可以包括确定单元(未示出)，用于确定是否提取附加特征点或者用于选择要提取的附加特征点的数量。

例如，确定单元(未示出)可以通过将匹配参考特征点的数量与第一参考值进行比较来确定是否提取附加特征点，或者可以通过将匹配参考特征点的数量与第二参考值进行比较来选择要提取的附加特征点的数量。第一参考值可以表示为MAX_N_IF，并且，第二参考值可以表示为MIN_N_IF。

参照图4A，壁表面或天花板缺少特征点，所以，可用于提取的参考特征点的数量明显少，从而难以计算机器人的位置。

同时，在图4B上示出的红外图像具有在图4A上没有观察到的大量的点。

诸如此类的点均包括深度信息，并且，可以作为附加特征点被提取。

另外，参考图像的附加特征点与目标图像的附加特征点之间的距离短，所以，参考图像的附加特征点和目标图像的附加特征点可以被视为相互匹配。

也就是说，根据本公开的机器人位置估计设备100，除参考特征点以外，进一步提取附加特征点，使得使用更多的特征点来估计机器人的位置，从而改善机器人位置估计设备100的性能。

在下文中，将参照图6至图8B详细地描述附加特征点的提取。

位置估计单元130估计机器人的位置(250)。

位置估计单元130可以通过使用参考特征点和至少一个附加特征点来估计机器人的位置。

在这种情况下，为了计算机器人的位置，可以使用各种算法。例如，根据本公开的位置估计单元130可以通过使用随机采样一致性(RANSAC)来执行计算。

这里，机器人的位置的计算可以被称为计算从拍摄参考图像时的机器人的位置到拍摄目标图像时的机器人的位置的位移。

在这种情况下，可以通过下面的数学公式1来获得机器人在三维空间中的位移：

[数学公式1]

${\underset{R,d}{\min }\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left|\right|{\mathrm{RX}}_i+d-Y_i\left|\right|}^2.$

在数学公式1中，R是指相机传感器的三维旋转矩阵，X_i是指参考图像的特征点集，Y_i是指目标图像的特征点集，并且，d是指平移矩阵。获得使数学公式最小化的R和d。

位置估计单元130可以通过使用机器人的位移来估计机器人的位置。可以使用各种数值方法来实现计算机器人的位置的方法。

在计算速度方面，奇异值分解(SVD)可以用作本公开的数值方法。

位置估计单元130优化机器人的位置(260)。

位置估计单元130可以进一步包括优化单元(未示出)，并且，优化单元可以通过使用数学公式1中的R和d来优化机器人的位置。

例如，优化单元可以通过使用普遍使用的稀疏集束调整(SBA)来优化机器人的位置，但是，根据本公开的优化并不限于此。可以用其它的算法来实现优化。

控制单元140在从图像获取单元获得新的输入图像(新的目标图像)时(270)更新参考图像(280)，并且重复包括操作210至280的处理。

在这种情况下，新的输入图像成为新的目标图像，并且，原始的目标图像成为更新的新参考图像。

图6是示出根据本公开的一实施例的机器人位置估计设备进行附加特征点的提取的控制流程图。

在图6中，N_IF是指匹配参考特征点的数量。MAX_N_IF是指需要附加特征点的匹配参考特征点的最大数。也就是说，MAX_N_IF可以充当用于确定是否提取附加特征点的参考。

MIN_N_IF是指需要n2邻近附加特征点的匹配参考特征点的数量，例如，MIN_N_IF可以是10。也就是说，MIN_N_IF可以充当用于选择要提取的附加特征点的数量的参考。

在图6中，附加特征点提取单元123执行匹配参考特征点的数量是否小于MAX_N_IF(例如，MAX_N_IF＝50)的比较(241)。

如果匹配参考特征点的数量等于或大于MAX_N_IF(例如，MAX_N_IF＝50)，那么不需要提取附加特征点。这样，已经获得了位置识别所需的足够量的匹配参考特征点，确保了关于计算机器人的位置的性能。

同时，如果匹配参考特征点的数量小于MAX_N_IF，那么附加特征点提取单元123执行N_IF是否小于MIN_N_IF的比较(242)。

如果N_IF等于或大于MIN_N_IF(例如，MIN_N_IF＝10)，那么附加特征点提取单元123提取n1邻近附加特征点(243)。

n1是小于n2的自然数。由于生成与匹配参考特征点×n1一样多的特征点，所以位置估计单元130可以稳定地估计机器人的位置。

同时，如果N_IF小于MIN_N_IF(例如，MIN_N_IF＝10)，那么附加特征点提取单元123提取n2邻近附加特征点(244)。

位置估计单元130无法仅仅通过匹配参考特征点以稳定的方式测量机器人的位置，所以，需要提供附加特征点，使得位置估计单元130可以稳定地估计机器人的位置。

在由附加特征点提取单元123以n2邻点的方式提取附加特征点的情况下，生成与匹配的参考特征点×n2一样多的特征点，使得位置估计单元130可以基于生成的附加特征点来稳定地估计机器人的位置。

例如，在图6中，附加特征点提取单元123可以具有n1＝4，n2＝8。在这种情况下，n1和n2是自然数，并且，n2大于n1。

图7A是示出均由机器人位置估计设备在通道环境的相似位置处获取的两个图像之间的特征点的匹配的示例的示图。图7B是示出根据本公开的一实施例的在机器人位置估计设备进行附加特征点(4邻点)的提取和匹配的示例的示图。

参照图7A，示出参考图像的第一参考特征点(A)、第二参考特征点(B)，第三参考特征点(C)和第四参考特征点(D)。另外，示出目标图像的第一参考特征点(A’)、第二参考特征点(B’)，第三参考特征点(C’)和第四参考特征点(D’)。

可以将参考图像的第一参考特征点(A)与目标图像的第一参考特征点(A’)匹配。类似地，可以将参考图像的第二参考特征点(B)、第三参考特征点(C)和第四参考特征点(D)分别与目标图像的第二参考特征点(B’)、第三参考特征点(C’)和第四参考特征点(D’)匹配。

参照图7B，示出在参考图像的第二参考特征点(B)的相邻区域处提取的附加特征点以及在目标图像的第二参考特征点(B’)的相邻区域处提取的附加特征点。

相对于参考图像的第二参考特征点(B)的坐标(b0)，分别从上侧、右侧、下侧和左侧提取第一附加特征点(b1)、第二附加特征点(b2)、第三附加特征点(b3)和第四附加特征点(b4)。

相对于目标图像的第二参考特征点(B’)的坐标(b0’)，分别从上侧、右侧、下侧和左侧提取第一附加特征点(b1’)、第二附加特征点(b2’)、第三附加特征点(b3’)和第四附加特征点(b4’)。

由于参考图像的附加特征点(b1至b4)和目标图像的附加特征点(b1’至b4’)之间的每一个距离小，所以参考图像的附加特征点(b1至b4)和目标图像的附加特征点(b1’至b4’)被视为匹配。也就是说，参考图像的第一附加特征点(b1)被假设与目标图像的第一附加特征点(b1’)匹配，并且，类似地，参考图像的第二、第三和第四附加特征点(b2，b3和b4)被假设分别与目标图像的第二、第三和第四附加特征点(b2’，b3’和b4’)匹配。

图8A是示出根据本公开的一实施例的机器人位置估计设备进行与参考点相邻的附加特征点(4邻点)的提取的概念图。

附加特征点提取单元123可以从在参考特征点(b0)的相邻区域处的参考特征点(b0)的上侧、右侧、下侧和左侧提取附加特征点(b1，b2，b3和b4)。提取的附加特征点(b1至b4)均包括深度信息。

图8B是示出根据本公开的一实施例的机器人位置估计设备进行与参考点相邻的附加特征点(8邻点)的提取的概念图。

附加特征点提取单元123可以从在参考特征点(b0)的相邻区域处的参考特征点(b0)的上侧、右侧、下侧和左侧提取附加特征点(b1，b2，b3和b4)。另外，附加特征点提取单元123可以从每一个参考特征点的上右侧、下右侧、下左侧和上左侧提取附加特征点(b5，b6，b7和b8)。提取的附加特征点(b1至b8)均包括深度信息。

参照图8A或8B，随着n邻近附加特征点而增加的附加特征点的数量对应于n×(匹配参考特征点)。

另外，附加特征点提取单元123可以从相对于参考特征点的随机位置提取附加特征点。

图9是示出传统的位置识别方法与根据本公开的一实施例的建议的方法之间的性能的比较结果的示图。

参照图9，对于通过传统的机器人位置识别方法来估计机器人的位置，特征点的数量为20，并且，在特征点当中内点的数量是14，并且，平移误差值是(0.26，-0.58，1.06)。

参照图9，对于通过建议的方法来估计机器人的位置，特征点的数量为180，并且，在特征点当中内点的数量是128，并且，平移误差值是(-0.03，0，-0.07)。

也就是说，当比较传统方法与建议的方法之间的位置识别性能时，建议的方法比传统方法产生了更大量的特征点和内点，并产生小的误差。

因此，建议的方法能够在特征点信息不足的室内环境以稳定的方式实现实时的位置识别。

虽然已经示出和描述了本公开的几个实施例，但是本领域的技术人员将会认识到，在不脱离本公开的原理和精神的情况下，可以对这些实施例进行改变，并且，本公开的范围在权利要求及其等同物中被限定。

Claims (16)

1.一种用于估计机器人的位置的设备，所述设备包括：

图像获取单元，被配置为：获取RGB图像和具有深度信息的红外图像，通过将RGB图像与红外图像匹配来顺序地生成充当用于提取特征点的参考的参考图像以及要与参考图像进行比较的目标图像；

图像处理单元，被配置为：从参考图像和目标图像中的每一个提取二维的参考特征点，在参考图像与目标图像之间匹配参考特征点，从匹配的二维的参考特征点提取三维的至少一个附加特征点；以及

位置估计单元，被配置为：从附加特征点估计机器人的位置，并优化估计的机器人的位置。

2.根据权利要求1所述的设备，其中，附加特征点是位于与匹配参考特征点相邻的位置的坐标信息，并具有深度信息。

3.根据权利要求1所述的设备，其中，附加特征点包括针对每一个匹配参考特征点提取的四个附加特征点或八个附加特征点。

4.根据权利要求1所述的设备，其中，图像处理单元包括：

参考特征点提取单元，被配置为：通过使用参考特征点提取算法，从参考图像或目标图像提取参考特征点；

特征点匹配单元，被配置为：将参考图像的参考特征点与目标图像的参考特征点匹配，以便确定参考图像的参考特征点是否为与目标图像的参考特征点相同的特征点；以及

附加特征点提取单元，被配置为：从自图像获取单元发送的三维图像提取位于与匹配参考特征点相邻的位置的至少一个附加特征点。

5.根据权利要求4所述的设备，其中，附加特征点提取单元包括确定单元，其中，所述确定单元被配置为确定是否提取附加特征点或者选择要提取的附加特征点的数量。

6.根据权利要求5所述的设备，其中，确定单元通过将匹配参考特征点的数量与第一参考值进行比较来确定是否提取附加特征点。

7.根据权利要求5所述的设备，其中，确定单元通过将匹配参考特征点的数量与第二参考值进行比较来选择要提取的附加特征点的数量。

8.根据权利要求1所述的设备，其中，位置估计单元通过使用下面的数学公式来获得机器人在三维空间中的位移：

${\min }_{R,d}{\mathrm{\Σ}}_{i=1}^n\left|\right|{\mathrm{RX}}_i+d-Y_i|{|}^2,$

其中，R是指相机传感器的三维旋转矩阵，X_i是指参考图像的特征点集，Y_i是指目标图像的特征点集，d是指平移矩阵，n是大于或等于1的自然数。

9.一种估计机器人的位置的方法，所述方法包括：

获取RGB图像和具有深度信息的红外图像，通过将RGB图像与红外图像匹配来顺序地生成充当用于提取特征点的参考的参考图像以及要与参考图像进行比较的目标图像；

从参考图像和目标图像中的每一个提取二维的参考特征点，在参考图像与目标图像之间匹配参考特征点，并从二维的匹配参考特征点提取三维的至少一个附加特征点，以便执行图像处理；以及

从附加特征点估计机器人的位置，并优化估计的机器人的位置。

10.根据权利要求9所述的方法，其中，附加特征点是位于与匹配参考特征点相邻的位置的坐标信息，并具有深度信息。

11.根据权利要求9所述的方法，其中，附加特征点包括针对每一个匹配参考特征点提取的四个附加特征点或八个附加特征点。

12.根据权利要求9所述的方法，其中，图像处理的执行包括：

通过使用参考特征点提取算法，从参考图像或目标图像提取参考特征点；

通过将参考图像的参考特征点与目标图像的参考特征点匹配来确定参考图像的参考特征点是否为与目标图像的参考特征点相同的特征点；以及

从自图像获取单元发送的三维图像提取位于与匹配参考特征点相邻的位置的至少一个附加特征点。

13.根据权利要求12所述的方法，其中，附加特征点的提取包括：

执行以下确定：确定是否提取附加特征点或者选择要提取的附加特征点的数量。

14.根据权利要求13所述的方法，其中，确定的执行包括：将匹配参考特征点的数量与第一参考值进行比较。

15.根据权利要求13所述的方法，其中，确定的执行包括：将匹配参考特征点的数量与第二参考值进行比较。

16.根据权利要求9所述的方法，其中，估计机器人的位置包括通过使用下面的数学公式来获得机器人在三维空间中的位移：

${\min }_{R,d}{\mathrm{\Σ}}_{i=1}^n\left|\right|{\mathrm{RX}}_i+d-Y_i|{|}^2,$

其中，R是指相机传感器的三维旋转矩阵，X_i是指参考图像的特征点集，Y_i是指目标图像的特征点集，d是指平移矩阵，n是大于或等于1的自然数。