CN107498559B - 基于视觉的机器人转向的检测方法和芯片 - Google Patents

Abstract

本发明涉及一种基于视觉的机器人转向导航的检测方法和芯片，通过视觉传感器对基于惯性传感器进行转向导航的机器人进行辅助检测，分析采集到的图像数据，从而判断机器人在转向导航过程中是否出现异常或者不在进行转向，以提醒机器人在后续导航中依据惯性传感器进行修正。如此，可以提高机器人导航的准确性，同时，由于不需要高性能的处理器进行数据处理，可以相应地降低成本。

Description

基于视觉的机器人转向的检测方法和芯片

技术领域

本发明涉及机器人领域，具体涉及一种基于视觉的机器人转向的检测方法和芯片。

背景技术

机器人实现智能化，一个基础技术是能够自己定位和行走，室内导航技术是其中的关键技术。目前室内导航技术有惯性传感器导航、激光导航、视觉导航、无线电导航等等，各个技术都有自己的优缺点。惯性传感器导航是应用陀螺仪、里程计等进行导航定位，价格低廉，但是存在长时间漂移的问题；而单独依靠视觉传感器进行导航，计算复杂，对于处理器性能要求比较高，功耗和价格会比较高。

发明内容

为解决上述问题，本发明提供了一种基于视觉的机器人转向的检测方法和芯片，导航准确性高，且成本较低。本发明的具体技术方案如下：

一种基于视觉的机器人转向的检测方法，包括如下步骤：

步骤一，基于移动中的镜头朝前的视觉传感器，采集当前时间的当前图像和间隔预设时间的对比图像；

步骤二，提取所述当前图像和所述对比图像的特征点；

步骤三，判断所述对比图像的特征点分布与所述当前图像的特征点分布是否相同，且所述对比图像的特征点是否相对于所述当前图像的特征点仅在图像的横向方向产生位移；

如果都是，则确定机器人正在进行转向，并回到步骤一；

否则，确定机器人不在进行转向或者转向异常。

进一步地，步骤一中所述的视觉传感器为设置在机器人的机体的上端面的前部，且镜头方向与所述机体的上端面呈45°夹角的摄像头。

进一步地，步骤一中所述的预设时间为100毫秒。

进一步地，步骤二中所述的提取所述当前图像和所述对比图像的特征点，包括如下步骤：

基于SIFT算法提取所述当前图像的N个角点；

基于SIFT算法提取所述对比图像的N个角点；

其中，N为大于1的自然数。

进一步地，步骤三中所述的判断所述对比图像的特征点分布与所述当前图像的特征点分布是否相同，且所述对比图像的特征点是否相对于所述当前图像的特征点仅在图像的横向方向产生位移，包括如下步骤：

基于XY轴坐标系，确定所述当前图像的特征点的像素坐标为当前像素坐标；

基于同一个所述XY轴坐标系，确定所述对比图像的特征点的像素坐标为对比像素坐标；

判断每个特征点的所述当前像素坐标与所述对比像素坐标之间的X值之差以及Y值之差是否相等；

如果得出的X值之差和Y值之差都相等，则确定所述对比图像的特征点分布与所述当前图像的特征点分布相同，如果，X值之差不为0，且Y值之差为0，则确定所述对比图像的特征点相对于所述当前图像的特征点仅在图像的横向方向产生位移；

否则，确定所述对比图像的特征点分布与所述当前图像的特征点分布不相同，和/或所述对比图像的特征点不是相对于所述当前图像的特征点仅在图像的横向方向产生位移。

进一步地，在确定所述对比图像的特征点分布与所述当前图像的特征点分布不相同，和/或所述对比图像的特征点不是相对于所述当前图像的特征点仅在图像的横向方向产生位移的步骤之后，还包括如下步骤：

将所述对比图像按预设比例逐次缩小，判断每次缩小的所述对比图像的特征点分布与所述当前图像的特征点分布是否相同；

如果是，则停止缩小，确定机器人在前行；

如果否，则继续缩小，直到缩小的次数达到预设次数也无法使所述对比图像的特征点分布与所述当前图像的特征点分布相同，则停止缩小，确定机器人转向异常。

进一步地，所述预设比例为1/f，其中，f的值大于或等于1.1，小于或等于1.25。

进一步地，在确定所述对比图像的特征点分布与所述当前图像的特征点分布相同，且所述对比图像的特征点不是相对于所述当前图像的特征点仅在图像的横向方向产生位移的步骤之后，还包括如下步骤：

通过X值之差与预设时间的比值确定特征点的参考速度；

判断每次得出的参考速度是否都相同；

如果是，则确定机器人在匀速转向；

如果否，则判断不相同的参考速度的偏差值是否超过50%；

如果是，则确定机器人不在匀速转向；

如果否，则确定机器人在匀速转向。

进一步地，在所述步骤一之后，且在所述步骤二之前，还包括如下步骤：

将采集到的图像进行编码，形成视频流，存储于机器人本机或者通过网络传输至外部设备。

一种芯片，用于存储程序，所述程序用于控制机器人执行上述的基于视觉的机器人转向的检测方法。

本发明的有益效果在于：通过视觉传感器对基于惯性传感器进行转向导航的机器人进行辅助检测，分析采集到的图像数据，从而判断机器人在转向导航过程中是否出现异常或者不在进行转向，以提醒机器人在后续导航中依据惯性传感器进行修正。如此，可以提高机器人导航的准确性，同时，由于不需要高性能的处理器进行数据处理，可以相应地降低成本。

附图说明

图1为本发明所述机器人的结构示意图。

图2为本发明所述基于视觉的机器人转向导航的检测方法的流程图。

图3为机器人采集的图像对比分析示意图之一。

图4为机器人采集的图像对比分析示意图之二。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

扫地机器人，又称自动打扫机、智能吸尘器等，是智能家用电器的一种，能凭借一定的人工智能，自动在房间内完成地板清理工作。一般采用刷扫和真空方式，将地面杂物先吸纳进入自身的垃圾收纳盒，从而完成地面清理的功能。一般来说，将完成清扫、吸尘、擦地工作的机器人，也统一归为扫地机器人。扫地机器人的机体101为无线机器，以圆盘型为主。使用充电电池运作，操作方式为遥控或是机器上的操作面板。一般能设定时间预约打扫，自行充电。机体101上设有各种传感器，可检测行进距离、行进角度、机身状态和障碍物等，如碰到墙壁或其他障碍物，会自行转弯，并依不同的设定，而走不同的路线，有规划地清扫地区。

如图1所示，本发明所述机器人包括如下结构：带有驱动轮104的能够自主行进的机器人机体101，机体101上设有人机交互界面103，机体101前部设有视觉传感器106和碰撞检测装置105，机体101内部设置有惯性传感器，包括加速度计和陀螺仪等，驱动轮104上设有用于检测驱动轮104的行进距离的里程计（一般是码盘），还设有能够处理相关传感器的参数，并能够输出控制信号到执行部件的控制模块102。

如图2所示，基于视觉的机器人转向的检测方法，包括如下步骤：步骤一，基于移动中的镜头朝前的视觉传感器，采集当前时间的当前图像和间隔预设时间的对比图像；步骤二，提取所述当前图像和所述对比图像的特征点；步骤三，判断所述对比图像的特征点分布与所述当前图像的特征点分布是否相同，且所述对比图像的特征点是否相对于所述当前图像的特征点仅在图像的横向方向产生位移；如果都是，则确定机器人正在进行转向，并回到步骤一；否则，确定机器人不在进行转向或者转向异常。其中，所述的移动中的镜头朝前的视觉传感器指的是机器人不处于静止状态，其视觉传感器处于运动状态，有可能行走移动状态，有可能是原地转向状态。通过视觉传感器对基于惯性传感器进行转向导航的机器人进行辅助检测，分析采集到的图像数据，从而判断机器人在转向导航过程中是否出现异常或者不在进行转向，以提醒机器人在后续导航中依据惯性传感器进行修正。如此，可以提高机器人导航的准确性，同时，由于不需要高性能的处理器进行数据处理，可以相应地降低成本。

优选的，步骤一中所述的视觉传感器为设置在机器人的机体的上端面的前部，且镜头方向与所述机体的上端面呈45°夹角的摄像头。步骤一中所述的镜头朝前的视觉传感器为设置在机器人的机体101的上端面的前部，且镜头方向与所述机体101的上端面呈45°夹角a的摄像头。将摄像头设置在机器人的前部，并斜向上照射，使得视角更广，能够实现定位的同时，获取更好的图像数据。此外，摄像头还可以设置在机体101的其它位置，只要保持镜头朝前，即可适用本发明所述的方法

优选的，步骤一中所述的预设时间为100毫秒，设置的时间太长，无法达到精确检测的目的，时间太短，又需要耗费较多的数据处理资源。当然，所述预设时间可以根据实际情况进行相应设置，比如50毫秒、150毫秒或者200毫秒等。

优选的，步骤二中所述的提取所述当前图像和所述对比图像的特征点，包括如下步骤：基于SIFT算法提取所述当前图像的N个角点；基于SIFT算法提取所述对比图像的N个角点；其中，N为大于1的自然数。所述角度为图像中的棱角的顶点或者其它具有尖端的突出的顶点。N的值根据图像的复杂程度选取，优选的，图3所示的实施例和图4所示的实施例中，选取的是5个特征点。

优选的，步骤三中所述的判断所述对比图像的特征点分布与所述当前图像的特征点分布是否相同，且所述对比图像的特征点是否相对于所述当前图像的特征点仅在图像的横向方向产生位移，包括如下步骤：基于XY轴坐标系，确定所述当前图像的特征点的像素坐标为当前像素坐标；基于同一个所述XY轴坐标系，确定所述对比图像的特征点的像素坐标为对比像素坐标；判断每个特征点的所述当前像素坐标与所述对比像素坐标之间的X值之差以及Y值之差是否相等；如果得出的X值之差都相等和Y值之差都相等，则确定所述对比图像的特征点分布与所述当前图像的特征点分布相同，如果，X值之差不为0，且Y值之差为0，则确定所述对比图像的特征点相对于所述当前图像的特征点仅在图像的横向方向产生位移；否则，确定所述对比图像的特征点分布与所述当前图像的特征点分布不相同，和/或所述对比图像的特征点不是相对于所述当前图像的特征点仅在图像的横向方向产生位移。如图3所示，F1为当前图像，F2为对比图像，数字1至5所标示的点为提取的特征点，确定当前图像的五个特征点的当前像素坐标分别为（X1，Y1）、（X2，Y2）、（X3，Y3）、（X4，Y4）和（X5，Y5），确定对比图像F2的五个特征点的对比像素坐标分别为（x1，y1）、（x2，y2）、（x3，y3）、（x4，y4）和（x5，y5），经过分析得出，X1-x1=X2-x2=X3-x3=X4-x4=X5-x5=L，且Y1-y1=Y2-y2=Y3-y3=Y4-y4=Y5-y5=P(P在图中未示出)，则确定所述对比图像的特征点分布与所述当前图像的特征点分布相同，且由于得出的L不等于0，P等于0，则确定所述对比图像的特征点相对于所述当前图像的特征点仅在图像的横向方向产生位移，进而确定机器人正在进行转向。假设X1-x1、X2-x2、X3-x3、X4-x4和X5-x5的差值中，任意一个或者多个不等于L，和/或，Y1-y1、Y2-y2、Y3-y3、Y4-y4和Y5-y5的差值中，任意一个或者多个不等于P，则确定所述对比图像的特征点分布与所述当前图像的特征点分布不相同，如果L等于0和/或P不等于0，则可确定所述对比图像的特征点不是相对于所述当前图像的特征点仅在图像的横向方向产生位移，进而确定机器人不在进行转向或者转向异常，此时就需要结合机器人中的惯性传感器和里程计等的检测数据，分析当前机器人的异常原因和异常参数，为后续的导航提供修正参数。上述L和P的值，可以是任意数值。

优选的，在确定所述对比图像的特征点分布与所述当前图像的特征点分布不相同，和/或所述对比图像的特征点不是相对于所述当前图像的特征点仅在图像的横向方向产生位移的步骤之后，还包括如下步骤：将所述对比图像按预设比例逐次缩小，判断每次缩小的所述对比图像的特征点分布与所述当前图像的特征点分布是否相同；如果是，则停止缩小，确定机器人在前行；如果否，则继续缩小，直到缩小的次数达到预设次数也无法使所述对比图像的特征点分布与所述当前图像的特征点分布相同，则停止缩小，确定机器人转向异常。其中，所述预设比例为1/f，由于预设比例越小，越精细，但是预设比例过小，又需要大量的运算资源，所以选取f的值大于或等于1.1，小于或等于1.25作为优选项，以达到最佳性价比。如图4所示，F1为当前图像，F2为对比图像，数字1至5所标示的点为提取的特征点，将F2按照1/1.25的比例进行缩小，所得到特征点分布与当前图像的特征点分布相同的图像（F2箭头指示的图）时，停止缩小，此时确定的当前图像的五个特征点的当前像素坐标分别为（X1，Y1）、（X2，Y2）、（X3，Y3）、（X4，Y4）和（X5，Y5），确定缩小后的对比图像（F2箭头指示的图）的五个特征点的对比像素坐标分别为（x1，y1）、（x2，y2）、（x3，y3）、（x4，y4）和（x5，y5），经过分析得出，X1=x1，X2=x2，X3=x3，X4=x4，X5=x5，且Y1≠y1，Y2≠y2，Y3≠y3，,Y4≠y4，Y5≠y5，所以，确定所述对比图像的特征点相对于所述当前图像的特征点在图像的横向方向不产生位移，机器人正在按直线导航前行（即机器人不在进行转向）。假设，缩小10次（即本实施例所设置的预设次数）之后，也无法使所述对比图像的特征点分布与所述当前图像的特征点分布相同，则停止缩小，确定机器人转向异常。所述特征点的分布指的是特征点在图像中的相互位置关系。

优选的，在确定所述对比图像的特征点分布与所述当前图像的特征点分布相同，且所述对比图像的特征点不是相对于所述当前图像的特征点仅在图像的横向方向产生位移的步骤之后，还包括如下步骤：通过X值之差与预设时间的比值确定特征点的参考速度；判断每次得出的参考速度是否都相同；如果是，则确定机器人在匀速转向；如果否，则判断不相同的参考速度的偏差值是否超过50%；如果是，则确定机器人不在匀速转向；如果否，则确定机器人在匀速转向。举个例子进行说明，当机器人以恒定的角速度ω转向，在转向过程中不断检测图像的特征点的位移，并计算当前图像和对比图像的特征点的参考速度为Li/ti，如果获得的一系列参考速度的值相同（即L1/t1=L2/t2=L3/t3…），则表示机器人在匀速转向。假如L2/t2的值小于L1/t1=L3/t3的值的一半或者大于L1/t1=L3/t3的值的1.5倍，则确定机器人不在匀速转向。通过视觉传感器的辅助检测，可以判断机器人的不同运动状态，从而可以结合机器人的其它传感器，确定机器人是否产生导航误差，进而为后续的导航提供修正参数。

优选的，在所述步骤一之后，且在所述步骤二之前，还包括如下步骤：将采集到的图像进行编码，形成视频流，存储于机器人本机或者通过网络传输至外部设备。通过把图像转换成视频流进行保存，可以为后续的建图或者机器人的控制等提供参考依据，避免针对同一环境的反复检查。

上述实施例中，所述图像的横向指的是图像的左右方向，即图像的水平线方向。

本发明所述的芯片，用于存储程序，所述程序用于控制机器人执行上述的基于视觉的机器人转向的检测方法。通过视觉传感器对基于惯性传感器进行转向导航的机器人进行辅助检测，分析采集到的图像数据，从而判断机器人在转向导航过程中是否出现异常或者不在进行转向，以提醒机器人在后续导航中依据惯性传感器进行修正。如此，可以提高机器人导航的准确性，同时，由于不需要高性能的处理器进行数据处理，可以相应地降低成本。

以上实施例仅为充分公开而非限制本发明，凡基于本发明的创作主旨、未经创造性劳动的等效技术特征的替换，应当视为本申请揭露的范围。

Claims (8)

1.一种基于视觉的机器人转向的检测方法，其特征在于，包括如下步骤：

步骤一，基于移动中的镜头朝前的视觉传感器，采集当前时间的当前图像和间隔预设时间的对比图像；

步骤二，提取所述当前图像和所述对比图像的特征点；

步骤三，判断所述对比图像的特征点分布与所述当前图像的特征点分布是否相同，且所述对比图像的特征点是否相对于所述当前图像的特征点仅在图像的横向方向产生位移；

如果都是，则确定机器人正在进行转向，并回到步骤一；

否则，确定机器人不在进行转向或者转向异常；

其中，步骤三中所述的判断所述对比图像的特征点分布与所述当前图像的特征点分布是否相同，且所述对比图像的特征点是否相对于所述当前图像的特征点仅在图像的横向方向产生位移，包括如下步骤：

基于XY轴坐标系，确定所述当前图像的特征点的像素坐标为当前像素坐标；

基于同一个所述XY轴坐标系，确定所述对比图像的特征点的像素坐标为对比像素坐标；

判断每个特征点的所述当前像素坐标与所述对比像素坐标之间的X值之差以及Y值之差是否相等；

如果得出的X值之差和Y值之差都相等，则确定所述对比图像的特征点分布与所述当前图像的特征点分布相同，如果，X值之差不为0，且Y值之差为0，则确定所述对比图像的特征点相对于所述当前图像的特征点仅在图像的横向方向产生位移；

否则，确定所述对比图像的特征点分布与所述当前图像的特征点分布不相同，和/或所述对比图像的特征点不是相对于所述当前图像的特征点仅在图像的横向方向产生位移；

在确定所述对比图像的特征点分布与所述当前图像的特征点分布不相同，和/或所述对比图像的特征点不是相对于所述当前图像的特征点仅在图像的横向方向产生位移的步骤之后，还包括如下步骤：

将所述对比图像按预设比例逐次缩小，判断每次缩小的所述对比图像的特征点分布与所述当前图像的特征点分布是否相同；

如果是，则停止缩小，确定机器人在前行；

如果否，则继续缩小，直到缩小的次数达到预设次数也无法使所述对比图像的特征点分布与所述当前图像的特征点分布相同，则停止缩小，确定机器人转向异常。

2.根据权利要求1所述的方法，其特征在于：

步骤一中所述的视觉传感器为设置在机器人的机体的上端面的前部，且镜头方向与所述机体的上端面呈45°夹角的摄像头。

3.根据权利要求1所述的方法，其特征在于：步骤一中所述的预设时间为100毫秒。

4.根据权利要求1所述的方法，其特征在于：步骤二中所述的提取所述当前图像和所述对比图像的特征点，包括如下步骤：

基于SIFT算法提取所述当前图像的N个角点；

基于SIFT算法提取所述对比图像的N个角点；

其中，N为大于1的自然数。

5.根据权利要求1所述的方法，其特征在于：所述预设比例为1/f，其中，f的值大于或等于1.1，小于或等于1.25。

6.根据权利要求1所述的方法，其特征在于：在确定所述对比图像的特征点分布与所述当前图像的特征点分布相同，且所述对比图像的特征点不是相对于所述当前图像的特征点仅在图像的横向方向产生位移的步骤之后，还包括如下步骤：

通过X值之差与预设时间的比值确定特征点的参考速度；

判断每次得出的参考速度是否都相同；

如果是，则确定机器人在匀速转向；

如果否，则判断不相同的参考速度的偏差值是否超过50％；

如果是，则确定机器人不在匀速转向；

如果否，则确定机器人在匀速转向。

7.根据权利要求1所述的方法，其特征在于：在所述步骤一之后，且在所述步骤二之前，还包括如下步骤：

将采集到的图像进行编码，形成视频流，存储于机器人本机或者通过网络传输至外部设备。

8.一种芯片，用于存储程序，其特征在于：所述程序用于控制机器人执行权利要求1至7任一项所述的基于视觉的机器人转向的检测方法。

Images