CN106846367B - 一种基于运动约束光流法的复杂动态场景的运动物体检测方法 - Google Patents

Abstract

本发明公开了一种基于运动约束光流法的复杂动态场景的运动物体检测方法。本方法为：1)视频输入；2)提取ORB特征；3)将提取特征与运动物体特征库中的特征进行相似度比较；4)获取当前机器人的运动矢量；5)计算局部光流；6)筛选并建立运动物体特征点库，进而可建立环境点云图。本发明通过机器人的运动方向提高光流法对特征点梯度变化的检测速度；将运动物体的特征以一定的时效性保存在库中，并对时效值及时更新，避免对该特征点的重复计算；本发明比较当前提取的特征和运动物体特征库中的特征的欧式距离，从而减少光流跟踪特征的计算；本发明能减少运动物体对环境的影响，增加机器人对环境建模的可靠性。

Description

一种基于运动约束光流法的复杂动态场景的运动物体检测 方法

技术领域

本发明涉及一种基于运动约束光流法的复杂动态场景的运动物体检测方法；通过光流法对动态场景中的运动物体进行检测，通过机器人本身的运动向量加快光流法检测的速度，将提取的ORB(ORiented Brief)特征向量与运动物体特征库中的特征计算欧氏距离比较相似度避免重复检测，排除机器人对实时环境建模时运动物体的特征点。

背景技术

传统运动物件检测都是应用于监控等静态环境。目前机器人普及，特别是智能扫地机器人已经慢慢进入市场，能实现初步的对环境的建图和自身的定位，并通过运动规划完成一些简单的任务，同时也渐渐被大众所接受。但是目前运动物体的存在会干扰机器人对环境的建模从而影响后期机器人自身的定位和路径规划。

已有的方案是机器人带有昂贵的激光传感器，能够实现精度范围内的运动物体检测，但是激光雷达的价格随着侦测范围的增长而增长，远远高出了机器人本身的价格，并且使机器人体积难以控制；另外一种方式是通过超声波传感器在近距离检测物体，但是这种方式的检测范围较小，不能及时做好应对措施。

发明内容

本发明针对上述现有的技术中的不足，为了能实现使用廉价的传感器实现态环境中的运动检测，提出了一种基于运动约束光流法的复杂动态场景的运动物体检测方法，解决服务机器人动态环境中的运动物体检测，并应用于智能扫地机器人的实时建模。

本发明提出的一种基于运动约束光流法的复杂动态场景的运动物体检测方法，包括以下步骤：

(1)输入具有真实环境运动物体移动的场景视频流；

(2)对输入的视频流提取ORB特征，作为光流法的局部特征；

(3)比较所有提取的ORB特征点与运动物体特征点库中的特征的相似性(可以通过欧式距离计算相似性)；

(4)获取当前机器人的运动矢量；

(5)用光流法计算当前帧与下一帧的灰度变化，通过获取的机器人的运动矢量来减小光流法在特征点搜索时的范围，以此来提高光流法的效率；

(6)筛选并建立运动物体特征点库，从而实现动态场景中运动物体的检测。

进一步地，还包括(7)建立环境模型，即运动物体特征库排除运动物体的特征点，建立环境点云图，进而通过环境点云图进行机器人的定位和导航。

本发明的有益效果是：

本发明通过机器人的运动方向提高光流法对特征点梯度变化的检测速度，将运动物体的特征以一定的时效性保存在库中，避免以后重复对该特征点进行计算，同时也能避免不能及时更新运动物体的库，减少了运动物体对环境的影响，从而增加机器人对环境建模的可靠性。本发明使用欧式距离比较当前提取的特征和运动物体特征库中的特征，从而减少需要计算的光流跟踪的特征。

附图说明

图1.本发明方法的流程图；

图2.运动约束提升光流法计算效率示意图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步说明。

参考图1，是本发明方法的流程图，具体步骤如下：

步骤1，视频输入。

通过移动机器人录制具有运动物体移动的场景，逐帧读取视频图像，得到图像信息。

步骤2，提取ORB特征。

ORB(ORiented Brief)见参考文献[1]：E.Rublee,V.Rabaud,K.Konolige,andG.Bradski,“ORB:an efficient alternative to SIFT or SURF,”in IEEEInternational Conference on Computer Vision(ICCV),Barcelona,Spain,November2011,pp.2564–2571.

第1步，从图像中提取FAST角点，并使用centroid moment计算每个角点的方向。其中FAST即Features from Accelerated Segment Test，见参考文献[2]：E.Rosten andT.Drummond.Machine learning for highspeed corner detection.In EuropeanConference on Computer Vision,volume 1,2006.1。其中centroid moment见参考文献[3]：P.L.Rosin.Measuring corner properties.Computer Vision and ImageUnderstanding,73(2):291–307,1999.2。

第2步，使用centroid moment计算FAST角点的方向，并产生orientation-FAST(见上述参考文献[1])。

第3步，对以上角点用BRIEF(Binary robust independent elementaryfeatures，见参考文献[4]：M.Calonder,V.Lepetit,C.Strecha,and P.Fua,“BRIEF:BinaryRobust Independent Elementary Features,”in European Conference on ComputerVision(ECCV),Hersonissos,Greece,September 2010,pp.778–792.)算子描述：

其中，x,y分别表示两个不同的像素点，p(x)和p(y)分别表示两个像素点的灰度值，τ(p；x,y)表示p(x)大于或等于p(y)时取0，p(x)小于p(y)时取1。

第4步，计算多个旋转角度的BRIEF，组成steered BRIEF(见上述参考文献[1])。

第5步，优化steered BRIEF得到rBRIEF(见上述参考文献[1])。

步骤3，将提取的ORB特征与运动物体特征库中的特征的相似度进行比较。

采用欧氏距离对以上获得的rBRIEF特征与运动物体特征库中的所有特征进行相似度比较，利用已经保存的运动物体特征库中的特征对所提取的ORB特征进行筛选。如果是特征库中的特征，同时其时效值不等于零，则不进行步骤3以下的操作，并将该特征对应的时效值减1；如果时效值N为零，则将该比较的特征移出运动物体特征库，并进行步骤3以下操作；如果没有在运动物体特征库中找到对应的特征，则直接进行步骤3以下操作。

步骤4，获取当前机器人的运动矢量。

通过ORB_SLAM[5]算法获得机器人当下的运动矢量信息。其中ORB_SLAM算法见参考文献[5]：Mur-Artal,R.,Montiel,J.M.M.,&Tardos,J.D.(2015).Orb-slam:a versatileand accurate monocular slam system.IEEE Transactions on Robotics,31(5),1147-1163.

步骤5，计算局部光流。

通过已经获得的运动信息对使用局部光流法处理步骤3筛选后的特征进行加速。可以将室内服务机器人的运动大致分为以下三类：

第一类，前后移动，每帧获取的图像中的特征点以视频中心点为中心发散式移动，不同区域有不同的移动方式，例如当机器人向前移动时，左上角区域特征点向左上方移动，反之向右下方移动；

第二类，旋转，获得的图像中的特征点均向机器人旋转的反方向运动，如机器人向右旋转，则获得的图像中的特征点向左运动；

第三类，复合运动，将第一类和第二类的运动方向矢量相加即可获得。

机器人的运动矢量转化为摄像头获取图像的特征点的运动矢量，可以去掉一部分光流法需要检测的区域。光流法需要通过梯度下降法估计下一帧特征点所在位置，通过机器人的运动矢量估计特征点的运动趋势后，就可以搜索运动方向的一定范围内的区域，从而减小计算量。图2为运动约束提升光流法计算效率示意图。

如果在检测中超过比例P的特征点没有找到对应的特征点则放弃机器人的运动矢量，并搜索剩下的区域，确保能使大多数的点匹配上；

检测中，如果超过比例P的点找到对应的移动后的特征点，但是仍然有部分点没有找到，则视该部分点为运动物体特征点；

如果计算的点中有已经加入过运动物体特征库的特征点，此时能找到匹配点，则认为该点为静态点，清空其时效值，若依旧不能找到匹配点，则将时效值置为N，并重新加入运动物体特征库。

步骤6，筛选并建立运动物体特征点库。

将以上步骤不能匹配的点和由于时效值为零依旧不能找到匹配点的特征点加入到特征点库，并给新加入的特征点赋予时效值N，每进行一次比较，则时效值减1，当时效值为零的时候，则该特征点需要重新通过光流法计算其运动轨迹，以排除当前时刻的静止物体被错误记录，时该策略也能防止静止的物体后来运动没有被检测。

步骤7，建立特征点云。

利用上述经过筛选的特征点进行机器人的定位与导航，包括以下步骤；

第1步，跟踪特征点，并提取关键帧。

第2步，根据提取的关键帧建立特征点云。

第3步，通过特征点云进行机器人的定位和导航。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (8)

1.一种基于运动约束光流法的复杂动态场景的运动物体检测方法，包括以下步骤：

1)输入具有真实环境运动物体移动的场景视频；

2)对输入的视频提取ORB特征，作为光流法的局部特征；

3)将提取的ORB特征与运动物体特征点库中的特征的相似度进行比较，以对所提取的ORB特征进行筛选，包括：

设定时效值记录运动物体特征点库中的所有特征的有效性，设定的时效值为N，时效值随着比较次数的增加而减少，以避免不能及时更新运动特征库，并根据实际场景做出反应；

采用欧氏距离对提取的ORB特征与运动物体特征点库中的特征的相似度进行比较，利用已经保存的运动物体特征点库中的特征对所提取的ORB特征进行筛选：如果是运动物体特征点库中的特征，同时其时效值N不等于零，则不进行步骤3)以下的操作，并将该特征对应的时效值减1；如果时效值N为零，则将比较的特征移出运动物体特征点库，并进行步骤3)以下的操作；如果没有在运动物体特征点库中找到对应的特征，则直接进行步骤3)以下的操作；

4)获取当前机器人的运动矢量；

5)通过光流法对步骤3)筛选后的ORB特征进行处理，并将步骤4)得到的当前机器人的运动矢量作为辅助信息加快光流法的处理速度；

6)根据光流法的处理结果更新运动物体特征点库，从而实现动态场景中运动物体的检测。

2.如权利要求1所述的方法，其特征在于，根据步骤6)建立的运动物体特征点库排除运动物体的特征点，建立环境点云图，进而通过环境点云图进行机器人的定位和导航。

3.如权利要求1所述的方法，其特征在于，步骤1)通过室内机器人录制具有真实环境运动物体移动的场景视频。

4.如权利要求1所述的方法，其特征在于，将机器人运动矢量估计的特征点和当前图像的特征点不能匹配的特征点，和由于时效值为零依旧不能找到匹配点的特征点，加入到运动物体特征点库，并给新加入的特征点赋予时效值N，每进行一次比较，则时效值减1，当时效值为零时，该特征点重新通过光流法计算其运动轨迹。

5.如权利要求1所述的方法，其特征在于，步骤4)采用ORB_SLAM算法来获得机器人当前的运动矢量。

6.如权利要求1所述的方法，其特征在于，步骤5)借助机器人当前的运动矢量作为辅助提高光流法梯度下降搜索灰度匹配点的效率。

7.如权利要求6所述的方法，其特征在于，步骤5)将机器人运动分为三类：第一类，前后移动；第二类，旋转移动；第三类，复合移动。

8.如权利要求7所述的方法，其特征在于，对于第一类的前后移动，每帧获取的图像中的特征点以视频中心点为中心发散式移动；对于第二类的旋转移动，获得的图像中的特征点均向机器人旋转的反方向运动；对于第三类的复合运动，将第一类和第二类的运动方向矢量相加即可获得。