CN107358189A - 一种基于多视目标提取的室内环境下物体检测方法 - Google Patents

Abstract

本发明涉及一种基于多视目标提取的室内环境下物体检测方法。该方法包括：1)建立室内环境的半稠密地图；2)处理半稠密地图，将表示同一物体的区域用边界框框出来；3)将边界框重新投影到对应相机位姿的单帧图片上；4)提取图片流的SIFT特征并进行降维处理；5)将特征向量与边界框进行匹配，得到描述边界框内物体的特征向量；6)将所有特征向量利用FLAIR的方法进行编码，并保存为词袋；7)重复以上步骤，将不同图片得到的特征向量与词袋进行匹配，若无法匹配则更新词袋，直到建成完整地图，即可实现对场景中所有物体的分类。本发明计算速度快，检测完备率高，随着物体种类增加计算资源消耗的增长接近常数值。

Description

一种基于多视目标提取的室内环境下物体检测方法

技术领域

本发明属于图像处理与模式识别技术领域，具体涉及一种基于多视目标提取的室内环境下物体检测方法。该方法利用单目室内见图与定位算法，通过基于多视目标提取辅助物体检测，进行快速编码提高物体检测效率。

背景技术

物体识别是机器人感知的重要组成之一。近几十年来，图像处理与模式识别技术取得了显著的进步，已开始从实验室慢慢走向市场。随着图像处理与模式识别研究工作的不断发展，针对不同性质图像和不同模式的识别系统，其识别精度已经很高了，足以满足市场用户的需求，已经在工业、家电、通信、汽车电子、医疗、家庭服务和消费电子类产品等领域得以应用。

针对室内物体检测，传统方法通常在指定数据集上进行目标检测。依赖于特定的数据集，这种方法，不适用于室内机器人实时移动的场景，并且存在遮挡、光线、角度等问题。

发明内容

针对现有技术存在的问题，本发明的目的是提供一种基于多视目标提取的室内环境下物体检测方法，能够提高目标检测速度，提高计算效率。

本发明采用的技术方案如下：

一种基于多视目标提取的室内环境下物体检测方法，其步骤包括：

1)对输入的图片流进行处理，建立室内环境的半稠密地图，得到不同视角下的候选物体，并实现相机的定位和跟踪；

2)处理半稠密地图，将地图上表示同一物体的区域用边界框框出来，同时根据场景需要剔除冗余边界框；

3)将步骤2)中得到的边界框重新投影到对应相机位姿的单帧图片上；

4)在步骤1)-3)进行的同时，提取图片流的SIFT特征，并对得到的特征向量进行降维处理(用以提高计算效率)；

5)将步骤4)得到的特征向量与步骤2)提取出的边界框进行匹配，得到描述边界框内物体的特征向量；

6)将步骤5)得到的所有特征向量利用FLAIR的方法进行编码，并保存为词袋(BOW)；

7)不断重复步骤1)-6)，将不同图片得到的特征向量与词袋进行匹配，若无法匹配则在原有基础上更新词袋，直到建成完整地图，即可实现对场景中所有物体的分类。

下面进一步说明本发明涉及的关键技术：

1.基于密度分区的半稠密场景重建及目标提取方法

传统目标提取方法是基于像素的或者是基于边缘表示的，都在单张图像中确认是否包含候选物体。但在室内环境下，机器人在环境中可能通过不同的角度观察到同一个物体，结合时空三维重建的内容能够使得物体检测的结果鲁棒。

本发明利用室内定位与建图技术可以提供时空的三维重建，利用时空和边缘颜色信息，建立基于密度分区的半稠密场景，可以得到不同视角下的候选物体。从而辅助物体检测，提笔画高检测鲁棒性。为了检索到物体，在传统室内定位与建图技术的基础上进行语义分割。

为了得到包含提取目标的半稠密场景，首先通过ORB-SLAM方法(R.Mur-Artal,J.M.M Montiel,and J.D.Tardos.ORB-SLAM:a versatile and accurate monocular SLAMsystem.IEEE Transactions on Robotics,2015)得到半稠密的重建场景，然后进行滤波和分割。滤掉低密度的区域，每个分区在原始的RGB图片流中映射到帧中去，作为特征描述、编码、分类的候选。

其中，利用时空和边缘的颜色信息进行密度分区，从而得到一个过分类的重建场景，用来提取候选物体。为了提取出更精确的物体，对重建的候选点云进行滤波，分别淘汰掉窗口过小(如小于20*20像素)的候选点云。

2.基于BOW+FLAIR的图像特征编码方法

对于提取的物体，用SIFT(Scale-invariant feature transform，尺度不变特征变换)和彩色值来提取特征，利用四层金字塔来进行尺度变换。得到的描述用PCA(Principal Component Analysis，主成分分析)方法进行降维(如降维到80维)。用BOW(Bagof Words，词袋模型)方法建立词典。对于每个边缘盒，用非均一化的VLAD(Vector ofLocally Aggregated Descriptors，局部特征聚合描述符)描述来计算每个描述的残差。

本发明采用FLAIR方法(Fast Local Area Independent Representation，参见文献Cees Snock and Arnold W.M.Smeulders.Fisher and VLAD with FLAIR.CVPR,2014)对词典中的特征进行编码。首先用FLAIR特征描述多视角物体提取的目标，对其进行密度的采样。对于每个提取的目标在直方图中快速查表，表示成一个多层分级的空间，得到的直方图用来描述边框区域包含的物体。

3.基于多视角的目标识别

多视角的目标识别首先通过ORB-SLAM得到半稠密的地图，这样就有一个连续的图片流，图片流中包含候选物体的不同角度的图片，这些图片通过投影矩阵逆投影到图片帧当中去，通过这些候选物体的逆投影，对这些候选物体进行分类。分类的方法是最大似然估计，算法思想如下：

设D为不同物体(O)多视角(N)下的观察数据，假设在D中的独立特征可以用y来表示。最大似然概率估计为下式：

其中，是类别标签的最大似然估计，y∈{1,...,|C|}是类别标签，p表示概率。因此物体O的最大似然概率属于C，可以用最大的和来表示：

其中，x是样本，N代表可以观察到的视角。

本发明还提供一种基于多视目标提取的室内环境下物体检测装置，其包括处理器和存储器；所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上述方法中各步骤的指令。

本发明还提供一种存储计算机程序的计算机可读存储介质，其存储的计算机程序被计算机执行时，实现上述方法的各个步骤。

本发明的有益效果如下：

本发明将室内定位和建图技术融入到传统目标检测中，利用多视目标提取、快速编码减少计算量，从而提高目标检测速度，提高计算效率。与传统方法相比，传统方法通常在指定数据集上进行目标检测，本方法适用于机器人室内移动过程中的物体检测，目标检测精度高，速度快。本发明能够通过RGB-D相机，进行实时的物体检测。本发明检测的完备率高，准确率与最先进的系统相比只差2％，且速度快，随着物体种类增加计算消耗实际接近常数值。

附图说明

图1是本发明方法的总体框架图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步说明。

图1为本发明方法的流程图。具体实现步骤如下：

1)输入图片。移动机器人或相机录制某一场景下的视频片段，然后逐帧读取图片。

2)采用单目RGB相机，利用ORB-SLAM算法对输入的图片流进行处理，建立室内环境的半稠密地图，得到不同视角下的候选物体，并实现相机的定位和跟踪。该算法的具体实现见前文所述的参考文献。

3)处理由步骤2)获得的半稠密地图，根据地图上点的分布，通过传统的聚类算法，表示出物体所在的区域，将地图上表示同一物体的区域用矩形边界框框出来。

本实施例采用k-means聚类方法，即根据检测到的点的分布，大致可以判断存在物体的个数，即k的值，然后计算地图上特征点的距离，根据距离的大小将地图划分为k个区域，每个区域用矩形框区分表示，即代表不同物体。以桌子为例，如果上面只有一只杯子，那么在放杯子的位置，地图上表示桌面的平面上会有一个位置有明显的垂直方向上的点分布，且该方向上的点距离桌子平面上的点较远，于是被分为两个区域，分别被框在两个矩形边界框里。

4)去除冗余的边界框。

由于在实际计算中，会出现计算误差和噪声，所有需要将尺寸过小、深度信息过小以及重叠区域过大的边界框去掉，可以根据实际环境的需要调整所需的边界框尺寸范围等参数。具体地，可以剔除像素小于20*20，深度中值过小(即小于预先设定的阈值，需根据具体情况调整该参数)，与前一张图片中选定的边界框重叠度(IoU)大于0.5的相邻边界框。

5)将步骤3)中得到的边界框重新投影到对应相机位姿的单帧图片上。

这步主要是出于计算效率的考量，将之前图片中所有获取的有效特征点和地图信息都保存在当前关键帧上，就可以将之前处理过的图片及时清除，留出更多空间储存新的图片和地图。

6)在步骤1-5)进行的同时，提取图片流的SIFT特征，并对得到的特征向量进行降维处理，以提高计算效率。

该步骤的主要作用是利用图片提取某一单一视角下物体的特征向量，并以此为标准到半稠密地图中去匹配。因为地图在建立过程中，是从单视角到多视角的完善过程，如果从某一个侧面可以一部分与单视角特征匹配，则可以对接下来的图片中特征向量进行推测。

7)将步骤6)得到的特征向量与步骤3)提取出的边界框进行匹配，得到描述边界框内物体的特征向量。

将描述物体的特征向量与地图中的边界框匹配，就可以在获得全视角地图之前大致预测出物体的位置和形状。

8)将步骤6)得到的所有特征向量利用FLAIR的方法分类并编码，保存为BOW(Bagof word)的形式，相当于将描述相同物体的特征向量分类并分别加上了标签。随着输入图片的增加，描述同一物体的特征向量逐渐完善，于是针对每一个物体可以建立以特征向量描述为基础的模型。在已有模型的基础上，可以逆推下一帧图片中描述该模型的特征向量的位置，进而可以通过步骤2)对相机位姿和环境地图进行预测。

9)不断重复步骤1)-8)，将不同图片得到的特征向量与BOW进行匹配，若无法匹配则在原有基础上更新BOW。直到建成完整地图，即可实现对场景中所有物体的分类。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (9)

1.一种基于多视目标提取的室内环境下物体检测方法，其步骤包括：

1)对输入的图片流进行处理，建立室内环境的半稠密地图，得到不同视角下的候选物体，并实现相机的定位和跟踪；

2)处理半稠密地图，将地图上表示同一物体的区域用边界框框出，同时根据场景需要剔除冗余边界框；

3)将步骤2)中得到的边界框重新投影到对应相机位姿的单帧图片上；

4)提取图片流的SIFT特征，并对得到的特征向量进行降维处理；

5)将步骤4)得到的特征向量与步骤2)提取出的边界框进行匹配，得到描述边界框内物体的特征向量；

6)将步骤5)得到的所有特征向量利用FLAIR的方法进行编码，并保存为词袋；

7)不断重复步骤1)-6)，将不同图片得到的特征向量与词袋进行匹配，若无法匹配则更新词袋，直到建成完整地图，即可实现对场景中所有物体的分类。

2.如权利要求1所述的方法，其特征在于，步骤1)采用单目RGB相机，利用ORB-SLAM方法进行半稠密建图，得到的点云投射到相机平面上，得到包含同一物体不同视角下的图像。

3.如权利要求1所述的方法，其特征在于，步骤2)根据边界框的大小、深度信息和重叠大小剔除冗余边界框。

4.如权利要求3所述的方法，其特征在于，步骤2)剔除像素小于20*20，深度中值小于设定的阈值，且与前一张图片中选定的边界框重叠度大于0.5的相邻边界框。

5.如权利要求1所述的方法，其特征在于，步骤4)中，SIFT特征的维度为128维，RGB图像的维度为3维；每个特征用4个像素来表示，并分为4层的图像金字塔来区分不同尺度。

6.如权利要求1所述的方法，其特征在于，步骤4)采用PCA方法降低特征向量的维度。

7.如权利要求1所述的方法，其特征在于，步骤7)采用最大似然估计方法实现物体的分类。

8.一种基于多视目标提取的室内环境下物体检测装置，其特征在于，包括处理器和存储器；所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1至7中任一权利要求所述方法中各步骤的指令。

9.一种存储计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被计算机执行时，实现权利要求1至7中任一权利要求所述方法的步骤。