CN110674724A - 基于主动策略和影像传感器的机器人目标识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于主动策略和影像传感器的机器人目标识别方法及系统，属于目标识别领域，本发明利用影像传感器获取机器人巡航路线上的影像数据，对影像数据进行处理得到疑似目标，针对疑似目标采取主动策略智能地调整机器人，使传感器能更好地获取疑似目标的影像，最终确认疑似目标是否为需要识别的目标，并给出准确的识别结果。本发明与现有技术相比从影像信息源头显著提高了质量，能够更有效、灵活、可靠地实现目标识别，并可以在一定程度上减小计算量，尤其是针对一些需要从特定角度和距离观察识别的目标物体，如二维码、门牌号等，识别效果较好。

Description

基于主动策略和影像传感器的机器人目标识别方法及系统

技术领域

本发明属于目标识别技术领域，更具体地，涉及一种基于主动策略和影像传感器的机器人目标识别方法及系统。

背景技术

随着科学技术和国民经济的发展，越来越多的无人系统出现在人们视野中，包括机器人自动巡检、无人机自主巡航等，这同时也对其技术发展提出了新的挑战。对复杂动态场景感知与理解是机器人智能化的基础和关键，而识别环境中目标的信息则是场景感知与理解的关键技术。

目前机器人目标识别大都是基于给定影像的被动式识别，而被动式影像在成像阶段没有考虑到成像质量对识别的影响，仅仅基于现有影像数据来进行目标识别而不考虑主动改善成像质量，给目标识别带来很多困难。在当今的信息化时代，大部分数据都是通过传感器采集得到，而采集设备的载体大都是移动机器人。因此，合理的利用移动机器人载体本身可操控的特性来辅助影像传感器进行主动地目标识别，能够很大程度上提高目标识别的准确性。目前在机器人上使用的主流目标识别传感器为相机和激光雷达两种，这两个传感器及相应的目标识别方法的特性分别为：

基于图像的目标识别方法目前比较成熟，分为传统方法和机器学习方法。传统方法的目标识别主要是基于图像处理方法，分为区域选择、特征提取和分类器三个部分，即首先使用不同长宽比例的滑动窗口对图像进行遍历，然后对这些区域提取特征(如HOG、SIFT特征等)，最后使用训练的分类器(如SVM分类器等)进行分类。基于传统方法的图像目标识别受环境影响较大，如光照、角度及背景环境等，局限性比较大。近十年基于机器学习的目标识别发展迅速，其分为使用不同长宽比例的滑动窗口对图像进行遍历、运行卷积网络和对比模型置信度输出目标位置和类别。基于机器学习方法的目标识别受环境影响相对较小，但其训练网络需要大量数据集。基于图像的目标识别方法总体来说，会受到离目标的距离、图像分辨率、环境光照及图像拍摄角度等影响，在一些复杂环境下识别效果依旧不够鲁棒，且基于深度学习的实时图像识别方法计算量较大、对硬件有很强的依赖性。

基于激光雷达点云的目标识别并不成熟，主要有基于鸟瞰图方法和基于体素的方法。目前在自动驾驶中大多使用基于鸟瞰图的方法，步骤为将点云数据映射到二维平面，在鸟瞰图中进行目标识别，其对于行人、自行车等小物体的识别效果不佳。基于体素的方法为将点云体素化为体积网格，并将图像CNN推广到3D CNN，其识别效果也不够理想。

参考专利申请CN110084168A提出了一种主动目标识别方法及装置，该方法利用学习的方式主动调整成像参数来识别目标。然而这种方法存在以下不足：1)只能主动调整传感器成像参数无法主动调整成像角度和成像距离，对于二维码、门牌号及安全出口等需要从接近于正面的角度、合适距离才能得到清楚影像的目标无法很好识别；2)未涉及多种传感器融合识别，发挥不同传感器的优势从而更好的识别目标。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提出了一种基于主动策略和影像传感器的机器人目标识别方法及系统，由此解决现有技术在解决基于影像的目标识别存在目标距离、目标拍摄角度及光照等影响因素方面存在一定局限性的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于主动策略和影像传感器的机器人目标识别方法，包括：

(1)采集机器人巡航路线上的影像数据，对采集的所述影像数据进行处理得到疑似目标与机器人载体的相对位姿关系；

(2)基于所述疑似目标与机器人载体的相对位姿关系，主动调整所述机器人的巡航路线，以使所述机器人能够根据需求获取所述疑似目标的影像数据；

(3)根据在调整所述机器人的巡航路线后得到的所述疑似目标的影像数据，进行目标识别，若调整后得到的所述疑似目标的影像数据的质量无法满足识别要求，则返回执行步骤(2)，直至所述机器人无法主动调整或所述疑似目标的影像数据的质量达到要求为止，输出最终的识别结果。

优选地，步骤(1)包括：

(1.1)采集机器人巡航路线上的点云数据，去除所述点云数据中为空值的数据后，通过随机采样一致来拟合地面，去除地面的点云数据得到目标点云数据；

(1.2)对所述目标点云数据进行体素滤波，以使每个点云转换为三维的体素单位，合并同一个体素内的点云，将合并后的体素构造成八叉树找到核心点，再根据核心点构建成KD树将点云分成不同的点云簇，最后根据边界点与所述核心点的关系找到所述边界点并将所述边界点归入相应的核心点所在的簇；

(1.3)判断点云簇的三维几何特征是否符合目标特征，若符合所述目标特征则输出疑似目标点云簇相对于机器人的方位。

优选地，所述核心点满足如下关系：所述核心点的ε邻域对应的N(x_i)至少包含minPts个样本点，其中，N(x_i)＝{x_j∈D|||x_i-x_j||<ε}，D为样本集，x_j与x_i为样本集D中的样本，||x_i-x_j||为x_i到x_j的距离，min Pts为样本集中的聚类最小点数。

优选地，所述边界点满足如下关系：所述边界点的ε邻域对应的N(x_i)至少包含一个核心点且N(x_i)包含点数少于min Pts个。

优选地，步骤(2)包括：

基于所述疑似目标点云簇相对于机器人的方位，主动调整所述机器人的巡航路线，以使所述疑似目标点云簇投影在采集的图像中心位置。

优选地，将点云投影至图像上的投影关系为：P_相机＝K*(RP_雷达+t)，其中，P_相机为像素坐标系下的坐标，P_雷达为激光雷达坐标系下的点云坐标，K为相机内参矩阵，R为激光雷达相对于相机的旋转矩阵，t为激光雷达相对于相机的平移向量。

优选地，步骤(3)包括：

(3.1)将在调整所述机器人的巡航路线后采集得到的所述疑似目标的影像数据，输入训练好的基于tensorflow搭建的图像目标识别神经网络，进行目标识别；

(3.2)根据输出结果置信度判断调整后得到的所述疑似目标的影像数据的质量是否满足识别要求，若无法满足识别要求，则继续调整所述机器人的巡航路线，直至所述机器人无法主动调整或所述疑似目标的影像数据的质量达到要求为止，输出最终的识别结果。

优选地，在步骤(3.2)中，由

判断调整后得到的所述疑似目标的影像数据的质量是否满足识别要求，其中，m为是否主动调整机器人的巡航路线，m＝1表示主动调整机器人的巡航路线，m＝0表示不调整机器人的续航路线，x为所述图像目标识别神经网络输出目标识别的置信度，q为预设阈值，z为根据激光雷达点云判断的机器人是否能移动到下一位置，z＝0表示能够移动到下一位置，z≠0表示不能够移动到下一位置。

按照本发明的另一个方面，提供了一种基于主动策略和影像传感器的机器人目标识别系统，包括：影像传感器及处理器；

所述影像传感器，用于采集机器人巡航路线上的影像数据；

所述处理器，用于对采集的所述影像数据进行处理得到疑似目标与机器人载体的相对位姿关系；基于所述疑似目标与机器人载体的相对位姿关系，主动调整所述机器人的巡航路线，以使所述机器人能够根据需求获取所述疑似目标的影像数据；根据在调整所述机器人的巡航路线后得到的所述疑似目标的影像数据，进行目标识别，若调整后得到的所述疑似目标的影像数据的质量无法满足识别要求，则继续调整所述机器人的巡航路线，直至所述机器人无法主动调整或所述疑似目标的影像数据的质量达到要求为止，输出最终的识别结果。

优选地，所述系统还包括：机器人底盘、显示屏及电池；

所述机器人底盘用于承载所述系统中的各部件，并能够移动；

所述显示屏用于输出识别结果；

所述电池用于为所述系统各部件供电。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明利用影像传感器获取机器人巡航路线上的影像数据，对影像数据进行处理得到疑似目标，针对疑似目标采取主动策略智能地调整机器人，使传感器能更好地获取疑似目标的影像，最终确认疑似目标是否为需要识别的目标，并给出准确的识别结果。与现有技术相比从影像信息源头显著提高了质量，能够更有效、灵活、可靠地实现目标识别，并可以在一定程度上减小计算量，尤其是针对一些需要从特定角度和距离观察识别的目标物体，如二维码、门牌号等，识别效果较好。同时解决了移动机器人在自主巡航过程中对特定目标的识别存在鲁棒性不够、精度不高以及智能化程度低等问题。

(2)考虑了传感器成像、机器人载体运动和影像目标识别的关联性，以提高目标识别性能为目的通过主动策略调整移动机器人和传感器，显著提高了目标识别的鲁棒性和精度，使移动机器人能够更加智能地识别目标。

附图说明

图1是本发明实施例提供的一种系统结构示意图；

图2是本发明实施例提供的一种目标识别方法的流程示意图；

图3是本发明实施例提供的一种机器人主动调整角度示意图；

图4是本发明实施例提供的一种聚类方法示意图；

图5是本发明实施例提供的一种粗识别流程图；

图6是本发明实施例提供的一种精识别流程图；

其中，1-机器人底盘，2-激光雷达，3-相机，4-处理器，5-显示屏，6-电池。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，但并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例的机器人传感器安装如图1所示，包括机器人底盘1、影像传感器、处理器4、显示屏5及电池6。通过上位机设置机器人自主巡航路径，在路径周围存在待识别的目标物体。

影像传感器，用于采集机器人巡航路线上的影像数据；

处理器，用于对采集的影像数据进行处理得到疑似目标与机器人载体的相对位姿关系；基于疑似目标与机器人载体的相对位姿关系，主动调整机器人的巡航路线，以使机器人能够根据需求获取疑似目标的影像数据；根据在调整机器人的巡航路线后得到的疑似目标的影像数据，进行目标识别，若调整后得到的疑似目标的影像数据的质量无法满足识别要求，则继续调整机器人的巡航路线，直至机器人无法主动调整或疑似目标的影像数据的质量达到要求为止，输出最终的识别结果；

机器人底盘用于承载系统中的各部件，并能够移动；显示屏用于输出识别结果；电池用于为所述系统各部件供电。

在本发明实施例中，影像传感器包括激光雷达2、相机3及多光谱传感器等能够获取影像信息的传感器，具体采用何种传感器本发明实施例不做唯一性限定。

如图2所示是本发明实施例提供的一种目标识别方法的流程示意图，包括以下步骤：

S1：采集机器人巡航路线上的影像数据，对采集的影像数据进行处理得到疑似目标与机器人载体的相对位姿关系；

在本发明实施例中，疑似目标与机器人载体的相对位姿关系包括相对距离关系、相对角度关系及光照差异等关系，本发明实施例不做唯一性限定。

机器人按照规划路径移动时，激光雷达2采集到的点云数据实时输送到处理器4中进行处理。先将点云进行有效性检测，去除数据值为nan的点云，再通过随机采样一致来拟合地平面，这样可以避免在一些特殊情况时误检概率，如小角度斜坡、不平整路面。为了适应嵌入式机器人平台实时性要求，将去除地面的点云进行体素滤波，使得每一个点云转换为三维的体素单位，并合并同一个体素内的点云，防止了近处的点云过密造成计算冗余。

对于点云聚类，定义样本集D＝{x₁,x₂...x_i...x_m}，其邻域为ε，聚类最小点数为min Pts，||x_i-x_j||为x_i到x_j的距离，m为样本数量，则有如下关系：

1、ε邻域：对于任意样本点x_i∈D，其ε邻域包含样本集D中与x_i的距离不大于ε的子样本集，即N(x_i)＝{x_j∈D|||x_i-x_j||<ε}；

2、核心点：对于任一样本x_i∈D，如果其ε邻域对应的N(x_i)至少包含min Pts个样本点，即如果size(N(x_i))≥min Pts，则x_i是核心点，如图4中的A点；

3、边界点：对于任一样本x_i∈D，如果其ε邻域对应的N(x_i)至少包含一个核心点且N(x_i)包含点数少于min Pts个，即

使得||x_i-x_j||<ε且size(N(x_i))＜min Pts，如图4中B、C点；

4、噪声点：对于任一样本x_i∈D，如果其ε邻域对应的N(x_i)不包含任意一个核心点且N(x_i)包含点数少于min Pts个，即

都有||x_i-x_j||＞ε且size(N(x_i))＜minPts，如图4中N点。

在点云聚类时，为了减小计算量先把体素构造成八叉树找到核心点，再根据核心点构建成KD树将其分成不同的簇，最后根据边界点与核心点的关系找到边界点并将其归入相应的核心点所在的簇。

根据点云簇的三维几何特征进行判断，若是符合目标特征则输出疑似目标点云簇相对于机器人的方位。粗识别流程如图5所示。

S2：基于疑似目标与机器人载体的相对位姿关系，主动调整机器人的巡航路线，以使机器人能够根据需求获取疑似目标的影像数据；

在本发明实施例中，主动调整机器人的巡航路线，包括：在距离太远时机器人自主行驶至目标附近；调整机器人方向使影像传感器能从不同角度获取目标影像；调整机器人位姿使目标能成像在影像正中央；主动使用照明光源补光；刻意保持静止一段时间来进行长时间曝光。具体采用何种策略，本发明实施例不做唯一性限定。

机器人根据疑似目标点云簇的方位信息调整预先规划的机器人轨迹，使得机器人主动行驶至疑似目标附近。根据事先标定的激光雷达2和相机3的外参，将点云投影至图像上，其投影关系为：

P_相机＝K*(RP_雷达+t) (1)

其中，P_相机为像素坐标系下的坐标，P_雷达为激光雷达坐标系下的点云坐标，K为相机内参矩阵。通过对相机3、激光雷达2联合标定得到激光雷达2相对于相机3的外参矩阵(即旋转矩阵R和平移向量t)，将激光雷达2获取的以雷达为原点的前左上点云坐标系转换至以相机3光心为原点的右下前相机坐标系，并且使得雷达和相机的原点重合。通过PnP解算即可得到点云在图像上对应的像素坐标。

为了获得更好的成像，采取主动策略不断调整机器人位置和姿态，在不碰撞到障碍物的前提下尽可能的将疑似目标点云簇投影在图像中心位置，并用相机采集图像。

S3：根据在调整机器人的巡航路线后得到的疑似目标的影像数据，进行目标识别，若调整后得到的疑似目标的影像数据的质量无法满足识别要求，则继续调整机器人的巡航路线，直至机器人无法主动调整或疑似目标的影像数据的质量达到要求为止，输出最终的识别结果。

在本发明实施例中，对目标进行识别的方式包括基于特征的识别和基于机器学习的识别等，具体采用何种识别方式，本发明实施例不做唯一性限定。

在本发明实施例中，输出识别结果包含目标识别的信息和识别的置信度。

将采集的图像输入根据相应目标特征训练好的基于tensorflow搭建的图像目标识别神经网络，其中，优选为106层图像目标识别神经网络，根据输出结果置信度判断下一步骤，函数如下：

其中，m为是否采取主动策略调整机器人，x为神经网络输出目标识别的置信度，q为设置的阈值，z为根据激光雷达点云判断的机器人是否能移动到下一位置。当z＝0时表示可以移动到下一位置，z≠0表示不可以移动到下一位置，即有障碍物。当m＝1时，即置信度低于阈值且激光雷达判定目标附近没有障碍物，此时采取主动策略调整机器人，以目标为圆心自动控制机器人移动若干度弧长距离，在本发明实施例中，优选以目标为圆心自动控制机器人移动10度弧长距离，如图3所示，并调整机器人位姿使得目标点云簇投影在图像中心，即目标在拍摄的图像中心；m＝0时，即置信度高于设定的识别阈值或置信度低于阈值且激光雷达判定目标附近有障碍物，机器人无法移动到下一个角度对目标进行识别，此时输出识别结果并控制机器人返回预先设定的路线继续巡航。具体流程如图6所示。

在完成上述步骤后，输出目标的识别结果和识别置信度。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于主动策略和影像传感器的机器人目标识别方法，其特征在于，包括：

(1)采集机器人巡航路线上的影像数据，对采集的所述影像数据进行处理得到疑似目标与机器人载体的相对位姿关系；

(2)基于所述疑似目标与机器人载体的相对位姿关系，主动调整所述机器人的巡航路线，以使所述机器人能够根据需求获取所述疑似目标的影像数据；

(3)根据在调整所述机器人的巡航路线后得到的所述疑似目标的影像数据，进行目标识别，若调整后得到的所述疑似目标的影像数据的质量无法满足识别要求，则返回执行步骤(2)，直至所述机器人无法主动调整或所述疑似目标的影像数据的质量达到要求为止，输出最终的识别结果。

2.根据权利要求1所述的方法，其特征在于，步骤(1)包括：

(1.1)采集机器人巡航路线上的点云数据，去除所述点云数据中为空值的数据后，通过随机采样一致来拟合地面，去除地面的点云数据得到目标点云数据；

(1.2)对所述目标点云数据进行体素滤波，以使每个点云转换为三维的体素单位，合并同一个体素内的点云，将合并后的体素构造成八叉树找到核心点，再根据核心点构建成KD树将点云分成不同的点云簇，最后根据边界点与所述核心点的关系找到所述边界点并将所述边界点归入相应的核心点所在的簇；

(1.3)判断点云簇的三维几何特征是否符合目标特征，若符合所述目标特征则输出疑似目标点云簇相对于机器人的方位。

3.根据权利要求2所述的方法，其特征在于，所述核心点满足如下关系：所述核心点的ε邻域对应的N(x_i)至少包含min Pts个样本点，其中，N(x_i)＝{x_j∈D|||x_i-x_j||<ε}，D为样本集，x_j与x_i为样本集D中的样本，||x_i-x_j||为x_i到x_j的距离，min Pts为样本集中的聚类最小点数。

4.根据权利要求3所述的方法，其特征在于，所述边界点满足如下关系：所述边界点的ε邻域对应的N(x_i)至少包含一个核心点且N(x_i)包含点数少于min Pts个。

5.根据权利要求2至4任意一项所述的方法，其特征在于，步骤(2)包括：

基于所述疑似目标点云簇相对于机器人的方位，主动调整所述机器人的巡航路线，以使所述疑似目标点云簇投影在采集的图像中心位置。

6.根据权利要求5所述的方法，其特征在于，将点云投影至图像上的投影关系为：P_相机＝K*(RP_雷达+t)，其中，P_相机为像素坐标系下的坐标，P_雷达为激光雷达坐标系下的点云坐标，K为相机内参矩阵，R为激光雷达相对于相机的旋转矩阵，t为激光雷达相对于相机的平移向量。

7.根据权利要求1所述的方法，其特征在于，步骤(3)包括：

(3.1)将在调整所述机器人的巡航路线后采集得到的所述疑似目标的影像数据，输入训练好的基于tensorflow搭建的图像目标识别神经网络，进行目标识别；

(3.2)根据输出结果置信度判断调整后得到的所述疑似目标的影像数据的质量是否满足识别要求，若无法满足识别要求，则继续调整所述机器人的巡航路线，直至所述机器人无法主动调整或所述疑似目标的影像数据的质量达到要求为止，输出最终的识别结果。

8.根据权利要求7所述的方法，其特征在于，在步骤(3.2)中，由

判断调整后得到的所述疑似目标的影像数据的质量是否满足识别要求，其中，m为是否主动调整机器人的巡航路线，m＝1表示主动调整机器人的巡航路线，m＝0表示不调整机器人的续航路线，x为所述图像目标识别神经网络输出目标识别的置信度，q为预设阈值，z为根据激光雷达点云判断的机器人是否能移动到下一位置，z＝0表示能够移动到下一位置，z≠0表示不能够移动到下一位置。

9.一种基于主动策略和影像传感器的机器人目标识别系统，其特征在于，包括：影像传感器及处理器；

所述影像传感器，用于采集机器人巡航路线上的影像数据；

所述处理器，用于对采集的所述影像数据进行处理得到疑似目标与机器人载体的相对位姿关系；基于所述疑似目标与机器人载体的相对位姿关系，主动调整所述机器人的巡航路线，以使所述机器人能够根据需求获取所述疑似目标的影像数据；根据在调整所述机器人的巡航路线后得到的所述疑似目标的影像数据，进行目标识别，若调整后得到的所述疑似目标的影像数据的质量无法满足识别要求，则继续调整所述机器人的巡航路线，直至所述机器人无法主动调整或所述疑似目标的影像数据的质量达到要求为止，输出最终的识别结果。

10.根据权利要求9所述的系统，其特征在于，所述系统还包括：机器人底盘、显示屏及电池；

所述机器人底盘用于承载所述系统中的各部件，并能够移动；

所述显示屏用于输出识别结果；

所述电池用于为所述系统各部件供电。

Images