CN108550141A - 一种基于深度视觉信息的运动车斗自动识别与定位方法 - Google Patents

Abstract

本发明涉及一种基于深度视觉信息的运动车斗自动识别与定位方法，包含如下步骤：S1：解算相机坐标系与世界坐标系之间的旋转矩阵R和平移矩阵t；S2：从相机读取一帧包含深度视觉信息的深度图像，及一帧点云数据；S3：将点云数据进行降采样处理；S4：将相机坐标系下的点云数据转换为世界坐标系下的点云数据；S5：对转换后的点云数据进行阈值处理，保留车斗所在的大致高度区域的点阵，对阈值处理后的点云进行降维处理，投影至二维平面；S6：采用图像处理技术对降维处理后的点云进行拟合以获得车斗的边沿直线，并计算其角点。可以自动识别拖车的车斗的外轮廓，及其相对机械臂喷头的角度和位置，自动控制喷头高度和角度实时做出相应的调整。

Description

一种基于深度视觉信息的运动车斗自动识别与定位方法

技术领域

本发明涉及机器视觉与农业自动化领域，具体涉及一种基于深度视觉信息对运动中的农业运载拖车车斗自动识别与定位方法。

背景技术

青饲机是一种常用农业收获机械，主要用来收获青绿牧草、燕麦、甜菜茎叶等低矮青饲作物。青饲机大体由前方割台、机身喂入装置及切碎抛送装置组成。前方割台为一个装有多把甩刀旋转切碎器用于高速收割作物，机身收集作物并将其切碎，然后由抛送装置抛出。抛送装置的主要组成部分是可控制角度和高度的二自由度机械臂结构。青饲机抛出的物料由后方或侧方同向行驶的拖车承接，完成物料填充，拖车装载足量后再替换空车，以保证收获机持续工作，提升工作效率。拖车一般由牵引车体的车头和载物使用的高大矩形车斗组成，车斗用于承接青饲机抛出的饲料。目前，我国青饲机的物料填充过程仍为人工操作，需要一名操作员通过人眼识别拖车车斗的位置，然后手动控制机械臂喷头的高度和角度，存在喷射不精准，反应不及时，物料浪费，人力劳顿等各种缺陷。

视觉是人类获取环境信息的主要途径。机器视觉用机器代替人眼获取图像，用计算机模拟人脑处理信息，从图片中提取出所需信息让机器有效感知客观世界。机器视觉主要分为二维视觉及三维视觉技术，二维视觉主要应用于安防、表面检测等需要获取物体平面信息的领域。三维视觉通过分析一幅或几幅相关图片的信息或采用激光测距等技术，来获取物体的三维特征，主要用于导航、搬运、装配等需要获取环境空间状态的领域。

机器视觉的引入具有以下优势：机器视觉相对人眼观察具有更高的可靠性；机器视觉依靠电脑处理数据比人工更精确；机器视觉可以适应更复杂、高危险的工作环境。

目前针对运动物体检测的方法主要有帧间差分、背景差分、光流法等较为成熟的算法。此类方法用于在连续的视频图像中检测出相对环境运动的物体，并描绘出轮廓。也有升级后的相关算法可排除部分动态背景的干扰，定位目标物体。以上方法从二维视觉的角度解决运动物体识别问题，此类常规方法对本发明研究对象不适用。本发明并非只定位运动的拖车，而是需要找出拖车车斗相对于青饲机抛送装置的具体位置。因此本发明引入深度视觉信息实现车斗定位。

深度视觉信息来源于深度图像，这是一种2.5D的图像。作为图像深度图同样以矩阵的方式进行存储，不同之处是它的各个像素点的像素值不代表亮度，它的含义是场景中某目标点到相机参考平面的距离。深度图像的获取技术分为四类：被动式和主动式，接触式与非接触式。被动式传感器接收场景发射或反射的光能量，形成该场景中光能量的分布函数，即灰度图像。主动式传感器向场景中物体发射能量束，然后接收目标场景反射的能量。接触式方法要求接触被测量物体或跟被测量的物体间隔距离很近。非接触式即为不需要与被测量物体接触。本发明使用的传感器为主动式非接触RGB-D相机。

发明内容

针对青饲机拖车车斗手动跟随方式存在的不足，本发明利用机器视觉技术提出了一种基于深度视觉信息对运动车斗自动识别与定位方法，可以自动识别拖车的车斗的外轮廓，及其相对机械臂喷头的角度和位置，进而可以自动控制喷头高度和角度实时做出相应的调整，实现物料自动填充。

本发明采用的技术方案如下：

本发明提供一种基于深度视觉信息对运动车斗自动识别与定位方法，该方法是基于包含一个固定在青饲机抛送物料的机械臂上的可输出深度视觉信息的RGB-D相机，相机安装角度朝向拖车车斗方向，其包含如下步骤：

步骤S1：选定世界坐标系，分析相机坐标系与世界坐标系之间的关系，解算相机坐标系与世界坐标系之间的旋转矩阵R和平移矩阵t；

步骤S2：从相机读取一帧包含深度视觉信息的深度图像，及一帧点云数据；

步骤S3：将点云数据进行降采样处理，定位车斗并不需要如此稠密的点云，预先进行点云降采样可提升后续步骤的处理速度；

步骤S4：将相机坐标系下的点云转化到世界坐标系下，旋转矩阵和平移矩阵已在步骤S1 中求得；

步骤S5：对坐标值转换后的点云数据进行阈值处理，保留车斗所在的大致高度区域的点阵，对阈值处理后的点云进行降维处理，投影至二维平面，为车斗的识别定位做准备；

步骤S6：采用图像处理技术对降维处理后的点云进行拟合以获得车斗的边沿直线，确定车斗边沿，并计算其角点。

通过以上技术方案确定了车斗角点在世界坐标系下的位置，由于抛送物料的机械臂所在世界坐标系位置已知，因此可以得到机械臂喷头与车斗的位置关系，实现定位。

本发明采用RGB-D相机，通过多种计算机视觉技术协同，最终实现青饲机物料自动填充系统中最为重要的运动车斗目标识别与定位。本发明实现成本较低、计算量少、计算速度快，目标识别定位效果好，自动化程度高，基于本发明开发的青饲机物料自动填充技术可显著提高青饲机收获效率和降低劳动强度。

附图说明

图1为本发明实施例中的工作环境示意图。

图2为本发明实施例中的方法的工作流程图。

图3为本发明实施例中的方法的随机点阵图。

图4为本发明实施例中的随机点阵按最小二乘法的拟合效果图。

图5为本发明实施例中的随机点阵按RANSAC算法的拟合效果图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

如图1所示，图中的1为青饲机收获车，2为机械臂，3为喷头，4为青饲料，5为相机，6为车斗，7为拖车，青饲机收获饲料后通过主要由机械臂组成的抛送装置抛出，并由拖车的车斗承接。用计算机代替人工实现物料自动填充系统的关键在于确定青饲机机械臂喷头与拖车车斗之间的相对位置。此两者相对位置确定后，根据抛送的青饲料的速度确定青饲料的落点，控制机械臂到达指定位置，就可完成自动填充操作。相机安装固定在机械臂上，朝向拖车的车斗。采用的RGB-D相机是图漾公司生产的PERCIPIO.XYZ系列深度相机，型号为FM811-DH。

如图2为本实施例的基于深度视觉信息对运动车斗自动识别与定位方法的工作流程图。识别拖车车斗并进行角点定位，主要包含以下6个步骤完成。

1)解算相机坐标系与世界坐标系间的旋转平移矩阵。

此处涉及3D-3D的位姿估计问题，该问题可转化为如下数学描述。

假设有一组配对好的3D点：

P＝{p₁,p₂,...,p_n},P'＝{p'₁,p'₂,...,p'_n}, (1)

需要找到一个欧氏变换R，t，使得：

上式中，P’表示相机坐标系下的点矩阵，P表示世界坐标系下的点矩阵，R表示表示相机坐标系到世界坐标系的旋转矩阵，t表示相机坐标系到世界坐标系的平移矩阵，i表示某组3D参考点的序号。

本实施例中需要进行匹配的两组点阵分别是：参考物上选择的参考点在世界坐标系下的坐标值及其在相机坐标系下的对应坐标值。通过该匹配可获得两个坐标系间的相对关系。

世界坐标系的x-y平面平行于地面，以收获车体与机械臂的链接处为原点，世界坐标系下参考点坐标值通过实际测量获得。在深度图像中指定参考点，获得其像素坐标值和深度信息，然后通过相机内参K转换为相机坐标系下的三维坐标值。本发明采用SVD(Singular Value Decomposition，奇异值分解)算法完成R,t解算。

通过构建最小二乘问题，求使得误差平方和达到极小的R,t。

上式中，P’表示相机坐标系下的点矩阵，P表示世界坐标系下的点矩阵，R表示表示相机坐标系到世界坐标系的旋转矩阵，t表示相机坐标系到世界坐标系的平移矩阵，i表示某组 3D参考点的序号。

2)从相机读入一帧点云数据以及深度图像，此处深度图像用于观察场景，点云数据则是通过深度信息和相机内参计算得出。并将点云数据格式由相机提供的(.xyz)格式转化为PCL 库中要求的常用格式(.pcd)格式。

3)点云数据降采样。该步骤可成倍减少点云的处理时间，增加程序的运行效率。降采样使用体素化网格的方法实现，在减少点云数据的同时保留点云的形状特征，对提升算法速度有着重要贡献。利用PCL点云库，通过对输入的点云数据创建一个三维体素栅格，即把点云所在的三维空间划分成一些微小的空间三维立方体的集合，然后在每个体素内用该体素内所有点的重心来近似代表体素中所有的点，最终一个体素中就只剩下一个重心点。

4)将相机坐标系下的点云转化到世界坐标系。该步骤是为下一步阈值操作做准备，而执行该步骤需要的R、t矩阵已在步骤1)中求得。

计算过程如公式4所示：

上式中P_w表示世界坐标系下的点云，P_c表示相机坐标系下的点云，R_cw表示相机坐标系到世界坐标系的旋转矩阵，t_cw表示相机坐标系到世界坐标系的平移矩阵。

5)对Z通道进行阈值操作，并将结果投射到二维平面。阈值操作建立在对实际情况进行合理分析的基础上，拖车车斗高大为整车中最高的部分，利用这个限制条件可进行阈值处理，提取出车斗的大致位置。此时需要用到的点云为世界坐标系下的点云，因为所需处理的高度值相对于地面。阈值操作就是一个简单的滤波。阈值操作得到的矩形点阵为车斗所在的大致区域。

6)用图像处理相关算法作出二维平面下的定位。根据车斗的实际情况，从矩形点阵中拟合出四条直线，即车斗边沿。然后，通过求取边沿直线的交点，限定范围确定角点。拟合单条直线时要排除不想关点阵的干扰，因此此处不适合用最小二乘法等典型的拟合算法，本实施例引入了随机抽样一致性算法来完成此项工作。随机抽样一致算法(RANdomSAmple Consensus,RANSAC)是一种迭代的方法，用来在一组包含离群的被观测数据中估算出数学模型的参数。

RANSAC的基本假设是：数据都是由“局内点”组成，“局外点”是不能适应该模型的数据，除此之外的数据属于噪声。本实施例的实验对象为矩形车斗，需拟合的直线数量为四条，即车斗的边沿。对每条直线而言，不在其拟合区域内的点均为局外点。如图1所示为随机点阵，最小二乘法的拟合效果如图4所示，会考虑所有点的分布，在该实施例中显然不适用。本发明选用的RANSAC算法可以很好地排除干扰，找到需要拟合的直线，拟合效果如图5所示。本发明经过对基本程序的改进，使其能够在矩形点阵中一次性拟合出四条直线，即四条车斗边沿。

得到车斗边沿所在的四条直线后，根据其两两相交的交点即可确定车斗的角点，利用角点坐标对车斗进行定位。因此确定了车斗在世界坐标系下的位置，又由于机械臂喷头在世界坐标系下位置已知，所以机械臂喷头与车斗的相对位置也可获得。

Claims (6)

1.一种基于深度视觉信息的运动车斗自动识别与定位方法，包含如下步骤：

S1：解算相机坐标系与世界坐标系之间的旋转矩阵R和平移矩阵t；

S2：从相机读取一帧包含深度视觉信息的深度图像，及一帧点云数据；

S3：将点云数据进行降采样处理；

S4：将相机坐标系下的点云数据转换为世界坐标系下的点云数据；

S5：对转换后的点云数据进行阈值处理，保留车斗所在的大致高度区域的点阵，对阈值处理后的点云进行降维处理，投影至二维平面；

S6：采用图像处理技术对降维处理后的点云进行拟合以获得车斗的边沿直线，并计算其角点。

2.根据权利要求1所述的基于深度视觉信息的运动车斗自动识别与定位方法，其特征在于，所述的世界坐标系以收获车体与机械臂的链接处为原点，并且其x-y平面平行于地面。

3.根据权利要求1所述的基于深度视觉信息的运动车斗自动识别与定位方法，其特征在于，所述S1步骤中解算的步骤包括：

S11：在深度图像中指定参考点，获得其像素在世界坐标系下的坐标值和深度信息；

S12：然后通过相机内参K转换为相机坐标系下的三维坐标值；

S13：采用奇异值分解算法完成R,t解算，具体是通过构建最小二乘问题，求得误差平方和达到极小的R,t，其公式如下：

4.根据权利要求1所述的基于深度视觉信息的运动车斗自动识别与定位方法，其特征在于，所述步骤S2中的深度图像用于观察场景，所述点云数据则是通过深度信息和相机内参计算得出，并将点云数据的格式由相机提供的xyz格式转化为PCL库中要求的pcd格式。

5.根据权利要求1所述的基于深度视觉信息的运动车斗自动识别与定位方法，其特征在于，所述S4步骤中的转换计算过程采用如下公式(4)，执行该步骤需要的R、t矩阵已在步骤S1中求得；

上式中P_w表示世界坐标系下的点云，P_c表示相机坐标系下的点云，R_cw表示相机坐标系到世界坐标系的旋转矩阵，t_cw表示相机坐标系到世界坐标系的平移矩阵。

6.根据权利要求1所述的基于深度视觉信息的运动车斗自动识别与定位方法，其特征在于，所述S6步骤中的采用图像处理技术对点云进行拟合是指采用随机抽样一致性算法来完成拟合，获得四条直线，即车斗边沿直线，通过求取边沿直线的交点，限定范围确定角点。