CN109978949B - 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法 - Google Patents

Abstract

本发明针对如何在农作物自动化采摘过程中识别并定位农作物这一问题，提出了一种基于计算机视觉技术的YOLOv3算法与点云图像坐标法相结合的农作物识别定位方法。本发明首先利用Kinect v2深度相机获取场景的RGB图像以及深度图像，再通过YOLOv3算法对RGB图像中的多种类目标农作物进行识别，选择合适的方法确定目标农作物的特征点，最后通过点云图像确定特征点的三维坐标。实验结果表明，使用本发明方法识别出的农作物准确度高，空间位置定位误差小，与RGB图像分割法和LTLS坐标变换法相比，不仅精度高，且实现方法简单，便于操作，可为接下来使用机械臂对农作物执行采摘操作奠定良好的基础。

Description

基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法

【技术领域】

本发明涉及计算机视觉领域，特别是针对计算机视觉领域下三维图像处理方面的颜色、深度信息提取和物体识别、定位算法。

【背景技术】

在基于计算机视觉的相关领域中，三维环境中物体的识别和定位是一个非常重要的研究内容，传统物体识别方法在很大程度上依赖具体图像，并且提取方法复杂，目前推出的 YOLOv3已经克服了识别准确率不高的问题，且对小物体的检测能力也有所提升。在物体定位方面，Kinect v2各方面的性能都优于双目摄像机，且具有标定方法简单，数据传输速度快等优点。在实际操作中，将计算机视觉与智能机器人技术二者相结合，通过对目标物体进行识别和定位后，再命令机器人进行抓取、导航等操作。计算机视觉技术在机器人领域的融入使得机器人在识别、定位、跟踪、抓取等功能上都有了很大程度的提升，大大降低了成本，提高了实用性。

【发明内容】

本发明设计的基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法，包括以下步骤：

(1)对Kinect v2深度相机进行标定：使用张正友棋盘格标定方法，首先确定二维坐标到三维坐标的转换式。

根据式(1)，需要确定相机的内参矩阵A。实验中分别使用RGB彩色相机、深度摄像机在可靠视距范围内的各个角度对棋盘格进行拍摄，利用OpenCV中的标定函数计算首先出二者内参矩阵，最后进行配准，以保证RGB相机与深度相机所拍摄的图像是匹配的。标定完成后Kinect v2深度相机才能够精确地获得场景三维坐标数据。

(2)对目标农作物进行识别：使用基于DarkNet框架下的YOLOv3算法，使用Kinectv2 拍摄拍摄一系列分辨率相同的不同种类农作物的图片，分别观察对于不同形状、不同颜色以及不同重叠效果的农作物情况下，YOLOv3算法对农作物的识别结果。

(3)定义特征点：使用YOLOv3算法识别目标农作物时，会在RGB图形上生成一个矩形框将目标农作物标示出来，将矩形框四个顶点从左上角顺时针依次设为 A(x₁，y₁)，B(x₂，y₂)，C(x₃，y₃)，D(x₄，y₄)，特征点坐标设为S(x，y)，定义特征点的坐标求解公式为

(4)特征点三维坐标提取：在深度相机的Kinect_viewer/src目录下创建一个C++文件，初始化中添加ros：：Publisher语句，在深度相机原本提供的viewer.cpp文件基础上进行修改，注册鼠标回调函数，去掉main函数中多余的参数解析，，最后在Kinect_viewer文件夹下的 CMakeLists.txt中加入相应的编译配置项，运用软件“按键精灵”，将目标农作物的RGB图像中心点导入到该软件中生成脚本，实现鼠标自动点击过程。完成上述过程后，运行该程序即可自动提取特征点三维坐标。

(5)存储并发布三维坐标：目标农作物的三维坐标显示在点云图像上后，通过鼠标点击存储数据，并将存储的数据发布到ROS相应的话题中，方便接下来机械臂对三维坐标数据的读取。

【本发明的优点和积极效果】

本发明在图像识别的过程中引入了基于DarkNet框架下的YOLOv3思想，利用整张图像作为输入，基于图像的全局信息进行检测，直接在输出层回归边界框的位置及其所属类别。这种算法在区分目标及北京方面的效果非常优秀，可以在一张图上识别出多个目标的位置，甚至可以识别由于物体重叠被覆盖住部分的目标，同时YOLOv3的训练和检测的速度也非常快，提高了物体识别的速度和精度。

本发明在定义目标农作物特征点的过程中引入了一种合理的定义方法，由于在使用 YOLOv3算法识别目标农作物时，会在RGB图形上生成一个矩形框将目标农作物标示出来，通过连接矩形框的对角线，使其相交于一点，该点即定义为目标农作物特征点，通过对形状规则和不规则的农作物分别应用此种特征点定义方法，可以证明该定义规则是高效的。

本发明在特征点三维坐标提取过程中引入了通过鼠标回调函数在点云图像中直接提取坐标的思想，通过改进Kinect v2原本的viewer.cpp程序，使其发布话题，在话题中存储三维坐标数据，同时通过定义鼠标姿态，实现直接在点云图像上直观显示目标农作物特征点三维坐标的功能。当鼠标进行左击操作时，会直接将该点显示的三维坐标发布到话题上，实现目标农作物三维坐标的精准定位和快速传输。

试验结果表明，本发明所提出的将YOLOv3算法与点云图像坐标识别法相结合的方法对农作物的识别和定位比较精确，方法简单且功能稳定。与RGB图像分割法和LTLS所标变换法相比，这种方法不但误差较小，实现起来也简单快速。

【附图说明】

图1为农作物定位识别系统模型；

图2为目标农作物定位流程图；

图3为YOLO算法流程图；

图4为点云图像算法流程图；

图5为Kinect v2标定棋盘格；

图6～7分别为RGB图像和深度图像的四组标定代表性结果；

图8为YOLO算法网格划分原理图；

图9为YOLOv3算法对不同形状农作物的识别结果；

图10为目标农作物特征点选取方法；

图11为农作物特征点定位实验的部分代表性结果。

【具体实施方式】

下面结合附图对本发明进一步说明。

本发明的系统模型如图1所示，Kinect v2相机首先采集目标农作物的图像，再将拍摄的图像数据传送到电脑中，通过在电脑中执行各种算法来处理图像，以获得我们需要的目标农作物三维信息，这就是本发明的基本数据传递过程。而具体的数据处理过程及识别和定位所应用的算法则在图2中展示，Kinect v2经标定后获取RGB图像和深度图像，在计算机中使用YOLO算法识别目标农作物，算法流程如图3所示，识别完成后定义目标农作物的特征点，最后提取目标农作物特征点的三维坐标，算法流程如图4所示。

结合图5～图10，对本发明设计的算法流程介绍如下：

(1)对Kinect v2深度相机进行标定：使用张正友棋盘格标定方法，用于标定的棋盘格如图5所示，确定二维坐标到三维坐标的转换式。

根据式(1)，需要确定相机的内参矩阵A。实验中分别使用RGB彩色相机、深度摄像机在可靠视距范围内的各个角度对棋盘格进行拍摄，其代表性结果如图6～7所示。利用OpenCV 中的标定函数计算首先出二者内参矩阵，最后进行配准，以保证RGB相机与深度相机所拍摄的图像是匹配的。标定完成后Kinect v2深度相机才能够精确地获得场景三维坐标数据。

(2)对目标农作物进行识别：使用基于DarkNet框架下的YOLOv3算法，该算法对物体的识别原理可以简要以图8表示。使用Kinect v2拍摄拍摄一系列分辨率相同的不同种类农作物的图片，分别观察对于不同形状、不同颜色以及不同重叠效果的农作物情况下，YOLOv3 算法对农作物的识别结果，其中一组识别结果如图9。

(3)定义特征点：使用YOLOv3算法识别目标农作物时，会在RGB图形上生成一个矩形框将目标农作物标示出来，将矩形框四个顶点从左上角顺时针依次设为 A(x₁，y₁)，B(x₂，y₂)，C(x₃，y₃)，D(x₄，y₄)，特征点坐标设为S(x，y)，连接矩形框对角线，定义对角线焦点为特征点，如图10所示。其坐标求解公式为

(4)特征点三维坐标提取：在深度相机的Kinect_viewer/src目录下创建一个C++文件，初始化中添加ros：：Publisher语句，在深度相机原本提供的viewer.cpp文件基础上进行修改，注册鼠标回调函数，去掉main函数中多余的参数解析，，最后在Kinect_viewer文件夹下的 CMakeLists.txt中加入相应的编译配置项，运用软件“按键精灵”，将目标农作物的RGB图像中心点导入到该软件中生成脚本，实现鼠标自动点击过程。完成上述过程后，运行该程序即可自动提取特征点三维坐标。

(5)存储并发布三维坐标：目标农作物的三维坐标显示在点云图像上后，通过鼠标点击存储数据，并将存储的数据发布到ROS相应的话题中，方便接下来机械臂对三维坐标数据的读取。

本发明在原有的YOLOv3算法的基础上提供了一种特征点选取的新思路，具体原理是连接YOLOv3算法所识别出的矩形框对角线，将其焦点定义为特征点。对于苹果、橘子这类形状近似为圆形的物体进行特征点选取时，由于其形状较规则，所以应用本文方法得到的特征点恰好在它们的正中心，在这类农作物方面，特征点定义是有效的；但香蕉的形状为不规则的月牙状，所以在识别的过程中特征点不在其视觉的正中心位置，但在本实验中提取特征点的三维坐标后，是为了之后进一步控制机械臂对其空间位置进行抓取，因为机械臂的末端执行抓取的爪子有一定的开合范围，所以在我们误差允许范围内也可以将该点视为目标农作物特征点，通过图中标示的特征点对其进行抓取时，不影响抓取功能的实现。

在定义了特征点之后，提出了一种新的特征点三维坐标提取方法，为了实现这个功能，需要使用C++语言进行编程。首先，在Kinect_viewer/src目录下创建一个C++文件，在文件初始化中添加ros：：Publisher语句，即通过ROS发布相应的话题，消息格式为geometry_msgs/PointStamped。除此之外，其余程序内容可在Kinect v2原本的viewer.cpp文件基础上进行修改，在原viewer.cpp文件中的cloudViewer()函数里面注册鼠标回调函数，运用OpenCV的putText函数设置图像界面中显示的三维坐标的字体大小和粗细，在本次试验中为了便于读取数据，将三维坐标颜色设置为红色，字体大小设置为0.5，粗细设置为2.5；之后去掉main函数中多余的参数解析，让程序变得更加简洁；最后在Kinect_viewer文件夹下的CMakeLists.txt中加入相应的编译配置项。C++程序编写完成后，就可以实现鼠标点击某处就读取并发布该点的三维坐标功能，但如果要实现自动读取三维坐标功能，我们还需要运用软件“按键精灵”，将目标农作物的RGB图像中心点导入到该软件中生成脚本，最终实现鼠标自动点击的功能。完成此步骤后，即可实现目标农作物三维特征点的提取。

在实验室中进行实验，对随意摆放在实验台上的橘子、香蕉、苹果这三种比较有代表性的农作物进行识别与空间定位，按农作物种类的不同分为三组，每组进行20次不同位置下的定位实验。在保证物体处于相机的有效测量距离的情况下，尽量保证每张图片的背景清晰简洁一些，这样才能方便对实验数据的读取，故将那些背景杂乱且不容易看清三维坐标数值的图片进行合理裁剪，截取图中包含坐标清晰数值的部分，图11是实验中部分代表性的结果，其目标农作物特征点的三维坐标可以直接在图中读出。

选取部分具有代表性的实验测试结果如表1所示，将读取的数据用cm表示，小数点后保留两位。

表1农作物特征点定位实验结果数据

根据对实验数据的分析可以得出，本文中的方法对农作物的识别和定位比较精确，除个别奇异点外，三个坐标的误差值都不会超过0.5cm，且方法简单，功能稳定。

对比目前该领域的其他方法，如基于Kinect视觉系统的西红柿自动识别定位方法，主要是通过使用一种对彩色图像进行分割，在分割结果中对联通区域进行分析，确定西红柿的数量及每个西红柿对应的像素点二维坐标，这种方法获得的三个坐标值与物体实际位置坐标误差可以保持在1cm以下，定位算法简单，容易实现。除此之外，还有一种利用线性总体最小二乘(LTLS)坐标变换法获取目标物体特征点的坐标，这种方法的误差大约可达到0.6cm左右，虽然误差有所下降，但该方法的实现过程较为复杂。

将上述三种方法列表格进行对比，对比结果显示在表2中。

表2三种不同方法误差与复杂度的对比

由表2可以看出，本发明所使用方法的性能相比之下是比较优良的。只有准确确定了目标农作物的空间位置，机械臂才能确定自身与目标农作物之间正确的相对位置，才能正确地规划采摘路径，执行采摘动作。

Claims (1)

1.本发明设计的基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法，包括以下步骤：

(1)对Kinect v2深度相机进行标定：使用张正友棋盘格标定方法，首先确定二维坐标到三维坐标的转换式；

根据式(1)，需要确定相机的内参矩阵A；实验中分别使用RGB彩色相机、深度摄像机在可靠视距范围内的各个角度对棋盘格进行拍摄，利用OpenCV中的标定函数计算首先出二者内参矩阵，最后进行配准，以保证RGB相机与深度相机所拍摄的图像是匹配的；标定完成后Kinect v2深度相机才能够精确地获得场景三维坐标数据；

(2)对目标农作物进行识别：使用基于DarkNet框架下的YOLOv3算法，使用Kinect v2拍摄拍摄一系列分辨率相同的不同种类农作物的图片，分别观察对于不同形状、不同颜色以及不同重叠效果的农作物情况下，YOLOv3算法对农作物的识别结果；

(3)定义特征点：使用YOLOv3算法识别目标农作物时，会在RGB图形上生成一个矩形框将目标农作物标示出来，将矩形框四个顶点从左上角顺时针依次设为A(x₁，y₁)，B(x₂，y₂)，C(x₃，y₃)，D(x₄，y₄)，特征点坐标设为S(x，y)，定义特征点的坐标求解公式为

(4)特征点三维坐标提取：在深度相机的Kinect_viewer/src目录下创建一个C++文件，初始化中添加ros：：Publisher语句，在深度相机原本提供的viewer.cpp文件基础上进行修改，注册鼠标回调函数，去掉main函数中多余的参数解析，，最后在Kinect_viewer文件夹下的CMakeLists.txt中加入相应的编译配置项，运用软件“按键精灵”，将目标农作物的RGB图像中心点导入到该软件中生成脚本，实现鼠标自动点击过程；完成上述过程后，运行程序即可自动提取特征点三维坐标；

(5)存储并发布三维坐标：目标农作物的三维坐标显示在点云图像上后，通过鼠标点击存储数据，并将存储的数据发布到ROS相应的话题中，方便接下来机械臂对三维坐标数据的读取。

Images