CN103529855B - 一种旋转可调式双目视觉的目标识别定位装置及其在农业果实采摘机械的应用 - Google Patents

Abstract

本发明公开了一种旋转可调式双目视觉的目标识别定位装置及其在农业果实采摘机械中的应用。目标识别定位装置包括支架、摄像机和图像处理系统；所述支架包括两根纵向导轨和两根横向导轨，横向导轨与纵向导轨采用滑动连接以实现摄像机在Z轴方向的移动；所述摄像机是通过底座固定于支架上的两个左右对称设置的摄像机，底座可以绕Y轴进行旋转，底座与横向导轨采用滑动连接以实现摄像机在X轴方向的移动。本发明的目标识别定位装置可以实现双目视觉立体摄像机在三维空间内多自由度的运动，实现双目视觉多角度的识别定位，优化识别定位效果；应用于农业果实采摘机械中，可以适用于多类农业果实，具有一定的普遍性。

Description

一种旋转可调式双目视觉的目标识别定位装置及其在农业果实采摘机械的应用

技术领域

本发明涉及农业采摘领域，特别涉及一种旋转可调式双目视觉的目标识别定位装置及其在农业果实采摘机械的应用。

背景技术

现有的农业果实采摘机械多为人工采摘或手工操作简单机构采摘，通常仅适宜小范围内作业，存在人工费用高、采摘效率低、自动化程度低等问题，很难适应农业果实的大规模种植和采摘要求。要提高农业果实采摘机械的智能化水平，首先要提高对果实的识别和定位效率。生长在植物或树上的果实的形状、尺寸、颜色、生长位置等差异性很大，而且果实总是随机分布生长，但现有的农业果实采摘机械一般采用固定的目标识别定位装置，只能在某一个角度范围内获得果实的图像信息，对自然生长的果实的识别范围受到限制。现有目标识别定位装置主要包括：固定在机械手的未端执行器械上或机械手上的单目、双目识别系统，其视角无法调节，且仅适合对单个水果或包含少量果实的一串植株的识别。而且，现有目标识别定位装置中固定位置的摄像机很难一次性识别出一个植株长度上的许多小果实，且当植株竖直下垂生长需要适当调节视角时，也无法有效识别。因此，现有装置无法让采摘机构在不损伤果实的前提下一次全部采下果实。对于这种生长特殊的小林果实的采摘，需要采摘机械的视觉系统能不断调整视觉范围和角度，以获得最佳的水果目标识别定位环境和受到光照最小影响的视角，但现有的农业果实采摘机械也无法满足这一要求。因此，研究和开发具有可调式目标识别定位装置的农业果实采摘机械，对于提高劳动生产效率、降低成本、保证果蔬品质要求具有重大意义。

发明内容

本发明的目的在于克服现有技术中存在的缺点，提供一种快速识别、准确定位、成本低的旋转可调式双目视觉的目标识别定位装置。

本发明的另一目的在于提供上述目标识别定位装置在农业果实采摘机械上的应用。

本发明的目的通过下述技术方案实现：

一种旋转可调式双目视觉的目标识别定位装置，包括支架、摄像机和图像处理系统；所述支架包括两根纵向导轨1和两根横向导轨4，横向导轨4与纵向导轨1采用滑动连接以实现摄像机在Z轴方向的移动；所述摄像机是通过底座5固定于支架上的两个左右对称设置的摄像机7，底座5可以绕Y轴进行旋转，从而带动摄像机7在Y轴方向的旋转以提高摄像机的观测角度和范围，底座5与横向导轨4采用滑动连接以实现摄像机在X轴方向的移动。

所述图像处理系统是指对图像信息进行处理的计算机软件与硬件系统，包括图像处理硬件和图像处理软件。所述图像处理硬件包括图像采集卡、PC机；所述图像处理软件包括图像处理算法及其程序模块。其中图像采集卡的主要功能是对摄像机所获取的图像数据进行实时的量化，并将其转换为数字图像，同时提供与PC机的高速接口，将数字图像存储在计算机中。

所述两个左右对称设置的摄像机7是两个CCD摄像机，镜头相距10～25cm，且它们之间的距离可以调节。

所述图像处理系统的操作过程包括下述步骤：

（1）摄像机标定：确定摄像机的视觉成像系统的内部参数和外部参数，即视觉成像系统对应的目标由图像坐标到世界坐标的映射关系；

（2）图像采集：将摄像机获取的图像进行量化后转换为数字图像，并将其输入、存储到计算机中；

（3）图像预处理：对存储到计算机中的数字图像进行对比度增强、平滑和图像增强的预处理；

（4）颜色空间转换：将图像从RGB颜色空间转换到YCbCr颜色空间，用以适当减弱在室外环境下太阳光对图像的干扰，获取目标最佳的颜色特征；

（5）图像分割与目标提取：采用图像分割算法，从获取的包含复杂背景的图像中分割出农业果实图像，然后从分割出的农业果实图像中识别和解译有意义的物体实体；

（6）目标定位：目标提取完成后，得到该目标在图像中的几何位置信息，即获得农业果实在图像中的坐标位置，然后结合摄像机标定结果及双目视觉的视差原理，将二维坐标转换到真实三维空间坐标，最终求取目标的三维位置信息。

一种农业果实采摘机械，包括上述目标识别定位装置、移动平台3、果箱2和夹持机械手6；所述移动平台3在水平Y轴方向上移动；所述目标识别定位装置的纵向导轨1固接于移动平台3的前部，夹持机械手6及其控制部分位于移动平台3的中部，果箱2位于移动平台3的尾部。

所述夹持机械手6包括后臂8、前臂9和夹持手爪10；夹持手爪10固接在前臂9上并由前臂9带动，用于夹紧农业果实；前臂9与后臂8之间通过轴连接，且前臂9可以绕连接轴在竖直平面内做旋转运动，后臂8与移动平台3的主体连接。

在果实采摘过程中，移动平台3在指定的道路上行驶至果树旁边，目标识别定位装置开始工作。该装置的两部摄像机7对指定道路一侧的农业果实进行图像采集。图像采集具体过程如下：由伺服电机带动横向导轨4在纵向导轨1上滑动，以实现摄像机底座5在Z轴方向的移动；另一同型号的伺服电机驱动摄像机底座5在横向导轨4上的滑动，以实现摄像机在X轴方向的移动；摄像机7被移动到合适的空间位置，以获得较好的视角，此时摄像机开始采集果实图像。目标识别定位装置对农业果实进行识别定位后，控制移动平台3上的定位夹持机械手6进行定位夹持和拉直。当夹持机械手6完成定位夹持后，农业果实采摘机械上的采摘机构再对农业果实进行采摘。

本发明与现有技术相比具有如下优点和效果：

1、本发明的标识别定位装置，具有旋转可调式的双目视觉，可以实现双目视觉立体摄像机在三维空间内多自由度的运动，实现双目视觉多角度的识别定位，优化识别定位效果，能够快速识别和准确定位目标。

2、本发明的识别定位装置应用于农业果实采摘机械中，可以适用于多类农业果实，提高农业果实采摘的效率和自动化程度，具有一定的普遍性。

附图说明

图1中，a为安装有旋转可调式双目视觉的目标识别定位装置的农业果实采摘机械的结构简图，b为目标识别定位装置中的摄像机及其底座。

图2中，a为夹持机械手的初始状态结构示意图，b为夹持机械手的工作状态结构示意图。

图3为图像处理系统的目标识别定位操作过程流程图。

图中，1、纵向导轨；2、果箱；3、移动平台；4、横向导轨；5、底座；6、夹持机械手；7、摄像机；8、后臂；9、前臂；10、夹持手爪。

具体实施方式

下面结合实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例

本实验例以枸杞果实采摘机械为例进行说明。小林果的枸杞，其植株呈竖直垂下生长，且高度和角度不一致，在采摘过程中，需要将枸杞植株拉到接近水平位置。与单个柑桔采摘不同，在一条树枝（既植株）长度上长有很多枸杞小果，且长在枝上不同的位置，农业果实采摘机械需要一次把一条枝上的小果全部采摘下来。而每次采摘，因果枝高度和角度不同，需要调整视觉角度，扩大检测目标的范围，给出枝上果实及树枝的空间坐标，为农业果实采摘机械提供定位坐标数据。

如图1的a和b所示，农业果实采摘机械，包括旋转可调式双目视觉的目标识别定位装置、移动平台3、果箱2和夹持机械手6。其中，旋转可调式双目视觉的目标识别定位装置，包括支架、摄像机和图像处理系统；所述支架包括两根纵向导轨1和两根横向导轨4，横向导轨4与纵向导轨1采用滑动连接以实现摄像机在Z轴方向的移动；所述摄像机是通过底座5固定于支架上的两个左右对称设置的两个CCD摄像机7，镜头相距10～25cm，且它们之间的距离可以调节；底座5可以绕Y轴进行旋转，从而带动摄像机7在Y轴方向的旋转以提高摄像机的观测角度和范围，底座5与横向导轨4采用滑动连接以实现摄像机在X轴方向的移动。

所述移动平台3在水平Y轴方向上移动。所述目标识别定位装置的纵向轨道1固接于移动平台3的前端，实现视觉部分的摄像机在Z轴方向的移动，其横向导轨4与摄像机底座5采用滑动连接，实现了两台摄像机在X轴方向的移动，两台摄像机滑动连接于摄像机底座上，可随着底座实现旋转，摄像机的距离可通过滑块调节。夹持机械手6及其控制部分位于移动平台3的中部，主要用于实现农业果实的抓取、拉取、夹持等操作，如图2所示，所述夹持机械手6包括后臂8、前臂9和夹持手爪10；夹持手爪10固接在前臂9上并由前臂9带动，用于夹紧农业果实；前臂9与后臂8之间通过轴连接，且前臂9可以绕连接轴在竖直平面内做旋转运动，后臂8与移动平台3的主体连接。果箱2位于移动平台3的尾部，用于放置收获果实。

所述图像处理系统是指对图像信息进行处理的计算机软件与硬件系统，包括图像处理硬件和图像处理软件。所述图像处理硬件包括图像采集卡、PC机；所述图像处理软件包括图像处理算法及其程序模块。其中图像采集卡的主要功能是对摄像机所获取的图像数据进行实时的量化，并将其转换为数字图像，同时提供与PC机的高速接口，将数字图像存储在计算机中。所述图像处理系统的计算机根据从摄像机获取的图像信息，计算视场中物体的位置信息，并由此识别环境中的物体，最终完成对目标物体的定位。如图3所示，图像处理系统的操作过程包括下述步骤：

（1）摄像机标定：摄像机标定是指确定目标图像坐标到世界坐标的映射关系，也就是确定视觉成像系统的内部参数和外部参数。因此，为了确定空间目标的三维位置与二维图像像素坐标间的对应关系，必须建立视觉成像的几何模型，并求解几何模型的参数。

摄像机标定结果的精度对目标定位结果的影响较大。根据标定方式的不同，可大致将标定方法归纳为三类：传统标定方法、自标定方法和基于主动视觉的标定方法。其中，张正友的平面标定方法是介于传统标定方法和自标定方法之间的一种方法，该方法有较好的鲁棒性和实用性，故选用该方法进行摄像机标定。

（2）图像采集：图像采集也就是图像的数字化过程，即将图像采集到计算机中的过程。在实际操作过程中，首先通过调整识别定位装置使得双目视觉摄像机处在一个合适的三维空间位置，然后双目视觉的摄像机开始采集移动平台前方的枸杞植株图像。摄像机获取图像后，便将图像存储在计算机中以便进行后续的图像处理工作。双目摄像机对前方的枸杞植株仅进行间断的图像采集。

（3）图像预处理：一般地，视觉系统获取的图像即是原始图像。在自然环境下，由于受到光照、温度、湿度等种种因素的影响，由CCD摄像机获取的原始图像往往包含着各种各样的噪声和畸变，因而不能在图像处理系统中直接使用。为此需要对图像进行预处理，包括：对比度增强、平滑和图像增强。必须在进行图像分析和识别前进行灰度校正、噪声过滤等图像预处理，从而去掉这些使图像质量劣化的因素，并对信息微弱的图像进行增强，使图像特征更加明显或使图像中的有用信息更容易被提取。因此需要对图像进行预处理，具体包括：对比度增强、图像平滑和图像增强等。

（4）颜色空间转换：在自然光环境下，需要一种适合该特定情景分析的颜色模型。通常由视觉系统获取的原始图像为RGB颜色模型，代表了红、绿、蓝三种颜色，受光线影响较大，该颜色空间模型不适合在自然场景下分割图像。通过申请人反复实验表明YCbCr颜色模型可以有效抑制光照的影响，因此将RGB颜色模型转换到YCbCr颜色模型进行处理。

（5）图像分割与目标提取：由CCD摄像机获取到的一副图像中，通常包括枸杞果实、枸杞叶子、枸杞树枝、室外背景等部分。图像分割的主要目标就是从一副包含上述复杂背景的图像中分割出枸杞果实。现有的图像分割算法包括：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。

提取枸杞果实用到的图像分割算法为基于阈值的图像分割。具体的方法是：上一步中已经将图像转换到YCbCr颜色模型，使用该模型中的Cr分量，运用大津法得到该幅图像的一个阈值，以此为基础可以得到初步只包含枸杞果实的二值图像。最后，运用恰当的形态学处理方法，对图像进行腐蚀、膨胀等操作，得到最终的只有枸杞果实的图像。

目标提取是指从单幅图像或序列图像中将感兴趣的目标与背景分割开来，并从图像中识别和解译有意义的物体实体而提取不同的图像特征的操作。在完成目标图像分割后，目标提取工作也就基本完成。

（6）目标定位：目标定位是指从一副采集的图像中获得目标的空间三维位置的过程。在目标提取完成后，得到该目标在图像中的几何位置信息，即获得枸杞果实在图像中的二维坐标位置，然后结合摄像机标定结果及双目视觉的视差原理，将二维坐标转换到三维空间坐标，最终求取目标的三维位置信息。

在农业果实采摘过程中，移动平台3在指定的直线道路上行驶。当移动平台3停留在果树果枝有果实的某处时，目标识别定位装置开始工作，该装置的两部摄像机7对指定道路一侧的农业果实进行图像采集。如果分散长在果枝上的一些小果实不在视觉系统检测角度内，则目标识别定位装置需要调整摄像机角度。此时，由伺服电机带动横向导轨4在纵向导轨1上滑动，实现摄像机底座5在z轴方向的移动；而另一同型号的伺服电机驱动摄像机底座5在横向导轨4上的滑动，以实现摄像机在X轴方向的移动。摄像机7被移动到合适的空间位置（两相机与果枝上的果实平行的位置），以获得较好的视野（视角），此时摄像机开始采集果实图像。目标识别定位装置对果实进行识别定位后，控制移动平台3上的夹持机械手6将果树的植株拉到接近水平位置进行定位夹持和拉直，配合采摘机构完成对植株上的这些果实的采摘任务。需要指出的是，当植株上的一些果实在摄像机平行的视野内，可以用夹持机械手定位夹持果枝，配合采摘机构采摘。但如果目标不处于摄像机视野范围内的时候，就需要控制移动平台3运动以及让双摄像机7在Y轴方向上旋转，以获得最恰当的视场。而该装置中双目视觉部分的摄像机旋转可调，则正好可以满足这一要求。当双目视觉的目标识别定位装置完成了对目标物体的识别定位后，外接的计算机将目标的位置信息由图像坐标系转换为世界坐标系后，就可以获得该目标在三维空间内的坐标。在将这些坐标位置信息转化为控制指令后，主控制器，即上位机，将指令通过网络适配器传递给各个对应的网络驱动器，再由各个网络驱动器控制各关节控制器，即下位机，带动机械手各关节的运动。移动平台3上的夹持机械手6将果树的植株拉到接近水平位置进行定位夹持和拉直。参照图2（a）、（b），这一过程的具体操作如下：初始状态时，夹持机械手的夹持手爪处于张开状态。首先，夹持机械手的夹持手爪10收到控制指令后，夹紧枸杞植株，此时小林果植株尚处于竖直下垂状态。然后，控制指令驱动电机带动夹持机械手的前臂9绕着连接轴在竖直平面内旋转，夹持手爪10在此过程中将竖直垂下的小林果植株拉至近似水平位置时，如图2（b）所示。到达一定位置后，机械手前臂9停止运动，整个动作完成。在整个过程中，机械手后臂8始终处于水平方向，最终实现对目标物体的抓取、夹持、拉取等动作。

Claims (4)

1.一种旋转可调式双目视觉的目标识别定位装置，其特征在于：包括支架、摄像机和图像处理系统；所述支架包括两根纵向导轨和两根横向导轨，横向导轨与纵向导轨采用滑动连接以实现摄像机在Z轴方向的移动；所述摄像机是通过底座固定于支架上的两个左右对称设置的摄像机，底座可以绕Y轴进行旋转，底座与横向导轨采用滑动连接以实现摄像机在X轴方向的移动；所述两个摄像机是两个CCD摄像机，镜头相距10～25cm，且它们之间的距离可以调节。

2.根据权利要求1所述的旋转可调式双目视觉的目标识别定位装置，其特征在于：所述图像处理系统的操作过程包括下述步骤：

(1)摄像机标定：确定摄像机的视觉成像系统的内部参数和外部参数，即视觉成像系统对应的目标由图像坐标到世界坐标的映射关系；

(2)图像采集：将摄像机获取的图像进行量化后转换为数字图像，并将其输入、存储到计算机中；

(3)图像预处理：对存储到计算机中的数字图像进行对比度增强、平滑和图像增强的预处理；

(4)颜色空间转换：将图像从RGB颜色空间转换到YCbCr颜色空间，用以适当减弱在室外环境下太阳光对图像的干扰，获取目标最佳的颜色特征；

(5)图像分割与目标提取：采用图像分割算法，从获取的包含复杂背景的图像中分割出农业果实图像，然后从分割出的农业果实图像中识别和解译有意义的物体实体；

(6)目标定位：目标提取完成后，得到该目标在图像中的几何位置信息，即获得农业果实在图像中的坐标位置，然后结合摄像机标定结果及双目视觉的视差原理，将二维坐标转换到真实三维空间坐标，最终求取目标的三维位置信息。

3.一种农业果实采摘机械，其特征在于：包括权利要求1～2任一项所述的目标识别定位装置、移动平台、果箱和夹持机械手；所述移动平台在水平Y轴方向上移动；所述目标识别定位装置的纵向导轨固接于移动平台的前部，夹持机械手及其控制部分位于移动平台的中部，果箱位于移动平台的尾部。

4.根据权利要求3所述的农业果实采摘机械，其特征在于：所述夹持机械手包括后臂、前臂和夹持手爪；夹持手爪固接在前臂上并由前臂带动，用于夹紧农业果实；前臂与后臂之间通过轴连接，且前臂可以绕连接轴在竖直平面内做旋转运动，后臂与移动操作平台的主体连接。