CN107750643B - 草莓采摘机器人的视觉系统 - Google Patents

Abstract

本发明公开了一种能精确识别草莓目标并捕获草莓目标的位置信息的草莓采摘机器人的视觉系统。包括近场摄像头、远场摄像头，所述远场摄像头用于拍摄草莓目标的远距离照片，所述近场摄像头用于拍摄草莓目标的近距离照片，通过两张照片的目标定位实现草莓的定位。抓住草莓的颜色特征和形状特征的方法如下：S1、颜色阈值范围的提取；S2、根据颜色阈值构建二值图；S3、腐蚀操作；S4、膨胀操作；S5、边界检测；S6、对识别到的草莓目标进行质心计算，显示坐标。

Description

草莓采摘机器人的视觉系统

技术领域

本发明属于农业设备技术领域，特别是涉及一种草莓采摘机器人的视觉系统。

背景技术

目前的草莓采摘机器人都是平行双目或者三相机视觉平台，结构复杂，成本较高，采用平行双目视觉模块定位(中国专利201610277479.2)或者三相定位(中国专利201610710577.0)方式，实现目标草莓果实的观察和判别，目标草莓果实的判定误差较大，无法精确识别草莓目标并捕获草莓目标的位置信息，使机器人无法有效采摘草莓。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能精确识别草莓目标并动态捕获草莓目标位置信息的草莓采摘机器人的视觉系统。

本发明的目的是这样实现的：

一种草莓采摘机器人的视觉系统，包括近场摄像头、远场摄像头，所述远场摄像头用于拍摄草莓目标的远距离图像，所述近场摄像头用于拍摄草莓目标的近距离图像，通过两张图像的草莓质心及近远场差分运算实现草莓目标的定位。

实现草莓目标定位的方法如下：

S1、拍摄近场视频图像、远场视频图像；

S2、图像二值化；

S3、腐蚀运算；

S4、膨胀运算；

S5、边界检测；

S6、草莓质心及近远场差分运算。

进一步地，S1包括：先提取草莓目标的RGB阈值范围，然后通过对RGB三个数值进行计算转化得到HSV的值。

HSV模型把图像分为三个分量，即亮度、色调度、饱和度，并且将亮度、色调度从颜色信息中分离出来，这种分离在图像处理中非常直观，稍微调整它的饱和度和亮度就能够改变它的颜色，因此与RGB相比较更为方便，且更加直观。

进一步地，S2包括根据阈值范围在两个极端之间找到一个阈值t，将这两个极端分开，并且使每一个极端内的方差最小从而把草莓目标与背景区分出来，区分出来后对图像进行卷积运算，分别构建出近场、远场二值图像。

进一步地，S3包括：对草莓图像使用平均滤波器，以5×5的平均滤波器核，将核放在图像的一个像素A上，求与核对应的图像上5×5个像素的和再取平均数，用这个平均数替代像素A的值，重复以上操作直到将图像的每一个像素值都更新一遍，最后就能达到使图像腐蚀变为模糊。

进一步地，S4包括：与上一步腐蚀相反，消除边界点从而使图像外部膨胀，结构元素选用5×5，扫描图像的每一个像素用结构元素与其覆盖的二值图像做“或”操作，卷积如果都为0，结果图像的该像素点用0标示，否则为1，从而使二值图像扩大一圈。

进一步地，S5包括：将草莓形状看作一个圆锥体来处理，针对草莓目标的外轮廓计算出草莓目标的最大外接圆面积，从而计算出外接圆的中心坐标，以此来获得草莓的位置信息。

进一步地，S6包括：通过远场摄像头进行图像获取，得到草莓远场图像，通过草莓图像所占图像面积推算机器人与草莓的距离和质心位置Cn，然后启动近场摄像头，判定近场草莓质心位置Cp，其中Cn与Cp应该重合为一点C，远场摄像头的安装点为A，近场摄像头安装位置为动态位置B点，远场和近场构成三角形的AB边，目标C点与A点构成AC边，与AB边的夹角为α；目标C点与近场B点构成BC边，与BA边的夹角为β，根据三角形关系，可以推算出草莓的实际位置。

进一步地，近场点B为动态点，根据与固定点A的相对运动，根据机器手的DH算法，得到动态B点位置，从而确定AB边及夹角α。

进一步地，还包括草莓采摘机器人，所述草莓采摘机器人具有机身，以及设置在机身上的机械臂，机械臂的末端设置用于采摘草莓的机械手，所述近场摄像头安装在机械手上，形成动态近场摄像头，可以动态地近距离地观察草莓，并获取草莓的图像信息。所述远场摄像头安装在机身上。

由于采用了上述技术方案，本发明具有如下有益效果：

本发明采用远镜头+近镜头的动态双目结构，实现目标的精准定位分割，能精确识别草莓目标并捕获草莓目标的位置信息。

附图说明

图1为六足草莓采摘机器人的结构示意图；

图2为六足草莓采摘机器人的俯视示意图；

图3为机身的结构示意图；

图4为行走腿的结构示意图；

图5为机械臂的结构示意图；

图6为机械手一个视向的结构示意图；

图7为机械手另一个视向的结构示意图；

图8为近场摄像头结构示意图；

图9为远场摄像头结构示意图；

图10为草莓采摘机器人图像处理过程；

图11为近场、远场动态距离算法方案；

图12为六足草莓机器人直线步态示意图；

图13为六足草莓采摘机器人直行前进参数图；

图14为六足草莓采摘机器人直线步态腿长和步长之间的关系示意图；

图15为六足草莓采摘机器人转弯步态示意图；

图16为六足草莓采摘机器人转弯示意图；

图17为六足草莓采摘机器人转弯步态腿长与步长之间关系示意图；

图18为六足草莓采摘机器人直线步态运动流程图。

附图标记

1-机身，101-机身上板，102-机身下板，103-连接机身上板和机身下板的连接柱；

2-行走腿，包括201-第一舵机，202-第一舵机舵盘，203-第二舵机，204-第二舵机外壳，205-大腿连接柱，206-大腿侧板，207-连接大腿和大腿连接柱的螺钉，208-固定第三舵机的螺钉，209-第三舵机，210-小腿侧板，211-固定小腿连接柱的螺钉，212-连接脚板与小腿的螺钉，213-圆形脚板，214-小腿连接柱，215-第三舵机舵盘；

3-机械臂，包括301-第四舵机，302-固定第四舵机与机身的螺钉，303-第五舵机的舵盘，304-第五舵机，305-第五舵机的外壳，306-固定大臂连接柱螺钉，307-第六舵机舵盘，308-小臂侧板，309-连接机械手的螺钉，310-小臂连接柱，311-连接小臂侧板的螺钉，312-第六舵机，313连接大臂侧板的连接柱，314-大臂侧板。

4-机械手，包括401-下盖板，402-连接下盖板与小臂的螺钉，403-连接夹钳的铰链，404-左夹钳，405-夹钳与动杆的铰链销，406-左动杆，407-左刀刃，408-左橡胶块，409-右刀刃，410-右橡胶块，411-手抓底盘，412-右动杆，413-右夹钳，420-手抓舵机，421-固定手抓舵机的螺钉，422-支撑柱，423-上盖板，424-手抓舵机舵盘。

5-草莓采摘机器人的视觉系统，包括501-近场摄像头，502-固定摄像头的螺钉，503-固定近摄像头平台的螺钉，504-近摄像头平台；510-远场摄像头，511-摄像头支撑杆。

具体实施方式

参见图10为草莓采摘机器人图像处理过程，图11为近场、远场动态距离算法方案。草莓采摘机器人的视觉系统包括近场摄像头、远场摄像头，所述远场摄像头用于拍摄草莓目标的远距离图像，所述近场摄像头用于拍摄草莓目标的近距离图像，通过两张图像的草莓质心及近远场差分运算实现草莓目标的定位。所述近场摄像头安装在手抓舵机上端，所述远场摄像头固定在摄像头支撑杆上，所述摄像头支撑杆固定在机身上端后部，防止远场摄像头被机械臂遮挡。

实现草莓目标定位的方法如下：

S1、拍摄近场视频图像、远场视频图像；先通过近场、远场摄像头提取草莓目标图像的RGB图像模型阈值范围，然后通过对RGB三个颜色分量数值进行计算转化得到HSV颜色模型的值。

S2、根据颜色阈值构建二值图；根据阈值范围在两个极端之间找到一个阈值t，将这两个极端分开，并且使每一个极端内的方差最小从而把草莓目标与背景区分出来，区分出来后对图像进行卷积运算，构建出二值图像。

其中，远场摄像头采用全局二值化处理，近场摄像头采用局部二值化理，局部二值化是根据图像处理的不同，按照局部区域进行二值化算法，主要用于比较清晰，干扰性比较大的区域。而远场的图像因为比较宏观，用全局二值化就可以了，全局二值化一般简称二值化即可。

S3、腐蚀操作；对草莓图像使用平均滤波器，以5×5的平均滤波器核，将核放在图像的一个像素点A上，求与核对应的图像上5×5个像素的和再取平均数，用这个平均数替代像素点A的值，重复以上操作直到将图像的每一个像素点都更新一遍，最后就能达到使图像腐蚀变为模糊。

S4、膨胀操作；与腐蚀相反，与卷积核对应的原图像的像素值中只要有一个是1，中心元素的像素值就是1，所以这个操作会增加图像中的白色区域(前景)，以此来达到图像膨胀的效果。在去噪声时先用腐蚀，这样在去掉白噪声的同时，也会使前景对象变小，再对它进行膨胀，这时噪声已经被去除了，但是前景还在并会增加，这样会使草莓目标更加清晰，达到很好的形态学处理效果。

S5、边界检测；将草莓形状看作一个圆锥体来处理，针对草莓目标的外轮廓计算出草莓目标的最大外接圆面积，从而计算出外接圆的中心坐标，以此来获得草莓的位置信息。

S6、对识别到的草莓目标进行质心计算，显示坐标；通过远场摄像头进行图像获取，得到草莓远场图像，通过草莓图像所占图像面积推算机器人与草莓的距离和质心位置Cn，然后启动近场摄像头，判定近场草莓质心位置Cp，其中Cn与Cp应该重合为一点C，远场摄像头的安装点为A，近场摄像头安装位置为B点，远场和近场构成三角形的AB边，目标C点与A点构成AC边，与AB边的夹角为α；目标C点与近场B点构成BC边，与BA边的夹角为β，根据三角形关系，可以推算出草莓的实际位置。

本发明还包括草莓采摘机器人，所述草莓采摘机器人具有机身，以及设置在机身上的机械臂，机械臂的末端设置用于采摘草莓的机械手，形成动态近场摄像头，所述近场摄像头安装在机械手上，所述远场摄像头安装在机身上。参见图11，A点为远场摄像头安装位置的中心点，B点安装在机器臂上的动态摄像机中心点，远场摄像头、近场摄像头均保持水平安装，远场摄像头的安装点A和近场摄像头的安装点B构成三角形的AB边，其中机械臂为三自由度，包括在水平方向的旋转，机械臂的肘关节为D点，垂直面AD线绕A点俯仰，BD线绕D点俯仰。C点为目标草莓的位置。当机器臂做向前运动，B点位置发生变化，从而带动近场摄像机运动，达到新的B’位置。其中ABD三角形由上、下两个机器臂、近场远场摄像头构成，AB’D’三角形由旋转运动的机器臂与近场远场摄像头构成。ABC三角形构成双目定位系统，AB’C构成运动后的动态双目定位系统。

而传统的双目成像示意图如AE’C构成的三角形，通过已知AE’的长度d，A和E’两处的摄像机的焦距f、成像位置Y_E’和Y_A，求得目标草莓C距AE’的垂直距离h，h＝d×f/(Y_E’-Y_A)。

相对传统的固定双目测距方法，本发明的优点是设置动态的摄像头B，可以更加清楚显示近距离的草莓图像，便于与远场摄像头的目标图像比对。通过机器臂的运动，带动摄像头从B点运动到B’点位置。当机器臂按照DH方法运动后，按照旋转角度，求出AB线的长度，以及推断出AB运动到AB’的夹角，从而得到AB’的长度，再根据角度关系推导出A’B’的长度d’。形成动态双目测距系统结构为A’B’C，草莓距A’B’的距离h’＝d’×f/(Y_B’-Y_A)，从而获得动态摄像头B’距离目标草莓的距离。

采用远镜头+近镜头的动态双目结构，实现目标的精准定位分割，能精确识别草莓目标并捕获草莓目标的位置信息。

参见图1至图9，为草莓采摘机器人的一种较佳的实施例，包括机身、行走腿、机械臂、机械手，所述机身呈六边形，该六边形的六个角对称位于机身的左右两侧，所述机身的背部安装有控制器和扩展器，所述控制器为机器人的核心处理器，带通信、通用输入/输出、USB接口，并接收机器人的传感单元、输入单元等，并外接HDMI视频输出、声音输出，用USB与扩展器连接，所述扩展器用于控制机身上的所有舵机。所述机身具有机身上板、机身下板，所述机身上板、机身下板之间通过连接柱连接固定。

所述行走腿的数量为六条，六条行走腿的分布位于六边形机身的六个角的位置。每条行走腿分别包括大腿、小腿，并设置三个自由度，分别为第一舵机控制行走腿在水平面内摆动的第一髋关节自由度，第二舵机控制大腿竖直平面内摆动的第二髋关节自由度，以及第三舵机控制小腿竖直平面内摆动的膝关节自由度，第二舵机、第三舵机联合工作，使机器人可以作俯仰运动，第一舵机、第二舵机、第三舵机联合工作，使机器人可以行走。所述大腿、小腿均为框架结构，框架结构分别包括两侧板，两侧板之间通过连接柱连接固定。

所述第一舵机的外壳安装在机身的背部，所述第二舵机的外壳位于机身上板、机身下板之间，所述第一舵机的输出端穿过机身上板连接第二舵机的外壳，所述第二舵机的外壳位于大腿固定端的两侧板之间，第二舵机的输出端连接大腿固定端的侧板，所述第三舵机的外壳固定于小腿固定端的两侧板之间，小腿固定端的两侧板位于大腿自由端的两侧板之间，所述第三舵机的输出端穿过小腿固定端的侧板固定在大腿自由端的侧板上。

所述机械臂包括设于机身背部前端的大臂、小臂，所述机械臂具有三个自由度，分别为第四舵机带动机械臂在水平面360°旋转的第一肩关节自由度，第五舵机带动上臂俯仰的第二肩关节自由度，第六舵机带动小臂俯仰的肘关节自由度；第四舵机、第五舵机、第六舵机联合工作，用于带动机械手运动至所摘草莓的位置，扩大作业范围；所述大臂为框架结构，包括两侧板，两侧板之间通过连接柱连接固定，所述小腿的末端设置有脚板。

所述第四舵机的外壳固定在机身背部，第四舵机的输出端连接第五舵机外壳，所述第五舵机的外壳位于大臂固定端的两侧板之间，第五舵机的输出端与大臂固定端的侧板固定连接，所述小臂为第六舵机的外壳，第六舵机的外壳位于大臂自由端的两侧板之间，所述大臂的自由端连接第六舵机的输出端，第六舵机的输出端与机械手连接。

所述机械手设于小臂末端，所述机械手包括左夹钳和右夹钳，左夹钳和右夹钳后端铰接定位，左夹钳和右夹钳的上端设置刀刃，刀刃突出左夹钳和右夹钳的相向面，用于剪切果柄，左夹钳和右夹钳之间设有一手抓舵机，所述手抓舵机的输出端连接手抓底盘，所述手抓底盘分别铰接左动杆和右动杆的一端，左动杆和右动杆的另一端分别铰接于左夹钳和右夹钳的中部，所述手抓舵机通过左动杆和右动杆带动左夹钳和右夹钳的前部合拢，所述左夹钳和右夹钳的内侧分别安装左橡胶块和右橡胶块，作为夹草莓的直接部件，进行夹持、剪切，形成双支点回转型剪夹一体化机构。

所述左夹钳和右夹钳安装在上盖板和下盖板之间，所述手抓舵机安装固定在上盖板或下盖板上，上盖板、下盖板通过连接杆固定连接，手抓舵机的输出端穿过对应的盖板与手抓底盘连接。

一种六足草莓采摘机器人的行走方法，参见图1，包括六足草莓采摘机器人，所述六足草莓采摘机器人为仿生螃蟹机器人，六足草莓采摘机器人左右侧对称设有具有髋关节、膝关节的三条腿，其左侧三条腿从前往后记为1号腿、3号腿、5号腿，右侧三条足从前往后记为2号腿、4号腿、6号腿，六足草莓采摘机器人的六条腿分为两组，第一组腿为1号腿、4号腿、5号腿，第二组腿为2号腿、3号腿、6号腿，六足草莓采摘机器人行走时具有直线步态、转弯步态。

所述直线步态方法实现方法如下：

六足草莓采摘机器人的两组腿均具有直线摆动相和直线支撑相，腿的自由端在直行时保证走直线，即图12的虚线方向。所述直线摆动相指腿抬起向前摆动，所述直线支撑相指支撑六足草莓采摘机器人的腿同时向后摆动，六足草莓采摘机器人的两组腿交替变化直线摆动相和直线支撑相，使机器人实现重心不断向前的直线步态；

参见图12，当t＝0时，2、3、6号腿为摆动相起始位姿，准备抬腿向前运动，1、4、5号腿为支撑相,支撑机器人本体，并向后摆使机身向前；t＝T/4时,2、3、6腿处于摆动相中间，处于最高点，之后腿下降落地，到T/2前停稳。当t＝T/2时，1、4、5变为摆动相，作为摆动相起始位姿，2、3、6号腿变为支撑相，支撑机器人本体，并向摆动使机身向前。当t＝3T/4时，1、4、5腿运行到最高点，之后腿下降落地。到t＝T时，1、4、5腿回到地面，六足机器人完成一个周期，之后进行下一个运动周期。

直线行走过程中，当t＝0～T/2，三个腿支撑并向后摆动，机身向前移动，另外三个腿抬腿、向前摆动、放腿、支撑；t＝T/2～T时候，之前摆动的腿变支撑同步向后摆动，机身向前移动，之前支撑的三条腿抬腿、向前摆动、放腿、支撑。所以在T/4和3T/4时候，摆动相都处于高点。为了简便，支撑为支撑相，另外三条腿为摆动相。

六足草莓采摘机器人在前进的过程中，为保持平衡，需对机器人的参数进行计算，如图13所示为六足草莓采摘机器人前进步态的参数示意图，六足草莓采摘机器人的机身关于几何中心点左右对称且前后对称的结构，而且质地均匀，使机身的重心点与机身的中心点在水平方向重合，以六足草莓采摘机器人的中心点为原点，沿横向为X轴，沿纵向为Y轴，建立平面坐标系，所述六足草莓采摘机器人的1号腿、2号腿、5号腿、6号腿距离中心点的距离相同，3号腿、4号腿的固定端距离中心点的距离相同，且每条腿的长度相同，六足草莓采摘机器人1号腿、2号腿之间的距离以及5号腿、6号腿之间的距离均为d，1号腿、3号腿之间的距离以及3号腿、5号腿之间的距离均为e，3号腿、4号腿之间的距离为f；

六足草莓采摘机器人直线步态中，保持平衡的方法如下：

设六足草莓采摘机器人静止站立状态时，腿的固定端和自由端之间在X轴方向上的长度为a，机器人的半步长为b，A、B、C、D、E、F分别是2号腿、3号腿、6号腿、1号腿、4号腿、5号腿自由端的位置，A’、B’、C’、D’、E’、F’分别是2号腿、3号腿、6号腿、1号腿、4号腿、5号腿的重心位置，A’、B’、C’的坐标分别是,A′((a+d)/2，e-b/2)，B′(-(f+a)/2，-b/2)，C′((a+d)/2，-(e+b/2))，设每条腿的重量都是mg，六足草莓采摘机器人重心的计算过程如下：

X轴向的重心位置：

x＝(a+2d-f)/2

Y轴向的重心位置：

y＝-1.5b

重心的坐标位置(m，n)＝((a+2d-f)/2，-1.5b)，重心距离原点的长度为：

为了避免重心跳出ΔABC区域，需要计算抬腿起始点和着地终止点的坐标，设D，E，F为着地点，各自的坐标分别为：D(-(a+d/2)，e+b)，E(a+f/2，b)，F(-(a+d/2)，b-e)，此时重心点与EF线最为接近，设置此线为危险线，计算重心点和EF线之间的函数关系过程如下：

y-y_E＝K(x-x_E)

将(m，n)带入上述方程有：

假设d＝94，e＝132.5，f＝152.4，带入上式方程有：

b_a＝∞＝13.25

即腿的固定端和自由端之间在X轴方向上的长度a与机器人的半步长b之间的长度变量函数关系，为了寻找合适的步长和手臂长度之间的关系，仿真出腿的固定端和自由端之间在X轴方向上的长度a与机器人的半步长b之间的关系示意图如图14所示，满足关系就能保证六足草莓采摘机器人稳定前进。

转弯步态是六足草莓采摘机器人以机身为参考点，以目标物的方位建立几何中心为圆心点，围着圆心点所做的一种步态运动，这种运动的目的是为了改变自己的头部方向，由于六足草莓采摘机器人的运动步态和位姿比较复杂，为了提高机器人的运动效率，因此特别研究了六足草莓采摘机器人的转弯步态，机器人的两组腿根据转弯角度的大小摆动的幅度也不一样来达到转弯的目的，如图15所示为向右转弯的步态。1、4、5号腿为转弯摆动相，其中1、5号腿是从后向前摆动，而4号腿是从前向后摆动；2、3、6号腿为转弯支撑相，其中2、6号腿都是从后向前摆动，3号腿是从前向后摆动。

所述转弯步态实现方法如下：

六足草莓采摘机器人的两组腿均具有转弯摆动相和转弯支撑相，所述转弯摆动相指腿抬起沿六足草莓采摘机器人的中心点顺时针或者逆时针摆动，所述转弯支撑相指腿支撑六足草莓采摘机器人的同时沿六足草莓采摘机器人的中心点逆时针摆动或者顺时针摆动，转弯摆动相和转弯支撑相中腿的摆动方向相反，六足草莓采摘机器人的两组腿交替变化转弯摆动相和转弯支撑相，使机器人实现顺时针或逆时针转弯步态。

六足草莓采摘机器人转弯步态中，保持平衡的方法如下：

转弯步态中，1号腿、4号腿、5号腿和2号腿、3号腿、6号腿分别做支撑相和摆动相交替运动，设1号腿、2号腿、5号腿、6号腿的固定端距离原点的距离为r1，5号腿、6号腿的固定端距离原点的距离为r2，其中，

r2＝f/2，r1与r2由机身尺寸决定，是六条腿分布的外边界和内边界，六条腿在半径为r1和r2之间运动，机器人在转弯的过程中摆动相的三条腿和支撑相的三条腿在x-y轴平面的投影始终保持着各自互相平行的关系，在这个过程中支撑相腿的支撑点为防止脚底打滑，始终和机身原点之间保持距离不变的关系，摆动相的腿在摆动过程中保持沿设定的轨迹线摆动，在这个过程中各摆动相腿的自由端始终和腿固定点之间的水平距离保持不变的关系，以保证六足草莓采摘机器人在整个转弯步态过程中是围绕着机身原点发生偏移的稳定转弯。在转弯过程中为避免机器人发生不平衡而摔倒的现象，因此需要实现高效的转动，以此为研究目的求解六足草莓采摘机器人转弯步态参数之间的函数关系。

求解六足草莓采摘机器人转弯步态参数之间的函数关系：

当机器人运动时摆动相的重力会使重心发生移动，因此需要研究清楚重心位置和受力区域的关系，摆动相腿的重心点位置分别为A’(-(a+d)/2,e+b/2)，B’((f+a)/2,-b/2)，C’(-(a+b)/2,b/2-e)，支撑相腿的足端位置坐标分别为D(d/2+a,e+b)，E(-(f/2+a)，-b),F(d/2+a,b-e)，

重心在x轴向的位置为：

重心在y轴方向的位置：

故重心坐标为

重心坐标与直线DE的距离最近，因此重心最有可能翻越直线DE发生倾覆，DE的函数表达式为：

将重心坐标带入函数表达式计算,得出腿的固定端和自由端之间在X轴方向上的长度a与机器人的半步长b之间的关系式如下：

假设按上述尺寸d＝94，e＝132.5，f＝152.4带入上述公式，

仿真出转弯过程中腿的固定端和自由端之间在X轴方向上的长度a与机器人的半步长b之间的函数关系示意图如图17所示。

参见图18，直线步态运动方式如下：

所述六足草莓采摘机器人的控制系统包括与控制器、扩展器、数据寄存器，数据寄存器采用并联方式连接各个带编码器的用于控制各关节的舵机，各腿发送的数据直接能够通达数据寄存器，当第i步起始时，1号腿支撑机器人本体，保持第i步态的坐标值，机器人进行逆运算，进行等效变化，然后将1号腿步态信息发送至数据寄存器，之后完成2号腿的摆动相，2号腿的髋关节和膝关节舵机分别收紧抬起，使2号腿离开地面，并在2号腿摆动相的中间位置获得最高点，然后髋关节和膝关节分别放下落地，完成此动作的信息通过机器人逆运算后，发送信息到数据寄存器，与此同时，3号腿和6号腿，与2号腿一样进行抬腿、放腿动作，信息发送到数据寄存器，而4号腿、5号腿则与1号腿一样保持支撑状态；

当完成1/2个周期动作后，判断是否需要完成整个周期运动，否则只进行半周期运动而停止，如果需要完成整个周期运动，1号腿变为摆动相，髋关节和膝关节收紧抬起，离开地面，在摆动相中间位置，其腿离开地面最高，然后髋关节和膝关节放松，逐步放下落地，支撑机器人本体，机器人进行逆运算，进行等效变化，然后将1号腿步态信息发送至数据寄存器，之后2号腿支撑机器人本体，保持第i步态的坐标值，机器人进行逆运算，进行等效变化，然后将2号腿步态信息发送数据寄存器，与此同时，3号腿和6号腿，与2号腿一样保持支撑状态，而4号腿、5号腿则与1号腿一样进行抬腿、放腿动作，信息发送到数据寄存器。

本发明稳定性更好，有效防止在崎岖草莓地行走时，采草莓机器人发生倾覆，且能够避免踩碎草莓。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (3)

1.一种草莓采摘机器人的视觉系统，其特征在于：包括近场摄像头、远场摄像头，所述远场摄像头用于拍摄草莓目标的远距离图像，所述近场摄像头用于拍摄草莓目标的近距离图像，通过两张图像的草莓质心及近远场差分运算实现草莓目标的定位；

还包括草莓采摘机器人，所述草莓采摘机器人具有机身，以及设置在机身上的机械臂，机械臂的末端设置用于采摘草莓的机械手，所述近场摄像头安装在机械手上，形成动态近场摄像头，所述远场摄像头安装在机身上；

实现草莓目标定位的方法如下：

S1、拍摄近场视频图像、远场视频图像；

先通过近场、远场摄像头提取草莓目标的RGB阈值范围，然后通过对RGB三个数值进行计算转化得到HSV颜色模型的值；

S2、图像二值化；

S3、腐蚀运算；

S4、膨胀运算；

S5、边界检测；

S6、草莓质心及近远场差分运算，包括：通过远场摄像头进行图像获取，得到草莓远场图像，通过草莓图像所占图像面积推算机器人与草莓的距离和质心位置Cn；然后启动近场摄像头，判定近场草莓质心位置Cp，其中Cn与Cp重合为一点C，远场摄像头的安装点为A，近场摄像头安装位置为动态B点，远场摄像头、近场摄像头均保持水平安装，远场摄像头的安装点A和近场摄像头的安装点B构成三角形的AB边，目标C点与A点构成AC边；目标C点与近场B点构成BC边；机械臂为三自由度，包括在水平方向的旋转，垂直面上的AD线绕A点俯仰，BD线绕D点俯仰，C点为目标草莓的位置，当机器臂做向前运动，B点位置发生变化，从而带动近场摄像机运动，达到新的B’位置，其中ABD三角形由上、下两个机器臂、近场远场摄像头构成，AB’D’三角形由旋转运动的机器臂与近场远场摄像头构成，ABC三角形构成双目定位系统，AB’C构成运动后的动态双目定位系统；

当机器臂按照DH方法运动后，按照旋转角度，求出AB线的长度，以及推断出AB运动到AB’的夹角，从而得到AB’的长度，再根据角度关系推导出A’B’的长度d’，形成动态双目测距系统结构为A’B’C，草莓距A’B’的距离h’＝d’×f/(Y_B’-Y_A)，从而获得动态摄像头B’距离目标草莓的距离，f为两处的摄像机的焦距，Y_B’、Y_A为成像位置。

2.根据权利要求1所述的草莓采摘机器人的视觉系统，其特征在于，S2包括：根据阈值范围在两个极端之间找到一个阈值t，将这两个极端分开，并且使每一个极端内的方差最小从而把草莓目标与背景区分出来，区分出来后对图像进行卷积运算，构建出二值图像。

3.根据权利要求1所述的草莓采摘机器人的视觉系统，其特征在于：S5包括：将草莓形状看作一个圆锥体，针对目标草莓的外轮廓计算出目标草莓的最大外接圆面积，从而计算出外接圆的中心坐标，以此来获得草莓的位置信息。

Images