CN115643903A - 基于机器视觉的苹果自动采摘装置及其控制方法 - Google Patents
基于机器视觉的苹果自动采摘装置及其控制方法 Download PDFInfo
- Publication number
- CN115643903A CN115643903A CN202210553979.XA CN202210553979A CN115643903A CN 115643903 A CN115643903 A CN 115643903A CN 202210553979 A CN202210553979 A CN 202210553979A CN 115643903 A CN115643903 A CN 115643903A
- Authority
- CN
- China
- Prior art keywords
- apple
- picking
- mechanical arm
- apples
- tree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
本发明提供基于机器视觉的苹果自动采摘装置及其控制方法，属于苹果自动采摘领域，装置包括机械手、机械臂、机械臂升降装置、电源装置、设备控制中心、数据处理中心、RGB相机Ⅰ、RGB相机Ⅱ、深度相机Ⅰ、深度相机Ⅱ、显示屏、设备安装平台、平台平衡装置、平台升降装置、装置运载车和苹果存储车。该装置能够适应大多数实际场景下的苹果自动化采摘工作，利用机器视觉技术实现了苹果的自动识别检测，利用PLC自动控制技术，实现了多机械臂协同工作，可同时进行双侧的苹果采摘，加快了采摘的速度。
Description
技术领域
本发明涉及苹果自动采摘领域，尤其涉及基于机器视觉的苹果自动采摘装置及其控制方法。
背景技术
在苹果的生产过程中，苹果采摘是一个非常重要的环节。如何在苹果最佳的采摘期内完成苹果的采摘，对于获取高品质的苹果及其后续销售具有非常重要的作用。现有的苹果采摘多是通过人工采摘的方式进行，在大面的苹果集中成熟时，为了能够在最佳的采摘期间内完成苹果的采摘工作，短时期内的人力需求激增，易产生采收工作人员紧缺的问题，进而影响苹果采摘工作。因此，需要设计一种基于机器视觉的苹果自动采摘装置及其控制方法。
发明内容
本发明的目的在于提供基于机器视觉的苹果自动采摘装置及其控制方法，解决背景技术中提到的技术问题。为了能够加快苹果在最佳采收期间内的采收工作，获取高品质的苹果，同时减缓采收工作对人力的需求，避免因人力紧缺而造成苹果采摘延误的情况，利用苹果自动采摘装置开展苹果采摘工作。
为了实现上述目的，本发明采用的技术方案如下：
基于机器视觉的苹果自动采摘装置，包括机械手、机械臂、机械臂升降装置、电源装置、设备控制中心、数据处理中心、RGB相机Ⅰ、RGB相机Ⅱ、深度相机Ⅰ、深度相机Ⅱ、显示屏、设备安装平台、平台平衡装置、平台升降装置、装置运载车和苹果存储车，苹果存储车设置在装置运载车的后端，平台平衡装置和平台升降装置均设置在装置运载车上，设备安装平台设置在平台平衡装置和平台升降装置的顶端，数据处理中心、设备控制中心、电源装置和机械臂升降装置均设置在设备安装平台上，机械手经机械臂与机械臂升降装置连接，RGB相机Ⅰ、RGB相机Ⅱ、深度相机Ⅰ、深度相机Ⅱ和显示屏均设置在设备安装平台上，，RGB相机Ⅰ、RGB相机Ⅱ、深度相机Ⅰ、深度相机Ⅱ、显示屏和设备控制中心均与数据处理中心连接，机械手、机械臂、机械臂升降装置、平台升降装置、平台平衡装置和装置运载车均与设备控制中心连接。
进一步地，装置运载车与苹果存储车通过连接装置连接，苹果存储车内设置有红外感应器，用于感应存储车内苹果的存储量，机械手、机械臂和机械臂升降装置的数量均为两个。
基于机器视觉的苹果自动采摘装置的控制方法，所述方法包括如下步骤：
步骤1：采摘装置启动，采摘装置状态自检，自检结果由显示屏显示，自检结束后，识别苹果树的所在位置和到苹果树路径上的障碍物，来到苹果树旁边；
步骤2：开启平衡调整模式对采摘装置进行平衡调整，调整完后对苹果树的苹果进行识别，然后在识别的区域内进行采摘苹果顺序规划，采摘顺序规划完成后，依次对目标苹果进行采摘，并存放于苹果存储车中，，直到识别区域内的苹果采摘完后进入另外区域对苹果重新识别和采摘。
进一步地，步骤1中识别苹果树的所在位置和到苹果树路径上的障碍物，来到苹果树旁边的具体过程为：
步骤1.1：RGB相机获取苹果自动采摘装置周边的RGB图像；
步骤1.2：数据处理中心分析处理RGB图像信息，识别并确定的苹果树位置，根据苹果树位置规划去到苹果树侧边的路径，苹果自动采摘装置根据规划的路径进行行走，并实时识别检测行进路径上的障碍物位置信息；
步骤1.3：根据RGB图像分析结果，将路径规划分为两种情形：情形1，路径前方无障碍物或对障碍物可避开通行；情形2，前方有障碍物且对障碍物无法避开通行；
步骤1.4：当为情形1处理方式时，具体处理步骤包括如下：
步骤1.4.1：由数据处理中心生成设备控制中心的控制指令；
步骤1.4.2：设备控制中心在控制指令的控制下，对装置运载车的运行状态进行控制，包括装置运载车内置电机的运行时间和运行转速，实现苹果自动采摘装置的定量前进和左右转向动作；
步骤1.4.3：苹果自动采摘装置的前进距离主要按照定量前进的形式，每前进一次都要通过深度相机获取当前位置左右两侧苹果树上的苹果挂果情况，若两侧苹果树上均无苹果，则苹果自动采摘装置继续前进，若一侧或两侧的苹果树上有苹果，则苹果自动采摘装置驻停，并生成采摘准备指令，直至两侧苹果树上均无苹果后继续前进；
步骤1.5：当为情形2处理方式时，具体处理步骤包括如下：
步骤1.5.1：苹果自动采摘装置停止前进；
步骤1.5.2：显示屏上提示当前遇到的问题，并进行黄色警报，通过无线发送报警给管理人员，等待管理人员解决问题；
步骤1.5.3：问题解决后，在显示屏上点击继续作业，返回步骤1.1。
进一步地，步骤1.2中识别苹果树位置的具体步骤包括识别苹果树模型和识别苹果树上的苹果，对RGB图像进行预处理，然后对预处理的图像进行图像边缘轮廓识别，得到树的轮廓、树的轮廓内部果实轮廓和树的轮廓内部树叶轮廓，提前获取若干个苹果和若干片苹果树的树叶进行图像识别，然后识别得到苹果轮廓和苹果树的树叶轮廓，苹果轮廓和苹果树的树叶轮廓分别放到二维坐标轴上，选定苹果轮廓和苹果树的树叶轮廓的中心点分别与二维坐标轴的原点对应，然后把苹果轮廓和苹果树的树叶轮廓分别设定为k个点，k 为大于64的整数倍数值，则得到苹果轮廓上设置的点的极坐标为
和苹果树的树叶轮廓上设置的点的极坐标为
n为正整数，且大于等于k，将所有极坐标中的rn和Rn提取出来得到苹果轮廓极坐标函数 l(k)＝(r1,r2,r3…rn)和苹果树的树叶轮廓极坐标函数L(k)＝(R1,R2,R3…Rn)，则得到所有苹果轮廓和苹果树的树叶轮廓线条图源的极坐标函数lt(k)＝(r1,r2,r3…rn)和 Lt(k)＝(R1,R2,R3…Rn)，t为编码轮廓线条图的个数，为正整数；
将树的轮廓放入改进型卷积神经网络内进行深度学习，判断树的轮廓是否为苹果树，提取封闭部分的果实轮廓和树叶轮廓，然后将果实轮廓和树叶轮廓放到二维坐标轴上，选定果实轮廓和树叶轮廓的中心点分别与二维坐标轴的原点对应，然后把实轮廓和树叶轮廓分别设定为k个点，k为大于64的整数倍数值，则得到果实轮廓和树叶轮廓上设置的点的极坐标为
和
n为正整数，且大于等于k，将所有极坐标中的r’n和R’n提取出来得到极坐标函数l’t(k)＝(r’1,r’2,r’3…r’n)和L't(k)＝(R’1,R'2,R’3…R'n)，然后将 l’t(k)＝(r’1,r’2,r’3…r’n)与所有苹果轮廓线条图源的极坐标函数lt(k)＝(r1,r2,r3…rn)傅里叶变换得到离散函数l”(k)，然后将离散函数l”(k)进行反傅里叶变换得到轮廓的相识度函数，找出函数的最大值，当最大值大于等于设定值时，则认定为识别对比正确，然后确定识别果实轮廓为苹果轮廓，同理将 L't(k)＝(R'1,R'2,R'3…R'n)与所有苹果树的树叶轮廓线条图源的极坐标函数 Lt(k)＝(R1,R2,R3…Rn)傅里叶变换得到离散函数L”(k)然后将离散函数L”(k)进行反傅里叶变换得到树叶轮廓的相识度函数，找出函数的最大值，当最大值大于等于设定值时，则认定为识别对比正确，然后确定识别树叶轮廓为苹果树的树叶轮廓。
进一步地，步骤2中开启平衡调整模式对采摘装置进行平衡调整的具体过程为：
步骤2.1.1：接收采摘准备指令；
步骤2.1.2：由数据处理中心内安装的水平传感器获取所述设备安装平台的前后倾斜角度σ，倾斜角度σ>0时，设备安装平台向前倾斜，倾斜角度σ<0 时，所述设备安装平台向后倾斜；
步骤2.1.3：通过调整平台平衡装置的伸缩幅度TD，伸缩幅度TD计算模型为：TD＝|FACsin(σ)|，其中，TD为平台平衡装置的伸缩幅度，FAC为设备安装平台中心点到一侧平台平衡装置的中心线的距离，σ为设备安装平台的倾斜角度；
步骤2.1.4：当σ>0时，平台平衡装置Ⅰ延伸TD幅度，平台平衡装置Ⅱ收缩TD幅度，当σ<0时，平台平衡装置Ⅰ收缩TD幅度，平台平衡装置Ⅱ延伸TD幅度，进而保持所述设备安装平台处于相对水平的状态；
步骤2.1.5：再次获取设备安装平台的倾斜角度σ，若σ＝0，结束平衡调整，生成采摘工作开始指令。
进一步地，步骤2中，对苹果树的苹果进行识别的具体过程为：
步骤2.2.1：深度相机获取苹果自动采摘装置侧边苹果的深度图像信息；
步骤2.2.2：数据控制中心对采集的苹果深度图像进行处理分析，利用苹果检测网络模型完成苹果的识别检测；
苹果检测网络模型是基于深度学习卷积神经网络所构建的改进型网络模型，改进型网络模型由若干个卷积层、最大值池化和上采样层组成，利用卷积神经网络的图像特征提取功能，从相机获取的RGB图像中提取有关于苹果的特征，生成相应Feature Map，同时，利用最大池化的降维作用，实现图像特征维度的降维，加快网络的计算效率，在卷积层之间穿插了两个上采样层，通过上采样的将卷积层提取的Feature Map进行放大，得到更高的分辨率显示图像，并将Feature Map还原到原图像中；
苹果网络模型的图像输入为3通道的RGB彩色图像，输出为采摘目标带有中心点和边界框标识的图像，通过卷积、池化、激活函数和采样运算获得目标对象各种关键点的特征图，通过特征图的峰值比较，确定目标对象的中心点，中心点信息预测已识别目标的边界框的高度和宽度，并通过坐标轴变化、数字映射，获得实际环境中采摘目标的位置、大小的信息，为后续的采摘路线规划提供更多有效的信息；
步骤2.2.3：利用深度相机获取苹果距离苹果自动采摘装置的Dst距离，对于Dst距离大于2米的苹果放弃采摘；
其中，Dst为苹果与采摘装置之间的距离，c为光速，t0为光脉冲持续时间，ε脉冲持续时间偏差，为脉冲持续时间的0.01％，s1为曝光时间内S1电容积累电量，s2为曝光时间内S2电容积累电量，
为当前电容积累电荷量偏差，为电荷量的0.5％；
步骤2.2.4：根据Dst距离的大小，对需要采集的苹果进行编号排序，确定采摘优先级，在排序的同时记录苹果的坐标值；
步骤2.2.5：采摘优先级排序完成后，对已检测到的苹果进行重叠度检测，利用重叠度计算模型IoU计算所有采摘目标之间的重叠度；
重叠度计算模型，包括如下步骤：
步骤2.2.5.1：随机获取2个目标苹果A和B，其坐标值分别为A(xi,yj)和 B(xj,yj)；
步骤2.2.5.2：利用判断条件Cvj，判断两个目标的分割区域是否存在交集，若满足条件Cvj，则目标苹果A和B之间存在交集，条件Cvj为(xi＞xj)&(yj＞yi)；
步骤2.2.5.3：若A和B之间存在交集，则利用IoU计算公式计算重叠度；
其中，IoU为重叠度，(xi,yj)和(xj,yj)为目标苹果A和B的坐标值，其中将两点之间的直线连线任取一点(x,y)作为对比基准点，该点利用平面距离公式作为重合覆盖比的判断依据。以次计算出IoU的重叠度值，并进行下一步判断；
步骤2.2.5.4：判断IoU是否大于0.05，若大于则对这两个苹果添加重叠标记Iou；
步骤2.2.6：保存并输出标记后的采摘优先级序列。
进一步地，步骤2采摘苹果顺序规划的具体过程为：
步骤2.3.1：获取苹果自动检测结果，包括苹果树的枝干位置和苹果的位置、距离、编号、重叠标记的信息；
步骤2.3.2：苹果的采摘顺序按照采摘苹果的编号大小依次进行，编号越小采摘优先级越高；
步骤2.3.3：检查当前编号的苹果是否存在重叠标记，若存在重叠标记Iou，则属于路线规划1，若不存在重叠标记Iou，则属于路线规划2；
步骤2.3.4：路线规划1时，包括如下步骤：
步骤2.3.4.1：机械臂升降装置进行机械臂高度调整，使机械臂的相对水平高度低于采摘苹果20cm；
步骤2.3.4.2：机械臂向前伸展，使机械手位于采摘苹果的正下方；
步骤2.3.4.3：调整第一节机械臂和机械手的位置，使机械手手心正面对采摘苹果的正下方；
步骤2.3.4.4：开始采摘作业；
步骤2.3.5所述路线规划2，包括如下内容：
步骤2.3.5.1：机械臂升降装置进行机械臂高度调整，使机械臂与采摘苹果处于相对水平的高度；
步骤2.3.5.2：所述机械臂向前伸展，使机械手位于采摘苹果的正前方位置；
步骤2.3.5.3：开始采摘作业。
进一步地，步骤2中采摘苹果中机械臂控制过程为：
步骤2.4.1：采摘初始状态调整，即机械臂升降装置调整为未伸缩状态，机械臂旋转方向与所述苹果自动采摘装置前进方向垂直，同时机械手的手指张开；
步骤2.4.2：所述数据处理中心依据苹果采摘路线规划方法完成机械臂运动路径的规划，并生成所述设备控制中心的控制指令；
步骤2.4.3：机械臂升降装置对所述机械臂的高度进行调整，使所述机械臂与准备采摘的苹果保持相对合适的高度差；
步骤2.4.4：机械臂开始工作，使机械手不断靠近采摘目标苹果，机械臂工作期间所述深度相机实时获取当前采摘目标苹果的深度信息和机械手的深度信息，便于实时调整机械臂的运动路径，确保机械手手心触碰采摘目标苹果；
步骤2.4.5：机械手接触采摘目标苹果后，机械手手指开始握紧，直至机械手的手指感应苹果的反应力时，结束抓取动作；
步骤2.4.6：机械臂转向所述苹果运载车上方，机械臂升降装置调整伸缩高度为零，机械手张开手指释放已抓取的苹果；
步骤2.4.7：机械臂升降装置述机械手恢复至采摘初始状态；
步骤2.4.8：判断当前位置是否还有苹果等待采摘取，若有则开始下一轮的采摘操作，若已全部摘取，则机械臂旋转至苹果自动采摘装置前进方向，产生采摘装置移动指令。
为了提高装置移动灵活性和稳定性，所述装置运载车包括：运载车驱动箱、转轮、金属履带。所属驱动箱内设置两台直流电机和相应的传动结构，由所述电源装置提供电能，设备控制中心控制电机的工作时间和转速，传动结构将电机产生的动力传输至转轮，从而实现苹果自动采摘装置的移动。
为了方便装置之间的连接，所述连接装置采用固定销实现装置之间的固定连接。
为了方便苹果的存储和装卸，所述的苹果存储车通过连接装置与装置运载车连接，实现与设备运载车的一同移动。存储运输车的苹果存储达到一定量时，可以通过拆卸固定销的方式，更换空载的存储运输车，加快苹果的装卸速度。
为了提高各个设备之间的协作性，所述设备控制中心在所述数据处理中心指令控制下，对所述设备运载车、平台平衡装置、平台升降装置、机械臂升降装置、机械臂、机械手的工作状态进行控制。
为了适应不同高度苹果树的采摘工作，所述平台升降装置和所述平台平衡装置均可实现一定范围内的升降，从而实现所述安装平台的不同高度升降。
为了加强采摘装置地形适应性，保持所述设备安装平台处于一个相对水平的状态，通过所述数据处理中心内置的水平倾斜角传感器获取所述设备安装平台的倾斜角度，并生成相应的控制指令，在所述设备控制中心的控制下，实现所述平台平衡装置Ⅰ、Ⅱ不同幅度伸缩，进而保持设备安装平台的相对水平。
为了适应实际采摘环境中苹果树和目标苹果的高度和位置变化，所述机械臂升降装置在设备控制中心的控制下，可实现一定幅度的升降，使所述机械臂处于较为合适的工作高度。
为了适应不同角度、不同方位的苹果采摘任务，所述机械臂可实现三个自由度的运动姿态变化。
为了更好地抓取苹果，所述机械手采用了四指型，以确保苹果的采摘过程更加快速、稳定且无损。
为了更好地完成苹果自动采摘装置的运动路径进行规划，采用RGB相机获取采摘装置前后方的环境信息。
为了更加精准、高效地获取苹果的深度信息，加快对机械臂的运动路径规划，采用Kinect2.0深度相机获取苹果自动采摘装置左右两侧苹果树上的苹果深度信息，经所述数据处理中心处理分析后完成机械臂运动路径规划。
为了方便查看苹果自动采摘装置工作状态，所述显示屏可实时显示当前苹果自动采摘装置设备和各子系统的运行状况。
所述机械臂升降装置采用伺服电动缸，所述平台平衡装置采用伺服电动缸，所述平台升降装置采用伺服电动缸，所述电源装置采用可拆卸式充电电池。所述显示屏采用普通的触控显示屏。所述设备控制中心采用三菱 FX3U-32MT/DS型PLC控制器。所述数据处理中心采用一台小型的计算机。
本发明由于采用了上述技术方案，具有以下有益效果：
本发明通过前期使用极坐标的识别对比方法，可以不根据距离远近的识别对比周边的树木是否为苹果树，具有跟识别物体的大小对比无关，根据形状的变化率进行对比，实现了不同苹果大小的快速识别，能够适应大多数实际场景下的苹果自动化采摘工作，利用机器视觉技术实现了苹果的自动识别检测，利用PLC自动控制技术，实现了多机械臂协同工作，可同时进行双侧的苹果采摘，加快了采摘的速度。
附图说明
图1是本发明左侧结构示意图；
图2是本发明右侧结构示意图；
图3是本发明装置的下半部分结构示意图；
图4是本发明苹果检测网络模型示意图；
图5是本发明苹果自动检测方法流程图；
图6是本发明采摘装置平衡方法流程图；
图7是本发明采摘装置自动行进方法流程图；
图8是本发明机械臂采摘控制方法流程图。
附图中，101、机械手Ⅰ；102、机械手Ⅱ；201、机械臂Ⅰ；202机械臂Ⅱ；301机械臂升降装置Ⅰ；302机械臂升降装置Ⅱ；4、电源装置；5、设备控制中心；6、数据处理中心；701、RGB相机Ⅰ；702、RGB相机Ⅱ；801、深度相机Ⅰ；802、深度相机Ⅱ；9、显示屏；10、设备安装平台；1101、平台平衡装置Ⅰ；1102、平台平衡装置Ⅱ；12、平台升降装置；13、装置运载车；14、装置运载车护挡；15、装置运载车履带；16、装置运载车转轮；17、连接装置；18、红外感应器；19、苹果存储车。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。
如图1-3所示，基于机器视觉的苹果自动采摘装置，机械手Ⅰ、机械手Ⅱ、机械臂Ⅰ、机械臂Ⅱ、机械臂升降装置Ⅰ、机械臂升降装置Ⅱ、电源装置、设备控制中心、数据处理中心、RGB相机Ⅰ、RGB相机Ⅱ、Kinect2.0深度相机Ⅰ、Kinect2.0深度相机Ⅱ、显示屏、设备安装平台、平台平衡装置Ⅰ、平台平衡装置Ⅱ、平台升降装置、装置运载车、连接装置、红外感应装置、苹果存储车。
上述装置的内容及功能介绍如下：
所述RGB相机Ⅰ安装在采摘装置的前方，负责采集采摘装置前方的图像信息，所述RGB相机Ⅱ安装在所述数据处理中心上方，负责采集采摘装置后方的图像信息，采集的图像信息经由所述数据处理中心处理分析，获取苹果自动采摘装置前后方苹果树位置、障碍物位置大小和地形等环境信息，并生成相应的控制指令，所述设备处理中心在指令的控制下，控制装置运载车的前进、后退、左右转向等动作，实现苹果自动采摘装置的定量前进功能，使苹果自动采摘装置移动到合适的位置进行苹果的采摘作业。
所述Kinect2.0深度相机Ⅰ采集采摘装置右侧苹果树的深度图像信息， Kinect2.0深度相机Ⅱ采集采摘装置左侧苹果树的深度图像信息，采集的图像经数据处理中心处理后，利用构建的苹果检测网络模型对图像中苹果和苹果树树干进行识别检测，并利用Dst计算模型，计算采摘目标苹果相对于采摘装置的距离Dst，完成苹果采摘优先级的排序。苹果采摘优先级排序完成后，利用IoU重叠度计算模型，对每一个需要采摘的目标进行重叠度计算，对存在重叠的采摘目标进行额外的标记，便于所述机械臂运动路径的规划。
所述机械手Ⅰ和所述机械手Ⅱ分别安装在所述机械臂Ⅰ和所述机械臂Ⅱ的一端，机械手主要采用四指型，以便于机械手运动至合适位置后，能够准确、快速、无损地完成目标苹果的采摘。同时，所述机械臂Ⅰ和机械臂Ⅱ分别安装在机械臂升降装置Ⅰ和机械臂升降装置Ⅱ的上端，在设备控制中心的控制下，可以任意调节所述机械臂升降装置Ⅰ和所述机械臂升降装置Ⅱ的伸缩幅度，实现所述机械臂高度的调节，保持所述机械臂与采摘目标之间高度差的相对稳定，更好地适应不同高度的采摘任务。
所述设备安装平台安装在所述平台升降装置、所述平台平衡装置Ⅰ和平台平衡装置Ⅱ的上端，该装置为所述数据控制中心、所述机械臂升降装置、所述设备控制中心等设备提供安装位置，实现装置的整合功能，便于苹果自动采摘装置的功能实现。
所述平台升降装置、所述平台平衡装置Ⅰ和平台平衡装置Ⅱ分别安装在所述装置运载车的中间、前方和后方，并在所述控制中心的控制下，均可以进行不同幅度的伸缩，从而调整所述设备安装平台的工作高度，并且三个装置均可单独工作。同时，所述平台平衡装置Ⅰ和平台平衡装置Ⅱ协同工作，还可以保持所述设备安装平台处于相对水平的状态。通过所述数据处理中心内置水平传感器采集所述设备安装平台的倾斜角度σ，利用TD计算模型完成所述平台平衡装置Ⅰ和平台平衡装置Ⅱ在调节所述设备安装平台倾斜角度时所伸缩的幅度。
平衡液压臂伸缩幅度TD计算模型为：
TD＝|FACsin(σ)|
其中，TD为平衡液压臂的伸缩幅度，FAC为设备安装平台中心点到一侧平衡液压臂中心线的距离，σ苹果自动采摘装置处于倾斜状态时的倾斜角度。
所述电源装置为所述机械手Ⅰ、机械手Ⅱ、机械臂Ⅰ、机械臂Ⅱ、机械臂升降装置Ⅰ、机械臂升降装置Ⅰ、设备控制中心、数据处理中心、RGB相机Ⅰ、RGB相机Ⅱ、Kinect2.0深度相机Ⅰ、Kinect2.0深度相机Ⅱ、显示屏、设备安装平台、平台平衡装置Ⅰ、平台平衡装置Ⅱ、平台升降装置、装置运载车、连接装置、红外感应装置等装置提供稳定的电能。
所述数据处理中心与所述设备控制中心、Kinect2.0深度相机Ⅰ、Kinect2.0 深度相机Ⅱ、RGB相机Ⅰ、RGB相机Ⅱ和显示屏接连，主要负责各种图像信息的处理分析，并生成相应的控制指令；
所述设备控制中心与所述机械手、机械臂、机械臂升降装置、平台平衡装置、平台升降装置和装置运载车连接，在控制指令的控制下，所述设备控制中心对上述设备的工作状态进行调控。
本实施例装置的工作过程如下：
苹果自动采摘装置启动，设备状态自检，自检结果由所述显示屏显示。自检结束后，所述RGB相机Ⅰ、RGB相机Ⅱ获取装置前后方的图像信息，经所述数据处理中心处理后，生成所述设备控制中心的控制指令；所述设备控制中心在指令控制下，控制所述装置运载车行进至距离目标苹果树0.8m处停止，随后进行对所述设备安装平台的水平状态调整，使采摘装置处于较为合适的工作状态。
所述Kinect2.0深度相机Ⅰ、Kinect2.0深度相机Ⅱ获取采摘装置左右两侧的苹果树图像，经由所述数据处理中心处理，利用苹果检测网络模型，对采摘装置当前两侧苹果树上的苹果进行识别检测，确定苹果的位置、大小等信息，并利用苹果采摘优先级计算模型Dst对检测出苹果采摘先后顺序进行排序；采摘顺序确定后，利用重叠度计算模型IoU判断当前采摘目标苹果是否纯在重叠情况，并根据判断结果生成与之情形相对应的机械臂升降装置的控制指令和机械臂的运动路径；所述设备控制中心依据控制指令控制机械臂升降装置的升降和机械臂的运动；在机械臂运动过程中，Kinect2.0深度相机会实时获取目标苹果的图像信息，并以此对机械臂的运动进行调整；当所述机械手手心触碰到需要采摘的苹果时，机械臂停止运动，机械手开始进行目标苹果的抓取，抓取完成后，机械臂旋转至存储运输车的上方，机械手松开，完成苹果的存放。
上述的苹果采摘流程并非两个机械臂同步运作，两机械臂均可在所述设备控制中心的控制下，单独工作互不影响。
基于机器视觉的苹果自动采摘装置的控制方法，所述方法包括如下步骤：
步骤1：采摘装置启动，采摘装置状态自检，自检结果由显示屏显示，自检结束后，识别苹果树的所在位置和到苹果树路径上的障碍物，来到苹果树旁边。
步骤1中识别苹果树的所在位置和到苹果树路径上的障碍物，来到苹果树旁边的具体过程为，如图7所示：
步骤1.1：RGB相机获取苹果自动采摘装置周边的RGB图像。
步骤1.2：数据处理中心分析处理RGB图像信息，识别并确定的苹果树位置，根据苹果树位置规划去到苹果树侧边的路径，苹果自动采摘装置根据规划的路径进行行走，并识别路径上的障碍物位置信息。
步骤1.3：根据RGB图像分析结果，分为两种情形：情形1，路径前方无障碍物或对障碍物可避开通行；情形2，前方有障碍物且对障碍物无法避开通行。
步骤1.4：当为情形1处理方式时，具体处理步骤包括如下：
步骤1.4.1：由数据处理中心生成设备控制中心的控制指令。
步骤1.4.2：设备控制中心在控制指令的控制下，对装置运载车的运行状态进行控制，包括装置运载车内置电机的运行时间和运行转速，实现苹果自动采摘装置的定量前进和左右转向动作。
步骤1.4.3：苹果自动采摘装置的前进距离主要按照定量前进的形式，每前进一次都要通过深度相机获取当前位置左右两侧苹果树上的苹果挂果情况，若两侧苹果树上均无苹果，则苹果自动采摘装置继续前进，若一侧或两侧的苹果树上有苹果，则苹果自动采摘装置驻停，并生成采摘准备指令，直至两侧苹果树上均无苹果后继续前进。
步骤1.5：当为情形2处理方式时，具体处理步骤包括如下：
步骤1.5.1：苹果自动采摘装置停止前进。
步骤1.5.2：显示屏上提示当前遇到的问题，并进行黄色警报，通过无线发送报警新给管理人员，等待管理人员解决问题。
步骤1.5.3：问题解决后，在显示屏上点击继续作业，返回步骤1.1。
步骤1.2中识别苹果树位置的具体步骤包括识别苹果树模型和识别苹果树上的苹果，对RGB图像进行预处理，然后对预处理的图像进行图像边缘轮廓识别，得到树的轮廓、树的轮廓内部果实轮廓和树的轮廓内部树叶轮廓，提前获取若干个苹果和若干片苹果树的树叶进行图像识别，然后识别得到苹果轮廓和苹果树的树叶轮廓，苹果轮廓和苹果树的树叶轮廓分别放到二维坐标轴上，选定苹果轮廓和苹果树的树叶轮廓的中心点分别与二维坐标轴的原点对应，然后把苹果轮廓和苹果树的树叶轮廓分别设定为k个点，k为大于64 的整数倍数值，则得到苹果轮廓上设置的点的极坐标为
和苹果树的树叶轮廓上设置的点的极坐标为
n为正整数，且大于等于k，将所有极坐标中的rn和Rn提取出来得到苹果轮廓极坐标函数l(k)＝(r1,r2,r3…rn)和苹果树的树叶轮廓极坐标函数L(k)＝(R1,R2,R3…Rn)，则得到所有苹果轮廓和苹果树的树叶轮廓线条图源的极坐标函数lt(k)＝(r1,r2,r3…rn)和Lt(k)＝(R1,R2,R3…Rn)， t为编码轮廓线条图的个数，为正整数；
将树的轮廓放入改进型卷积神经网络内进行深度学习，判断树的轮廓是否为苹果树，提取封闭部分的果实轮廓和树叶轮廓，然后将果实轮廓和树叶轮廓放到二维坐标轴上，选定果实轮廓和树叶轮廓的中心点分别与二维坐标轴的原点对应，然后把实轮廓和树叶轮廓分别设定为k个点，k为大于64的整数倍数值，则得到果实轮廓和树叶轮廓上设置的点的极坐标为
和
n为正整数，且大于等于k，将所有极坐标中的r’n和R’n提取出来得到极坐标函数l’t(k)＝(r’1,r’2,r’3…r’n)和L't(k)＝(R’1,R'2,R’3…R'n)，然后将 l’t(k)＝(r’1,r’2,r’3…r’n)与所有苹果轮廓线条图源的极坐标函数lt(k)＝(r1,r2,r3…rn)傅里叶变换得到离散函数l”(k)，然后将离散函数l”(k)进行反傅里叶变换得到轮廓的相识度函数，找出函数的最大值，当最大值大于等于设定值时，则认定为识别对比正确，然后确定识别果实轮廓为苹果轮廓，同理将 L't(k)＝(R’1,R'2,R’3…R'n)与所有苹果树的树叶轮廓线条图源的极坐标函数 Lt(k)＝(R1,R2,R3…Rn)傅里叶变换得到离散函数L”(k)然后将离散函数L”(k)进行反傅里叶变换得到树叶轮廓的相识度函数，找出函数的最大值，当最大值大于等于设定值时，则认定为识别对比正确，然后确定识别树叶轮廓为苹果树的树叶轮廓。
在不同距离的识别通过极坐标的识别模式，可以实现短时间内对图像中多个物体的快速识别，比现有神经网络识别更加地快，同时精准度更高，实现了现有神经网络锁不能识别不同大小的对比，因此实现了现有识别所无法实现的内容。
步骤2：开启平衡调整模式对采摘装置进行平衡调整，调整完后对苹果树的苹果进行识别，然后在识别的区域内进行采摘苹果顺序规划，规划好顺序后依次进行对苹果采摘放入苹果存储车，直到识别区域内的苹果采摘完后进入另外区域对苹果重新识别和采摘。
步骤2中开启平衡调整模式对采摘装置进行平衡调整的具体过程为，如图6所示：
步骤2.1.1：接收采摘准备指令。
步骤2.1.2：由数据处理中心内安装的水平传感器获取所述设备安装平台的前后倾斜角度σ，倾斜角度σ>0时，设备安装平台向前倾斜，倾斜角度σ<0 时，所述设备安装平台向后倾斜。
步骤2.1.3：通过调整平台平衡装置的伸缩幅度TD，伸缩幅度TD计算模型为：TD＝|FACsin(σ)|，其中，TD为平台平衡装置的伸缩幅度，FAC为设备安装平台中心点到一侧平台平衡装置的中心线的距离，σ为设备安装平台的倾斜角度。
步骤2.1.4：当σ>0时，平台平衡装置Ⅰ延伸TD幅度，平台平衡装置Ⅱ收缩TD幅度，当σ<0时，平台平衡装置Ⅰ收缩TD幅度，平台平衡装置Ⅱ延伸TD幅度，进而保持所述设备安装平台处于相对水平的状态。
步骤2.1.5：再次获取设备安装平台的倾斜角度σ，若σ＝0，结束平衡调整，生成采摘工作开始指令。
步骤2中，对苹果树的苹果进行识别的具体过程为，如图5所示：
步骤2.2.1：深度相机获取苹果自动采摘装置侧边苹果的深度图像信息。
步骤2.2.2：数据控制中心对采集的苹果深度图像进行处理分析，利用苹果检测网络模型完成苹果的识别检测。
苹果检测网络模型是基于深度学习卷积神经网络所构建的改进型网络模型，如图4所示，改进型网络模型由若干个卷积层、最大值池化和上采样层组成，利用卷积神经网络的图像特征提取功能，从相机获取的RGB图像中提取有关于苹果的特征，生成相应FeatureMap，同时，利用最大池化的降维作用，实现图像特征维度的降维，加快网络的计算效率，在卷积层之间穿插了两个上采样层，通过上采样的将卷积层提取的Feature Map进行放大，得到更高的分辨率显示图像，并将Feature Map还原到原图像中。
苹果网络模型的图像输入为3通道的RGB彩色图像，输出为采摘目标带有中心点和边界框标识的图像，通过卷积、池化、激活函数和采样运算获得目标对象各种关键点的特征图，通过特征图的峰值比较，确定目标对象的中心点，中心点信息预测已识别目标的边界框的高度和宽度，并通过坐标轴变化、数字映射，获得实际环境中采摘目标的位置、大小的信息，为后续的采摘路线规划提供更多有效的信息。
步骤2.2.3：利用深度相机获取苹果距离苹果自动采摘装置的Dst距离，对于Dst距离大于2米的苹果放弃采摘；
其中，Dst为苹果与采摘装置之间的距离，c为光速，t0为光脉冲持续时间，ε脉冲持续时间偏差，为脉冲持续时间的0.01％，s1为曝光时间内S1电容积累电量，s2为曝光时间内S2电容积累电量，
为当前电容积累电荷量偏差，为电荷量的0.5％。
步骤2.2.4：根据Dst距离的大小，对需要采集的苹果进行编号排序，确定采摘优先级，在排序的同时记录苹果的坐标值。
步骤2.2.5：采摘优先级排序完成后，对已检测到的苹果进行重叠度检测，利用重叠度计算模型IoU计算所有采摘目标之间的重叠度。
重叠度计算模型，包括如下步骤：
步骤2.2.5.1：随机获取2个目标苹果A和B，其坐标值分别为A(xi,yj)和 B(xj,yj)。
步骤2.2.5.2：利用判断条件Cvj，判断两个目标的分割区域是否存在交集，若满足条件Cvj，则目标苹果A和B之间存在交集，条件Cvj为(xi＞xj)&(yj＞yi)；
步骤2.2.5.3：若A和B之间存在交集，则利用IoU计算公式计算重叠度。
其中，IoU为重叠度，(xi,yj)和(xj,yj)为目标苹果A和B的坐标值，其中将两点之间的直线连线任取一点(x,y)作为对比基准点，该点利用平面距离公式作为重合覆盖比的判断依据。以次计算出IoU的重叠度值，并进行下一步判断；
步骤2.2.5.4：判断IoU是否大于0.05，若大于则对这两个苹果添加重叠标记Iou。
步骤2.2.6：保存并输出标记后的采摘优先级序列。
步骤2采摘苹果顺序规划的具体过程为：
步骤2.3.1：获取苹果自动检测结果，包括苹果树的枝干位置和苹果的位置、距离、编号、重叠标记的信息。
步骤2.3.2：苹果的采摘顺序按照采摘苹果的编号大小依次进行，编号越小采摘优先级越高。
步骤2.3.3：检查当前编号的苹果是否存在重叠标记，若存在重叠标记Iou，则属于路线规划1，若不存在重叠标记Iou，则属于路线规划2。
步骤2.3.4：路线规划1时，包括如下步骤：
步骤2.3.4.1：机械臂升降装置进行机械臂高度调整，使机械臂的相对水平高度低于采摘苹果20cm。
步骤2.3.4.2：机械臂向前伸展，使机械手位于采摘苹果的正下方。
步骤2.3.4.3：调整第一节机械臂和机械手的位置，使机械手手心正面对采摘苹果的正下方。
步骤2.3.4.4：开始采摘作业。
步骤2.3.5所述路线规划2，包括如下内容：
步骤2.3.5.1：机械臂升降装置进行机械臂高度调整，使机械臂与采摘苹果处于相对水平的高度。
步骤2.3.5.2：所述机械臂向前伸展，使机械手位于采摘苹果的正前方位置。
步骤2.3.5.3：开始采摘作业。
步骤2中采摘苹果中机械臂控制过程为，如图8所示：
步骤2.4.1：采摘初始状态调整，即机械臂升降装置调整为未伸缩状态，机械臂旋转方向与所述苹果自动采摘装置前进方向垂直，同时机械手的手指张开。
步骤2.4.2：所述数据处理中心依据苹果采摘路线规划方法完成机械臂运动路径的规划，并生成所述设备控制中心的控制指令。
步骤2.4.3：机械臂升降装置对所述机械臂的高度进行调整，使所述机械臂与准备采摘的苹果保持相对合适的高度差。
步骤2.4.4：机械臂开始工作，使机械手不断靠近采摘目标苹果，机械臂工作期间所述深度相机实时获取当前采摘目标苹果的深度信息和机械手的深度信息，便于实时调整机械臂的运动路径，确保机械手手心触碰采摘目标苹果。
步骤2.4.5：机械手接触采摘目标苹果后，机械手手指开始握紧，直至机械手的手指感应苹果的反应力时，结束抓取动作。
步骤2.4.6：机械臂转向所述苹果运载车上方，机械臂升降装置调整伸缩高度为零，机械手张开手指释放已抓取的苹果。
步骤2.4.7：机械臂升降装置述机械手恢复至采摘初始状态。
步骤2.4.8：判断当前位置是否还有苹果等待采摘取，若有则开始下一轮的采摘操作，若已全部摘取，则机械臂旋转至苹果自动采摘装置前进方向，产生采摘装置移动指令。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.基于机器视觉的苹果自动采摘装置，其特征在于：包括机械手、机械臂、机械臂升降装置、电源装置、设备控制中心、数据处理中心、RGB相机Ⅰ、RGB相机Ⅱ、深度相机Ⅰ、深度相机Ⅱ、显示屏、设备安装平台、平台平衡装置、平台升降装置、装置运载车和苹果存储车，苹果存储车设置在装置运载车的后端，平台平衡装置和平台升降装置均设置在装置运载车上，设备安装平台设置在平台平衡装置和平台升降装置的顶端，数据处理中心、设备控制中心、电源装置和机械臂升降装置均设置在设备安装平台上，机械手经机械臂与机械臂升降装置连接，RGB相机Ⅰ、RGB相机Ⅱ、深度相机Ⅰ、深度相机Ⅱ和显示屏均设置在设备安装平台上，RGB相机Ⅰ、RGB相机Ⅱ、深度相机Ⅰ、深度相机Ⅱ、显示屏和设备控制中心均与数据处理中心连接，机械手、机械臂、机械臂升降装置、平台平衡装置、平台升降装置和装置运载车均与设备控制中心连接。
2.根据权利要求1所述的基于机器视觉的苹果自动采摘装置，其特征在于：装置运载车与苹果存储车通过连接装置连接，苹果存储车内设置有红外感应器，用于感应存储车内苹果的存储量，机械手、机械臂和机械臂升降装置的数量均为两个。
3.根据权利要求1-2任意一项所述的基于机器视觉的苹果自动采摘装置的控制方法，其特征在于，所述方法包括如下步骤：
步骤1：采摘装置启动，采摘装置状态自检，自检结果由显示屏显示，自检结束后，识别苹果树的所在位置和到苹果树路径上的障碍物，来到苹果树旁边；
步骤2：开启平衡调整模式对采摘装置进行平衡调整，调整完后对苹果树的苹果进行识别，然后在识别的区域内进行采摘苹果顺序规划，采摘顺序规划完成后，依次对目标苹果进行采摘，并存放于苹果存储车中，直到识别区域内的苹果采摘完后，进入另外区域对苹果重新识别和采摘。
4.根据权利要求3所述的基于机器视觉的苹果自动采摘装置的控制方法，其特征在于：步骤1中识别苹果树的所在位置和到苹果树路径上的障碍物，来到苹果树旁边的具体过程为：
步骤1.1：RGB相机获取苹果自动采摘装置周边的RGB图像；
步骤1.2：数据处理中心分析处理RGB图像信息，分析识别RGB图像信息确定的苹果树位置，根据苹果树位置规划去到苹果树侧边的路径，苹果自动采摘装置根据规划的路径进行行走，并实时识别检测行进路径上的障碍物位置信息；
步骤1.3：根据RGB图像分析结果，将路径规划分为两种情形：情形1，路径前方无障碍物或对障碍物可避开通行；情形2，前方有障碍物且对障碍物无法避开通行；
步骤1.4：当为情形1处理方式时，具体处理步骤包括如下：
步骤1.4.1：由数据处理中心生成设备控制中心的控制指令；
步骤1.4.2：设备控制中心在控制指令的控制下，对装置运载车的运行状态进行控制，包括装置运载车内置电机的运行时间和运行转速，实现苹果自动采摘装置的定量前进和左右转向动作；
步骤1.4.3：苹果自动采摘装置的前进距离主要按照定量前进的形式，每前进一次都要通过深度相机获取当前位置左右两侧苹果树上的苹果挂果情况，若两侧苹果树上均无苹果，则苹果自动采摘装置继续前进，若一侧或两侧的苹果树上有苹果，则苹果自动采摘装置驻停，并生成采摘准备指令，直至两侧苹果树上均无苹果后继续前进；
步骤1.5：当为情形2处理方式时，具体处理步骤包括如下：
步骤1.5.1：苹果自动采摘装置停止前进；
步骤1.5.2：显示屏上提示当前遇到的问题，并进行黄色警报，通过无线发送报警给管理人员，等待管理人员解决问题；
步骤1.5.3：问题解决后，在显示屏上点击继续作业，返回步骤1.1。
5.根据权利要求4所述的基于机器视觉的苹果自动采摘装置的控制方法，其特征在于：步骤1.2中识别苹果树位置的具体步骤包括识别苹果树模型和识别苹果树上的苹果，对RGB图像进行预处理，然后对预处理的图像进行图像边缘轮廓识别，得到树的轮廓、树的轮廓内部果实轮廓和树的轮廓内部树叶轮廓，提前获取若干个苹果和若干片苹果树的树叶进行图像识别，然后识别得到苹果轮廓和苹果树的树叶轮廓，苹果轮廓和苹果树的树叶轮廓分别放到二维坐标轴上，选定苹果轮廓和苹果树的树叶轮廓的中心点分别与二维坐标轴的原点对应，然后把苹果轮廓和苹果树的树叶轮廓分别设定为k个点，k为大于64的整数倍数值，则得到苹果轮廓上设置的点的极坐标为
和苹果树的树叶轮廓上设置的点的极坐标为
n为正整数，且大于等于k，将所有极坐标中的rn和Rn提取出来得到苹果轮廓极坐标函数l(k)＝(r1,r2,r3…rn)和苹果树的树叶轮廓极坐标函数L(k)＝(R1,R2,R3…Rn)，则得到所有苹果轮廓和苹果树的树叶轮廓线条图源的极坐标函数lt(k)＝(r1,r2,r3…rn)和Lt(k)＝(R1,R2,R3…Rn)，t为编码轮廓线条图的个数，为正整数；
将树的轮廓放入改进型卷积神经网络内进行深度学习，判断树的轮廓是否为苹果树，提取封闭部分的果实轮廓和树叶轮廓，然后将果实轮廓和树叶轮廓放到二维坐标轴上，选定果实轮廓和树叶轮廓的中心点分别与二维坐标轴的原点对应，然后把实轮廓和树叶轮廓分别设定为k个点，k为大于64的整数倍数值，则得到果实轮廓和树叶轮廓上设置的点的极坐标为
和
n为正整数，且大于等于k，将所有极坐标中的r’n和R’n提取出来得到极坐标函数l′t(k)＝(r′1,r′2,r′3…r′n)和L't(k)＝(R′1,R'2,R′3…R'n)，然后将l′t(k)＝(r′1,r′2,r′3…r′n)与所有苹果轮廓线条图源的极坐标函数lt(k)＝(r1,r2,r3…rn)傅里叶变换得到离散函数l”(k)，然后将离散函数l”(k)进行反傅里叶变换得到轮廓的相识度函数，找出函数的最大值，当最大值大于等于设定值时，则认定为识别对比正确，然后确定识别果实轮廓为苹果轮廓，同理将L't(k)＝(R′1,R'2,R′3…R'n)与所有苹果树的树叶轮廓线条图源的极坐标函数Lt(k)＝(R1,R2,R3…Rn)傅里叶变换得到离散函数L”(k)然后将离散函数L”(k)进行反傅里叶变换得到树叶轮廓的相识度函数，找出函数的最大值，当最大值大于等于设定值时，则认定为识别对比正确，然后确定识别树叶轮廓为苹果树的树叶轮廓。
6.根据权利要求5所述的基于机器视觉的苹果自动采摘装置的控制方法，其特征在于：步骤2中开启平衡调整模式对采摘装置进行平衡调整的具体过程为：
步骤2.1.1：接收采摘准备指令；
步骤2.1.2：由数据处理中心内安装的水平传感器获取所述设备安装平台的前后倾斜角度σ，倾斜角度σ>0时，设备安装平台向前倾斜，倾斜角度σ<0时，所述设备安装平台向后倾斜；
步骤2.1.3：通过调整平台平衡装置的伸缩幅度TD，伸缩幅度TD计算模型为：TD＝|FACsin(σ)|，其中，TD为平台平衡装置的伸缩幅度，FAC为设备安装平台中心点到一侧平台平衡装置的中心线的距离，σ为设备安装平台的倾斜角度；
步骤2.1.4：当σ>0时，平台平衡装置Ⅰ延伸TD幅度，平台平衡装置Ⅱ收缩TD幅度，当σ<0时，平台平衡装置Ⅰ收缩TD幅度，平台平衡装置Ⅱ延伸TD幅度，进而保持所述设备安装平台处于相对水平的状态；
步骤2.1.5：再次获取设备安装平台的倾斜角度σ，若σ＝0，结束平衡调整，生成采摘工作开始指令。
7.根据权利要求6所述的基于机器视觉的苹果自动采摘装置的控制方法，其特征在于：步骤2中，对苹果树的苹果进行识别的具体过程为：
步骤2.2.1：深度相机获取苹果自动采摘装置侧边苹果的深度图像信息；
步骤2.2.2：数据控制中心对采集的苹果深度图像进行处理分析，利用苹果检测网络模型完成苹果的识别检测；
苹果检测网络模型是基于深度学习卷积神经网络所构建的改进型网络模型，改进型网络模型由若干个卷积层、最大值池化和上采样层组成，利用卷积神经网络的图像特征提取功能，从相机获取的RGB图像中提取有关于苹果的特征，生成相应Feature map特征图，同时，利用最大池化的降维作用，实现图像特征维度的降维，加快网络的计算效率，在卷积层之间穿插了两个上采样层，通过上采样的将卷积层提取的Feature map特征图进行放大，得到更高的分辨率显示图像，并将Feature Map还原到原图像中；
苹果网络模型的图像输入为3通道的RGB彩色图像，输出为采摘目标带有中心点和边界框标识的图像，通过卷积、池化、激活函数和采样运算获得目标对象各种关键点的特征图，通过特征图的峰值比较，确定目标对象的中心点，中心点信息预测已识别目标的边界框的高度和宽度，并通过坐标轴变化、数字映射，获得实际环境中采摘目标的位置、大小的信息，为后续的采摘路线规划提供更多有效的信息；
步骤2.2.3：利用深度相机获取苹果距离苹果自动采摘装置的Dst距离，对于Dst距离大于2米的苹果放弃采摘；
其中，Dst为苹果与采摘装置之间的距离，c为光速，t0为光脉冲持续时间，ε脉冲持续时间偏差，为脉冲持续时间的0.01％，s1为曝光时间内S1电容积累电量，s2为曝光时间内S2电容积累电量，
为当前电容积累电荷量偏差，为电荷量的0.5％；
步骤2.2.4：根据Dst距离的大小，对需要采集的苹果进行编号排序，确定采摘优先级，在排序的同时记录苹果的坐标值；
步骤2.2.5：采摘优先级排序完成后，对已检测到的苹果进行重叠度检测，利用重叠度计算模型IoU计算所有采摘目标之间的重叠度；
重叠度计算模型，包括如下步骤：
步骤2.2.5.1：随机获取2个目标苹果A和B，其坐标值分别为A(xi,yj)和B(xj,yj)；
步骤2.2.5.2：利用判断条件Cvj，判断两个目标的分割区域是否存在交集，若满足条件Cvj，则目标苹果A和B之间存在交集，条件Cvj为(xi＞xj)&(yj＞yi)；
步骤2.2.5.3：若A和B之间存在交集，则利用IoU计算公式计算重叠度；
其中，IoU为重叠度，(xi,yj)和(xj,yj)为目标苹果A和B的坐标值，其中将两点之间的直线连线任取一点(x,y)作为对比基准点，该点利用平面距离公式作为重合覆盖比的判断依据。以次计算出IoU的重叠度值，并进行下一步判断；
步骤2.2.5.4：判断IoU是否大于0.05，若大于则对这两个苹果添加重叠标记Iou；
步骤2.2.6：保存并输出标记后的采摘优先级序列。
8.根据权利要求7所述的基于机器视觉的苹果自动采摘装置的控制方法，其特征在于：步骤2采摘苹果顺序规划的具体过程为：
步骤2.3.1：获取苹果自动检测结果，包括苹果树的枝干位置和苹果的位置、距离、编号、重叠标记的信息；
步骤2.3.2：苹果的采摘顺序按照采摘苹果的编号大小依次进行，编号越小采摘优先级越高；
步骤2.3.3：检查当前编号的苹果是否存在重叠标记，若存在重叠标记Iou，则属于路线规划1，若不存在重叠标记Iou，则属于路线规划2；
步骤2.3.4：路线规划1时，包括如下步骤：
步骤2.3.4.1：机械臂升降装置进行机械臂高度调整，使机械臂的相对水平高度低于采摘苹果20cm；
步骤2.3.4.2：机械臂向前伸展，使机械手位于采摘苹果的正下方；
步骤2.3.4.3：调整第一节机械臂和机械手的位置，使机械手手心正面对采摘苹果的正下方；
步骤2.3.4.4：开始采摘作业；
步骤2.3.5所述路线规划2，包括如下内容：
步骤2.3.5.1：机械臂升降装置进行机械臂高度调整，使机械臂与采摘苹果处于相对水平的高度；
步骤2.3.5.2：所述机械臂向前伸展，使机械手位于采摘苹果的正前方位置；
步骤2.3.5.3：开始采摘作业。
9.根据权利要求8所述的基于机器视觉的苹果自动采摘装置的控制方法，其特征在于：步骤2中采摘苹果中机械臂控制过程为：
步骤2.4.1：采摘初始状态调整，即机械臂升降装置调整为未伸缩状态，机械臂旋转方向与所述苹果自动采摘装置前进方向垂直，同时机械手的手指张开；
步骤2.4.2：所述数据处理中心依据苹果采摘路线规划方法完成机械臂运动路径的规划，并生成所述设备控制中心的控制指令；
步骤2.4.3：机械臂升降装置对所述机械臂的高度进行调整，使所述机械臂与准备采摘的苹果保持相对合适的高度差；
步骤2.4.4：机械臂开始工作，使机械手不断靠近采摘目标苹果，机械臂工作期间所述深度相机实时获取当前采摘目标苹果的深度信息和机械手的深度信息，便于实时调整机械臂的运动路径，确保机械手手心触碰采摘目标苹果；
步骤2.4.5：机械手接触采摘目标苹果后，机械手手指开始握紧，直至机械手的手指感应苹果的反应力时，结束抓取动作；
步骤2.4.6：机械臂转向所述苹果运载车上方，机械臂升降装置调整伸缩高度为零，机械手张开手指释放已抓取的苹果；
步骤2.4.7：机械臂升降装置述机械手恢复至采摘初始状态；
步骤2.4.8：判断当前位置是否还有苹果等待采摘取，若有则开始下一轮的采摘操作，若已全部摘取，则机械臂旋转至苹果自动采摘装置前进方向，产生采摘装置移动指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210553979.XA CN115643903A (zh) | 2022-05-20 | 2022-05-20 | 基于机器视觉的苹果自动采摘装置及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210553979.XA CN115643903A (zh) | 2022-05-20 | 2022-05-20 | 基于机器视觉的苹果自动采摘装置及其控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115643903A true CN115643903A (zh) | 2023-01-31 |
Family
ID=85024293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210553979.XA Pending CN115643903A (zh) | 2022-05-20 | 2022-05-20 | 基于机器视觉的苹果自动采摘装置及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115643903A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116968039A (zh) * | 2023-09-25 | 2023-10-31 | 浩科机器人（苏州）有限公司 | 用于机器人智能控制的动作执行优化方法及系统 |
-
2022
- 2022-05-20 CN CN202210553979.XA patent/CN115643903A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116968039A (zh) * | 2023-09-25 | 2023-10-31 | 浩科机器人（苏州）有限公司 | 用于机器人智能控制的动作执行优化方法及系统 |
| CN116968039B (zh) * | 2023-09-25 | 2023-12-12 | 浩科机器人（苏州）有限公司 | 用于机器人智能控制的动作执行优化方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111602517B (zh) | 一种串型水果分布式视觉主动感知方法及其应用 | |
| US20220024486A1 (en) | Collaborative autonomous ground vehicle | |
| CN104950887B (zh) | 基于机器人视觉系统和自主跟踪系统的运输装置 | |
| CN109202885B (zh) | 一种物料搬运移动复合机器人 | |
| CN112243698B (zh) | 一种基于多传感器融合技术的核桃自动化采摘及收集方法 | |
| CN111739063A (zh) | 一种基于多传感器融合的电力巡检机器人定位方法 | |
| CN111761575B (zh) | 工件及其抓取方法和生产线 | |
| CN112518748B (zh) | 面向运动物品的视觉机械臂自动抓取方法与系统 | |
| CN102848388A (zh) | 基于多传感器的服务机器人定位和抓取方法 | |
| CN109636272B (zh) | 一种货架缺货智能检测装置及其检测方法 | |
| CN106780631A (zh) | 一种基于深度学习的机器人闭环检测方法 | |
| CN108089695B (zh) | 一种控制可移动设备的方法和装置 | |
| CN114770461B (zh) | 一种基于单目视觉的移动机器人及其自动抓取方法 | |
| CN115643903A (zh) | 基于机器视觉的苹果自动采摘装置及其控制方法 | |
| US20240051146A1 (en) | Autonomous solar installation using artificial intelligence | |
| Breyer et al. | Closed-loop next-best-view planning for target-driven grasping | |
| CN118385157A (zh) | 一种基于深度学习和自适应抓取的视觉分类垃圾自动分拣系统 | |
| CN109508017A (zh) | 智能小车控制方法 | |
| CN109782771A (zh) | 一种果园移动机器人及地头转向方法 | |
| CN117773936A (zh) | 一种基于双机械臂协同抓取小型器件的全向agv的使用方法 | |
| Frank et al. | Stereo-vision for autonomous industrial inspection robots | |
| Chandra et al. | Garbage detection and path-planning in autonomous robots | |
| CN114578817B (zh) | 基于多传感器检测及多数据融合的智能搬运车的控制方法 | |
| CN116258997A (zh) | 煤矸石和杂物的识别方法及自动分拣系统 | |
| Wang et al. | Object Grabbing of Robotic Arm Based on OpenMV Module Positioning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |