CN112588621B - 一种基于视觉伺服的农产品分拣方法及系统 - Google Patents

Abstract

本申请公开了一种基于视觉伺服的农产品分拣方法及系统，涉及农产品分拣技术领域，采用图像采集装置对需要分拣的农产品进行图像采集捕捉目标图像；控制装置将所述目标图像进行预处理；根据预处理后的目标图像对农产品进行定位和分类；控制装置根据机械臂中每个关节的关节变量确定机械臂的末端姿态，控制机械臂完成农产品分拣作业。通过图像采集装置对农产品目标进行捕捉后，然后对目标图像进行预处理，实现图像中农产品目标的准确定位和分类。然后控制机械臂对确定好的农产品进行抓取，实现了农产品的快速分拣。

Description

一种基于视觉伺服的农产品分拣方法及系统

技术领域

本申请涉及农产品分拣技术领域，具体涉及一种基于视觉伺服的农产品分拣方法及系统。

背景技术

农产品生产过程中需要根据生产需求等要求对农产品进行等级划分并且进行划分，此时需要在专门的分拣车间内实现农产品分拣作业，以实现对农产品的分类。

传统技术中农产品的大规模分拣需要采用人工的方式，虽然人工的方式可以完成基本的分拣要求。但是人工分拣效率低，而且长时间的工作之后会导致分拣准确性低，从而无法保证分拣的准确性。为了解决人工分拣的缺陷，现有的分拣车间中会采用分拣机器人配合人工进行分拣。

但是传统的分拣机器人在感知、识别等方面所利用的手段较为单一，局限性非常大，从而导致现有的农产品在分拣时定位不准确，降低了农产品的分拣效果。

发明内容

本申请为了解决上述技术问题，提出了如下技术方案：

第一方面，本申请实施例提供了一种基于视觉伺服的农产品分拣方法，所述方法包括:采用图像采集装置对需要分拣的农产品进行图像采集捕捉目标图像；控制装置将所述目标图像进行预处理；根据预处理后的目标图像对农产品进行定位和分类；控制装置根据机械臂中每个关节的关节变量确定机械臂的末端姿态，控制机械臂完成农产品分拣作业。

采用上述实现方式，通过图像采集装置对农产品目标进行捕捉后，然后对目标图像进行预处理，实现图像中农产品目标的准确定位和分类。然后控制机械臂对确定好的农产品进行抓取，实现了农产品的快速分拣。

结合第一方面，在第一方面第一种可能的实现方式中，所述控制装置将所述目标图像进行预处理，包括：所述控制装置将所述目标图像分别进行灰度增强、图像分割以及平滑图像处理，使得图像各部分层次分开、噪声减少并分割需要区域；然后进行边缘检测，以提取目标边缘信息；最后进行一阶矩计算，得出目标的中心坐标，再转化为实际坐标，对目标图像对应的农产品进行定位。

结合第一方面，在第一方面第二种可能的实现方式中，所述根据预处理后的目标图像对农产品进行定位和分类，包括：根据所捕获图像中目标物体的点与空间实际物体上存在的点建立对应关系实现目标定位；对不同的物体进行分类识别时，确定不同目标物体的投影面积，以面积大小为阈值，利用面积阈值法实现对目标物体的分类。

结合第一方面第二种可能的实现方式，在第一方面第三种可能的实现方式中，所述根据所捕获图像中目标物体的点与空间实际物体上存在的点建立对应关系实现目标定位，包括：确定物体点p在图像像素坐标系中的坐标(^pX_f,^pY_f)；根据图像像素坐标(^pX_f,^pY_f)获得物体点p在图像物理坐标系下的坐标

选取成像模型中摄像机光轴与空间物体所在平面交点的位置，目标物体所在的平面方程为Z＝0；根据图像物理坐标系在摄像机坐标系中z轴方向的距离为有效焦距f，获得物体点p在摄像机坐标系中的坐标为(^pX,^pY,f)；确定摄像机光心在图像物理坐标系中的坐标为(0,0,^PZ_W)；根据点(^pX,^pY,f)与点(0,0,^PZ_W)的光线方程为

得出比例系数

确定最终物体点p的实际位置。

结合第一方面，在第一方面第四种可能的实现方式中，所述控制装置根据机械臂中每个关节的关节变量确定机械臂的末端姿态，包括：确定机械臂连杆坐标系和对应的参数，根据齐次变换理论，确定机械臂的正向运动方程式，所述正向运动方程式用于确定机械臂的末端姿态；或者，确定机械臂的逆向运动方程式，根据机械臂的末端执行器的姿态反解出机械臂各个关节的关节变量。

附图说明

图1为本申请实施例提供的农产品分拣装置硬件系统；

图2为本申请实施例提供的一种基于视觉伺服的农产品分拣方法的流程示意图；

图3为本申请实施例提供的一种视觉伺服平台示意图；

图4为本申请实施例提供的一种基于视觉伺服的农产品分拣系统的示意图。

具体实施方式

下面结合附图与具体实施方式对本方案进行阐述。

本实施例首先要建立如附图1所示的农产品分拣装置的硬件系统，上位机对视觉装置捕获的图像进行处理，同时对机械臂运动参数进行计算，将信号传输给主控芯片；主控芯片接受上位机控制信号，与舵机控制板相连接，对机械臂运动所需要的舵机进行控制；伺服电机控制机械臂的各个关节，以改变机械臂的空间状态，从而实现对农产品的抓取。

图2为本申请实施例提供的一种基于视觉伺服的农产品分拣方法的流程示意图，参见图2，本实施例中的基于视觉伺服的农产品分拣方法包括：

S101，采用图像采集装置对需要分拣的农产品进行图像采集捕捉目标图像。

S102，控制装置将所述目标图像进行预处理。

为了实现图像采集及预处理，如附图3所示，以Arduino和MATLAB为基础搭建了视觉伺服平台，并进一步设计视觉伺服控制系统。视觉伺服系统首先进行目标视觉图像获取和信息提取，主要包括图像的采集、图像预处理以及目标信息提取三部分：在系统通电后，摄像机开始捕获目标图像并传给上位机；对摄像机捕获的目标图像信息进行预先处理，主要包括灰度增强、图像分割以及平滑图像三部分，使得图像各部分层次分开、噪声减少并分割需要区域；根据具体算法，首先进行边缘检测，以提取目标边缘信息；然后进行一阶矩计算，得出目标的中心坐标，再转化为实际坐标。

S103，根据预处理后的目标图像对农产品进行定位和分类。

摄像机成像的原理，将摄像机所捕获图像中目标物体的点与空间实际物体上存在的点建立对应关系，即实现目标定位。

空间中任意一点均通过光心，都可在投影平面上得到投影点，而且物体上点P、光心o及该点投影点p三点共线。若给定空间坐标系与其中任意两点坐标，并给定目标所在平面，便可求解出该光线与目标所在平面的交点，此交点便是最终投影图像中的点在实际三维空间物体上的位置。

在基于摄像机成像原理的目标定位算法中，投影点p和光心o的坐标为已知量，物体点P的坐标为最终任务求解量。在实际图像处理过程中，最容易的得到的是图像像素坐标(^pX_f,^pY_f)。因此，需要先进行坐标变换，得到该点在图像物理坐标系下的坐标(^pX,^pY)：

若此时因为摄像机畸变导致成像坐标发生偏移，可以先根据相机畸变模型进行修正，得出理论像素坐标(X_f,Y_f)，再进行坐标变换：

选取成像模型中摄像机光轴与空间物体所在平面交点的位置，目标物体所在的平面方程为Z＝0。图像物理坐标系在摄像机坐标系中z轴方向的距离为有效焦距f，可得该点在摄像机坐标系中的坐标为(^pX,^pY,f)。对于垂直固定的摄像机，光心与目标平面间距^PZ_W固定不变。因此，投影平面上的图像物理坐标系坐标在世界坐标系中的坐标为(^pX,^pY,f+^PZ_W)，同时可以得到摄像机光心在世界物理坐标系中的坐标为(0,0,^PZ_W)。

这样，点(^pX,^pY,f)与点(0,0,^PZ_W)的光线方程为

可以得出比例系数

这样便可以得到最终目标点的实际位置，从而避免了复杂的坐标变换以及解方程。

本实施例中利用不同物体面积的不同来进行分类，且不需要考虑目标姿态，即面积阈值法分类。

根据摄像机成像原理可知，图像像素坐标系与图像物理坐标系之间得对应关系为

其中尺度因子d_x与d_y表示单个像素所代表的实际尺寸。对于图像中的目标物体，其单个像素表示的实际面积为

⁰S_W＝d_x·d_y

若在目标物体的数字图像中，其轮廓范围内包含的像素个数为N个，那么该物体图像中的表面实际面积为

S_W＝N·⁰S_W＝N·d_x·d_y

对不同的物体进行分类识别时，面积不同的目标物体的投影面积也不同，可以以面积大小为阈值，利用面积阈值法实现对目标物体的分类，进而实现抓取的目的。

S104，控制装置根据机械臂中每个关节的关节变量确定机械臂的末端姿态，控制机械臂完成农产品分拣作业。

位置级运动学所描述的是机械臂关节变量与其末端姿态的关系，这其中的正向问题具体的是指由关节变量求取最终的末端姿态问题，通常采用如下方程表示：

X_e＝fkine(q)

在规定了机械臂连杆坐标系和D-H参数后，根据齐次变换理论，相邻的坐标系{O_{i- 1}x_i-1y_i-1z_i-1}与坐标系{O_ix_iy_iz_i}之间可采用4次齐次变换矩阵使其完全重合：

θ_i表示按右手旋转法则，绕z_i-1轴由x_i-1轴转向x_i轴需要转过的角度

(1)坐标系{O₀x₀y₀z₀}到坐标系{O₁x₁y₁z₁}的变换矩阵为

(2)坐标系{O₁x₁y₁z₁}到坐标系{O₂x₂y₂z₂}的变换矩阵为

(3)坐标系{O₂x₂y₂z₂}到坐标系{O₃x₃y₃z₃}的变换矩阵为

(4)坐标系{O₃x₃y₃z₃}到坐标系{O₄x₄y₄z₄}的变换矩阵为

合并化简，便得到四自由度关节式机械臂的正运动学方程：

其中：

位置级运动学逆问题是指根据机械臂的末端执行器的姿态反解出机械臂各个关节的关节变量，通常采用如下方程表示：

q＝ikine(X_e)

正向运动学的解是唯一确定的，但是运动学的逆解通常情况下不具有唯一性，甚至解是不存在。运动学逆问题通常采用代数法求解，即根据矩阵的逆运算原理求解，根据式(1)可知：

由

可求得θ₁，将

可求得θ₂+θ₃+θ₄，将

代入

可以求得θ₃，将逆矩阵⁰T₁ ^-1左乘⁰T₄＝⁰T₁·¹T₂·²T₃·³T₄，根据对应元素相等并代入

可以得到θ₂，将

代入

可求得θ₄，最终可以得运动学方程逆解结果：

θ₁＝arctan2(o_x,o_y)

θ₄＝arctan2(a_x,n_x)-θ₂-θ₃

其中：

由上述实施例可知，本实施例中为了实现农产品的分拣，首先通过摄像机捕获目标图像并传给上位机，伺服系统对摄像机捕获的目标图像信息进行预先处理。然后运动分析模块获取目标位置信息，经运动学逆解获取关节变量信息，将关节变量信息传递给姿态变换模块；最后系统通过基于相机成像原理的目标定位方法和基于面积阈值法的目标分类方法对农产品进行分拣。

与上述实施例提供的一种基于视觉伺服的农产品分拣方法相对应，本申请还提供了一种基于视觉伺服的农产品分拣系统的实施例，参见图4，基于视觉伺服的农产品分拣系统20包括：图像采集模块201、图像预处理模块202、分类定位模块203和分拣模块204。

所述图像采集模块201，用于采用图像采集装置对需要分拣的农产品进行图像采集捕捉目标图像。所述图像预处理模块，用于控制装置将所述目标图像进行预处理。所述分类定位模块，用于根据预处理后的目标图像对农产品进行定位和分类。所述分拣模块，用于控制装置根据机械臂中每个关节的关节变量确定机械臂的末端姿态，控制机械臂完成农产品分拣作业。

进一步地，所述图像预处理模块202包括：图像处理单元、边缘检测单元和定位单元。

所述图像处理单元，用于所述控制装置将所述目标图像分别进行灰度增强、图像分割以及平滑图像处理，使得图像各部分层次分开、噪声减少并分割需要区域。所述边缘检测单元，用于进行边缘检测，以提取目标边缘信息。所述定位单元，用于最后进行一阶矩计算，得出目标的中心坐标，再转化为实际坐标，对目标图像对应的农产品进行定位。

所述分类定位模块203包括：定位单元和分类单元。

所述定位单元，用于根据所捕获图像中目标物体的点与空间实际物体上存在的点建立对应关系实现目标定位。所述分类单元，用于对不同的物体进行分类识别时，确定不同目标物体的投影面积，以面积大小为阈值，利用面积阈值法实现对目标物体的分类。

所述定位单元包括：第一确定子单元、坐标转化子单元、选取子单元、获取子单元、第二确定子单元和第三确定子单元。

第一确定子单元，用于确定物体点p在图像像素坐标系中的坐标(^pX_f,^pY_f)。坐标转化子单元，用于根据图像像素坐标(^pX_f,^pY_f)获得物体点p在图像物理坐标系下的坐标(^pX,^pY)：

选取子单元，用于选取成像模型中摄像机光轴与空间物体所在平面交点的位置，目标物体所在的平面方程为Z＝0。获取子单元，用于根据图像物理坐标系在摄像机坐标系中z轴方向的距离为有效焦距f，获得物体点p在摄像机坐标系中的坐标为(^pX,^pY,f)。第二确定子单元，用于确定摄像机光心在图像物理坐标系中的坐标为(0,0,^PZ_W)。第三确定子单元，用于根据点(^pX,^pY,f)与点(0,0,^PZ_W)的光线方程为

得出比例系数

确定最终物体点p的实际位置。

所述分拣模块204包括：第一确定单元和第二确定单元。

所述第一确定单元，用于确定机械臂连杆坐标系和对应的参数，根据齐次变换理论，确定机械臂的正向运动方程式，所述正向运动方程式用于确定机械臂的末端姿态。所述第二确定单元，用于确定机械臂的逆向运动方程式，根据机械臂的末端执行器的姿态反解出机械臂各个关节的关节变量。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

当然，上述说明也并不仅限于上述举例，本申请未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本申请的技术方案并非是对本申请的限制，如来替代，本申请仅结合并参照优选的实施方式进行了详细说明，本领域的普通技术人员应当理解，本技术领域的普通技术人员在本申请的实质范围内所做出的变化、改型、添加或替换都不脱离本申请的宗旨，也应属于本申请的权利要求保护范围。

Claims (6)

1.一种基于视觉伺服的农产品分拣方法，其特征在于，所述方法包括:

采用图像采集装置对需要分拣的农产品进行图像采集捕捉目标图像；

控制装置将所述目标图像进行预处理；

根据预处理后的目标图像对农产品进行定位和分类；

所述根据预处理后的目标图像对农产品进行定位和分类，包括：

根据所捕获图像中目标物体的点与空间实际物体上存在的点建立对应关系实现目标定位；

对不同的物体进行分类识别时，确定不同目标物体的投影面积，以面积大小为阈值，利用面积阈值法实现对目标物体的分类；

所述根据所捕获图像中目标物体的点与空间实际物体上存在的点建立对应关系实现目标定位，包括：

确定物体点p在图像像素坐标系中的坐标(^pX_f,^pY_f)；

根据图像像素坐标(^pX_f,^pY_f)获得物体点p在图像物理坐标系下的坐标(^pX,^pY)：

选取成像模型中摄像机光轴与空间物体所在平面交点的位置，目标物体所在的平面方程为Z＝0；

根据图像物理坐标系在摄像机坐标系中z轴方向的距离为有效焦距f，获得物体点p在摄像机坐标系中的坐标为(^pX,^pY,f)；

确定摄像机光心在图像物理坐标系中的坐标为(0,0,^PZ_W)；

根据点(^pX,^pY,f)与点(0,0,^PZ_W)的光线方程为

得出比例系数

确定最终物体点p的实际位置；

控制装置根据机械臂中每个关节的关节变量确定机械臂的末端姿态，控制机械臂完成农产品分拣作业。

2.根据权利要求1所述的基于视觉伺服的农产品分拣方法，其特征在于，所述控制装置将所述目标图像进行预处理，包括：

所述控制装置将所述目标图像分别进行灰度增强、图像分割以及平滑图像处理，使得图像各部分层次分开、噪声减少并分割需要区域；

然后进行边缘检测，以提取目标边缘信息；

最后进行一阶矩计算，得出目标的中心坐标，再转化为实际坐标，对目标图像对应的农产品进行定位。

3.根据权利要求1所述的基于视觉伺服的农产品分拣方法，其特征在于，所述控制装置根据机械臂中每个关节的关节变量确定机械臂的末端姿态，包括：

确定机械臂连杆坐标系和对应的参数，根据齐次变换理论，确定机械臂的正向运动方程式，所述正向运动方程式用于确定机械臂的末端姿态；

或者，确定机械臂的逆向运动方程式，根据机械臂的末端执行器的姿态反解出机械臂各个关节的关节变量。

4.一种基于视觉伺服的农产品分拣系统，其特征在于，所述系统包括:

图像采集模块，用于采用图像采集装置对需要分拣的农产品进行图像采集捕捉目标图像；

图像预处理模块，用于控制装置将所述目标图像进行预处理；

分类定位模块，用于根据预处理后的目标图像对农产品进行定位和分类；

所述分类定位模块包括：

定位单元，用于根据所捕获图像中目标物体的点与空间实际物体上存在的点建立对应关系实现目标定位；

分类单元，用于对不同的物体进行分类识别时，确定不同目标物体的投影面积，以面积大小为阈值，利用面积阈值法实现对目标物体的分类；

所述定位单元包括：

第一确定子单元，用于确定物体点p在图像像素坐标系中的坐标(^pX_f,^pY_f)；

坐标转化子单元，用于根据图像像素坐标(^pX_f,^pY_f)获得物体点p在图像物理坐标系下的坐标(^pX,^pY)：

选取子单元，用于选取成像模型中摄像机光轴与空间物体所在平面交点的位置，目标物体所在的平面方程为Z＝0；

获取子单元，用于根据图像物理坐标系在摄像机坐标系中z轴方向的距离为有效焦距f，获得物体点p在摄像机坐标系中的坐标为(^pX,^pY,f)；

第二确定子单元，用于确定摄像机光心在图像物理坐标系中的坐标为(0,0,^PZ_W)；

第三确定子单元，用于根据点(^pX,^pY,f)与点(0,0,^PZ_W)的光线方程为

得出比例系数

确定最终物体点p的实际位置；

分拣模块，用于控制装置根据机械臂中每个关节的关节变量确定机械臂的末端姿态，控制机械臂完成农产品分拣作业。

5.根据权利要求4所述的基于视觉伺服的农产品分拣系统，其特征在于，所述图像预处理模块包括：

图像处理单元，用于所述控制装置将所述目标图像分别进行灰度增强、图像分割以及平滑图像处理，使得图像各部分层次分开、噪声减少并分割需要区域；

边缘检测单元，用于进行边缘检测，以提取目标边缘信息；

定位单元，用于最后进行一阶矩计算，得出目标的中心坐标，再转化为实际坐标，对目标图像对应的农产品进行定位。

6.根据权利要求4所述的基于视觉伺服的农产品分拣系统，其特征在于，所述分拣模块包括：

第一确定单元，用于确定机械臂连杆坐标系和对应的参数，根据齐次变换理论，确定机械臂的正向运动方程式，所述正向运动方程式用于确定机械臂的末端姿态；

第二确定单元，用于确定机械臂的逆向运动方程式，根据机械臂的末端执行器的姿态反解出机械臂各个关节的关节变量。

Images