CN112136505B - 一种基于视觉选择注意机制的水果采摘顺序规划方法 - Google Patents

一种基于视觉选择注意机制的水果采摘顺序规划方法 Download PDF

Info

Publication number
CN112136505B
CN112136505B CN202010926985.6A CN202010926985A CN112136505B CN 112136505 B CN112136505 B CN 112136505B CN 202010926985 A CN202010926985 A CN 202010926985A CN 112136505 B CN112136505 B CN 112136505B
Authority
CN
China
Prior art keywords
fruit
picking
region
visual
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010926985.6A
Other languages
English (en)
Other versions
CN112136505A (zh
Inventor
熊俊涛
陈淑绵
钟灼
李中行
彭铭键
焦镜棉
张梓扬
郑镇辉
何康乐
张建文
刘柏林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202010926985.6A priority Critical patent/CN112136505B/zh
Publication of CN112136505A publication Critical patent/CN112136505A/zh
Application granted granted Critical
Publication of CN112136505B publication Critical patent/CN112136505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D91/00—Methods for harvesting agricultural products
    • A01D91/04—Products growing above the soil
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Abstract

本发明公开了一种基于视觉选择注意机制的水果采摘顺序规划方法，包括果实图像采集与配准、果实视觉显著性计算、果实目标识别与分割、果实采摘决策属性分析，然后将各果实的均显著度、中心深度值和遮挡系数作为采摘优先级排序的3个决策要素，采用果实采摘优先级排序方法对各果实的决策要素属性值进行综合评估，确定当前场景下每个果实的采摘优先级次序；再根据每个果实的采摘优先级次序，依次向水果机器人发送各果实的三维坐标，驱动水果机器人进行连续采摘。本发明能够在能耗相对较低情况下采摘到质量更高的果实，对促进我国水果产业增产增收和自动采摘装备智能化具有实用意义。

Description

一种基于视觉选择注意机制的水果采摘顺序规划方法
技术领域
本发明属于农业机器人视觉仿生领域，具体涉及一种基于视觉选择注意机制的水果采摘顺序规划方法。
背景技术
随着智慧农业的起步，智慧农业系统的应用越来越多，水果采摘机器人是智慧农业中的新兴领域，如何提高水果采摘的效率和质量一直是本领域的研究重点。目前，基于视觉的水果采摘机器人，其采摘方法主要有两种：(1)采用相机不断地从多个随机方向拍照，直到发现水果目标，然后控制机器人采摘；但是，这种做法会加重机器人对环境的不确定性，浪费大量的重复动作，导致效率较低。(2)采用相机在较远处拍摄图像，一次检测出当前场景下的所有水果目标，然后控制机器人逐个采摘；但是这种做法产生了一个问题，即如何确定机器人先摘哪个后摘哪个果实。针对这个问题，主要有两种采摘方法，一是按照从左到右、从上到下的顺序去采摘，但是没有考虑水果距离机器人的远近，无法确保效率；二是规划整个采摘过程的最短路径去采摘，以减少机器人的消耗，提高机器人的采摘效率。然而，以上这些水果采摘方法都忽视了所采摘水果的质量，导致容易采摘到质量参差不齐的水果，增加了后续的水果品质分拣工作繁重的负担，人工成本居高不下，直接影响到果农的整体收益。因此，如何同时兼顾机器人采摘效率和水果采摘质量，设计一种更优的水果采摘方法，是迫切需要解决的问题。
发明内容
本发明的目的在于克服现有技术中存在的缺点，提供一种基于视觉选择注意机制的水果采摘顺序规划方法，利用视觉显著性表征水果品质状态，引入目标距离等决策因素，使水果采摘机器人能够在较短时间内采摘到质量更高的果实，实现同时提高水果采摘效率和质量，降低水果采摘成本。
本发明的目的通过下述技术方案实现：
一种基于视觉选择注意机制的水果采摘顺序规划方法，包括以下步骤：
(1)果实图像采集与配准：采集水果机器人采摘域的果实图像，获得配准图像和深度图像；
(2)果实视觉显著性计算：基于水果的色泽特征建立视觉选择注意机制模型，生成配准图像的视觉显著图；
(3)果实目标识别与分割：对果实目标进行识别与分割，获得分割出的果实区域；
(4)果实采摘决策属性分析：分割出的果实区域与视觉显著图、深度图像匹配，得到各果实区域对应的视觉显著信息和深度信息，计算出各果实的均显著度、中心深度值和遮挡系数；
(5)果实采摘优先级排序：将各果实的均显著度、中心深度值和遮挡系数作为采摘优先级排序的3个决策要素，采用果实采摘优先级排序方法对各果实的决策要素属性值进行综合评估，确定当前场景下每个果实的采摘优先级次序；
(6)根据每个果实的采摘优先级次序，依次向水果机器人发送各果实的三维坐标，驱动水果机器人进行连续采摘。
所述步骤(1)中，所述采集水果机器人采摘域的果实图像，是基于深度相机Kinectv2采集彩色图像RGB与深度图像Depth，将获取的彩色图像RGB与深度图像Depth配准并去除水果机器人采摘域外的图像信息，得到仅包含采摘域内信息的配准图像。
所述步骤(2)中，所述基于水果的色泽特征建立视觉选择注意机制模型，包括以下步骤：
(2-1)分离配准图像的R，G，B通道并分别进行直方图均衡化，合并各通道图像形成增强后的配准图像；
(2-2)选择3*3或5*5卷积核对配准图像进行高斯模糊；
(2-3)提取配准图像R分量，将配准图像转换至Lab和YIQ颜色空间，提取L分量、b分量和I分量，联合R分量表征果实色泽状态；
(2-4)遍历步骤(2-3)中颜色分量[R,L,b,I]每个像素点，以当前像素距离图像边界的最短距离为半长和半宽，构建以该像素点为中心的最大包围框，计算最大包围框内所有像素的颜色均值；
(2-5)分别计算每个像素的颜色分量值与其对应的最大包围框颜色均值的欧式距离，并将不同颜色分量下的欧式距离累积求和；
(2-6)所有像素点完成步骤(2-4)～(2-5)后形成视觉色差图，将所述视觉色差图归一化至0～255的灰度图像，即为视觉显著图。视觉显著图中像素越亮，则说明该像素越显著，越值得受到视觉关注，从而分配到更丰富的视觉处理资源以提供更有效的决策支持。
所述步骤(3)中，所述对果实目标进行识别与分割，是训练深度神经网络YOLOv4模型，检测当前场景下配准图像中的所有果实目标并输出检测框，提取图像的颜色特征
Figure BDA0002668763830000031
训练SVM语义分割模型，对检测框内的像素进行分类，获得分割出的果实区域，并表示成白色像素为果实、黑色像素为背景的二值图像FruitMask。其中，bLab，SHSV,IYIQ,VYUV,
Figure BDA0002668763830000032
表示颜色分量，其下标表示颜色模型，例如bLab是表示Lab颜色模型的b分量。
所述步骤(4)中，所述分割出的果实区域与视觉显著图、深度图像匹配，是指将果实区域FruitMask与视觉显著图、深度图像进行“与”运算，提取各果实区域对应的视觉显著信息和深度信息，并计算该区域视觉显著图的均值和区域中心的深度值，即为果实的均显著度Saliency和中心深度值CenterDepth。果实的均显著度越高，则说明果实外观品质更好，其采摘优先级更高；果实的中心深度值越小，水果机器人的移动消耗距离越短，其采摘优先级也越高。
所述步骤(4)中，所述计算各果实区域的遮挡系数，具体如下：
(4-1)统计果实区域中白色像素数目，即为该果实区域的面积Area；
(4-2)根据果实区域的轮廓求其凸包，并计算凸包的面积ConvexArea；然后根据下述公式计算果实区域的遮挡系数Coefshelter：
Figure BDA0002668763830000033
所述步骤(4-2)中，若果实区域因受到遮挡被分割成多个子区域，则根据以下步骤将多个子区域联成一个果实区域：
(4-2-1)对子区域进行编号1，2，3，...，求各子区域四个方向(左上、左下、右上、右下)的极点位置；
(4-2-2)根据编号遍历子区域，计算当前子区域极点与下一子区域极点的最短距离及相应的极点对(x1,y1),(x2,y2)；
(4-2-3)计算极点对在横坐标方向和纵坐标方向上的差值，即
Δx＝x2-x1
Δy＝y2-y1
(4-2-4)根据极点对在横、纵坐标上的差值在两个子区域间进行棋盘格走线，即令FruitMask在(x1：x1+Δx,y1：y1)和(x2：x2,y2：y2-Δy)区域的像素值为1，从而将两个子区域连接成新的一个母区域；
(4-2-5)重复以上(4-2-1)～(4-2-4)步骤，直到所有子区域形成一个母区域，即为果实区域。
所述步骤(5)中，所述果实采摘优先级排序方法为TOPSIS评价法，包括下述步骤：
(5-1)令各果实区域的均显著度Saliency、中心深度CenterDepth、遮挡系数Coefshelter分别表示为x1、x2、x3,并串联为原始数据矩阵X，即X＝{x1,x2,x3}；
(5-2)利用熵权法计算各指标的权重W，即W＝{w1,w2,w3}.
(5-3)中心深度值和遮挡系数为极小型指标，即其值越小则其采摘优先级越高；根据下式将决策指标中心深度值和遮挡系数的属性值正向化，其中xj表示第j个决策指标对应的样本数据，xij表示第i个样本的第j个决策指标值，n为样本个数：xij：＝max(xj)-xij,i＝1,2,…,n,j＝2,3；
(5-4)根据下式对正向化矩阵进行标准化，构造初始决策矩阵Z：
Figure BDA0002668763830000041
(5-5)确定各决策指标下最大的值与最小的值为最优方案与最劣方案，构成最优方案Z+＝{max(x1),max(x2),max(x3)}，最劣方案Z-＝{min(x1),min(x2),min(x3)}.
(5-6)根据下式计算各果实属性值Di与最优方案、最劣方案的接近程度；
Figure BDA0002668763830000051
Figure BDA0002668763830000052
(5-7)评价各果实与最优方案的贴近程度，其中Ci越大，则说明越贴近于最优方案，即当前场景下该果实的采摘优先级更高；根据Ci分数高低进行排序，其评价结果就是各果实的采摘优先级次序Ci：
Figure BDA0002668763830000053
所述步骤(5-2)中，利用熵权法计算各指标的权重W，包括下述步骤：
(5-2-1)对步骤(5-1)中的原始数据矩阵X进行向量归一化：
Figure BDA0002668763830000054
(5-2-2)计算各指标的熵值：
Figure BDA0002668763830000055
其中，若pij为0，则pijlnpij＝0；n为样本个数；
(5-2-3)计算各指标权重：
Figure BDA0002668763830000056
所述步骤(6)中，利用果实中心的图像坐标(x,y)和中心深度值CenterDepth，依据下述坐标系转换关系求出每个果实的三维坐标(X,Y,Z)：
Figure BDA0002668763830000057
Figure BDA0002668763830000061
Z＝CenterDepth
其中，Cx，Cy，fx，fy为相机内参；然后根据步骤(5)计算得到的各果实的采摘优先级次序，包装成果实的采摘坐标队列，通过ROS SERVICE形式发送指令至采摘机器人，随后开启连续采摘动作，直至采摘坐标队列中所有果实采摘完毕，再切换至下一采摘场景。
优选地，所述SVM语义分割模型分割检测框内的果实区域，是采用特征组合
Figure BDA0002668763830000062
识别绝大部分颜色偏黄的果实；而对偏绿的果实品种，采用
Figure BDA0002668763830000063
特征组合进行分割。所述SVM语义分割模型可采用语义分割网络FCN、U-Net等代替，可以取得相似或更优效果。进一步地，若极绿的果实较难通过颜色特征分割出来，则采用OTSU法提取大部分绿色区域。
优选地，所述步骤(5)中，还可以增加果实面积和空间邻近系数两个决策要素，即在果实采摘优先级排序中，采用各果实的均显著度、中心深度值、遮挡系数、果实面积和空间邻近系数作为采摘优先级排序的5个决策要素，然后再利用TOPSIS法对果实优先级进行评价，得到更加准确的排序结果。其中，当前果实与其他果实之间的平均距离，即为该果实的空间邻近系数；果实面积可以通过计算果实区域像素总和得到。
本发明将各果实的均显著度、中心深度值和遮挡系数作为采摘优先级排序的3个决策要素，其原理在于：(1)果实中心深度值意味着果实距离相机的物理距离，相机与机器人基座位置接近且处于同一直线，所以中心深度值可以衡量果实与机器人之间的距离，而距离是影响采摘时间和采摘能量消耗的一个重要因素，因此选择中心深度作为采摘效率指标；(2)水果的外观品质主要体现在颜色鲜艳程度，表皮色泽越好，其新鲜度和成熟度越高；采摘过程中，品质较好的果实往往更吸引视觉的注意，从而引导自发采摘行为，提升采摘质量。该原理体现在视觉显著图中，意味着当前采摘场景下的视觉显著图中果实显著度越高，说明果实色泽越好，新鲜程度越高；本发明通过用视觉显著信息量化果实颜色鲜艳程度，从而表示果实外观品质状态，从而提供了一种可测量的品质评价手段；(3)由于果园环境非结构性，实际场景下果实可能被树叶、树枝、树干遮挡而导致定位失败，而且采摘时如果撞到树枝会损伤机械手；因此除了距离和品质两个因素，果实被遮挡的程度也是一个重要的因素，遮挡程度越高，采摘所需要付出的成本就越高，因此采摘优先级就越低。
一种基于视觉选择注意机制的水果自动采摘系统，包括采摘机器人、末端执行器、深度相机Kinect v2和水果采摘顺序规划模块；所述水果采摘顺序规划模块中内嵌有上述的基于视觉选择注意机制的水果采摘顺序规划方法。
本发明与现有技术相比具有如下优点和效果：
(1)本发明基于视觉选择注意机制的水果采摘顺序规划方法，综合考虑了水果采摘机器人在作业过程中的采摘效率和所采摘水果的质量这两大影响因素，定义比较全面的3个决策要素，同时结合TOPSIS评价法，获得每个果实的采摘优先级次序，能够在能耗相对较低情况下采摘到质量更高的果实，对促进我国水果产业增产增收和自动采摘装备智能化具有实用意义。
(2)本发明基于视觉选择注意机制模型生成视觉显著图，采用视觉显著信息表达果实的品质状态，为水果品质评估提供了一种直观有效的新型量化手段；而且本发明的视觉选择注意机制模型中，基于水果成熟时偏向黄色、橙色、红色的特点，使用了能够表示橙黄色程度的颜色特征R，b，I；同时基于品质好的成熟果实的表皮油胞活动更加旺盛使得果皮表面更有光泽的特点，又在模型中引入了表示亮度的L颜色特征；此外，还基于果园环境中光照不断变化的特点，先对原图进行直方图均衡化抑制光照的影响，直方图均衡化后光线良好的图像保持不变，光线暗的图像提高了亮度；因此，本发明的获得的视觉显著图可以更准确地表示水果的品质状态。
(3)本发明提出的果实采摘优先级排序方法能够在采摘过程中提前筛选优质果实，通过自定义优质果实分数阈值灵活地适用于不同的采摘场景，为采摘人员提供辅助性的决策支持，从而提高采摘作业转化率。
附图说明
图1为本发明的水果采摘顺序规划方法流程图。
图2是本发明的水果自动采摘系统的整体结构及其应用场景图。
图3是本发明实施例中由视觉选择注意机制模型生成的视觉显著图。
图4是本发明实施例中YOLOv4识别果实并输出检测框示意图。
图5是本发明实施例中果实区域分割及其凸包示意图。
图6是本发明实施例中的水果采摘顺序规划示意图。
其中，(a)检测框内果实；(b)SVM分割果实区域；(c)连接为果实区域；(d)果实区域凸包。
其中，1、可升降平台；2、六自由度机械臂；3、Kinect v2相机；4、柔性夹爪；5、果树；6、输送管道；7、果实收集箱；8、橡胶手指；9、开合支架；10、电机；11、子区域1；12、子区域2；13、母区域。
具体实施方式
下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
实施例
如图1所示，为本发明基于视觉选择注意机制的水果采摘顺序规划方法的操作流程。
如图2所示，水果采摘机器人包括可升降平台1、六自由度机械臂2和Kinect v2相机3。采摘机器人为大族机器人公司生产的elfin系列，置于果树5的前方。所述Kinectv2相机安装在所述采摘机器人基座中心线左侧或右侧位置，相机中心和采摘机器人基座中心保持在同一直线，相机视距为0.5m～4.5m，采摘机器人末端移动范围在0.5m～2m，考虑不同距离下果树采摘难易程度，限定采摘机器人的采摘域为距离果树1m～1.5m左右的区域。
采摘机器人的末端执行器为易爪科技QT-E1系列可变形柔性夹爪4，包括电路板、电机10、橡胶手指8和开合支架9。所述采摘机器人通过向电路板发送开关量或高低电平控制末端夹爪开闭。所述末端执行器具有自适应抓取特点，可摘取直径在30mm～100mm之间的果实。柔性夹爪作为末端执行器，可以自适应不同果实对象的形状和大小，不易夹伤水果对象，且不受树叶密集遮挡果梗导致采摘失败问题的困扰。
具体步骤如下：
(1)采摘机器人位于果树前1m～1.5m，处于采摘预备状态。Kinect v2相机固定于机械臂右侧，高度约为1m，相机中心与机械臂基座中心位于同一直线。调用Kinect v2官方SDK采集当前采摘场景的RGB-D图像，将获取的彩色图像RGB与深度图像Depth配准。拍摄时以配准图中果实区域不出现空洞或较少空洞为佳，本实施例中设置机械手的采摘域为1m，则去除配准图像中对应深度值大于1000的像素点，得到仅包含采摘域内信息的配准图像。
(2)分离配准图像的R,G,B三通道并分别进行直方图均衡化，然后合并各通道图像形成增强后的配准图像。选择3*3或5*5卷积核对配准图像进行高斯模糊，然后提取配准图像R分量，将配准图像转换至Lab和YIQ颜色空间，提取L分量、b分量和I分量。遍历颜色分量[R,L,b,I]中的每个像素点，以像素距离图像边界的最短距离为半长和半宽，构建以该像素点为中心的最大包围框，计算最大包围框内所有像素的颜色均值，然后计算每个像素的颜色分量值与其对应的最大包围框颜色均值的欧式距离。遍历计算完成后，每个像素点都有对应的在四个颜色分量下的欧式距离，将不同颜色分量下的欧式距离累积求和形成视觉色差图。视觉色差图归一化至0～255的灰度图像，即为如图3所示视觉显著图。
(3)利用深度神经网络YOLOv4模型检测当前场景下配准图像中的所有果实目标并输出检测框，如图4所示。根据检测框位置从配准图中截取对应的子图像，对于颜色偏黄的果实，提取子图像的颜色特征
Figure BDA0002668763830000101
Figure BDA0002668763830000102
对于颜色偏绿的果实，提取子图像的颜色特征
Figure BDA0002668763830000103
基于上述颜色特征构建SVM模型分割检测框内的果实区域，并表示成白色像素为果实，黑色像素为背景的二值图像，如图5(a)-(b)所示。
(4)根据检测框位置从视觉显著图和深度图中截取对应的子图像subsaliency和subdepth，并将步骤(3)中得到的二值果实区域与对应的subsaliency和subdepth进行“与”运算，提取果实区域对应的视觉显著信息和深度信息，并计算该区域视觉显著图的均值和区域中心的深度值。
(5)统计步骤(3)中每个果实区域的白色像素数目，作为果实区域面积Area。同时根据果实区域的轮廓求其凸包(如图5(d))，并计算凸包的面积ConvexArea。然后根据公式
Figure BDA0002668763830000104
计算果实遮挡系数。果实遮挡系数越低，说明果实可见度较高，易于采摘，故优先级较高；遮挡系数越高，果实受遮挡越严重，增大采摘难度，相应的采摘优先级较低。如图5(c)所示，若果实区域因受到遮挡被分割成多个子区域，则根据以下步骤将多个子区域联成一个果实区域：
(5-1)对子区域进行编号1,2,3…，求各子区域四个方向(左上、左下、右上、右下)的极点位置；
(5-2)根据编号遍历子区域，计算当前子区域11极点与下一子区域极点的最短距离及相应的极点对(x1,y1),(x2,y2)；
(5-3)计算极点对在横坐标方向和纵坐标方向上的差值，即
Δx＝x2-x1
Δy＝y2-y1
(5-4)根据极点对在横、纵坐标上的差值在两个子区域间进行棋盘格走线，即令FruitMask在(x1：x1+Δx,y1：y1)和(x2：x2,y2：y2-Δy)区域的像素值为1，从而将两个子区域连接成新的一个母区域；
(5-5)重复以上(5-1)～(5-4)步骤，直到所有子区域形成一个母区域，即为果实区域。如图5所示，通过上述方法，子区域11和子区域12连接为一个母区域13，以便进行后续的遮挡系数计算。
(6)利用果实中心的像素坐标(x,y)和深度值CenterDepth，根据以下坐标系转换关系求出每个果实的三维坐标(X,Y,Z)，其中，Cx，Cy，fx，fy为相机内参。遍历各果实中心的三维坐标，计算当前果实与其他果实之间的平均距离，即为果实的空间邻近系数。
Figure BDA0002668763830000111
Figure BDA0002668763830000112
Z＝CenterDepth
(7)以各果实的均显著度、面积、中心深度、遮挡系数和空间邻近系数为评价指标，利用TOPSIS评价法对各果实采摘优先级进行排序，其步骤如下：
(7-1)将各果实区域的均显著度x1、面积x2、中心深度值x3、遮挡系数x4和空间邻近系数x5串联为原始数据矩阵X,即X＝{x1,x2,x3,x4,x5}.
(7-2)利用熵权法得到各指标权重W＝{w1,w2,w3,w4,w5}。首先对原始数据矩阵X进行向量归一化，即
Figure BDA0002668763830000113
然后计算各指标的熵值
Figure BDA0002668763830000114
Figure BDA0002668763830000115
其中n为样本个数，j＝1,2,3,…,5；k＝1/lnn。若pij为0，则pijlnpij＝0。计算各指标权重
Figure BDA0002668763830000116
(7-3)由于决策指标中中心深度、遮挡系数和空间邻近系数为极小型指标，根据下式将中心深度、遮挡系数和空间邻近系数的属性值正向化，其中xj表示第i个决策指标对应的样本数据，xij表示第i个样本的第j个决策指标值。
xij＝max(xj)-xij,i＝1,2,…n,j＝1,2,…,5
(7-4)对正向化矩阵进行标准化，构造初始决策矩阵Z。
Figure BDA0002668763830000121
(7-5)确定各决策指标下最大的值与最小的值为最优方案与最劣方案，构成最优方案Z+＝{max(x1),max(x2),…,max(x5)}，最劣方案Z-＝{min(x1),min(x2),…,min(x5)}.
(7-6)根据下式计算各果实属性值与最优方案和最劣方案的接近程度；
Figure BDA0002668763830000122
Figure BDA0002668763830000123
(7-7)评价各果实与最优方案的贴近程度，其中Ci越大，则说明越贴近于最优方案，即当前场景下该果实的采摘优先级更高。根据Ci分数高低进行排序，其评价结果就是各果实的优先级次序。如图6所示，当前场景下的果实采摘顺序即被确定。
Figure BDA0002668763830000124
(8)将步骤6解算的果实三维坐标按照步骤7中的果实优先级次序包装成采摘坐标队列，通过ROS SERVICE形式发送指令至采摘机器人，随后开启连续采摘动作，机器人控制柔性夹爪抓取果实，在输送管道6处释放果实，通过输送管道将果实运送至果实收集箱7。机器人逐个采摘和释放果实，直至坐标队列中所有果实采摘完毕，切换至下一采摘场景。
以上所述仅为本发明的实施例，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于视觉选择注意机制的水果采摘顺序规划方法，其特征在于包括以下步骤：
(1)果实图像采集与配准：采集水果机器人采摘域的果实图像，获得配准图像和深度图像；
(2)果实视觉显著性计算：基于水果的色泽特征建立视觉选择注意机制模型，生成配准图像的视觉显著图；所述基于水果的色泽特征建立视觉选择注意机制模型，包括以下步骤：
(2-1)分离配准图像的R，G，B通道并分别进行直方图均衡化，合并各通道图像形成增强后的配准图像；
(2-2)选择3*3或5*5卷积核对配准图像进行高斯模糊；
(2-3)提取配准图像R分量，将配准图像转换至Lab和YIQ颜色空间，提取L分量、b分量和I分量，联合R分量表征果实色泽状态；
(2-4)遍历步骤(2-3)中颜色分量[R,L,b,I]每个像素点，以当前像素距离图像边界的最短距离为半长和半宽，构建以该像素点为中心的最大包围框，计算最大包围框内所有像素的颜色均值；
(2-5)分别计算每个像素的颜色分量值与其对应的最大包围框颜色均值的欧式距离，并将不同颜色分量下的欧式距离累积求和；
(2-6)所有像素点完成步骤(2-4)～(2-5)后形成视觉色差图，将所述视觉色差图归一化至0～255的灰度图像，即为视觉显著图；视觉显著图中像素越亮，则说明该像素越显著，越值得受到视觉关注，从而分配到更丰富的视觉处理资源以提供更有效的决策支持；
(3)果实目标识别与分割：对果实目标进行识别与分割，获得分割出的果实区域；
(4)果实采摘决策属性分析：分割出的果实区域与视觉显著图、深度图像匹配，得到各果实区域对应的视觉显著信息和深度信息，计算出各果实的均显著度、中心深度值和遮挡系数；
(5)果实采摘优先级排序：将各果实的均显著度、中心深度值和遮挡系数作为采摘优先级排序的3个决策要素，采用果实采摘优先级排序方法对各果实的决策要素属性值进行综合评估，确定当前场景下每个果实的采摘优先级次序；
(6)根据每个果实的采摘优先级次序，依次向水果机器人发送各果实的三维坐标，驱动水果机器人进行连续采摘。
2.根据权利要求1所述的基于视觉选择注意机制的水果采摘顺序规划方法，其特征在于：所述步骤(3)中，所述对果实目标进行识别与分割，是训练深度神经网络YOLOv4模型，检测当前场景下配准图像中的所有果实目标并输出检测框，提取图像的颜色特征
Figure FDA0003181726860000021
训练SVM语义分割模型，对检测框内的像素进行分类，获得分割出的果实区域，并表示成白色像素为果实、黑色像素为背景的二值图像FruitMask；其中，bLab，SHSV，IYIQ，VYUV，
Figure FDA0003181726860000023
表示颜色分量，其下标表示颜色模型。
3.根据权利要求1所述的基于视觉选择注意机制的水果采摘顺序规划方法，其特征在于：所述步骤(4)中，所述分割出的果实区域与视觉显著图、深度图像匹配，是指将果实区域FruitMask与视觉显著图、深度图像进行“与”运算，提取各果实区域对应的视觉显著信息和深度信息，并计算该区域视觉显著图的均值和区域中心的深度值，即为果实的均显著度Saliency和中心深度值CenterDepth。
4.根据权利要求1所述的基于视觉选择注意机制的水果采摘顺序规划方法，其特征在于：所述步骤(4)中，所述计算各果实区域的遮挡系数，具体如下：
(4-1)统计果实区域中白 色像素数目，即为该果实区域的面积Area；
(4-2)根据果实区域的轮廓求其凸包，并计算凸包的面积ConvexArea；然后根据下述公式计算果实区域的遮挡系数Coefshelter：
Figure FDA0003181726860000022
5.根据权利要求4所述的基于视觉选择注意机制的水果采摘顺序规划方法，其特征在于：所述步骤(4-2)中，若果实区域因受到遮挡被分割成多个子区域，则根据以下步骤将多个子区域联成一个果实区域：
(4-2-1)对子区域进行编号1，2，3，…，求各子区域四个方向即左上、左下、右上、右下的极点位置；
(4-2-2)根据编号遍历子区域，计算当前子区域极点与下一子区域极点的最短距离及相应的极点对(x1，y1)，(x2，y2)；
(4-2-3)计算极点对在横坐标方向和纵坐标方向上的差值，即
Δx＝x2-x1
Δy＝y2-y1
(4-2-4)根据极点对在横、纵坐标上的差值在两个子区域间进行棋盘格走线，即令FruitMask在(x1：x1+Δx,y1：y1)和(x2：x2,y2：y2-Δy)区域的像素值为1，从而将两个子区域连接成新的一个母区域；
(4-2-5)重复以上(4-2-1)～(4-2-4)步骤，直到所有子区域形成一个母区域，即为果实区域。
6.根据权利要求1所述的基于视觉选择注意机制的水果采摘顺序规划方法，其特征在于：所述步骤(5)中，所述果实采摘优先级排序方法为TOPSIS评价法，包括下述步骤：
(5-1)令各果实区域的均显著度Saliency、中心深度CenterDepth、遮挡系数Coefshelter分别表示为x1、x2、x3，并串联为原始数据矩阵X，即X＝{x1，x2，x3}；
(5-2)利用熵权法计算各指标的权重W，即W＝{w1，w2，w3}；
(5-3)中心深度和遮挡系数值为极小型指标，即其值越小则其采摘优先级越高；根据下式将决策指标中心深度值和遮挡系数的属性值正向化，其中xj表示第j个决策指标，xij表示第i个样本的第j个决策指标值，n为样本个数：
xij：＝max(xj)-xij，i＝1,2，…，n，j＝1,2,3；
(5-4)根据下式对正向化矩阵进行标准化，构造初始决策矩阵Z：
Figure FDA0003181726860000041
(5-5)确定各决策指标下最大的值与最小的值为最优方案与最劣方案，构成最优方案Z+＝{max(x1)，max(x2)，max(x3)}，最劣方案Z-＝{min(x1)，min(x2)，min(x3)}；
(5-6)根据下式计算各果实属性值Di与最优方案、最劣方案的接近程度；
Figure FDA0003181726860000042
Figure FDA0003181726860000043
(5-7)评价各果实与最优方案的贴近程度，其中Ci越大，则说明越贴近于最优方案，即当前场景下该果实的采摘优先级更高；根据Ci分数高低进行排序，其评价结果就是各果实的采摘优先级次序Ci：
Figure FDA0003181726860000044
7.根据权利要求2所述的基于视觉选择注意机制的水果采摘顺序规划方法，其特征在于：所述SVM语义分割模型分割检测框内的果实区域，是采用特征组合
Figure FDA0003181726860000045
识别绝大部分颜色偏黄的果实；而对偏绿的果实品种，采用
Figure FDA0003181726860000046
特征组合进行分割；若极绿的果实较难通过颜色特征分割出来，则采用OTSU法提取大部分绿色区域；其中，LLab表示是Lab颜色模型的L分量。
8.根据权利要求1所述的基于视觉选择注意机制的水果采摘顺序规划方法，其特征在于：所述步骤(5)中，还可以增加果实面积和空间邻近系数两个决策要素，即在果实采摘优先级排序中，采用各果实的均显著度、中心深度值、遮挡系数、果实面积和空间邻近系数作为采摘优先级排序的5个决策要素，然后再利用TOPSIS法对果实优先级进行评价，得到更加准确的排序结果。
9.一种基于视觉选择注意机制的水果自动采摘系统，其特征在于：包括采摘机器人、末端执行器、深度相机Kinect v2和水果采摘顺序规划模块；所述水果采摘顺序规划模块中内嵌有权利要求1～8中任一项所述的基于视觉选择注意机制的水果采摘顺序规划方法。
CN202010926985.6A 2020-09-07 2020-09-07 一种基于视觉选择注意机制的水果采摘顺序规划方法 Active CN112136505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010926985.6A CN112136505B (zh) 2020-09-07 2020-09-07 一种基于视觉选择注意机制的水果采摘顺序规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010926985.6A CN112136505B (zh) 2020-09-07 2020-09-07 一种基于视觉选择注意机制的水果采摘顺序规划方法

Publications (2)

Publication Number Publication Date
CN112136505A CN112136505A (zh) 2020-12-29
CN112136505B true CN112136505B (zh) 2021-11-26

Family

ID=73889570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010926985.6A Active CN112136505B (zh) 2020-09-07 2020-09-07 一种基于视觉选择注意机制的水果采摘顺序规划方法

Country Status (1)

Country Link
CN (1) CN112136505B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723775A (zh) * 2021-01-04 2022-07-08 广州中国科学院先进技术研究所 一种基于小样本学习的机器人抓取系统及方法
CN113099848B (zh) * 2021-06-04 2022-08-02 山东农业大学 一种采摘机器人高效采放运综合平台及使用方法
CN113383642B (zh) * 2021-07-12 2022-08-05 扬州大学 一种瓜菜智能采摘方法
CN113840135B (zh) * 2021-09-03 2023-10-20 大连中科创达软件有限公司 色偏检测方法、装置、设备及存储介质
CN114179104B (zh) * 2021-12-13 2022-07-08 盐城工学院 一种基于视觉识别的采摘机器人控制方法及系统
CN114586546A (zh) * 2022-03-14 2022-06-07 西南大学 基于电子鼻与图像识别的草莓自动采摘装置及其控制方法
CN114586548B (zh) * 2022-04-08 2023-04-07 重庆邮电大学 一种虚拟远程水果采摘系统及方法
CN114846998A (zh) * 2022-05-27 2022-08-05 云南农业大学 基于YOLOv4算法的双目机器人的番茄采摘方法及系统
CN114916318B (zh) * 2022-05-30 2023-05-02 华南农业大学 一种搭载在无人机上的水果自动采收装置及其控制方法
CN115250744B (zh) * 2022-07-29 2023-09-15 四川启睿克科技有限公司 一种多角度草莓采摘系统及方法
CN116652951B (zh) * 2023-06-08 2024-04-05 广州鑫帅机电设备有限公司 一种非结构化大作业空间的机器人视觉定位方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726251A (zh) * 2009-11-13 2010-06-09 江苏大学 基于支持向量机的苹果采摘机器人果实自动识别方法
CN103310218B (zh) * 2013-05-21 2016-08-10 常州大学 一种重叠遮挡果实精确识别方法
CN103529855B (zh) * 2013-10-11 2016-04-06 华南农业大学 一种旋转可调式双目视觉的目标识别定位装置及其在农业果实采摘机械的应用
CN107633199A (zh) * 2017-08-07 2018-01-26 浙江工业大学 一种基于深度学习的苹果采摘机器人果实目标检测方法
US11074682B2 (en) * 2017-09-05 2021-07-27 Vibe Imaging Analytics System and method for automated food safety analysis, quality analysis and grading of grains
CN108271531B (zh) * 2017-12-29 2019-10-01 湖南科技大学 基于视觉识别定位的水果自动化采摘方法及装置
EP3539735A1 (en) * 2018-03-13 2019-09-18 Soluciones Robóticas Agrícolas S.L. Robotic arm end effector for fruit harvesting
CN108668637A (zh) * 2018-04-25 2018-10-19 江苏大学 一种机器视觉自然放置葡萄串抓取点定位方法
CN109409365A (zh) * 2018-10-25 2019-03-01 江苏德劭信息科技有限公司 一种基于深度目标检测的待采摘水果识别和定位方法
CN109588114B (zh) * 2018-12-20 2021-07-06 武汉科技大学 一种应用于水果采摘机器人的并行识别采摘系统及方法
CN110852186B (zh) * 2019-10-22 2023-05-23 华南农业大学 一种树上柑橘的视觉识别与采摘顺序规划方法及其仿真系统
CN111126296A (zh) * 2019-12-25 2020-05-08 中国联合网络通信集团有限公司 水果定位方法及装置
CN111052940B (zh) * 2019-12-29 2021-03-26 大国重器自动化设备(山东)股份有限公司 水果采摘机器人采摘方法
CN111602517B (zh) * 2020-05-28 2021-09-24 华南农业大学 一种串型水果分布式视觉主动感知方法及其应用

Also Published As

Publication number Publication date
CN112136505A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN112136505B (zh) 一种基于视觉选择注意机制的水果采摘顺序规划方法
CN109800824B (zh) 一种基于计算机视觉与机器学习的管道缺陷识别方法
CN105718945B (zh) 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法
CN113658132B (zh) 基于计算机视觉的结构件焊缝检测方法
Bulanon et al. Development of a real-time machine vision system for the apple harvesting robot
CN110852186B (zh) 一种树上柑橘的视觉识别与采摘顺序规划方法及其仿真系统
Tamilselvi et al. Unsupervised machine learning for clustering the infected leaves based on the leaf-colours
CN112241762A (zh) 一种用于病虫害图像分类的细粒度识别方法
Ning et al. Recognition of sweet peppers and planning the robotic picking sequence in high-density orchards
CN113674226A (zh) 一种基于深度学习的采茶机茶叶芽尖检测方法
CN111783693A (zh) 果蔬采摘机器人的智能识别方法
CN109684941A (zh) 一种基于matlab图像处理荔枝果实采摘区域划分方法
Liu et al. Development of a machine vision algorithm for recognition of peach fruit in a natural scene
CN112164030A (zh) 水稻穗粒快速检测方法、装置、计算机设备及存储介质
CN115719451A (zh) 一种软枣猕猴桃成熟度检测方法及系统
Mangaonkar et al. Fruit harvesting robot using computer vision
Wei et al. Novel green-fruit detection algorithm based on D2D framework
CN113319013A (zh) 一种基于机器视觉的苹果智能分拣的方法
CN117456358A (zh) 一种基于YOLOv5神经网络的植物病虫害检测方法
Fernandes et al. Identification and Sorting of Objects based on Shape and Colour using robotic arm
CN113524172B (zh) 机器人及其物品抓取方法、计算机可读存储介质
CN116524344A (zh) 一种基于rgb-d信息融合的番茄串采摘点检测方法
CN113128308A (zh) 一种港口场景下的行人检测方法、装置、设备及介质
CN115995017A (zh) 一种果实识别与定位方法、装置及介质
Quan et al. Selecting candidate regions of clustered tomato fruits under complex greenhouse scenes using RGB-D data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant