CN115861988B - 一种基于rgb区分度的茶叶采摘方法和系统 - Google Patents
一种基于rgb区分度的茶叶采摘方法和系统 Download PDFInfo
- Publication number
- CN115861988B CN115861988B CN202310183564.2A CN202310183564A CN115861988B CN 115861988 B CN115861988 B CN 115861988B CN 202310183564 A CN202310183564 A CN 202310183564A CN 115861988 B CN115861988 B CN 115861988B
- Authority
- CN
- China
- Prior art keywords
- tea
- cutting tool
- depth
- leaf
- grade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 241001122767 Theaceae Species 0.000 claims abstract description 400
- 238000005520 cutting process Methods 0.000 claims abstract description 235
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims abstract description 14
- 235000009024 Ceanothus sanguineus Nutrition 0.000 claims description 20
- 240000003553 Leptospermum scoparium Species 0.000 claims description 20
- 235000015459 Lycium barbarum Nutrition 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 14
- 230000004069 differentiation Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000003064 k means clustering Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 230000001174 ascending effect Effects 0.000 claims description 6
- 238000007664 blowing Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 230000012010 growth Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 4
- 230000033001 locomotion Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003306 harvesting Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002015 leaf growth Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明请求保护一种基于RGB区分度的茶叶采摘方法和系统，通过在茶叶采摘设备运行过程中，采摘茶蓬的深度信息和RGB彩色图像，基于改进的显著目标检测算法提取出当前帧的识别目标，获取叶片等级图像并计算预先选定的画幅中心和边缘区域内的实时平均深度信息作为确定切割刀具位姿信息的依据，之后确定切割刀具的实时位姿结合切割刀具的实时位姿的自适应调整策略，匹配切割刀具与茶蓬的相应位置；最终茶叶采摘设备的执行机构通过往复式刀片切割茶叶并将采摘完成的茶叶通过鼓风机吹入设备后方的茶叶收集袋中。该方案通过准确的图像识别和叶片长度粗细结合识别出不同等级的茶叶内容，达到自适应茶叶等级准确收集茶叶的效果。
Description
技术领域
本发明涉及目标识别技术及智慧农业技术领域，具体为一种基于RGB区分度的茶叶采摘方法和系统。
背景技术
随着智慧农业与深度学习的快速发展，茶叶检测识别及其机器人采摘已经成为研究热点。茶叶的精准检测识别对机器人采摘与茶园自动化管理有着重要推进意义。
茶叶采摘是茶叶生产的先决条件。传统采茶方法由于缺乏自适应引导，往往造成新叶和老叶被一刀切，茶叶质量得不到保证。机器视觉技术作为一种无损、实时、经济的检测方法，近年来已广泛应用于各个领域的目标识别与定位，该技术的兴起为茶叶选择性采摘提供了新的解决方法。本项目的核心技术之一是检测到茶蓬中新叶。然而，四川省的大宗茶采收时间主要集中在夏季与秋季，在这段时期里光照最强烈，对于仅依靠RGB相机采摘茶叶信息的方式有较大的影响。为了避免上述问题，本项目采用了Intel RealSense D435iRGB-D深度相机用于捕捉现场环境。它对于不同的室外光照条件都具有鲁棒性，其信噪比非常适合现场情况下的实地采摘工作。
由于商业茶园中茶叶种植密集，非目标采摘行茶叶会严重干扰目标采摘行内茶叶的检测，非目标采摘行茶叶是采摘机器人不可采摘目标。以往研究中从图像中检测茶叶目标，将会识别图像中所有茶叶，不区分该茶叶是否为目标行可采摘目标。但是采摘机器人将非目标采摘行的茶叶识别为采摘目标，会导致采摘机器人无法执行采摘操作发生程序故障，或采摘机器人末端执行机构与目标采摘行茶叶树发生碰撞事故。
发明内容
本发明提供了一种密植茶园目标采摘行中的茶叶智能检测识别方法，解决了现有茶叶检测识别方法错误检测非目标采摘行茶叶的问题，进而有效解决茶叶采摘机器人错误执行采摘非目标行茶叶，导致无法完成采摘故障问题，以及末端执行机构与目标采摘行茶叶树发生碰撞问题。
根据本发明第一方面，本发明请求保护一种基于RGB区分度的茶叶采摘方法，其特征在于，包括步骤：
茶叶数据获取，在茶叶采摘设备运行过程中，采用RGB-D相机采集到相机当前位置下的茶蓬的深度信息和RGB彩色图像，基于改进的显著目标检测算法提取出当前帧的识别目标，获取茶蓬的叶片等级图像；
目标识别，分别计算叶片等级图像的预先选定的画幅中心和边缘区域内的实时平均深度信息，将实时平均深度信息作为后续步骤中确定切割刀具位姿信息的依据；
仿形操作，将计算出的实时平均深度信息与茶叶采摘设备的固有参数相结合，确定切割刀具的实时位姿，基于设计的仿形逻辑，结合切割刀具的实时位姿的自适应调整策略，匹配切割刀具与茶蓬的相应位置；
茶叶采摘，根据切割刀具的位姿确定结果，茶叶采摘设备的执行机构通过往复式刀片切割茶叶，并将采摘完成的茶叶通过鼓风机吹入设备后方的茶叶收集袋中。
具体的，茶叶数据获取，在茶叶采摘设备运行过程中，采用RGB-D相机采集到相机当前位置下的茶蓬的深度信息和RGB彩色图像，基于改进的显著目标检测算法提取出当前帧的识别目标，获取茶蓬的叶片等级图像，具体包括：
基于超绿特征和最大类间方差法的新叶检测法从茶蓬图像中获取新叶的像素坐标；
其中，通过安装在采茶机切割刀具上的深度相机能实时获取茶蓬中不同等级的茶叶和背景的叶片等级图像；
当深度相机垂直拍摄茶树顶部时，茶叶密集遮挡，过滤茶叶间的黑色空洞区域返回的异常深度值和长势过高的新叶返回的过小深度值，得到茶蓬上表面新叶的平均深度信息；
使用超绿特征和最大类间方差法的新叶检测算法实现老叶和背景中的新叶分割，优化获得的新叶的平均深度信息。
具体的，目标识别，分别计算叶片等级图像的预先选定的画幅中心和边缘区域内的实时平均深度信息，将实时平均深度信息作为后续步骤中确定切割刀具位姿信息的依据，具体包括：
基于深度信息的显著目标检测算法根据各区域聚类的深度权重提取出新叶区域；
其中，基于K-means聚类算法将输入的叶片等级图像划分为K个区域聚类；
计算深度图像中区域聚类k的初始显著性值；
将中心通道先验替换为新的深度信息权重，融合初始显著值和暗通道映射，得到融合后得到的融合显著值；
在得到融合显著值后，将输出的显著目标区域的平均深度与在RGB空间内分割并获取的新叶以及对应的位置坐标结合，得到新叶的位置-深度集成信息；
在后续的切割位姿计算步骤中，位置-深度集成信息将作为初始输入信息，执行切割刀具对茶蓬的割刀自适应仿形。
具体的，仿形操作，将计算出的实时平均深度信息与茶叶采摘设备的固有参数相结合，确定切割刀具的实时位姿，基于设计的仿形逻辑，结合切割刀具的实时位姿的自适应调整策略，匹配切割刀具与茶蓬的相应位置，具体包括：
固定深度相机位置：固定深度相机与采茶设备之间的相对位置，并且获取深度相机与切割刀具之间的相对位置数据，
获取茶叶采取长度：利用深度相机获取切割刀具处茶蓬的视频帧，视频帧的数据为包括有深度信息的三维空间数据，并通过视频帧的数据计算得出切割刀具的刀刃边缘至茶蓬顶之间的距离，切割刀具的刀刃边缘至茶蓬顶之间的距离为茶叶采取长度；
调整切割刀具的位姿状态：将茶叶采取长度与预期茶叶长度相比较，对切割刀具的位置位姿状态进行调整，使茶叶采取长度满足茶叶预期长度的要求，切割刀具的位置位姿状态调整包括对切割刀具进行上升、和下降的调整。
具体的，茶叶采摘，根据切割刀具的位姿确定结果，茶叶采摘设备的执行机构通过往复式刀片切割茶叶，并将采摘完成的茶叶通过鼓风机吹入设备后方的茶叶收集袋中，具体包括：
茶叶收集袋至少包括第一收集袋、第二收集袋、第三收集袋；
等级至少包括第一等级、第二等级、第三等级；
第一收集袋用于收集第一等级的茶叶，第二收集袋用于收集第一等级的茶叶，第三收集袋用于收集第一等级的茶叶；
茶叶收集带在切割刀具未进行切割作业时均呈关闭状态；
根据切割刀具的位姿确定结果，当切割刀具采摘第一等级的茶叶且切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭第一收集袋并开启第二收集袋；
当切割刀具采摘第二等级的茶叶且切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭第二收集袋并开启第三收集袋；
当切割刀具采摘第一等级的茶叶且切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭第一收集袋；
当切割刀具采摘第二等级的茶叶且切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭第二收集袋并打开第一收集袋；
当切割刀具采摘第三等级的茶叶且切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭第三收集袋；
当切割刀具采摘第三等级的茶叶且切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭第三收集袋并开启第二收集袋。
根据本发明第二方面，本发明请求保护一种基于RGB区分度的茶叶采摘系统，其特征在于，包括：
茶叶数据获取模块，在茶叶采摘设备运行过程中，采用RGB-D相机采集到相机当前位置下的茶蓬的深度信息和RGB彩色图像，基于改进的显著目标检测算法提取出当前帧的识别目标，获取茶蓬的叶片等级图像；
目标识别模块，分别计算叶片等级图像的预先选定的画幅中心和边缘区域内的实时平均深度信息，将实时平均深度信息作为后续步骤中确定切割刀具位姿信息的依据；
仿形操作模块，将计算出的实时平均深度信息与茶叶采摘设备的固有参数相结合，确定切割刀具的实时位姿，基于设计的仿形逻辑，结合切割刀具的实时位姿的自适应调整策略，匹配切割刀具与茶蓬的相应位置；
茶叶采摘模块，根据切割刀具的位姿确定结果，茶叶采摘设备的执行机构通过往复式刀片切割茶叶，并将采摘完成的茶叶通过鼓风机吹入设备后方的茶叶收集袋中。
具体的，茶叶数据获取模块具体包括：
基于超绿特征和最大类间方差法的新叶检测法从茶蓬图像中获取新叶的像素坐标；
其中，通过安装在采茶机切割刀具上的深度相机能实时获取茶蓬中不同等级的茶叶和背景的叶片等级图像；
当深度相机垂直拍摄茶树顶部时，茶叶密集遮挡，过滤茶叶间的黑色空洞区域返回的异常深度值和长势过高的新叶返回的过小深度值，得到茶蓬上表面新叶的平均深度信息；
使用超绿特征和最大类间方差法的新叶检测算法实现老叶和背景中的新叶分割，优化获得的新叶的平均深度信息。
具体的，目标识别模块具体包括：
基于深度信息的显著目标检测算法根据各区域聚类的深度权重提取出新叶区域；
其中，基于K-means聚类算法将输入的叶片等级图像划分为K个区域聚类；
计算深度图像中区域聚类k的初始显著性值；
将中心通道先验替换为新的深度信息权重，融合初始显著值和暗通道映射，得到融合后得到的融合显著值；
在得到融合显著值后，将输出的显著目标区域的平均深度与在RGB空间内分割并获取的新叶以及对应的位置坐标结合，得到新叶的位置-深度集成信息；
在后续的切割位姿计算步骤中，位置-深度集成信息将作为初始输入信息，执行切割刀具对茶蓬的割刀自适应仿形。
具体的，仿形操作模块具体包括：
固定深度相机位置：固定深度相机与采茶设备之间的相对位置，并且获取深度相机与切割刀具之间的相对位置数据，
获取茶叶采取长度：利用深度相机获取切割刀具处茶蓬的视频帧，视频帧的数据为包括有深度信息的三维空间数据，并通过视频帧的数据计算得出切割刀具的刀刃边缘至茶蓬顶之间的距离，切割刀具的刀刃边缘至茶蓬顶之间的距离为茶叶采取长度；
调整切割刀具的位姿状态：将茶叶采取长度与预期茶叶长度相比较，对切割刀具的位置位姿状态进行调整，使茶叶采取长度满足茶叶预期长度的要求，切割刀具的位置位姿状态调整包括对切割刀具进行上升、和下降的调整。
具体的，茶叶采摘模块具体包括：
茶叶收集袋至少包括第一收集袋、第二收集袋、第三收集袋；
等级至少包括第一等级、第二等级、第三等级；
第一收集袋用于收集第一等级的茶叶，第二收集袋用于收集第一等级的茶叶，第三收集袋用于收集第一等级的茶叶；
茶叶收集带在切割刀具未进行切割作业时均呈关闭状态；
根据切割刀具的位姿确定结果，当切割刀具采摘第一等级的茶叶且切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭第一收集袋并开启第二收集袋；
当切割刀具采摘第二等级的茶叶且切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭第二收集袋并开启第三收集袋；
当切割刀具采摘第一等级的茶叶且切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭第一收集袋；
当切割刀具采摘第二等级的茶叶且切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭第二收集袋并打开第一收集袋；
当切割刀具采摘第三等级的茶叶且切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭第三收集袋；
当切割刀具采摘第三等级的茶叶且切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭第三收集袋并开启第二收集袋。
本发明请求保护一种基于RGB区分度的茶叶采摘方法和系统，通过在茶叶采摘设备运行过程中，采摘茶蓬的深度信息和RGB彩色图像，基于改进的显著目标检测算法提取出当前帧的识别目标，获取叶片等级图像并计算预先选定的画幅中心和边缘区域内的实时平均深度信息作为确定切割刀具位姿信息的依据，之后确定切割刀具的实时位姿结合切割刀具的实时位姿的自适应调整策略，匹配切割刀具与茶蓬的相应位置；最终茶叶采摘设备的执行机构通过往复式刀片切割茶叶并将采摘完成的茶叶通过鼓风机吹入设备后方的茶叶收集袋中。该方案通过准确的图像识别和叶片长度粗细结合识别出不同等级的茶叶内容，达到自适应茶叶等级准确收集茶叶的效果。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1是本发明所涉及的一种基于RGB区分度的茶叶采摘方法的工作流程图；
图2是本发明所涉及的采茶设备的原型示意图；
图3为本发明所涉及的采茶设备的系统硬件示意图；
图4是本发明所涉及的一种基于RGB区分度的茶叶采摘方法的新叶检测算法流程图；
图5是本发明所涉及的一种基于RGB区分度的茶叶采摘方法的RGB图像的新叶检测示意图；
图6是本发明所涉及的一种基于RGB区分度的茶叶采摘方法的不同分量下新叶和老叶的灰度直方图；
图7是本发明所涉及的一种基于RGB嫩芽图像分割过程示意图；
图8是本发明所涉及的一种基于RGB区分度的茶叶采摘方法的基于深度信息的新叶检测算法流程图；
图9是本发明所涉及的一种基于RGB区分度的茶叶采摘系统的结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
根据本发明第一实施例，参照附图1，本发明请求保护一种基于RGB区分度的茶叶采摘方法，其特征在于，包括步骤：
茶叶数据获取，在茶叶采摘设备运行过程中，采用RGB-D相机采集到相机当前位置下的茶蓬的深度信息和RGB彩色图像，基于改进的显著目标检测算法提取出当前帧的识别目标，获取茶蓬的叶片等级图像；
目标识别，分别计算叶片等级图像的预先选定的画幅中心和边缘区域内的实时平均深度信息，将实时平均深度信息作为后续步骤中确定切割刀具位姿信息的依据；
仿形操作，将计算出的实时平均深度信息与茶叶采摘设备的固有参数相结合，确定切割刀具的实时位姿，基于设计的仿形逻辑，结合切割刀具的实时位姿的自适应调整策略，匹配切割刀具与茶蓬的相应位置；
茶叶采摘，根据切割刀具的位姿确定结果，茶叶采摘设备的执行机构通过往复式刀片切割茶叶，并将采摘完成的茶叶通过鼓风机吹入设备后方的茶叶收集袋中。
在该实施例中，采茶设备为基于深度感知的割刀自适应仿形自走式采茶机，其原型样机如图2所示。
整机主要由视觉感知模块和仿形执行模块组成。其中，视觉感知模块以英特尔RealSense RGB-D深度相机作为主传感器，包括一台带有专业图像处理算法的工业级控制计算机、一个用于人机交互的触摸显示屏以及用于操作执行机构的控制硬件组合。仿形执行模块则主要包括一个2自由度的操纵器和一个多电机联动控制结构。图3显示了本实施例所使用的硬件组成，并展示了组件之间的连接关关系。
参照附图3，控制器⑤的输出信息可以通过范围从0到500kHz变化的变频脉冲信号进行调整。脉冲信号由工控机②内部的微控制器产生，利用Windows系统提供的接口，可建立工控机②与控制器⑤之间的双向串行通信。而控制器⑤通过选择不同接口的电流输送控制继电器④内部触点的吸合与释放，从而控制直流电机⑦的正转与反转。
为了实现闭环控制，自走式采茶机系统必须获取丝杆步进电机⑨的滑块的实时位置反馈。然而该位置信息并不能直接通过步进电机⑨的外围I/O端口进行访问，因此我们引入了一种额外的传感方案。具体来说，步进电机⑨的通信协议给定了电机的导程参数，因此选择合适的电机转速，通过计算脉冲发送时间，即可推导出滑块的实时位置信息。基于该理论，,采用DM542微型步进驱动器⑥作为步进电机⑨运行的控制器。控制器⑤通过RS-232接口与驱动器⑥连接，可提供稳定且精确的信号传输。
整机的仿形执行模块包括直流电机⑦、步进电机⑨和切割刀具⑧等机械结构。切割刀具⑧的位姿调整操作主要通过刀具旋转和刀具升降这两个功能模块实现。刀具的旋转由丝杆联动的57/100-1605步进电机⑨驱动，其最大速度为3000RPM，峰值扭矩为3.1Nm。步进电机⑨的速度与转向可以通过范围从0到400kHz的脉冲信号进行调整，该脉冲信号由ECI1200控制器⑤产生。而刀具的升降则依赖于直流减速电机⑦，它的最大转速为60r/min，峰值扭矩为192kg.cm。
整机系统利用直流电机⑦和步进电机⑨分别驱动各自的丝杆滑块机构使刀具能进行大幅度的高度与角度的联动调节。具体来说，若控制器⑤发送脉冲信号使步进电机⑨正转，则可通过滚珠丝杠带动切割刀具⑧绕着设备的旋转运动轴向上旋转；而当控制器⑤使步进电机⑨反转时，切割刀具⑧则沿着轴心向下旋转。同时，控制器⑤也能通过控制不同继电器④的闭合与断开，使直流电机⑦正转或反转，从而带动切割刀具⑧所在的升降台沿着线性运动导轨上升或下降。
在茶叶采摘的作业过程中，工控机内置的图像处理算法利用RGB-D深度相机①获取的RGB图像和深度信息提取出茶蓬中的新叶的实时深度信息，并基于该深度信息判断切割刀具⑧的实时位姿调整指令。编码器将该指令转换为特定的脉冲信号，并通过双向串行通信端口向控制器⑤传输。控制器⑤将信号发送给步进驱动器⑥与继电器④，分别控制步进电机⑨与直流电机⑦的运行情况。利用双电机组的联动调节，使切割刀具⑧能与对应的茶蓬切割位置拟合。
在该实施例中，RealSense D435i是一款立体视觉深度相机，包括一个彩色相机（RGB传感器）、一个红外激光发射器（IR Projector）、一对立体红外传感器（IR StereoCamera）。所使用的深度测量原理是基于光学三角测量法的3D结构光技术：通过红外激光发射器，将具有一定结构特征的光线投射到被拍摄物体上，再由红外传感器进行采摘。这种具备一定结构特征的光线会对被拍摄物体不同的深度区域采摘不同的图像相位信息，然后通过运算单元将这种结构的变化换算成深度信息，以此来获得三维结构。该相机深度感知距离在0.1~10m之间，视场角度为8558度，可以30帧/秒拍摄分辨率为19201080的彩色图像，以最高90帧/秒拍摄分辨率高达1280720的深度图像。
具体的，茶叶数据获取，在茶叶采摘设备运行过程中，采用RGB-D相机采集到相机当前位置下的茶蓬的深度信息和RGB彩色图像，基于改进的显著目标检测算法提取出当前帧的识别目标，获取茶蓬的叶片等级图像，具体包括：
基于超绿特征和最大类间方差法的新叶检测法从茶蓬图像中获取新叶的像素坐标；
其中，通过安装在采茶机切割刀具上的深度相机能实时获取茶蓬中不同等级的茶叶和背景的叶片等级图像；
当深度相机垂直拍摄茶树顶部时，茶叶密集遮挡，过滤茶叶间的黑色空洞区域返回的异常深度值和长势过高的新叶返回的过小深度值，得到茶蓬上表面新叶的平均深度信息；
使用超绿特征和最大类间方差法的新叶检测算法实现老叶和背景中的新叶分割，优化获得的新叶的平均深度信息。
在该实施例中，为保证对大宗茶新叶的精确切割，需进行茶新叶识别来消除老叶、背景的影响。因此，项目分别引入了基于RGB图像和深度信息的新叶检测算法，如图4所示。其中，基于超绿特征和最大类间方差法的新叶检测法用于从茶蓬图像中获取新叶的像素坐标，基于深度信息的显著目标检测算法可以根据各区域聚类的深度权重提取出新叶区域。
为保证新叶切割的准确性，需从茶蓬图像中分割出新叶。参照图5中的（a）和（b），首先通过安装在采茶机割刀上的深度相机能实时获取茶蓬中新叶、老叶和背景的RGB图像。当深度相机垂直拍摄茶树顶部时，茶叶密集遮挡；在深度图像中有两种深度数据需要过滤：茶叶间的黑色空洞区域返回的异常深度值；长势过高的新叶返回的过小深度值。在过滤深度值后，可以初步得到茶蓬上表面新叶的平均深度信息。使用超绿特征（super-green）和最大类间方差法（Otsu）的新叶检测算法实现老叶和背景中的新叶分割，从而更准确地获得新叶深度均值。
深度相机拍摄的彩色图像可以灰度化，其灰度图像的像素点梯度将用于新叶检测。在转换过程中，需要对图像的显著区域进行调整，使新叶图像更为突出，抑制老叶、阴影、枯草、土壤图像，以减少新叶以外的图像区域的干扰。通过对茶蓬RGB图像通道的分离，发现新叶和老叶之间的R和G分量的灰度值存在明显的差异。图6的（a）和（b）分别展示了新叶和老叶的R分量和G分量的灰度直方图。可见，新叶的R和G分量的灰度值大于老叶。
绿色在图像中有以下特征：对于同一像素点的R、G和B分量，总会有G大于R和B。结合上述特点，增加茶蓬图像中R和G分量的灰度值可以突出新叶在RGB色彩空间中的显著性，产生超绿特征。通过对茶蓬图像样本进行实验，发现在分量下灰度图的新叶显著性优于其他分量（、、）
以D435i深度相机拍摄的茶蓬图像为例演示新叶分割过程。图7中的a和b分别显示了茶叶样本图像和超绿特征灰度化的图像。图7中的e显示了超绿特征灰度图像的灰度直方图中存在明显的波峰和波谷，这代表了新叶和背景的灰度特征之间的差异。因此，可以采用阈值分割方法对新叶和老叶进行分割，分割的结果主要取决于阈值的大小。考虑到实时性和简化性，选择最大类间方差法自动确定每张茶蓬灰度图像的分割阈值。阈值确定后，对灰度图像进行二值化处理，新叶分割工作基本完成（见图7中的c）。在分割结果中，仍有受光照影响被错误保留的异常值，该游离区域可以通过形态学腐蚀操作去除并获取保留区域的像素坐标（见图7中的d）
至此，已成功将大部分新叶从茶蓬RGB图像中分割出来。为保证识别的准确性，还需根据茶蓬的深度图像进行二次处理，并与分割结果相结合，以获取更精确的新叶切割深度值。
具体的，目标识别，分别计算叶片等级图像的预先选定的画幅中心和边缘区域内的实时平均深度信息，将实时平均深度信息作为后续步骤中确定切割刀具位姿信息的依据，具体包括：
基于深度信息的显著目标检测算法根据各区域聚类的深度权重提取出新叶区域；
其中，基于K-means聚类算法将输入的叶片等级图像划分为K个区域聚类；
计算深度图像中区域聚类k的初始显著性值；
将中心通道先验替换为新的深度信息权重，融合初始显著值和暗通道映射，得到融合后得到的融合显著值；
在得到融合显著值后，将输出的显著目标区域的平均深度与在RGB空间内分割并获取的新叶以及对应的位置坐标结合，得到新叶的位置-深度集成信息；
在后续的切割位姿计算步骤中，位置-深度集成信息将作为初始输入信息，执行切割刀具对茶蓬的割刀自适应仿形。
在该实施例中，为了实现茶叶采摘的高效性和鲁棒性，同时引入了基于深度信息的显著目标检测算法。由于茶叶的深度信息是直接影响机具在行走过程中的割刀自适应调节，通过添加新的特征抑制端优化使新叶检测结果更加精确。
参照附图8，基于K-means聚类算法将输入的RGB图像划分为K个区域聚类。结合每个区域聚类内部像素在对应的深度图像中的平均深度，该图像的区域深度显著值将被计算为：
（2）
其中，为图像中区域k的深度显著值，是在深度空间内区域k和区域i之间的平均欧氏距离，表示区域k的平均深度值与整个图像的深度值的比值。为了进一步突出不同区域聚类之间的深度差异，本项目为深度图像内对应的各区域分配了深度权重：
（3）
其中，是为区域k分配的深度权重，表示高斯归一化，代表整个深度图像内所有像素对应的深度值中的最大值，是区域k中的像素的平均深度值，是深度固定值，设置为
（4）
其中，代表整个深度图像内所有像素对应的深度值中的最小值。综合上述参数，计算深度图像中区域聚类k的初始显著性值：
（5）
本算法对中心-暗通道先验理论进行了优化,具体表现为将中心通道先验替换为新的深度信息权重。本项目将改动应用于显著目标检测算法，并将改进后的暗通道映射表示为。在式(2)和式(3)的基础上，进一步将初始显著值和暗通道映射融合为：
（6）
其中表示融合后得到的融合显著值。
在得到检测结果后，方案通过将输出的显著目标区域的平均深度与上一小节中在RGB空间内分割并获取的新叶以及对应的位置坐标结合，最终得到新叶的位置-深度集成信息。在后续的切割位姿计算步骤中，该集成信息将作为初始输入信息，并在此基础上实现刀具对茶蓬的割刀自适应仿形。
具体的，仿形操作，将计算出的实时平均深度信息与茶叶采摘设备的固有参数相结合，确定切割刀具的实时位姿，基于设计的仿形逻辑，结合切割刀具的实时位姿的自适应调整策略，匹配切割刀具与茶蓬的相应位置，具体包括：
固定深度相机位置：固定深度相机与采茶设备之间的相对位置，并且获取深度相机与切割刀具之间的相对位置数据，
获取茶叶采取长度：利用深度相机获取切割刀具处茶蓬的视频帧，视频帧的数据为包括有深度信息的三维空间数据，并通过视频帧的数据计算得出切割刀具的刀刃边缘至茶蓬顶之间的距离，切割刀具的刀刃边缘至茶蓬顶之间的距离为茶叶采取长度；
调整切割刀具的位姿状态：将茶叶采取长度与预期茶叶长度相比较，对切割刀具的位置位姿状态进行调整，使茶叶采取长度满足茶叶预期长度的要求，切割刀具的位置位姿状态调整包括对切割刀具进行上升、和下降的调整。
在本实施例中，对于采茶机来说，割刀需要随着机具的行走和茶蓬的变化灵活调整并保证切割位置的合理性。通过机器视觉进行茶叶采摘的自适应割刀仿形方法类似于机械手抓取物体，需要计算切割位姿并将割刀移动到茶蓬的新叶层。
当采茶机在茶行之间运行时，茶蓬在采茶机的左侧，茶树上表面在深度相机的正下方。茶蓬和割刀都是对称弧形，因此割刀的位姿可以通过茶树上表面和深度相机之间的垂直距离（和）来计算。对于垂直距离，由于仅使用单个像素点的深度值计算切割位姿可能会带来误差，所以取图像中两个固定范围内的新叶像素点的深度均值来分别计算和的值。理想的切割位姿是割刀与茶蓬上表面相吻合，并位于其下方一定距离处，这样采收的嫩芽才会有理想的长度。因此，切割位姿可由茶蓬相对于割刀的二维位姿来配置。是使图像中部区域的新叶满足理想切割长度所需的割刀高度调整值。是使图像左侧区域的新叶满足理想切割长度所需的割刀角度调整值。
割刀切割位姿计算的最终目的是找到与之间的关系，这决定了和的值。若和之间的差值超过嫩芽切割的理想长度，则认为当前割刀的高度偏离了理想切割位姿，需要改变割刀的高度。当和之间的差值过大时，割刀与茶蓬不吻合，需要调整割刀在竖直平面内的角度，使割刀切下的茶蓬两侧茶芽尽可能地符合要求。深度相机被安装在割刀上并随其移动，以实时获取茶蓬RGB-D数据，这意味着相机与割刀的相对位置（和）是固定的且已知的。
割刀的运动可分为十种类型：超出范围、上升、无操作、向上旋转等。对于每种类型的运动，和对应的取值范围可根据实际因素定制，如茶蓬的高度和宽度、割刀的结构参数等。当，时，与和相比，割刀位于茶蓬下方，没有明显的角度偏差。因此，割刀需要上升来满足所需的新叶切割长度，即。当，时，由于地形崎岖或新叶长势变化的影响，割刀低于茶蓬新叶层且有一定的歪斜，割刀在中间和右侧区域切割的新叶太长，在左边区域切割的新叶太短。割刀需要向上移动和向下旋转，以达到理想的切割位姿。
当割刀需要改变位姿时，应计算出和的值，以向电机发送控制指令。
是当前状态下茶蓬和割刀之间的垂直距离，其计算式为:
(7)
其中是新叶层的理想长度。是割刀需要旋转的角度，使得在割刀两侧区域切割出的新叶符合要求。的计算式为：
(8)
其中可以人为地测量。一根连杆套在步进电机的丝杆上，连杆的另一端固定在割刀的中部。随着步进电机与连杆的线性运动，发生变化，导致割刀角度的变化。在每次采茶前会通过控制卡设置并记录零点位置，这意味着步进电机与割刀中部的距离可以被实时记录和读取。是用来固定割刀和步进电机支架的固定距离。那么割刀旋转角对应步进电机伸缩的距离可由余弦定理得出：
(9)
其中。
通过深度相机实时拍摄茶蓬RGB-D图像，经图像处理后减少老叶和背景的影响，得到图像中两固定区域的新叶深度均值和用于切割位姿的计算，保证切割的准确。对于每一张图像，判断割刀的运动类型并计算割刀高度和角度的调整值，由工控机向控制卡发出指令，控制步进电机和直流电机运转。采茶机在行走过程中，深度相机以30帧/秒的帧率获取茶蓬图像，每帧图像都将判断并计算割刀的运动，随着切割位姿的实时调整，实现割刀自适应调节高度和角度。
其中，在该实施例中，根据茶蓬的高度，茶蓬的切割刀具所在高度、茶叶长度确定茶叶的第二等级和第三等级；第一等级为新叶，参照之前的技术方案通过图像识别准确获取。这是由于新叶的价值要高于壮叶、老叶的价值，也需要更准确、成本更高的图像识别技术进行，而对于价值相对较低的壮叶和老叶，可采用具体叶片所在茶蓬的高度和长度来判定。
当切割刀具所在高度在茶蓬的高度的第一比例以下并且茶叶长度大于第一长度，认定茶叶为第三等级；
当切割刀具所在高度在茶蓬的高度的第二比例以下且大于第一比例并且茶叶长度大于第二长度小于第一长度，认定茶叶为第二等级；
具体的，第一比例、第二比例、第一长度、第二长度根据不同茶叶类型、不同茶蓬类型进行设置；
具体的，茶叶采摘，根据切割刀具的位姿确定结果，茶叶采摘设备的执行机构通过往复式刀片切割茶叶，并将采摘完成的茶叶通过鼓风机吹入设备后方的茶叶收集袋中，具体包括：
茶叶收集袋至少包括第一收集袋、第二收集袋、第三收集袋；
等级至少包括第一等级、第二等级、第三等级；
第一收集袋用于收集第一等级的茶叶，第二收集袋用于收集第一等级的茶叶，第三收集袋用于收集第一等级的茶叶；
茶叶收集带在切割刀具未进行切割作业时均呈关闭状态；
根据切割刀具的位姿确定结果，当切割刀具采摘第一等级的茶叶且切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭第一收集袋并开启第二收集袋；
当切割刀具采摘第二等级的茶叶且切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭第二收集袋并开启第三收集袋；
当切割刀具采摘第一等级的茶叶且切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭第一收集袋；
当切割刀具采摘第二等级的茶叶且切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭第二收集袋并打开第一收集袋；
当切割刀具采摘第三等级的茶叶且切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭第三收集袋；
当切割刀具采摘第三等级的茶叶且切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭第三收集袋并开启第二收集袋。
具体的，基于茶蓬的高度，茶蓬的切割刀具所在高度、茶叶长度确定茶叶的第二等级和第三等级以及图像识别确定的第一等级，在确定完切割刀具的位姿确定结果后，对于茶蓬中，一般从上至下为第一等级、第二等级、第三等级；该方案通过确定完切割刀具的位姿确定结果向上还是向下，进行粗等级划分，之后通过茶蓬的切割刀具所在高度、茶叶长度确定茶叶的第二等级和第三等级进行细等级划分，将在理应属于第二等级或第三等级但不属于该类型等级的茶叶剔除出去，达到更准确的收集茶叶的效果。
根据本发明第二实施例，参照附图9，本发明请求保护一种基于RGB区分度的茶叶采摘系统，其特征在于，包括：
茶叶数据获取模块，在茶叶采摘设备运行过程中，采用RGB-D相机采集到相机当前位置下的茶蓬的深度信息和RGB彩色图像，基于改进的显著目标检测算法提取出当前帧的识别目标，获取茶蓬的叶片等级图像；
目标识别模块，分别计算叶片等级图像的预先选定的画幅中心和边缘区域内的实时平均深度信息，将实时平均深度信息作为后续步骤中确定切割刀具位姿信息的依据；
仿形操作模块，将计算出的实时平均深度信息与茶叶采摘设备的固有参数相结合，确定切割刀具的实时位姿，基于设计的仿形逻辑，结合切割刀具的实时位姿的自适应调整策略，匹配切割刀具与茶蓬的相应位置；
茶叶采摘模块，根据切割刀具的位姿确定结果，茶叶采摘设备的执行机构通过往复式刀片切割茶叶，并将采摘完成的茶叶通过鼓风机吹入设备后方的茶叶收集袋中。
具体的，茶叶数据获取模块具体包括：
基于超绿特征和最大类间方差法的新叶检测法从茶蓬图像中获取新叶的像素坐标；
其中，通过安装在采茶机切割刀具上的深度相机能实时获取茶蓬中不同等级的茶叶和背景的叶片等级图像；
当深度相机垂直拍摄茶树顶部时，茶叶密集遮挡，过滤茶叶间的黑色空洞区域返回的异常深度值和长势过高的新叶返回的过小深度值，得到茶蓬上表面新叶的平均深度信息；
使用超绿特征和最大类间方差法的新叶检测算法实现老叶和背景中的新叶分割，优化获得的新叶的平均深度信息。
具体的，目标识别模块具体包括：
基于深度信息的显著目标检测算法根据各区域聚类的深度权重提取出新叶区域；
其中，基于K-means聚类算法将输入的叶片等级图像划分为K个区域聚类；
计算深度图像中区域聚类k的初始显著性值；
将中心通道先验替换为新的深度信息权重，融合初始显著值和暗通道映射，得到融合后得到的融合显著值；
在得到融合显著值后，将输出的显著目标区域的平均深度与在RGB空间内分割并获取的新叶以及对应的位置坐标结合，得到新叶的位置-深度集成信息；
在后续的切割位姿计算步骤中，位置-深度集成信息将作为初始输入信息，执行切割刀具对茶蓬的割刀自适应仿形。
具体的，仿形操作模块具体包括：
固定深度相机位置：固定深度相机与采茶设备之间的相对位置，并且获取深度相机与切割刀具之间的相对位置数据，
获取茶叶采取长度：利用深度相机获取切割刀具处茶蓬的视频帧，视频帧的数据为包括有深度信息的三维空间数据，并通过视频帧的数据计算得出切割刀具的刀刃边缘至茶蓬顶之间的距离，切割刀具的刀刃边缘至茶蓬顶之间的距离为茶叶采取长度；
调整切割刀具的位姿状态：将茶叶采取长度与预期茶叶长度相比较，对切割刀具的位置位姿状态进行调整，使茶叶采取长度满足茶叶预期长度的要求，切割刀具的位置位姿状态调整包括对切割刀具进行上升、和下降的调整。
具体的，茶叶采摘模块具体包括：
茶叶收集袋至少包括第一收集袋、第二收集袋、第三收集袋；
等级至少包括第一等级、第二等级、第三等级；
第一收集袋用于收集第一等级的茶叶，第二收集袋用于收集第一等级的茶叶，第三收集袋用于收集第一等级的茶叶；
茶叶收集带在切割刀具未进行切割作业时均呈关闭状态；
根据切割刀具的位姿确定结果，当切割刀具采摘第一等级的茶叶且切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭第一收集袋并开启第二收集袋；
当切割刀具采摘第二等级的茶叶且切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭第二收集袋并开启第三收集袋；
当切割刀具采摘第一等级的茶叶且切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭第一收集袋；
当切割刀具采摘第二等级的茶叶且切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭第二收集袋并打开第一收集袋；
当切割刀具采摘第三等级的茶叶且切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭第三收集袋；
当切割刀具采摘第三等级的茶叶且切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭第三收集袋并开启第二收集袋。
本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过计算机程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义，这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (4)
1.一种基于RGB区分度的茶叶采摘方法，其特征在于，包括步骤：
茶叶数据获取，在茶叶采摘设备运行过程中，采用RGB-D相机采摘到相机当前位置下的茶蓬的深度信息和RGB彩色图像，提取出当前帧的识别目标，获取所述茶蓬的叶片等级图像；
所述在茶叶采摘设备运行过程中，采用 RGB-D相机采摘到相机当前位置下的茶蓬的深度信息和 RGB彩色图像，提取出当前帧的识别目标，获取茶蓬的叶片等级图像，具体包括：
基于超绿特征和最大类间方差法的新叶检测法从茶蓬图像中获取新叶的像素坐标；
通过安装在采茶机切割刀具上的深度相机实时获取茶蓬中不同等级的茶叶和背景的叶片等级图像；当深度相机垂直拍摄茶树顶部时，茶叶密集遮挡，过滤茶叶间的黑色空洞区域返回的异常深度值和长势过高的新叶返回的过小深度值，得到茶蓬上表面新叶的平均深度信息；
使用超绿特征和最大类间方差法的新叶检测算法实现老叶和背景中的新叶分割，优化获得的新叶的平均深度信息；
目标识别，确定后续步骤中切割刀具位姿信息的依据；
所述目标识别，确定后续步骤中切割刀具位姿信息的依据，具体包括：
基于 K-means聚类算法将输入的叶片等级图像划分为 K个区域聚类；
计算深度图像中区域聚类 k的初始显著性值；
将中心通道先验替换为新的深度信息权重，融合初始显著值和暗通道映射，得到融合后得到的融合显著值；
在得到融合显著值后，将输出的显著目标区域的平均深度与在 RGB空间内分割并获取的新叶以及对应的位置坐标结合，得到新叶的位置-深度集成信息；
在后续的切割位姿计算步骤中，位置-深度集成信息将作为初始输入信息，执行切割刀具对茶蓬的割刀自适应仿形；
其中，基于K-means聚类算法将输入的RGB图像划分为K个区域聚类；
结合每个区域聚类内部像素在对应的深度图像中的平均深度，区域深度显著值被计算为：
其中，为图像中区域k的深度显著值，是在深度空间内区域k和区域i之间的平均欧氏距离，表示区域k的平均深度值与整个图像的深度值的比值；
为深度图像内对应的各区域分配深度权重：
其中，是为区域k分配的深度权重，表示高斯归一化，代表整个深度图像内所有像素对应的深度值中的最大值，是区域k中的像素的平均深度值，是深度固定值；
综合计算深度图像中区域聚类k的初始显著性值：
对中心-暗通道先验理论进行优化,将中心通道先验替换为新的深度信息权重，并将改进后的暗通道映射表示为，进一步将初始显著值和暗通道映射融合为：
其中表示融合后得到的融合显著值；
仿形操作，将计算出的所述位置-深度集成信息与所述茶叶采摘设备的固有参数相结合，确定所述切割刀具的实时位姿，基于设计的仿形逻辑，结合所述切割刀具的实时位姿的自适应调整策略，匹配所述切割刀具与所述茶蓬的相应位置；
所述仿形操作，将计算出的位置-深度集成信息与茶叶采摘设备的固有参数相结合，确定切割刀具的实时位姿，基于设计的仿形逻辑，结合切割刀具的实时位姿的自适应调整策略，匹配切割刀具与茶蓬的相应位置，具体包括：
固定深度相机位置：固定深度相机与采茶设备之间的相对位置，并且获取深度相机与切割刀具之间的相对位置数据；
获取茶叶采取长度：利用深度相机获取切割刀具处茶蓬的视频帧，视频帧的数据为包括有深度信息的三维空间数据，并通过视频帧的数据计算得出切割刀具的刀刃边缘至茶蓬顶之间的距离，切割刀具的刀刃边缘至茶蓬顶之间的距离为茶叶采取长度；
调整切割刀具的位姿状态：将茶叶采取长度与预期茶叶长度相比较，对切割刀具的位置位姿状态进行调整，使茶叶采取长度满足茶叶预期长度的要求，切割刀具的位置位姿状态调整包括对切割刀具进行上升、和下降的调整；
茶叶采摘，根据所述切割刀具的位姿确定结果，所述茶叶采摘设备的执行机构通过往复式刀片切割茶叶，并将采摘完成的茶叶通过鼓风机吹入设备后方的茶叶收集袋中。
2.如权利要求1所述的一种基于RGB区分度的茶叶采摘方法，其特征在于，所述茶叶采摘，根据所述切割刀具的位姿确定结果，所述茶叶采摘设备的执行机构通过往复式刀片切割茶叶，并将采摘完成的茶叶通过鼓风机吹入设备后方的茶叶收集袋中，具体包括：
所述茶叶收集袋至少包括第一收集袋、第二收集袋、第三收集袋；
所述等级至少包括第一等级、第二等级、第三等级；
根据茶蓬的高度，茶蓬的切割刀具所在高度、茶叶长度确定茶叶的第二等级和第三等级；第一等级为新叶；
当切割刀具所在高度在茶蓬的高度的第一比例以下并且茶叶长度大于第一长度，认定茶叶为第三等级；
当切割刀具所在高度在茶蓬的高度的第二比例以下且大于第一比例并且茶叶长度大于第二长度小于第一长度，认定茶叶为第二等级；
所述第一收集袋用于收集第一等级的茶叶，所述第二收集袋用于收集第一等级的茶叶，所述第三收集袋用于收集第一等级的茶叶；
所述茶叶收集带在所述切割刀具未进行切割作业时均呈关闭状态；
根据所述切割刀具的位姿确定结果，当所述切割刀具采摘第一等级的茶叶且所述切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭所述第一收集袋并开启所述第二收集袋；
当所述切割刀具采摘第二等级的茶叶且所述切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭所述第二收集袋并开启所述第三收集袋；
当所述切割刀具采摘第一等级的茶叶且所述切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭所述第一收集袋；
当所述切割刀具采摘第二等级的茶叶且所述切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭所述第二收集袋并打开所述第一收集袋；
当所述切割刀具采摘第三等级的茶叶且所述切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭所述第三收集袋；
当所述切割刀具采摘第三等级的茶叶且所述切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭所述第三收集袋并开启所述第二收集袋。
3.一种基于RGB区分度的茶叶采摘系统，其特征在于，包括：
茶叶数据获取模块，在茶叶采摘设备运行过程中，采用RGB-D相机采摘到相机当前位置下的茶蓬的深度信息和RGB彩色图像，提取出当前帧的识别目标，获取所述茶蓬的叶片等级图像；
所述在茶叶采摘设备运行过程中，采用 RGB-D相机采摘到相机当前位置下的茶蓬的深度信息和 RGB彩色图像，提取出当前帧的识别目标，获取茶蓬的叶片等级图像，具体包括：
基于超绿特征和最大类间方差法的新叶检测法从茶蓬图像中获取新叶的像素坐标；
通过安装在采茶机切割刀具上的深度相机实时获取茶蓬中不同等级的茶叶和背景的叶片等级图像；当深度相机垂直拍摄茶树顶部时，茶叶密集遮挡，过滤茶叶间的黑色空洞区域返回的异常深度值和长势过高的新叶返回的过小深度值，得到茶蓬上表面新叶的平均深度信息；
使用超绿特征和最大类间方差法的新叶检测算法实现老叶和背景中的新叶分割，优化获得的新叶的平均深度信息；
目标识别模块，确定后续步骤中切割刀具位姿信息的依据；
所述目标识别，确定后续步骤中切割刀具位姿信息的依据，具体包括：
基于 K-means聚类算法将输入的叶片等级图像划分为 K个区域聚类；
计算深度图像中区域聚类 k的初始显著性值；
将中心通道先验替换为新的深度信息权重，融合初始显著值和暗通道映射，得到融合后得到的融合显著值；
在得到融合显著值后，将输出的显著目标区域的平均深度与在 RGB空间内分割并获取的新叶以及对应的位置坐标结合，得到新叶的位置-深度集成信息；
在后续的切割位姿计算步骤中，位置-深度集成信息将作为初始输入信息，执行切割刀具对茶蓬的割刀自适应仿形；
其中，基于K-means聚类算法将输入的RGB图像划分为K个区域聚类；
结合每个区域聚类内部像素在对应的深度图像中的平均深度，区域深度显著值被计算为：
其中，为图像中区域k的深度显著值，是在深度空间内区域k和区域i之间的平均欧氏距离，表示区域k的平均深度值与整个图像的深度值的比值；
为深度图像内对应的各区域分配深度权重：
其中，是为区域k分配的深度权重，表示高斯归一化，代表整个深度图像内所有像素对应的深度值中的最大值，是区域k中的像素的平均深度值，是深度固定值；
综合计算深度图像中区域聚类k的初始显著性值：
对中心-暗通道先验理论进行优化,将中心通道先验替换为新的深度信息权重，并将改进后的暗通道映射表示为，进一步将初始显著值和暗通道映射融合为：
其中表示融合后得到的融合显著值；
仿形操作模块，将计算出的所述位置-深度集成信息与所述茶叶采摘设备的固有参数相结合，确定所述切割刀具的实时位姿，基于设计的仿形逻辑，结合所述切割刀具的实时位姿的自适应调整策略，匹配所述切割刀具与所述茶蓬的相应位置；
所述仿形操作，将计算出的位置-深度集成信息与茶叶采摘设备的固有参数相结合，确定切割刀具的实时位姿，基于设计的仿形逻辑，结合切割刀具的实时位姿的自适应调整策略，匹配切割刀具与茶蓬的相应位置，具体包括：
固定深度相机位置：固定深度相机与采茶设备之间的相对位置，并且获取深度相机与切割刀具之间的相对位置数据；
获取茶叶采取长度：利用深度相机获取切割刀具处茶蓬的视频帧，视频帧的数据为包括有深度信息的三维空间数据，并通过视频帧的数据计算得出切割刀具的刀刃边缘至茶蓬顶之间的距离，切割刀具的刀刃边缘至茶蓬顶之间的距离为茶叶采取长度；
调整切割刀具的位姿状态：将茶叶采取长度与预期茶叶长度相比较，对切割刀具的位置位姿状态进行调整，使茶叶采取长度满足茶叶预期长度的要求，切割刀具的位置位姿状态调整包括对切割刀具进行上升、和下降的调整；
茶叶采摘模块，根据所述切割刀具的位姿确定结果，所述茶叶采摘设备的执行机构通过往复式刀片切割茶叶，并将采摘完成的茶叶通过鼓风机吹入设备后方的茶叶收集袋中。
4.如权利要求3所述的一种基于RGB区分度的茶叶采摘系统，其特征在于，所述茶叶采摘模块具体包括：
所述茶叶收集袋至少包括第一收集袋、第二收集袋、第三收集袋；
所述等级至少包括第一等级、第二等级、第三等级；
根据茶蓬的高度，茶蓬的切割刀具所在高度、茶叶长度确定茶叶的第二等级和第三等级；第一等级为新叶；
当切割刀具所在高度在茶蓬的高度的第一比例以下并且茶叶长度大于第一长度，认定茶叶为第三等级；
当切割刀具所在高度在茶蓬的高度的第二比例以下且大于第一比例并且茶叶长度大于第二长度小于第一长度，认定茶叶为第二等级；
所述第一收集袋用于收集第一等级的茶叶，所述第二收集袋用于收集第一等级的茶叶，所述第三收集袋用于收集第一等级的茶叶；
所述茶叶收集带在所述切割刀具未进行切割作业时均呈关闭状态；
根据所述切割刀具的位姿确定结果，当所述切割刀具采摘第一等级的茶叶且所述切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭所述第一收集袋并开启所述第二收集袋；
当所述切割刀具采摘第二等级的茶叶且所述切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭所述第二收集袋并开启所述第三收集袋；
当所述切割刀具采摘第一等级的茶叶且所述切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭所述第一收集袋；
当所述切割刀具采摘第二等级的茶叶且所述切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭所述第二收集袋并打开所述第一收集袋；
当所述切割刀具采摘第三等级的茶叶且所述切割刀具的位姿确定结果调整为刀具下降时，采取计时器关闭所述第三收集袋；
当所述切割刀具采摘第三等级的茶叶且所述切割刀具的位姿确定结果调整为刀具上升时，采取计时器关闭所述第三收集袋并开启所述第二收集袋。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310183564.2A CN115861988B (zh) | 2023-03-01 | 2023-03-01 | 一种基于rgb区分度的茶叶采摘方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310183564.2A CN115861988B (zh) | 2023-03-01 | 2023-03-01 | 一种基于rgb区分度的茶叶采摘方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115861988A CN115861988A (zh) | 2023-03-28 |
| CN115861988B true CN115861988B (zh) | 2023-05-09 |
Family
ID=85659495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310183564.2A Active CN115861988B (zh) | 2023-03-01 | 2023-03-01 | 一种基于rgb区分度的茶叶采摘方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861988B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116267226B (zh) * | 2023-05-16 | 2023-07-28 | 四川省农业机械研究设计院 | 一种基于机器视觉智能识别成熟度的桑葚采摘方法与装置 |
| CN117958027A (zh) * | 2024-03-28 | 2024-05-03 | 安徽农业大学 | 一种小型单履带自走式采茶机 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108470339A (zh) * | 2018-03-21 | 2018-08-31 | 华南理工大学 | 一种基于信息融合的重叠苹果视觉识别与定位方法 |
| CN112633212A (zh) * | 2020-12-29 | 2021-04-09 | 长沙湘丰智能装备股份有限公司 | 一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法 |
| CN113298777A (zh) * | 2021-05-21 | 2021-08-24 | 山东大学 | 一种基于颜色特征和超像素聚类的棉花叶枯病检测方法及系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020168187A1 (en) * | 2019-02-15 | 2020-08-20 | Root Ai, Inc. | Depth and vision sensors for challenging agricultural environments |
| CN111784764A (zh) * | 2020-05-28 | 2020-10-16 | 西南石油大学 | 一种茶叶嫩芽识别与定位算法 |
| CN112529896A (zh) * | 2020-12-24 | 2021-03-19 | 山东师范大学 | 基于暗通道先验的红外小目标检测方法及系统 |
| US11935289B2 (en) * | 2021-03-31 | 2024-03-19 | EarthSense, Inc. | Agricultural analysis robotic systems and methods thereof |
| CN114119718A (zh) * | 2021-11-29 | 2022-03-01 | 福州大学 | 融合颜色特征和边缘特征的双目视觉绿色植被匹配定位方法 |
| CN114568126A (zh) * | 2022-03-17 | 2022-06-03 | 南京信息工程大学 | 一种基于机器视觉的采茶机器人及工作方法 |
| CN115082815B (zh) * | 2022-07-22 | 2023-04-07 | 山东大学 | 基于机器视觉的茶芽采摘点定位方法、装置及采摘系统 |
| CN115328019A (zh) * | 2022-08-10 | 2022-11-11 | 四川省农业机械研究设计院 | 基于机器视觉深度信息的茶蓬刀具调节方法及采茶系统 |
-
2023
- 2023-03-01 CN CN202310183564.2A patent/CN115861988B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108470339A (zh) * | 2018-03-21 | 2018-08-31 | 华南理工大学 | 一种基于信息融合的重叠苹果视觉识别与定位方法 |
| CN112633212A (zh) * | 2020-12-29 | 2021-04-09 | 长沙湘丰智能装备股份有限公司 | 一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法 |
| CN113298777A (zh) * | 2021-05-21 | 2021-08-24 | 山东大学 | 一种基于颜色特征和超像素聚类的棉花叶枯病检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115861988A (zh) | 2023-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115861988B (zh) | 一种基于rgb区分度的茶叶采摘方法和系统 | |
| CN109063575B (zh) | 一种基于单目视觉的智能割草机自主有序割草方法 | |
| US11360571B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| CN113696186B (zh) | 复杂光照条件下基于视触融合的机械臂自主移动抓取方法 | |
| Si et al. | Location of apples in trees using stereoscopic vision | |
| Munoz et al. | Depth-aware indoor staircase detection and recognition for the visually impaired | |
| CN109794948B (zh) | 配网带电作业机器人及识别定位方法 | |
| CN112415998A (zh) | 一种基于tof摄像头的障碍物分类避障控制系统 | |
| Li et al. | Vision-based pest detection and automatic spray of greenhouse plant | |
| Ali et al. | Visual tree detection for autonomous navigation in forest environment | |
| CN108064560A (zh) | 基于Kinect景深相机的水果自动采摘系统及方法 | |
| CN110109482A (zh) | 基于ssd神经网络的目标跟踪系统 | |
| WO2017199088A1 (en) | Bale detection and classification using stereo cameras | |
| CN108470165B (zh) | 一种采摘机器人果实视觉协同搜索方法 | |
| Almendral et al. | Autonomous fruit harvester with machine vision | |
| CN114004814A (zh) | 一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及系统 | |
| CN113906900B (zh) | 一种甘蔗收获机以及基于多传感器融合的甘蔗收获机刀盘位姿的调整方法 | |
| CN116686545B (zh) | 基于机器视觉控制的荔枝采摘机器人除遮方法 | |
| CN204422435U (zh) | 摄像头模组滤光片涂胶检测装置 | |
| CN206489590U (zh) | 一种动态人眼跟踪的虹膜识别装置 | |
| Togo et al. | Gesture recognition using hand region estimation in robot manipulation | |
| Luber et al. | Learning to detect and track people in rgbd data | |
| CN114600641B (zh) | 基于图像识别技术的草莓采摘机及其采摘方法 | |
| CN114089364A (zh) | 一种集成化的感知系统装置及实现方法 | |
| CN115943809B (zh) | 一种基于质量评价的采茶优化方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |