CN117152671A - 一种基于rgb-d相机的自动仿形采茶方法 - Google Patents

一种基于rgb-d相机的自动仿形采茶方法 Download PDF

Info

Publication number
CN117152671A
CN117152671A CN202311015369.5A CN202311015369A CN117152671A CN 117152671 A CN117152671 A CN 117152671A CN 202311015369 A CN202311015369 A CN 202311015369A CN 117152671 A CN117152671 A CN 117152671A
Authority
CN
China
Prior art keywords
tea
profiling
harvesting
cutter
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311015369.5A
Other languages
English (en)
Inventor
吴敏
陈建能
赵润茂
郇晓龙
桂江生
闫飞达
贾江鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN202311015369.5A priority Critical patent/CN117152671A/zh
Publication of CN117152671A publication Critical patent/CN117152671A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/04—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs of tea
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于RGB‑D相机的自动仿形采茶方法，采用RGB‑D相机扫描茶蓬面，提取包含深度信息与RGB图像信息的茶蓬面深度图像，通过茶蓬面深度信息拟合割刀初步采收切割深度基准；然后，以蓬面深度信息的横向方差估计生长密度，并对茶蓬面深度图像进行变阈值k‑means算法分割后提取鲜叶像素比例；最后，创新提出融合割刀初步采收切割深度基准、生长密度及鲜叶像素比例参数建立最佳割刀仿形采收切割深度基准的估计模型，并将垄沟起伏不平的扰动测量信号输入线性自抗扰控制系统，以滤波后的干扰测量信号为已知扰动，改进设计了扩张状态观测器，仿形采收切割深度基准更准确，控制系统的鲁棒性与动态响应性能高。

Description

一种基于RGB-D相机的自动仿形采茶方法
技术领域
本发明属于农业机械技术领域，涉及图像处理技术与计算机控制技术在采茶机械领域的结合应用，尤其涉及一种基于RGB-D相机扫描的自动仿形采茶方法。
背景技术
近年来，我国茶叶生产快速发展，面积和产量不断增加。但是，我国茶产业大而不强、大而不精，茶叶产品的科技含量和机械化水平较低，影响了茶产业的持续健康发展。对于茶叶产品初制前的鲜叶采摘，目前主要采用的人工采摘方式，费时费力、效率低，也会因采茶者体力、熟练度和经验的不同，造成鲜叶品质不均，因此仅适合于小批量的、要求为一芽一叶或一芽两叶的名优茶采摘。市场上现有的采茶机主要用于对鲜叶要求较低的大宗茶叶采摘，单人手提式采茶机，通过人工手持机器从茶树顶梢采收新嫩茶叶，虽然相比于手工采摘，茶叶的收集效率有所提升，但是总的来说人力采摘的成本高，增加了茶叶的生产成本，且优于茶叶采摘的时间有限，人工采摘的效率较低，对茶叶产量有着很大限制。
为了提高采茶效率，目前一些自动化仿形采茶设备正被应用于实际，如公开号为CN113039936A的专利采用超声波测距的自动采茶方法，由于超声波只能点对点测量，受茶叶间距影响较大，对于稀疏茶蓬面采收效果不佳。其他如2D-LiDAR测距仿形采茶机，通过2D-LiDAR点云拟合割刀仿形采收切割深度基准，由于2D-LiDAR获得茶蓬面信息量少，受生长密度、鲜叶长势影响大，估计的仿形采收切割深度基准偏差较大。
茶叶较多种植在丘陵山区，垄沟起伏不平干扰大，控制系统需要克服垄沟起伏不平的干扰影响，才能达到良好的采收效果，传统PID及其改进算法面对干扰时容易超调或响应不足。自抗扰控制器具有估计系统总扰动的特点，但是扩张状态观测器面对干扰快速变化时估计精度不足，虽然可以通过扰动数学模型补偿，但是茶田起伏不平干扰模型无法建立，降低了抗扰控制性能。
针对上述问题，亟需一种能够适应不同茶鲜叶长势、抗干扰控制能力强的自动仿形采收方法，提高大宗茶仿形采收的效率与质量。
发明内容
本发明的目的是针对现有技术的不足，提供一种基于RGB-D相机的自动仿形采茶方法。
本发明具体步骤如下：
步骤一、将龙门支架横梁固定架设在采茶行进机构的机架上，位于茶垄上方；将导轨固定在龙门支架横梁上，在龙门支架横梁上固定RGB-D相机、加速度计一和沿导轨等距布置的多个仿形收获装置；所述的仿形收获装置包括自行走机构、直动件和微元仿形收获末端，直动件和微元仿形收获末端由自行走机构驱动沿龙门支架横梁移动；所述的微元仿形收获末端包括收获框和割刀；收获框由直动件驱动升降；割刀安装在收获框底部；收获框上固定有加速度计二。
步骤二、各仿形收获装置的直动件自动调整微元仿形收获末端至初始高度位置，龙门支架横梁上RGB-D相机扫描下方茶陇的宽度，控制器根据RGB-D相机反馈的茶陇宽度、微元仿形收获末端的宽度确定茶陇上方所需仿形收获装置数量，然后控制中间相应数量仿形收获装置的自行走机构沿龙门支架横梁移动至茶陇上方。
步骤三、采收过程中，通过RGB-D相机扫描茶蓬面获得深度图像。
步骤四、从深度图像中提取各割刀的深度信息与各割刀前的待采区域蓬面深度信息，并通过半径滤波方法剔除离群点，得到各割刀深度信息图像与各割刀前待采区域蓬面深度信息图像。通过加速度计二获取割刀的竖直方向加速度，采用卡尔曼滤波算法，以割刀深度信息为测量数据，结合割刀的竖直方向加速度状态递推校正割刀深度信息图像，同时，通过加速度计一获取RGB-D相机的竖直方向加速度，采用卡尔曼滤波算法，以待采区域蓬面深度信息为测量数据，结合RGB-D相机竖直方向加速度状态递推校正待采区域蓬面深度信息图像。然后，对各待采区域蓬面深度信息采用RANSAC算法拟合一条水平直线作为初步采收切割深度基准s。
步骤五、从深度图像中提取所有割刀前方蓬面的RGB信息，得到茶蓬面RGB信息图像。将茶蓬面RGB信息图像中深度信息位于上方预设范围的像素直接分类为鲜叶，下方预设范围的像素直接分类为背景，剩余图像像素选择鲜叶与背景相差较大的颜色分量作为分割依据，通过变阈值K-means聚类算法分割为背景与鲜叶两种聚类类别，然后计算鲜叶像素的比例P。
步骤六、根据各待采区域蓬面深度信息得到所有割刀前方蓬面的茶蓬面深度信息图像，从茶蓬面深度信息图像中提取茶鲜叶竖直方向竖直方向深度方差平均值Var。
步骤七、建立优化最佳割刀仿形采收切割深度基准S的BP神经网络模型，并进行训练和验证。
步骤八、采收过程中，实时拟合各割刀前方待收获区域的初步采收切割深度基准s，获得茶蓬面鲜叶像素比例P及竖直方向深度方差平均值Var，输入到训练好的BP神经网络模型中，实时输出各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S，并实时通过采用卡尔曼滤波算法校正后的割刀深度信息图像获取各割刀位置信息。
步骤九、根据各割刀位置信息和BP神经网络模型输出的各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S，采用线性自抗扰控制方法得到各割刀仿形采收切割深度的实际控制量。
步骤十、各仿形收获装置的直动件实时根据实际控制量u自动调整微元仿形收获末端的割刀切割深度，实现各割刀前方待收获区域蓬面的自动仿形采茶。
优选地，所述的自行走机构包括旋转驱动件、行走块和滚轮；所述的滚轮铰接在行走块底部，并与导轨构成滚动摩擦副；滚轮由旋转驱动件驱动；直动件的底座与行走块固定。
优选地，所述导轨的两端均固定有限位块，收获框的侧挡板上固定有反光条。
优选地，步骤五中剩余图像像素通过变阈值K-means聚类算法分割为背景与鲜叶两种聚类类别，并计算鲜叶像素的比例P，具体步骤如下：
(1)在剩余图像像素样本中，设定颜色空间距离阈值的初始值，并设定K-means聚类算法的最大迭代次数；然后随机挑选两个像素样本，以具有分割依据颜色分量较小值的像素作为初始背景聚类中心，另一个像素为初始鲜叶聚类中心；
(2)通过K-means聚类算法将剩余图像像素分割为背景与鲜叶两种聚类类别，然后判断背景聚类中心和鲜叶聚类中心的颜色空间欧式距离是否大于颜色空间距离阈值，若背景聚类中心和鲜叶聚类中心的颜色空间欧式距离大于颜色空间距离阈值，则分割完成，否则执行步骤(3)；
(3)判断迭代次数是否大于设定最大迭代次数，若大于最大迭代次数，则减小颜色空间距离阈值，回到步骤(2)，否则将分散程度最大的聚类类别中具有分割依据颜色分量最大值的像素作为新的鲜叶聚类中心，将分散程度最大的聚类类别中具有分割依据颜色分量最小值的像素作为新的背景聚类中心，回到步骤(2)；
更优选地，在对下一个茶蓬面RGB信息图像进行像素分割时，以当前颜色空间距离阈值作为K-means聚类算法的颜色空间距离阈值初始值。
优选地，步骤六具体步骤如下：
(1)根据各待采区域蓬面深度信息得到所有割刀前方蓬面的茶蓬面深度信息图像，将茶蓬面深度信息图像按照等面积分成m个区域，计算各区域内的点云竖直方向深度方差
式中，n为区域的像素数量；xi是第i个像素的竖直方向深度；是该区域像素的竖直方向深度平均值。
(2)计算m个区域的点云竖直方向距离深度方差的平均值
式中，Var(xj)为第j个区域的点云竖直方向深度方差。
优选地，步骤七具体步骤如下：
(1)选取多个不同茶蓬面，针对每个茶蓬面，分别获取竖直方向深度方差平均值Var、鲜叶像素比例P及位于各割刀前方待收获区域的初步采收切割深度基准s，并人工确定位于各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S，从而建立包含竖直方向深度方差平均值Var、鲜叶像素比例P、位于各割刀前方待收获区域的初步采收切割深度基准s和位于各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S的数据集。
(2)构建BP神经网络模型，以竖直方向深度方差平均值Var、鲜叶像素比例P、位于各割刀前方待收获区域的初步采收切割深度基准s为输入，各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S为输出；将数据集分为测试集与验证集，对BP神经网络模型进行训练和验证。
优选地，采用线性自抗扰控制方法得到割刀仿形采收切割深度实际控制量的具体步骤如下：
(1)以割刀位置与BP神经网络模型输出的割刀前方待收获区域的最佳割刀仿形采收切割深度基准的差值h和差值变化率v为状态变量，建立控制对象的动力学控制方程：
式中，u为输出的实际控制量，b为控制量放大倍数，f(t)为总扰动，为差值h的导数，/>为差值变化率v的导数。
(2)由于控制对象的动力学模型为二阶模型，建立三阶扩张状态观测器状态空间如下：
式中，z1为差值h的估计值，z2为差值变化率v的估计值，z3为总扰动f(t)的估计值，b0为控制量放大倍数b的估计值，fh为总扰动中通过加速度计一测量RGB-D相机受垄沟起伏不平干扰的干扰信号的导数，为估计值z1的导数，/>为估计值z2的导数，/>为估计值z3的导数；差值h为扩张状态观测器的输入，且在扩张状态观测器中输入fh；β01、β02、β03为扩张状态观测器估计误差的增益。
(3)设计线性自抗扰系统控制器，具体如下：
首先，建立下式：
式中，r1为差值h的设定目标值，设为0；r2为差值变化率v的设定目标值，设为0；e1为设定目标值r1与估计值z1的差值，e2为设定目标值r2与估计值z2的差值；
然后，设计控制器控制量初步输出值：
u0＝kp*e1+kd*e2
式中，kp为比例调节系数，kd为微分调节系数。
最后，设计线性自抗扰系统控制器实际控制量：
更优选地，在实际控制量u与控制对象之间设置死区。
本发明具有以下有益效果：
(1)本发明设计多个微元仿形收获末端，每个微元仿形收获末端可以水平与竖直方向运动，通过竖直方向运动对茶陇蓬面进行仿形，无需对割刀姿态控制，通过水平方向的移动可以实现微元末端对茶蓬面完整覆盖，适应不同宽度茶蓬面的仿形收获，提高仿形采收效率。
(2)本发明采用RGB-D相机扫描茶蓬面，提取茶蓬面深度图像(包含深度信息与RGB图像信息)，通过茶蓬面深度信息拟合割刀初步采收切割深度基准；然后，以蓬面深度信息的横向方差估计生长密度，并对茶蓬面深度图像进行变阈值K-means算法分割后提取鲜叶像素比例；最后，创新提出融合割刀初步采收切割深度基准、生长密度及鲜叶像素比例参数建立最佳割刀仿形采收切割深度基准的估计模型，比单纯依靠RGB相机图像或者3D-LiDAR点云估计仿形采收切割深度基准更有优势。
(3)仿形采收过程中，希望割刀沿着最佳割刀仿形采收切割深度基准切割采收茶鲜叶，然而在丘陵山区茶田垄沟起伏不平干扰条件下，垄沟起伏不平干扰经采茶装置传递给末端割刀，引起割刀抖动，鲜叶仿形采收质量受到严重影响。本发明提出了将垄沟起伏不平的扰动测量信号输入线性自抗扰控制系统，以滤波后的干扰测量信号为已知扰动，改进设计了扩张状态观测器，引入已知扰动的测量值提升扩张状态观测器对快速变化的总扰动的估计精度和收敛速度，提高控制系统的鲁棒性与动态响应性能。
附图说明
图1为本发明采用的装置中各仿形收获装置仿形前等距排布时的示意图。
图2为本发明中仿形收获装置示意图。
图3为本发明采用的装置中各仿形收获装置根据茶陇宽度分配位置后的示意图。
图4为本发明中RGB-D相机扫描茶蓬面示意图。
图5为本发明中卡尔曼滤波融合示意图。
图6为本发明中初步采收切割深度基准与最佳割刀仿形采收切割深度基准的位置示意图。
图7为本发明从RGB-D相机扫描茶蓬面获得的深度图像中提取决策信息的流程图。
图8为本发明中割刀切割深度控制系统框图。
具体实施方式
下面结合附图对本发明作进一步说明。
一种基于RGB-D相机的自动仿形采茶方法，具体步骤如下：
步骤一、如图1所示，将龙门支架横梁1-1固定架设在采茶行进机构的机架(采茶行进机构设有铰接在机架底部的行进轮1-4和驱动行进轮转动的电机)上，位于茶垄上方；将导轨1-6固定在龙门支架横梁1-1上，在龙门支架横梁上固定RGB-D相机1-9、加速度计一1-8和沿导轨1-6等距布置的多个仿形收获装置；仿形收获装置包括自行走机构、直动件(比如采用由伺服电机2-1驱动的直线模组1-3)和微元仿形收获末端1-2，直动件和微元仿形收获末端1-2由自行走机构驱动沿龙门支架横梁移动；微元仿形收获末端1-2包括收获框和割刀2-5；收获框由直动件驱动升降；割刀2-5安装在收获框底部，自带动力源驱动；收获框上还固定有加速度计二1-10；作为优选，自行走机构包括旋转驱动件(比如电机)、行走块2-2和滚轮；滚轮铰接在行走块2-2底部，并与导轨1-6构成滚动摩擦副；滚轮由旋转驱动件驱动；直动件的底座与行走块2-2固定；作为优选，导轨1-6两端均固定有限位块1-5，收获框的侧挡板2-3上固定有反光条2-4，便于RGB-D相机1-9定位割刀位置。
步骤二、各仿形收获装置的直动件自动调整微元仿形收获末端1-2至初始高度位置(图1所示)，龙门支架横梁1-1上RGB-D相机1-9扫描下方茶陇(图1中示出了标号为1-7的茶垄)的宽度，控制器根据RGB-D相机1-9反馈的茶陇宽度、微元仿形收获末端1-2的宽度确定茶陇上方所需仿形收获装置数量，然后控制中间相应数量仿形收获装置的自行走机构沿龙门支架横梁移动至茶陇上方，如此可根据茶垄宽度计算所需微元仿形收获末端的数量，适应不同宽度茶垄；其中，为避免相邻仿形收获装置碰撞，相邻仿形收获装置可以间隔0.5～1cm设置；如图3所示为各仿形收获装置由图1中在龙门支架横梁1-1上等距排布调整到对应茶陇上方的示意图，如此可避免部分茶叶无法收获造成浪费的问题。
步骤三、大宗茶自动化仿形采收时，希望割刀能够沿着茶鲜叶根部切割，将茶鲜叶完整切割下来，因此以茶鲜叶根部为最佳割刀仿形采收切割深度基准位置。由于实际仿形采收过程中，传感器无法直接感知仿形采收切割深度基准的位置，因此本发明通过对传感器感知信息进行算法处理获取最优仿形切割深度基准位置，通过RGB-D相机扫描茶蓬面获得深度图像(包括深度信息与RGB信息)，如图4所示(图中仅示意了5个割刀，并不代表实际情况)，其中RGB-D相机的俯角为45°，标号4-1示意垄沟，标号4-2示意割刀前方待收获区域茶蓬面。
步骤四、假设一垄茶蓬面在RGB-D相机扫描范围内的鲜叶长度、生长密度相同，从深度图像中提取各割刀的深度信息与各割刀前的待采区域蓬面深度信息，并通过半径滤波方法剔除离群点，得到各割刀深度信息图像与各割刀前待采区域蓬面深度信息图像。由于室外RGB-D相机获取深度信息时为了抵抗自然光照，采用飞行时差测距的方法(Time ofFlight Measurement，ToF)获取深度信息，深度信息图像采样频率一般在50Hz以下，测量精度一般为2～3cm，无法满足仿形采收的测量精度要求；而加速度计一1-8和加速度计二1-10采样频率数倍于RGB-D相机，因此，本申请在行驶过程中通过加速度计二1-10获取割刀的竖直方向加速度，采用卡尔曼滤波算法，以割刀深度信息为测量数据，结合割刀的竖直方向加速度状态递推校正割刀深度信息图像，同时，通过加速度计一1-8获取RGB-D相机的竖直方向加速度，采用卡尔曼滤波算法，以待采区域蓬面深度信息为测量数据，结合RGB-D相机竖直方向加速度状态递推校正待采区域蓬面深度信息图像，如图5所示，图5中k表示时刻。然后，对各待采区域蓬面深度信息采用RANSAC算法拟合一条水平直线作为初步采收切割深度基准s；此时，当茶蓬面生长密度大时，估计的初步采收切割深度基准s值容易偏高，反之则容易偏低，另外，当茶鲜叶较长时，估计的初步采收切割深度基准s值容易偏高，反之则容易偏低。如图6所示为茶鲜叶切割深度基准示意图，图6中标号6-1示意初步采收切割深度基准s位置，标号6-2示意最佳割刀仿形采收切割深度基准位置，二者存在较大偏差。
步骤五、从深度图像中提取所有割刀前方蓬面的RGB信息，得到茶蓬面RGB信息图像。自然条件下，茶蓬面鲜叶相互遮挡，老叶与鲜叶颜色接近，鲜叶长度无法直接获取，但是从统计学角度分析，图像分割后的鲜叶像素比例与鲜叶长度存在正相关关系，本发明采用鲜叶像素比例表达鲜叶长度。根据鲜叶空间分布特征，将茶蓬面RGB信息图像中深度信息位于上方预设范围的像素直接分类为鲜叶，下方预设范围的像素直接分类为背景，剩余图像像素选择鲜叶与背景相差较大的颜色分量(比如G颜色分量)作为分割依据，通过变阈值K-means聚类算法分割为背景与鲜叶两种聚类类别，然后计算鲜叶像素的比例P，如图7所示为变阈值K-means聚类算法流程图，具体步骤如下：
(1)在剩余图像像素样本中，设定颜色空间距离阈值的初始值，并设定K-means聚类算法的最大迭代次数；然后随机挑选两个像素样本，以具有分割依据颜色分量较小值的像素作为初始背景聚类中心，另一个像素为初始鲜叶聚类中心；
(2)通过K-means聚类算法将剩余图像像素分割为背景与鲜叶两种聚类类别，然后判断背景聚类中心和鲜叶聚类中心的颜色空间欧式距离是否大于颜色空间距离阈值，若背景聚类中心和鲜叶聚类中心的颜色空间欧式距离大于颜色空间距离阈值，则分割完成，否则执行步骤(3)；
(3)判断迭代次数是否大于设定最大迭代次数，若大于最大迭代次数，则减小颜色空间距离阈值，回到步骤(2)，否则将分散程度最大的聚类类别中具有分割依据颜色分量最大值的像素作为新的鲜叶聚类中心，将分散程度最大的聚类类别中具有分割依据颜色分量最小值的像素作为新的背景聚类中心，回到步骤(2)；
其中，在对下一个茶蓬面RGB信息图像进行像素分割时，以当前颜色空间距离阈值作为K-means聚类算法的颜色空间距离阈值初始值，以提高分割效率。
步骤六、根据各待采区域蓬面深度信息得到所有割刀前方蓬面的茶蓬面深度信息图像，从茶蓬面深度信息图像中提取表征茶鲜叶生长密度的茶鲜叶竖直方向深度(与RGB-D相机的距离在竖直方向的投影)方差平均值。茶鲜叶生长密度大时，叶片间距较小，反之叶片间距较大。叶片间距较大使得RGB-D相机的激光光束容易穿过鲜叶层到达底部，此时深度信息分布稀疏，反之容易被表层鲜叶反射，深度信息分布密集。因此提出将茶蓬面深度信息图像划分为若干区域后，以各区域的点云竖直方向深度方差的平均值表达茶鲜叶生长密度，该方法实时性强，计算量小，具体步骤如下：
(1)根据各待采区域蓬面深度信息得到所有割刀前方蓬面的茶蓬面深度信息图像，将茶蓬面深度信息图像按照等面积分成m个区域，计算各区域内的点云(区域内的所有像素点)竖直方向(Z轴方向)深度方差
式中，n为区域的像素数量；xi是第i个像素的竖直方向深度，单位m；是该区域像素的竖直方向深度平均值，单位m。
(2)计算m个区域的点云竖直方向深度方差的平均值
式中，Var(xj)为第j个区域的点云竖直方向深度方差，单位m2。
步骤七、建立优化最佳割刀仿形采收切割深度基准S的BP神经网络模型，并进行训练和验证，具体步骤如下：
(1)选取多个不同茶蓬面，针对每个茶蓬面，分别获取竖直方向深度方差平均值Var、鲜叶像素比例P及位于各割刀前方待收获区域的初步采收切割深度基准s，并人工确定位于各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S，从而建立包含竖直方向深度方差平均值Var、鲜叶像素比例P、位于各割刀前方待收获区域的初步采收切割深度基准s和位于各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S的数据集。其中，选取茶蓬面时，应当尽量涵盖稠密长叶型、稠密短叶型、稀疏长叶型以及稀疏短叶型四种叶型茶蓬面，可以根据鲜叶像素比例P和竖直方向深度方差的平均值Var将茶蓬面分为稠密长叶型、稠密短叶型、稀疏长叶型以及稀疏短叶型，稠密与稀疏的Var界限、长叶与短叶的P界限预先设定。
(2)构建BP神经网络模型，以竖直方向深度方差平均值Var、鲜叶像素比例P、位于各割刀前方待收获区域的初步采收切割深度基准s为输入，各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S为输出；将数据集分为测试集与验证集，比例为7：3，对BP神经网络模型进行训练和验证。
步骤八、实际仿形采收过程中，实时拟合各割刀前方待收获区域的初步采收切割深度基准s，获得茶蓬面鲜叶像素比例P及竖直方向深度方差平均值Var，输入到训练好的BP神经网络模型中，实时输出各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S，并实时通过采用卡尔曼滤波算法校正后的割刀深度信息图像获取各割刀位置信息。
步骤九、根据各割刀位置信息和BP神经网络模型输出的各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S，采用线性自抗扰控制方法得到各割刀仿形采收切割深度的实际控制量。实际仿形采收过程中，假设割刀切割深度为H，希望割刀能够沿最佳割刀仿形采收切割深度基准S位置采收茶鲜叶，故控制目标为H-S＝0，但受模型不确定性、传感器测量噪声及垄沟起伏不平等干扰影响，尤其是垄沟起伏不平的干扰给割刀的高精度、快速响应控制带来很大挑战。因此，本发明采用线性自抗扰控制方法为各割刀仿形采收切割深度控制提供决策信息，并引入已知扰动的测量值提升扩张状态观测器对快速变化的扰动的估计精度和收敛速度。如图8所示，线性自抗扰控制方法得到割刀仿形采收切割深度实际控制量的具体步骤如下：
(1)以割刀位置与BP神经网络模型输出的割刀前方待收获区域的最佳割刀仿形采收切割深度基准的差值h和差值变化率v为状态变量，建立控制对象的动力学控制方程：
式中，u为输出的实际控制量，b为控制量放大倍数，f(t)为总扰动，为差值h的导数，/>为差值变化率v的导数。
(2)由于控制对象的动力学模型为二阶模型，建立三阶扩张状态观测器状态空间如下：
式中，z1为差值h的估计值，z2为差值变化率v的估计值，z3为总扰动f(t)的估计值，b0为控制量放大倍数b的估计值，fh为总扰动中通过加速度计一1-8测量RGB-D相机1-9受垄沟起伏不平干扰的干扰信号的导数(对时间的导数)，为估计值z1的导数，/>为估计值z2的导数，/>为估计值z3的导数；差值h为扩张状态观测器的输入，且在扩张状态观测器中输入fh，输入已知扰动部分的微分(fh)可以提高总扰动估计值z3的精度和收敛速度；由于加速度计测量信号含有大量噪声，因此对已知扰动信号进行低通滤波后再微分，然后输入扩张状态观测器；β01、β02、β03为扩张状态观测器估计误差的增益，根据扩张状态观测器的极点配置要求计算，为了参数调试方便，一般取β01＝3w0、/>w0为扩张状态观测器观测频率，w0取值越大，系统控制的稳态误差越小，但是观测噪声越大。
(3)设计线性自抗扰系统控制器，具体如下：
首先，建立下式：
式中，r1为差值h的设定目标值，设为0；r2为差值变化率v的设定目标值，设为0；e1为设定目标值r1与估计值z1的差值，e2为设定目标值r2与估计值z2的差值；
然后，设计控制器控制量初步输出值：
u0＝kp*e1+kd*e2
式中，kp为比例调节系数，kd为微分调节系数，根据线性自抗扰系统控制器输入与输出的传递函数极点配置关系，取kp＝2ξwc，wc为控制频率，ξ为阻尼系数，取值为0.707，此时响应速度最快且无超调。其中，扩张状态观测器观测频率w0一般取3～5wc。
最后，设计线性自抗扰系统控制器实际控制量：
在实际控制量u与控制对象之间设置死区，避免很小的控制量引起割刀频繁抖动。
步骤十、各仿形收获装置的直动件实时根据实际控制量u自动调整微元仿形收获末端1-2的割刀切割深度，实现各割刀前方待收获区域蓬面的自动仿形采茶，使各割刀能够尽可能沿着茶鲜叶根部切割。

Claims (9)

1.一种基于RGB-D相机的自动仿形采茶方法，其特征在于：具体步骤如下：
步骤一、将龙门支架横梁固定架设在采茶行进机构的机架上，位于茶垄上方；将导轨固定在龙门支架横梁上，在龙门支架横梁上固定RGB-D相机、加速度计一和沿导轨等距布置的多个仿形收获装置；所述的仿形收获装置包括自行走机构、直动件和微元仿形收获末端，直动件和微元仿形收获末端由自行走机构驱动沿龙门支架横梁移动；所述的微元仿形收获末端包括收获框和割刀；收获框由直动件驱动升降；割刀安装在收获框底部；收获框上固定有加速度计二；
步骤二、各仿形收获装置的直动件自动调整微元仿形收获末端至初始高度位置，龙门支架横梁上RGB-D相机扫描下方茶陇的宽度，控制器根据RGB-D相机反馈的茶陇宽度、微元仿形收获末端的宽度确定茶陇上方所需仿形收获装置数量，然后控制中间相应数量仿形收获装置的自行走机构沿龙门支架横梁移动至茶陇上方；
步骤三、采收过程中，通过RGB-D相机扫描茶蓬面获得深度图像；
步骤四、从深度图像中提取各割刀的深度信息与各割刀前的待采区域蓬面深度信息，并通过半径滤波方法剔除离群点，得到各割刀深度信息图像与各割刀前待采区域蓬面深度信息图像；通过加速度计二获取割刀的竖直方向加速度，采用卡尔曼滤波算法，以割刀深度信息为测量数据，结合割刀的竖直方向加速度状态递推校正割刀深度信息图像，同时，通过加速度计一获取RGB-D相机的竖直方向加速度，采用卡尔曼滤波算法，以待采区域蓬面深度信息为测量数据，结合RGB-D相机竖直方向加速度状态递推校正待采区域蓬面深度信息图像；然后，对各待采区域蓬面深度信息采用RANSAC算法拟合一条水平直线作为初步采收切割深度基准s；
步骤五、从深度图像中提取所有割刀前方蓬面的RGB信息，得到茶蓬面RGB信息图像；将茶蓬面RGB信息图像中深度信息位于上方预设范围的像素直接分类为鲜叶，下方预设范围的像素直接分类为背景，剩余图像像素选择鲜叶与背景相差较大的颜色分量作为分割依据，通过变阈值K-means聚类算法分割为背景与鲜叶两种聚类类别，然后计算鲜叶像素的比例P；
步骤六、根据各待采区域蓬面深度信息得到所有割刀前方蓬面的茶蓬面深度信息图像，从茶蓬面深度信息图像中提取茶鲜叶竖直方向深度方差平均值Var；
步骤七、建立优化最佳割刀仿形采收切割深度基准S的BP神经网络模型，并进行训练和验证；
步骤八、采收过程中，实时拟合各割刀前方待收获区域的初步采收切割深度基准s，获得茶蓬面鲜叶像素比例P及竖直方向深度方差平均值Var，输入到训练好的BP神经网络模型中，实时输出各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S，并实时通过采用卡尔曼滤波算法校正后的割刀深度信息图像获取各割刀位置信息；
步骤九、根据各割刀位置信息和BP神经网络模型输出的各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S，采用线性自抗扰控制方法得到各割刀仿形采收切割深度的实际控制量；
步骤十、各仿形收获装置的直动件实时根据实际控制量u自动调整微元仿形收获末端的割刀切割深度，实现各割刀前方待收获区域蓬面的自动仿形采茶。
2.根据权利要求1所述一种基于RGB-D相机的自动仿形采茶方法，其特征在于：所述的自行走机构包括旋转驱动件、行走块和滚轮；所述的滚轮铰接在行走块底部，并与导轨构成滚动摩擦副；滚轮由旋转驱动件驱动；直动件的底座与行走块固定。
3.根据权利要求1所述一种基于RGB-D相机的自动仿形采茶方法，其特征在于：所述导轨的两端均固定有限位块，收获框的侧挡板上固定有反光条。
4.根据权利要求1所述一种基于RGB-D相机的自动仿形采茶方法，其特征在于：步骤五中剩余图像像素通过变阈值K-means聚类算法分割为背景与鲜叶两种聚类类别，并计算鲜叶像素的比例P，具体步骤如下：
(1)在剩余图像像素样本中，设定颜色空间距离阈值的初始值，并设定K-means聚类算法的最大迭代次数；然后随机挑选两个像素样本，以具有分割依据颜色分量较小值的像素作为初始背景聚类中心，另一个像素为初始鲜叶聚类中心；
(2)通过K-means聚类算法将剩余图像像素分割为背景与鲜叶两种聚类类别，然后判断背景聚类中心和鲜叶聚类中心的颜色空间欧式距离是否大于颜色空间距离阈值，若背景聚类中心和鲜叶聚类中心的颜色空间欧式距离大于颜色空间距离阈值，则分割完成，否则执行步骤(3)；
(3)判断迭代次数是否大于设定最大迭代次数，若大于最大迭代次数，则减小颜色空间距离阈值，回到步骤(2)，否则将分散程度最大的聚类类别中具有分割依据颜色分量最大值的像素作为新的鲜叶聚类中心，将分散程度最大的聚类类别中具有分割依据颜色分量最小值的像素作为新的背景聚类中心，回到步骤(2)。
5.根据权利要求4所述一种基于RGB-D相机的自动仿形采茶方法，其特征在于：在对下一个茶蓬面RGB信息图像进行像素分割时，以当前颜色空间距离阈值作为K-means聚类算法的颜色空间距离阈值初始值。
6.根据权利要求1所述一种基于RGB-D相机的自动仿形采茶方法，其特征在于：步骤六具体步骤如下：
(1)根据各待采区域蓬面深度信息得到所有割刀前方蓬面的茶蓬面深度信息图像，将茶蓬面深度信息图像按照等面积分成m个区域，计算各区域内的点云竖直方向深度方差
式中，n为区域的像素数量；x是第i个像素的竖直方向深度；是该区域像素的竖直方向深度平均值；
(2)计算m个区域的点云竖直方向深度方差的平均值
式中，Var(xj)为第j个区域的点云竖直方向深度方差。
7.根据权利要求1所述一种基于RGB-D相机的自动仿形采茶方法，其特征在于：步骤七具体步骤如下：
(1)选取多个不同茶蓬面，针对每个茶蓬面，分别获取竖直方向深度方差平均值Var、鲜叶像素比例P及位于各割刀前方待收获区域的初步采收切割深度基准s，并人工确定位于各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S，从而建立包含竖直方向深度方差平均值Var、鲜叶像素比例P、位于各割刀前方待收获区域的初步采收切割深度基准s和位于各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S的数据集；
(2)构建BP神经网络模型，以竖直方向深度方差平均值Var、鲜叶像素比例P、位于各割刀前方待收获区域的初步采收切割深度基准s为输入，各割刀前方待收获区域的最佳割刀仿形采收切割深度基准S为输出；将数据集分为测试集与验证集，对BP神经网络模型进行训练和验证。
8.根据权利要求1所述一种基于RGB-D相机的自动仿形采茶方法，其特征在于：采用线性自抗扰控制方法得到割刀仿形采收切割深度实际控制量的具体步骤如下：
(1)以割刀位置与BP神经网络模型输出的割刀前方待收获区域的最佳割刀仿形采收切割深度基准的差值h和差值变化率v为状态变量，建立控制对象的动力学控制方程：
式中，u为输出的实际控制量，b为控制量放大倍数，f(t)为总扰动，为差值h的导数，/>为差值变化率v的导数；
(2)由于控制对象的动力学模型为二阶模型，建立三阶扩张状态观测器状态空间如下：
式中，z1为差值h的估计值，z2为差值变化率v的估计值，z3为总扰动f(t)的估计值，b0为控制量放大倍数b的估计值，fh为总扰动中通过加速度计一测量RGB-D相机受垄沟起伏不平干扰的干扰信号的导数，为估计值z1的导数，/>为估计值z2的导数，/>为估计值z3的导数；差值h为扩张状态观测器的输入，且在扩张状态观测器中输入fh；β01、β02、β03为扩张状态观测器估计误差的增益；
(3)设计线性自抗扰系统控制器，具体如下：
首先，建立下式：
式中，r1为差值h的设定目标值，设为0；r2为差值变化率v的设定目标值，设为0；e1为设定目标值r1与估计值z1的差值，e2为设定目标值r2与估计值z2的差值；
然后，设计控制器控制量初步输出值：
u0＝kp*e1+kd*e2
式中，kp为比例调节系数，kd为微分调节系数；
最后，设计线性自抗扰系统控制器实际控制量：
9.根据权利要求8所述一种基于RGB-D相机的自动仿形采茶方法，其特征在于：在实际控制量u与控制对象之间设置死区。
CN202311015369.5A 2023-08-14 2023-08-14 一种基于rgb-d相机的自动仿形采茶方法 Pending CN117152671A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311015369.5A CN117152671A (zh) 2023-08-14 2023-08-14 一种基于rgb-d相机的自动仿形采茶方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311015369.5A CN117152671A (zh) 2023-08-14 2023-08-14 一种基于rgb-d相机的自动仿形采茶方法

Publications (1)

Publication Number Publication Date
CN117152671A true CN117152671A (zh) 2023-12-01

Family

ID=88907088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311015369.5A Pending CN117152671A (zh) 2023-08-14 2023-08-14 一种基于rgb-d相机的自动仿形采茶方法

Country Status (1)

Country Link
CN (1) CN117152671A (zh)

Similar Documents

Publication Publication Date Title
CN103999635B (zh) 基于机器视觉的智能化自动切割式采茶机及工作方法
US11397174B2 (en) Suspension slide rail platform-based greenhouse information automatic monitoring method
US7248968B2 (en) Obstacle detection using stereo vision
US11601587B2 (en) System and method for monitoring plants in plant growing areas
CN112056087B (zh) 一种小型切段式履带甘蔗收获机感应系统及控制方法
CN111239757A (zh) 一种路面特征参数自动提取方法及系统
BR102014027364A2 (pt) sistema de controle e de medição da altura de corte para uma ceifeira de base, método, e, colheitadeira
CN101356877A (zh) 一种温室环境下黄瓜采摘机器人系统及采摘方法
CN108120473B (zh) 基于深度相机的温室作物三维形态监测装置及监测方法
CN113906900B (zh) 一种甘蔗收获机以及基于多传感器融合的甘蔗收获机刀盘位姿的调整方法
CN109380146B (zh) 生猪自动测量装置和方法
CN113985438B (zh) 一种植物三维模型重建系统及方法
CN110827273A (zh) 一种基于区域卷积神经网络的茶叶病害检测方法
CN115861988B (zh) 一种基于rgb区分度的茶叶采摘方法和系统
CN113359126A (zh) 一种基于农田环境感知的农机无人驾驶导航系统
CN114694047A (zh) 一种玉米播种质量的评价方法及装置
CN206177358U (zh) 一种大田作物表型信息高通量对等监测装置
CN117152671A (zh) 一种基于rgb-d相机的自动仿形采茶方法
CN111242934A (zh) 基于无人机影像光谱与纹理特征的小麦氮浓度反演方法
CN116686545B (zh) 基于机器视觉控制的荔枝采摘机器人除遮方法
CN115280964B (zh) 一种茎叶蔬菜收获机自动作业行驶方法及系统和收获机
CN116778327A (zh) 一种基于语义分割的大宗茶采摘效果实时评价方法
CN112634213A (zh) 一种无人机预测冬小麦冠层叶面积指数的系统和方法
CN106056107B (zh) 一种基于双目视觉避桩控制方法
CN114612549B (zh) 出菇采摘最佳时机预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination