CN103999635A - 基于机器视觉的智能化自动切割式采茶机及工作方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的智能化自动切割式采茶机，一种基于机器视觉的智能化自动切割式采茶机，其特征在于，包括具有多轮防颠簸行走机构的采茶机本体；所述的采茶机本体包括自适应动态平衡割台，安装在自适应动态平衡割台上的割刀和视觉传感器，用于收集切割后的嫩叶的集茶装置，以及用于各机构动作控制的操作与控制系统。本发明还公开了基于机器视觉的智能化自动切割式采茶机的工作方法，通过对图像的分析处理，自动调整割刀的位置，使得切割刀具的圆弧形切割线与圆弧形茶陇蓬面上的嫩芽层相吻合，以实现茶陇蓬面上的嫩茶层在横向方向上的精确切割。

Description

基于机器视觉的智能化自动切割式采茶机及工作方法

技术领域

本发明涉及茶叶农艺技术、计算机视觉技术、图像处理技术、机电一体化技术、切割刀具的水平度控制技术和计算机控制技术在智能化采茶机械方面的应用，尤其涉及一种基于机器视觉的智能化自动切割式采茶机及其工作方法。

背景技术

茶叶采摘具有很强的季节性，采摘周期短，劳动强度高，属于劳动密集型作业。目前，我国茶叶采摘和用工的矛盾已经成为茶叶产业发展的瓶颈。当今推广使用的采茶机大多都是针对大宗茶采摘鲜叶而生产的，其利用机械动力带动刀片运动，快速剪切并收集茶叶。这类采茶机具有采摘效率高，能降低劳动力成本和劳动强度，一定程度上缓解了采茶人工不足的矛盾。

采茶机虽能提高采摘效率，但其缺乏选择性，工作时不分老嫩，一刀切下，使得芽叶大小不一，完整性较差，而且对茶树的机械性损伤较大；同时采摘叶老嫩混杂，老梗老叶和破损叶片含量较高，一定程度上影响了采茶机的推广使用。

自动化智能化的茶叶采摘机械是茶叶行业的迫切需求。智能化茶叶采摘技术与装备，主要用于茶树的修整和春茶后期与夏秋茶等大宗茶叶的自动化采摘，通过茶叶农艺技术将茶树修整功能可以统一茶树顶端轮廓造型，可为大宗茶叶的自动化采摘提供方便。提高新梢采摘的完整性和一致性，提高茶叶整体质量。

农业部南京农业机械化研究所肖宏儒等申请的发明专利“跨行自走乘坐式采茶机及其工作方法”(公开号：CN103098617A，公开日：2013.05.15)，公开了一种跨行自走乘坐式履带采茶机。该采茶机全程作业可由驾驶员一人操作，采用全液压驱动技术，马达直接布置于履带的驱动轮之中，适合平地茶园1.5米行距的采茶作业和修剪作业，其具有25°爬坡能力和一定的越障能力，并可根据不同的茶树高度而动态调整采摘机构的高度位置以适应不同作业工况(茶树高度、度面平整度)需求。该采茶机茶青收集机构能在采摘过程中自动筛除外形较大的老叶和叶茎，又能自动筛除碎渣，以减少后续人工筛选所需鲜叶的工时；这种采茶机的主要缺陷是缺乏选择性，工作时不分老嫩，一刀切下，使得芽叶大小不一，完整性较差，而且对茶树的机械性损伤较大。

南京林业大学陈勇等申请的发明专利“茶叶摘采机器人”(公开号：CN102487667A，公开日：2012.06.13)，公开了一种茶叶摘采机器人。该机器人包括视觉系统、处理控制电路、执行机构，以及收集装置，其空间机械臂机构可以实现准确就位，左、右侧刀刃可以保证叶片的完整性，整个采摘过程完全自动化。这种茶叶摘采机器人不适用于大宗茶叶的自动化采摘，只适于名优茶的采摘。

发明内容

为了提高茶叶新梢采摘的完整性和一致性，提高茶叶整体质量及采摘效率，本发明基于一种标准化的茶叶农艺技术；通过采茶机对茶陇的机采面进行整形修剪，使得整个茶园中的每行茶树的茶陇蓬面整形为统一的圆弧形陇冠面。所述的标准化的茶叶农艺技术是通过以下四个一致性来实现的：整形修剪用的采茶机及机采时用的采茶机所用割刀参数一致，固定割刀的割台离地面高度一致，固定割刀的割台与大地水平面保持一致，割刀的中心轨迹线与采摘行的茶陇蓬面的中心线一致；通过采用标准化的修剪农艺措施，培育适应自动化机采的茶树冠面。

一种基于机器视觉的智能化自动切割式采茶机，包括具有多轮防颠簸行走机构的采茶机本体；所述的采茶机本体包括自适应动态平衡割台，安装在自适应动态平衡割台上的割刀和视觉传感器，用于收集切割后的嫩叶的集茶装置，以及用于各机构动作控制的操作与控制系统；

所述的操作与控制系统包括：

主控制器，用于读取所述视觉传感器内的视频图像并进行处理，解析出茶树树冠的茶陇中心线和嫩茶层的厚度；

割刀控制单元，受控于所述的主控制器，用于根据所述的茶陇中心线和嫩茶层的厚度调整割刀的姿态并控制割刀切割；

行走机构控制单元，受控于所述的主控制器，用于控制所述的多轮防颠簸行走机构；

集茶装置控制单元，受控于所述的主控制器，用于控制所述集茶装置的工作。

所述的自适应动态平衡割台通过高度可调的支撑杆安装在采茶机本体的机架上，且支撑杆的端部与自适应动态平衡割台铰连接。

在采茶过程中，由于茶园高低不平，需要保证固定割刀的割台离地面高度一致，利用倾斜传感器感知割台的倾斜状态，在通过自适应动态平衡割台的支撑杆的位移差来实现水平度调整。自适应动态平衡割台通过两根支撑杆固定在采茶机的机架上，左侧支撑杆的一端与割台左侧进行铰连接，右侧支撑杆的一端与割台右侧进行滑动铰连接，左右支撑杆的高度分别由两个直线伺服电机控制，同时控制两个直线伺服电机用于调整割台相对地面的高度，控制右侧直线伺服电机调整割台的水平度。

所述的割刀呈圆弧形，安装割刀的割刀固定支架通过移动副连接所述的自适应动态平衡割台。

自适应动态平衡割台与割刀固定支架之间采用一个移动副进行连接，割刀固定支架由一台直线伺服电机控制，通过控制割刀直线伺服电机来调整割台与割刀固定支架之间的相对位置，使得切割刀具的中心与茶陇中心线保持吻合。割刀通过螺钉固定在割刀固定支架上，割刀的形状为圆弧形，动力由软轴传至割刀，驱动切割器和集叶装置作往复运动；切割下的茶叶在集茶装置的集茶风机作用下送入茶叶鲜叶收集箱中。

所述的割刀控制单元包括割刀水平控制单元、割刀高度控制单元、割刀对准控制单元和割刀切割控制单元；

所述的割刀水平控制单元，根据安装在所述自适应动态平衡割台上的倾斜传感器，通过调整支撑杆的高度来控制所述自适应动态平衡割台的水平度；

所述的割刀高度控制单元，根据所述嫩茶层的厚度，调整割刀的工作高度；

所述的割刀对准控制单元，用于根据所述的茶陇中心线，调整割刀切割时的中心位置；

所述的割刀切割控制单元，用于控制割刀进行切割采茶。

所述的采茶机本体还包括用于人机交互及显示采茶过程中割刀位置和视觉传感器采集的视频图像的控制显示面板。通过控制显示面板可设置机器的各项参数，以及选择采茶机的工作模式。

本发明还提供了一种智能化自动切割式采茶机的工作方法，包括以下步骤：

(1)对视觉传感器中读取的采茶机前方的视频图像，采用光谱识别方法识别出茶陇蓬面图，并对茶陇蓬面图进行一阶导数处理得到茶叶嫩叶层的图像信息；

(2)对所述茶叶嫩叶层的图像信息进行处理，解析出茶树树冠的茶陇中心线和嫩叶层厚度；

(3)根据所述的茶陇中心线和嫩叶层厚度，控制割刀中心与茶陇中心线对齐，并调整割刀的工作高度；

(4)驱动采茶机本体沿茶陇行走，割刀切割茶树树冠的嫩茶层，同时集茶装置收集切割后的茶叶。

解析出茶陇中心线的具体过程如下：

1)将茶叶嫩叶层的图像信息中的有效区域进行多窗口划分，将完整的图像分割成规则的几何形状的子图像，每个子图像都作为一个矩形窗口；

2)在多窗口划分后的图像中，统计图中视觉传感器的视觉中心线的两侧矩形窗口中包含嫩叶像素比例；

3)判断两侧矩形窗口中包含嫩叶像素比例是否相同；若相同，则所述视觉传感器的视觉中心线即为茶陇的中心线；若不相同，则计算视觉传感器的视觉中心线与茶陇的中心线在茶陇横向断面方向的偏移量x。

每个矩形窗口中的嫩叶像素比例计算公式如下：

$D_{i,j}=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{fresh}\left(k\right)/\mathrm{\Σt}$

式中，为i行j列矩形窗口中的嫩叶像素的像素总和，Σt为i行j列矩形窗口中所有像素的像素总和，D_i,j为i行j列矩形窗口中的嫩叶像素的比例；

再计算每行矩形窗口中嫩叶像素比例的重心点DP_i

${\mathrm{DP}}_i=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{D}_{i,j}\×j/\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{D}_{i,j}$

式中，为i行j列矩形窗口中嫩叶像素的像素比例总和，n为矩形窗口的行数；

利用重心点DP_i的计算公式，依次计算每行中的重心点DP_i，在根据连续性约束条件，用最小二乘法拟合n行中重心点DP_i，拟合后的曲线或直线则认为是茶陇中心线。

拟合得到的茶陇中心线与视觉传感器的视觉中心线分别用如下公式表示：

$\left\{\begin{array}{c}\mathrm{Ax}+\mathrm{By}+C_1=0\\ \mathrm{Ax}+\mathrm{By}+C_2=0\end{array}\right.$

上述公式分别为茶陇中心线与视觉传感器的视觉中心线的直线方程，式中A、B、C₁和C₂均为常数；

然后根据下式计算茶陇中心线与视觉传感器的视觉中心线之间的偏移量x

$x=\frac{C_1-C_2}{\sqrt{A^2+B^2}}$

即可得到视觉传感器的视觉中心线与割刀中心在茶陇横向断面方向上的偏离值。

嫩叶层厚度由采摘时的茶树树冠高度减去修整后的茶树树冠高度得到。在具有坡度的茶园采茶时，需要适当调整割刀的高度，割刀的高度微调量z的计算公式为：

z＝sgn(α)×H×(1-cosα)

式中，sgn为符号函数，H为茶园中修剪后的每棵茶树树冠的高度，坡度的倾斜角α。

本发明从农艺技术和采摘技术两个层面，克服了目前的采茶机在作业时对采摘面的茶芽不能识别大小老嫩一刀切下的弊端。在农艺技术方面，在往年的冬季对茶陇的机采面进行整形修剪，茶陇蓬面整形为统一的圆弧形垄冠面，加上肥培管理措施，使春季发出的嫩茶芽长度基本一致，在茶陇蓬面上形成一个嫩茶芽层；在机采时，70％以上的嫩芽高度达1.5-2.0cm及时进行采摘作业；在采摘技术方面，采茶时希望能准确地识别出嫩芽层，使得切割刀具的圆弧形切割线与圆弧形茶陇蓬面上的嫩芽层相吻合，这样切割下来的基本上都为嫩茶。

附图说明

图1为基于机器视觉的智能化自动切割式采茶机的设计概念图；

图2为智能化自动切割式采茶机主控制器中与其他各控制单元的关系图；

图3为基于机器视觉的智能化自动切割式采茶机的物理模型，其中1为智能化自动切割式采茶机的机架，2为支撑割台的右支撑杆，3为支撑割台的左支撑杆，4为割台，5为割刀，6为视觉传感器；

图4为采用了标准化的茶叶农艺技术后在茶陇横断截面图；

图5为3种茶树的老叶和嫩叶吸收率与波长之间的关系曲线图；

图6为茶树嫩叶和老叶的光学波长与反射率的关系曲线图；

图7为茶树的老叶和嫩叶反射率的一阶导数对比曲线图；

图8为基于机器视觉的智能化自动切割式采茶机中视觉传感器所获取茶园视频图像的截图；

图9为在茶陇横断截面上的透视图；

图10为在茶陇水平面上根据矩形窗口的划分所生成的均匀性图；

图11为基于机器视觉的智能化自动切割式采茶机在平坦的茶园中行驶时茶树树冠与采茶机的关系图；

图12为茶陇横断截面上的茶树与割刀曲线的坐标位置关系图；

图13为基于机器视觉的智能化自动切割式采茶机在上坡行驶的茶园中行驶时茶树树冠与采茶机的关系图；

图14为基于机器视觉的智能化自动切割式采茶机在下坡行驶的茶园中行驶时茶树树冠与采茶机的关系图。

具体实施方式

下面结合附图对本发明作进一步描述。

一种基于机器视觉的智能化自动切割式采茶机，如图1所示，采用多轮防颠簸行走机构11及坡地机身平衡系统，配置节能环保型汽油发动机驱动采摘装备行走并减少对茶园空气的污染，设置乘坐式驾驶员操控系统，实现采摘装备单人操控和提高采摘装备行走作业速度。操作人员坐在驾驶座上，通过控制面板设置好采摘树冠高度值及行走速度，启动动力系统及控制系统，控制面板上有两种采摘模式由操作人员选择，一种是操作人员根据自己对待采摘的茶陇蓬面观察情况手动控制割台的升降及平移动作，割台12的水平度调整由倾斜控制单元自动控制的；另一种是由机器视觉的检测结果自动控制割台的升降及平移动作，割台12的水平度调整由倾斜控制单元自动控制的；操作人员以30米/分的速度驾驶基于机器视觉的智能化自动切割式采茶机行驶在茶行的埂上，机器视觉单元检测茶陇中心线及茶树树冠的高度，智能化自动切割式采茶机主控制器根据茶陇中心线及树冠高度的检测结果，自动控制割刀的横向位移及高度，使得切割刀具的圆弧形切割线与圆弧形茶陇蓬面上的嫩芽层相吻合，这样切割下来的基本上都为嫩茶。

本实施例中的智能化自动切割式采茶机，包括用于行走在茶园田埂上的采茶机本体和多轮防颠簸行走机构11，用于对茶树树冠嫩叶进行切割的自适应动态平衡割台和割刀，用于为采茶机中的各机构提供动力源的动力传动系统15，用于对用于将切割后的嫩叶吹入茶叶鲜叶收集箱的集茶风机14，用于暂时存放切割后茶叶鲜叶的茶叶鲜叶收集箱16，用于人机交互及显示采茶过程中割刀位置及茶树树冠等视频图像的控制显示面板；用于在采茶过程中各机构动作控制的操作与控制系统13。

如图2所示，操作与控制系统包括智能化自动切割式采茶机主控制器，主要用于控制割刀切割控制单元、集茶风机控制单元和行走机构控制单元的动作。智能化自动切割式采茶机主控制器包括机器视觉单元以及对其他各控制单元的单独控制和协调控制。其他各控制单元主要包括割刀水平控制单元、割刀高度控制单元、割刀对准控制单元、割刀切割控制单元、集茶风机控制单元和行走机构控制单元。智能化自动切割式采茶机主控制器通过输出口直接控制割刀切割控制单元、集茶风机控制单元和行走机构控制单元的动作。智能化自动切割式采茶机主控制器通过机器视觉单元从视觉传感器中读取采茶机前方的视频图像，对视频图像进行处理，解析出茶树树冠的茶陇中心线和高度信息；智能化自动切割式采茶机主控制器根据茶陇中心线信息通过割刀对准控制单元自动调整割刀的中心位置，使得切割刀具的中心与茶陇中心线保持吻合；智能化自动切割式采茶机主控制器根据茶树树冠的高度信息通过割刀高度控制单元自动调整割刀的高度，使得切割刀具的圆弧形切割线对准圆弧形茶陇蓬面上的嫩芽层；割刀切割控制单元通过驱动刀片产生往复运动，将茶树芽梢切断。

如图3所示的物理模型图，自适应动态平衡割台4通过两根支撑杆固定在采茶机的机架1上，左侧支撑杆3的一端与割台左侧进行铰连接，右侧支撑杆2的一端与割台右侧进行滑动铰连接，左右支撑杆的高度分别由两个直线伺服电机控制，同时控制两个直线伺服电机用于调整割台相对地面的高度，控制右侧直线伺服电机调整割台的水平度。

自适应动态平衡割台4与割刀固定支架之间采用一个移动副进行连接，割刀固定支架由一台直线伺服电机控制，通过控制割刀直线伺服电机来调整割台与割刀固定支架之间的相对位置，使得切割刀具的中心与茶陇中心线保持吻合。

自适应动态平衡割台4上安装有视觉传感器6，割刀5通过螺钉固定在割刀固定支架上，割刀5的形状为圆弧形，动力由软轴传至割刀，驱动切割器和集叶装置作往复运动，切割下的茶叶在集茶风机作用下送入茶叶鲜叶收集箱中。

为了提高茶叶新梢采摘的完整性和一致性，提高茶叶整体质量及采摘效率，本发明基于一种标准化的茶叶农艺技术；通过采茶机对茶陇的机采面进行整形修剪，使得整个茶园中的每行茶树的茶陇蓬面整形为统一的圆弧形陇冠面。标准化的茶叶农艺技术是通过以下四个一致性来实现的：整形修剪用的采茶机及机采时用的采茶机所用割刀参数一致，固定割刀的自适应动态平衡割台离地面高度一致，固定割刀的自适应动态平衡割台与水平面保持一致，割刀的中心轨迹线与采摘行的茶陇蓬面的中心线一致；通过采用标准化的修剪农艺措施，培育适应自动化机采的树冠面。

圆弧形树冠高度和幅度周年变化小，各部分叶层分布均匀，采摘面发芽整齐，新梢密度大，能有效地增加采摘面积，产量高，是成龄茶园机采的适宜树冠形状，本发明中采用圆弧形茶叶树冠如图4所示。同时，还需保证整形修剪用的采茶机及机采时用的采茶机所用割刀参数一致，是通过采用大小形状完全相同的割刀来实现的，割刀面为圆弧形。

在茶叶农艺方面，关键是要培养适合机械化采茶要求的冠面，对于茶树树冠的整形时间安排，第1年，春茶留养，夏茶后期新枝长到30cm时，用采茶机采茶1次，提高树冠20cm左右，秋茶养蓬；第2年，一般机采3次茶，春、夏、秋各采1次；当新梢长到四五叶时，留1叶，机采1次春茶；夏茶亦留1叶，机采1次；秋茶前期不留叶，机采1芽二三叶，秋茶后期留叶蓄养，树冠在上年基础上又提高10cm，这时茶蓬冠幅达80cm；第3年可机采4次，春茶2次，夏、秋茶各1次，秋末留叶养蓬，每次采摘新梢应伸展至1芽四五叶，留一两叶，采一芽两三叶，此时树冠高65cm～70cm，冠幅为100cm左右，基本达到成园要求；第4年进行正常生产，一般全年可机采4次～5次茶叶，但9月中下旬可不再机采，以留叶养树；逐渐养成弧面，方便机采；通过茶叶农艺方面的改良，使得整个茶园形成一种便于机器视觉识别和智能自动化控制采摘的结构化茶树冠面；修正后的茶树冠面的横截面图如图4所示；

本实施例中，基于机器视觉的智能化自动切割式采茶机工作原理如下：操作人员坐在驾驶座上，通过控制显示面板设置好采摘树冠高度值及行走速度，启动动力系统及控制系统，控制面板上有两种采摘模式由操作人员选择，一种是操作人员根据自己对待采摘的茶陇蓬面观察情况手动控制割台的升降及平移动作，割台的水平度调整由倾斜控制单元自动控制的；另一种是由机器视觉的检测结果自动控制割台的升降及平移动作，割台的水平度调整由倾斜控制单元自动控制的；操作人员以30米/分的速度驾驶基于机器视觉的智能化自动切割式采茶机行驶在茶行的埂上，机器视觉单元检测茶陇中心线及嫩茶层的厚度，智能化自动切割式采茶机主控制器根据茶陇中心线及嫩茶层的厚度的检测结果，自动控制割刀的横向位移及高度，使得切割刀具的圆弧形切割线与圆弧形茶陇蓬面上的嫩芽层相吻合，这样切割下来的基本上都为嫩茶。

保证割刀的中心轨迹线与采摘行的茶陇蓬面的中心线一致，是通过对视觉传感器所获取的采摘行的茶陇蓬面图像进行处理，拟合得到采摘行的茶陇蓬面的中心线，然后与割刀的中心进行比对，如果存在误差通过调整割刀的中心位置来实现的，采摘时的割刀进刀方向与茶芽生长方向垂直。

割刀高度控制单元自身实现割台高度的粗调整，通过安装在支撑割台的两根支撑杆上的位移传感器所感知到的位置信息与设置好采摘树冠高度值进行比较，同步控制驱动两根支撑割台的支撑杆的两个直线伺服电机，使得割刀的高度值基本上与设置好采摘树冠高度值一致；割刀高度控制单元同时还接受从智能化自动切割式采茶机主控制器中的机器视觉单元对嫩茶层的厚度的检测结果，根据这个检查结果与目前割刀的切割深度进行比较与控制，实现割台高度的微调整，以实现茶陇蓬面上的嫩茶层在高度方向上的精确切割；割刀高度控制单元与智能化自动切割式采茶机主控制器进行信息交互。

割刀对准控制单元根据智能化自动切割式采茶机主控制器的机器视觉单元对茶陇中心线的检测结果与切割刀具的中心轨迹线比较的结果，控制割刀的横向位移，使得切割刀具的圆弧形切割线与圆弧形茶陇蓬面上的嫩芽层相吻合，以实现茶陇蓬面上的嫩茶层在横向方向上的精确切割。

要实现嫩茶层在横向和高度方向上的精确切割，关键依赖于对嫩茶层的视觉检测与合适的基准坐标系建立；本发明中将世界坐标系建立在视觉传感器的坐标上，将视觉传感器固定安装在割台的中心，如图3所示，视觉传感器的摄像方向正朝着采茶机的前方，用Y_s表示，视觉传感器的高度方向坐标为Z_s，视觉传感器的水平方向坐标为X_s；由于割台与割刀固定支架之间采用一个移动副进行连接，割刀固定支架与割刀之间进行固定连接，视觉传感器坐标中心与割刀坐标中心有如下关系：

$\left\{\begin{array}{c}{Z}_C=Z_s+\mathrm{\ΔZ}\\ X_C=X_s+x\\ Y_C=Y_s+\mathrm{\ΔY}\end{array}\right.---\left(1\right)$

式中，ΔZ和ΔY分别是视觉传感器中心与割刀中心在高度方向和茶陇纵向断面方向之间的距离，为定值；x是视觉传感器中心与割刀中心在茶陇横向断面方向的偏离值；X_s、Y_s和Z_s分别为视觉传感器的中心坐标，X_C、Y_C和Z_C分别为割刀中心坐标；由于割刀水平控制单元已经对割台进行了水平控制，使得割台与地平面保持水平，这样也使得固定在割台上的视觉传感器与地平面保持水平；因此，智能化自动切割式采茶机的割刀的机器视觉控制主要针对X_C和Z_C的控制。

为了提高机器视觉单元在室外自然环境中对茶陇蓬面上的嫩芽层快速准确的检测，本发明采用光谱识别方法，这种识别方法具有反应迅速、结构简单、成本低、实时性和环境适应性好的优点；图5所示的是茶叶的典型吸收光谱，实验结果表明，三种茶叶的吸收光谱具有类似的光谱响应特征，在400到500nm波段范围内，光谱曲线相对平缓，而且三种茶叶的吸光度值都大于1；在500nm波长之后，吸光度开始下降，较低值出现在550nm附近；在550nm到675nm波长区间，光谱吸光度开始增大，在675nm附近骤增至一个极点，而后快速下降；在750nm到1000nm波长区间内，光谱曲线平坦，吸光度最低，可见茶叶的叶片强烈吸收范围为400～500nm蓝光和680nm红光，而在可见光550nm范围内反射绿光最低的吸收值出现在750nm到1000nm的波长区间内，这表明茶叶的叶片强烈反射近红外光；通过光谱识别方法能很好地识别出茶陇蓬面，这为视觉检测采摘行的茶陇蓬面的中心线提供了坚实的基础。

进一步，在视觉检测采摘行的茶陇蓬面的基础上，要通过光谱识别方法能有效地区别老叶和嫩叶，能快速有效地识别出茶陇蓬面上的嫩叶层；在图5所示的茶叶典型吸收光谱曲线中发现茶叶的光谱在675nm附近急剧变化，在图6所示的是随着光谱变化老叶和嫩叶的反射率变化曲线，关注到茶叶的老叶在光谱690～720nm区间内的变化率均高于茶叶的嫩叶；根据对图7的曲线进行分析，茶叶的老叶的反射率一阶导数值大于0.005，茶叶的嫩叶的反射率一阶导数值小于0.005；因此，根据茶叶的反射率一阶导数值来进一步区分老叶和嫩叶；本发明中在视觉传感器中采用了光谱范围为698～712nm的带通滤光片，这样在视觉传感器中成像的基本上是茶陇蓬面，然后对茶陇蓬面图像进行一阶导数处理得到茶叶嫩叶层的图像信息。

为了简化茶陇中心线检测问题，通常需做一些假设，如：茶园地面平坦性假设、茶陇理想形状假设、茶陇宽度不变性假设、茶陇特征一致性假设、视觉传感器针孔成像模型假设。

物理连续性假设、茶陇宽度不变假设以及茶陇结构假设在茶园农艺中得到保证；地面水平面假设是通过所述的割刀水平控制单元得到保证；视觉传感器参数标定是通过实验和计算的方法确定视觉传感器成像模型中的各参数进行的过程；测定了这些参数，也就给定了在已确定的视觉传感器中物点与像点间的变换关系，标定的目的就是确定视觉传感器的内外参数，通过这些参数表示出成像系统中各个坐标系统之间的相互位置关系，从而表示出图像像素位置和场景点位置之间的关系；关于视觉传感器的标定，利用OpenCV中的标定工具进行。

这里将一行茶陇的图像进行了左右划分，在标定过程中规定了智能化自动切割式采茶机中的视觉传感器的视觉中心线，如图8中的点划线所示，因此使得在计算智能化自动切割式采茶机偏离角度及位移时算法更为简单，同时也能为操作人员驾驶智能化自动切割式采茶机进行采摘操作提供辅助参考。

特征检测或者图像分割是茶陇中心线检测的关键步骤之一，主要目的是提取对应于茶陇边界的特征；这里首先将图像的有效区域进行多窗口划分；所谓多窗口划分，就是将完整的图像分割成规则的几何形状的子图像，每个子图像都作为一个矩形窗口；

考虑到视觉传感器的透视投影关系，在三维世界空间中的茶园茶陇平面上进行确定尺寸的矩形窗口划分，然后投影到二维图像平面中，从而形成近大远小的矩形窗口划分效果；矩形窗口的划分遵循下述规则：

(1)如图9所示，在三维世界空间内布置矩形窗口，其行数为12行，由近及远，依次分布，矩形窗口之间没有间隙；

(2)在三维世界空间内，令矩形窗口为正方形，最近处的矩形窗口长度为0.1米，宽度与长度相等，亦为0.1米，由近到远，长度依次增加0.1米，故12个矩形窗口覆盖的长度范围约为1.2米；

(3)将每行矩形窗口的上、下边界通过视觉传感器透视投影关系投影到二维图像平面，得到图像平面内矩形窗口的纵向定位；

(4)在二维图像平面中，以每行的纵向宽度作为矩形窗口的横向宽度，在横向布置矩形窗口，以图像的中心线为轴心线，分为左右两边，直至图像区域边缘；

(5)对分割后的各矩形窗口进行命名，I为行，位于图像的下边缘；J为列，以智能化自动切割式采茶机的视觉中心线划分为左右，左右对称；命名后的各矩形窗口见图10；

对于结构化茶陇图像，茶陇边缘线在图像中只存在于某些特定的区域；依据图像流中的物理约束和连续性约束条件，这里物理约束是指茶陇横向断面上它受到了茶陇宽度的约束，是一个常数；连续性约束是指茶陇纵向断面上它受到了物理连续性的约束；利用这两个约束条件，就可以对茶陇边缘线的识别与跟踪的算法进行加速，以减少计算工作量，提高实时性，增加算法的准确性。

由于两条茶陇边缘线是平行的，茶陇宽度是常数；根据矩形窗口的划分所生成的均匀性图，如图9所示；均匀性图中的矩形窗口大小为10×10cm；茶陇行间距一般为160～180cm，茶陇冠幅为100cm左右；如果智能化自动切割式采茶机沿着茶陇田埂上行驶，那么两条茶陇边缘线必定出现在相隔10～12个矩形窗口的范围内；另外，这里对矩形窗口进行了命名，在茶陇横向断面上矩形窗口必定有相同行的编号，两条茶陇边缘线之间列的编号之间的差值为10～12，这样就可以成为茶陇边缘线识别和跟踪的强约束条件。

为了快速计算得到茶陇中心线，这里采用了以视觉传感器的中心线统计左右两侧均匀性图中的矩形窗口中包含嫩叶像素比例，如图10所示；如果左右两侧对称的均匀性图中的矩形窗口中包含嫩叶像素比例值相同，就判定为视觉传感器的中心线与茶陇的中心线基本吻合；否则需要调整视觉传感器中心与割刀中心在茶陇横向断面方向的偏离值x；

由于在获取图像时采用了带通滤波片，这样视觉传感器中成像的前景像素基本上是茶陇蓬面的嫩叶像素；这里通过公式(2)统计每个矩形窗口中的嫩叶像素比例；

$D_{i,j}=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{fresh}\left(k\right)/\mathrm{\Σt}---\left(2\right)$

式中，为i行j列矩形窗口中的嫩叶像素的像素总和，Σt为i行j列矩形窗口中所有像素的像素总和，D_i,j为i行j列矩形窗口中的嫩叶像素的比例；

接着用公式(3)计算第i行12列中嫩叶像素比例的重心点DP_i，将该重心点DP_i初步判定为茶陇的中心线在茶陇横向截面上的交点；

${\mathrm{DP}}_i=\underset{j=1}{\overset{12}{\mathrm{\Σ}}}{D}_{i,j}\×j/\underset{j=1}{\overset{12}{\mathrm{\Σ}}}{D}_{i,j}---\left(3\right)$

然后根据连续性约束条件，用最小二乘法拟合12行中重心点DP_i，拟合后的曲线或直线则认为是茶陇中心线；本发明中只对沿视觉传感器的中心线两侧的12行12列矩形窗口进行计算，如图10所示；

进一步，假设拟合得到的茶陇中心线与视觉传感器的中心线是平行的，拟合得到的茶陇中心线与视觉传感器的中心线分别用公式(4)表示；

$\left\{\begin{array}{c}\mathrm{Ax}+\mathrm{By}+C_1=0\\ \mathrm{Ax}+\mathrm{By}+C_2=0\end{array}\right.---\left(4\right)$

那么茶陇中心线与视觉传感器的中心线之间的偏移量x用公式(5)进行计算；

$x=\frac{C_1-C_2}{\sqrt{A^2+B^2}}---\left(5\right)$

公式(5)计算得到的茶陇中心线与视觉传感器的中心线之间的偏移量x就是需要调整视觉传感器中心与割刀中心在茶陇横向断面方向的偏离值x；

进一步，需要估算出在茶冠的横断面上的嫩叶层厚度，这里在离视觉传感器前方L处做一个横断切面，如图11所示；通过横断切面得到茶树树冠的横断切面图，如图12所示，在横断切面图上显示有割刀的圆弧形切割线；图12中的内圆上的实线表示割刀的圆弧形切割线，外圆上的虚线部分表示茶树树冠的包络线；这里假设茶树树冠在横向断面上的包络线为圆弧形，并与割刀的圆弧形为同圆心。

关于割刀的切割深度，由于采用了标准化的茶叶农艺技术，修剪后的每棵茶树树冠的高度都控制在统一的标准，如70cm；智能化自动切割式采茶机行驶在平整的茶园中时只要将茶陇的中心线与视觉中心线对准就能保证切割的基本上是嫩叶层；而对于智能化自动切割式采茶机行驶在上坡或下坡的情况下，如图13和图14所示；就需要适当调整割刀的高度，根据几何关系，割刀的高度微调量z用公式(6)进行计算

z＝sgn(α)×H×(1-cosα)    (6)

式中，sgn为符号函数，H为茶园中修剪后的每棵茶树树冠的高度，如图12所示，坡度的倾斜角α，规定上坡时倾斜角α为正，下坡时倾斜角α为负。

坡度的倾斜角α的测量用安装在智能化自动切割式采茶机机身上的倾斜传感器感知，根据感知到的倾斜角通过公式(6)调整割刀与割台的相对位移，从而调整割刀对茶树树冠的切割高度。

另一种测量坡度的倾斜角α的方法是通过视觉的方式进行感知，主要是通过当智能化自动切割式采茶机处于水平状态时的视觉水平线与智能化自动切割式采茶机上坡或下坡的情况下的视觉水平线相比较，如图13所示，当智能化自动切割式采茶机上坡时视觉水平线下降；如图14所示，当智能化自动切割式采茶机下坡时视觉水平线上升；倾斜角α的大小是与处于水平状态时的视觉水平线和上坡或下坡的情况下的视觉水平线之间的差成正比，具体的倾斜角α估算值由标定结果计算得到。

本发明提出的基于机器视觉的智能化自动切割式采茶机，由于能自动识别出茶陇中心线，同时采用一种标准化的茶叶农艺技术，加入田埂端识别技术后就能实现无人化的自动茶叶采摘，不但有效地解决了单人和双人抬式采茶机需背负人抬、劳动强度大、工耗多等难题，同时也为高度智能化自动茶叶采摘提供了新的解决方案。

Claims (10)

1.一种基于机器视觉的智能化自动切割式采茶机，包括具有多轮防颠簸行走机构的采茶机本体，其特征在于，所述的采茶机本体包括自适应动态平衡割台，安装在自适应动态平衡割台上的割刀和视觉传感器，用于收集切割后的嫩叶的集茶装置，以及用于各机构动作控制的操作与控制系统；

所述的操作与控制系统包括：

主控制器，用于读取所述视觉传感器内的视频图像并进行处理，解析出茶树树冠的茶陇中心线和嫩茶层的厚度；

割刀控制单元，受控于所述的主控制器，用于根据所述的茶陇中心线和嫩茶层的厚度调整割刀的姿态并控制割刀切割；

行走机构控制单元，受控于所述的主控制器，用于控制所述的多轮防颠簸行走机构；

集茶装置控制单元，受控于所述的主控制器，用于控制所述集茶装置的工作。

2.如权利要求1所述的基于机器视觉的智能化自动切割式采茶机，其特征在于，所述的自适应动态平衡割台通过高度可调的支撑杆安装在采茶机本体的机架上，且支撑杆的端部与自适应动态平衡割台铰连接。

3.如权利要求2所述的基于机器视觉的智能化自动切割式采茶机，其特征在于，所述的割刀呈圆弧形，安装割刀的割刀固定支架通过移动副连接所述的自适应动态平衡割台。

4.如权利要求3所述的基于机器视觉的智能化自动切割式采茶机，其特征在于，所述的割刀控制单元包括割刀水平控制单元、割刀高度控制单元、割刀对准控制单元和割刀切割控制单元；

所述的割刀水平控制单元，根据安装在所述自适应动态平衡割台上的倾斜传感器，通过调整支撑杆的高度来控制所述自适应动态平衡割台的水平度；

所述的割刀高度控制单元，根据所述嫩茶层的厚度，调整割刀的工作高度；

所述的割刀对准控制单元，用于根据所述的茶陇中心线，调整割刀切割时的中心位置；

所述的割刀切割控制单元，用于控制割刀进行切割采茶。

5.如权利要求1所述的基于机器视觉的智能化自动切割式采茶机，其特征在于，所述的采茶机本体还包括用于人机交互及显示采茶过程中割刀位置和视觉传感器采集的视频图像的控制显示面板。

6.一种如权利要求1～5任一项所述的智能化自动切割式采茶机的工作方法，其特征在于，包括以下步骤：

(1)对视觉传感器中读取的采茶机前方的视频图像，采用光谱识别方法识别出茶陇蓬面图，并对茶陇蓬面图进行一阶导数处理得到茶叶嫩叶层的图像信息；

(2)对所述茶叶嫩叶层的图像信息进行处理，解析出茶树树冠的茶陇中心线和嫩叶层厚度；

(3)根据所述的茶陇中心线和嫩叶层厚度，控制割刀中心与茶陇中心线对齐，并调整割刀的工作高度；

(4)驱动采茶机本体沿茶陇行走，割刀切割茶树树冠的嫩茶层，同时集茶装置收集切割后的茶叶。

7.如权利要求6所述的工作方法，其特征在于，解析出茶陇中心线的具体过程如下：

1)将茶叶嫩叶层的图像信息中的有效区域进行多窗口划分，将完整的图像分割成规则的几何形状的子图像，每个子图像都作为一个矩形窗口；

2)在窗口划分后的图像中，统计图中视觉传感器的中心线的两侧矩形窗口中包含嫩叶像素比例；

3)判断两侧矩形窗口中包含嫩叶像素比例是否相同；若相同，则所述视觉传感器的视觉中心线即为茶陇的中心线；若不相同，则计算视觉传感器的视觉中心线与茶陇的中心线在茶陇横向断面方向的偏移量x。

8.如权利要求7所述的工作方法，其特征在于，每个矩形窗口中的嫩叶像素比例计算公式如下：

$D_{i,j}=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{fresh}\left(k\right)/\mathrm{\Σt}$

式中，为i行j列矩形窗口中的嫩叶像素的像素总和，Σt为i行j列矩形窗口中所有像素的像素总和，D_i,j为i行j列矩形窗口中的嫩叶像素的比例；

再计算每行矩形窗口中嫩叶像素比例的重心点DP_i

${\mathrm{DP}}_i=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{D}_{i,j}\×j/\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{D}_{i,j}$

式中，为i行j列矩形窗口中嫩叶像素的像素比例总和，n为矩形窗口的行数；

利用重心点DP_i的计算公式，依次计算每行中的重心点DP_i，在根据连续性约束条件，用最小二乘法拟合n行中重心点DP_i，拟合后的曲线或直线则认为是茶陇中心线。

9.如权利要求8所述的工作方法，其特征在于，拟合得到的茶陇中心线与视觉传感器的视觉中心线分别用如下公式表示：

$\left\{\begin{array}{c}\mathrm{Ax}+\mathrm{By}+C_1=0\\ \mathrm{Ax}+\mathrm{By}+C_2=0\end{array}\right.$

上述公式分别为茶陇中心线和视觉传感器的视觉中心线的直线方程，式中A、B、C₁和C₂均为常数；

然后根据下式计算茶陇中心线与视觉传感器的视觉中心线之间的偏移量x

$x=\frac{C_1-C_2}{\sqrt{A^2+B^2}}$

即可得到视觉传感器视觉中心线与割刀中心在茶陇横向断面方向上的偏离值。

10.如权利要求9所述的工作方法，其特征在于，在具有坡度的茶园采茶时，需要适当调整割刀的高度，割刀的高度微调量z的计算公式为：

z＝sgn(α)×H×(1-cosα)

式中，sgn为符号函数，H为茶园中修剪后的每棵茶树树冠的高度，坡度的倾斜角α。