CN114342656A - 草莓高效采收作业的自感知驾乘控制系统及方法 - Google Patents

Abstract

本发明公开了一种草莓采摘车的自感知驾乘控制系统及方法，涉及农业机器人领域。所述自感知驾乘控制系统包括行为意图融合感知系统和行为意图融合控制系统，行为意图融合感知系统通过采摘区间内高架成熟草莓、人体姿态、手臂状态的融合进行采摘工况和前进工况的判别，从而根据草莓目标和行为意图自主控制草莓采摘车走停，实现不需人额外操控的随采随走，实现采摘全程的采摘车操控驾驶完全摆脱对人的注意力和人手的依赖性，从而大大减少采摘过程中采摘车操控的不断精力‑动作占用，有效提高采摘效率。

Description

草莓高效采收作业的自感知驾乘控制系统及方法

技术领域

本发明属于农业机器人技术领域，特别是一种草莓高效采收作业的自感知驾乘控制系统及方法。

背景技术

草莓行业快速发展，但是当前草莓采摘作业仍以传统手工采摘为主，手工采摘存在费力、效率低的问题，而草莓采摘车是未来的发展趋势。国内沈农草莓团队设计一种采用“人坐脚蹬车”行走作业方式的草莓采摘车，全程靠脚推力行走。国外日本采用“手推轨道车”的方式在轨道上进行采摘作业，人不用单独控制方向。以上设计存在操控费力、劳动强度大、眼手不能全部集中到采摘作业上的问题。而在生产模式下，乘坐草莓采摘车进行采摘作业需要投入较多体力和精力在载具操控上，手部既要操控行走又要进行采摘，对双手占用过多，手忙脚乱，操控矛盾，劳动强度大，人类的精力、体力被非采收行为占用，效率低、快速疲劳、不能操控和采收同时兼顾，不能满足农业生产轻松舒适、高效率的需求。

发明内容

针对现有技术中存在不足，本发明提供了一种草莓高效采收作业的自感知驾乘控制系统及方法，基于人体最佳采摘姿态和人手舒适采摘行为划分人体舒适采摘空间，实现对人的采摘意图识别来自主控制草莓采摘车运动状态。

本发明是通过以下技术手段实现上述技术目的的。

一种草莓高效采收作业的自感知驾乘控制系统，包括行为意图融合感知系统和行为意图融合控制系统；

所述行为意图感知系统包括三维深度传感器、方向感知模块和图像处理器，所述方向感知模块、三维深度传感器均与图像处理器信号连接，且三维深度传感器安装在云台伸缩杆上，方向感知模块安装在草莓采摘车车体侧面；

所述行为意图融合控制系统包括运动控制模块、四轮驱动组合模块、制动保护模块和加速模块，所述四轮驱动组合模块、制动保护模块和加速模块均与运动控制模块信号连接；

所述自感知驾乘控制系统能实现采摘工况和前进工况；

所述采摘工况的判断方法为：同时满足采摘区间Ⅰ内有成熟草莓、手臂越过草莓高架且采摘人员上部躯干为侧身姿态；

所述前进工况的判断方法为：当采摘区间Ⅰ内没有成熟草莓、手臂从草莓高架收回且采摘人员上部躯干为正身姿态，触发前进工况一；当采摘区间Ⅰ上没有成熟草莓、手臂伸直并与草莓高架行成锐角且采摘人员上部躯干为侧身姿态，触发前进工况二；当采摘区间Ⅰ上没有成熟草莓、手臂前端点位于采摘空间Ⅱ内且采摘人员上部躯干为侧身姿态，触发前进工况三。

上述技术方案中，所述采摘区间Ⅰ和采摘空间Ⅱ的定义方法为：

分割出手臂前端点A、手臂关节点B以及手臂与肩部相交点C，获得A、B、C的点云坐标，根据C的点云坐标，以点C为圆点，二维空间(x，y)下，以AC最大长度为半径，作圆心角为λ的扇形，所述扇形与草莓高架重合部分即为采摘人采摘空间Ⅰ；所述扇形上边界、相机水平视场边线以及草莓高架内侧线围成的区域，为采摘空间Ⅱ。

上述技术方案中，所述成熟草莓的判别方法为：

定义红色阈值识别上边界和下边界，根据在采摘空间Ⅰ内是否识别到所述红色阈值，确定采摘区间Ⅰ内是否有成熟草莓。

上述技术方案中，所述手臂越过草莓高架的判别方法为：

当手臂前端点A和高架内侧线坐标相同，确定手臂与高架内侧线相交，在手臂前端点A与高架内侧线相交之前，手臂前端点A位于采摘区间Ⅲ，则手臂越过草莓高架，所述采摘区间Ⅲ是除采摘区间Ⅰ和采摘空间Ⅱ之外的相机视场范围。

上述技术方案中，所述手臂从草莓高架收回的判别方法为：

当手臂前端点A和高架内侧线坐标相同，确定手臂与高架内侧线相交，在手臂前端点A与高架内侧线相交之后，手臂前端点A位于采摘区间Ⅲ，则手臂越过草莓高架。

上述技术方案中，所述正身姿态的判别方法为：

当左肩部C与右肩部C’的点云坐标中z值的差处于阈值Δq内，且C的深度距离D_c1和C’的深度距离D_c2差值处于阈值Δo内，判断采摘人员上部躯干处于正身姿态。

上述技术方案中，所述侧身姿态的判别方法为：

当左肩部C与右肩部C’的点云坐标中z值的差处于阈值Δq内，且C的深度距离D_c1和C’的深度距离D_c2差值不处于阈值Δo内，判断采摘人员上部躯干处于侧身姿态。

上述技术方案中，所述手臂伸直的判别方法为：

设置阈值Δp，当AB、BC、AC的长度关系满足l_AB+l_BC-l_AC＜Δp，则手臂处于伸直状态。

上述技术方案中，所述手臂伸直并与草莓高架形成锐角为：

其中：x_AC和y_AC分别表示手臂长度的横纵坐标。

一种自感知驾乘控制方法，具体为：

草莓采摘车驶入草莓高架行间，开始对同一侧高架草莓进行采摘作业；

三维深度传感器1识别到草莓高架，并获得手臂前端点A、手臂关节点B以及手臂与肩部相交点C的三维深度信息和点云坐标，从而得到采摘人的手臂长度l_AC，根据点C的点云坐标和l_AC确定采摘空间Ⅰ、Ⅱ、Ⅲ；

在采摘区间Ⅰ内识别到成熟草莓，手臂越过草莓高架且采摘人员上部躯干为侧身姿态，触发采摘工况，草莓采摘车持续停止；

在采摘区间Ⅰ内未识别到成熟草莓，手臂从草莓高架收回且采摘人员上部躯干为正身姿态，触发前进工况一，草莓采摘车前进，方向感知模块实时调整方向，保持草莓采摘车前进方向和草莓高架平行；

在采摘区间Ⅰ内未识别到成熟草莓、手臂伸直并与草莓高架形成锐角且采摘人员上部躯干为侧身姿态，触发前进工况二，草莓采摘车前进；

在采摘区间Ⅰ内未识别到成熟草莓、手臂前端点位于采摘空间Ⅱ内且采摘人员上部躯干为侧身姿态，草莓采摘车前进；

当识别到手臂处于其他情况或者左肩部C与右肩部C’点云坐标中z值的差处于阈值Δq外，不触发工况，草莓采摘车保持原有运动状态，如此往复，直到高架草莓的收获作业完成。

本发明的有益效果为：本发明的自感知驾乘控制系统及方法，自感知驾乘控制系统包括行为意图融合感知系统和行为意图融合控制系统，行为意图融合感知系统通过采摘区间内高架成熟草莓、人体姿态、手臂状态的融合进行采摘工况和前进工况的判别，从而根据草莓目标和行为意图自主控制草莓采摘车走停；本发明完全摆脱人手操控草莓采摘车带来的精力消耗和身体大幅度扭身带来的劳动力消耗，实现采收高效率与低劳动力、舒适采摘，达到无介入自主感知控制草莓采摘车运动状态的效果。

附图说明

图1为其他草莓架驾乘采摘车采摘作业示意图；

图2为其他草莓架驾乘采摘车驾驶作业示意图；

图3为本发明所述草莓采摘车俯视结构示意图；

图4为本发明所述草莓采摘车侧视结构示意图；

图5为本发明所述三维深度传感器配置示意图；

图6为本发明所述采摘空间划分示意图；

图7为本发明所述采摘人乘坐时侧身姿态示意图；

图8为本发明所述采摘人乘坐时手臂分割点示意图；

图9为本发明所述草莓采摘车行间驾乘采收作业的流程图；

图中，1-三维深度传感器、2-图像处理器、3-运动控制模块、4-方向感知模块、5-旋转座椅、6-云台伸缩杆、7-草莓高架、8-手臂、9-肩部、10-水平视场边线、11-果篮、13-地面、14-草莓高架内侧线、15-四轮驱动组合模块、16-制动保护模块、17-加速模块。

具体实施方式

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

如图1和图2所示，莓农采摘过程中采摘和驾驶来回切换，在生产中，莓农乘坐草莓采摘车对栽培高架内所有成熟草莓进行采摘，采摘中身体来回扭动、双手伸直采摘草莓，在对单侧草莓进行采摘的同时还需操控草莓采摘车，注意力在草莓采摘和操控驾驶之间频繁切换，疲于兼顾，所以要开发单人乘坐式草莓采摘车，单人轻松快速完成采摘和操控驾驶，并实现以下目标：

(1)最大程度减轻不断重复采摘动作的人体疲劳，减少来自操控草莓采摘车行走环节和草莓采摘环节带来的操控疲劳，人眼不用一直观测草莓采摘车运动状态，精力和体力集中于采收环节，不会引起人体额外疲劳，同时采摘者一直以舒适的姿态完成采收，不需伸直胳膊采摘，身体不需大幅度扭动；

(2)最大程度提高全程采摘作业效率，减少操控驾驶对精力的占用环节，把精力主要投入在采摘作业中，草莓采摘车自主行走，人只需进行采收和放果，实现采收周期内，一片区域的采摘动作即将完成，后一片区域的采摘动作立刻延续，减少人体操控环节和人本身向前走的过程。

该草莓采摘车通过自感知控制系统获得采摘意图并自主控制草莓采摘车走停，人体全部精力和人的动作全部集中于采摘，实现采摘全程的采摘车操控驾驶完全摆脱对人的注意力和人手的依赖性，从而大大减少采摘过程中采摘车操控的不断精力-动作占用，有效提高采摘效率。

草莓采摘车的自感知驾乘控制系统包括行为意图融合感知系统和行为意图融合控制系统。

如图3、4所示，行为意图融合感知系统包括云台伸缩杆6、三维深度传感器1、方向感知模块4、图像处理器2；方向感知模块4安装在车体两侧，方向感知模块4的信号输出端接入图像处理器2的I/O口；三维深度传感器1安装于车体的云台伸缩杆6上，通过云台伸缩杆6对三维深度传感器1进行高度调整，使三维深度传感器1在有效深度探测距离D₂内对人体姿态行为和草莓高架7进行识别，三维深度传感器1与图像处理器2进行信号连接；三维深度传感器1获取采摘行为信息，方向感知模块4获取草莓采摘车空间位置信息，采集信息发送给图像处理器2，对其进行融合处理并转换为数字信息。在实际使用时，方向感知模块4可以为接近开关。

如图3图4所示，行为意图融合控制系统包括运动控制模块3、四轮驱动组合模块15、制动保护模块16和加速模块17，其中制动保护模块16和加速模块17的信号接入运动控制模块3的I/O口，运动控制模块3接入四轮驱动组合模块15的I/O口，行为意图融合控制系统要求运动控制模块3接收行为意图融合感知系统发送的数字信息并转换为速度和方向指令，并对四轮驱动组合模块15发送命令，四轮驱动组合模块15采用差速原理对草莓采摘车的运动状态进行调整，包括：前进、停止和方向调整，其中制动保护模块16包括制动机械结构和制动信号接收，通过制动机械结构闭合，制动信号接收被触发，控制草莓采摘车底盘紧急制动达到保护作用，由加速模块17对草莓采摘车进行加速。本实施例中，运动控制模块3为STM32F104单片机，四轮驱动组合模块15为轮毂电机伺服驱动器，制动保护模块16为刹车踏板+接近开关，加速模块17为加速踏板+接近开关。

行为意图融合感知系统内的三维深度传感器1通过红外光源的主动反射和漫反射接收，在视场内获得对象的三维深度信息(φ_i，θ_i，D_j(φ，θ))和点云坐标(x，y，z)，其中φ_i为对象的水平角坐标，θ_i为对象的竖直角坐标，D_j(φ，θ)为坐标点(φ，θ)对象深度值，三维深度传感器1的有效深度探测范围为[D₁，D₂]，三维深度传感器1的视场范围内：水平视场的角度范围φ₁，竖直视场的角度范围θ₁，以RealSenseD435型深度传感器作为本实施例的三维深度传感器1，其水平视场的角度范围和竖直视场的角度范围分别为91.2°和65.5°。

行为意图融合感知系统要求在三维深度传感器1的竖直视场和水平视场内可以对人体上部躯干、手臂8及近单侧草莓高架7实现识别。

如图5所示，三维深度传感器1的水平取景面沿地面向下倾斜β角度，β＝θ₁/2。采摘作业时，三维深度传感器1到草莓高架7的竖直距离D₀与三维深度传感器1最小有效深度探测值D₁一致；三维深度传感器1的竖直取景面与草莓采摘车车身夹角成α，本实施例中α取0°，即三维深度传感器1与车身平行，三维深度传感器1的水平取景面与地面13平行；三维深度传感器1距地面13的高度为H₁，H₁∈[1.2[H]，1.5[H₀]]，保证在视场范围内可以获得人体上部躯干、手臂8及草莓高架7三维信息，其中[H]为草莓高架7的高度、[H₀]为旋转座椅5的高度。

如图6所示，基于人手舒适采摘行为划分人体舒适采摘空间。通过矩阵转换建立(x，y)面平行于水平面的三维坐标系，由于手臂8采摘过程中高度不相同，故只考虑二维坐标(x，y)；基于Harris关键点云提取方法分割出手臂前端点A、手臂关节点B以及手臂与肩部相交点C(如图8所示)，获得A、B、C的点云坐标；根据C的点云坐标，以点C为圆点，二维空间(x，y)下，实际采摘得到的AC最大长度为半径，作圆心角为λ的扇形，该扇形与草莓高架7重合部分即为采摘人舒适采摘空间Ⅰ。草莓采摘车和草莓高架7平行，即坐标系中y轴和草莓高架7平行，确定经过C点上对称线的二维直线方程为：

下对称线的二维直线方程为：y＝y_c，通过草莓高架7的直线特征，获得草莓高架7两侧边缘点云坐标(x_h1,y_h1)(位于草莓高架内侧线14上)和(x_h2,y_h2)，从而确定舒适采摘空间Ⅰ的二维坐标区间为：x∈(x_h1，x_h2)、

采摘空间Ⅱ(扇形上边界、相机水平视场边线10以及草莓高架内侧线14围成的区域)的二维坐标区间为：x∈(x_h1，x_h2)、

其余视场范围为采摘空间Ⅲ；由点A坐标位于哪个空间内，判断采摘手臂位于的采摘空间；其中x_c、y_c为点C的横纵坐标。本实施例中根据获得的AC坐标信息、λ角度大小获得采摘空间的区间坐标信息。

自感知驾乘控制系统包括2种工况：采摘工况和前进工况。

其中采摘工况的判断准则为：同时满足采摘区间Ⅰ有成熟草莓、手臂8越过草莓高架7且上部躯干为侧身姿态时，说明采摘人准备开始采摘，触发采摘工况。

其中采摘区间Ⅰ有成熟草莓的识别方法为：定义红色阈值识别上边界和下边界，根据在舒适采摘空间Ⅰ内识别到定义的红色阈值，确定采摘区间Ⅰ有成熟草莓。本实施例中，红色阈值上边界为(0，127，128)、下边界为(10，255，255)。

其中手臂8越过草莓高架7的识别方法为：手臂前端点A和草莓高架内侧线14坐标相同，确定手臂8和高架内侧线14相交；在手臂前端点A和高架内侧线14相交之前，手臂前端点A位于采摘区间Ⅲ，则确定手臂8越过草莓高架7。

其中上部躯干为侧身姿态的识别方法为：如图7所示，上部躯干存在正身侧身、左肩部C与右肩部C’高度不一致情况，根据C与C’点云坐标中z值的差处于阈值Δq内，确定左右肩部9高度相同，当左右肩部9高度相同时，检测到C与C’深度距离D_c1与D_c2的差值不处于阈值Δo内，则判断上部躯干处于侧身姿态；当左右肩部的z值的差在阈值Δq外，即左右肩部9高度不相同时，不能进行正身侧身姿态判断；本实施例中Δq取5cm，Δo取8cm，即肩部9两端相对相机距离相差8cm内，判定为正身姿态，否则为侧身姿态。

综合采摘作业实际情况，采摘工况的判断方法为：当采摘区间Ⅰ上识别到草莓处于红色阈值边界内、手臂8越过草莓高架7且上部躯干为侧身，触发采摘工况。

其中前进工况的判断准则一为：同时满足采摘区间Ⅰ上不存在成熟草莓、手臂8从草莓高架7收回且上部躯干为正身姿态时，说明附近草莓已经采净，触发前进工况一。

其中采摘区间Ⅰ上不存在成熟草莓的识别方法为：在舒适采摘空间Ⅰ内没有识别到定义的红色阈值，确定采摘区间Ⅰ上没有成熟草莓。

其中手臂8从草莓高架7收回的识别方法为：在手臂前端点A和高架内侧线14相交之后，手臂前端点A位于采摘区间Ⅲ，确定手臂8从高架内侧线14收回。

其中上部躯干为正身姿态的识别方法为：如图7所示，根据C与C’点云坐标中z值的差处于阈值Δq内，且C与C’深度距离D_c1与D_c2的差值处于阈值Δo内，判断处于正身姿态。

其中前进工况的判断准则二：同时满足采摘区间Ⅰ上不存在成熟草莓果、手臂8伸直并和草莓高架7成一定角度

且上部躯干为侧身三个条件时，说明人手已难舒适采到成熟草莓，有前倾甚至手臂8往前够的意图，触发前进工况二。

其中手臂8伸直和草莓高架7成一定角度

的识别方法为：根据获得的三维深度信息(φ_i，θ_i，D_j(φ，θ))，分别获得点A与点B、点B与点C、点A与点C之间的夹角，根据公式

(γ为夹角)，获取AB、BC、AC的长度(即公式中的c)，其中a、b分别表示相机坐标原点与A或B或C之间的距离；设置阈值Δp，当AB、BC、AC的长度关系满足：l_AB+l_BC-l_AC≥Δp，判断手臂8处于弯曲状态；当AB、BC、AC的长度关系满足：l_AB+l_BC-l_AC＜Δp，判断手臂8处于伸直状态。根据获得A、C点的点云坐标，得到手臂8在x轴和y轴(是相机坐标系)的映射长度，由于草莓高架7和y轴平行，手臂8和草莓高架7的锐角夹角即是手臂8和y轴的夹角，根据公式：

求出

角大小，即草莓高架7和手臂8伸直状态时围成的角度。本实施例中，Δp取5cm，

其中前进工况的判断准则三为：同时满足采摘区间Ⅰ上不存在成熟草莓果、手臂前端A位于采摘空间Ⅱ内且上部躯干为侧身姿态时，说明采摘人处于不舒适采摘状态，触发前进工况三。

其中手臂前端位于采摘空间Ⅱ的识别方法为，根据手臂前端点A位于采摘空间Ⅱ中，确定手臂8位于采摘空间Ⅱ内。

综合前进作业综合情况，前进工况的判断方法为：

当采摘区间Ⅰ上没有识别到红色阈值边界内的草莓、手臂8从草莓高架7收回且上部躯干为正身姿态，触发前进工况一；当采摘区间Ⅰ上没有识别到红色阈值边界内的草莓、手臂8伸直并与草莓高架7形成角度

且上部躯干为侧身姿态，触发前进工况二；当采摘区间Ⅰ上没有识别到红色阈值边界内的草莓、手臂前端位于采摘空间Ⅱ内且上部躯干为侧身姿态，触发前进工况三。

如图9所示，自感知驾乘控制方法中，运动控制模块3实时接收行为意图融合感知系统获得的采摘变化信息，自主控制草莓采摘车运动状态，具体的方法包括：

步骤一：莓农乘坐草莓采摘车驶入草莓高架7行间，并开始对同一侧高架草莓进行采摘作业；

步骤二：三维深度传感器1分割出手臂前端点A、手臂关节点B以及手臂与肩部相交点C，并识别到草莓高架7，并获得点A、B和C三维深度信息(φ_i，θ_i，D_j(φ，θ))和点云坐标(x,y,z)，以及采摘人手臂8长度l_AC，根据点C的点云坐标和l_AC确定采摘空间Ⅰ、Ⅱ、Ⅲ的坐标区间；

步骤三：根据确定的采摘空间，三维深度传感器1在采摘区间Ⅰ内识别到上边界为(0，127，128)、下边界为(10，255，255)的红色阈值，从而确定采摘区间Ⅰ上有成熟草莓；识别手臂前端点A和高架内侧线14坐标相同，且在这之前手臂前端点A位于采摘区间Ⅲ、左肩部C与右肩部C’点云坐标中z值的差处于阈值Δq内、C与C’深度距离D_c1与D_c2差值不处于阈值Δo内，触发采摘工况，草莓采摘车持续停止；

步骤四：在采摘区间Ⅰ内未识别到红色阈值内像素点，识别到手臂前端点A和高架内侧线坐标相同，且在这之前手臂前端点A位于采摘区间Ⅰ、左肩部C与右肩部C’的点云坐标中z值的差处于阈值Δq内、C与C’深度距离D_c1与D_c2差值处于阈值Δo内，触发前进工况一，草莓采摘车前进，方向感知模块4实时调整方向，保持草莓采摘车前进方向和高架平行；

步骤五：在采摘区间Ⅰ内未识别到红色阈值内像素点，获取AB、BC、AC的长度，当l_AB+l_BC-l_AC在阈值Δp内，计算得到手臂8和草莓内侧线14的锐角夹角

左肩部C与右肩部C’的点云坐标中z值的差处于阈值Δq内、C与C’深度距离D_c1与D_c2的差值不处于阈值Δo内，触发前进工况二，草莓采摘车前进；

步骤六：在采摘区间Ⅰ内未识别到红色阈值内像素点，手臂前端点A位于采摘空间Ⅱ上、左肩部C与右肩部C’点云坐标中z值的差处于阈值Δq内、且C与C’深度距离D_c1与D_c2的差值处于阈值Δo内，触发前进工况三，草莓采摘车前进；

步骤七：当识别到手臂8处于其他情况或者左肩部C与右肩部C’的点云坐标中z值的差处于阈值Δq外，不触发工况，草莓采摘车保持原有运动状态，如此往复，直到高架草莓的收获作业完成。

通过往复循环采收作业，采摘人只需要把全部精力投入到采摘作业中，并且草莓采摘车上装有果篮11，通过把采收的草莓放入草莓采摘车上果篮11中，减少采摘人用手去拖装满草莓的果篮带来的劳动力消耗，大幅度提高采收作业效率。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (10)

1.一种草莓高效采收作业的自感知驾乘控制系统，其特征在于，包括行为意图融合感知系统和行为意图融合控制系统；

所述行为意图感知系统包括三维深度传感器(1)、方向感知模块(4)和图像处理器(2)，所述方向感知模块(4)、三维深度传感器(1)均与图像处理器(2)信号连接，且三维深度传感器(1)安装在云台伸缩杆(6)上，方向感知模块(4)安装在草莓采摘车车体侧面；

所述行为意图融合控制系统包括运动控制模块(3)、四轮驱动组合模块(15)、制动保护模块(16)和加速模块(17)，所述四轮驱动组合模块(15)、制动保护模块(16)和加速模块(17)均与运动控制模块(3)信号连接；

所述自感知驾乘控制系统能实现采摘工况和前进工况；

所述采摘工况的判断方法为：同时满足采摘区间Ⅰ内有成熟草莓、手臂(8)越过草莓高架(7)且采摘人员上部躯干为侧身姿态；

所述前进工况的判断方法为：当采摘区间Ⅰ内没有成熟草莓、手臂(8)从草莓高架(7)收回且采摘人员上部躯干为正身姿态，触发前进工况一；当采摘区间Ⅰ上没有成熟草莓、手臂(8)伸直并与草莓高架(7)形成锐角且采摘人员上部躯干为侧身姿态，触发前进工况二；当采摘区间Ⅰ上没有成熟草莓、手臂前端点位于采摘空间Ⅱ内且采摘人员上部躯干为侧身姿态，触发前进工况三。

2.根据权利要求1所述的草莓高效采收作业的自感知驾乘控制系统，其特征在于，所述采摘区间Ⅰ和采摘空间Ⅱ的定义方法为：

分割出手臂前端点A、手臂关节点B以及手臂与肩部相交点C，获得A、B、C的点云坐标，根据C的点云坐标，以点C为圆点，二维空间(x，y)下，以AC最大长度为半径，作圆心角为λ的扇形，所述扇形与草莓高架(7)重合部分即为采摘人采摘空间Ⅰ；所述扇形上边界、相机水平视场边线(10)以及草莓高架内侧线(14)围成的区域，为采摘空间Ⅱ。

3.根据权利要求2所述的草莓高效采收作业的自感知驾乘控制系统，其特征在于，所述成熟草莓的判别方法为：

定义红色阈值识别上边界和下边界，根据在采摘空间Ⅰ内是否识别到所述红色阈值，确定采摘区间Ⅰ内是否有成熟草莓。

4.根据权利要求2所述的草莓高效采收作业的自感知驾乘控制系统，其特征在于，所述手臂(8)越过草莓高架(7)的判别方法为：

当手臂前端点A和高架内侧线(14)坐标相同，确定手臂(8)与高架内侧线(14)相交，在手臂前端点A与高架内侧线(14)相交之前，手臂前端点A位于采摘区间Ⅲ，则手臂(8)越过草莓高架(7)，所述采摘区间Ⅲ是除采摘区间Ⅰ和采摘空间Ⅱ之外的相机视场范围。

5.根据权利要求4所述的草莓高效采收作业的自感知驾乘控制系统，其特征在于，所述手臂(8)从草莓高架(7)收回的判别方法为：

当手臂前端点A和高架内侧线(14)坐标相同，确定手臂(8)与高架内侧线(14)相交，在手臂前端点A与高架内侧线(14)相交之后，手臂前端点A位于采摘区间Ⅲ，则手臂(8)越过草莓高架(7)。

6.根据权利要求1所述的草莓高效采收作业的自感知驾乘控制系统，其特征在于，所述正身姿态的判别方法为：

当左肩部C与右肩部C’的点云坐标中z值的差处于阈值Δq内，且C的深度距离D_c1和C’的深度距离D_c2差值处于阈值Δo内，判断采摘人员上部躯干处于正身姿态。

7.根据权利要求1所述的草莓高效采收作业的自感知驾乘控制系统，其特征在于，所述侧身姿态的判别方法为：

当左肩部C与右肩部C’的点云坐标中z值的差处于阈值Δq内，且C的深度距离D_c1和C’的深度距离D_c2差值不处于阈值Δo内，判断采摘人员上部躯干处于侧身姿态。

8.根据权利要求2所述的草莓高效采收作业的自感知驾乘控制系统，其特征在于，所述手臂(8)伸直的判别方法为：

设置阈值Δp，当AB、BC、AC的长度关系满足l_AB+l_BC-l_AC＜Δp，则手臂(8)处于伸直状态。

9.根据权利要求2所述的草莓高效采收作业的自感知驾乘控制系统，其特征在于，所述手臂(8)伸直并与草莓高架(7)形成锐角为：

其中：x_AC和y_AC分别表示手臂长度的横纵坐标。

10.一种根据权利要求1-9任一项所述的自感知驾乘控制系统的控制方法，其特征在于：

草莓采摘车驶入草莓高架(7)行间，开始对同一侧高架草莓进行采摘作业；

三维深度传感器1识别到草莓高架(7)，并获得手臂前端点A、手臂关节点B以及手臂与肩部相交点C的三维深度信息和点云坐标，从而得到采摘人的手臂(8)长度l_AC，根据点C的点云坐标和l_AC确定采摘空间Ⅰ、Ⅱ、Ⅲ；

在采摘区间Ⅰ内识别到成熟草莓，手臂(8)越过草莓高架(7)且采摘人员上部躯干为侧身姿态，触发采摘工况，草莓采摘车持续停止；

在采摘区间Ⅰ内未识别到成熟草莓，手臂(8)从草莓高架(7)收回且采摘人员上部躯干为正身姿态，触发前进工况一，草莓采摘车前进，方向感知模块(4)实时调整方向，保持草莓采摘车前进方向和草莓高架(7)平行；

在采摘区间Ⅰ内未识别到成熟草莓、手臂(8)伸直并与草莓高架(7)形成锐角且采摘人员上部躯干为侧身姿态，触发前进工况二，草莓采摘车前进；

在采摘区间Ⅰ内未识别到成熟草莓、手臂前端点位于采摘空间Ⅱ内且采摘人员上部躯干为侧身姿态，草莓采摘车前进；

当识别到手臂(8)处于其他情况或者左肩部C与右肩部C’点云坐标中z值的差处于阈值Δq外，不触发工况，草莓采摘车保持原有运动状态，如此往复，直到高架草莓的收获作业完成。

Images