CN112868415A - 一种基于5g网络的机器视觉园林花圃修剪设备的控制系统 - Google Patents

Abstract

本发明提出一种基于5G网络的机器视觉园林花圃修剪设备的控制系统，包括3D双目摄像头模块、导航模组、5G通信模组、行驶控制模块以及电源模块、切割机械臂控制模块以及边缘计算模块，边缘计算模块将3D双目摄像头模块采集的双目图像数据进行边缘计算处理，得出园林花圃修剪参数控制所述导航模组发出导航参数；基于导航参数和园林花圃修剪参数，调整切割机械臂控制模块的工作状态参数；所述设备还通过所述5G通信模组与云端服务器通信，从所述云端服务器下载服务路线图；云端服务器基于所述边缘计算模块输出的边缘计算处理结果进行后期的数据标注，进行神经网络模型的训练，并将训练后的神经网络模型更新至所述中央处理器。

Description

一种基于5G网络的机器视觉园林花圃修剪设备的控制系统

技术领域

本发明属于5G与人工智能技术领域，尤其涉及一种基于5G网络的机器视觉园林花圃修剪设备的控制系统。

背景技术

园林景观对城市环境绿化的改善作用、园林绿化在城市建设中起到的观赏性作用、园林绿化在现代社会和现代科学中的意义和园林绿化对当今社会所起到的重要性，使得园林绿化是城市建设不可缺少的重要组成部分。园林树木的修剪是城市园林养护管理的主要工作之一，树木的景观价值则需通过树形、树姿来体现，这就需要在修剪中得以调整和完善。

目前我国园林传统修剪方式主要以手工修剪枝杈为主，修剪效率低，而且质量较差，手工修剪剪切角度不一致，切口质量得不到保证；手工修剪机对环境适应性差，也无法高度自动化。

随着园林建设的发展，目前已经生产出适用于公路、城市道路和园林养护各种车载式绿化机械设备，大大节省劳动力，提高了修剪效率，减少了维护费用。

CN202011027961.3提出一种节能型园林修剪装置，包括机箱，所述机箱的前侧固定连接有扶手，第一活塞的前侧转动连接有第一运动杆，第一运动杆的中间位置转动连接有第一固定轴，第一运动杆的下侧转动连接有第二活塞，第二活塞的前侧转动连接有第二运动杆。该节能型园林修剪装置，通过第一连接轴带动第二转轴在其对应的弧线轨道上进行来回运动，从而带动第一活塞、第二活塞进行来回运动，使得带动第一运动杆、第二运动杆围绕相对应的第一固定轴、第二固定轴进行转动，从而对被除草辊切割后的草向机箱的两侧进行疏通，从而达到了节能化的防堵塞装置、使得草坪除草机行走顺畅和不会堵塞机器的效果。

中国实用新型专利CN212116313U则提出一种园林修剪机器人，包括机器人本体，所述机器人本体前端设置有机械臂转向基座，所述机械臂转向基座上设置有若干节相互连接的机械臂，所述机械臂与机械臂之间通过可做360度旋转运动的活动关节连接，所述若干节相互连接的机械臂其末端机械臂连接有机械臂转向基座，其首端机械臂与修剪轮连接，所述修剪轮上设置有修剪轮驱动电机，以传统人工修剪园林为基础，设计了可移动和可转向的方式，并且有机械臂组可旋转，升降能够自由调整高度以适应不同高度的园林修剪需求，可以实现复杂环境下园林中灌木的修剪。

然而，现有的修剪设备本身的控制不够智能，不能适应机器视觉园林花圃修剪设备的精确化控制要求。

发明内容

为解决上述技术问题，本发明提出一种基于5G网络的机器视觉园林花圃修剪设备的控制系统，包括3D双目摄像头模块、导航模组、5G通信模组、行驶控制模块以及电源模块、切割机械臂控制模块以及边缘计算模块，边缘计算模块将3D双目摄像头模块采集的双目图像数据进行边缘计算处理，得出园林花圃修剪参数控制所述导航模组发出导航参数；基于导航参数和园林花圃修剪参数，调整切割机械臂控制模块的工作状态参数；所述设备还通过所述5G通信模组与云端服务器通信，从所述云端服务器下载服务路线图；云端服务器基于所述边缘计算模块输出的边缘计算处理结果进行后期的数据标注，进行神经网络模型的训练，并将训练后的神经网络模型更新至所述中央处理器。

总体来说，本发明提出基于5G网络的机器视觉园林花圃修剪设备的控制系统，所述控制系统包括3D双目摄像头模块、导航模组、5G通信模组、行驶控制模块以及电源模块；

所述3D双目摄像头模块、导航模组、5G通信模组、行驶控制模块、电源模块均与中央控制器通信；

所述5G模块通过PCI3.0总线和中央处理器进行连接；

所述3D双目摄像头模组通过MIPI总线和中央处理单元进行连接；

所述行驶控制模块采用CAN总线和中央控制处理器进行连接；

作为主体的改进之一，所述控制系统还包括切割机械臂控制模块；

所述切割机械臂控制模块通过串行总线和中央处理器单元进行连接；

所述设备还包括边缘计算模块，所述边缘计算模块与所述3D双目摄像头模块通信，将所述3D双目摄像头模块采集的双目图像数据进行边缘计算处理，得出园林花圃修剪参数；

所述中央控制器基于所述园林花圃修剪参数控制所述导航模组发出导航参数；

基于所述导航参数和所述园林花圃修剪参数，所述中央控制器调整所述切割机械臂控制模块的工作状态参数，所述工作状态参数包括切割机械臂的切割高度和切割转速。

作为主体改进的关键性手段的具体体现之一，所述切割机械臂包括两组切割刀，每组切割刀由多个微型可旋转刀片构成；所述多个微型可旋转刀片分为至少三组，每组中的刀片的切割转速相同，不同组中的刀片的切割转速不同。

所述边缘计算单元获取所述双目图像数据后进行的所述边缘计算处理包括图像预处理、目标景深计算、目标区域密度计算以及目标周边距离阈值计算；

所述园林花圃修剪参数包括目标景深参数、目标区域密度以及目标周边距离参数；

所述中央控制器基于所述目标景深参数和所述目标区域密度，调整所述切割机械臂的每组切割刀的不同分组中的刀片的切割转速。

本发明的技术方案可以基于人工智能技术实现机器视觉园林花圃修剪设备的精确化控制。

本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的一种基于5G网络的机器视觉园林花圃修剪设备的控制系统的整体模块示意图

图2是被图1所述控制系统控制的机器视觉园林花圃修剪设备的整体外观示意图

图3是图1所述控制系统的电路框架示意图

图4是图2所述机器视觉园林花圃修剪设备使用的切割机械臂示意图

图5是图1所述控制系统实现图像识别的部分步骤示意图

图6是图1所述控制系统实现导航控制的部分步骤示意图

具体实施方式

下面，结合附图以及具体实施方式，对发明做出进一步的描述。

图1中，所述控制系统包括3D双目摄像头模块、导航模组、5G通信模组、行驶控制模块、电源模块、切割机械臂控制模块以及边缘计算模块。

图2示出了被图1所述控制系统控制的机器视觉园林花圃修剪设备的整体外观示意图。

图3则进一步给出了图1所述系统中不同模块的电路连接框架图。

在图3中，所述3D双目摄像头模块、导航模组、5G通信模组、行驶控制模块、电源模块均与中央控制器通信；

优选的，所述导航模块为北斗、GPS组合导航模块。

优选的，中央处理器采8nm FinFET制程，内置64bit ARM V8内核(2*A77 2.0GHz&6*A55 1.7GHz)，内置Adreno GPU 619和V66A 1.2GHz+Dual HVX，算力2.4T，运行神经网络模型。

所述5G模块通过PCI3.0总线和中央处理器进行连接，云端服务器可以通过5G网络下载运行任务路线，同时可以查看设备运行时的实时图像，图像视频采用H.265编码，并可以通过控制，改变设备的运行状态(如方向、速率、切割高度等)，同时云服务可以通过数据设备运行的环境数据，进行后期的数据标注，进行神经网络模型的训练。

所述3D双目摄像头模组通过MIPI总线和中央处理单元进行连接；

所述行驶控制模块采用CAN总线和中央控制处理器进行连接。

上述北斗、GPS模组采用L1+L5双频北斗、GPS定位，可同时接收两个频段的卫星信号，降低了电磁波信号的延迟影响，加速周道模糊的解算，实现定位精度的提高，中央处理器单元通过USB和北斗\GPS模组连接，实时获取设备运行的位置，同时和预的路线的地理位置坐标精确比较，如果运行出现偏航，将采取紧急报警、紧急制动。

上述3D双目摄像头模组通过MIPI总线和中央处理单元进行连接，CPU通过摄像头可以获取周围的图像，进行实时的目标检测，目标检测模型采用升级网络模型yoloV5,检测的目标物体包括但不限于当前环境的车辆、马路、红绿灯、行人、道路护栏、路灯、站牌、路障、绿化植被、斑马线、天桥和地下通道，形态信息包括物体的类型、大小、数量、CPU通过3D双目摄像头可以计算景深、可以实时获取设备和周围目标的距离，如果距离小于预警，将进行预警和制动，通过景深摄像头都可以判断花圃的高度，计算出可以需要切割花圃的高度。

结合图1-图3，本发明的所述控制系统工作原理可以概括如下：

所述切割机械臂控制模块通过串行总线和中央处理器单元进行连接；

所述设备还包括边缘计算模块，所述边缘计算模块与所述3D双目摄像头模块通信，将所述3D双目摄像头模块采集的双目图像数据进行边缘计算处理，得出园林花圃修剪参数；

所述中央控制器基于所述园林花圃修剪参数控制所述导航模组发出导航参数；

基于所述导航参数和所述园林花圃修剪参数，所述中央控制器调整所述切割机械臂控制模块的工作状态参数，所述工作状态参数包括切割机械臂的切割高度和切割转速。

进一步的，在图1-图3基础上，参见图4，作为本发明的进一步改进，

所述切割机械臂包括两组切割刀，每组切割刀由多个微型可旋转刀片构成；所述多个微型可旋转刀片分为至少三组，每组中的刀片的切割转速相同，不同组中的刀片的切割转速不同。

所述切割机械臂包括第一切割刀和第二切割刀，所述第一切割刀和所述第二切割刀的刀片排布方向对称相反。

基于此，在本实施例中，关键的技术手段包括：

所述边缘计算单元获取所述双目图像数据后进行的所述边缘计算处理包括图像预处理、目标景深计算、目标区域密度计算以及目标周边距离阈值计算；

所述园林花圃修剪参数包括目标景深参数、目标区域密度以及目标周边距离参数；

所述图片预处理包括对所述双目图像数据进行颜色空间转换，所述转换包括将RGB彩色图像转换为HSI彩色图像并提取分量S：

其中：R为彩色图像的红色分量；G为彩色图像的绿色分量；B为彩色图像的蓝色分量。

上述计算处理是考虑到边缘计算单元本身的处理能力有限的原因，能够充分利用边缘计算的优点。

在本发明中，所述边缘计算单元是指能够完成边缘计算的设备终端或者模块，可以便携式的嵌入到所述控制系统中。

边缘计算，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。其应用程序在边缘侧发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。

本实施例中，更特殊的，边缘计算是在靠近数据产生源段的一侧的本地计算，无需时刻与外界保持沟通，而仅在本地具备一定数据分析和处理能力的数据处理与引擎模型基础上，在本地独立进行数据分析和数据预测，其至少包括一种图像目标监测算法，从而获得各种状态参数。

作为更具体的技术手段，所述中央控制器基于所述目标周边距离参数控制所述导航模组发出导航参数；

基于所述导航参数和所述目标景深参数，所述中央控制器调整所述切割机械臂控制模块的切割高度；

基于所述导航参数和所述目标区域密度，所述中央控制器调整所述切割机械臂控制模块的切割转速。

所述中央控制器基于所述目标景深参数和所述目标区域密度，调整所述切割机械臂的每组切割刀的不同分组中的刀片的切割转速。

以图4为例，所述分组包括刀头组、刀中组和刀尾组，每组中的刀片的切割转速不同。

虽然未示出，但是在本发明的各个实施例中，所述设备通过所述5G通信模组与云端服务器通信，从所述云端服务器下载服务路线图；

所述云端服务器基于所述边缘计算模块输出的边缘计算处理结果进行后期的数据标注，进行神经网络模型的训练，并将训练后的神经网络模型更新至所述中央处理器。

在上述实施例中，3D双目摄像头的后续景深参数计算可以是如下方式：

参照图5右图，空间中一点P在左右相机中的成像点Pleft＝(Xleft,Yleft)，Pright＝(Xright,Yright)。将两相机固定在同一平面上，则点P在Y方向的坐标是相同的，即Yleft＝Yright＝Y。根据三角原理，可得

视差被定义为相同点在左右相机X方向的偏差，即：

Disparity＝Xleft-Xright。则点P在左相机坐标系下的位置可以表示为：

在图5基础上，上述3D双目摄像头模组通过MIPI总线和中央处理单元进行连接，CPU通过摄像头可以获取周围的图像，进行实时的目标检测，目标检测模型采用升级网络模型yoloV5,检测的目标物体包括但不限于当前环境的车辆、马路、红绿灯、行人、道路护栏、路灯、站牌、路障、绿化植被、斑马线、天桥和地下通道，形态信息包括物体的类型、大小、数量、CPU通过3D双目摄像头可以计算景深、可以实时获取设备和周围目标的距离，如果距离小于预警，将进行预警和制动，通过景深摄像头都可以判断花圃的高度，计算出可以需要切割花圃的高度。

切割机械臂主要通过串行总线和中央处理器单元进行连接；中央处理器通过运行神经网络模型，识别花圃，并计算花圃的高度和宽度，从而调整切割机械臂的高度和伸缩的长度，部分工作流程如图5左图。

接下来参见图6。行驶控制模块采用CAN总线和中央控制处理器进行连接，履带移动底盘具有牵引力大、不易打滑、越野性能好等优点，同时具有一定的爬波能力，本发明设计的爬波角度最大是30度，控制流程如图6。

所述行驶控制模块采用履带式底盘，所述履带式底盘采用三个速度控制向量，所述三个速度控制向量基于当前已有的三个速度值确定，具体表现为：

其中，X/Y/Z为当前已有的三个速度值分量，V1-V3为三个速度控制向量。

实践证明，本发明的技术方案可以基于人工智能技术实现机器视觉园林花圃修剪设备的精确化控制。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于5G网络的机器视觉园林花圃修剪设备的控制系统，所述控制系统包括3D双目摄像头模块、导航模组、5G通信模组、行驶控制模块以及电源模块；

所述3D双目摄像头模块、导航模组、5G通信模组、行驶控制模块、电源模块均与中央控制器通信；

所述5G模块通过PCI3.0总线和中央处理器进行连接；

所述3D双目摄像头模组通过MIPI总线和中央处理单元进行连接；

所述行驶控制模块采用CAN总线和中央控制处理器进行连接；

其特征在于：

所述控制系统还包括切割机械臂控制模块；

所述切割机械臂控制模块通过串行总线和中央处理器单元进行连接；

所述设备还包括边缘计算模块，所述边缘计算模块与所述3D双目摄像头模块通信，将所述3D双目摄像头模块采集的双目图像数据进行边缘计算处理，得出园林花圃修剪参数；

所述中央控制器基于所述园林花圃修剪参数控制所述导航模组发出导航参数；

基于所述导航参数和所述园林花圃修剪参数，所述中央控制器调整所述切割机械臂控制模块的工作状态参数，所述工作状态参数包括切割机械臂的切割高度和切割转速。

2.如权利要求1所述的一种基于5G网络的机器视觉园林花圃修剪设备的控制系统，其特征在于：

所述切割机械臂包括两组切割刀，每组切割刀由多个微型可旋转刀片构成；所述多个微型可旋转刀片分为至少三组，每组中的刀片的切割转速相同，不同组中的刀片的切割转速不同。

3.如权利要求1所述的一种基于5G网络的机器视觉园林花圃修剪设备的控制系统，其特征在于：

所述切割机械臂包括第一切割刀和第二切割刀，所述第一切割刀和所述第二切割刀的刀片排布方向对称相反。

4.如权利要求2所述的一种基于5G网络的机器视觉园林花圃修剪设备的控制系统，其特征在于：

所述边缘计算单元获取所述双目图像数据后进行的所述边缘计算处理包括图像预处理、目标景深计算、目标区域密度计算以及目标周边距离阈值计算；

所述园林花圃修剪参数包括目标景深参数、目标区域密度以及目标周边距离参数；

所述图片预处理包括对所述双目图像数据进行颜色空间转换，所述转换包括将RGB彩色图像转换为HSI彩色图像并提取分量S：

其中：R为彩色图像的红色分量；G为彩色图像的绿色分量；B为彩色图像的蓝色分量。

5.如权利要求4所述的一种基于5G网络的机器视觉园林花圃修剪设备的控制系统，其特征在于：

所述中央控制器基于所述目标周边距离参数控制所述导航模组发出导航参数；

基于所述导航参数和所述目标景深参数，所述中央控制器调整所述切割机械臂控制模块的切割高度；

基于所述导航参数和所述目标区域密度，所述中央控制器调整所述切割机械臂控制模块的切割转速。

6.如权利要求4所述的一种基于5G网络的机器视觉园林花圃修剪设备的控制系统，其特征在于：

所述中央控制器基于所述目标景深参数和所述目标区域密度，调整所述切割机械臂的每组切割刀的不同分组中的刀片的切割转速。

7.如权利要求1-6任一项所述的一种基于5G网络的机器视觉园林花圃修剪设备的控制系统，其特征在于：

所述设备通过所述5G通信模组与云端服务器通信，从所述云端服务器下载服务路线图；

所述云端服务器基于所述边缘计算模块输出的边缘计算处理结果进行后期的数据标注，进行神经网络模型的训练，并将训练后的神经网络模型更新至所述中央处理器。

8.如权利要求1-6任一项所述的一种基于5G网络的机器视觉园林花圃修剪设备的控制系统，其特征在于：

所述行驶控制模块采用履带式底盘，所述履带式底盘采用三个速度控制向量，所述三个速度控制向量基于当前已有的三个速度值确定。

9.如权利要求7所述的一种基于5G网络的机器视觉园林花圃修剪设备的控制系统，其特征在于：

所述中央处理器通过USB和导航模组连接，实时获取设备运行的位置，同时和所述下载服务路线图比较，若运行出现偏航，将采取紧急报警以及紧急制动措施。

10.如权利要求1-6任一项所述的一种基于5G网络的机器视觉园林花圃修剪设备的控制系统，其特征在于：

所述边缘计算单元配置可更新的目标监测模型，所述目标监测模型包括网络模型yoloV5。

Images