CN114868514A - 一种基于智能割草机器人的草坪3d打印系统和方法 - Google Patents

一种基于智能割草机器人的草坪3d打印系统和方法 Download PDF

Info

Publication number
CN114868514A
CN114868514A CN202210388929.0A CN202210388929A CN114868514A CN 114868514 A CN114868514 A CN 114868514A CN 202210388929 A CN202210388929 A CN 202210388929A CN 114868514 A CN114868514 A CN 114868514A
Authority
CN
China
Prior art keywords
lawn
mowing
information
robot
mowing robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210388929.0A
Other languages
English (en)
Other versions
CN114868514B (zh
Inventor
周彬
夏启
余贵珍
王章宇
韩知轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202210388929.0A priority Critical patent/CN114868514B/zh
Publication of CN114868514A publication Critical patent/CN114868514A/zh
Application granted granted Critical
Publication of CN114868514B publication Critical patent/CN114868514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D34/00—Mowers; Mowing apparatus of harvesters
    • A01D34/006—Control or measuring arrangements
    • A01D34/008—Control or measuring arrangements for automated or remotely controlled operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Environmental Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Guiding Agricultural Machines (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及智能割草机器人研究开发技术领域，提供了一种基于智能割草机器人的草坪3D打印系统和方法。该方法包括：找到符合设定训练特征的草坪，基于各种网络进行模型搭建与训练，启动边界识别程序，将输出的草坪边界坐标信息与图案信息共同传输至车端计算部分，输出全局路径，并结合割草机器人的往复运动特性进行轨迹优化，保存为.log文档的全局路径；启动机器人定位与障碍物检测程序，输出割草机器人实时位置信息与障碍物信息；并输出运动状态与割草状态，实现割草机器人往复运动与刀盘运动，进行3D打印；实现避障。本发明提高定位效果的同时降低成本，实现覆盖割草的同时能够进行3D打印，并提高了割草效率和控制精度。

Description

一种基于智能割草机器人的草坪3D打印系统和方法
技术领域
本发明涉及智能割草机器人研究开发技术领域，尤其涉及一种基于智能割草机器人的草坪3D打印系统和方法。
背景技术
随着国家对生态文明建设愈发重视，从路政绿化到小区公园，从户外休闲到娱乐竞技，草坪无处不在，因为其市场广需求明确，草坪维护美化有巨大发展潜力。小型线控底盘发展成熟，以其为基础，安装刀盘并部署无人驾驶系统，即构成了智能割草机器人。智能割草机人依靠建图定位与规划控制实现户外自主无人化割草，提高效率节省时间人工成本。
目前对于智能割草相关专利、研究逐渐成为热门，现有智能割草机器人考虑的基本为户外场景。与室内不同，户外场景相对复杂，不确定因素多，对底盘与算法要求高。目前对于户外智能割草机器人，有采用电子围栏的方法，通过布置的磁感线设置人工边界，利用设置好的算法控制机器人在范围内按预定轨迹或无序运动。例如，中国专利公开号CN113552874A，发明名称为《智能割草系统》，主要提供了一种基于电子围栏的智能割草系统开发思路；通过接收边界发射的周期性信号确定割草机在边界内还是边界外，从而实现在草坪边界范围内的自主割草。由于该发明基于电子围栏，且只是提供了一种判断方法，并未涉及割草机器人的规划控制，其搭建成本高，且工作效率无法得到保障。也有利用UWB(Ultra Wide Band)方案来进行地图建立与定位指导机器人运动。上述方案需要在草坪周围安装磁导线，部署复杂，无法根据不同场景需求灵活应用，造成落地困难、成本高等问题。针对上述问题有学者也提出了基于差分GPS定位方案，可利用卫星导航完成定位，并基于定位结果进行规划控制，该方案成本高，无法做到市场化部署。同时也有视觉建图的方案，通过安装在底盘上的深度相机进行视觉建图；通过相机实现视觉建图定位的方法，一定程度上解决了场地成本问题，但底盘视界有限，易受杂草影响，定位精度很难达到实际使用需求。
除此之外，对于智能割草机器人现有研究大多停留在自主割草上，提出了较多的定位建图与规划控制方案，但涉及草坪美化等方向研究较少，无法满足当今社会对智能割草机人的多功能要求。
发明内容
有鉴于此，本发明提供了一种基于智能割草机器人的草坪3D打印系统和方法，以解决现有技术中智能割草机器人使用功能单一的问题。
第一方面，本发明提供了一种基于智能割草机器人的草坪3D打印系统，包括：感知定位模块、图案输出模块、决策模块、控制模块，
所述感知定位模块，用于草坪边界识别以获得草坪边界坐标信息，将所述草坪边界坐标信息传输至图案输出模块，通过相机与底盘里程计实现联合定位、通过相机实现障碍物检测，获得实时割草机器人位置信息、障碍物信息，并将所述实时割草机器人位置信息、障碍物信息传输给决策模块与控制模块；
所述图案输出模块，用于根据所述草坪边界坐标信息进行全局路径规划，并根据输入的割草区域内图案点信息，在原全局路径规划点上加入所述割草区域内图案信息获得全局路径点，并将将所述全局路径点组成的全局路径生成.log文档保存至车载计算单元，提供决策模块读取；
所述决策模块，用于基于所述全局路径点，确定割草机器人运动状态，并将决策信息传输至控制模块；
所述控制模块，用于基于所述割草机器人运动状态，输出控制量使割草机器人往复运动，并按照所述图案信息进行升降割草，从而实现草坪的3D打印；同时根据所述感知定位模块输出的所述障碍物信息实现动态避障，保证安全。
进一步地，所述感知定位模块包括草坪边界识别单元、割草机器人定位单元和障碍物检测单元。
进一步地，所述草坪边界识别单元，用于通过深度相机记录草坪信息，基于Resnet_50训练的网络模型进行特征提取，以获得草坪边界，通过图片像素、草坪实际尺寸以及深度相机相对位置，获得所述草坪边界坐标信息；
所述割草机器人定位单元，用于包括割草机器人里程计信息，将位置计算后得到的所述实时割草机器人位置信息作为实时基础坐标；通过所述深度相机记录割草机器人割草时的草坪图片，基于Yolo_V5训练的网络模型进行割草机器人位置追踪，当追踪到机器人到达草坪边界后消除实时基础坐标累计误差，获得相机与里程计联合定位后的割草机器人位置坐标；
所述障碍物检测单元，基于Yolo_V5训练的网络模型进行割草区域内障碍物检测，输出障碍物在割草区域内坐标，并将其换算为割草机器人相对坐标。
进一步地，所述图案输出模块，包括路径规划单元和图案处理单元。
进一步地，所述路径规划单元，用于通过所述草坪边界坐标信息，人为指定割草方向，完成覆盖式路径规划，并结合割草机器人往复式割草的运动特性，对规划路径进行优化；
所述图案处理单元，用于读取输入的图案的灰度信息确定图案区域，确定图案点坐标信息与高度信息，将其与路径规划单元输出的路径点结合，得到带有图案信息的全局路径。
进一步地，所述决策模块包括运动行为决策单元和割草行为决策单元。
进一步地，所述运动行为决策单元，用于基于割草机器人不同位置确定不同的运动状态，其中，运动状态包括：前进行驶、只前进、倒车行驶、只倒车、临时停车；对应控制模块运动控制单元；
所述割草行为决策单元，用于基于所述带有图案信息的全局路径，进行割草行为决策，其中，割草行为决策包括：电机开闭、升降动作；对应控制模块割草控制单元。
进一步地，所述控制模块包括包括运动控制单元和割草控制单元。
进一步地，所述运动控制单元，用于基于动态避障DWA(Dynamic WindowApproach)与传统PID(Proportion Integration Differentiation)混合的控制方案输出控制量，以提高轨迹跟踪控制精度的目的的同时满足避障需求；
所述割草控制单元，用于在接收割草行为决策信息后，将路径点上图案信息转换为刀盘控制量，具体包括：将升降时间与刀盘高度对应，将图案点坐标与刀盘电机开闭对应。
第二方面，本发明提供了一种基于智能割草机器人的草坪3D打印方法，包括：
S1神经网络搭建与预训练；
S11基于Resnet_50搭建草坪边界识别网络，用于草坪边界识别，通过图片分类公开数据集进行预训练；
S12基于Yolo_V5搭建割草机器人位置追踪网络，用于割草机器人位置追踪，通过车辆追踪所述图片分类公开数据集进行预训练；
S13基于Yolo_V5搭建障碍物检测网络，用于草坪障碍物检测，通过障碍物检测所述图片分类公开数据集进行预训练；
S2所述图片分类数据集建立与模型训练
S21找到符合设定训练特征的草场，并找到全面覆盖草坪、且草坪边界清晰无遮挡的位置，安装相机；
S22在不同光照条件下拍摄所述草坪图片，并人工进行草坪边界标注，制作用于草坪边界识别的数据集；
S23所述割草机器人在草坪边界内往复行驶、在草坪边界上行驶，拍摄图片保存，并人工进行标注草坪边界区域内是否有割草机器人，制作用于割草机器人检测的数据集；
S24在草地上放置障碍物，拍摄图片并对所述障碍物进行人工标注，制作用于障碍物检测的数据集，其中，障碍物包括石头，枯木；
S25将所述割草机器人检测的数据集和所述障碍物检测的数据集分别放入所述Yolo_V5网络进行训练，具体包括：草坪边界识别的网络输入为所述草坪图片，输出为所述草坪边界坐标信息；割草机器人位置追踪的网络输入为含割草机器人的草坪图片，输出为割草机器人到达草坪边界位置信息，障碍物检测的网络输入为含障碍物的草场图片，输出为障碍物坐标信息；
S26将所述草坪边界坐标信息、割草机器人到达草坪边界位置信息和所述障碍物坐标信息保存，并部署至路测计算单元；
S3实际支架安装与相机标定
S31根据实际草坪情况寻找合适位置安装支架，调节至合适高度，并将相机固定进行角度确定；
S32进行照片拍摄输入网络判断识别精度，选择准确率最高的位置，完成安装后利用深度相机拍摄标定图像，通过草坪实际尺寸与保存图片分辨率确定比例参数，并根据相机安装角度、高度进行坐标转换，消除畸变，为感知定位模块提供初始参数；
S4草坪边界识别
在路侧计算单元启动草坪边界识别程序，深度相机拍摄草坪图片，输入事先保存的神经网络中，输出草坪边界坐标信息，并传输至车端计算部分；完成传输后退出该程序；
S5全局路径生成
在车端计算部分启动图案输出程序，人为指定割草方向，根据草坪边界坐标信息，确定割草机器人起点以及终点，利用覆盖式规划算法在每个设定距离生成一个路径点，生成初始的全局路径，在初始的全局路径基础上进行坐标转化，并结合割草机器人的往复运动特性对轨迹进行优化；
S6图案点匹配
对于所述图案信息，图案输出模块根据输入图片的灰度值提取需割草区域点并确定割草高度，与S5中不带图案信息的全局路径结合，得到最终的全局路径文件，将路径文件以.log形式保存方便决策模块读取；完成传输后退出图案输出程序；
S7定位与障碍物检测
在所述路侧计算单元启动机器人定位程序与障碍物检测程序，通过所述深度相机与所述里程计输出割草机器人实时位置信息，通过深度相机输出检测障碍物坐标信息；
S8草坪3D打印
在车端计算部分启动决策程序与控制程序；其中决策模块根据机器人实时位置信息与路径点上图案信息，进行割草机器人的运动行为决策与割草行为决策；控制模块根据决策模块给定的运动状态、全局路径信息进行对应控制，进行草坪3D打印，同时控制模块接收障碍物坐标信息，实现动态避障；
S9打印完成
到达终点位置后，刀盘电机关闭，刀盘升降至合适位置，所述割草机器人停车，退出所述路侧计算单元对割草机器人定位与障碍物检测程序、车端计算部分决策程序与控制程序，完成草坪3D打印。
本发明与现有技术相比存在的有益效果是：
1.本发明通过对割草机器人定位模块的设计，在提升定位精度的同时降低成本，因路侧部分深度相机可安装在高处俯视草坪，视野好受地形影响小，结合割草机器人里程计信息可实现精确定位；同时因只需使用支架、相机、底盘自带里程计以及路侧计算单元便可实现定位，还可降低车载计算单元性能要求；相较于同样高精度的差分定位，可将成本控制在可接受范围；
2.本发明决策模块，在提高割草效率的同时减小对草坪破坏，割草机人到达草坪边界后，通过前进-停车-倒车不同运动状态切换，并结合优化后的全局路径，可实现往复式规律割草，节省转向与无规律运动时间，提高效率，也减小差速底盘转向造成的草坪损害；
3.本发明将图案信息与全局路径信息结合，通过决策模块割草行为决策与运动行为决策，最终在控制模块分别输出运动控制量与刀盘控制量，使得割草机器人实现自主往复割草的同时可草坪图案的3D打印；
4.本发明通过控制模块的设计，在实现动态避障的同时保证图案打印精度。控制部分将动态避障DWA算法与传统PID控制算法相结合，设计代价函数，并引入置信因子，相较传统算法在提高轨迹跟踪控制精度的同时，还实现了传统控制算法无法进行的避障功能。
附图说明
为了更清楚地说明本发明中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一种基于智能割草机器人的草坪3D打印系统的示意图；
图2是本发明提供图案输出模块全局规划示意图；
图3是本发明提供的图案与路径点匹配示意图；
图4是本发明提供的感知模块定位示意图；
图5是本发明一种基于智能割草机器人的草坪3D打印方法的流程图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
下面将结合附图详细说明根据本发明的一种基于智能割草机器人的草坪3D打印系统。
图1是本发明一种基于智能割草机器人的草坪3D打印系统的示意图。
如图1所示，该草坪3D打印系统包括：
感知定位模块，用于草坪边界识别以获得草坪边界坐标信息，将草坪边界坐标信息传输至图案输出模块，通过相机与底盘里程计实现联合定位、通过相机实现障碍物检测，获得实时割草机器人位置信息、障碍物信息，并将实时割草机器人位置信息、障碍物信息传输给决策模块与控制模块；
图4是本发明提供的感知模块定位示意图。
感知定位模块包括草坪边界识别单元、割草机器人定位单元和障碍物检测单元。
草坪边界识别单元，用于通过深度相机记录草坪信息，基于Resnet_50训练的网络模型进行特征提取，以获得草坪边界，通过图片像素、草坪实际尺寸以及深度相机相对位置，获得草坪边界坐标信息；
割草机器人定位单元，用于包括割草机器人里程计信息，将位置计算后得到的实时割草机器人位置信息作为实时基础坐标；通过深度相机记录割草机器人割草时的草坪图片，基于Yolo_V5训练的网络模型进行割草机器人位置追踪，当追踪到机器人到达草坪边界后消除实时基础坐标累计误差，获得相机与里程计联合定位后的割草机器人位置坐标；
障碍物检测单元，基于Yolo_V5训练的网络模型进行割草区域内障碍物检测，输出障碍物在割草区域内坐标，并将其换算为割草机器人相对坐标。
图2是图案输出模块全局规划示意图。
图2a是以初始起点进行坐标转换后，将坐标系统一到同一绝对坐标系下，根据边界信息生成的初始轨迹。在图2a的基础上，为方便往复割草循迹控制，将转折处的路径进行优化，避免模式切换时出现大角度转向；并根据基准边对路径点进行坐标旋转，使边界坐标与路径坐标角度对应得到图2b。通过上述步骤得到不带图案信息的全局路径点。
图案输出模块，用于根据草坪边界坐标信息进行全局路径规划，并根据输入的割草区域内图案点信息，在原全局路径规划点上加入割草区域内图案信息获得全局路径点，并将将全局路径点组成的全局路径生成.log文档保存至车载计算单元，提供决策模块读取；
图案输出模块，包括路径规划单元和图案处理单元。
路径规划单元，用于通过草坪边界坐标信息，人为指定割草方向，完成覆盖式路径规划，并结合割草机器人往复式割草的运动特性，对规划路径进行优化；
图案处理单元，用于读取输入的图案的灰度信息确定图案区域，确定图案点坐标信息与高度信息，将其与路径规划单元输出的路径点结合，得到带有图案信息的全局路径。
以上模块完成草坪3D打印前期准备，即保存全局路径文件、输出割草机器人位置信息与障碍物信息。以下将通过决策控制模块，实现割草机器人在草坪范围内的往复运动，并根据实际需求进行草坪3D打印：
图3是图案与路径点匹配示意图。
决策模块，用于基于全局路径点，确定割草机器人运动状态，并将决策信息传输至控制模块；
决策模块包括运动行为决策单元和割草行为决策单元。
运动行为决策单元，用于基于割草机器人不同位置确定不同的运动状态，其中，运动状态包括：前进行驶、只前进、倒车行驶、只倒车、临时停车；对应控制模块运动控制单元；
割草行为决策单元，用于基于带有图案信息的全局路径，进行割草行为决策，其中，割草行为决策包括：电机开闭、升降动作；对应控制模块割草控制单元。
控制模块，用于基于割草机器人运动状态，输出控制量使割草机器人往复运动，并按照图案信息进行升降割草，从而实现草坪的3D打印；同时根据感知定位模块输出的障碍物信息实现动态避障，保证安全。
控制模块包括包括运动控制单元和割草控制单元。
运动控制单元，用于基于动态避障DWA(Dynamic Window Approach)与传统PID(Proportion Integration Differentiation)混合的控制方案输出控制量，以提高轨迹跟踪控制精度的目的的同时满足避障需求；
割草控制单元，用于在接收割草行为决策信息后，将路径点上图案信息转换为刀盘控制量，具体包括：将升降时间与刀盘高度对应，将图案点坐标与刀盘电机开闭对应。
图5是本发明一种基于智能割草机器人的草坪3D打印方法的流程图。
基于同一构思，本发明还提供了一种基于智能割草机器人的草坪3D打印方法，该草坪3D打印方法包括：
S1神经网络搭建与预训练；
S11基于Resnet_50搭建草坪边界识别网络，用于草坪边界识别，通过图片分类公开数据集进行预训练；
S12基于Yolo_V5搭建割草机器人位置追踪网络，用于割草机器人位置追踪，通过车辆追踪图片分类公开数据集进行预训练；
S13基于Yolo_V5搭建障碍物检测网络，用于草坪障碍物检测，通过障碍物检测图片分类公开数据集进行预训练。
S2图片分类数据集建立与模型训练
S21找到符合设定训练特征的草场，并找到全面覆盖草坪、且草坪边界清晰无遮挡的位置，安装相机；
S22在不同光照条件下拍摄草坪图片，并人工进行草坪边界标注，制作用于草坪边界识别的数据集；
S23割草机器人在草坪边界内往复行驶、在草坪边界上行驶，拍摄图片保存，并人工进行标注草坪边界区域内是否有割草机器人，制作用于割草机器人检测的数据集；
S24在草地上放置障碍物，拍摄图片并对障碍物进行人工标注，制作用于障碍物检测的数据集，其中，障碍物包括石头，枯木；
S25将割草机器人检测的数据集和障碍物检测的数据集分别放入Yolo_V5网络进行训练，具体包括：草坪边界识别的网络输入为草坪图片，输出为草坪边界坐标信息；割草机器人位置追踪的网络输入为含割草机器人的草坪图片，输出为割草机器人到达草坪边界位置信息，障碍物检测的网络输入为含障碍物的草场图片，输出为障碍物坐标信息；
S26将草坪边界坐标信息、割草机器人到达草坪边界位置信息和障碍物坐标信息保存，并部署至路测计算单元；
S3实际支架安装与相机标定
S31根据实际草坪情况寻找合适位置安装支架，调节至合适高度，并将相机固定进行角度确定；
其中，该草坪可以与模型训练使用草坪不同；
S32进行照片拍摄输入网络判断识别精度，选择准确率最高的位置，完成安装后利用深度相机拍摄标定图像，通过草坪实际尺寸与保存图片分辨率确定比例参数，并根据相机安装角度、高度进行坐标转换，消除畸变，为感知定位模块提供初始参数；
S4草坪边界识别
在路侧计算单元启动草坪边界识别程序，深度相机拍摄草坪图片，输入事先保存的神经网络中，输出草坪边界坐标信息，并传输至车端计算部分；完成传输后退出该程序。
S5全局路径生成
在车端计算部分启动图案输出程序，人为指定割草方向，根据草坪边界坐标信息，确定割草机器人起点以及终点，利用覆盖式规划算法在每个设定距离生成一个路径点，生成初始的全局路径，在初始的全局路径基础上进行坐标转化，并结合割草机器人的往复运动特性对轨迹进行优化。
其中，设定距离例如没0.05m。
S6图案点匹配
对于图案信息，图案输出模块根据输入图片的灰度值提取需割草区域点并确定割草高度，与S5中不带图案信息的全局路径结合，得到最终的全局路径文件，将路径文件以.log形式保存方便决策模块读取；完成传输后退出图案输出程序；
根据S5生成全局路径点，割草机器人便可根据路径进行往复式割草，若在割草同时还需进行图案3D打印，需输入与边界信息匹配的图案信息，如图3中的图案信息。根据图案信息确定需打印区域，若规划的路径点在区域内则加入需要打印的信息以及高度，其最终输出的全局路径如下表中所示：
表1全局路径输出信息
Figure BDA0003594801400000161
完成上述流程后将全局路径保存生成.log文档，方便以决策模块读取，若要打印不同图案需重新生成路径文件，如只需覆盖式割草可在程序中屏蔽打印功能，即不发送刀盘控制量；完成文档保存后退出图案输出程序。
S7定位与障碍物检测
在路侧计算单元启动机器人定位程序与障碍物检测程序，通过深度相机与里程计输出割草机器人实时位置信息，通过深度相机输出检测障碍物坐标信息。
在路侧计算部分启动机器人定位程序，接收割草机人传输的里程计等信息，计算基础坐标，并根据已训练好的网络模型，利用深度相机追踪的机器人位置对基础坐标进行累计误差消除，得到深度相机与里程计融合的定位数据，将其实时传输至车端计算部分；
在路侧计算部分启动障碍物检测程序，深度相机实时记录割草区域内图片，输入至已训练好的Yolo_V5网络模型，得到障碍物的相对边界的绝对坐标，并通过定位信息解算为相对机器人的相对坐标，将该坐标实时传输至车端计算部分。
S8草坪3D打印
在车端计算部分启动决策程序与控制程序；其中决策模块根据机器人实时位置信息与路径点上图案信息，进行割草机器人的运动行为决策与割草行为决策；控制模块根据决策模块给定的运动状态、全局路径信息进行对应控制，进行草坪3D打印，同时控制模块接收障碍物坐标信息，实现动态避障；
决策模块根据实时位置确定割草机器人的运动行为，在该过程中包括前进、只前进、停车、倒车、只倒车五个状态。其状态跳转依据是割草机器人Y坐标，根据机器人运动学约束确定前进与只前进、只前进与临时停车分界点，其中只前进、只倒车是为了避免往复行驶时邻近路径带来的干扰，临时停车是为了切换运动状态，避免原地大角度转向，具体如下公式：
Figure BDA0003594801400000171
式中ystop0、ystop1为临时停车点，一般超过边界0.1m；ysteer0、ysteer1为转向限制点，一般距离边界1m。
控制模块根据决策模块给定的运动状态进行对应控制。其中临时停车状态决策下发期望车速为0，控制模块输出角速度、线速度为0；只前进或只倒车线速度正常输出，角速度输出为0。而正常前进与正常倒车需对航向角与y坐标进行换算。进行上述判断后，核心控制器通过感知定位模块输出的当前位置与全局路径计算跟踪误差，输出控制量。其中横向跟踪误差为：
Figure BDA0003594801400000172
其中，(x1,y1,α1)为目标点参数，(x0,y0,α0)为当前点参数。
纵向跟踪误差为：
Figure BDA0003594801400000181
式中ve为速度误差，xe为位置误差。
核心控制器采用模仿学习与传统控制算法结合。其中模仿学习以动态避障算法为基础，通过代价函数计算出可实现绕障的最优轨迹，并将其变为横纵向控制量直接作用在机器人上，为同时兼顾平稳跟踪与避障，设计其价函数为：
Figure BDA0003594801400000182
其中，costd为距离代价函数，costv为速度代价函数，costo为障碍物代价函数；(x1,y1,v1)为目标点参数，(x0,y0,v0)为当前参数；(Q0x,Q0y)为自身权重，其值决定是提前避障还是“风险避障”，(Q1x,Q1y)为障碍物权重，不同障碍物其“风险”不同权重值不同。
综合考虑距离代价、速度代价、障碍物代价作为最终代价值：
costz＝Pd*costd+Pv*costv+Po*costo
式中Pd、Pv、Po为不同代价函数的权重系数。为进一步提高控制模块运动控制精度，在实际控制中结合PID控制算法：
η＝Caηa+Cbηb
式中η为最终输出量；ηa、ηb为DWA控制算法控制量和PID控制算法输出控制量；Ca、Cb为置信因子。
当收到障碍物信息时，DWA置信因子Ca将变为1，PID置信因子Cb变为0，因为传统的轨迹跟踪控制算法是无法实现避障的。其余时刻根据算法输出控制量的稳定性动态调节。
综上从路侧计算单元得到定位信息，结合解析的路径点，结合DWA与PID算法实现轨迹跟踪控制与避障，同时决策确定机器人的运动状态实现往复割草。在解析路径点过程中会读取是否打印与打印高度参数，通过定位坐标匹配最近路径点，决策将最近点打印相关参数传递给控制模块，控制模块根据是否打印控制刀盘电机启动与关闭，根据打印高度控制刀盘升降高度，从而实现三个方向上的3D打印。
S9打印完成
到达终点位置后，刀盘电机关闭，刀盘升降至合适位置，割草机器人停车，退出路侧计算单元对割草机器人定位与障碍物检测程序、车端计算部分决策程序与控制程序，完成草坪3D打印。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于智能割草机器人的草坪3D打印系统，其特征在于，包括：感知定位模块、图案输出模块、决策模块、控制模块，
所述感知定位模块，用于草坪边界识别以获得草坪边界坐标信息，将所述草坪边界坐标信息传输至图案输出模块，通过相机与底盘里程计实现联合定位、通过相机实现障碍物检测，获得实时割草机器人位置信息、障碍物信息，并将所述实时割草机器人位置信息、障碍物信息传输给决策模块与控制模块；
所述图案输出模块，用于根据所述草坪边界坐标信息进行全局路径规划，并根据输入的割草区域内图案点信息，在原全局路径规划点上加入所述割草区域内图案信息获得全局路径点，并将将所述全局路径点组成的全局路径生成.log文档保存至车载计算单元，提供决策模块读取；
所述决策模块，用于基于所述全局路径点，确定割草机器人运动状态，并将决策信息传输至控制模块；
所述控制模块，用于基于所述割草机器人运动状态，输出控制量使割草机器人往复运动，并按照所述图案信息进行升降割草，从而实现草坪的3D打印；同时根据所述感知定位模块输出的所述障碍物信息实现动态避障，保证安全。
2.根据权利要求1所述的草坪3D打印系统，其特征在于，所述感知定位模块包括草坪边界识别单元、割草机器人定位单元和障碍物检测单元。
3.根据权利要求2所述的草坪3D打印系统，其特征在于，
所述草坪边界识别单元，用于通过深度相机记录草坪信息，基于Resnet_50训练的网络模型进行特征提取，以获得草坪边界，通过图片像素、草坪实际尺寸以及深度相机相对位置，获得所述草坪边界坐标信息；
所述割草机器人定位单元，用于包括割草机器人里程计信息，将位置计算后得到的所述实时割草机器人位置信息作为实时基础坐标；通过所述深度相机记录割草机器人割草时的草坪图片，基于Yolo_V5训练的网络模型进行割草机器人位置追踪，当追踪到机器人到达草坪边界后消除实时基础坐标累计误差，获得相机与里程计联合定位后的割草机器人位置坐标；
所述障碍物检测单元，基于Yolo_V5训练的网络模型进行割草区域内障碍物检测，输出障碍物在割草区域内坐标，并将其换算为割草机器人相对坐标。
4.根据权利要求1所述的草坪3D打印系统，其特征在于，所述图案输出模块，包括路径规划单元和图案处理单元。
5.根据权利要求4所述的草坪3D打印系统，其特征在于，
所述路径规划单元，用于通过所述草坪边界坐标信息，人为指定割草方向，完成覆盖式路径规划，并结合割草机器人往复式割草的运动特性，对规划路径进行优化；
所述图案处理单元，用于读取输入的图案的灰度信息确定图案区域，确定图案点坐标信息与高度信息，将其与路径规划单元输出的路径点结合，得到带有图案信息的全局路径。
6.根据权利要求5所述的草坪3D打印系统，其特征在于，所述决策模块包括运动行为决策单元和割草行为决策单元。
7.根据权利要求6所述的草坪3D打印系统，其特征在于，
所述运动行为决策单元，用于基于割草机器人不同位置确定不同的运动状态，其中，运动状态包括：前进行驶、只前进、倒车行驶、只倒车、临时停车；对应控制模块运动控制单元；
所述割草行为决策单元，用于基于所述带有图案信息的全局路径，进行割草行为决策，其中，割草行为决策包括：电机开闭、升降动作；对应控制模块割草控制单元。
8.根据权利要求1所述的草坪3D打印系统，其特征在于，所述控制模块包括包括运动控制单元和割草控制单元。
9.根据权利要求1所述的草坪3D打印系统，其特征在于，
所述运动控制单元，用于基于动态避障DWA(Dynamic Window Approach)与传统PID(Proportion Integration Differentiation)混合的控制方案输出控制量，以提高轨迹跟踪控制精度的目的的同时满足避障需求；
所述割草控制单元，用于在接收割草行为决策信息后，将路径点上图案信息转换为刀盘控制量，具体包括：将升降时间与刀盘高度对应，将图案点坐标与刀盘电机开闭对应。
10.一种基于权利要求1-9之一所述草坪3D打印系统的打印方法，其特征在于，包括：
S1神经网络搭建与预训练；
S11基于Resnet_50搭建草坪边界识别网络，用于草坪边界识别，通过图片分类公开数据集进行预训练；
S12基于Yolo_V5搭建割草机器人位置追踪网络，用于割草机器人位置追踪，通过车辆追踪所述图片分类公开数据集进行预训练；
S13基于Yolo_V5搭建障碍物检测网络，用于草坪障碍物检测，通过障碍物检测所述图片分类公开数据集进行预训练；
S2所述图片分类数据集建立与模型训练
S21找到符合设定训练特征的草场，并找到全面覆盖草坪、且草坪边界清晰无遮挡的位置，安装相机；
S22在不同光照条件下拍摄所述草坪图片，并人工进行草坪边界标注，制作用于草坪边界识别的数据集；
S23所述割草机器人在草坪边界内往复行驶、在草坪边界上行驶，拍摄图片保存，并人工进行标注草坪边界区域内是否有割草机器人，制作用于割草机器人检测的数据集；
S24在草地上放置障碍物，拍摄图片并对所述障碍物进行人工标注，制作用于障碍物检测的数据集，其中，障碍物包括石头，枯木；
S25将所述割草机器人检测的数据集和所述障碍物检测的数据集分别放入所述Yolo_V5网络进行训练，具体包括：草坪边界识别的网络输入为所述草坪图片，输出为所述草坪边界坐标信息；割草机器人位置追踪的网络输入为含割草机器人的草坪图片，输出为割草机器人到达草坪边界位置信息，障碍物检测的网络输入为含障碍物的草场图片，输出为障碍物坐标信息；
S26将所述草坪边界坐标信息、割草机器人到达草坪边界位置信息和所述障碍物坐标信息保存，并部署至路测计算单元；
S3实际支架安装与相机标定
S31根据实际草坪情况寻找合适位置安装支架，调节至合适高度，并将相机固定进行角度确定；
S32进行照片拍摄输入网络判断识别精度，选择准确率最高的位置，完成安装后利用深度相机拍摄标定图像，通过草坪实际尺寸与保存图片分辨率确定比例参数，并根据相机安装角度、高度进行坐标转换，消除畸变，为感知定位模块提供初始参数；
S4草坪边界识别
在路侧计算单元启动草坪边界识别程序，深度相机拍摄草坪图片，输入事先保存的神经网络中，输出草坪边界坐标信息，并传输至车端计算部分；完成传输后退出该程序；
S5全局路径生成
在车端计算部分启动图案输出程序，人为指定割草方向，根据草坪边界坐标信息，确定割草机器人起点以及终点，利用覆盖式规划算法在每个设定距离生成一个路径点，生成初始的全局路径，在初始的全局路径基础上进行坐标转化，并结合割草机器人的往复运动特性对轨迹进行优化；
S6图案点匹配
对于所述图案信息，图案输出模块根据输入图片的灰度值提取需割草区域点并确定割草高度，与S5中不带图案信息的全局路径结合，得到最终的全局路径文件，将路径文件以.log形式保存方便决策模块读取；完成传输后退出图案输出程序；
S7定位与障碍物检测
在所述路侧计算单元启动机器人定位程序与障碍物检测程序，通过所述深度相机与所述里程计输出割草机器人实时位置信息，通过深度相机输出检测障碍物坐标信息；
S8草坪3D打印
在车端计算部分启动决策程序与控制程序；其中决策模块根据机器人实时位置信息与路径点上图案信息，进行割草机器人的运动行为决策与割草行为决策；控制模块根据决策模块给定的运动状态、全局路径信息进行对应控制，进行草坪3D打印，同时控制模块接收障碍物坐标信息，实现动态避障；
S9打印完成
到达终点位置后，刀盘电机关闭，刀盘升降至合适位置，所述割草机器人停车，退出所述路侧计算单元对割草机器人定位与障碍物检测程序、车端计算部分决策程序与控制程序，完成草坪3D打印。
CN202210388929.0A 2022-04-13 2022-04-13 一种基于智能割草机器人的草坪3d打印系统和方法 Active CN114868514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210388929.0A CN114868514B (zh) 2022-04-13 2022-04-13 一种基于智能割草机器人的草坪3d打印系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210388929.0A CN114868514B (zh) 2022-04-13 2022-04-13 一种基于智能割草机器人的草坪3d打印系统和方法

Publications (2)

Publication Number Publication Date
CN114868514A true CN114868514A (zh) 2022-08-09
CN114868514B CN114868514B (zh) 2023-09-29

Family

ID=82670483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210388929.0A Active CN114868514B (zh) 2022-04-13 2022-04-13 一种基于智能割草机器人的草坪3d打印系统和方法

Country Status (1)

Country Link
CN (1) CN114868514B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130192183A1 (en) * 2011-08-03 2013-08-01 Lg Electronics Inc. Lawn mower robot system and method of controlling the same
CN105684630A (zh) * 2016-01-26 2016-06-22 北京林业大学 一种远程控制智能草坪艺术修整机
US20170108867A1 (en) * 2015-10-15 2017-04-20 Honda Research Institute Europe Gmbh Autonomous vehicle with improved simultaneous localization and mapping function
EP3324261A1 (en) * 2016-11-17 2018-05-23 Fabrizio Bernini Automatic lawn mower robot and controlling method associated
CN109063575A (zh) * 2018-07-05 2018-12-21 中国计量大学 一种基于单目视觉的智能割草机自主有序割草方法
CN109634286A (zh) * 2019-01-21 2019-04-16 深圳市傲基电子商务股份有限公司 割草机器人视觉避障方法、割草机器人和可读存储介质
CN110297483A (zh) * 2018-03-21 2019-10-01 广州极飞科技有限公司 待作业区域边界获取方法、装置，作业航线规划方法
CN110326423A (zh) * 2019-08-08 2019-10-15 浙江亚特电器有限公司 一种基于视觉的割草机及其转向控制方法和装置
CN110754204A (zh) * 2019-09-27 2020-02-07 西安交通大学 一种草坪立体图案修剪机器人系统及方法
US20210136993A1 (en) * 2017-05-30 2021-05-13 Volta Robots S.R.L. Method for controlling a soil working means based on image processing and related system
CN113129373A (zh) * 2021-04-02 2021-07-16 南京航空航天大学 一种基于卷积神经网络的室内移动机器人视觉定位方法
CN114063609A (zh) * 2020-07-27 2022-02-18 河北工业大学 智能割草机器人的避障控制方法及控制系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130192183A1 (en) * 2011-08-03 2013-08-01 Lg Electronics Inc. Lawn mower robot system and method of controlling the same
US20170108867A1 (en) * 2015-10-15 2017-04-20 Honda Research Institute Europe Gmbh Autonomous vehicle with improved simultaneous localization and mapping function
CN105684630A (zh) * 2016-01-26 2016-06-22 北京林业大学 一种远程控制智能草坪艺术修整机
EP3324261A1 (en) * 2016-11-17 2018-05-23 Fabrizio Bernini Automatic lawn mower robot and controlling method associated
US20210136993A1 (en) * 2017-05-30 2021-05-13 Volta Robots S.R.L. Method for controlling a soil working means based on image processing and related system
CN110297483A (zh) * 2018-03-21 2019-10-01 广州极飞科技有限公司 待作业区域边界获取方法、装置，作业航线规划方法
CN109063575A (zh) * 2018-07-05 2018-12-21 中国计量大学 一种基于单目视觉的智能割草机自主有序割草方法
CN109634286A (zh) * 2019-01-21 2019-04-16 深圳市傲基电子商务股份有限公司 割草机器人视觉避障方法、割草机器人和可读存储介质
CN110326423A (zh) * 2019-08-08 2019-10-15 浙江亚特电器有限公司 一种基于视觉的割草机及其转向控制方法和装置
CN110754204A (zh) * 2019-09-27 2020-02-07 西安交通大学 一种草坪立体图案修剪机器人系统及方法
CN114063609A (zh) * 2020-07-27 2022-02-18 河北工业大学 智能割草机器人的避障控制方法及控制系统
CN113129373A (zh) * 2021-04-02 2021-07-16 南京航空航天大学 一种基于卷积神经网络的室内移动机器人视觉定位方法

Also Published As

Publication number Publication date
CN114868514B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
US10817731B2 (en) Image-based pedestrian detection
US11334753B2 (en) Traffic signal state classification for autonomous vehicles
CN107235044B (zh) 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法
CN105946853B (zh) 基于多传感器融合的长距离自动泊车的系统及方法
CN101975951B (zh) 一种融合距离和图像信息的野外环境障碍检测方法
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
CN101576384B (zh) 一种基于视觉信息校正的室内移动机器人实时导航方法
CN110362083A (zh) 一种基于多目标跟踪预测的时空地图下自主导航方法
CN111506058A (zh) 通过信息融合来计划自动驾驶的短期路径的方法及装置
CN106651953A (zh) 一种基于交通指示牌的车辆位姿估计方法
CN104808685A (zh) 用于无人机自主降落的视觉辅助装置及视觉辅助方法
CN105654773A (zh) 一种车载伴飞无人机智能导引系统
CN105302151A (zh) 一种飞机入坞引导和机型识别的系统及方法
CN105516654A (zh) 一种基于场景结构分析的城市监控视频融合方法
CN109583302A (zh) 一种移动机器人可行区域训练数据集扩充方法
CN109709944A (zh) 一种自动驾驶公交车的进站方法及其进站路径的生成方法
CN115285143A (zh) 一种基于场景分类的自动驾驶车辆导航方法
CN105444741A (zh) 基于双视野窗口的路径特征识别、偏差测量与精确定位方法
CN113552883A (zh) 基于深度强化学习的地面无人车自主驾驶方法及系统
CN114905512A (zh) 一种智能巡检机器人全景追踪及避障方法及系统
CN113343875A (zh) 一种用于机器人的可行驶区域感知方法
Fernandes et al. Intelligent robotic car for autonomous navigation: Platform and system architecture
Kanayama et al. Two-mode mapless visual navigation of indoor autonomous mobile robot using deep convolutional neural network
CN115046542A (zh) 地图生成方法、装置、终端设备及存储介质
CN114868514A (zh) 一种基于智能割草机器人的草坪3d打印系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant