CN117635719B - 基于多传感器融合的除草机器人定位方法、系统及装置 - Google Patents
基于多传感器融合的除草机器人定位方法、系统及装置 Download PDFInfo
- Publication number
- CN117635719B CN117635719B CN202410112929.7A CN202410112929A CN117635719B CN 117635719 B CN117635719 B CN 117635719B CN 202410112929 A CN202410112929 A CN 202410112929A CN 117635719 B CN117635719 B CN 117635719B
- Authority
- CN
- China
- Prior art keywords
- crop
- point cloud
- weed
- weeding robot
- weeding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009333 weeding Methods 0.000 title claims abstract description 243
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000004927 fusion Effects 0.000 title claims abstract description 18
- 241000196324 Embryophyta Species 0.000 claims abstract description 237
- 230000033001 locomotion Effects 0.000 claims abstract description 48
- 238000006243 chemical reaction Methods 0.000 claims abstract description 32
- 238000009826 distribution Methods 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 20
- 238000005520 cutting process Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000003709 image segmentation Methods 0.000 claims description 12
- 238000012163 sequencing technique Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 241000209094 Oryza Species 0.000 description 7
- 235000007164 Oryza sativa Nutrition 0.000 description 7
- 235000009566 rice Nutrition 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种基于多传感器融合的除草机器人定位方法、系统及装置，方法包括：获取除草机器人的原始杂草图像、除草机器人位置数据及除草机器人运动数据，通过分割原始杂草图像得到作物区域及杂草区域，进而得到作物点云及杂草点云；对作物点云及杂草点云进行拟合聚类，通过分析得到作物茎秆位置及杂草边界位置；结合作物茎秆位置及作物共线先验特性，得到作物直线约束条件；基于作物茎秆位置及作物直线约束条件，进而融合除草机器人位置数据及除草机器人运动数据进行定位，得到除草机器人实时位置；进而通过进行位置转换，得到杂草分布数据，通过杂草分布数据执行除草动作。本发明解决了现有除草方式效率低下、重复除草、错除草及漏除草的问题。
Description
技术领域
本发明涉及除草机器人定位技术领域，尤其涉及一种基于多传感器融合的除草机器人定位方法、系统及装置。
背景技术
目前，作物清除杂草的方式主要通过人工除草或普通自动除草机，其中，人工除草方式劳动成本高且效率低，可能会破坏作物的生长环境，甚至会造成作物倒伏，普通自动除草机借助GPS获取定位，该方法不能提供高精度且稳定的定位方式，一些除草机器人利用RTK提供高精度定位，但该方式硬件成本过高。普通自动除草机不具备环境感知能力，无法识别杂草位置，只能根据全局定位进行地毯式除草，效率低下，一旦定位出错，可能出现重复位置除草或者漏除草，甚至无差别将作物当作杂草清除掉。
现有基于单个传感器的除草机器人定位方法存在精度偏差及稳定性差的问题，同时，在环境多变、有效信息有限的情况下，多传感器定位的方式会加入多余数据，导致建图定位能力差。如何才能通过将作物信息及杂草信息及多传感器进行融合，以实现除草机器人及作物地图的精确定位，真是本申请所要解决的技术问题。
发明内容
本发明针对现有技术中的缺点，提供了一种基于多传感器融合的除草机器人定位方法、系统及装置。
为了解决上述问题，本发明通过下述技术方案得以解决：
一种基于多传感器融合的除草机器人定位方法，包括以下步骤：
获取除草机器人采集的原始杂草图像、除草机器人位置数据及除草机器人运动数据，对原始杂草图像进行图像分割，得到作物区域及杂草区域，进而得到作物点云及杂草点云；
分别对作物点云及杂草点云进行坐标转换及聚类，得到作物聚类点云及杂草聚类点云；
对所述作物聚类点云进行截断处理并通过拟合得到作物茎秆位置，分析杂草聚类点云位置关系，得到杂草边界位置；
结合作物茎秆位置及作物共线先验特性，得到作物直线约束条件，进而融合除草机器人位置数据及除草机器人运动数据进行建模定位，得到除草机器人实时位置及作物地图；
对杂草边界位置及除草机器人实时位置在作物地图下进行位置转换，得到杂草分布数据；
结合杂草分布数据及除草机器人实时位置，对除草机器人进行导航并控制除草机器人执行除草动作。
作为一种可实施方式，所述对原始杂草图像进行图像分割，得到作物区域及杂草区域，进而得到作物点云及杂草点云，包括以下步骤：
基于双目相机得到原始杂草图像，对原始杂草图像进行分割，得到作物区域及杂草区域；
结合作物区域、杂草区域及双目相机的点云图，得到作物点云及杂草点云。
作为一种可实施方式，所述分别对作物点云及杂草点云进行坐标转换及聚类，得到作物聚类点云及杂草聚类点云，包括以下步骤：
基于所述作物点云及杂草点云，结合双目相机外参进行转换，得到除草机器人坐标系下的作物点云及除草机器人坐标系下的杂草点云；
对所述除草机器人坐标系下的作物点云及除草机器人坐标系下的杂草点云进行滤波，得到滤波作物点云及滤波杂草点云；
将滤波作物点云及滤波杂草点云进行聚类，得到作物聚类点云及杂草聚类点云。
作为一种可实施方式，所述基于所述作物点云及杂草点云，结合双目相机外参进行转换，得到除草机器人坐标系下的作物点云及除草机器人坐标系下的杂草点云，表示如下：
其中，表示作物点云或杂草点云的一种，/>表示双目相机外参，/>表示除草机器人坐标系下的作物点云或除草机器人坐标系下的杂草点云的一种。
作为一种可实施方式，所述对所述作物聚类点云进行截断处理并通过拟合得到作物茎秆位置，分析杂草聚类点云位置关系，得到杂草边界位置，包括以下步骤：
基于作物聚类点云进行截断，得到作物截断点云，通过作物截断点云进行坐标拟合，得到作物茎秆位置；
基于杂草聚类点云进行边界提取，得到杂草边界位置。
作为一种可实施方式，所述得到作物茎秆位置，包括以下步骤：
设置截断阈值，通过对作物聚类点云在截断阈值位置进行截断处理，得到作物截断点云；
对作物截断点云进行坐标拟合，得到作物拟合圆方程，表示如下：
基于作物拟合圆方程，定义作物目标函数，表示如下：
计算作物目标函数的最小值，得到作物茎秆位置及作物拟合圆的半径，表示如下：
其中，表示作物拟合圆的圆心横坐标，/>表示作物拟合圆的圆心纵坐标，/>表示作物拟合圆的半径，/>表示作物截断点云中第/>点的横坐标，/>表示作物截断点云中第/>点的纵坐标，/>表示作物目标函数。
作为一种可实施方式，所述基于杂草聚类点云进行边界提取，得到杂草边界位置，包括以下步骤：
基于杂草聚类点云，通过纵坐标得到点云最低点，结合极角进行排序，得到排序点云；
依次计算排序点云中点之间的矢量差积，通过矢量差积得到方向关系，基于方向关系确定边界，进而得到杂草边界位置。
作为一种可实施方式，所述结合作物茎秆位置及作物共线先验特性，得到作物直线约束条件，表示如下：
其中，表示作物茎秆位置的纵坐标，/>表示作物茎秆位置的横坐标，/>表示直线斜率，/>表示截距。
作为一种可实施方式，所述结合作物茎秆位置及作物共线先验特性，得到作物直线约束条件，进而融合除草机器人位置数据及除草机器人运动数据进行建模定位，得到除草机器人实时位置及作物地图，包括以下步骤：
结合作物茎秆位置及除草机器人运动数据，通过积分得到除草机器人在相邻时间内的图像帧间运动量；
设置运动量阈值，若图像帧间运动量叠加至除草机器人后所得作物的全局定位值变化量大于运动量阈值，则作物茎秆位置为异常值进行剔除，得到正常作物茎秆位置；
定义初始定位位置，基于初始定位位置对正常作物茎秆位置及除草机器人位置数据进行相对位置转换，得到转换茎秆位置及转换除草机器人位置数据；
基于转换茎秆位置、转换除草机器人位置数据及除草机器人运动数据，建立除草机器人位姿变量及作物变量，以作物直线约束条件为约束，得到除草机器人实时位置及作物地图。
作为一种可实施方式，所述对杂草边界位置及除草机器人实时位置在作物地图下进行位置转换，得到杂草分布数据，包括以下步骤：
基于作物地图、除草机器人实时位置及杂草边界位置，得到相机坐标与作物地图坐标的转换关系；
通过相机坐标与作物地图坐标的转换关系，对杂草边界位置进行位置转换，得到杂草分布数据。
一种基于多传感器融合的除草机器人定位系统，包括数据获取模块、转换聚类模块、位置计算模块、建模定位模块、位置转换模块及杂草清除模块；
所述数据获取模块，获取除草机器人采集的原始杂草图像、除草机器人位置数据及除草机器人运动数据，对原始杂草图像进行图像分割，得到作物区域及杂草区域，进而得到作物点云及杂草点云；
所述转换聚类模块，分别对作物点云及杂草点云进行坐标转换及聚类，得到作物聚类点云及杂草聚类点云；
所述位置计算模块，对所述作物聚类点云进行截断处理并通过拟合得到作物茎秆位置，分析杂草聚类点云位置关系，得到杂草边界位置；
所述建模定位模块，结合作物茎秆位置及作物共线先验特性，得到作物直线约束条件，进而融合除草机器人位置数据及除草机器人运动数据进行建模定位，得到除草机器人实时位置及作物地图；
所述位置转换模块，对杂草边界位置及除草机器人实时位置在作物地图下进行位置转换，得到杂草分布数据；
所述杂草清除模块，结合杂草分布数据及除草机器人实时位置，对除草机器人进行导航并控制除草机器人执行除草动作。
作为一种可实施方式，所述位置计算模块，被设置为：
基于作物聚类点云进行截断，得到作物截断点云，通过作物截断点云进行坐标拟合，得到作物茎秆位置；
基于杂草聚类点云进行边界提取，得到杂草边界位置；
其中，所述得到作物茎秆位置，包括以下步骤：
设置截断阈值，通过对作物聚类点云在截断阈值位置进行截断处理，得到作物截断点云；
对作物截断点云进行坐标拟合，得到作物拟合圆方程，表示如下：
基于作物拟合圆方程，定义作物目标函数，表示如下：
计算作物目标函数的最小值，得到作物茎秆位置及作物拟合圆的半径，表示如下：
其中，表示作物拟合圆的圆心横坐标，/>表示作物拟合圆的圆心纵坐标，/>表示作物拟合圆的半径，/>表示作物截断点云中第/>点的横坐标，/>表示作物截断点云中第/>点的纵坐标，/>表示作物目标函数；
其中，所述基于杂草聚类点云进行边界提取，得到杂草边界位置，包括以下步骤：
基于杂草聚类点云，通过纵坐标得到点云最低点，结合极角进行排序，得到排序点云；
依次计算排序点云中点之间的矢量差积，通过矢量差积得到方向关系，基于方向关系确定边界，进而得到杂草边界位置。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下所述的方法：
获取除草机器人采集的原始杂草图像、除草机器人位置数据及除草机器人运动数据，对原始杂草图像进行图像分割，得到作物区域及杂草区域，进而得到作物点云及杂草点云；
分别对作物点云及杂草点云进行坐标转换及聚类，得到作物聚类点云及杂草聚类点云；
对所述作物聚类点云进行截断处理并通过拟合得到作物茎秆位置，分析杂草聚类点云位置关系，得到杂草边界位置；
结合作物茎秆位置及作物共线先验特性，得到作物直线约束条件，进而融合除草机器人位置数据及除草机器人运动数据进行建模定位，得到除草机器人实时位置及作物地图；
对杂草边界位置及除草机器人实时位置在作物地图下进行位置转换，得到杂草分布数据；
结合杂草分布数据及除草机器人实时位置，对除草机器人进行导航并控制除草机器人执行除草动作。
一种基于多传感器融合的除草机器人定位装置，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下所述的方法：
获取除草机器人采集的原始杂草图像、除草机器人位置数据及除草机器人运动数据，对原始杂草图像进行图像分割，得到作物区域及杂草区域，进而得到作物点云及杂草点云；
分别对作物点云及杂草点云进行坐标转换及聚类，得到作物聚类点云及杂草聚类点云；
对所述作物聚类点云进行截断处理并通过拟合得到作物茎秆位置，分析杂草聚类点云位置关系，得到杂草边界位置；
结合作物茎秆位置及作物共线先验特性，得到作物直线约束条件，进而融合除草机器人位置数据及除草机器人运动数据进行建模定位，得到除草机器人实时位置及作物地图；
对杂草边界位置及除草机器人实时位置在作物地图下进行位置转换，得到杂草分布数据；
结合杂草分布数据及除草机器人实时位置，对除草机器人进行导航并控制除草机器人执行除草动作。
本发明由于采用了以上的技术方案，具有显著的技术效果：
通过本发明的方法解决了单个传感器精度偏差和稳定性差的问题，生成高精度的作物地图并且提供稳定高精度的除草机器人定位，同时，通过语义分割得到作物信息及杂草信息，为多传感器提供更多的有效信息，解决多传感器建图定位能力差的问题，使除草机器人除草作业过程更加智能高效。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法的流程示意图；
图2是本发明系统的整体示意图；
图3是本发明作物截断点云拟合圆示意图；
图4是本发明杂草点云边界示意图；
图5是本发明除草机器人作业示意图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
实施例1：
一种基于多传感器融合的除草机器人定位方法，如图1所示，包括以下步骤：
S100、获取除草机器人采集的原始杂草图像、除草机器人位置数据及除草机器人运动数据，对原始杂草图像进行图像分割，得到作物区域及杂草区域，进而得到作物点云及杂草点云；
S200、分别对作物点云及杂草点云进行坐标转换及聚类，得到作物聚类点云及杂草聚类点云；
S300、对所述作物聚类点云进行截断处理并通过拟合得到作物茎秆位置，分析杂草聚类点云位置关系，得到杂草边界位置；
S400、结合作物茎秆位置及作物共线先验特性，得到作物直线约束条件，进而融合除草机器人位置数据及除草机器人运动数据进行建模定位，得到除草机器人实时位置及作物地图；
S500、对杂草边界位置及除草机器人实时位置在作物地图下进行位置转换，得到杂草分布数据；
S600、结合杂草分布数据及除草机器人实时位置，对除草机器人进行导航并控制除草机器人执行除草动作。
通过本发明的方法，对原始杂草图像进行分割，得到作物点云及杂草点云，基于作物点云及杂草点云进行分析处理，得到作物地图及除草机器人实时坐标，进而对除草机器人进行导航实施除草。基于图像分割，为多传感器提供有效信息，避免多传感器中出现建模定位不准确的问题，进而提高除草机器人的除草准确率。
在一个实施例中，作物为水稻，采用双目相机采集原始杂草图像，其中，双目相机安装在除草机器人前端，GPS及IMU安装在除草机器人上，双目相机距离地面适当高度且水平向下倾斜，确保双目相机能够观测到前方较大范围内作物，同时保证距离1.5米内水稻茎秆观测无遮挡或少遮挡。
在步骤S100中，获取除草机器人采集的原始杂草图像、除草机器人位置数据及除草机器人运动数据，对原始杂草图像进行图像分割，得到作物区域及杂草区域，进而得到作物点云及杂草点云，包括以下步骤：
S110、本实施例中通过双目相机采集原始杂草图像，基于原始杂草图像建立杂草图像数据集，其中，杂草图像数据集包含不同稻田环境、不同拍摄角度、不同生育期的水稻茎秆及杂草的图像，超过10000张，对采集到原始杂草图像进行标注，得到杂草图像数据集；
S120、通过GPS获取除草机器人位置数据，基于IMU获取除草机器人运动数据，其中，双目相机、GPS及IMU需要提前标定好与除草机器人坐标系的外参；
S130、将杂草图像数据集按照一定的比例划分为训练集、测试集及验证集；
S140、选择语义分割网络模型，将杂草图像数据集输入到语义分割网络模型中进行训练，并在测试集中进行测试，直至满足分割精度要求，得到杂草分割模型；
S150、将待测原始杂草图像输入至杂草分割模型中进行实时语义分割，得到作物区域及杂草区域；
S160、获取双目相机厂家提供的对齐后的原始杂草图像点云，基于原始杂草图像点云得到对应于作物区域及杂草区域的数据，得到作物点云及杂草点云。
在步骤S200中，分别对作物点云及杂草点云进行坐标转换及聚类，得到作物聚类点云及杂草聚类点云，包括以下步骤：
S210、结合双目相机的外参，对作物点云及杂草点云进行坐标转换，得到除草机器人坐标系下的作物点云及除草机器人坐标系下的杂草点云，表示如下：
其中，表示作物点云或杂草点云的一种，/>表示双目相机外参，/>表示除草机器人坐标系下的作物点云或除草机器人坐标系下的杂草点云的一种；
S220、对所述除草机器人坐标系下的作物点云及除草机器人坐标系下的杂草点云进行点云滤波，通过点云滤波去除离群点和噪声，得到滤波作物点云及滤波杂草点云；
S230、对滤波作物点云及滤波杂草点云进行聚类，通过聚类算法将滤波作物点云及滤波杂草点云分割为不同的集群，每个集群代表水稻或者杂草，将语义信息为水稻茎秆的点云数据定义为水稻，将语义信息为杂草的点云数据定义为杂草，得到作物聚类点云及杂草聚类点云。
在步骤S300中，对所述作物聚类点云进行截断处理并通过拟合得到作物茎秆位置，分析杂草聚类点云之间的位置关系，得到杂草边界位置，包括以下步骤：
S310、根据作物聚类点云，设置截断阈值，基于截断阈值对水稻在水面或者土壤面的固定高度/>位置处进行截断，得到作物截断点云，对作物截断点云进行坐标拟合，得到作物拟合圆方程，如图3所示，表示如下：
基于作物拟合圆方程，定义作物目标函数，表示如下：
计算作物目标函数的最小值，得到作物茎秆位置及作物拟合圆的半径，表示如下：
其中，表示作物拟合圆的圆心横坐标，/>表示作物拟合圆的圆心纵坐标，/>表示作物拟合圆的半径，/>表示作物截断点云中第/>点的横坐标，/>表示作物截断点云中第/>点的纵坐标，/>表示作物目标函数；
S320、将聚类杂草点云投影至水平面，通过凸包算法提取杂草点云边界得到杂草边界位置，伪代码表示如下：
function GrahamScan(PointSet)
P0 = lowestPoint(PointSet)
Sort PointSet by polar angle with respect to P0
Stack = empty stack
Stack.push(PointSet[1])
Stack.push(PointSet[2])
for i from 3 to |PointSet|
while orientation(nextToTop(Stack), Stack.top(), PointSet[i]) != "left turn"
Stack.pop()
Stack.push(PointSet[i])
return points in Stack as the convex hull
function orientation(p1, p2, p3)
value = crossProduct(p1, p2, p3)
if value == 0, return "collinear"
if value>0, return "left turn"
if value<0, return "right turn"
function nextToTop(Stack)
temp = Stack.pop()
nextTop = Stack.top()
Stack.push(temp)
return nextTop
其中，PointSet表示输入的聚类杂草点云，包括n个点，P0表示具有最小纵坐标的点，用于确定初始极角排序的基准点，Stack用于存储凸包顶点的栈数据结构，value表示计算三个聚类杂草点云中点的方向关系时使用的中间遍历，通过计算矢量叉积判断方向，p1、p2、p3表示三个点对象，即当前处理的聚类杂草点云中的点，nextTop表示返回距离栈顶的第二个元素，|PointSet|表示PointSet的长度，GrahamScan表示寻找最低点、按极角排序及构建凸包等步骤，orientation函数用于判断点之间的方向关系，确定凸包的边界。通过输入聚类杂草点云进行排序及栈操作，得到凸包点集合，即杂草边界位置。通过此步骤得到的杂草点云边界示意图如图4所示。
在步骤S400中，结合作物茎秆位置及作物共线先验特性，得到作物直线约束条件，进而融合除草机器人位置数据及除草机器人运动数据进行建模定位，得到除草机器人实时位置及作物地图，包括以下步骤：
S410、根据作物茎秆位置及同一行作物茎秆的共线先验特性，得到作物直线约束条件，表示如下：
其中，表示作物茎秆位置的纵坐标，/>表示作物茎秆位置的横坐标，/>表示直线斜率，/>表示截距；
S420、通过GPS获取的除草机器人位置数据，其中除草机器人位置数据提供了除草机器人的全局位置信息，由于除草机器人位置数据非常大，不利于后续优化部分的计算，在本实施例中定义初始定位为(0,0)，将除草机器人位置数据通过差值转化到小数值的坐标系中，得到转换除草机器人位置数据；
S430、根据除草机器人运动数据进行积分得到除草机器人在相邻时间戳的图像帧间运动量判断作物茎秆位置是否异常，若所得图像帧间运动量叠加到除草机器人后，得到同一个作物茎秆位置跳变值较大，则说明当前帧检测值异常，需要进行剔除，将能够被正常的作物茎秆位置进行相对位置转换，得到转换茎秆位置；
S440、通过IMU获取除草机器人运动数据，其中，除草机器人运动数据包括除草机器人加速度数据及除草机器人角速度数据，基于转换茎秆位置、转换除草机器人位置数据及除草机器人运动数据，建立SLAM问题的优化模型，优化模型中包括对除草机器人位姿变量及作物茎秆位置变量的优化，为提高SLAM过程的精度及稳定性，将作物直线约束条件添加至优化模型中，以解决作物地图点漂移的问题；
S450、随着除草机器人的不断移动，获取作物茎秆位置，并结合转换除草机器人位置数据及除草机器人运动数据进行优化，得到除草机器人实时坐标及作物地图。
在步骤S500中，对杂草边界位置及除草机器人实时位置在作物地图下进行位置转换，得到杂草分布数据，包括以下步骤：
基于作物地图、除草机器人实时坐标及杂草边界位置，得到相机坐标与作物地图坐标的转换关系；
通过相机坐标与作物地图坐标的转换关系，对杂草边界位置进行位置转换，得到杂草分布数据。
在步骤S600中，结合杂草分布数据及除草机器人实时位置，对除草机器人进行导航并控制除草机器人执行除草动作，包括以下步骤：
S610、根据杂草分布数据及除草机器人实时位置，实时计算除草机器人的行走轨迹；
S620、根据除草机器人的行走轨迹对除草机器人导航，并且计算轨迹的覆盖范围，以防止重复除草或者漏除草，还可以根据实际除草需求，使得除草机器人可以按照“Z”字形地毯式除草或者根据检测到的杂草位置直接进行除草，除草机器人作业示意图如图5所示。
实施例2：
一种基于多传感器融合的除草机器人定位系统，如图2所示，包括数据获取模块100、转换聚类模块200、位置计算模块300、建模定位模块400、位置转换模块500及杂草清除模块600；
所述数据获取模块100，获取除草机器人采集的原始杂草图像、除草机器人位置数据及除草机器人运动数据，对原始杂草图像进行图像分割，得到作物区域及杂草区域，进而得到作物点云及杂草点云；
所述转换聚类模块200，分别对作物点云及杂草点云进行坐标转换及聚类，得到作物聚类点云及杂草聚类点云；
所述位置计算模块300，对所述作物聚类点云进行截断处理并通过拟合得到作物茎秆位置，分析杂草聚类点云位置关系，得到杂草边界位置；
所述建模定位模块400，结合作物茎秆位置及作物共线先验特性，得到作物直线约束条件，进而融合除草机器人位置数据及除草机器人运动数据进行建模定位，得到除草机器人实时位置及作物地图；
所述位置转换模块500，对杂草边界位置及除草机器人实时位置在作物地图下进行位置转换，得到杂草分布数据；
所述杂草清除模块600，结合杂草分布数据及除草机器人实时位置，对除草机器人进行导航并控制除草机器人执行除草动作。
作为一种可实施方式，所述位置计算模块300，被设置为：
基于作物聚类点云进行截断，得到作物截断点云，通过作物截断点云进行坐标拟合，得到作物茎秆位置；
基于杂草聚类点云进行边界提取，得到杂草边界位置；
其中，所述得到作物茎秆位置，包括以下步骤：
设置截断阈值，通过对作物聚类点云在截断阈值位置进行截断处理，得到作物截断点云；
对作物截断点云进行坐标拟合，得到作物拟合圆方程，表示如下：
基于作物拟合圆方程，定义作物目标函数，表示如下：
计算作物目标函数的最小值，得到作物茎秆位置及作物拟合圆的半径，表示如下：
其中，表示作物拟合圆的圆心横坐标，/>表示作物拟合圆的圆心纵坐标，/>表示作物拟合圆的半径，/>表示作物截断点云中第/>点的横坐标，/>表示作物截断点云中第/>点的纵坐标，/>表示作物目标函数；
其中，所述基于杂草聚类点云进行边界提取，得到杂草边界位置，包括以下步骤：
基于杂草聚类点云，通过纵坐标得到点云最低点，结合极角进行排序，得到排序点云；
依次计算排序点云中点之间的矢量差积，通过矢量差积得到方向关系，基于方向关系确定边界，进而得到杂草边界位置。
在不脱离本发明的精神和范围的情况下做出的各种变化和变型，所有等同的技术方案也属于本发明的范畴。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同、相似的部分互相参见即可。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是：
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (9)
1.一种基于多传感器融合的除草机器人定位方法，其特征在于，包括以下步骤：
获取除草机器人采集的原始杂草图像、除草机器人位置数据及除草机器人运动数据，对原始杂草图像进行图像分割，得到作物区域及杂草区域，进而得到作物点云及杂草点云；
分别对作物点云及杂草点云进行坐标转换及聚类，得到作物聚类点云及杂草聚类点云；
对所述作物聚类点云进行截断处理并通过拟合得到作物茎秆位置，分析杂草聚类点云位置关系，得到杂草边界位置；
基于作物聚类点云进行截断，得到作物截断点云，通过作物截断点云进行坐标拟合，得到作物茎秆位置；
基于杂草聚类点云进行边界提取，得到杂草边界位置；
其中，所述得到作物茎秆位置，包括以下步骤：
设置截断阈值，通过对作物聚类点云在截断阈值位置进行截断处理，得到作物截断点云；
对作物截断点云进行坐标拟合，得到作物拟合圆方程，表示如下：
基于作物拟合圆方程，定义作物目标函数，表示如下：
计算作物目标函数的最小值，得到作物茎秆位置及作物拟合圆的半径，表示如下：
其中，表示作物拟合圆的圆心横坐标，/>表示作物拟合圆的圆心纵坐标，/>表示作物拟合圆的半径，/>表示作物截断点云中第/>点的横坐标，/>表示作物截断点云中第/>点的纵坐标，/>表示作物目标函数；
其中，所述基于杂草聚类点云进行边界提取，得到杂草边界位置，包括以下步骤：
基于杂草聚类点云，通过纵坐标得到点云最低点，结合极角进行排序，得到排序点云；
依次计算排序点云中点之间的矢量差积，通过矢量差积得到方向关系，基于方向关系确定边界，进而得到杂草边界位置；
结合作物茎秆位置及作物共线先验特性，得到作物直线约束条件，进而融合除草机器人位置数据及除草机器人运动数据进行建模定位，得到除草机器人实时位置及作物地图；
包括以下步骤：
结合作物茎秆位置及除草机器人运动数据，通过积分得到除草机器人在相邻时间内的图像帧间运动量；
设置运动量阈值，若图像帧间运动量叠加至除草机器人后所得作物的全局定位值变化量大于运动量阈值，则作物茎秆位置为异常值进行剔除，得到正常作物茎秆位置；
定义初始定位位置，基于初始定位位置对正常作物茎秆位置及除草机器人位置数据进行相对位置转换，得到转换茎秆位置及转换除草机器人位置数据；
基于转换茎秆位置、转换除草机器人位置数据及除草机器人运动数据，建立除草机器人位姿变量及作物变量，以作物直线约束条件为约束，得到除草机器人实时位置及作物地图；
对杂草边界位置及除草机器人实时位置在作物地图下进行位置转换，得到杂草分布数据；
结合杂草分布数据及除草机器人实时位置，对除草机器人进行导航并控制除草机器人执行除草动作。
2.根据权利要求1所述的基于多传感器融合的除草机器人定位方法，其特征在于，所述对原始杂草图像进行图像分割，得到作物区域及杂草区域，进而得到作物点云及杂草点云，包括以下步骤：
基于双目相机得到原始杂草图像，对原始杂草图像进行分割，得到作物区域及杂草区域；
结合作物区域、杂草区域及双目相机的点云图，得到作物点云及杂草点云。
3.根据权利要求1所述的基于多传感器融合的除草机器人定位方法，其特征在于，所述分别对作物点云及杂草点云进行坐标转换及聚类，得到作物聚类点云及杂草聚类点云，包括以下步骤：
基于所述作物点云及杂草点云，结合双目相机外参进行转换，得到除草机器人坐标系下的作物点云及除草机器人坐标系下的杂草点云；
对所述除草机器人坐标系下的作物点云及除草机器人坐标系下的杂草点云进行滤波，得到滤波作物点云及滤波杂草点云；
将滤波作物点云及滤波杂草点云进行聚类，得到作物聚类点云及杂草聚类点云。
4.根据权利要求3所述的基于多传感器融合的除草机器人定位方法，其特征在于，所述基于所述作物点云及杂草点云，结合双目相机外参进行转换，得到除草机器人坐标系下的作物点云及除草机器人坐标系下的杂草点云，表示如下：
其中，表示作物点云或杂草点云的一种，/>表示双目相机外参，/>表示除草机器人坐标系下的作物点云或除草机器人坐标系下的杂草点云的一种。
5.根据权利要求1所述的基于多传感器融合的除草机器人定位方法，其特征在于，所述结合作物茎秆位置及作物共线先验特性，得到作物直线约束条件，表示如下：
其中，表示作物茎秆位置的纵坐标，/>表示作物茎秆位置的横坐标，/>表示直线斜率，表示截距。
6.根据权利要求1所述的基于多传感器融合的除草机器人定位方法，其特征在于，所述对杂草边界位置及除草机器人实时位置在作物地图下进行位置转换，得到杂草分布数据，包括以下步骤：
基于作物地图、除草机器人实时位置及杂草边界位置，得到相机坐标与作物地图坐标的转换关系；
通过相机坐标与作物地图坐标的转换关系，对杂草边界位置进行位置转换，得到杂草分布数据。
7.一种基于多传感器融合的除草机器人定位系统，其特征在于，包括数据获取模块、转换聚类模块、位置计算模块、建模定位模块、位置转换模块及杂草清除模块；
所述数据获取模块，获取除草机器人采集的原始杂草图像、除草机器人位置数据及除草机器人运动数据，对原始杂草图像进行图像分割，得到作物区域及杂草区域，进而得到作物点云及杂草点云；
所述转换聚类模块，分别对作物点云及杂草点云进行坐标转换及聚类，得到作物聚类点云及杂草聚类点云；
所述位置计算模块，对所述作物聚类点云进行截断处理并通过拟合得到作物茎秆位置，分析杂草聚类点云位置关系，得到杂草边界位置；
其中，所述位置计算模块，被设置为：
基于作物聚类点云进行截断，得到作物截断点云，通过作物截断点云进行坐标拟合，得到作物茎秆位置；
基于杂草聚类点云进行边界提取，得到杂草边界位置；
其中，所述得到作物茎秆位置，包括以下步骤：
设置截断阈值，通过对作物聚类点云在截断阈值位置进行截断处理，得到作物截断点云；
对作物截断点云进行坐标拟合，得到作物拟合圆方程，表示如下：
基于作物拟合圆方程，定义作物目标函数，表示如下：
计算作物目标函数的最小值，得到作物茎秆位置及作物拟合圆的半径，表示如下：
其中，表示作物拟合圆的圆心横坐标，/>表示作物拟合圆的圆心纵坐标，/>表示作物拟合圆的半径，/>表示作物截断点云中第/>点的横坐标，/>表示作物截断点云中第/>点的纵坐标，/>表示作物目标函数；
其中，所述基于杂草聚类点云进行边界提取，得到杂草边界位置，包括以下步骤：
基于杂草聚类点云，通过纵坐标得到点云最低点，结合极角进行排序，得到排序点云；
依次计算排序点云中点之间的矢量差积，通过矢量差积得到方向关系，基于方向关系确定边界，进而得到杂草边界位置；
所述建模定位模块，结合作物茎秆位置及作物共线先验特性，得到作物直线约束条件，进而融合除草机器人位置数据及除草机器人运动数据进行建模定位，得到除草机器人实时位置及作物地图；
包括以下步骤：
结合作物茎秆位置及除草机器人运动数据，通过积分得到除草机器人在相邻时间内的图像帧间运动量；
设置运动量阈值，若图像帧间运动量叠加至除草机器人后所得作物的全局定位值变化量大于运动量阈值，则作物茎秆位置为异常值进行剔除，得到正常作物茎秆位置；
定义初始定位位置，基于初始定位位置对正常作物茎秆位置及除草机器人位置数据进行相对位置转换，得到转换茎秆位置及转换除草机器人位置数据；
基于转换茎秆位置、转换除草机器人位置数据及除草机器人运动数据，建立除草机器人位姿变量及作物变量，以作物直线约束条件为约束，得到除草机器人实时位置及作物地图；
所述位置转换模块，对杂草边界位置及除草机器人实时位置在作物地图下进行位置转换，得到杂草分布数据；
所述杂草清除模块，结合杂草分布数据及除草机器人实时位置，对除草机器人进行导航并控制除草机器人执行除草动作。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任意一项所述的方法。
9.一种基于多传感器融合的除草机器人定位装置，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410112929.7A CN117635719B (zh) | 2024-01-26 | 2024-01-26 | 基于多传感器融合的除草机器人定位方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410112929.7A CN117635719B (zh) | 2024-01-26 | 2024-01-26 | 基于多传感器融合的除草机器人定位方法、系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117635719A CN117635719A (zh) | 2024-03-01 |
| CN117635719B true CN117635719B (zh) | 2024-04-16 |
Family
ID=90025595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410112929.7A Active CN117635719B (zh) | 2024-01-26 | 2024-01-26 | 基于多传感器融合的除草机器人定位方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117635719B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886094A (zh) * | 2019-01-08 | 2019-06-14 | 中国农业大学 | 一种作物苗情苗势采集分析方法和装置 |
| CN110455201A (zh) * | 2019-08-13 | 2019-11-15 | 东南大学 | 基于机器视觉的茎秆作物高度测量方法 |
| CN111666946A (zh) * | 2020-05-26 | 2020-09-15 | 东华大学 | 基于点云过分割与面片生长的植株点云单叶片分割方法 |
| AU2020103332A4 (en) * | 2020-11-09 | 2021-01-21 | Bhatt, Kaushal MR | IMLS-Weed Recognition/Classification: Intelligent Weed Recognition /Classification using Machine Learning System |
| CN113379910A (zh) * | 2021-06-09 | 2021-09-10 | 山东大学 | 基于slam的移动机器人矿山场景重建方法及系统 |
| CN113597874A (zh) * | 2021-09-29 | 2021-11-05 | 农业农村部南京农业机械化研究所 | 一种除草机器人及其除草路径的规划方法、装置和介质 |
| WO2021249560A1 (zh) * | 2020-06-12 | 2021-12-16 | 广州极飞科技股份有限公司 | 作物缺失的检测方法及检测装置 |
| WO2022040970A1 (zh) * | 2020-08-26 | 2022-03-03 | 南京翱翔信息物理融合创新研究院有限公司 | 一种同步实现三维重建和ar虚实注册的方法、系统及装置 |
| CN115560754A (zh) * | 2022-08-25 | 2023-01-03 | 邯郸科技职业学院 | 一种基于杂草去除的视觉导航方法 |
| CN116523898A (zh) * | 2023-05-29 | 2023-08-01 | 贵州省烟草科学研究院 | 一种基于三维点云的烟草表型性状提取方法 |
| CN116576863A (zh) * | 2023-06-06 | 2023-08-11 | 哈尔滨工业大学 | 一种玉米数据采集机器人作物行间导航路径识别方法、计算机设备及介质 |
| CN117315049A (zh) * | 2023-11-28 | 2023-12-29 | 浙江托普云农科技股份有限公司 | 三维全貌测量的比例尺标定方法、系统及装置 |
| CN117392627A (zh) * | 2023-10-11 | 2024-01-12 | 中国农业大学 | 一种玉米行线提取及缺株位置检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11275941B2 (en) * | 2018-03-08 | 2022-03-15 | Regents Of The University Of Minnesota | Crop models and biometrics |
-
2024
- 2024-01-26 CN CN202410112929.7A patent/CN117635719B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886094A (zh) * | 2019-01-08 | 2019-06-14 | 中国农业大学 | 一种作物苗情苗势采集分析方法和装置 |
| CN110455201A (zh) * | 2019-08-13 | 2019-11-15 | 东南大学 | 基于机器视觉的茎秆作物高度测量方法 |
| CN111666946A (zh) * | 2020-05-26 | 2020-09-15 | 东华大学 | 基于点云过分割与面片生长的植株点云单叶片分割方法 |
| WO2021249560A1 (zh) * | 2020-06-12 | 2021-12-16 | 广州极飞科技股份有限公司 | 作物缺失的检测方法及检测装置 |
| WO2022040970A1 (zh) * | 2020-08-26 | 2022-03-03 | 南京翱翔信息物理融合创新研究院有限公司 | 一种同步实现三维重建和ar虚实注册的方法、系统及装置 |
| AU2020103332A4 (en) * | 2020-11-09 | 2021-01-21 | Bhatt, Kaushal MR | IMLS-Weed Recognition/Classification: Intelligent Weed Recognition /Classification using Machine Learning System |
| CN113379910A (zh) * | 2021-06-09 | 2021-09-10 | 山东大学 | 基于slam的移动机器人矿山场景重建方法及系统 |
| WO2022257801A1 (zh) * | 2021-06-09 | 2022-12-15 | 山东大学 | 基于slam的移动机器人矿山场景重建方法及系统 |
| CN113597874A (zh) * | 2021-09-29 | 2021-11-05 | 农业农村部南京农业机械化研究所 | 一种除草机器人及其除草路径的规划方法、装置和介质 |
| CN115560754A (zh) * | 2022-08-25 | 2023-01-03 | 邯郸科技职业学院 | 一种基于杂草去除的视觉导航方法 |
| CN116523898A (zh) * | 2023-05-29 | 2023-08-01 | 贵州省烟草科学研究院 | 一种基于三维点云的烟草表型性状提取方法 |
| CN116576863A (zh) * | 2023-06-06 | 2023-08-11 | 哈尔滨工业大学 | 一种玉米数据采集机器人作物行间导航路径识别方法、计算机设备及介质 |
| CN117392627A (zh) * | 2023-10-11 | 2024-01-12 | 中国农业大学 | 一种玉米行线提取及缺株位置检测方法 |
| CN117315049A (zh) * | 2023-11-28 | 2023-12-29 | 浙江托普云农科技股份有限公司 | 三维全貌测量的比例尺标定方法、系统及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 基于OpenCV的除草机器人图像处理技术;刘立强;蔡晓华;吴泽全;;农机化研究;20131201(12);168-171 * |
| 基于自动Hough变换累加阈值的蔬菜作物行提取方法研究;陈子文;李伟;张文强;李云伍;李明生;李慧;;农业工程学报;20191123(22);322-330 * |
| 除草机器人田间机器视觉导航;侯学贵;陈勇;郭伟斌;;农业机械学报;20080325(03);112-114+118 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117635719A (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110673115B (zh) | 雷达与组合导航系统的联合标定方法、装置、设备及介质 | |
| Kanagasingham et al. | Integrating machine vision-based row guidance with GPS and compass-based routing to achieve autonomous navigation for a rice field weeding robot | |
| AU2016202515B2 (en) | Adaptive mapping with spatial summaries of sensor data | |
| CN108763287A (zh) | 大规模可通行区域驾驶地图的构建方法及其无人驾驶应用方法 | |
| CN104714547A (zh) | 带有相机的自主园林车辆 | |
| CN102368158A (zh) | 一种果园机械导航定位方法 | |
| CN108332759A (zh) | 一种基于3d激光的地图构建方法及系统 | |
| US11935289B2 (en) | Agricultural analysis robotic systems and methods thereof | |
| CN115451948A (zh) | 一种基于多传感器融合的农业无人车定位里程计方法及系统 | |
| CN110806585A (zh) | 一种基于树干聚类跟踪的机器人定位方法及系统 | |
| CN116630403A (zh) | 一种用于割草机器人的轻量级语义地图构建方法及系统 | |
| CN115639823A (zh) | 崎岖起伏地形下机器人地形感知与移动控制方法及系统 | |
| CN114114367A (zh) | Agv室外定位切换方法、计算机装置及程序产品 | |
| Velasquez et al. | Multi-sensor fusion based robust row following for compact agricultural robots | |
| Xiang et al. | Field‐based robotic leaf angle detection and characterization of maize plants using stereo vision and deep convolutional neural networks | |
| CN116222539A (zh) | 高精度地图数据差异化更新方法及系统 | |
| CN114077249B (zh) | 一种作业方法、作业设备、装置、存储介质 | |
| CN117635719B (zh) | 基于多传感器融合的除草机器人定位方法、系统及装置 | |
| CN113807128B (zh) | 一种缺苗标记方法、装置、计算机设备和存储介质 | |
| CN116839570A (zh) | 一种基于传感器融合目标检测的作物行间作业导航方法 | |
| Li et al. | Autonomous navigation for orchard mobile robots: A rough review | |
| CN115493579A (zh) | 定位修正方法、装置、割草机器人以及存储介质 | |
| Dhami et al. | Crop height and plot estimation from unmanned aerial vehicles using 3D LiDAR | |
| CN109901589B (zh) | 移动机器人控制方法和装置 | |
| CN113340310A (zh) | 一种移动机器人台阶地形识别定位方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |