CN116630403A - 一种用于割草机器人的轻量级语义地图构建方法及系统 - Google Patents
一种用于割草机器人的轻量级语义地图构建方法及系统 Download PDFInfo
- Publication number
- CN116630403A CN116630403A CN202310598901.4A CN202310598901A CN116630403A CN 116630403 A CN116630403 A CN 116630403A CN 202310598901 A CN202310598901 A CN 202310598901A CN 116630403 A CN116630403 A CN 116630403A
- Authority
- CN
- China
- Prior art keywords
- target
- robot
- information
- map
- mowing robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 9
- 230000006854 communication Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9027—Trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Remote Sensing (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
一种用于割草机器人的轻量级语义地图构建方法,包括:设计一种轻量级语义SLAM方法,使用RGB相机识别目标,并使用深度相机测量深度信息,进而对目标进行语义提取和三维位置估计;建立语义地图和拓扑地图,将两者提取的信息融合一起,融合图为目标搜索提供目标位置信息,并利用相机采集的信息不断对地图进行更新;基于卡尔曼滤波对GPS提供的位置信息和IMU获取的位姿数据进行融合定位,精准确定割草机器人自身位置;采用随机探索树对割草机器人的工作区域进行探索;采用无监督区域划分方法将割草机器人的工作区域划分为多个子区域;对环境进行圈定,并将目标离子区域中心距离的远近,归属于某个子区域,提高目标搜索任务的性能。
Description
技术领域
本发明属于园林机械及人工智能技术领域,具体涉及一种用于割草机器人的轻量级语义地图构建方法及系统。
背景技术
在园林机械及人工智能技术领域,传统的割草机器人在进行割草、修剪草坪和清除杂草等任务时,通常是基于预设的固定路径运行,这种方法需要先前的草坪地图和人工干预来适应草坪上的静态障碍物,其感知能力有限且不能动态地适应环境变化。为了使得割草机器人在工作时更好地适应环境变化,语义地图被广泛应用于割草机器人导航和路径规划中,它是一种描述环境的表示方式,可以包含环境中的物体、位置、边界、路标等信息。然而,如果割草机器人工作在有许多动态障碍和目标的环境中,静态语义映射可能会使得割草机器人表现很差。此外,传感系统是割草机器人感知环境的重要组成部分,主要用来获取环境的物理量和信息。因此,如何将传感系统和语义地图相结合,实现割草机器人在环境变化时动态更新地图,是当前割草机器人领域的一个重要问题。因此,研究者提出了基于视觉和深度传感器的语义地图构建方法来增强割草机器人在半结构化草地环境中的自适应性。
然而,这些方法通常需要高性能计算资源和大量监督数据。因此,需要一种轻量级的语义地图构建方法,以提高割草机器人的适应性和性能。针对割草机器人语义地图动态更新的问题,本发明提出一种轻量级语义地图构建方法及系统。该系统基于卡尔曼滤波器将GPS提供的位置信息与IMU获取的位姿信息融合,进一步提高割草机器人定位精度和自身稳定性,并通过轻量级的语义地图构建算法,减少了大量的资源和数据计算时间。同时,该系统还引入动态更新机制,可以实时更新语义地图以适应环境变化。具体来说,该方法包括以下步骤:首先,使用RGB相机识别目标,并使用深度相机测量深度信息,进而对目标进行语义提取和三维位置估计;其次,建立语义地图和拓扑地图,将两者提取的信息融合一起,融合图为目标搜索提供目标位置信息,并利用相机采集的信息不断对地图进行更新;接着,基于卡尔曼滤波对多传感器进行信息融合,精准确定割草机器人自身位置;最后,通过对机器人运动轨迹的分析和融合地图的划分与更新,优化地图精度,提高机器人的导航和路径规划能力,快速对目标进行搜索。这种方法通过将多个传感器的信息和图像信息进行融合处理,更好地适应环境变化,进一步提高机器人的导航和路径规划能力,具有广泛的应用前景。
发明内容
本发明要克服现有技术的上述缺点,提供一种用于割草机器人的轻量级语义地图构建方法及系统。本发明使用无监督区域划分方法建立目标对环境子区域的归属,以实现割草机器人更好地适应动态更新的半结构化草地环境。
一种用于割草机器人的轻量级语义地图构建方法,具体流程步骤如下:
S1、设计一种轻量级语义SLAM方法,使用RGB相机识别目标,并使用深度相机测量深度信息,进而对目标进行语义提取和三维位置估计;
S2、建立语义地图和拓扑地图,将两者提取的信息融合一起,融合图为目标搜索提供目标位置信息,并利用相机采集的信息不断对地图进行更新;
S3、基于卡尔曼滤波对GPS提供的位置信息和IMU获取的位姿数据进行融合定位,精准确定割草机器人自身位置;
S4、采用随机探索树对割草机器人的工作区域进行探索;
S5、采用无监督区域划分方法将割草机器人的工作区域划分为多个子区域;
S6、对环境进行圈定,并将目标离子区域中心距离的远近,归属于某个子区域,提高目标搜索任务的性能。
进一步地,所述步骤S1具体包括:
S11:使用RGB相机进行图像目标的识别,捕获当前环境的RGB数据,并使用目标检测算法对其进行识别;
S12:使用深度相机确定目标深度信息,深度信息被捕获用于三维定位;
S13:获取环境模型中二维语义目标的三维坐标步骤如下:将像素平面坐标映射到成像平面,引入以下坐标变换公式得到:
式中(u,v,1)为目标在像素参考系统中的平齐坐标,u0和v0为像素坐标系原点到光轴的平移量,Zc为深度相机测量的深度信息,fx和fy分别为相机在x和y方向上的焦距,Xc和Yc为目标在相机坐标系下的二维坐标;
S14:通过坐标变换将目标的三维坐标转换为机器人坐标系下坐标的步骤如下:
其中旋转矩阵R和平移矩阵T表示相机坐标与机器人坐标的旋转和平移变换关系,Xr、Yr和Zr为目标在机器人坐标系下的三维坐标。
进一步地,所述的步骤S2具体包括:
S21:将获取的重要语义信息和获取目标区域的空间信息融合在一起;
S22:在标记经常出现的区域时,机器人可以通过学习历史数据来识别这些区域,并在地图上自动标记出来;
S23:利用相机采集的环境信息,对融合图进行自动更新。
进一步地,所述的步骤S3具体包括:
S31:GPS提供的位置信息可能受到多种因素的影响,需要先进行数据预处理和校正,去除误差和偏差;
S32:IMU获取加速度和角速度等位姿信息,需要先进行预处理和校准,去除噪声和偏差;
S33:通过卡尔曼滤波算法,将GPS和IMU测量并经过预处理的位置和位姿信息进行融合,得到更准确和可靠的机器人位置信息和状态信息。
割草机器人在k时刻的位置L(k),速度为V(k),加速度A(k),GPS测量的位置为Z1(k),IMU测量的位姿信息为Z2(k),状态向量为X(k)=[L(k),V(k),A(k)],观测向量为Z(k)=[Z1(k),Z2(k)]。
状态方程和观测方程可以分别表示为:
X(k+1)=AX(k)+Bu(k)+w(k) (3)
Z(k)=HX(k)+v(k) (4)
其中,A、B、H为系数矩阵,w、v为噪声向量,假设噪声满足高斯分布,协方差矩阵分别为Q和R。
在卡尔曼滤波算法中,首先进行预测步骤,根据状态方程和观测方程预测割草机器人的状态向量和协方差矩阵:
X(l+1|k)=AX(k|k)+Bu(k) (5)
P(k+1|k)=AP(k|k)AT+Q (6)
其中,X(k|k)表示时刻k的状态向量的后验估计值,P(k|k)表示时刻k的协方差矩阵的后验估计值。
然后进行更新步骤,根据观测方程和预测值,计算卡尔曼增益,修正预测值:
X(k+1|k+1)=X(k+1|k)+K(k+1)(Z(k+1)-HX(k+1|k)) (8)
P(k+1|k+1)=(I-K(k+1)H(k+1))P(k+1|k) (9)
其中,K为卡尔曼增益,X(k+1|k+1)表示时刻k+1的状态向量的后验估计值,P(k+1|k+1)表示时刻k+1的协方差矩阵的后验估计值。
通过以上融合步骤,得到更准确的割草机器人位置和状态信息,用于精准确定割草机器人自身位置。
进一步地,所述的步骤S4具体包括:
S41:已知割草机器人自身位置和状态信息后,通过随机采样将割草机器人连续的工作空间转换为离散工作空间,即在每个维度上将连续空间分成若干个离散的值,然后将每个维度的离散值组合起来得到一个在离散空间中的状态,这个离散状态对应于连续空间中的一个小区域,这样以便对相应的节点进行访问;
S42:由于工作空间中随机采样点不能保证相互联通,因此机器人无法到达这些孤立的点。通过生成覆盖整个工作空间的随机树,使用快速探索随机树(Rapid-explorationRandom Tree,RRT)对点进行采样,由于RRT的每个节点在增长过程中执行碰撞检测,因此无论环境是已知还是未知,它都可以用随机树覆盖整个工作空间,这样确保了采样的接入点是连接的,并且割草机器人可以进行访问。
进一步地,所述的步骤S5具体包括:
S51:在保证了机器人可以未知环境中进行搜索后,通过无监督聚类算法将上述树节点按照欧氏距离进行划分,将工作区域划分为众多子区域;
进一步地,执行无监督子区域划分的具体过程如下:
根据距离将采样点{x1,…,xn}划分为K类。通过不断迭代,求解出合适的聚类中心,使损失函数j最小,损失函数计算如下:
其中,μk为第k类的聚类中心,rnk表示第n个采样点是否属于第k类,k=1,…,k,取值为:
聚类中心μk为
得到的簇中心μk是划分后每个子区域的中心。
S52:根据目标与子区域中心点的距离,建立目标与子区域的关系,更加准确地定位目标。
进一步地,所述的步骤S6具体包括:
S61:在执行目标搜索任务时,根据目标离子区域中心点的远近确定目标所在子区域;
S62:将目标所在的区域作为搜索的目标区域,通过计算预规划路线来进行对目标所在的区域进行快速搜索。
与现有技术相比,本发明所达到的有益效果是:设计提出了一种用于割草机器人的轻量级语义地图构建方法及系统,将拓扑地图和语义地图融合在一起,与拓扑图只能简化环境结构相比,融合图可以为目标搜索提供精确的位置和功能属性信息,相比于3D点云地图需要大量的计算资源和存储空间,该语义图具有良好的实时性和自适应能力。这种新型语义地图可以在动态环境中自动更新,采用随机探索树对割草机器人工作区域进行探索,使用无监督区域划分方法建立目标对环境子区域的归属。与动态环境下的遍历搜索相比,基于融合映射的目标搜索时间可大大缩短,提高了机器人识别精度,这对于保持机器人在长期连续工作条件下的自主性至关重要。
附图说明
下面结合附图及实施例对本发明作进一步说明,在附图中:
附图1为一种用于割草机器人的轻量级语义地图构建方法及系统总体框架图;
附图2为本发明对目标进行语义提取和三维位置估计流程示意图;
附图3为本发明基于卡尔曼滤波对GPS提供的位置信息和IMU获取的位姿数据融合流程示意图;
附图4为本发明采用随机探索树对机器人的工作区域进行探索流程示意图;
附图5为本发明采用无监督区域划分将机器人工作区域划分流程示意图;
附图6为本发明实施例二提供的一种用于割草机器人的轻量级语义地图构建系统结构示意图。
具体实施方式
为了更清楚地描述本发明的技术方案,本文将结合具体实施例对本发明提供的技术方案进行详细说明,并通过附图对本发明做进一步阐述。需要注意的是,这些具体实施例仅是本发明的部分实施例,用于对本发明进行解释,而非对本发明的限定。
实施例一
本发明实施例提供的一种用于割草机器人的轻量级语义地图构建方法,包括如下步骤:
S1、设计一种轻量级语义SLAM方法,使用RGB相机识别目标,并使用深度相机测量深度信息,进而对目标进行语义提取和三维位置估计;
S2、建立语义地图和拓扑地图,将两者提取的信息融合一起,融合图为目标搜索提供目标位置信息和功能属性信息;
S3、基于卡尔曼滤波对GPS提供的位置信息和IMU获取的位姿数据进行融合定位,精准确定割草机器人自身位置;
S4、采用随机探索树对割草机器人的工作区域进行探索;
S5、采用无监督区域划分方法将割草机器人的工作区域划分为多个子区域;
S6、对环境进行圈定,并将目标离子区域中心距离的远近,归属于某个子区域,提高目标搜索任务的性能。
参照附图2,步骤S1所述的RGB相机用来识别目标,具体识别流程如下:
S1-1:使用RGB相机采集目标的图像,捕捉目标物体的颜色和形状等信息;
S1-2:对采集到的图像进行预处理,进行图像增强、降噪、滤波等,以去除噪声、增强目标特征;
S1-3:从预处理后的图像中提取目标的边缘特征,运用卷积神经网络(CNN)提取图像中的各种特征;
S1-4:将提取到的特征与已知目标特征进行匹配;
S1-5:根据特征匹配的结果,确定图像中的目标物体。
进一步地,步骤S1所述的确定好目标物体后,利用深度相机测量目标的深度信息,具体测量流程如下:
S1-1:捕捉目标物体的深度和纹理信息,产生深度图像和彩色图像;
S1-2:将深度相机与相机坐标进行标定,确定相机的内部参数和外部参数;
S1-3:使用深度图像生成点云,表示目标的形状和位置信息;
S1-4:对生成的点云进行滤波,去除噪声和离群点,从滤波后的点云中提取目标特征;
S1-6:将提取的特征与已知目标进行匹配,确定目标的位置信息;
S1-7:根据点云匹配结果,计算目标的深度信息。
步骤S2中语义地图和拓扑地图具体结合过程如下:
S2-1:语义地图通过RGB相机进行环境感知,利用SLAM技术构建,同时对环境中不同区域进行拓扑关系的建模获得拓扑地图;
S2-2:使用ICP算法,将语义地图和拓扑地图进行位置关系匹配,以便进行信息融合;
S2-3:将语义信息添加到拓扑地图中进行融合;
S2-4:利用传感器不断采集的环境信息,更新语义地图和拓扑地图,再进行地图对齐和信息融合。
参照附图3,步骤S3所述的基于卡尔曼滤波对GPS提供的位置信息和IMU获取的位姿数据融合,具体融合过程如下:
S3-1 GPS提供位置观测值,IMU提供姿态和加速度观测值,作为卡尔曼滤波器的输入;
S3-2初始状态由GPS提供,包括位置和姿态信息。状态转移矩阵和状态模型由IMU提供的运动状态信息进行更新;
S3-3根据观测值和状态模型,卡尔曼滤波器计算位置和姿态的最优估计值,并更新状态变量和协方差矩阵;
S3-4 GPS信号被遮挡或不可用时,IMU提供连续的运动状态信息,并根据状态转移矩阵和状态模型更新状态变量;
S3-5经过多次迭代计算后,融合后可以得到割草机器人精确的位置和姿态估计值,并通过卡尔曼滤波器的修正和更新提高估计精度和稳定性。
参照附图4,步骤S4所述的采用随机探索树对机器人的工作区域进行探索,具体过程如下:
S4-1:利用RGB相机获取的图像信息建立二维工作区域地图;
S4-2:设置机器人的起点和终点,起点为机器人当前位置,终点是需要割草的所有区域;
S4-3:利用RRT算法,在地图中建立一课随机探索树,从起点开始,不断随机生成节点冰箱目标区域扩展树,直到树达到终点区域;
S4-4:在树的扩展过程中,考虑机器人的最大转弯角度和最大速度,以保证树的生长过程是可行的;
S4-5:树建立好后,利用树来规划机器人的路径。从起点开始,利用树的节点和边信息,搜索到终点区域的最优路径;
S4-6:一旦找到最优路径,机器人沿着最优路径前进,完成割草任务;
S4-7:在割草过程中,实时更新地图,避免撞到障碍物或割草重复区域。
参照附图5,为采用无监督区域划分将机器人工作区域划分,具体过程如下:
S5-1:收集割草机器人在工作区域内移动时所采集的图像数据;
S5-2:采用K-means算法,随机初始化K个聚类中心,然后将每个数据点分配到距离其最近的聚类中心所在的簇中,再根据簇内数据点的平均值更新每个簇的聚类中心,如此反复迭代,直至收敛;
S5-3:经过聚类算法计算后,将割草机器人工作区域划分为多个子区域。根据每个子区域的中心点位置和边界确定子区域的范围,并将其存储在机器人的内存中供后续使用;
S5-4:在割草机器人执行任务时,使用划分出来的子区域作为导航地图,帮助机器人确定当前位置,并自动规划割草路径。
步骤S6的具体过程如下:
S6-1:根据草坪上的特定特征将其划分为几个区域,并将每个子区域做相应的标记;
S6-2:根据目标与子区域中心点的距离,确定目标所在子区域附近;
S6-3:通过使用子区域、目标离子区域中心距离的远近归属信息,更效地搜索目标。
实施例二
附图6为本发明实施例二提供的一种用于割草机器人的轻量级语义地图构建系统的结构示意图。该系统包括:环境信息监测设备、传感器数据采集设备、通信设备以及主控设备。
其中,所述环境信息检测设备,用于采集环境中图像信息,并将所述检测数据发送至数据采集设备。
所述环境数据处理分析设备,用于获取检测设备发送的环境检测相关数据,包括当前监测区域内图像的颜色、形状以及位置数据等;通过对样本数据特征进行提取、分析和处理,得到样本数据的类别属性;
所述传感器数据采集设备,用于采集割草机器人当前的位置信息和位姿数据,采集的数据包括纬度数据、加速度数据、角度数据等。进行预处理和滤波后得到更加准确的数据;
所述通信设备能够实现各个设备之间的实时数据传输和通信,以达到信息同步和更新的目的。它具备多种通信方式和通信协议,以适应不同的场景需求,同时还能确保通信过程中数据的保密性和完整性,避免数据被泄露;
所述主控设备,用于接收所述环境数据处理分析设备发送的所述检测数据和传感器获取的数据,并可视化所述检测数据和所述图像信息分析当前所处环境以割草机器人自身位置信息。
最后,以上只是本发明的实施例和所应用的技术原理。本领域的技术人员将理解,本发明并不局限于此处所述的特定实施例,因为在不脱离本发明的保护范围的情况下,各种明显的变化、重新调整和替代方案都是可能的。因此,虽然以上实施例对本发明进行了详细说明,但本发明并不限于以上实施例。在不超出本发明的构思范围的情况下,还可以包括更多其他等效实施例。本发明的范围由权利要求书所定义。
Claims (9)
1.一种用于割草机器人的轻量级语义地图构建方法,包括如下步骤:
S1、设计一种轻量级语义SLAM方法,使用RGB相机识别目标,并使用深度相机测量深度信息,进而对目标进行语义提取和三维位置估计;
S2、建立语义地图和拓扑地图,将两者提取的信息融合一起,融合图为目标搜索提供目标位置信息,并利用相机采集的信息不断对地图进行更新;
S3、基于卡尔曼滤波对GPS提供的位置信息和IMU获取的位姿数据进行融合定位,精准确定割草机器人自身位置;
S4、采用随机探索树对割草机器人的工作区域进行探索;
S5、采用无监督区域划分方法将割草机器人的工作区域划分为多个子区域;
S6、对环境进行圈定,并将目标离子区域中心距离的远近,归属于某个子区域,提高目标搜索任务的性能。
2.如权利要求1所述的一种用于割草机器人的轻量级语义地图构建方法,其特征在于:步骤S1具体包括:
S11:使用RGB相机进行图像目标的识别,捕获当前环境的RGB数据,并使用目标检测算法对其进行识别;
S12:使用深度相机确定目标深度信息,深度信息被捕获用于三维定位;
S13:获取环境模型中二维语义目标的三维坐标步骤如下:将像素平面坐标映射到成像平面,引入以下坐标变换公式得到:
式中(u,v,1)为目标在像素参考系统中的平齐坐标,u0和v0为像素坐标系原点到光轴的平移量,Zc为深度相机测量的深度信息,fx和fy分别为相机在x和y方向上的焦距,Xc和Yc为目标在相机坐标系下的二维坐标;
S14:通过坐标变换将目标的三维坐标转换为机器人坐标系下坐标的步骤如下:
其中旋转矩阵R和平移矩阵T表示相机坐标与机器人坐标的旋转和平移变换关系,Xr、Yr和Zr为目标在机器人坐标系下的三维坐标。
3.如权利要求1所述的一种用于割草机器人的轻量级语义地图构建方法,其特征在于:所述的步骤S2具体包括:
S21:将获取的重要语义信息和获取目标区域的空间信息融合在一起;
S22:在标记经常出现的区域时,机器人可以通过学习历史数据来识别这些区域,并在地图上自动标记出来;
S23:利用相机采集的环境信息,对融合图进行自动更新。
4.如权利要求1所述的一种用于割草机器人的轻量级语义地图构建方法,其特征在于:所述的步骤S3具体包括:
S31:GPS提供的位置信息可能受到多种因素的影响,需要先进行数据预处理和校正,去除误差和偏差;
S32:IMU获取加速度和角速度等位姿信息,需要先进行预处理和校准,去除噪声和偏差;
S33:通过卡尔曼滤波算法,将GPS和IMU测量并经过预处理的位置和位姿信息进行融合,得到更准确和可靠的机器人位置信息和状态信息。
5.如权利要求4所述的一种用于割草机器人的轻量级语义地图构建方法,其特征在于:步骤S33具体包括:
割草机器人在k时刻的位置L(k),速度为V(k),加速度A(k),GPS测量的位置为Z1(k),IMU测量的位姿信息为Z2(k),状态向量为X(k)=[L(k),V(k),A(k)],观测向量为Z(k)=[Z1(k),Z2(k)];
状态方程和观测方程可以分别表示为:
X(k+1)=AX(k)+Bu(k)+w(k) (3)
Z(k)=HX(k)+v(k) (4)
其中,A、B、H为系数矩阵,w、v为噪声向量,假设噪声满足高斯分布,协方差矩阵分别为Q和R;
在卡尔曼滤波算法中,首先进行预测步骤,根据状态方程和观测方程预测割草机器人的状态向量和协方差矩阵:
X(k+1|k)=AX(k|k)+Bu(k) (5)
P(k+1|k)=AP(k|k)AT+Q (6)
其中,X(k|k)表示时刻k的状态向量的后验估计值,P(k|k)表示时刻k的协方差矩阵的后验估计值;
然后进行更新步骤,根据观测方程和预测值,计算卡尔曼增益,修正预测值:
X(k+1|k+1)=X(k+1|k)+K(k+1)(Z(k+1)-HX(k+1|k)) (8)
P(k+1|k+1)=(I-K(k+1)H(k+1))P(k+1|k) (9)
其中,K为卡尔曼增益,X(k+1|k+1)表示时刻k+1的状态向量的后验估计值,P(k+1|k+1)表示时刻k+1的协方差矩阵的后验估计值;
通过以上融合步骤,得到更准确的割草机器人位置和状态信息,用于精准确定割草机器人自身位置。
6.如权利要求1所述的一种用于割草机器人的轻量级语义地图构建方法,其特征在于:步骤S4具体包括:
S41:已知割草机器人自身位置和状态信息后,通过随机采样将割草机器人连续的工作空间转换为离散工作空间,即在每个维度上将连续空间分成若干个离散的值,然后将每个维度的离散值组合起来得到一个在离散空间中的状态,这个离散状态对应于连续空间中的一个小区域,这样以便对相应的节点进行访问;
S42:由于工作空间中随机采样点不能保证相互联通,因此机器人无法到达这些孤立的点;通过生成覆盖整个工作空间的随机树,使用快速探索随机树(Rapid-explorationRandom Tree,RRT)对点进行采样,由于RRT的每个节点在增长过程中执行碰撞检测,因此无论环境是已知还是未知,它都可以用随机树覆盖整个工作空间,这样确保了采样的接入点是连接的,并且割草机器人可以进行访问。
7.如权利要求1所述的一种用于割草机器人的轻量级语义地图构建方法,其特征在于:所述的步骤S5具体包括:
S51:在保证了机器人可以未知环境中进行搜索后,通过无监督聚类算法将上述树节点按照欧氏距离进行划分,将工作区域划分为众多子区域;
S52:根据目标与子区域中心点的距离,建立目标与子区域的关系,更加准确地定位目标。
8.如权利要求7所述的一种用于割草机器人的轻量级语义地图构建方法,其特征在于:步骤S51所述的执行无监督子区域划分,具体过程如下:
根据距离将采样点{x1,…,xn}划分为K类。通过不断迭代,求解出合适的聚类中心,使损失函数j最小,损失函数计算如下:
其中,μk为第k类的聚类中心,rnk表示第n个采样点是否属于第k类,k=1,…,k,取值为:
聚类中心μk为
得到的簇中心μk是划分后每个子区域的中心。
9.如权利要求1所述的一种用于割草机器人的轻量级语义地图构建方法,其特征在于:所述的步骤S6具体包括:
S61:在执行目标搜索任务时,根据目标离子区域中心点的远近确定目标所在子区域;
S62:将目标所在的区域作为搜索的目标区域,通过计算预规划路线来进行对目标所在的区域进行快速搜索。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310598901.4A CN116630403A (zh) | 2023-05-25 | 2023-05-25 | 一种用于割草机器人的轻量级语义地图构建方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310598901.4A CN116630403A (zh) | 2023-05-25 | 2023-05-25 | 一种用于割草机器人的轻量级语义地图构建方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116630403A true CN116630403A (zh) | 2023-08-22 |
Family
ID=87616652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310598901.4A Pending CN116630403A (zh) | 2023-05-25 | 2023-05-25 | 一种用于割草机器人的轻量级语义地图构建方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116630403A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117537803A (zh) * | 2024-01-10 | 2024-02-09 | 常熟理工学院 | 机器人巡检语义-拓扑地图构建方法、系统、设备及介质 |
CN117804449A (zh) * | 2024-02-29 | 2024-04-02 | 锐驰激光(深圳)有限公司 | 割草机地面感知方法、装置、设备及存储介质 |
CN117804449B (zh) * | 2024-02-29 | 2024-05-28 | 锐驰激光(深圳)有限公司 | 割草机地面感知方法、装置、设备及存储介质 |
-
2023
- 2023-05-25 CN CN202310598901.4A patent/CN116630403A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117537803A (zh) * | 2024-01-10 | 2024-02-09 | 常熟理工学院 | 机器人巡检语义-拓扑地图构建方法、系统、设备及介质 |
CN117537803B (zh) * | 2024-01-10 | 2024-04-02 | 常熟理工学院 | 机器人巡检语义-拓扑地图构建方法、系统、设备及介质 |
CN117804449A (zh) * | 2024-02-29 | 2024-04-02 | 锐驰激光(深圳)有限公司 | 割草机地面感知方法、装置、设备及存储介质 |
CN117804449B (zh) * | 2024-02-29 | 2024-05-28 | 锐驰激光(深圳)有限公司 | 割草机地面感知方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Potena et al. | AgriColMap: Aerial-ground collaborative 3D mapping for precision farming | |
Huang | Review on LiDAR-based SLAM techniques | |
Emmi et al. | A hybrid representation of the environment to improve autonomous navigation of mobile robots in agriculture | |
CN113345018A (zh) | 一种动态场景下的激光单目视觉融合定位建图方法 | |
CN113110455B (zh) | 一种未知初始状态的多机器人协同探索方法、装置及系统 | |
Nehme et al. | Lidar-based structure tracking for agricultural robots: Application to autonomous navigation in vineyards | |
Zhang et al. | A quadratic traversal algorithm of shortest weeding path planning for agricultural mobile robots in cornfield | |
Xian et al. | A bionic autonomous navigation system by using polarization navigation sensor and stereo camera | |
CN113706710A (zh) | 基于fpfh特征差异的虚拟点多源点云融合方法及系统 | |
CN116630403A (zh) | 一种用于割草机器人的轻量级语义地图构建方法及系统 | |
Zhao et al. | Review of slam techniques for autonomous underwater vehicles | |
CN115639823A (zh) | 崎岖起伏地形下机器人地形感知与移动控制方法及系统 | |
CN117152249A (zh) | 基于语义一致性的多无人机协同建图与感知方法及系统 | |
Pradalier et al. | Multi-session lake-shore monitoring in visually challenging conditions | |
Wang et al. | Multi-robot raster map fusion without initial relative position | |
Aggarwal | Machine vision based SelfPosition estimation of mobile robots | |
Zhuang et al. | A biologically-inspired simultaneous localization and mapping system based on lidar sensor | |
Gao et al. | Canopy volume measurement of fruit trees using robotic platform loaded LiDAR data | |
Zeng et al. | Robotic Relocalization Algorithm Assisted by Industrial Internet of Things and Artificial Intelligence | |
Dang et al. | LiDAR-based online navigation algorithm for an autonomous agricultural robot | |
Thanh et al. | LiDAR-Based Online Navigation Algorithm For An Autonomous Agricultural Robot⁑ | |
Wu et al. | Robust Map Merging Method for Collaborative LiDAR-based SLAM Using GPS Sensor | |
Klaser et al. | Vision-based autonomous navigation with a probabilistic occupancy map on unstructured scenarios | |
Wei et al. | Review of Simultaneous Localization and Mapping Technology in the Agricultural Environment | |
Hroob et al. | Learned Long-Term Stability Scan Filtering for Robust Robot Localisation in Continuously Changing Environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |