CN116660916A - 一种用于果园移动机器人的定位方法、建图方法及电子设备 - Google Patents
一种用于果园移动机器人的定位方法、建图方法及电子设备 Download PDFInfo
- Publication number
- CN116660916A CN116660916A CN202310608970.9A CN202310608970A CN116660916A CN 116660916 A CN116660916 A CN 116660916A CN 202310608970 A CN202310608970 A CN 202310608970A CN 116660916 A CN116660916 A CN 116660916A
- Authority
- CN
- China
- Prior art keywords
- information
- trunk
- map
- mobile robot
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 239000002420 orchard Substances 0.000 title claims abstract description 64
- 238000013507 mapping Methods 0.000 title claims abstract description 33
- 230000000007 visual effect Effects 0.000 claims abstract description 28
- 230000008859 change Effects 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000013136 deep learning model Methods 0.000 claims abstract description 14
- 238000012937 correction Methods 0.000 claims description 32
- 238000007689 inspection Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 abstract description 9
- 235000013399 edible fruits Nutrition 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000012271 agricultural production Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000013043 chemical agent Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/495—Counter-measures or counter-counter-measures using electronic or electro-optical means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供了一种用于果园移动机器人的定位方法、建图方法及电子设备,涉及果园定位与建图领域,用于位于所述果园中移动机器人的定位,包括以下步骤:S101,形成输入信息;S102,形成融合信息;S103,提取信标及所述信标的置信度;S104,获取定位信息。本发明通过使用包括视觉信息、距离信息、树干位置和地面信息作为输入信息,再通过深度学习模型和置信度,通过已构建的预设的地图对移动机器人定位获得定位信息,克服非结构化果园中特征提取受坡度、遮挡影响大、特征不显著不稳定,非结构化环境定位精度低与抗环境变化能力弱的问题。
Description
技术领域
本发明涉及果园定位与建图领域,尤其涉及一种用于果园移动机器人的定位方法、建图方法及电子设备。
背景技术
果园移动机器人自主导航是智能化果园装备的关键技术之一,在精准农业理念下的移动机器人需满足高精度全局定位与″点到点″式地路径规划的要求,以实现对各植株及其周边土壤环境的差异化管理。因此,果园机器人的高精度定位与路径规划是必须要实现的技术。
现有导航方法(例如GPS或GNSS导航,其适用前提是周围环境空旷且无遮蔽情况),因果园中果树树冠和枝叶较为茂密造成遮蔽,无法稳定接收卫星信号,存在信号不稳定等问题,限制了移动机器人在果园中的应用。为此,需要改进现有导航技术以提高定位精度和稳定性。
采用机器视觉的导航方式虽具有信息获取丰富的优点,但仍然存在实时性、环境噪声等问题。激光导航精度高、抗干扰能力强,具有良好的适用性,但应对非结构化果园环境中准确获取特征地图仍是实现移动机器人导航的难点,且较难实现自动化。采用SLAM模型进行定位的方式,在语义信息的应用和应对树干变粗与起伏路面等环境变化时的适应性较差。
现有技术中还没有一种方式能够更加适应当前的非结构化果园移动机器人定位和建图的问题。
发明内容
本发明所要解决的技术问题是现有的果园定位和建图方法中,针对非结构化果园应用场景的优化较少,且仅依靠GPS信号、激光特征、视觉特征作为定位参数,存在特征提取受坡度、遮挡影响大、特征不显著不稳定,非结构化环境定位精度低与抗环境变化能力弱问题,目的在于提供一种用于果园移动机器人的定位方法、建图方法及电子设备,解决上述问题。
本发明提出了一种用于果园移动机器人的定位方法,用于位于所述果园中移动机器人的定位,包括以下步骤:
S101,从所述果园预设的起点位置移动至终点位置,以通过相机获得视觉信息、通过激光雷达获得距离信息、树干位置信息和通过三维地图获得的地面信息,并对所述视觉信息、距离信息、树干位置信息和所述地面信息进行初始化形成输入信息;
S102,基于深度学习模型,融合所述输入信息,形成融合信息;
S103,基于所述融合信息提取信标及所述信标的置信度;
S104,基于所述信标及所述置信度,通过预设的地图对所述移动机器人进行定位获取定位信息。
进一步地,还包括在满足预设条件的情况下,对所述融合信息进行修正,每一所述树干还设有二维码,包括以下步骤:
S105,控制所述移动机器人基于预设路径进行巡检,采集所述输入信息,并执行所述S102至S103,得到所述信标及所述信标的置信度;
S106,根据所述二维码和预设修正模型,修正所述信标及所述信标的置信度,进而通过所述S104获得修正后的所述定位信息。
进一步地,所述树干位置信息基于预设的地图获得的信息定义为第一位置信息,其中所述S106,包括:
S1061,识别二维码的位姿和信息,以及所述信标至所述预设修正模型;
S1062,所述预设修正模型基于所述二维码的位姿和信息确定所述树干的第二位置信息;
S1063,所述预设修正模型还用于基于所述第一位置信息和所述第二位置信息,确定修正后的树干位置信息;
S1064,对所述视觉信息、距离信息、修正后的树干位置信息和所述地面信息进行初始化以形成修正后的输入信息,以通过将所述修正后的输入信息替换所述输入信息执行步骤S102,进而得到修正后的定位信息。
进一步地,所述S1063,还包括:所述预设修正模型根据所述第二位置信息,调整所述第一位置信息中树干的权重,具体形式可以是更新预设的信标库表权重,以确定修正后的所述树干位置信息。
进一步地,还包括:
S107,通过里程计获取所述移动机器人当前行驶里程;
S108,基于所述当前行驶里程超过预设里程,确定更新所述预设的地图。
进一步地,所述里程计包括设于移动机器人底盘的轮速计与陀螺仪。
进一步地,所述移动机器人包括采摘机、巡检机器人和施药机器人的至少一种。
进一步地,一种建图方法,用于建立上述任一的地图,包括以下步骤:
S201,设置关键点位置,所述关键点包括起点位置、终点位置、地面坡度变化处位置;
S202,根据SLAM模型,通过输入包括视觉信息、距离信息和时间信息的输入信息,建立第一地图;
S203,基于深度学习模型,获取视觉信息中的树干特征,并关联对应的所述距离特征,形成树干特征集;
S204,基于所述第一地图和所述时间信息,通过重投影所述树干特征集以形成全局树干地图;
S205,基于所述全局树干地图和所述第一地图,建立第二地图。
本发明另一方面实施例提出了所述关键点基于树干设有的二维码的位置决定,S204,还包括以下步骤:
S2041,基于所述第一地图和所述时间信息,重投影所述二维码的位置以获取全局树干地图。
本发明另一方面实施例提出了一种电子设备,包括:
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任一项所述的方法,或者实现上述任一项所述的方法。
本发明与现有技术相比,具有如下的优点和有益效果:
1、本发明一种用于果园移动机器人的定位方法,通过使用包括视觉信息、距离信息、树干位置和地面信息作为输入信息,再通过深度学习模型和置信度,通过已构建的预设的地图对移动机器人定位获得定位信息,克服非结构化果园中特征提取受坡度、遮挡影响大、特征不显著不稳定,非结构化环境定位精度低与抗环境变化能力弱的问题,此外,能够实现二维码定位对累积误差的修正和具有更强的适应性。
2、本发明一种用于果园移动机器人的建图方法,通过第一地图的时间信息和全局树干地图建立起的第二地图,与第一地图相比,受坡度、遮挡影响较小,树干特征显著且稳定,能够提升非结构化环境中的定位精度,抗环境变化能力得以加强,此外,能够实现二维码定位对累积误差的修正和具有更强的适应性。
3、本发明一种电子设备,自动化实现定位和建图,并在定位和建图中克服非结构化果园中特征提取受坡度、遮挡影响大、特征不显著不稳定,非结构化环境定位精度低与抗环境变化能力弱的问题,此外,能够实现二维码定位对累积误差的修正和具有更强的适应性。
附图说明
附图用于更好地理解本方案,不构成对本发明的限定。其中:
图1是根据本发明一个实施例的移动机器人和果园示意图(俯视图);
图2是根据本发明一个实施例的移动机器人和果园示意图(主视图);
图3是根据本发明一个实施例的定位的流程示意图;
图4是根据本发明一个实施例的又一定位的流程示意图;
图5是根据本发明一个实施例的建图的流程示意图;
图6是根据本发明一个实施例的电子设备的示意图。
附图标记:
100-移动机器人,101-相机,102-激光雷达,200-电子设备,201-处理器,202-存储器。
具体实施方式
下面详细描述本发明的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
如图1所示,本发明一种用于果园移动机器人100的定位方法、建图方法及电子设备200,用于位于所述果园中移动机器人100的定位,包括以下步骤:
S101,从所述果园预设的起点位置移动至终点位置,以通过相机101获得视觉信息、通过激光雷达102获得距离信息、树干位置信息和通过三维地图获得的地面信息,并对所述视觉信息、距离信息、树干位置信息和所述地面信息进行初始化形成输入信息;
S102,基于深度学习模型,融合所述输入信息,形成融合信息;
S103,基于所述融合信息提取信标及所述信标的置信度;
S104,基于所述信标及所述置信度,通过预设的地图对所述移动机器人100进行定位获取定位信息。
在一些实施方式中,如图1和图2所示的本发明一个实施例的移动机器人100和果园,移动机器人100包括相机101、激光雷达102和传感器,果园为非结构化果园,例如丘陵地貌的果园。
其中,非结构化果园是指没有按照特定规则或标准进行种植和管理的果园。这些果园通常没有明确定义的行列或间距,也没有精确的土地测量或设计。相反,它们可以是由自然生长的果树组成,这些果树可以在野外或农村地区中生长,并且通常是通过自然传播方法繁殖的。非结构化果园可能会包含多种果树品种,而不仅仅是单一品种。这使得整个果园更具有生态和景观价值,也使得建图和定位功能的实现较为困难。
起点位置,是指果园的入口、导航或巡检的起点或在预设起点位置的第一个树干位置或关键点位置。
终点位置,是指导航或巡检的终点或在预设终点位置的最后一个树干位置或果园规划的行列末尾位置。
移动机器人100的硬件涉及激光雷达102、多个相机101进行多视角融合,软件判断标准以近距离语义优先,并根据树干、信标库表权重更新和非结构化果园(例如丘陵地貌)适应。
相机101,可以是RGB-D相机101、单目相机101、双目/立体相机101、鱼眼相机101的任意一种。其中,RGB-D相机101是一种能够获取彩色图像和深度图像的相机101,通常采用结构光或者ToF(Time of Flight)技术实现深度图像的获取。RGB-D相机101可以提供较为精确的深度信息,并且具有较高的帧率和分辨率。因此在SLAM建图任务中得到了广泛应用。但是它的深度测量范围有限,适用于近距离测量,同时也很容易受到光照条件和透明物体的影响。单目相机101是指只有一个镜头的相机101,可以通过对不同角度下场景的拍摄来获取立体视觉信息。由于成本低廉、易于集成等原因,单目相机101在机器人领域得到了广泛应用。但是单目相机101需要通过复杂的视觉SLAM算法进行定位和建图,同时深度信息的获取也比较困难。双目/立体相机101是指具有两个镜头的相机101,可以通过测量左右两个镜头之间的视差来计算场景中物体的三维坐标。由于立体相机101可以提供更为准确的深度信息,在SLAM建图中得到了广泛应用。但是它的成本较高,需要对两个相机101进行精确的校准和匹配。鱼眼相机101是一种采用鱼眼透镜设计的广角相机101,可以提供大幅度的视野覆盖。在SLAM建图任务中,鱼眼相机101通常被用来作为全景相机101或者车载监控相机101,可以通过多个鱼眼相机101组合实现360度的环境监测和定位。
激光雷达102(Lidar)是一种使用激光扫描周围环境并测量距离的传感器,可以是旋转式激光雷达102、扫描式激光雷达102、相位调制激光雷达102、MEMS激光雷达102。其中,旋转式激光雷达102通过旋转激光传感器来扫描环境,可以实现360度全方位覆盖,具有较高的精度和稳定性,但价格较为昂贵。适配选型:Velodyne VLP-16、HDL-32、HDL-64等。扫描式激光雷达102通过上下或左右移动传感器来扫描环境,可以实现大范围的横向和纵向扫描,价格相对较低。适配选型:SICK TiM系列、Hokuyo UTM系列等。相位调制激光雷达102采用调制激光束的相位信息来获得目标物体的距离和角度信息,具有较高的速度和分辨率,但精度略低。适配选型:Livox Mid-40、Mid-100等。MEMS激光雷达102使用微机电系统技术制造,具有小尺寸、低功耗和高可靠性等特点,但扫描角度和分辨率较低。适配选型:Robosense RS-LiDAR-M1、M2等。在本发明的实施方式中,不限于上述激光雷达102的选型,可考虑精度、稳定性、扫描速度、探测距离、价格等因素,并根据实际需求进行权衡。同时,还需要考虑与SLAM算法的兼容性和接口适配情况,以保证数据传输和处理的有效性。
如图3所示,在本发明一种实施方式的流程图中,树干位置信息可以是树干中心位置,可以通过两种方式获得:方式1:激光雷达102测量实现,也可以通过方式2:相机101扫描树干上预设的二维码(信标)获取得到。方式2比方式1更为精准,但需要预先制作信标。在下述实施例中会结合这两种方式阐述本发明的目的。
其中,方式1可采用这种方式实现:使用激光雷达102在直角坐标系中以安装位置O为原点建立坐标系,移动机器人100前进方向为Y轴,每个数据点A由特征向量[w,σ,×i,yi]T表示。
自修正模型,可以是距离阈值分别为wmax和×max,只有当wi小于wmax且×i小于xmax时,才保留A,否则剔除。激光数据中可能会存在一些离散点,可以通过计算A到其他k个邻近点的平均距离i来判断该点是否是离散点。如果i大于设定的一定阈值,则认为该点是离散点,需要将其剔除;反之保留。通过最小二乘法,可以使用A到其他k个邻近点的距离作为样本,对每个数据点进行拟合。如果某一数据点的残差较大,说明该点可能是一个离散点。通过计算该点到其他k个邻近点的平均残差i,并将其与设定的一定阈值进行比较,可以判断该点是否是离散点。如果i大于阈值,则认为该点是离散点,需要将其剔除;反之保留。这种方法可以过滤掉离散点的干扰,提高激光数据的精度和稳定性。
在获取所有果树坐标点后,采用欧式聚类对同一棵果树上的所有坐标点进行聚类,聚类搜索半径r的大小与果树平均半径相关。因为激光扫描仪工作原理的局限性,点云数据只能获得当前激光高度下的果树树干横截面表面。因此,可以将树干近似看作圆柱体,并利用聚类后的最短ρ值激光点和激光发射点、树干中心点共线原理来近似获取当前果树树干中心点坐标,即得到树干的中心坐标。
方式2的二维码方式较为直观,可以先将人工标注的树干中心点坐标或道路中心点作为二维码的信息,待移动机器人100经过后扫描获取得到,也可以结合二维码的位姿等信息做交叉验证。二维码可以作为广义的信标使用。
将输入信息形成融合信息,主要通过深度学习模型和标准化或归一化算法实现融合信息矩阵的构建,这种融合信息可称为多模态语义融合信息。深度学习模型具体可以是图像语义分割模型,可通过以下几种类型任一实现:
FCN(Fully Convolutional Networks):全卷积网络,是最早提出的图像语义分割模型,可以将任意大小的输入图像映射为相同大小的输出图像。
U-Net:一种基于FCN的编码解码结构的网络,通过跳跃式连接(skip connection)连接编码器和解码器的不同层次,能够更好地保留图像细节信息。
PSPNet(Pyramid Scene Parsing Network):金字塔场景分割网络,使用金字塔池化操作来捕捉不同大小的上下文信息,从而提高了对物体和背景之间的区分度。
DeepLab系列:基于空洞卷积(dilated convolution)的深度学习模型,具有较大的感受野,能够有效地处理不同大小的目标。其中,DeepLab V3+引入了ASPP(AtrousSpatial Pyramid Pooling)模块,进一步扩展了感受野。
Mask R-CNN:一种基于Faster R-CNN的实例分割模型,通过在Faster R-CNN中添加分支网络进行分割,同时保留物体检测功能。
所述视觉信息、距离信息、树干位置信息和所述地面信息,通过标准化或归一化算法拼接形成特征向量,该特征向量即为融合信息。
在一些实施方式中,可通过二维码直接提取出信息,由此提取出信标的信息;也可以通过上述方式1和/或方式2的方式提取出信标的信息,信标可以是树干位置信息、视觉信息、距离信息、地面信息中的经过标准化和交叉验证后的信息,交叉验证的一个示例是方式1和方式2针对树干位置信息进行交叉验证,以方式2为准替换方式1获得的树干位置信息。
在一些实施方式中,可以通过对融合信息中同类信息的均值(mean)、标准差(std)、偏度(skewness)和峰度(kurtosis)等统计学数据处理,即可提取置信度。
此外,预设的地图为前期通过建图得到的任意二维或三维地图,此处不做限定。
如此,通过使用包括视觉信息、距离信息、树干位置和地面信息作为输入信息,再通过深度学习模型和置信度,通过已构建的预设的地图对移动机器人100定位获得定位信息,克服非结构化果园中特征提取受坡度、遮挡影响大、特征不显著不稳定,非结构化环境定位精度低与抗环境变化能力弱的问题。
还包括在满足预设条件的情况下,对所述融合信息进行修正,每一所述树干还设有二维码,包括以下步骤:
S105,控制所述移动机器人100基于预设路径进行巡检,采集所述输入信息,并执行所述S102至S103,得到所述信标及所述信标的置信度;
S106,根据所述二维码和预设修正模型,修正所述信标及所述信标的置信度,进而通过所述S104获得修正后的所述定位信息。
在一些实施方式中,二维码不止可以设置在树干上,也可以设置在上述起点位置、树干间路的尽头和果园的边缘,但不限于此。
本实施例中,如图4所示,预设条件可以是置信度较低(例如经过多次自修正后超过10%的树干位置信息消失,则判断置信度较低)或时间超过一个阈值(例如超过4、8、12小时,但不限于此)。预设路径可以是按需和规定的巡检路线,在此不做限定。
使用时,当移动机器人100在果树行间移动时,其相机101会采集到当前环境的图像和深度信息,实时计算出机械相对于起始位置的位姿估计。同时,在果树上或果树外果园的关键点位置贴有二维码,提供对应的树干坐标信息。相机101可以获取树干周围的三维轮廓和二维码信息,据此可以确定果树的世界坐标系中的位置,并得到果园机械的绝对位置。通过相机101实现的这种方法不仅可以进行连续位姿估计,还可以消除由于累积误差带来的定位偏差问题。
所述树干位置信息基于预设的地图获得的信息定义为第一位置信息,其中所述S106,包括:
S1061,识别二维码的位姿和信息,以及所述信标至所述预设修正模型;
S1062,所述预设修正模型基于所述二维码的位姿和信息确定所述树干的第二位置信息;
S1063,所述预设修正模型还用于基于所述第一位置信息和所述第二位置信息,确定修正后的树干位置信息;
S1064,对所述视觉信息、距离信息、修正后的树干位置信息和所述地面信息进行初始化以形成修正后的输入信息,以通过将所述修正后的输入信息替换所述输入信息执行步骤S102,进而得到修正后的定位信息。
在一些实施例中,预设修正模型可为判断模型或用于刷新的模型,旨在将上述实施例中方式2的结果替换掉方式1的结果,由此可以加强树干位置信息的权重,补充被自修正模型错误修正的树干位置信息。
所述S1062中,所述预设修正模型基于所述二维码的位姿和信息,还可确定起点位置、树干间路的尽头和果园的边缘,但不限于此。
所述S1063,还包括:所述预设修正模型根据所述第二位置信息,调整所述第一位置信息中树干的权重,具体形式可以是更新预设的信标库表权重,以确定修正后的所述树干位置信息。
如此,可有效利用树干中心位置的时空不变性,提高定位信息的精度。
进一步的,还包括:
S107,通过里程计获取所述移动机器人100当前行驶里程;
S108,基于所述当前行驶里程超过预设里程,确定更新所述预设的地图。
由于自修正模型,在使用预设的地图一段时间后,会存在特征变少到不符合置信度要求的程度,因此需要设置里程计在超过预设里程时,重新建图。建图方法可参见后续实施例。
所述里程计包括设于移动机器人100底盘的轮速计与陀螺仪。
如此,可通过航迹推算方法联合测量移动机器人100的里程信息。使用时,包括轮速计数据处理、陀螺仪数据处理和航迹推算方法。
轮速计通常是通过对机器人轮子的旋转进行测量来获取机器人的运动信息,包括线速度和角速度。这些数据可以通过编码器或其他传感器实时获取,并根据机器人的几何模型和轮子半径等参数进行处理以得到机器人在平面上的运动方向和速度大小。
陀螺仪可以通过检测机器人的转动来测量机器人的姿态变化,包括机器人的欧拉角(俯仰角、横滚角和偏航角)和角速度。这些数据可以通过惯性测量单元(IMU)等传感器实时获取,并通过积分计算机器人当前的朝向和位置信息。
航迹推算是利用轮速计和陀螺仪数据对机器人进行位姿估计,其基本思路是通过不断积分机器人的姿态和速度信息,从而推算出机器人的位置和朝向变化。
具体而言,航迹推算里程通常包括以下几个步骤:首先,根据机器人的初始位置和朝向,利用陀螺仪数据计算机器人当前的姿态角度;然后,结合轮速计数据计算机器人在局部坐标系下的速度和位移变化;接着,通过积分计算机器人在全局坐标系下的位置和朝向变化;最后,不断更新机器人的位置和姿态信息,以实现机器人的位姿估计与导航,进而统计出里程信息。
所述移动机器人100包括采摘机、巡检机器人和施药机器人的至少一种。
如此,可以实现果园自动化采摘功能、巡检功能和施药功能。
具体的,采摘机是一种针对果园作业需求而设计的特殊移动机器人100,其主要功能是在果树之间进行移动、检测并采摘水果等操作。果园采摘机通常配备了摄像头、激光雷达102等传感器来实现姿态估计、障碍物检测和定位等功能。同时,为了提高采摘效率和减少对果树的损伤,果园采摘机通常需配备特殊的机械手臂和夹爪等采摘装置。使用采摘机可以提高果园采摘作业的自动化程度,减少劳动力成本,同时也能保证水果的质量和产量。
此外,巡检机器人是一种能够自主巡视、采集和处理信息的智能机器人。它们可以被广泛应用于各种环境下的监控、巡视和安全管理,可以提高巡视效率,降低人力成本,同时也可以提高工作安全性和可靠性。
再者,施药机器人是一种能够自主进行农业作业,如喷洒、灌溉等的智能机器人。施药机器人在农业生产中发挥着越来越重要的作用,它们可以提高农业生产效率,降低农民的劳动强度,同时也可以保护环境,减少化学药剂对环境造成的污染。
本发明还提出了一种建图方法,用于建立上述任一实施例所述的地图,包括以下步骤:
S201,设置关键点位置,所述关键点包括起点位置、终点位置、地面坡度变化处位置;
S202,根据SLAM模型,通过输入包括视觉信息、距离信息和时间信息的输入信息,建立第一地图;
S203,基于深度学习模型,获取视觉信息中的树干特征,并关联对应的所述距离特征,形成树干特征集;
S204,基于所述第一地图和所述时间信息,通过重投影所述树干特征集以形成全局树干地图;
S205,基于所述全局树干地图和所述第一地图,建立第二地图。
具体的,如图5所示,其中,S2042,SLAM全称为″Simultaneous Localization andMapplng″(同时定位与地图构建),指的是一种在机器人或其他移动设备上,通过传感器数据(如激光雷达102、摄像头)实现位置估计和环境地图构建的算法。主要包括以下步骤:运动估计:利用机器人的传感器数据计算机器人的运动轨迹;环境感知:通过激光雷达102或相机101等传感器获取环境信息;数据关联:将当前得到的环境信息与之前的信息进行匹配关联,以便更好的理解和描述环境;地图构建:通过对已经关联的数据进行处理,构建一个机器人所处环境的地图模型;位置估计:利用之前构建出来的地图模型,根据当前传感器获取到的数据,估计机器人的当前位置;循环更新:不断进行运动估计、环境感知、数据关联、地图构建和位置估计的循环过程,优化机器人的位置估计和地图构建精度。
SLAM用于建立地图时,主要使用3D点云特征,这些特征包括地面特征或者与树木根部等物体相关的特征,这些原始特征主要是为了建图目的而选择的,但它们变化后可能会成为噪声。此外,在不平整的地形或者存在树木枝干等物体的区域中,某些特征可能会被遮挡或者消失,例如陡坡后面的树叶或枝干。如果把地面特征加入到语义模型中,就可能会出现干扰问题。因此,会通过自修正模型对多帧后聚类时,将较少的特征去除。此外,自修正模型可以在地图被破坏或失效时使用,但是实际情况下,如果园成熟,应该不会存在太大的问题。但如果遇到遮挡或树木新长等问题,可能需要重新定位并重新建图。
因此,如何将树干特征这一时空不变性较好的特征,在非结构化果园的环境中,避免自修正模型的错误的去除,是本发明需要解决的核心的技术问题。
具体的,使用视觉建图时,主要保留几何特征。由于树干特征相对较少,因此地面上的可用特征数量往往更多。特征选择是识别关键点的关键问题,怎么加强树干特征的权重和补充因在不平整的地形或者存在树木枝干等物体的区域中缺失的树干特征是关键。在一些实施方式中,树干特征可以是树干的几何特征,也可以是树干的中心位置信息,也可以是二者结合,但不限于此。
因此,需要制定选择使用哪些特征的规则。这些规则基于每个特征在算法中的置信度。例如可以使用ORB和SIFT特征用于通过比较帧之间的显著点来完成建图和在先实施例中的定位。
其中,ORB是Oriented FAST and Rotated BRIEF的缩写,是一种快速而且具有方向性的二进制特征描述符。它通过使用FAST(Features from Accelerated Segment Test)特征检测器来检测出图像中的关键点,并计算BRIEF(Binary RobustIndependentElementary Features)描述符来描述这些关键点。ORB还引入了方向角度来使得它对旋转更加稳健。
而SIFT是Scale-Invariant Feature Transform的缩写,是一种基于尺度空间极值点的局部特征描述符。它可以自适应地检测和描述不同尺度、旋转和亮度条件下的图像中的关键点。SIFT描述符是由每个关键点周围的梯度方向直方图构成的,具有高维度和稀疏性。
总的来说,ORB和SIFT都可以用于图像的特征匹配和目标追踪等计算机视觉任务中。但是ORB比SIFT更快,并且具有更小的计算和存储开销,因此在实时性要求高或者存储资源受限的场景下,ORB更为适用。
在本发明的一些实施方式中,建立第一地图时,采用视觉或激光或两者结合来获取环境信息。建立第一地图后,进行二次特征提取以精细定位树干和其他主要特征。此方法主要是基于树干等关键特征进行建立,而不是依赖地面特征。
在这个方法中,特征选择非常重要,并且需要制定规则来确保选择的特征具有算法中的重要性,目前使用ORB和SIFT特征来实现通过比较帧之间的显著点来建图。确定好特征后,进行二次特征提炼以稳定模型,例如一些实施方式是通过ORB和另一可选特征进一步精细定位树干和其他主要特征,以及稳定模型。
另一可选特征可以是以下特征的任一种或多种:
SURF(Speeded Up Robust Features):一种基于Hessian矩阵检测的局部特征描述符。它使用高斯差分函数来检测关键点,并通过Haar小波特征描述符来描述这些关键点的局部区域。SURF具有较高的速度和良好的旋转和尺度不变性,但描述符的维度较高。
BRISK(Binary Robust lnvariant Scalable Keypoints):一种基于二进制描述符的快速关键点检测器和描述符。它结合了FAST检测器和分层检测方法,利用BRIEF描述符来描述图像中的关键点。BRISK具有较好的速度和鲁棒性,并适用于处理大规模图像的特征匹配任务。
AKAZE(Accelerated-KAlE):一种无尺度空间极值点检测的局部特征描述符。它使用了一种加速的KAZE算法来检测尺度、方向和位置不变性的关键点,并通过MLDB描述符来描述这些关键点的局部区域。AKAZE具有良好的尺度不变性和旋转不变性,并且在处理模糊或光照变化等情况下表现良好。
当建立起第一地图后,可以提取二次特征来进一步精细定位树干和其他主要特征。另外,在第一地图不稳定的情况下,通常需要进行二次提炼以确保第一地图的稳定性和准确性。
二次特征提炼的目的是通过确保优先考虑最重要的特征来稳定模型。这在非结构化环境(如果园)中尤为重要,因为稳定的特征对于准确建图至关重要。
具体的,如步骤S203,使用深度学习技术进行语义分割,以便更好地提取关键特征,例如树干和二维码,并进行语义信息提取。在深度学习模型中,通常使用图像数据为主要输入。然后,通过对关键部分点云特征进行语义信息提取,如提取树干的中心位置等,以及与二维码之间的夹角和缩放比例等信息。此方法可以减少运算资源和浪费,同时提高建图精度和效率。
如此,通过第一地图的时间信息和全局树干地图建立起的第二地图,与第一地图相比,受坡度、遮挡影响较小,树干特征显著且稳定,能够提升非结构化环境中的定位精度,抗环境变化能力得以加强,也能够实现自动化第二地图的建立。
所述关键点基于树干设有的二维码的位置决定,S204,还包括以下步骤:
S2041,基于所述第一地图和所述时间信息,重投影所述二维码的位置以获取全局树干地图。
在一些实施方式中,还可基于所述第一地图和所述时间信息和关联的图像与点云信息,重投影与点云数据、二维码的位置结合,获取全局树干地图。
在一些实施方式中,视觉加激光建图过程中,激光雷达102可用于获取距离信息,而二维码的夹角和缩放比例等信息可与语义数据一起作为关键输入到模型中。对于建图中存在的问题,可以利用该方法进行改进,例如二维码修正和语义深度学习与视觉融合等。此过程主要是基于激光传感器和二维码修正的,同时也可以通过实际场景应用和对新环境匹配来进行不断修正和迭代。此外,该方法还可以通过自修正模型来减少从二次扫描开始的冗余工作。
重投影是一种时间戳的投影方法,用于建立SLAM中的三维地图。在建图过程中,通过图像或激光获取关键点地图。然后我们可以将它进行回溯,将其变为稠密地图,并找到与图像信息对应的三维点云信息。通过这些图像,我们可以找到树干信息,并使用深度学习来找到树干信息。然后我们将其重新投影回地图中,以获得具有树干特征的地图。
具体的,重投影(Reprojection)指的是将三维世界坐标系中的点重新映射到图像平面上的过程。在计算机视觉和三维重建任务中,通常需要对三维场景进行重建或者姿态估计等操作,因此需要将场景中的三维点投影到相应的图像平面上。
重投影过程通常分为以下几个步骤:
首先,通过摄像机标定或其他方法获取摄像机的内参矩阵和外参矩阵,用于将三维点从世界坐标系转换到相机101坐标系。然后,根据相机101模型将三维点从相机101坐标系投影到图像平面上,得到一个二维像素坐标。最后,可以将这个像素坐标与原始图像中的像素值进行比较,从而评估误差,并优化摄像机的内参矩阵和外参矩阵以提高重投影准确性。
基于建立好的第一地图,可以发现树干语义在空间分布方面具有某些特征。需要多次扫描二维码来增强置信度,如果树干特征置信度为零时,则需要重新构建地图。
在一些实施方式中,建图方法也可以是地图更新方法,此处不再赘述。
本发明还提出了一种电子设备200,包括:
存储器202、处理器201及存储在存储器202上并可在处理器201上运行的计算机程序,所述处理器201执行所述程序时实现上述任一项所述的定位方法,或者实现如上述任一项所述的建图方法。
具体的,通过该电子设备200,可实现自动化执行果园移动机器人100的定位方法和建图方法,并可基于定位方法实现导航和巡检。
其中,需说明的是,如图6所示,本示例中的电子设备200以通用计算设备的形式表现。电子设备200的组件可以包括但不限于:一个或者多个处理器201或者处理单元,系统存储器202,连接不同系统组件(包括系统存储器202和处理单元)的总线。
电子设备200包括计算单元,其可以根据存储在ROM(Read-Only Memory,只读存储器202)中的计算机程序或者从存储单元加载到RAM(Random Access Memory,随机访问/存取存储器202)中的计算机程序,来执行各种适当的动作和处理。在RAM中,还可存储设备操作所需的各种程序和数据。计算单元、ROM以及RAM通过总线彼此相连。I/O(Input/Output,输入/输出)接口也连接至总线。
电子设备200中的多个部件连接至I/O接口,包括:输入单元,例如键盘、鼠标等;输出单元,例如各种类型的显示器、扬声器等;存储单元,例如磁盘、光盘等;以及通信单元,例如网卡、调制解调器、无线通信收发机等。通信单元允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
用来实施本发明的实施例的示例的电子设备200,旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机和其它适合的计算机。电子设备200还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本发明所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本发明中描述的和/或者要求的本发明的实现。
处理器201为计算单元,计算单元可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器201的一些示例包括但不限于CPU(Central Processing Unit,中央处理单元)、GPU(Graphic Processing Units,图形处理单元)、各种专用的Al(ArtificialIntelligence,人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(DigitalSignal Processor,数字信号处理器201)、以及任何适当的处理器201、控制器、微控制器等。计算单元执行上文所描述的各个方法和处理,例如基于焦面拟合的成像方法。例如,在一些实施例中,基于焦面拟合的成像方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元。在一些实施例中,计算机程序的部分或者全部可以经由ROM和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到RAM并由计算单元执行时,可以执行上文描述的方法的一个或多个步骤。备选地,在其他实施例中,处理器201可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行前述方法。
在本发明的上下文中,存储器202可为机器可读介质,可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质也可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory,可擦除可编程只读存储器202)或快闪存储器202、光纤、CD-ROM(C0mpactDisc Read-Only Memory,便捷式紧凑盘只读存储器202)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器201或控制器,使得程序代码当由处理器201或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
本发明与现有技术相比,具有如下的优点和有益效果:
1、本发明提供的一种用于果园移动机器人的定位方法,通过使用包括视觉信息、距离信息、树干位置和地面信息作为输入信息,再通过深度学习模型和置信度,通过已构建的预设的地图对移动机器人定位获得定位信息,克服非结构化果园中特征提取受坡度、遮挡影响大、特征不显著不稳定,非结构化环境定位精度低与抗环境变化能力弱的问题,此外,能够实现二维码定位对累积误差的修正和具有更强的适应性。
2、本发明提供的一种用于果园移动机器人的建图方法,通过第一地图的时间信息和全局树干地图建立起的第二地图,与第一地图相比,受坡度、遮挡影响较小,树干特征显著且稳定,能够提升非结构化环境中的定位精度,抗环境变化能力得以加强,此外,能够实现二维码定位对累积误差的修正和具有更强的适应性。
3、本发明提供的一种电子设备,自动化实现定位和建图,并在定位和建图中克服非结构化果园中特征提取受坡度、遮挡影响大、特征不显著不稳定,非结构化环境定位精度低与抗环境变化能力弱的问题,此外,能够实现二维码定位对累积误差的修正和具有更强的适应性。
在本发明所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
在本说明书的描述中,参考术语″一个实施例″、″一些实施例″、″示例″、″具体示例″、或″一些示例″等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语″第一″、″第二″仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有″第一″、″第二″的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,″多个″的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种用于果园移动机器人的定位方法,用于位于所述果园中移动机器人(100)的定位,其特征在于,包括以下步骤:
S101,从所述果园预设的起点位置移动至终点位置,以通过相机(101)获得视觉信息、通过激光雷达(102)获得距离信息、树干位置信息和通过三维地图获得的地面信息,并对所述视觉信息、距离信息、树干位置信息和所述地面信息进行初始化形成输入信息;
S102,基于深度学习模型,融合所述输入信息,形成融合信息;
S103,基于所述融合信息提取信标及所述信标的置信度;
S104,基于所述信标及所述置信度,通过预设的地图对所述移动机器人(100)进行定位获取定位信息。
2.根据权利要求1所述的一种用于果园移动机器人的定位方法,其特征在于,还包括在满足预设条件的情况下,对所述融合信息进行修正,每一所述树干还设有二维码,包括以下步骤:
S105,控制所述移动机器人(100)基于预设路径进行巡检,采集所述输入信息,并执行所述S102至S103,得到所述信标及所述信标的置信度;
S106,根据所述二维码和预设修正模型,修正所述信标及所述信标的置信度,进而通过所述S104获得修正后的所述定位信息。
3.根据权利要求2所述的一种用于果园移动机器人的定位方法,其特征在于,所述树干位置信息基于预设的地图获得的信息定义为第一位置信息,其中所述S106,包括:
S1061,识别二维码的位姿和信息,以及所述信标至所述预设修正模型;
S1062,所述预设修正模型基于所述二维码的位姿和信息确定所述树干的第二位置信息;
S1063,所述预设修正模型还用于基于所述第一位置信息和所述第二位置信息,确定修正后的树干位置信息;
S1064,对所述视觉信息、距离信息、修正后的树干位置信息和所述地面信息进行初始化以形成修正后的输入信息,以通过将所述修正后的输入信息替换所述输入信息执行步骤S102,进而得到修正后的定位信息。
4.根据权利要求3所述的一种用于果园移动机器人的定位方法,其特征在于,所述S1063,还包括:所述预设修正模型根据所述第二位置信息,调整所述第一位置信息中树干的权重,具体形式可以是更新预设的信标库表权重,以确定修正后的所述树干位置信息。
5.根据权利要求1所述的一种用于果园移动机器人的定位方法,其特征在于,还包括:
S107,通过里程计获取所述移动机器人(100)当前行驶里程;
S108,基于所述当前行驶里程超过预设里程,确定更新所述预设的地图。
6.根据权利要求5所述的一种用于果园移动机器人的定位方法,其特征在于,所述里程计包括设于移动机器人(100)底盘的轮速计与陀螺仪。
7.根据权利要求1所述的一种用于果园移动机器人的定位方法,其特征在于,所述移动机器人(100)包括采摘机、巡检机器人和施药机器人的至少一种。
8.一种建图方法,其特征在于,用于建立如权利要求1-7任一所述的地图,包括以下步骤:
S201,设置关键点位置,所述关键点包括起点位置、终点位置、地面坡度变化处位置;
S202,根据SLAM模型,通过输入包括视觉信息、距离信息和时间信息的输入信息,建立第一地图;
S203,基于深度学习模型,获取视觉信息中的树干特征,并关联对应的所述距离特征,形成树干特征集;
S204,基于所述第一地图和所述时间信息,通过重投影所述树干特征集以形成全局树干地图;
S205,基于所述全局树干地图和所述第一地图,建立第二地图。
9.根据权利要求8所述的一种建图方法,其特征在于,所述关键点基于树干设有的二维码的位置决定,S204,还包括以下步骤:
S2041,基于所述第一地图和所述时间信息,重投影所述二维码的位置以获取全局树干地图。
10.一种电子设备(200),其特征在于,包括:
存储器(202)、处理器(201)及存储在存储器(202)上并可在处理器(201)上运行的计算机程序,所述处理器(201)执行所述程序时实现如权利要求1-7中任一项所述的方法,或者实现如权利要求8-9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310608970.9A CN116660916B (zh) | 2023-05-26 | 2023-05-26 | 一种用于果园移动机器人的定位方法、建图方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310608970.9A CN116660916B (zh) | 2023-05-26 | 2023-05-26 | 一种用于果园移动机器人的定位方法、建图方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116660916A true CN116660916A (zh) | 2023-08-29 |
CN116660916B CN116660916B (zh) | 2024-02-02 |
Family
ID=87727262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310608970.9A Active CN116660916B (zh) | 2023-05-26 | 2023-05-26 | 一种用于果园移动机器人的定位方法、建图方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116660916B (zh) |
Citations (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002244733A (ja) * | 2001-02-13 | 2002-08-30 | Sogo Keibi Hosho Co Ltd | 自律移動体の走行位置修正装置 |
JP2003295951A (ja) * | 2002-03-29 | 2003-10-17 | Sogo Keibi Hosho Co Ltd | 自律移動体巡回システムおよび自律移動体の位置補正方法 |
JP2005118924A (ja) * | 2003-10-15 | 2005-05-12 | Toyota Motor Corp | ロボットの歩容データ作成装置 |
CN106017477A (zh) * | 2016-07-07 | 2016-10-12 | 西北农林科技大学 | 一种果园机器人的视觉导航系统 |
EP3157322A1 (en) * | 2015-07-13 | 2017-04-26 | Agerpoint, Inc. | Modular systems and methods for determining crop yields with high resolution geo-referenced sensors |
US20170199528A1 (en) * | 2015-09-04 | 2017-07-13 | Nutech Ventures | Crop height estimation with unmanned aerial vehicles |
CN107478214A (zh) * | 2017-07-24 | 2017-12-15 | 杨华军 | 一种基于多传感器融合的室内定位方法及系统 |
JP2018519607A (ja) * | 2015-07-08 | 2018-07-19 | 日本電気株式会社 | x管理システムのための最適スケジューリングおよびリアルタイム制御の方法 |
CN109084732A (zh) * | 2018-06-29 | 2018-12-25 | 北京旷视科技有限公司 | 定位与导航方法、装置及处理设备 |
CN110187372A (zh) * | 2019-06-20 | 2019-08-30 | 北京联合大学 | 一种低速无人车园区内组合导航方法及系统 |
CN110702028A (zh) * | 2019-09-04 | 2020-01-17 | 中国农业机械化科学研究院 | 一种果园树干三维检测定位方法及装置 |
CN111190199A (zh) * | 2018-11-15 | 2020-05-22 | 北京嘀嘀无限科技发展有限公司 | 定位方法及定位装置、计算机设备和可读存储介质 |
US20200309536A1 (en) * | 2019-03-26 | 2020-10-01 | Lyft, Inc. | Systems and methods for estimating vehicle position based on contextual sensor information |
WO2020211655A1 (zh) * | 2019-04-17 | 2020-10-22 | 北京迈格威科技有限公司 | 激光粗配准方法、装置、移动终端及存储介质 |
CN112556681A (zh) * | 2019-09-10 | 2021-03-26 | 中国农业机械化科学研究院 | 一种基于视觉的果园机械导航定位方法 |
CN112907667A (zh) * | 2021-02-23 | 2021-06-04 | 广东省农业科学院设施农业研究所 | 一种视觉激光融合的托盘位姿估计方法、系统及装置 |
CN113310488A (zh) * | 2021-04-29 | 2021-08-27 | 西安交通大学 | 一种基于slam的果园机器人导航方法 |
US20210287001A1 (en) * | 2020-03-11 | 2021-09-16 | Aerobotics (Pty) Ltd | Systems and methods for predicting crop size and yield |
DE102021106518A1 (de) * | 2020-03-17 | 2021-09-23 | Korea Advanced Institute Of Science And Technology | Elektronische Vorrichtung zur fusioniert kamera- und radarsensorbasierten dreidimensionalen Objekterkennung und Betriebsverfahren dafür |
CN113807309A (zh) * | 2021-09-28 | 2021-12-17 | 北京石油化工学院 | 一种基于深度学习的果园机械行走路线规划方法 |
US20210406560A1 (en) * | 2020-06-25 | 2021-12-30 | Nvidia Corporation | Sensor fusion for autonomous machine applications using machine learning |
EP3977346A1 (en) * | 2020-05-18 | 2022-04-06 | Shenzhen Intelligence Ally Technology Co., Ltd. | Simultaneous localization and mapping method, device, system and storage medium |
US20220111839A1 (en) * | 2020-01-22 | 2022-04-14 | Nodar Inc. | Methods and systems for providing depth maps with confidence estimates |
WO2022170847A1 (zh) * | 2021-02-09 | 2022-08-18 | 中国科学院深圳先进技术研究院 | 一种基于激光和视觉融合的在线标定方法 |
CN115112115A (zh) * | 2022-06-22 | 2022-09-27 | 南京理工大学 | 一种机器人果园高精度实时定位方法 |
US20230087467A1 (en) * | 2021-08-17 | 2023-03-23 | Tongji University | Methods and systems for modeling poor texture tunnels based on vision-lidar coupling |
CN115930948A (zh) * | 2023-02-22 | 2023-04-07 | 南京理工大学 | 一种果园机器人融合定位方法 |
CN115962773A (zh) * | 2022-12-27 | 2023-04-14 | 西安理工大学 | 一种移动机器人同步定位与地图构建方法、装置和设备 |
CN116071424A (zh) * | 2022-11-30 | 2023-05-05 | 西南林业大学 | 基于单目视觉的果实空间坐标定位方法 |
-
2023
- 2023-05-26 CN CN202310608970.9A patent/CN116660916B/zh active Active
Patent Citations (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002244733A (ja) * | 2001-02-13 | 2002-08-30 | Sogo Keibi Hosho Co Ltd | 自律移動体の走行位置修正装置 |
JP2003295951A (ja) * | 2002-03-29 | 2003-10-17 | Sogo Keibi Hosho Co Ltd | 自律移動体巡回システムおよび自律移動体の位置補正方法 |
JP2005118924A (ja) * | 2003-10-15 | 2005-05-12 | Toyota Motor Corp | ロボットの歩容データ作成装置 |
JP2018519607A (ja) * | 2015-07-08 | 2018-07-19 | 日本電気株式会社 | x管理システムのための最適スケジューリングおよびリアルタイム制御の方法 |
EP3157322A1 (en) * | 2015-07-13 | 2017-04-26 | Agerpoint, Inc. | Modular systems and methods for determining crop yields with high resolution geo-referenced sensors |
US20170199528A1 (en) * | 2015-09-04 | 2017-07-13 | Nutech Ventures | Crop height estimation with unmanned aerial vehicles |
CN106017477A (zh) * | 2016-07-07 | 2016-10-12 | 西北农林科技大学 | 一种果园机器人的视觉导航系统 |
CN107478214A (zh) * | 2017-07-24 | 2017-12-15 | 杨华军 | 一种基于多传感器融合的室内定位方法及系统 |
CN109084732A (zh) * | 2018-06-29 | 2018-12-25 | 北京旷视科技有限公司 | 定位与导航方法、装置及处理设备 |
CN111190199A (zh) * | 2018-11-15 | 2020-05-22 | 北京嘀嘀无限科技发展有限公司 | 定位方法及定位装置、计算机设备和可读存储介质 |
US20200309536A1 (en) * | 2019-03-26 | 2020-10-01 | Lyft, Inc. | Systems and methods for estimating vehicle position based on contextual sensor information |
WO2020211655A1 (zh) * | 2019-04-17 | 2020-10-22 | 北京迈格威科技有限公司 | 激光粗配准方法、装置、移动终端及存储介质 |
CN110187372A (zh) * | 2019-06-20 | 2019-08-30 | 北京联合大学 | 一种低速无人车园区内组合导航方法及系统 |
CN110702028A (zh) * | 2019-09-04 | 2020-01-17 | 中国农业机械化科学研究院 | 一种果园树干三维检测定位方法及装置 |
CN112556681A (zh) * | 2019-09-10 | 2021-03-26 | 中国农业机械化科学研究院 | 一种基于视觉的果园机械导航定位方法 |
CN112556681B (zh) * | 2019-09-10 | 2023-04-28 | 中国农业机械化科学研究院 | 一种基于视觉的果园机械导航定位方法 |
US20220111839A1 (en) * | 2020-01-22 | 2022-04-14 | Nodar Inc. | Methods and systems for providing depth maps with confidence estimates |
US20210287001A1 (en) * | 2020-03-11 | 2021-09-16 | Aerobotics (Pty) Ltd | Systems and methods for predicting crop size and yield |
DE102021106518A1 (de) * | 2020-03-17 | 2021-09-23 | Korea Advanced Institute Of Science And Technology | Elektronische Vorrichtung zur fusioniert kamera- und radarsensorbasierten dreidimensionalen Objekterkennung und Betriebsverfahren dafür |
EP3977346A1 (en) * | 2020-05-18 | 2022-04-06 | Shenzhen Intelligence Ally Technology Co., Ltd. | Simultaneous localization and mapping method, device, system and storage medium |
US20210406560A1 (en) * | 2020-06-25 | 2021-12-30 | Nvidia Corporation | Sensor fusion for autonomous machine applications using machine learning |
WO2022170847A1 (zh) * | 2021-02-09 | 2022-08-18 | 中国科学院深圳先进技术研究院 | 一种基于激光和视觉融合的在线标定方法 |
CN112907667A (zh) * | 2021-02-23 | 2021-06-04 | 广东省农业科学院设施农业研究所 | 一种视觉激光融合的托盘位姿估计方法、系统及装置 |
CN113310488A (zh) * | 2021-04-29 | 2021-08-27 | 西安交通大学 | 一种基于slam的果园机器人导航方法 |
US20230087467A1 (en) * | 2021-08-17 | 2023-03-23 | Tongji University | Methods and systems for modeling poor texture tunnels based on vision-lidar coupling |
CN113807309A (zh) * | 2021-09-28 | 2021-12-17 | 北京石油化工学院 | 一种基于深度学习的果园机械行走路线规划方法 |
CN115112115A (zh) * | 2022-06-22 | 2022-09-27 | 南京理工大学 | 一种机器人果园高精度实时定位方法 |
CN116071424A (zh) * | 2022-11-30 | 2023-05-05 | 西南林业大学 | 基于单目视觉的果实空间坐标定位方法 |
CN115962773A (zh) * | 2022-12-27 | 2023-04-14 | 西安理工大学 | 一种移动机器人同步定位与地图构建方法、装置和设备 |
CN115930948A (zh) * | 2023-02-22 | 2023-04-07 | 南京理工大学 | 一种果园机器人融合定位方法 |
Non-Patent Citations (11)
Title |
---|
F. BETTI SORBELLI: "Drone-based Optimal and Heuristic Orienteering Algorithms Towards Bug Detection in Orchards", 2022 18TH INTERNATIONAL CONFERENCE ON DISTRIBUTED COMPUTING IN SENSOR SYSTEMS (DCOSS), pages 117 - 124 * |
K. BRESLLA: "Sensor-fusion and deep neural networks for autonomous UAV navigation within orchards", 2020 IEEE INTERNATIONAL WORKSHOP ON METROLOGY FOR AGRICULTURE AND FORESTRY (METROAGRIFOR), pages 230 - 235 * |
LIU LIMIN: "Autonomous navigation and automatic target spraying robot for orchards", SMART AGRICULTURE, pages 63 - 74 * |
MA CHI: "Research on navigation line generation of kiwi orchard between rows based on root point substitution", AGRICULTURAL RESEARCH IN THE ARID AREAS, pages 222 - 230 * |
N. HÄNI: "Visual servoing in orchard settings", 2016 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS), pages 2946 - 2953 * |
刘慧;朱晟辉;沈跃;汤金华;: "基于多特征融合的树干快速分割算法", 农业机械学报, no. 01, pages 228 - 236 * |
慕军营: "自动导航系统在农业中的应用及果园适用性分析", 农机化研究, pages 6 - 12 * |
王博: "果园移动式平台底盘路径导航及果实识别研究", 中国优秀硕士学位论文全文数据库 * |
胡晨: "果园作业机器人定位与地图构建研究", 中国优秀硕士学位论文全文数据库, pages 140 - 173 * |
褚福春: "基于多传感器融合的农业机器人非结构化环境导航技术研究", 中国优秀硕士学位论文全文数据库 * |
金李: "果园监控机器人自主行驶及视觉导航系统研究", 林业机械与木工设备, pages 24 - 31 * |
Also Published As
Publication number | Publication date |
---|---|
CN116660916B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110097553B (zh) | 基于即时定位建图与三维语义分割的语义建图系统 | |
CN110070615B (zh) | 一种基于多相机协同的全景视觉slam方法 | |
Heng et al. | Project autovision: Localization and 3d scene perception for an autonomous vehicle with a multi-camera system | |
CN109579843B (zh) | 一种空地多视角下的多机器人协同定位及融合建图方法 | |
CN114862949B (zh) | 一种基于点线面特征的结构化场景视觉slam方法 | |
US20210390329A1 (en) | Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium | |
US9435911B2 (en) | Visual-based obstacle detection method and apparatus for mobile robot | |
CN110176032B (zh) | 一种三维重建方法及装置 | |
CN105160702B (zh) | 基于LiDAR点云辅助的立体影像密集匹配方法及系统 | |
CN113359782B (zh) | 一种融合lidar点云与图像数据的无人机自主选址降落方法 | |
CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
CN114459467B (zh) | 一种未知救援环境中基于vi-slam的目标定位方法 | |
CN110889873A (zh) | 一种目标定位方法、装置、电子设备及存储介质 | |
Yuan et al. | GNSS-IMU-assisted colored ICP for UAV-LiDAR point cloud registration of peach trees | |
CN114743021A (zh) | 一种输电线路图像与点云数据的融合方法及系统 | |
CN116879870B (zh) | 一种适用于低线束3d激光雷达的动态障碍物去除方法 | |
Xinmei et al. | Passive measurement method of tree height and crown diameter using a smartphone | |
CN118168545A (zh) | 基于多源传感器融合的除草机器人定位导航系统及方法 | |
CN113807309B (zh) | 一种基于深度学习的果园机械行走路线规划方法 | |
CN115077563A (zh) | 车辆定位精度评价方法、装置及电子设备 | |
CN113885510B (zh) | 一种四足机器人避障及领航员跟随方法及系统 | |
CN113971697B (zh) | 一种空地协同车辆定位定向方法 | |
CN114821363A (zh) | 一种基于语义信息匹配的无人机定位建图方法及系统 | |
CN116660916B (zh) | 一种用于果园移动机器人的定位方法、建图方法及电子设备 | |
Pauls et al. | Automatic mapping of tailored landmark representations for automated driving and map learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |