CN116719037A - 一种用于智能割草机器人的环境感知方法及系统 - Google Patents

一种用于智能割草机器人的环境感知方法及系统 Download PDF

Info

Publication number
CN116719037A
CN116719037A CN202310598913.7A CN202310598913A CN116719037A CN 116719037 A CN116719037 A CN 116719037A CN 202310598913 A CN202310598913 A CN 202310598913A CN 116719037 A CN116719037 A CN 116719037A
Authority
CN
China
Prior art keywords
scene
information
environment
mowing robot
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310598913.7A
Other languages
English (en)
Inventor
应逸恒
付明磊
刘华清
应鑫森
应阔
黄理
张文安
史秀纺
孙亮亮
吴昌达
庄林强
黄细冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHEJIANG SAFUN INDUSTRIAL CO LTD
Zhejiang University of Technology ZJUT
Original Assignee
ZHEJIANG SAFUN INDUSTRIAL CO LTD
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG SAFUN INDUSTRIAL CO LTD, Zhejiang University of Technology ZJUT filed Critical ZHEJIANG SAFUN INDUSTRIAL CO LTD
Priority to CN202310598913.7A priority Critical patent/CN116719037A/zh
Publication of CN116719037A publication Critical patent/CN116719037A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D34/00—Mowers; Mowing apparatus of harvesters
    • A01D34/006—Control or measuring arrangements
    • A01D34/008—Control or measuring arrangements for automated or remotely controlled operation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4204—Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V9/00—Prospecting or detecting by methods not provided for in groups G01V1/00 - G01V8/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Environmental Sciences (AREA)
  • Computing Systems (AREA)
  • Acoustics & Sound (AREA)
  • Automation & Control Theory (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Sustainable Development (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种用于智能割草机器人的环境感知方法和系统，所使用的装置包括在智能割草机器人上安装相机、惯性测量单元IMU、全球导航卫星系统GNSS、里程计、水滴传感器、光敏传感器、超声波传感器，包括以下步骤：S1、智能割草机器人获取环境雨水情况，与设定的阈值比较判断是否继续工作；S2、智能割草机器人获取环境光强并采用相机和超声波模块进行融合实现环境感知与目标检测和跟踪；S3、智能割草机器人通过基于卡尔曼滤波的融合定位算法获取当前自身高精度位置信息；S4、通过步骤S2和步骤S3获取的信息进行场景判断；S5、以对应的场景信息作为决策系统的输入进行决策。本发明提高了低光照下的障碍物感知能力和定位精度。

Description

一种用于智能割草机器人的环境感知方法及系统
技术领域
本发明属于园林机械及人工智能领域，具体涉及一种用于智能割草机器人的环境感知方法及系统。
背景技术
随着科技的不断发展，人力资源的不断上升，智能割草机器人市场也随之火热，但目前的智能割草机器人领域大多使用单一的传感器对外部环境或者自身状态进行感知，比如当前绝大多数较高级的智能割草机器人仅使用超声波传感器对外部障碍物进行检测，很难应对复杂的室外环境。
目前不少智能割草机器人使用预埋线等方式构建割草区域，再进一步，采用电子虚拟栅栏的方式构建区域，使用全球定位系统(Global Positioning System，GPS)与惯性测量单元(Inertial Measurement Unit IMU)等进行自身位置的感知，但GPS的的精度难以保证，IMU的累计误差也可能导致割草机的路径出错。而在其他领域，有提出视觉和激光雷达的融合感知的方法，但激光雷达因为其成本等因素在智能割草机器人领域并不适用。而对于使用视觉传感器进行的环境感知，有研究者提出一种基于全景图像的智能割草机器人，通过构建全景地图来提高割草机器人的环境感知能力。此外也有提出使用相机和超声波来进行障碍物感知避障的方案。
但上述这些方案只能应对简单的环境，在复杂的室外环境下，视觉，超声波等诸传感器需要面对如：草地凹凸不平或树与建筑物阴影、乌云、阴天等因素导致的环境光线变化，这些因素会极大影响传感器的感知效果。此外运动的宠物、行走的成人、奔跑的孩童、桌椅用具等一系列动静态因素，会导致这些孤立的传感器很难提供足够的信息让处理器进行相应处理得到更好的感知效果，而且对于过多的环境参数决策系统很难综合处理。
发明内容
为了克服上述智能割草机器人在复杂室外环境中面临的环境感知困难的问题，本发明提供一种用于智能割草机器人的环境感知方法及系统，通过多个传感器的融合感知，将感知到的环境分为不同的场景。有效的将复杂的环境信息转化为有限个不同的场景，以此作为决策系统的输入。
本发明提供一种用于智能割草机器人的环境感知方法，包括在智能割草机器人上安装相机、惯性测量单元IMU、全球导航卫星系统GNSS、里程计、水滴传感器、光敏传感器、超声波传感器，其中：
相机用于感知环境的语义信息和进行多目标检测；
超声波传感器用于低光照下相机从感知正常到无法感知这段时间的补充感知，通过决策级融合进行目标检测；
光敏传感器用于获取光照强度、根据光照强度来确定相机和超声波的融合感知权重，从而可以较好检测到各种光照环境下的目标；
水滴传感器用于判断环境下雨情况，与阈值做比较以此作为是否继续工作的感知参数；
IMU、GNSS、里程计用于融合定位实现边界判断；
具体包括以下步骤：
S1、智能割草机器人获取环境雨水情况，与设定的阈值比较并判断是否继续工作；
S2、智能割草机器人获取环境光强并采用相机和超声波模块进行融合实现环境感知与目标检测和跟踪；
S3、智能割草机器人通过基于卡尔曼滤波的融合定位算法获取当前自身高精度位置信息；
S4、通过步骤2和步骤3获取的信息进行场景判断；
S5、以对应的场景信息作为决策系统的输入进行决策。
进一步，所述步骤S2具体包括：
S21：获取光敏传感器的数据得到光照强度p；
S22：将p与设定的光照强度阈值w进行比较；
S23：若p>w，将使用相机进行目标检测与跟踪，以实现环境多目标的检测及语义信息的提取，并和事先构建好的语义地图比较从而进行下一步决策；
S24：若p<w，表明环境光强低，相机不能有效获取语义等环境信息，在相机完全失效前存在一段过渡期，此时使用相机和超声波进行融合的目标检测，在对两者的识别结果根据p的大小分配不同的权重进行决策级融合，以实现障碍物的识别；
S25：输出融合后的结果，实现目标检测与跟踪。
具体的融合结果M可以由公式(1)表示：
M＝f1(p)x1+f2(p)x2 (1)
其中x1表示相机的目标检测结果f1(p)表示相机目标检测结果关于光照强度p变化的权重值，x2表示超声波的目标检测结果f2(p)表示超声波目标检测结果关于光照强度p变化的权重值。
进一步的，相机和超声波进行目标检测时需要进行联合标定，实现两者的空间和时间同步。
进一步，所述步骤S3包括：
获取GNSS的数据对数据进行预处理，获取IMU数据并处理，当处于非初始时刻时，根据卡尔曼更新的反馈对IMU进行误差补偿。获取里程计数据并对其进行处理。
其中卡尔曼滤波器的状态和测量模型X′和Z可以分别描述为
X′＝AX+W (2)
Z＝HX+ν (3)
X表示GNSS、IMU、里程计三者的状态参数向量，A表示对应的状态转移矩阵，是对目标状态转换的一种猜想模型，W是对应的系统误差，Z表示测量观测向量，H表示状态参数到观测参数的转换矩阵，v表示的是观测误差。
再对其进行卡尔曼滤波步骤，包括预测和更新两部分，
Pk|k-1＝APk-1|k-1AT+Qk (5)
Pk|k＝[I-KkHk]Pk|k-1 (8)
上述式子中，公式(4)表示状态一步预测，公式(5)表示状态一步预测均方误差，公式(6)表示滤波增益，公式(7)表示状态估计，公式(8)表示状态估计协方差；其中表示k-1时刻的状态预测，/>表示k-1时刻的状态估计，Pk|k-1是k-1时刻的协方差预测，Kk是k时刻的增益，/>和Pk|k分别对应k时刻的状态更新和协方差更新，Qk是过程激励噪声协方差(系统过程的协方差)，表示状态转换矩阵与实际过程之间的误差，Rk是量测的协方差，一般可以观测得到，是滤波器的已知条件。
进一步，所述步骤S4具体包括：
根据步骤S1、步骤S2、步骤S3获取的环境亮度、地图边界、环境障碍物的信息，将环境分为三个层次的场景集合L1、L2、L3。L1包括低亮度场景和常规亮度场景，L2包括边界场景和非边界场景，L3包括无障碍物场景，简单障碍物场景，和多动态障碍物场景。
进一步的，所述的三个层次的场景集合的优先级和影响范围L1>L2>L3，即L1场景优先进行判断，并且L1场景会影响L2场景集合，L2场景影响L3场景集合。为了更好理解这里用个例子进行说明，假设L1包含L11和L12两个场景，L2包含L21和L22两个场景，经过感知首先判断出所处环境是L11场景，这时再根据L11场景对应的决策对L2场景进行感知判断若感知为L21场景，则在L11场景对应的决策下进行L21的决策。
进一步的对于地图边界包含地图外围边界和内部区域边界如树木、花坛、房屋等不可人为移动的障碍物边界，即构建地图时的边界。其识别过程包括使用相机与先验的语义地图进行判断和使用融合定位的信息和构建的地图进行边界判断。
进一步的对于L3场景的区分，根据步骤S2获取的目标信息，将静态目标数量设为Ns，动态目标数量设为Nd，将Ns，Nd与设定的对应阈值做比较实现L3障碍物场景的区分。
一种用于智能割草机器人的环境感知系统，包括：环境感知模块、位置定位模块、数据分析模块、数据记录模块、数据传输模块；
环境感知模块用于获取智能割草机器人周围的环境数据，包括，降雨情况、光照强度数据、语义信息、障碍物信息等；
位置定位模块获取智能割草机器人的高精度定位信息，包括里程计信息、IMU信息、GNSS信息；
数据分析模块用于智能割草机器人周围复杂环境的场景识别得到当前场景判断的结果，同时建立基于规则的决策输出信息；
数据记录模块，用于对传感器数据以及分析结果初始化信息进行记录；
数据传输模块，用于将分析所得数据和记录数据传输到主控制器，包括降雨情况、光照强度数据、语义信息、障碍物信息、里程计信息、IMU信息、GNSS信息、场景判断信息。
与现有技术相比，本发明具有以下优点：
1、传统的智能割草机器人不具备复杂环境的融合感知功能，本发明充分利用智能割草机器人搭载的相机、超声波、水滴传感器、光敏传感器、IMU、GNSS、里程计等传感器进行信息融合，提高了对环境的感知能力。
2、本发明基于光敏传感器测得的数据对相机和超声波的检测结果进行加权融合，提高低光照下的障碍物感知能力。
3、本发明设计的基于卡尔曼的自适应融合方法，保证数据的正确加权提高了定位的精准度
4、本发明根据获得的传感器数据将复杂的环境分为三个层次，细分复杂的环境，与繁多的传感器数据相比可以更为简洁清晰的作为决策系统的输入。
附图说明
附图1为本发明实施例一所述一种用于智能割草机器人的环境感知方法所使用的装置的结构示意图；
附图2为本发明实施例一所述的一种用于智能割草机器人的环境感知方法的多传感器环境状态感知原理示意图；
附图3为本发明实施例一所述的一种用于智能割草机器人的环境感知方法的自身状态感知示意图；
附图4为本发明实施例一所述提供的一种用于智能割草机器人的环境感知方法的多场景分级感知流程图；
附图5为所述附图2中相机与超声波融合感知流程图；
附图6为所述附图3中GNSS、IMU及里程计融合定位流程图；
附图7为本发明实施例二提供的一种用于智能割草机器人的环境感知系统的结构示意图；
附图8为本发明实施例三提供的一种用于智能割草机器人的环境感知系统的结构示意图；
具体实施方式
为使本发明的技术方案更加清楚，以下将结合具体实施例对本发明提供的技术方案进行详细说明，结合附图对本发明做进一步阐述。可以理解的是，此处所描述的具体实施例仅是本发明的部分实施例，用于对本发明进行解释，而非对本发明的限定。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护范围。
实施例一
附图1为本发明实施例一所述一种用于智能割草机器人的环境感知方法及系统的装置的结构示意图，包括相机单元1、IMU单元2、GNSS单元3、里程计单元4、水滴传感器单元5、光敏传感器单元6、超声波传感器单元7与控制器。
其中：
相机用于感知环境的语义信息和进行多目标检测；
超声波传感器用于低光照下相机从感知正常到无法感知这段时间的补充感知，通过决策级融合进行目标检测；
光敏传感器用于获取光照强度、根据光照强度来确定相机和超声波的融合感知权重，从而可以较好检测到各种光照环境下的目标；
水滴传感器用于判断环境下雨情况，与阈值做比较以此作为是否继续工作的感知参数；
IMU、GNSS、里程计用于融合定位实现边界判断；
本实施例可适用于复杂割草机工作环境的感知，与通常的智能割草机任何环境都使用一套感知方案不同，该方法将复杂的环境中多个传感器获取的信息进行融合，将环境分为三个层次的场景集合如附图4所示，从而将复杂环境细分成有限多个场景以此作为决策系统的输入。其中环境感知主要分为两个部分：1、附图2所示的外部环境感知；2、附图3所示的自身状态感知。
整体方案包括以下步骤：
S110、智能割草机器人通过水滴传感器获取数据并处理得到当前时刻的降雨值。并将其与设定的阈值比较判断割草机是执行继续工作及环境感知决策还是执行返回充电站决策；
S120、智能割草机器人获取环境光照强度进行L1层次的场景判断，判断当前场景是否满足附图4所示的常规亮度场景，如果符合，就执行对应决策并采取单一的相机感知的决策以此进行L2边界场景、L3场景周围环境的语义信息和障碍物信息感知与决策；如果符合的是低亮度环境场景，则采用相机和超声波模块进行融合实现环境感知与目标检测以此进行L2、L3感知与决策；需要注意的是，在相机和超声波进行环境检测工作前已经对相机和超声波进行联合标定，实现两者的空间和时间同步，这样才能使两者检测到的目标信息进行对应，提高低光照下超声波检测的目标结果对相机的检测结果进行补偿。整体流程如附图2与图5所示。
S121、获取光敏传感器的数据得到光照强度p；
S122、将p与设定的光照强度阈值w进行比较；
S123、若p>w，将使用相机进行目标检测与跟踪；
S124、若p<w，则使用相机和超声波进行目标检测，在对两者的结果根据p的大小分配不同的权重进行融合；
S125、输出融合后的结果，实现目标检测与跟踪。
具体的融合检测结果M可以由公式(1)表示：
M＝f1(p)x1+f2(p)x2 (1)
其中x1表示相机的目标检测结果f1(p)表示相机目标检测结果关于光照强度p变化的权重值，x2表示超声波的目标检测结果f2(p)表示超声波目标检测结果关于光照强度p变化的权重值。
S130、智能割草机器人通过获取GNSS、IMU和里程计的数据信息进行相关预处理，接着基于卡尔曼滤波的融合定位算法获取当前自身高精度位置信息，根据卡尔曼更新的反馈对IMU进行误差补偿。附图3描述的是自身位置融合感知的流程，附图6展示的是图3描述的融合定位的具体流程图。
S131、系统的状态和测量模型可以分别描述为
X′＝AX+W (2)
Z＝HX+ν (3)
X表示GNSS、IMU、里程计三者的状态参数向量，A表示对应的状态转移矩阵，是对目标状态转换的一种猜想模型，W是对应的系统误差，Z表示测量观测向量，H表示状态参数到观测参数的转换矩阵，ν表示的是观测误差。其中
X＝merge(XIMU,X里程计,XGNSS) (10)
W是对应的误差集合，X表示XIMU,X里程计,XGNSS三者参数的合并，ZGNSS和Z里程计表示GNSS和里程计的观测参数，HGNSS和H里程计表示GNSS和里程计对应状态参数到观测参数的转换矩阵。vGNSS和v里程计是各自的观测误差。
表示从惯性传感器框架坐标系到地心地固坐标系坐标系的转换矩阵，ωaωg表示的是噪声，上标T表示矩阵的转置。A是状态转移矩阵，如下所示：
这里的×符号表示斜对称矩阵，即如果有V×则表示它是V的斜对称矩阵，E表示单位阵，下标e表示地心地固坐标系，i下标表示惯性系，是地心地固坐标系相对于投影在惯性系的旋转角速率矢量，fb是惯性传感器框架中加速度计输出的比力
merge(.)表示统一通用参数并组合变量中不同参数的运算符，其中XIMU,X里程计,XGNSS分别表示对应的估计参数，具体如下
X里程计＝[δs] (15)
上述参数中bg、ba、δs和δG分别为带有驱动噪声ωg、ωa、εs和εδG的随机行走过程，δtr，δZwet建模为白噪声，δN设为常数，利用大气校正后δZwet和δI的初始值被设置为零。更为具体的说明：前缀符号δ表示后续参数的校正，φ描述了地心地固坐标系到实际中惯性传感器的坐标系之间的未对准误差矢量。δνe，δre分别表示e即地心地固坐标系下的速度和位置误差矢量，bg,ba分别是IMU内的陀螺仪和加速度计的偏置。tr表示接收机时钟偏移，G描述的是多种GNSS系统之间如伽利略卫星定位系统、北斗定位系统和GPS之间的时钟偏差，I表示电离层在第一频率上的传播延迟，Zwet表示对流层湿延迟，N表示整数载波相位模糊度。为了对s进行描述，首先对于智能割草机的速度测量进行如公式(16)描述。
这里公式(16)其实描述的就是里程计的观测方程，表示从传感器坐标系到车辆坐标系的转换矩阵，/>是传感器坐标系下通过IMU获取的速度参数，/>是传感器坐标系相对于投影在此的地心地固坐标系的旋转角速率矢量，/>表示传感器坐标系中里程表中心的杆臂矢量。/>是里程计在割草机体坐标系下获得的速度量测值，εv表示观测误差，而s表示智能割草机速度测量中的比例因子。
ZGNSS表示GNSS的观测信息，HGNSS表示GNSS状态参数对应的转换矩阵，vGNSS表示GNSS观测的观测误差。由于卫星定位是由多个卫星进行的，所以ZGNSS＝(ZGNSS1、ZGNSS2、···、ZGNSSi)，i表示GNSS的数量，同理HGNSS和vGNSS也由此结构组成，其中对于第i个GNSS的信息表示如下：
其中表示伪距和载波相位观测值，/>表示从接收器到卫星的单位向量的方向余弦，/>表示接收器天线相位中心相对于地心地固坐标系中IMU中心的杠杆臂矢量，γi是与频率相关的系数，/>是与ZGNSSi相关的系数，Ai＝[0 1 0]，/>是/>对应的观测误差。
S132、对其进行卡尔曼滤波步骤，包括预测和更新两部分
执行状态估计和估计误差协方差的时间更新：
Pk|k-1＝APk-1|k-1AT+Qk (5)
然后执行状态估计和估计误差协方差的测量更新：
Pk|k＝[I-KkHk]Pk|k-1 (8)
上述式子中，公式(4)表示状态一步预测，公式(5)表示状态一步预测均方误差，公式(6)表示滤波增益，公式(7)表示状态估计，公式(8)表示状态估计协方差；其中表示k-1时刻的状态预测，/>表示k-1时刻的状态估计，Pk|k-1是k-1时刻的协方差预测，Kk是k时刻的增益，/>和Pk|k分别对应k时刻的状态更新和协方差更新，Qk是过程激励噪声协方差(系统过程的协方差)，表示状态转换矩阵与实际过程之间的误差，Rk是量测的协方差，一般可以观测得到，是滤波器的已知条件。
S140、附图4是从整体场景划分出发，包括了三个层次的场景集合，其中L1场景包括L2场景集合，L2场景包括L3场景集合，三个层次的场景影响范围L1>L2>L3，首先检测光照强度信息作为输入，得到当前L1层次的具体场景，假设检测到的场景为常规亮度场景，则采用此场景的决策，并采用纯视觉的检测方法来检测周围环境的语义信息和障碍物目标；然后开始L2边界场景检测，以先前的语义信息和融合定位获取的高精度定位信息作为场景检测的输入，得到当前是否为边界场景，假设检测到的是非边界场景，则执行对应的非边界场景的决策。最后进行L3场景的判断，以视觉获取的目标检测信息和语义信息作为输入，将检测到的动态和静态的障碍物信息与设定好的阈值作比较进行判断，假设判断为多动态障碍物场景，则执行对应的多动态障碍物场景决策。
上述过程中对于地图边界的定义，这里的场景边界包含地图外围边界和内部区域边界如树木、花坛、房屋等不可人为移动的障碍物边界，即构建地图时的边界。其识别过程包括使用相机和先验的语义地图进行判断与获得的融合定位的信息和构建的地图进行判断。
实施例二
参照图7，本发明实施例二提供的一种用于智能割草机器人的环境感知系统，包括：环境感知模块、位置定位模块、数据分析模块、数据记录模块、数据传输模块。
环境感知模块用于获取智能割草机器人周围的环境数据，包括，降雨情况、光照强度数据、语义信息、障碍物信息等；
位置定位模块获取智能割草机器人的高精度定位信息，包括里程计信息、IMU信息、GNSS信息；
数据分析模块用于智能割草机器人周围复杂环境的场景识别，建立基于规则的决策输出信息，同时得到当前场景判断的结果；
数据记录模块，用于对传感器数据以及分析结果初始化信息进行记录；
数据传输模块，用于将分析所得数据和记录数据传输到主控制器，包括降雨情况、光照强度数据、语义信息、障碍物信息、里程计信息、IMU信息、GNSS信息、场景判断信息。
在上述各技术方案的基础上，该装置还包括：噪声数据处理模块，用于将环境引起的具有噪声的传感器数据进行去噪。
实施例三
参照图8，本发明实施例三提供的一种用于智能割草机器人的环境感知系统，包括：环境感知设备、位置定位设备、数据分析设备、通信设备、主控制系统。
其中，所述环境感知设备用于获取智能割草机器人周围的环境数据，包括，降雨情况、光照强度数据、语义信息、障碍物信息等；通过对数据的误差处理，特征提取分析处理得到判断场景类别的信息。
所述位置定位设备获取智能割草机器人的高精度定位信息，包括里程计信息、IMU信息、GNSS信息；将数据进行处理，并进行卡尔曼滤波融合得到高精度的定位信息。
所述数据分析设备用于智能割草机器人周围复杂环境的场景识别，根据输入的场景判断参数进行场景的判断得到当前场景判断的结果，同时建立基于规则的决策输出信息；
所述通信设备，用于各设备间的数据传输与通信，实现信息同步与实时更新，集成多种通信方式和通信协议以满足不同场景的需求，同时保障通信过程中数据的保密性和完整性，避免信息泄露。
需要注意的是，在上述多用于智能割草机器人的环境感知装置的实施例中，所包括的各个模块只是按照功能逻辑进行划分的，并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
最后，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下，还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种用于智能割草机器人的环境感知方法，其特征在于：所使用的装置包括在智能割草机器人上安装相机、惯性测量单元IMU、全球导航卫星系统GNSS、里程计、水滴传感器、光敏传感器、超声波传感器，其中：
相机用于感知环境的语义信息和进行多目标检测；
超声波传感器用于低光照下相机从感知正常到无法感知这段时间的补充感知，通过决策级融合进行目标检测；
光敏传感器用于获取光照强度、根据光照强度来确定相机和超声波的融合感知权重，从而可以较好检测到各种光照环境下的目标；
水滴传感器用于判断环境下雨情况，与阈值做比较以此作为是否继续工作的感知参数；
IMU、GNSS、里程计用于融合定位实现边界判断；
具体包括以下步骤：
S1、智能割草机器人获取环境雨水情况，与设定的阈值比较判断是否继续工作；
S2、智能割草机器人获取环境光强并采用相机和超声波模块进行融合实现环境感知与目标检测和跟踪；
S3、智能割草机器人通过基于卡尔曼滤波的融合定位算法获取当前自身高精度位置信息；
S4、通过步骤S2和步骤S3获取的信息进行场景判断；
S5、以对应的场景信息作为决策系统的输入进行决策。
2.如权利要求1所述的一种用于智能割草机器人的环境感知方法，所述步骤S2具体包括：
S21：获取光敏传感器的数据得到光照强度p；
S22：将p与设定的光照强度阈值w进行比较；
S23：若p>w，将使用相机进行目标检测与跟踪，以实现环境多目标的检测及语义信息的提取，并和事先构建好的语义地图比较从而进行下一步决策；
S24：若p<w，表明环境光强低，相机不能有效获取语义等环境信息，在相机完全失效前存在一段过渡期，此时使用相机和超声波进行融合的目标检测，在对两者的识别结果根据p的大小分配不同的权重进行决策级融合，以实现障碍物的识别；
S25：输出融合后的结果，实现目标检测与跟踪；具体的融合结果M由公式(1)表示：
M＝f1(p)x1+f2(p)x2 (1)
其中x1表示相机的目标检测结果f1(p)表示相机目标检测结果关于光照强度p变化的权重值，x2表示超声波的目标检测结果f2(p)表示超声波目标检测结果关于光照强度p变化的权重值。
3.如权利要求2所述的一种用于智能割草机器人的环境感知方法，其特征在于：相机和超声波进行目标检测时需要进行联合标定，实现两者的空间和时间同步。
4.如权利要求1所述的一种用于智能割草机器人的环境感知方法，其特征在于：所述步骤S3包括：
获取GNSS的数据对数据进行预处理，获取IMU数据并处理，当处于非初始时刻时，根据卡尔曼更新的反馈对IMU进行误差补偿；获取里程计数据并对其进行处理；
其中卡尔曼滤波器的状态和测量模型X′和Z可以分别描述为
X′＝AX+W (2)
Z＝HX+v (3)
X表示GNSS、IMU、里程计三者的状态参数向量，A表示对应的状态转移矩阵，是对目标状态转换的一种猜想模型，W是对应的系统误差，Z表示测量观测向量，H表示状态参数到观测参数的转换矩阵，ν表示的是观测误差；
再对其进行卡尔曼滤波步骤，包括预测和更新两部分，
Pk|k-1＝APk-1|k-1AT+Qk (5)
Pk|k＝[I-KkHk]Pk|k-1 (8)
上述式子中，公式(4)表示状态一步预测，公式(5)表示状态一步预测均方误差，公式(6)表示滤波增益，公式(7)表示状态估计，公式(8)表示状态估计协方差；其中表示k-1时刻的状态预测，/>表示k-1时刻的状态估计，Pk|k-1是k-1时刻的协方差预测，Kk是k时刻的增益，/>和Pk|k分别对应k时刻的状态更新和协方差更新，Qk是过程激励噪声协方差，表示状态转换矩阵与实际过程之间的误差，Rk是量测的协方差，是滤波器的已知条件。
5.如权利要求1所述的一种用于智能割草机器人的环境感知方法，其特征在于：所述步骤S4具体包括：
根据步骤S1、步骤S2、步骤S3获取的环境亮度、地图边界、环境障碍物的信息，将环境分为三个层次的场景集合L1、L2、L3。L1包括低亮度场景和常规亮度场景，L2包括边界场景和非边界场景，L3包括无障碍物场景，简单障碍物场景，和多动态障碍物场景。
6.如权利要求5所述的一种用于智能割草机器人的环境感知方法，其特征在于：所述的三个层次的场景集合的优先级和影响范围L1>L2>L3，即L1场景优先进行判断，并且L1场景会影响L2场景集合，L2场景影响L3场景集合。
7.如权利要求5所述的一种用于智能割草机器人的环境感知方法，其特征在于：对于地图边界包含地图外围边界和内部区域边界的不可人为移动的障碍物边界，即构建地图时的边界，其识别过程包括使用相机与先验的语义地图进行判断和使用融合定位的信息和构建的地图进行边界判断。
8.如权利要求6所述的一种用于智能割草机器人的环境感知方法，其特征在于：对于L3场景的区分，根据步骤S2获取的目标信息，将静态目标数量设为Ns，动态目标数量设为Nd，将Ns，Nd与设定的对应阈值做比较实现L3障碍物场景的区分。
9.一种用于智能割草机器人的环境感知系统，其特征在于，包括：环境感知模块、位置定位模块、数据分析模块、数据记录模块、数据传输模块；
环境感知模块用于获取智能割草机器人周围的环境数据，包括，降雨情况、光照强度数据、语义信息、障碍物信息等；
位置定位模块获取智能割草机器人的高精度定位信息，包括里程计信息、IMU信息、GNSS信息；
数据分析模块用于智能割草机器人周围复杂环境的场景识别得到当前场景判断的结果，同时建立基于规则的决策输出信息；
数据记录模块，用于对传感器数据以及分析结果初始化信息进行记录；
数据传输模块，用于将分析所得数据和记录数据传输到主控制器，包括降雨情况、光照强度数据、语义信息、障碍物信息、里程计信息、IMU信息、GNSS信息、场景判断信息。
10.如权利要求9所述的一种用于智能割草机器人的环境感知系统，其特征在于，还包括：噪声数据处理模块，用于将环境引起的具有噪声的传感器数据进行去噪。
CN202310598913.7A 2023-05-25 2023-05-25 一种用于智能割草机器人的环境感知方法及系统 Pending CN116719037A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310598913.7A CN116719037A (zh) 2023-05-25 2023-05-25 一种用于智能割草机器人的环境感知方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310598913.7A CN116719037A (zh) 2023-05-25 2023-05-25 一种用于智能割草机器人的环境感知方法及系统

Publications (1)

Publication Number Publication Date
CN116719037A true CN116719037A (zh) 2023-09-08

Family

ID=87865179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310598913.7A Pending CN116719037A (zh) 2023-05-25 2023-05-25 一种用于智能割草机器人的环境感知方法及系统

Country Status (1)

Country Link
CN (1) CN116719037A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117249834A (zh) * 2023-11-17 2023-12-19 未岚大陆(北京)科技有限公司 路径规划方法、装置、设备及存储介质
CN117369349A (zh) * 2023-12-08 2024-01-09 如特数字科技(苏州)有限公司 一种远程监测智能机器人的管理系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117249834A (zh) * 2023-11-17 2023-12-19 未岚大陆(北京)科技有限公司 路径规划方法、装置、设备及存储介质
CN117249834B (zh) * 2023-11-17 2024-01-30 未岚大陆(北京)科技有限公司 路径规划方法、装置、设备及存储介质
CN117369349A (zh) * 2023-12-08 2024-01-09 如特数字科技(苏州)有限公司 一种远程监测智能机器人的管理系统
CN117369349B (zh) * 2023-12-08 2024-02-23 如特数字科技(苏州)有限公司 一种远程监测智能机器人的管理系统

Similar Documents

Publication Publication Date Title
CN109931926B (zh) 一种基于站心坐标系的小型无人机无缝自主式导航方法
Obst et al. Urban multipath detection and mitigation with dynamic 3D maps for reliable land vehicle localization
CN116719037A (zh) 一种用于智能割草机器人的环境感知方法及系统
AU2021262764B2 (en) Object detection and tracking for automated operation of vehicles and machinery
CA2592715C (en) Vision-aided system and method for guiding a vehicle
Li et al. Simultaneous registration and fusion of multiple dissimilar sensors for cooperative driving
CN111338383B (zh) 基于gaas的自主飞行方法及系统、存储介质
CN111288989B (zh) 一种小型无人机视觉定位方法
JP2009294214A (ja) 地形構造を用いたナビゲーション方法及びシステム
CN104729506A (zh) 一种视觉信息辅助的无人机自主导航定位方法
CN109937341B (zh) 用于估计自己的位置的方法和设备
CN110988894B (zh) 一种面向港口环境的多源数据融合的无人驾驶汽车实时定位方法
CN111025366B (zh) 基于ins及gnss的网格slam的导航系统及方法
CN113721248B (zh) 一种基于多源异构传感器的融合定位方法及系统
Khoshelham et al. Vehicle positioning in the absence of GNSS signals: Potential of visual-inertial odometry
Ćwian et al. GNSS-augmented lidar slam for accurate vehicle localization in large scale urban environments
CN116540708A (zh) 一种重复作业场景下水田机械除草装备自主导航方法及系统
CN116105729A (zh) 一种针对野外洞穴森林环境侦察的多传感器融合定位方法
CN112923934A (zh) 一种适用于非结构化场景中结合惯导的激光slam技术
CN115930948A (zh) 一种果园机器人融合定位方法
CN113237482B (zh) 一种基于因子图的城市峡谷环境下车辆鲁棒定位方法
WO2022230449A1 (ja) 移動量推定装置、移動量推定方法、および移動量推定プログラム
Ma et al. A review: The survey of attitude estimation in autonomous uav navigation
CN111712855A (zh) 地面信息处理方法、装置和无人驾驶车辆
Roth et al. Application of robust, high-accuracy positioning for autonomous ground vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination