CN112904863B - 基于激光与图像信息融合的行走控制方法及装置 - Google Patents

基于激光与图像信息融合的行走控制方法及装置 Download PDF

Info

Publication number
CN112904863B
CN112904863B CN202110109371.3A CN202110109371A CN112904863B CN 112904863 B CN112904863 B CN 112904863B CN 202110109371 A CN202110109371 A CN 202110109371A CN 112904863 B CN112904863 B CN 112904863B
Authority
CN
China
Prior art keywords
code
information
crop
land
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110109371.3A
Other languages
English (en)
Other versions
CN112904863A (zh
Inventor
陈立平
张林焕
张瑞瑞
李龙龙
伊铜川
王维佳
丁晨琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Center of Intelligent Equipment for Agriculture
Original Assignee
Beijing Research Center of Intelligent Equipment for Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Center of Intelligent Equipment for Agriculture filed Critical Beijing Research Center of Intelligent Equipment for Agriculture
Priority to CN202110109371.3A priority Critical patent/CN112904863B/zh
Publication of CN112904863A publication Critical patent/CN112904863A/zh
Priority to AU2021104251A priority patent/AU2021104251A4/en
Application granted granted Critical
Publication of CN112904863B publication Critical patent/CN112904863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

本发明提供一种基于激光与图像信息融合的行走控制方法及装置，该方法包括：通过激光雷达，获取当前区域的激光反射点列，同时通过读码相机获取行进过程中的QR码信息；对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制；行驶过程中若读取到QR码，则读取出QR中的地头信息，并根据读取的地头信息，进行转向控制。该方法利用QR码存储农业环境信息，可包括地头可通过性、地头号码等信息，具有成本低、可提供信息丰富等优点。同时，该方法不受作物枝叶等遮挡的影响，避免如GNSS等受遮挡影响定位精度的缺陷。

Description

基于激光与图像信息融合的行走控制方法及装置
技术领域
本发明涉及农业信息技术领域，尤其涉及一种基于激光与图像信息融合的行走控制方法及装置。
背景技术
农业机械的自动驾驶及在自动驾驶工况下的自动化作业是未来农业发展的必然趋势。为实现车辆的准确控制及作业的精准实施，稳定、安全、准确的车辆及机具定位至关重要。
随着机械化作业的普及，作物的栽培规范化程度的不断提高，农业环境总体可以分为两部分：行间及地头；相应地，农作业机械在农业环境中的行走控制也可以分为：行间行走控制及地头转向控制。相应地，要求农作业机械能够实现高精度的行间行走，并在地头时实现及时、稳定、准确地转向控制。从而对作物行的稳定探测、地头的识别提出了较高的要求。
在农业环境内的车辆导航控制中，激光和相机被较多地采用于植物的探测。利用激光的反射信号、机器学习分析相机图像等方法可识别作物，利用GNSS系统提供的全局信息结合内部存储地图的匹配可用于判断车辆是否达到地头位置。
目前的方法，利用北斗信号强弱判断处于果园/温室等行间或地头，在行间时，利用2维激光雷达探测作物并计算横向偏差并计算航向偏差，在地头位置时则利用北斗定位信息来计算导航参量。
可以实现在无GNSS信号覆盖的室内实现高精度定位，甚至定位精度可达十厘米级。但是，该方法有效距离短，费用较高，在信号长期被遮蔽尤其是金属物体较多时，误差较大，结果不可靠。然而，果园或温室等作业环境由于树叶或温室顶层结构等影响，易出现信号被遮蔽的情况。
发明内容
针对现有技术存在的问题，本发明提供一种基于激光与图像信息融合的行走控制方法及装置。
本发明提供一种基于激光与图像信息融合的行走控制方法，包括：通过激光雷达，获取当前区域的激光反射点列，同时通过读码相机获取行进过程中的QR码信息；对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制；行驶过程中若读取到QR码，则读取出QR中的地头信息，并根据读取的地头信息，进行转向控制。
根据本发明一个的基于激光与图像信息融合的行走控制方法，所述QR码中的地头信息，包括地头的转向属性、地头类型、地头编号或者行号中任意一项或多项。
根据本发明一个的基于激光与图像信息融合的行走控制方法，所述通过读码相机获取行进过程中的QR码信息，包括：通过车辆前后设置的读码相机，分别获取前后两个方向的QR码信息。
根据本发明一个的基于激光与图像信息融合的行走控制方法，若读取到的地头信息为不可转向，则控制车辆后退，直至探测到可转向QR码。
根据本发明一个的基于激光与图像信息融合的行走控制方法，所述通过读码相机获取行进过程中的QR码信息之前，还包括：
在行间地头的预设位置处，设置含有QR码标识的标志物。
根据本发明一个的基于激光与图像信息融合的行走控制方法，所述对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制，包括：
利用随机采样一致方法RANSAC对作物区点列直线拟合，得到作物列的位姿；基于作物列的位姿获，确定车辆舵角，基于车辆舵角控制行驶方向。
根据本发明的基于激光与图像信息融合的行走控制方法，所述对所述点列进行直线拟合之前，还包括：采用基于密度的聚类方法对激光噪声点进行剔除。
本发明还提供一种基于激光与图像信息融合的行走控制装置，包括：获取模块，用于通过激光雷达，获取当前区域的激光反射点列，同时通过读码相机获取行进过程中的QR码信息；第一处理模块，用于对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制；第二获取模块，用于行驶过程中若读取到QR码，则读取出QR中的地头信息，并根据读取的地头信息，进行转向控制。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于激光与图像信息融合的行走控制方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于激光与图像信息融合的行走控制方法的步骤。
本发明提供的基于激光与图像信息融合的行走控制方法及装置，利用QR码存储农业环境信息，可包括地头可通过性、地头号码等信息。具有成本低、可提供信息丰富等优点。利用QR码内包含地头特性、地头号码等信息，实现车辆的后退、左转、右转控制，不受作物枝叶等遮挡的影响，避免如GNSS等受遮挡影响定位精度的缺陷。该方法实现了作物行检测、对行控制、地头识别等功能，在提高管理作业效率、作业质量的同时车辆的行驶安全。可为农业环境内的定位及导航控制提供一种稳定、低价的系统。并且可弥补农业车辆全域范围内导航过程中的定位成本高、稳定性低的问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于激光与图像信息融合的行走控制方法的流程示意图；
图2是本发明提供的应用场景图；
图3是本发明提供的控制系统组成模块示意图；
图4是本发明提供的基于激光与图像信息融合的行走控制装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明基于农业环境及农作业的要求及特点，针对上述所提出的对行及地头转向控制等所需的环境感知及控制要求，提供了一种包括作物行检测、对行控制、地头识别及人机交互机制等功能模块的农业机械自动导航控制方法。该方法可广泛应用于各作物的作业场景，如果园和温室等场景。
下面结合图1-图5描述本发明的基于激光与图像信息融合的行走控制方法及装置。图1是本发明提供的基于激光与图像信息融合的行走控制方法的流程示意图，如图1所示，本发明提供基于激光与图像信息融合的行走控制方法，包括：
101、通过激光雷达，获取当前区域的激光反射点列，同时通过读码相机获取行进过程中的QR码信息。
本发明采用激光雷达、相机等测量方法用于农业环境感知，其中，激光雷达用于作物行信息提取、相机用于地头的识别。通过设置在车辆上的激光雷达进行扫描，扫描的激光反射后，便可得到对应的障碍物信息。对当前区域进行激光扫描后，得到多个反射点构成的激光反射点列。同时，通过读码相机检测行驶过程中的QR码。
102、对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制。
图2是本发明提供的应用场景图，如图2所示，作业车辆在行驶过程中需要和作物列(或者是作物行，具体根据分布情况确定)保持预设间隔，行驶控制需要让作业车辆满足此条。在确定作物列的位姿后，容易实现对应的航向控制。
103、行驶过程中若读取到QR码，则读取出QR中的地头信息，并根据读取的地头信息，进行转向控制。
在一个可选实施例中，QR码中的地头信息，包括地头的转向属性、地头编号或者行号中任意一项或多项。
转向属性可以包括，允许左转、允许右转和禁止转向等。地头类型可以包括采光地头和普通地头。由于通常情况仅为靠墙端地头具有转向空间，因此当判读为采光端地头时，车辆不允许转向，只能后退。
此外，也可以是只获取地头编号或者行号，在车辆的内部储存有地头编号或者行号对应的转向属性和地头类型。例如，读取到地头编号A001，从内部存储中判断获知到该地头是只允许右转的转向属性，则进行右转；读取到B002号地头，该地头类型为采光端地头，则不允许转向。
本发明的基于激光与图像信息融合的行走控制方法，利用QR码存储农业环境信息，可包括地头可通过性、地头号码等信息。具有成本低、可提供信息丰富等优点。利用QR码内包含地头特性、地头号码等信息，实现车辆的后退、左转、右转控制，不受作物枝叶遮挡的影响，避免如GNSS等受遮挡影响定位精度的缺陷。该方法实现了作物行检测、对行控制、地头识别等功能，在提高管理作业效率、作业质量的同时保障了搭载人员及车辆的安全。可为农业环境内的定位及导航控制提供一种稳定、低价的系统。并且可弥补农业车辆全域范围内导航过程中的定位成本高、稳定性低的问题。
在一个实施例中，所述通过读码相机获取行进过程中的QR码信息，包括：通过车辆前后设置的读码相机，分别获取前后两个方向的QR码信息。
考虑到地头存在无法转向的情况，此时若原地无法掉头车辆只能后退。在后退过程中，若前后均设有读码相机，则可以利于后端设置的读码相机读取后退过程中的QR码信息。
在一个实施例中，若读取到的地头信息为不可转向，则控制车辆后退，直至探测到可转向QR码。
如上述实施例提到的，利用读码相机获取的QR码信息，如获取当前行号/地头号码。获知当前地头为日光温室靠墙端地头或者为弧形采光端地头，或为果园等非可通过性地头等，由于通常情况仅为温室靠墙端地头或果园等地头状况平坦且具有足够空间等情况下，因此当判读为非可通过性地头时，车辆后退直至探测到QR码并控制车辆转向至下一行，以此实现果园/温室全范围内的定位及导航控制。
在一个实施例中，通过读码相机获取行进过程中的QR码信息之前，还包括：在行间地头的预设位置处，设置含有QR码标识的标志物。
在每一行的地头均设置对应的标志牌，标识牌上根据可实施的转向属性，设置对应的QR码，从而有利于车辆行驶过程中的转向控制。
在一个实施例中，所述对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制，包括：利用随机采样一致方法RANSAC对作物区点列直线拟合，得到作物列的位姿；基于作物列的位姿，确定车辆舵角，基于车辆舵角控制行驶方向。
在一个实施例中，对所述点列进行直线拟合之前，还包括：采用基于密度的聚类方法对激光噪声点进行剔除。
该方法利用激光传感器信息获取作物行，并利用DBSCAN剔除噪声点，及利用随机采样一致方法RANSAC对作物区点列直线拟合,从而获取导航线，实现行间对行控制。结合QR码的地头识别实现全局的导航控制。
根据本发明的方案，可采用人-机交互的控制策略以提高系统的灵活性和安全性，系统构成及具体方案如下：
系统以车载控制器作为核心处理器，外围电路主要由GPRS模块、激光传感器探测模块、读码相机模块、环境信息输入模块、行进方向控制模块及地头转向控制模块等组成。
图3是本发明提供的控制系统组成模块示意图，如图3所示，系统基本工作原理及过程为：利用二维激光雷达获取作物区域激光反射点列；采用基于密度的聚类方法DBSCAN剔除噪声点，并利用随机采样一致方法RANSAC对作物区点列直线拟合,从而获得稳定的行间控制车辆舵角；利用读码相机检测QR码并获取码内信息，获取地头号码，为作业车辆提供全局相对位置信息并为车辆准确控制提供信息支持。
下面对本发明提供的基于激光与图像信息融合的行走控制装置进行描述，下文描述的基于激光与图像信息融合的行走控制装置与上文描述的基于激光与图像信息融合的行走控制方法可相互对应参照。
图4是本发明提供的基于激光与图像信息融合的行走控制装置的结构示意图，如图4所示，该基于激光与图像信息融合的行走控制装置包括：获取模块401、第一处理模块402和第二获取模块403。其中，获取模块401用于通过激光雷达，获取当前区域的激光反射点列，同时通过读码相机获取行进过程中的QR码信息；第一处理模块402用于对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制；第二获取模块403用于行驶过程中若读取到QR码，则读取出QR中的地头信息，并根据读取的地头信息，进行转向控制。
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
本发明实施例提供的基于激光与图像信息融合的行走控制装置，利用QR码存储农业环境信息，可包括地头可通过性、地头号码等信息。具有成本低、可提供信息丰富等优点。利用QR码内包含地头特性、地头号码等信息，实现车辆的后退、左转、右转控制，不受作物繁茂树叶遮挡的影响，避免如GNSS等受遮挡影响转向控制的缺陷。该方法实现了作物行检测、对行控制、地头识别等功能，在提高管理作业效率、作业质量的同时保障了搭载人员及车辆的安全。可为农业环境内的定位及导航控制提供一种稳定、低价的系统。并且可弥补农业车辆全域范围内导航过程中的定位成本高、稳定性低的问题。
图5是本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行基于激光与图像信息融合的行走控制方法，该方法包括：通过激光雷达，获取当前区域的激光反射点列，同时通过读码相机获取行进过程中的QR码信息；对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制；行驶过程中若读取到QR码，则读取出QR中的地头信息，并根据读取的地头信息，进行转向控制。
此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于激光与图像信息融合的行走控制方法，该方法包括：通过激光雷达，获取当前区域的激光反射点列，同时通过读码相机获取行进过程中的QR码信息；对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制；行驶过程中若读取到QR码，则读取出QR中的地头信息，并根据读取的地头信息，进行转向控制。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于激光与图像信息融合的行走控制方法，该方法包括：通过激光雷达，获取当前区域的激光反射点列，同时通过读码相机获取行进过程中的QR码信息；对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制；行驶过程中若读取到QR码，则读取出QR中的地头信息，并根据读取的地头信息，进行转向控制。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于激光与图像信息融合的行走控制方法，其特征在于，包括：
通过激光雷达，获取当前区域的激光反射点列，同时通过读码相机获取行进过程中的QR码信息；
对所述点列进行直线拟合，得到作物列的位姿，根据作物列位姿进行方向控制；
行驶过程中若读取到QR码，则读取出QR中的地头信息，并根据读取的地头信息，进行转向控制；
所述通过读码相机获取行进过程中的QR码信息之前，还包括：
在行间地头的预设位置处，设置含有QR码标识的标志物；
所述QR码中的地头信息，包括地头的转向属性、地头类型、地头编号或者行号中任意一项或多项；所述转向属性包括允许左转、允许右转和禁止转向；所述地头类型包括采光地头和普通地头；
所述通过读码相机获取行进过程中的QR码信息，包括：
通过车辆前后设置的读码相机，分别获取前后两个方向的QR码信息；
若读取到的地头信息为不可转向，则控制车辆后退，直至探测到可转向QR码；
所述对所述点列进行直线拟合，得到作物列的位姿，根据作物列位姿进行方向控制，包括：
利用随机采样一致方法RANSAC对作物区点列直线拟合，得到作物列的位姿；
基于作物列的位姿，确定车辆舵角，基于车辆舵角控制行驶方向。
2.根据权利要求1所述的基于激光与图像信息融合的行走控制方法，其特征在于，所述对所述点列进行直线拟合之前，还包括：
采用基于密度的聚类方法对激光噪声点进行剔除。
3.一种基于激光与图像信息融合的行走控制装置，其特征在于，包括：
获取模块，用于通过激光雷达，获取当前区域的激光反射点列，同时通过读码相机获取行进过程中的QR码信息；
第一处理模块，用于对所述点列进行直线拟合，得到作物列的位姿，根据作物列的位姿进行方向控制；
第二获取模块，用于行驶过程中若读取到QR码，则读取出QR中的地头信息，并根据读取的地头信息，进行转向控制；
所述通过读码相机获取行进过程中的QR码信息之前，还包括：
在行间地头的预设位置处，设置含有QR码标识的标志物；
所述QR码中的地头信息，包括地头的转向属性、地头类型、地头编号或者行号中任意一项或多项；所述转向属性包括允许左转、允许右转和禁止转向；所述地头类型包括采光地头和普通地头；
所述获取模块通过读码相机获取行进过程中的QR码信息，包括：
通过车辆前后设置的读码相机，分别获取前后两个方向的QR码信息；
若读取到的地头信息为不可转向，则控制车辆后退，直至探测到可转向QR码；
所述第一处理模块对所述点列进行直线拟合，得到作物列的位姿，根据作物列位姿进行方向控制，包括：
利用随机采样一致方法RANSAC对作物区点列直线拟合，得到作物列的位姿；
基于作物列的位姿，确定车辆舵角，基于车辆舵角控制行驶方向。
4.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1或2所述基于激光与图像信息融合的行走控制方法的步骤。
5.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1或2所述基于激光与图像信息融合的行走控制方法的步骤。
CN202110109371.3A 2021-01-27 2021-01-27 基于激光与图像信息融合的行走控制方法及装置 Active CN112904863B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110109371.3A CN112904863B (zh) 2021-01-27 2021-01-27 基于激光与图像信息融合的行走控制方法及装置
AU2021104251A AU2021104251A4 (en) 2021-01-27 2021-07-16 Walking control method and walking control device based on laser and image information fusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110109371.3A CN112904863B (zh) 2021-01-27 2021-01-27 基于激光与图像信息融合的行走控制方法及装置

Publications (2)

Publication Number Publication Date
CN112904863A CN112904863A (zh) 2021-06-04
CN112904863B true CN112904863B (zh) 2023-10-20

Family

ID=76120592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110109371.3A Active CN112904863B (zh) 2021-01-27 2021-01-27 基于激光与图像信息融合的行走控制方法及装置

Country Status (2)

Country Link
CN (1) CN112904863B (zh)
AU (1) AU2021104251A4 (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01215208A (ja) * 1988-02-24 1989-08-29 Mitsubishi Agricult Mach Co Ltd 移動農機の走行制御装置
CN103155758A (zh) * 2013-03-12 2013-06-19 上海大学 无人驾驶联合收割机的激光导航系统
CN106017477A (zh) * 2016-07-07 2016-10-12 西北农林科技大学 一种果园机器人的视觉导航系统
CN106323267A (zh) * 2015-06-24 2017-01-11 南京农业大学 果园作业农业机器人行间定位方法
CN107422735A (zh) * 2017-07-29 2017-12-01 深圳力子机器人有限公司 一种无轨导航agv激光与视觉特征混合导航方法
CN108955667A (zh) * 2018-08-02 2018-12-07 苏州中德睿博智能科技有限公司 一种融合激光雷达与二维码的复合导航方法、装置及系统
CN109460029A (zh) * 2018-11-29 2019-03-12 华南农业大学 畜禽养殖场所巡检移动平台及其控制方法
CN110440800A (zh) * 2018-05-02 2019-11-12 世博生态环保技术股份有限公司 一种果园喷药机器人导航系统
CN209657155U (zh) * 2019-05-19 2019-11-19 西北农林科技大学 一种新型电动式果园自动导航作业车
CN110849366A (zh) * 2018-08-20 2020-02-28 广州弘度信息科技有限公司 一种基于视觉和激光雷达融合的导航方法及系统
CN111522026A (zh) * 2020-04-21 2020-08-11 北京三快在线科技有限公司 一种数据融合的方法及装置
CN111639505A (zh) * 2020-05-29 2020-09-08 广东电网有限责任公司电力科学研究院 一种用于室内巡检机器人的混合定位导航系统及方法
CN112009453A (zh) * 2020-07-30 2020-12-01 北京农业智能装备技术研究中心 果园作业车辆的行走控制方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01215208A (ja) * 1988-02-24 1989-08-29 Mitsubishi Agricult Mach Co Ltd 移動農機の走行制御装置
CN103155758A (zh) * 2013-03-12 2013-06-19 上海大学 无人驾驶联合收割机的激光导航系统
CN106323267A (zh) * 2015-06-24 2017-01-11 南京农业大学 果园作业农业机器人行间定位方法
CN106017477A (zh) * 2016-07-07 2016-10-12 西北农林科技大学 一种果园机器人的视觉导航系统
CN107422735A (zh) * 2017-07-29 2017-12-01 深圳力子机器人有限公司 一种无轨导航agv激光与视觉特征混合导航方法
CN110440800A (zh) * 2018-05-02 2019-11-12 世博生态环保技术股份有限公司 一种果园喷药机器人导航系统
CN108955667A (zh) * 2018-08-02 2018-12-07 苏州中德睿博智能科技有限公司 一种融合激光雷达与二维码的复合导航方法、装置及系统
CN110849366A (zh) * 2018-08-20 2020-02-28 广州弘度信息科技有限公司 一种基于视觉和激光雷达融合的导航方法及系统
CN109460029A (zh) * 2018-11-29 2019-03-12 华南农业大学 畜禽养殖场所巡检移动平台及其控制方法
CN209657155U (zh) * 2019-05-19 2019-11-19 西北农林科技大学 一种新型电动式果园自动导航作业车
CN111522026A (zh) * 2020-04-21 2020-08-11 北京三快在线科技有限公司 一种数据融合的方法及装置
CN111639505A (zh) * 2020-05-29 2020-09-08 广东电网有限责任公司电力科学研究院 一种用于室内巡检机器人的混合定位导航系统及方法
CN112009453A (zh) * 2020-07-30 2020-12-01 北京农业智能装备技术研究中心 果园作业车辆的行走控制方法及装置

Also Published As

Publication number Publication date
AU2021104251A4 (en) 2021-09-09
CN112904863A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
EP3529681B1 (en) Land mapping and guidance system
CN109634276B (zh) 农用车辆无人驾驶控制方法、系统及该农用车辆
CN109556617A (zh) 一种自动建图机器人的地图要素提取方法
CN109460029A (zh) 畜禽养殖场所巡检移动平台及其控制方法
CN112200911B (zh) 结合标志物的区域重叠式三维地图构建方法和装置
CN112363503A (zh) 一种基于激光雷达的果园车辆自动导航控制系统
CN112965481A (zh) 基于点云地图的果园作业机器人无人驾驶方法
WO2022107588A1 (ja) 移動体、制御ユニット、データ生成ユニット、移動体の動作を制御する方法、およびデータを生成する方法
CN108669046B (zh) 融合视觉导航与北斗定位的植保无人车及控制方法
CN112541416A (zh) 跨雷达障碍物跟踪方法、装置、电子设备和存储介质
KR102340543B1 (ko) 부착형 농작업 경로 인식 장치
CN114485698A (zh) 一种交叉路口引导线生成方法及系统
CN112904863B (zh) 基于激光与图像信息融合的行走控制方法及装置
CN116839570A (zh) 一种基于传感器融合目标检测的作物行间作业导航方法
CN112009453B (zh) 果园作业车辆的行走控制方法及装置
CN112445205B (zh) 地面植保设备的控制方法、装置、设备和存储介质
CN109634277B (zh) 一种谷物收割机无人驾驶作业系统与作业方法
CN115280960B (zh) 一种基于田间视觉slam的联合收获机转向控制方法
Yu et al. A camera/ultrasonic sensors based trunk localization system of semi-structured orchards
CN112526986A (zh) 跟垄作业方法和装置
CN113382905A (zh) 在安全的工作区域内自主操作车辆
CN114485612B (zh) 路线生成方法、装置、无人作业车、电子设备及存储介质
CN115576319B (zh) 一种农业机械的追迹线设置方法
CN113534182B (zh) 秸秆打捆作物行检测方法、设备及存储介质
CN118230160A (zh) 一种杂草中心分割识别及激光除草装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant