CN117044478A - 割草机控制方法、装置、割草机、电子设备及存储介质 - Google Patents
割草机控制方法、装置、割草机、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117044478A CN117044478A CN202311118421.XA CN202311118421A CN117044478A CN 117044478 A CN117044478 A CN 117044478A CN 202311118421 A CN202311118421 A CN 202311118421A CN 117044478 A CN117044478 A CN 117044478A
- Authority
- CN
- China
- Prior art keywords
- mower
- visual
- area
- satellite positioning
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 114
- 230000000007 visual effect Effects 0.000 claims abstract description 324
- 230000000087 stabilizing effect Effects 0.000 claims abstract description 17
- 238000010276 construction Methods 0.000 claims description 66
- 238000010586 diagram Methods 0.000 claims description 14
- 230000036544 posture Effects 0.000 claims description 8
- 244000025254 Cannabis sativa Species 0.000 claims description 6
- 238000012216 screening Methods 0.000 description 27
- 238000004364 calculation method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000004927 fusion Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D34/00—Mowers; Mowing apparatus of harvesters
- A01D34/006—Control or measuring arrangements
- A01D34/008—Control or measuring arrangements for automated or remotely controlled operation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
本申请实施例提供了一种割草机控制方法、装置、割草机、电子设备及存储介质。割草机控制方法包括:在割草机割草的过程中,获取割草机的位置信息;基于位置信息向割草机的驱动装置发送控制指令,以控制割草机沿预设割草路径割草;其中,当割草机处于卫星定位信号稳定区域时,基于获取到的卫星定位信息确定位置信息;当割草机处于卫星定位信号欠稳定区域时,基于卫星定位信号欠稳定区域对应的视觉地图进行视觉定位,以获取割草机的位置信息。本申请实施例,无论是在空旷区域还是有遮挡区域都能够获取较为精准的实时位置信息,本申请实施例提供的割草机控制方案,可以适用于多种不同的应用场景。
Description
技术领域
本申请实施例涉及计算机技术领域,尤其涉及一种割草机控制方法、装置、割草机、电子设备及存储介质。
背景技术
在控制割草机割草作业的过程中,通常需要获取割草机的实时位置信息。从而可以基于获取到的实时位置信息,向驱动装置发送控制指令,以控制割草机沿预设路线割草。
相关技术,在获取割草机位置信息时,存在获取到的位置信息不够准确等问题。
发明内容
有鉴于此,本申请实施例提供一种视觉地图构建方案,以至少部分解决上述问题。
根据本申请实施例的第一方面,提供了一种割草机控制方法,包括:
在割草机割草的过程中,获取割草机的位置信息;
基于所述位置信息,向割草机的驱动装置发送控制指令,以控制割草机沿预设割草路径割草;
其中,当割草机处于卫星定位信号稳定区域时,基于获取到的卫星定位信息确定所述位置信息;当割草机处于卫星定位信号欠稳定区域时,基于所述卫星定位信号欠稳定区域对应的视觉地图进行视觉定位,以获取割草机的位置信息。
根据本申请实施例的第二方面,提供了一种割草机控制装置,包括:
位置信息获取模块,用于在割草机割草的过程中,获取割草机的位置信息;其中,当割草机处于卫星定位信号稳定区域时,基于获取到的卫星定位信息确定所述位置信息;当割草机处于卫星定位信号欠稳定区域时,基于所述卫星定位信号欠稳定区域对应的视觉地图进行视觉定位,以获取割草机的位置信息;
控制模块,用于基于所述位置信息,向割草机的驱动装置发送控制指令,以控制割草机沿预设割草路径割草。
根据本申请实施例的第三方面,提供了一种割草机,包括控制器,所述控制器用于执行:
在割草机割草的过程中,获取割草机的位置信息;
基于所述位置信息,向割草机的驱动装置发送控制指令,以控制割草机沿预设割草路径割草;
其中,当割草机处于卫星定位信号稳定区域时,基于获取到的卫星定位信息确定所述位置信息;当割草机处于卫星定位信号欠稳定区域时,基于所述卫星定位信号欠稳定区域对应的视觉地图进行视觉定位,以获取割草机的位置信息。
根据本申请实施例的第四方面,提供了一种电子设备,包括:
处理器;以及
存储程序的存储器;
其中,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行上述第一方面所述的方法。
根据本申请实施例的第五方面,提供了一种非瞬时计算机可读存储介质,其上存储有计算机指令,该指令用于使计算机实现如第一方面所述的方法。
根据本申请实施例提供的割草机控制方案,在割草机割草过程中,获取割草机的位置信息时,分为两种情况,具体地:当割草机处于卫星定位信号稳定区域时,基于获取到的卫星定位信息确定所述位置信息;而当割草机处于卫星定位信号欠稳定区域时,则基于对应的视觉地图进行视觉定位,以获取割草机的位置信息。
割草机作业过程中,周围的作业环境可能比较复杂多变,例如:时而处于无遮挡的空旷区域,时而处于有高大建筑或植被遮挡的区域。对于无遮挡的空旷区域,卫星定位信号通常较为稳定,并且,基于获取到的卫星定位信息确定割草机的位置信息,具有数据处理量小的优势。但是,对于有高大建筑或植被遮挡的区域,由于遮挡的存在,会造成该区域卫星定位信号稳定性较差的情况。此时,若直接将获取到的卫星定位信息确定为位置信息,则会导致定位不准确的问题。然而,区域中存在的高大建筑或植被等环境特征,却可以作为很好地路标点(特征点),进而在割草机移动过程中采集包含上述路标点的视觉图像,将从视觉图像中提取到的路标点和视觉地图中存储的特征点进行匹配,采用视觉定位的方式确定出割草机更为精准的实时位置。
因此,本申请实施例中,基于环境特征对卫星定位和视觉定位这两种定位方式的上述互斥性影响,充分利用卫星定位和视觉定位各自的定位优势,将视觉定位和基于卫星定位的融合定位方式进行结合,使得无论是在空旷区域还是有遮挡区域,都能够获取较为精准的实时位置信息,进而基于精准的实时位置信息实现对割草机的精准控制,本申请实施例提供的割草机控制方案,可以适用于多种不同的应用场景。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为根据本申请实施例一的一种割草机控制方法的步骤流程图;
图2为根据本申请实施例二的一种视觉地图构建方法的步骤流程图;
图3为根据图2所示实施例提供的一种视觉地图构建算法的步骤流程图;
图4为图3中所包含的在线关键帧筛选的步骤流程图;
图5为根据本申请实施例三的一种割草机控制装置的结构框图;
图6为根据本申请实施例四的一种视觉地图构建装置的结构框图;
图7为根据本申请实施例五的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请实施例一部分实施例,而不是全部的实施例。基于本申请实施例中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于本申请实施例保护的范围。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
实施例一
参照图1,图1为根据本申请实施例一的一种割草机控制方法的步骤流程图。具体地,本实施例提供的割草机控制方法,可以包括以下步骤:
步骤102,在割草机割草的过程中,获取割草机的位置信息;其中,当割草机处于卫星定位信号稳定区域时,基于获取到的卫星定位信息确定位置信息;当割草机处于卫星定位信号欠稳定区域时,基于卫星定位信号欠稳定区域对应的视觉地图进行视觉定位,以获取割草机的位置信息。
具体地,割草机的割草过程可以分为2个阶段:沿边割草阶段和中心割草阶段。中心割草指割草机在虚拟边界或实体边界圈定的草坪区域(割草区域)割草,考虑到割草机的转弯和安全性,通常中心割草路径的端点与虚拟边界或实体边界有一定的距离(例如:40cm左右);边界巡边割草一般是饶边界行走割草至少一周,如:2周等等。本步骤中,割草机的割草过程,可以指沿边割草阶段,也可以指中心割草阶段,还可以指沿边割草阶段和中心割草阶段。
当割草机处于卫星定位信号稳定的区域时,可以基于获取到的卫星定位信息确定割草机的位置信息。具体地:可以将获取到的卫星定位信息确定为位置信息;进一步地,为了使得确定出的位置信息更加准确,也可以将获取到的卫星定位信息,与设置于割草机的IMU(Inertial Measurement Unit,惯性测量单元)、轮速计、里程计等多种位姿传感器检测到的位姿信息进行融合,从而得到割草机的位置信息。
卫星定位信号欠稳定区域,即为获取到的卫星定位信号不稳定的区域。本申请实例中,对于卫星定位信号的具体获取方式不做限定,例如:卫星定位信号可以为基于RTK(Real-Time Kinematic,实时动态载波相位差分技术)得到的卫星定位信号,等等。当割草机处于卫星定位信号不稳定的区域时,可以基于预先建立的该卫星定位信号不稳定区域对应的视觉地图,进行视觉定位,并将得到的定位结果确定为割草机的位置信息;同样地,为了进一步得到更为精准的位置信息,也可以将视觉定位的定位结果,与IMU、轮速计、里程计等多种位姿传感器检测到的位姿信息进行融合,从而得到割草机的位置信息。
视觉定位的过程,可以为:在上述卫星定位信号不稳定区域内预先选定有特点的路标点(特征点),如:建筑物的某个区域,某个植被,等等;在割草机在该区域移动的过程中,采集包含上述路标点的视觉图像;再将从视觉图像中提取到的特征点和预先建立的该区域对应的视觉地图中存储的路标点进行匹配,从而确定出割草机的位置。
步骤104,基于位置信息,向割草机的驱动装置发送控制指令,以控制割草机沿预设割草路径割草。
根据本申请实施例提供的割草机控制方案,在割草机割草过程中,获取割草机的位置信息时,分为两种情况,具体地:当割草机处于卫星定位信号稳定区域时,基于获取到的卫星定位信息确定位置信息;而当割草机处于卫星定位信号欠稳定区域时,则基于对应的视觉地图进行视觉定位,以获取割草机的位置信息。
割草机作业过程中,周围的作业环境可能比较复杂多变,例如:时而处于无遮挡的空旷区域,时而处于有高大建筑或植被遮挡的区域。对于无遮挡的空旷区域,卫星定位信号通常较为稳定,并且,基于获取到的卫星定位信息确定为割草机的位置信息,具有数据处理量小的优势。但是,对于有高大建筑或植被遮挡的区域,由于遮挡的存在,会造成该区域卫星定位信号稳定性较差的情况。此时,若基于获取到的卫星定位信息确定位置信息,则会导致定位不准确的问题,进一步地,基于不够准确的位置信息进行割草作业,还可能因为割草机偏离割草区域而导致割草刀盘对人或动物造成伤害。
然而,区域中存在的高大建筑或植被等环境特征,却可以作为很好地路标点(特征点),进而在割草机移动过程中采集包含上述路标点的视觉图像,将从视觉图像中提取到的特征点和视觉地图中存储的路标点进行匹配,采用视觉定位的方式确定出割草机更为精准的实时位置。
因此,本申请实施例中,基于环境特征对卫星定位和视觉定位这两种定位方式的上述互斥性影响,充分利用卫星定位和视觉定位各自的定位优势,将视觉定位和基于卫星定位的融合定位方式进行结合,使得无论是在空旷区域还是有遮挡区域,都能够获取较为精准的实时位置信息,进而基于精准的实时位置信息实现对割草机的精准控制,本申请实施例提供的割草机控制方案,可以适用于多种不同的应用场景。
可选地,在其中一些实施例中,割草机控制方法还可以包括:视觉地图构建阶段,视觉地图构建阶段,主要用于构建视觉地图,以供后续基于构建的视觉地图进行视觉定位。
进一步地,在视觉地图构建阶段,可以先建立边界地图,具体地:可以控制割草机沿割草区域的边界行走,并在割草机行走过程中按照预设频率采集卫星定位信息和视觉图像;
基于卫星定位信息构建割草区域的虚拟边界,以形成卫星定位边界地图;
并基于在卫星定位信号欠稳定区域采集的视觉图像建立局部视觉边界地图。
具体地,可以手动控制割草机沿割草区域的边界行走,也可以是基于视觉巡边行走,此过程通常需要控制割草机在全部边界完整走过1圈。在行走过程中,进行卫星定位信息,以及,视觉图像的采集;之后,基于采集到的卫星定位信息形成卫星定位边界地图,而在卫星定位信号欠稳定的边界区域,则基于采集到的视觉图像建立该边界区域对应的局部视觉边界地图,进一步地,可以基于采集到的视觉图像与IMU、轮速计、里程计等多种位姿传感器检测到的位姿信息进行融合计算,从而建立该边界区域对应的局部视觉边界地图。
在建立了边界地图之后,可以根据建立好的边界地图自动规划出割草路径。割草路径分通常分为中心割草路径和边界巡边割草路径。中心割草指割草机在虚拟边界或实体边界圈定的草坪区域割草,考虑到割草机的转弯和安全性,通常中心割草路径的端点会与虚拟边界或实体边界有一定的距离(例如:40cm左右);边界巡边割草路径一般是饶边界行走割草至少一周,如:2周等等。对应地,可选地,在其中一些实施例中,割草机的割草过程可以包括沿边割草阶段和中心割草阶段。
其中,在沿边割草阶段,上述步骤104,具体可以包括:
当割草机处于卫星定位信号稳定区域时,基于获取到的卫星定位信息和卫星定位边界地图,向割草机的驱动装置发送控制指令,以控制割草机沿割草区域的边界行走并割草;
当割草机处于卫星定位信号欠稳定区域时,根据视觉定位信息和局部视觉边界地图,向割草机的驱动装置发送控制指令,以控制割草机沿割草区域的边界行走并割草。
在中心割草阶段,上述步骤104,具体可以包括:
在虚拟边界内部,在割草机首次行走并割草时,根据卫星定位信息进行定位,并采集视觉图像,以建立完整视觉地图;
在中心割草阶段,割草机非首次行走并割草时,若割草机处于卫星定位信号稳定区域,则基于获取到的卫星定位信息和卫星定位边界地图,向割草机的驱动装置发送控制指令,以控制割草机行走并割草;
当割草机处于卫星定位信号欠稳定区域时,根据视觉定位信息和完整视觉地图,向割草机的驱动装置发送控制指令,以控制割草机行走并割草;
或者,
在中心割草阶段,割草机非首次行走并割草时,采集视觉图像,并基于采集到的视觉图像完善完整视觉地图。
具体地,在中心割草阶段或者沿边割草阶段,可以在割草作业的同时,还采集视觉图像。由于割草作业过程中,大部分区域都是卫星定位信号稳定的区域,因此,对于这些区域可以根据卫星定位信号、IMU、轮速计、里程计等多种位姿传感器进行位姿的融合定位,并根据定位行走。
进一步地,在中心割草阶段,可以将割草过程分为第一次(首次)中心割草,以及第n次(非首次)中心割草。在第一次中心割草时,大部分区域为卫星定位信号稳定的区域,可以根据卫星定位信号和IMU、轮速计多传感器融合定位,并根据定位行走,并采集视觉图像。由于第一次中心割草时,并没有生成相关的视觉地图,当卫星定位信号不稳定时,也就无法根据视觉地图定位,此时,只能根据IMU、轮速计行走割草,但还是会采集视觉图像,以生成视觉地图;在第n次中心割草时,大部分区域为卫星定位信号稳定的区域,因此,也会根据卫星定位信号和IMU、轮速计多传感器融合定位,并根据定位行走,采集视觉图像。当卫星定位信号不稳定时,由于已经建立了视觉地图,因此,可以根据视觉地图行走。
另外,在已有视觉地图后的第n次中心割草时,还可以继续采集未采集区域的视觉图像,以及已有视觉地图但视觉定位效果不佳区域的视觉图像。当新收集到的视觉图像到达一定数目(例如30张)时,则可以对上述区域进行视觉地图更新,也即视觉地图修正。
可选地,在其中一些实施例中,割草机控制方法中还可以包括:针对待建图区域构建对应的视觉地图的过程,具体的视觉地图构建过程,可以包括:
割草机在待建图区域移动的过程中,获取割草机连续采集的视觉图像,并记录视觉图像的采集位姿;采集位姿包括采集位置和采集姿态;
获取待建图区域包含的各子区域的子区域位置信息,并对比采集位置与各子区域位置信息,确定采集位置所属的目标子区域;
判断与目标子区域对应的已有的保留帧中,是否存在与视觉图像的采集姿态差异小于预设姿态差异阈值的图像;若是,将视觉图像确定为冗余帧;保留帧为未被确定为冗余帧的视觉图像;
采用各子区域对应的保留帧进行视觉地图构建,得到待建图区域对应的视觉地图。
具体地,本申请实施例对于待建图区域的具体内容不做限定,可以根据实际情况自定义地将某个区域设定为待建图区域。例如:可以将整个割草区域设定为待建图区域,也可以仅将卫星定位信号不稳定的部分区域设定为待建图区域,等等。割草机在待建图区域移动,可以指割草机在待建图区域内部移动,也可以指割草机沿待建图区域的边界移动,还可以指割草机既在待建图区域的内部移动,又沿待建图区域的边界移动。
待建图区域中的各子区域,可以为采用预设的区域划分方式对待建图区域进行区域划分之后得到的。而本申请实施例中,对于具体采用的区域划分方式也不做限定。例如:可以采用随机划分的方式,也可以借助网格图的方式,等等。另外,本申请实施例中,对于各子区域的形状也不做限定,例如:可以为矩形、三角形、正方形,等等。各子区域的形状和尺寸,可以相同也可以不同,对此均不做限定。进一步地,为了使得将待建图区域划分的更均匀,进而得到更为均匀的子区域,可以将各子区域设定为具有相同形状,且具有相同尺寸的子区域,例如:通过在待建图区域构建栅格图的方式,将待建图区域划分为具有相同尺寸的栅格(子区域)。
上述视觉地图的构建方式,并不是将采集到的所有视觉图像直接全部用于视觉地图的构建,而是先根据视觉图像的采集位置信息和待建图区域包含的各子区域的子区域位置信息,确定出与视觉图像对应的目标子区域,进而根据目标子区域是否已经存在与视觉图像位姿差异较小的图像,将视觉图像分为冗余帧或者保留帧;采用被确定为保留帧的视觉图像构建视觉地图。
也就是说,本申请实施例在获取到连续采集的视觉图像后,通过对在同一子区域(目标子区域)采集到的视觉图像的采集姿态差异的分析,筛选掉了采集位姿差异较小的视觉图像(即冗余帧),保留了采集位姿差异较大的视觉图像(即保留帧),进而采用从全部视觉图像中筛选出的保留帧进行视觉地图构建。与现有的直接采用未经筛选的大量的连续视觉图像进行视觉地图构建的方式相比,本申请实施例可以在保证保留帧均匀分布在待建图区域各子区域中的同时,避免同一子区域内存在采集角度重复或接近的视觉图像,因此,本申请实施例可以在不影响视觉图像完整度的前提下,降低用于构建视觉地图的视觉图像的存储成本及计算成本,降低地图构建过程的计算量,减少建图的耗时。
实施例二
参照图2,图2为根据本申请实施例二的一种视觉地图构建方法的步骤流程图。具体地,本实施例提供的视觉地图构建方法,可以包括以下步骤:
步骤202,割草机在待建图区域移动的过程中,获取割草机连续采集的视觉图像,并记录视觉图像的采集位姿;采集位姿包括采集位置和采集姿态。
具体地,本申请实施例对于待建图区域的具体内容不做限定,可以根据实际情况自定义地将某个区域设定为待建图区域。例如:可以将整个割草区域设定为待建图区域,也可以仅将卫星定位信号不稳定的部分区域设定为待建图区域,等等。割草机在待建图区域移动,可以指割草机在待建图区域内部移动,也可以指割草机沿待建图区域的边界移动,还可以指割草机既在待建图区域的内部移动,又沿待建图区域的边界移动。
步骤204,获取待建图区域包含的各子区域的子区域位置信息,并对比采集位置与各子区域位置信息,确定采集位置所属的目标子区域。
具体地,待建图区域中的各子区域,可以为采用预设的区域划分方式对待建图区域进行区域划分之后得到的。而本申请实施例中,对于具体采用的区域划分方式也不做限定。例如:可以采用随机划分的方式,也可以借助网格图的方式,等等。另外,本申请实施例中,对于各子区域的形状也不做限定,例如:可以为矩形、三角形、正方形,等等。各子区域的形状和尺寸,可以相同也可以不同,对此均不做限定。进一步地,为了使得将待建图区域划分的更均匀,进而得到更为均匀的子区域,可以将各子区域设定为具有相同形状,且具有相同尺寸的子区域,例如:通过在待建图区域构建栅格图的方式,将待建图区域划分为具有相同尺寸的栅格(子区域)。
步骤206,判断与目标子区域对应的已有的保留帧中,是否存在与视觉图像的采集姿态差异小于预设姿态差异阈值的图像;若是,将视觉图像确定为冗余帧;保留帧为未被确定为冗余帧的视觉图像。
步骤208,采用各子区域对应的保留帧进行视觉地图构建,得到待建图区域对应的视觉地图。
本申请实施例提供的视觉地图构建方案,并不是将采集到的所有视觉图像直接全部用于视觉地图的构建,而是先根据视觉图像的采集位置信息和待建图区域包含的各子区域的子区域位置信息,确定出与视觉图像对应的目标子区域,进而根据目标子区域是否已经存在与视觉图像位姿差异较小的图像,将视觉图像分为冗余帧或者保留帧;采用被确定为保留帧的视觉图像构建视觉地图。
也就是说,本申请实施例在获取到连续采集的视觉图像后,通过对在同一子区域(目标子区域)采集到的视觉图像的采集姿态差异的分析,筛选掉了采集位姿差异较小的视觉图像(即冗余帧),保留了采集位姿差异较大的视觉图像(即保留帧),进而采用从全部视觉图像中筛选出的保留帧进行视觉地图构建。与现有的直接采用未经筛选的大量的连续视觉图像进行视觉地图构建的方式相比,本申请实施例可以在保证保留帧均匀分布在待建图区域各子区域中的同时,避免同一子区域内存在采集角度重复或接近的视觉图像,因此,本申请实施例可以在不影响视觉图像完整度的前提下,降低用于构建视觉地图的视觉图像的存储成本及计算成本,降低地图构建过程的计算量,减少建图的耗时。
可选地,在其中一些实施例中,上述步骤204中获取待建图区域包含的各子区域的子区域位置信息的过程,可以包括:
在待建图区域构建栅格图,栅格图中的各栅格具有相同的尺寸;一个栅格对应待建图区域包含的一个子区域;
基于栅格中预设区域在待建图区域中的位置信息,得到各栅格的栅格位置信息;子区域位置信息为对应的栅格位置信息。
具体地,通过构建栅格图的方式,得到多个栅格,每个栅格对应一个子区域,进而得到各子区域的位置信息,这样,可以使得到的子区域具有相同的形状和尺寸,即保证了对待建图区域的均匀化划分。
基于栅格中预设区域在待建图区域中的位置信息得到各栅格的栅格位置信息时,上述预设区域可以为栅格中的任意预设区域,例如:栅格的几何中心点,栅格四个顶点中的任何一个,等等。
另外,本申请实施例中,对于栅格的具体尺寸不做限定,根据实际情况设定即可。
进一步地,在其中一些实施例中,上述在待建图区域构建栅格图的步骤,可以包括:
基于待建图区域内的卫星定位精度信息,确定栅格尺寸信息;其中,待建图区域内的卫星定位精度越高,栅格尺寸越大;基于栅格尺寸信息,在待建图区域构建栅格图;
对应的,在步骤206中判断与目标子区域对应的已有的保留帧中,是否存在与视觉图像的采集姿态差异小于预设姿态差异阈值的图像之前,还可以包括:
基于待建图区域内的卫星定位精度信息,确定姿态差异阈值;其中,待建图区域内的卫星定位精度越高,姿态差异阈值越大。
具体地,可以根据割草机所处当前区域的卫星定位信息的精度,来确定保留帧(关键帧)的筛选条件,筛选条件可以包括:栅格尺寸的大小,以及,姿态差异阈值大小。具体地,若当前区域的卫星定位信息的精度较差,适当放宽上述筛选条件(即:减小栅格尺寸以及姿态差异阈值),以得到更多的保留帧,进而基于更多的保留帧构建地图,提升构建的视觉地图的准确度;反之,若当前区域的卫星定位信息的精度较好,适当收缩上述筛选条件(即:增大栅格尺寸以及姿态差异阈值),以得到较少的保留帧,进而基于较少的保留帧构建地图,提升视觉地图的构建效率。
可选地,在其中一些实施例中,步骤202中的记录视觉图像的采集位姿,可以包括:
获取设置于割草机的多个传感器分别检测到的视觉图像的初始采集位姿;初始采集位姿包括初始采集位置和初始采集姿态;
融合各初始采集位姿,得到视觉图像的采集位姿。
具体地,视觉图像的采集位姿,是指采集视觉图像时割草机的位姿。为了使得到的割草机的位姿信息更加准确,可以预先在割草机中设置多种不同的位姿传感器,例如:相机、卫星信号传感器、轮式里程计、IMU以及里程计等中的两个或者多个。分别获取每个传感器检测到的割草机的初始采集位姿之后,再对上述多个初始采集位姿进行融合,从而得到最终的视觉图像的采集位姿。本申请实施例中,对于多个初始采集位姿的具体融合方式不做限定,可以根据实际需要自定义设定。
由于上述步骤204和步骤206,是在采集视觉图像之后,存储视觉图像之前执行的,因此,可以将上述步骤204和步骤206称为保留帧(关键帧)的在线筛选过程。如上所述,通过上述在线筛选过程,可以在不影响视觉图像完整度的前提下,降低用于构建视觉地图的视觉图像的存储成本及计算成本,降低地图构建过程的计算量,减少建图的耗时。
而可选地,为了进一步地降低视觉地图构建过程的计算量,进一步地减少建图的耗时,还可以在执行完保留帧的上述在线筛选过程之后,再进行一次保留帧(关键帧)的离线筛选,离线筛选方式可以有多种,具体地:
可选地,在其中一些实施例中,离线筛选方式可以为:在步骤208之前,先执行如下步骤:
基于各保留帧对应的卫星定位精度信息,从各子区域对应的保留帧中确定目标帧,目标帧为对应的卫星定位精度小于预设精度阈值的保留帧;
对应地,步骤208则可以包括:采用目标帧进行视觉地图构建,得到待建图区域对应的视觉地图。
具体地,上述离线筛选方式为:对基于步骤206确定出的保留帧,以卫星定位精度为筛选依据,仅保留其中卫星定位精度差的目标帧进行地图构建,这样,可进一步降低用于构建视觉地图的视觉图像的存储成本及计算成本。
可选地,在其中一些实施例中,离线筛选方式也可以为:在步骤208之前,先执行如下步骤:
基于各保留帧对应的卫星定位精度信息,从各保留帧中确定目标帧,目标帧为对应的卫星定位精度小于预设的精度阈值的保留帧;
获取边界目标帧的采集时间信息;边界目标帧为在目标采集区域的边界位置采集到的目标帧;目标采集区域为目标帧的采集区域;
基于采集时间信息,在保留帧中确定相邻帧;相邻帧为在与目标采集区域相邻的区域中采集到的保留帧;
对应地,步骤208则可以包括:采用目标帧和相邻帧进行视觉地图构建,得到待建图区域对应的视觉地图。
具体地,上述离线筛选方式为:对基于步骤206确定出的保留帧,首先,以卫星定位精度为筛选依据,仅保留其中卫星定位精度差的目标帧;接着,再基于边界目标帧的的采集时间信息,从保留帧中确定出与上述目标帧所处的目标采集区域相邻的相邻帧;进而,采用上述目标帧,以及,上述相邻帧进行视觉地图构建。由于在保留了卫星定位精度较差区域对应的目标帧的同时,还保留了与卫星定位精度较差区域的边界相邻的相邻帧,而基于上述相邻帧,可以更好地获取到各目标帧对应的采集位姿,因此,基于目标帧和相邻帧进行视觉地图的构建,可以提升目标帧所对应的卫星定位精度较差的目标区域的视觉地图的构建精度。
可选地,在其中一些实施例中,离线筛选方式还可以为:在步骤208之前,先执行如下步骤:
基于各保留帧对应的卫星定位精度信息,从各保留帧中确定目标帧,目标帧为对应的卫星定位精度小于预设的精度阈值的保留帧;
获取边界目标帧的采集时间信息;边界目标帧为在目标采集区域的边界位置采集到的目标帧;目标采集区域为目标帧的采集区域;
基于采集时间信息,在保留帧中确定相邻帧;相邻帧为在与目标采集区域相邻的区域中采集到的保留帧;
在除目标帧和相邻帧之外的其余保留帧中,确定与目标帧包含有相同预设路标点的匹配帧;
对应地,步骤208则可以包括:采用目标帧、相邻帧以及匹配帧进行视觉地图构建,得到待建图区域对应的视觉地图。
具体地,上述离线筛选方式为:对基于步骤206确定出的保留帧,首先,以卫星定位精度为筛选依据,仅保留其中卫星定位精度差的目标帧;其次,再基于边界目标帧的的采集时间信息,从保留帧中确定出与上述目标帧所处的目标采集区域相邻的相邻帧;另外,还在其余的保留帧中,确定出了与目标帧包含有相同预设路标点的匹配帧,进而,采用上述目标帧、相邻帧、以及匹配帧,进行视觉地图构建。由于在保留了卫星定位精度较差区域对应的目标帧、与卫星定位精度较差区域的边界相邻的相邻帧之外,还保留了与目标帧包含有相同预设路标点的匹配帧,而基于上述匹配帧,可以更好地优化具有相同预设路标点的目标帧中预设路标点的位置,因此,基于目标帧、相邻帧及匹配帧进行视觉地图的构建,可以提高上述路标点在最终建立的视觉地图中的位置精度。
参见图3,图3为根据图2所示实施例提供的一种视觉地图构建算法的步骤流程图,以下,将参考图3所示的步骤流程图,对本申请实施例进行说明:
本申请实施例提供的视觉地图构建方法,可以包括如下几个步骤:
第一步,视觉图像采集。该步骤中包含有上述针对步骤204-步骤206的描述中所提到的关联帧的在线筛选过程,具体地的在线筛选过程,可以参考上述实施例二中的相关内容,此处不再赘述。
第二步,离线关键帧筛选。该步骤可以对应上述实施例二中所提到的保留帧(关键帧)的离线筛选过程,此处亦不再赘述。
第三步,特征提取与匹配。具体地,可以对经过第一步和第二步后得到的视觉图像进行特征提取,并对包含有相同特征(路标点)的视觉图像进行匹配,形成视觉图像对。
第四步,多传感器融合建图。具体地:可以基于上述第三步得到的视觉图像对,以及,多种不同的位姿传感器检测到的视觉图像的采集位姿,进行视觉地图构建,生成待建图区域对应的视觉地图。
第五步,地图后处理。具体地:可以结合建图时视觉图像中包含的特征点(路标点)的数量、重投影误差等信息,筛选出建图误差可能过大的视觉图像,并将该视觉图像从视觉地图中剔除。
参见图4,图4为图3中所包含的在线关键帧筛选的步骤流程图。具体地:
在获取到新采集的视觉图像之后,可以先基于割草机的状态数据,判断割草机是否处于有效的工作模式,上述有效的工作模式可以为:建图模式、割草模式,等等;若割草机未处于有效的工作模式,则继续等待新的视觉图像的到来;若处于有效的工作模式,则可以进一步地判断当前的工作模式是否为建图模式,或者,基于获取到的卫星定位信号判断当前的卫星定位信号是否稳定;若处于建图模式,或者,卫星定位信号不稳定,则可以设置较为宽松的关键帧筛选条件:常规模式;反之,若处于非建图模式,或者,卫星定位信号稳定,则可以设置较为严格的关键帧筛选条件:严格模式;之后,判断当前获取到的视觉图像与之前的保留帧之间是否存在足够大(足够多)的相对位姿(位姿差异),若否,返回继续等待新的视觉图像的到来;若是,则确定当前获取到的视觉图像为保留帧,保留该图像。
实施例三
参见图5,图5为根据本申请实施例三的一种割草机控制装置的结构框图。本申请实施例提供的割草机控制装置包括:
位置信息获取模块502,用于在割草机割草的过程中,获取割草机的位置信息;其中,当割草机处于卫星定位信号稳定区域时,基于获取到的卫星定位信息确定位置信息;当割草机处于卫星定位信号欠稳定区域时,基于卫星定位信号欠稳定区域对应的视觉地图进行视觉定位,以获取割草机的位置信息;
控制模块504,用于基于位置信息,向割草机的驱动装置发送控制指令,以控制割草机沿预设割草路径割草。
可选地,在其中一些实施例中,割草机控制装置还包括:
边界地图构建模块,用于在视觉地图构建阶段,控制割草机沿割草区域的边界行走,并在割草机行走过程中按照预设频率采集卫星定位信息和视觉图像;
基于卫星定位信息构建割草区域的虚拟边界,以形成卫星定位边界地图;
并基于在卫星定位信号欠稳定区域采集的视觉图像建立局部视觉边界地图。
可选地,在其中一些实施例中,割草机的割草过程包括沿边割草阶段和中心割草阶段;在沿边割草阶段,控制模块504,具体用于:当割草机处于卫星定位信号稳定区域时,基于获取到的卫星定位信息和卫星定位边界地图,向割草机的驱动装置发送控制指令,以控制割草机沿割草区域的边界行走并割草;
当割草机处于卫星定位信号欠稳定区域时,根据视觉定位信息和局部视觉边界地图,向割草机的驱动装置发送控制指令,以控制割草机沿割草区域的边界行走并割草。
在中心割草阶段,控制模块504,具体用于:
在虚拟边界内部,在割草机首次行走并割草时,根据卫星定位信息进行定位,并采集视觉图像,以建立完整视觉地图;
在中心割草阶段,割草机非首次行走并割草时,若割草机处于卫星定位信号稳定区域,则基于获取到的卫星定位信息和卫星定位边界地图,向割草机的驱动装置发送控制指令,以控制割草机行走并割草;
当割草机处于卫星定位信号欠稳定区域时,根据视觉定位信息和完整视觉地图,向割草机的驱动装置发送控制指令,以控制割草机行走并割草;
或者,
在中心割草阶段,割草机非首次行走并割草时,采集视觉图像,并基于采集到的视觉图像完善完整视觉地图。
可选地,在其中一些实施例中,还包括:
视觉地图构建模块,用于:割草机在待建图区域移动的过程中,获取割草机连续采集的视觉图像,并记录视觉图像的采集位姿;采集位姿包括采集位置和采集姿态;
获取待建图区域包含的各子区域的子区域位置信息,并对比采集位置与各子区域位置信息,确定采集位置所属的目标子区域;
判断与目标子区域对应的已有的保留帧中,是否存在与视觉图像的采集姿态差异小于预设姿态差异阈值的图像;若是,将视觉图像确定为冗余帧;保留帧为未被确定为冗余帧的视觉图像;
采用各子区域对应的保留帧进行视觉地图构建,得到待建图区域对应的视觉地图。
可选地,在其中一些实施例中,视觉地图构建模块,在执行获取待建图区域包含的各子区域的子区域位置信息的步骤时,具体用于:
在待建图区域构建栅格图,栅格图中的各栅格具有相同的尺寸;一个栅格对应待建图区域包含的一个子区域;
基于栅格中预设区域在待建图区域中的位置信息,得到各栅格的栅格位置信息;子区域位置信息为对应的栅格位置信息。
可选地,在其中一些实施例中,视觉地图构建模块,在执行记录视觉图像的采集位姿的步骤时,具体用于:
获取设置于割草机的多个传感器分别检测到的视觉图像的初始采集位姿;初始采集位姿包括初始采集位置和初始采集姿态;
融合各初始采集位姿,得到视觉图像的采集位姿。
可选地,在其中一些实施例中,视觉地图构建模块在执行采用各子区域对应的保留帧进行视觉地图构建,得到待建图区域对应的视觉地图之前,还用于:
基于各保留帧对应的卫星定位精度信息,从各子区域对应的保留帧中确定目标帧,目标帧为对应的卫星定位精度小于预设精度阈值的保留帧;
对应地,视觉地图构建模块在执行采用各子区域对应的保留帧进行视觉地图构建,得到待建图区域对应的视觉地图的步骤时,具体用于:
采用目标帧进行视觉地图构建,得到待建图区域对应的视觉地图。
可选地,在其中一些实施例中,视觉地图构建模块在执行采用各子区域对应的保留帧进行视觉地图构建,得到待建图区域的视觉地图之前,还用于:
基于各保留帧对应的卫星定位精度信息,从各保留帧中确定目标帧,目标帧为对应的卫星定位精度小于预设的精度阈值的保留帧;
获取边界目标帧的采集时间信息;边界目标帧为在目标采集区域的边界位置采集到的目标帧;目标采集区域为目标帧的采集区域;
基于采集时间信息,在保留帧中确定相邻帧;相邻帧为在与目标采集区域相邻的区域中采集到的保留帧;
对应地,视觉地图构建模块在执行采用各子区域对应的保留帧进行视觉地图构建,得到待建图区域对应的视觉地图的步骤时,具体用于:
采用目标帧和相邻帧进行视觉地图构建,得到待建图区域对应的视觉地图。
可选地,在其中一些实施例中,视觉地图构建模块在执行采用各子区域对应的保留帧进行视觉地图构建,得到待建图区域的视觉地图之前,还用于:
基于各保留帧对应的卫星定位精度信息,从各保留帧中确定目标帧,目标帧为对应的卫星定位精度小于预设的精度阈值的保留帧;
获取边界目标帧的采集时间信息;边界目标帧为在目标采集区域的边界位置采集到的目标帧;目标采集区域为目标帧的采集区域;
基于采集时间信息,在保留帧中确定相邻帧;相邻帧为在与目标采集区域相邻的区域中采集到的保留帧;
在除目标帧和相邻帧之外的其余保留帧中,确定与目标帧包含有相同预设路标点的匹配帧;
对应地,视觉地图构建模块在执行采用各子区域对应的保留帧进行视觉地图构建,得到待建图区域对应的视觉地图的步骤时,具体用于:
采用目标帧、相邻帧以及匹配帧进行视觉地图构建,得到待建图区域对应的视觉地图。
可选地,在其中一些实施例中,视觉地图构建模块在执行在待建图区域构建栅格图的步骤时,具体用于:
基于待建图区域内的卫星定位精度信息,确定栅格尺寸信息;其中,待建图区域内的卫星定位精度越高,栅格尺寸越大;
基于栅格尺寸信息,在待建图区域构建栅格图;
对应地,视觉地图构建模块在执行判断与目标子区域对应的已有的保留帧中,是否存在与视觉图像的采集姿态差异小于预设姿态差异阈值的图像之前,还用于:
基于待建图区域内的卫星定位精度信息,确定姿态差异阈值;其中,待建图区域内的卫星定位精度越高,姿态差异阈值越大。
本实施例的割草机控制装置用于实现前述多个方法实施例中相应的割草机控制方法,并具有相应的方法实施例的有益效果,在此不再赘述。此外,本实施例的割草机控制装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述,在此亦不再赘述。
实施例四
参见图6,图6为根据本申请实施例四的一种视觉地图构建装置的结构框图。本申请实施例提供的视觉地图构建装置包括:
图像及位姿获取模块602,用于割草机在待建图区域移动的过程中,获取割草机连续采集的视觉图像,并记录视觉图像的采集位姿;采集位姿包括采集位置和采集姿态;
目标子区域确定模块604,用于获取待建图区域包含的各子区域的子区域位置信息,并对比采集位置与各子区域位置信息,确定采集位置所属的目标子区域;
判断模块606,用于判断与目标子区域对应的已有的保留帧中,是否存在与视觉图像的采集姿态差异小于预设姿态差异阈值的图像;若是,将视觉图像确定为冗余帧;保留帧为未被确定为冗余帧的视觉图像;
构建模块608,用于采用各子区域对应的保留帧进行视觉地图构建,得到待建图区域对应的视觉地图。
可选地,在其中一些实施例中,目标子区域确定模块604在执行获取待建图区域包含的各子区域的子区域位置信息的步骤时,具体用于:
在待建图区域构建栅格图,栅格图中的各栅格具有相同的尺寸;一个栅格对应待建图区域包含的一个子区域;
基于栅格中预设区域在待建图区域中的位置信息,得到各栅格的栅格位置信息;子区域位置信息为对应的栅格位置信息。
可选地,在其中一些实施例中,图像及位姿获取模块602,在执行记录视觉图像的采集位姿的步骤时,具体用于:
获取设置于割草机的多个传感器分别检测到的视觉图像的初始采集位姿;初始采集位姿包括初始采集位置和初始采集姿态;
融合各初始采集位姿,得到视觉图像的采集位姿。
可选地,在其中一些实施例中,构建模块608还用于:在采用各子区域对应的保留帧进行视觉地图构建,得到待建图区域对应的视觉地图之前,基于各保留帧对应的卫星定位精度信息,从各子区域对应的保留帧中确定目标帧,目标帧为对应的卫星定位精度小于预设精度阈值的保留帧;
对应地,构建模块608在执行采用各子区域对应的保留帧进行视觉地图构建,得到待建图区域对应的视觉地图的步骤时,具体用于:采用目标帧进行视觉地图构建,得到待建图区域对应的视觉地图。
可选地,在其中一些实施例中,构建模块608还用于:在采用各子区域对应的保留帧进行视觉地图构建,得到待建图区域的视觉地图之前,基于各保留帧对应的卫星定位精度信息,从各保留帧中确定目标帧,目标帧为对应的卫星定位精度小于预设的精度阈值的保留帧;获取边界目标帧的采集时间信息;边界目标帧为在目标采集区域的边界位置采集到的目标帧;目标采集区域为目标帧的采集区域;基于采集时间信息,在保留帧中确定相邻帧;相邻帧为在与目标采集区域相邻的区域中采集到的保留帧;
对应地,构建模块608在执行采用各子区域对应的保留帧进行视觉地图构建,得到待建图区域对应的视觉地图的步骤时,具体用于:
采用目标帧和相邻帧进行视觉地图构建,得到待建图区域对应的视觉地图。
可选地,在其中一些实施例中,构建模块608还用于:在采用各子区域对应的保留帧进行视觉地图构建,得到待建图区域的视觉地图之前,基于各保留帧对应的卫星定位精度信息,从各保留帧中确定目标帧,目标帧为对应的卫星定位精度小于预设的精度阈值的保留帧;
获取边界目标帧的采集时间信息;边界目标帧为在目标采集区域的边界位置采集到的目标帧;目标采集区域为目标帧的采集区域;
基于采集时间信息,在保留帧中确定相邻帧;相邻帧为在与目标采集区域相邻的区域中采集到的保留帧;
在除目标帧和相邻帧之外的其余保留帧中,确定与目标帧包含有相同预设路标点的匹配帧;
对应地,构建模块608在执行采用各子区域对应的保留帧进行视觉地图构建,得到待建图区域对应的视觉地图的步骤时,具体用于:
采用目标帧、相邻帧以及匹配帧进行视觉地图构建,得到待建图区域对应的视觉地图。
可选地,在其中一些实施例中,目标子区域确定模块604在执行在待建图区域构建栅格图的步骤时,具体用于:
基于待建图区域内的卫星定位精度信息,确定栅格尺寸信息;其中,待建图区域内的卫星定位精度越高,栅格尺寸越大;
基于栅格尺寸信息,在待建图区域构建栅格图;
对应地,判断模块606,在执行判断与目标子区域对应的已有的保留帧中,是否存在与视觉图像的采集姿态差异小于预设姿态差异阈值的图像之前,还用于:
基于待建图区域内的卫星定位精度信息,确定姿态差异阈值;其中,待建图区域内的卫星定位精度越高,姿态差异阈值越大。
本实施例的视觉地图构建装置用于实现前述多个方法实施例中相应的视觉地图构建方法,并具有相应的方法实施例的有益效果,在此不再赘述。此外,本实施例的视觉地图构建装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述,在此亦不再赘述。
实施例五
参照图7,示出了根据本申请实施例五的一种电子设备的结构示意图,本申请具体实施例并不对电子设备的具体实现做限定。
如图7所示,该电子设备可以包括:处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。
其中:
处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。
通信接口704,用于与其它电子设备或服务器进行通信。
处理器702,用于执行程序710,具体可以执行上述割草机控制方法或者视觉地图构建方法实施例中的相关步骤。
具体地,程序710可以包括程序代码,该程序代码包括计算机操作指令。
处理器702可能是CPU,或者是特定集成电路ASIC(Application SpecificIntegrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器706,用于存放程序710。存储器706可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序710可包括多条计算机指令,程序710具体可以通过多条计算机指令使得处理器702执行前述多个方法实施例中任一实施例所描述的割草机控制方法或者视觉地图构建方法对应的操作。
程序710中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述,并具有相应的有益效果,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
本申请实施例还提供了一种割草机,包括控制器,控制器用于执行上述割草机控制方法或者视觉地图构建方法。
本申请实施例还提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述多个方法实施例中任一实施例所描述的方法。该计算机存储介质包括但不限于:只读光盘(Compact Disc Read-Only Memory,CD-ROM)、随机存储器(RandomAccess Memory,RAM)、软盘、硬盘或磁光盘等。
此外,需要说明的是,本申请实施例所涉及到的与用户有关的信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于对模型进行训练的样本数据、用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
需要指出,根据实施的需要,可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤,也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤,以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现,或者被实现为可存储在记录介质(诸如CD-ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如专用集成电路(Application Specific Integrated Circuit,ASIC)或现场可编辑门阵列(Field Programmable Gate Array,FPGA))的记录介质上的这样的软件处理。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如,随机存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、闪存等),当所述软件或计算机代码被计算机、处理器或硬件访问且执行时,实现在此描述的方法。此外,当通用计算机访问用于实现在此示出的方法的代码时,代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
以上实施方式仅用于说明本申请实施例,而并非对本申请实施例的限制,有关技术领域的普通技术人员,在不脱离本申请实施例的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请实施例的范畴,本申请实施例的专利保护范围应由权利要求限定。
Claims (15)
1.一种割草机控制方法,包括:
在割草机割草的过程中,获取割草机的位置信息;
基于所述位置信息,向割草机的驱动装置发送控制指令,以控制割草机沿预设割草路径割草;
其中,当割草机处于卫星定位信号稳定区域时,基于获取到的卫星定位信息确定所述位置信息;当割草机处于卫星定位信号欠稳定区域时,基于所述卫星定位信号欠稳定区域对应的视觉地图进行视觉定位,以获取割草机的位置信息。
2.根据权利要求1所述的方法,其中,还包括:
在视觉地图构建阶段,控制割草机沿割草区域的边界行走,并在割草机行走过程中按照预设频率采集卫星定位信息和视觉图像;
基于所述卫星定位信息构建所述割草区域的虚拟边界,以形成卫星定位边界地图;
并基于在卫星定位信号欠稳定区域采集的视觉图像建立局部视觉边界地图。
3.根据权利要求2所述的方法,其中,割草机的割草过程包括沿边割草阶段和中心割草阶段;
在沿边割草阶段,所述基于所述位置信息,向割草机的驱动装置发送控制指令,以控制割草机沿预设割草路径割草,包括:
当割草机处于卫星定位信号稳定区域时,基于获取到的卫星定位信息和所述卫星定位边界地图,向割草机的驱动装置发送控制指令,以控制割草机沿所述割草区域的边界行走并割草;
当割草机处于卫星定位信号欠稳定区域时,根据视觉定位信息和所述局部视觉边界地图,向割草机的驱动装置发送控制指令,以控制割草机沿所述割草区域的边界行走并割草。
4.根据权利要求3所述的方法,其中,还包括:
在中心割草阶段,所述基于所述位置信息,向割草机的驱动装置发送控制指令,以控制割草机沿预设割草路径割草,包括:
在所述虚拟边界内部,在割草机首次行走并割草时,根据卫星定位信息进行定位,并采集视觉图像,以建立完整视觉地图;
在中心割草阶段,割草机非首次行走并割草时,若割草机处于卫星定位信号稳定区域,则基于获取到的卫星定位信息和所述卫星定位边界地图,向割草机的驱动装置发送控制指令,以控制割草机行走并割草;
当割草机处于卫星定位信号欠稳定区域时,根据视觉定位信息和所述完整视觉地图,向割草机的驱动装置发送控制指令,以控制割草机行走并割草;
或者,
在中心割草阶段,割草机非首次行走并割草时,采集视觉图像,并基于采集到的视觉图像完善所述完整视觉地图。
5.根据权利要求1所述的方法,其中,针对待建图区域构建对应的视觉地图的过程,包括:
割草机在待建图区域移动的过程中,获取割草机连续采集的视觉图像,并记录视觉图像的采集位姿;所述采集位姿包括采集位置和采集姿态;
获取所述待建图区域包含的各子区域的子区域位置信息,并对比所述采集位置与各子区域位置信息,确定所述采集位置所属的目标子区域;
判断与目标子区域对应的已有的保留帧中,是否存在与所述视觉图像的采集姿态差异小于预设姿态差异阈值的图像;若是,将视觉图像确定为冗余帧;所述保留帧为未被确定为冗余帧的视觉图像;
采用各子区域对应的保留帧进行视觉地图构建,得到所述待建图区域对应的视觉地图。
6.根据权利要求5所述的方法,其中,获取所述待建图区域包含的各子区域的子区域位置信息的过程,包括:
在待建图区域构建栅格图,所述栅格图中的各栅格具有相同的尺寸;一个栅格对应所述待建图区域包含的一个子区域;
基于栅格中预设区域在所述待建图区域中的位置信息,得到各栅格的栅格位置信息;子区域位置信息为对应的栅格位置信息。
7.根据权利要求5或6所述的方法,其中,所述记录视觉图像的采集位姿,包括:
获取设置于割草机的多个传感器分别检测到的视觉图像的初始采集位姿;所述初始采集位姿包括初始采集位置和初始采集姿态;
融合各初始采集位姿,得到视觉图像的采集位姿。
8.根据权利要求5或6所述的方法,其中,在所述采用各子区域对应的保留帧进行视觉地图构建,得到所述待建图区域对应的视觉地图之前,还包括:
基于各保留帧对应的卫星定位精度信息,从各子区域对应的保留帧中确定目标帧,所述目标帧为对应的卫星定位精度小于预设精度阈值的保留帧;
所述采用各子区域对应的保留帧进行视觉地图构建,得到所述待建图区域对应的视觉地图,包括:
采用所述目标帧进行视觉地图构建,得到所述待建图区域对应的视觉地图。
9.根据权利要求5或6所述的方法,其中,在所述采用各子区域对应的保留帧进行视觉地图构建,得到所述待建图区域的视觉地图之前,还包括:
基于各保留帧对应的卫星定位精度信息,从各保留帧中确定目标帧,所述目标帧为对应的卫星定位精度小于预设的精度阈值的保留帧;
获取边界目标帧的采集时间信息;所述边界目标帧为在目标采集区域的边界位置采集到的目标帧;所述目标采集区域为所述目标帧的采集区域;
基于所述采集时间信息,在保留帧中确定相邻帧;所述相邻帧为在与所述目标采集区域相邻的区域中采集到的保留帧;
所述采用各子区域对应的保留帧进行视觉地图构建,得到所述待建图区域对应的视觉地图,包括:
采用所述目标帧和所述相邻帧进行视觉地图构建,得到所述待建图区域对应的视觉地图。
10.根据权利要求5或6所述的方法,其中,在所述采用各子区域对应的保留帧进行视觉地图构建,得到所述待建图区域对应的视觉地图之前,还包括:
基于各保留帧对应的卫星定位精度信息,从各保留帧中确定目标帧,所述目标帧为对应的卫星定位精度小于预设的精度阈值的保留帧;
获取边界目标帧的采集时间信息;所述边界目标帧为在目标采集区域的边界位置采集到的目标帧;所述目标采集区域为所述目标帧的采集区域;
基于所述采集时间信息,在保留帧中确定相邻帧;所述相邻帧为在与所述目标采集区域相邻的区域中采集到的保留帧;
在除所述目标帧和所述相邻帧之外的其余保留帧中,确定与所述目标帧包含有相同预设路标点的匹配帧;
所述采用各子区域对应的保留帧进行视觉地图构建,得到所述待建图区域对应的视觉地图,包括:
采用所述目标帧、所述相邻帧以及所述匹配帧进行视觉地图构建,得到所述待建图区域对应的视觉地图。
11.根据权利要求6所述的方法,其中,所述在待建图区域构建栅格图,包括:
基于待建图区域内的卫星定位精度信息,确定栅格尺寸信息;其中,待建图区域内的卫星定位精度越高,栅格尺寸越大;
基于所述栅格尺寸信息,在待建图区域构建栅格图;
在所述判断与目标子区域对应的已有的保留帧中,是否存在与所述视觉图像的采集姿态差异小于预设姿态差异阈值的图像之前,所述方法还包括:
基于待建图区域内的卫星定位精度信息,确定姿态差异阈值;其中,待建图区域内的卫星定位精度越高,所述姿态差异阈值越大。
12.一种割草机控制装置,包括:
位置信息获取模块,用于在割草机割草的过程中,获取割草机的位置信息;其中,当割草机处于卫星定位信号稳定区域时,基于获取到的卫星定位信息确定所述位置信息;当割草机处于卫星定位信号欠稳定区域时,基于所述卫星定位信号欠稳定区域对应的视觉地图进行视觉定位,以获取割草机的位置信息;
控制模块,用于基于所述位置信息,向割草机的驱动装置发送控制指令,以控制割草机沿预设割草路径割草。
13.一种割草机,包括控制器,所述控制器用于执行:
在割草机割草的过程中,获取割草机的位置信息;
基于所述位置信息,向割草机的驱动装置发送控制指令,以控制割草机沿预设割草路径割草;
其中,当割草机处于卫星定位信号稳定区域时,基于获取到的卫星定位信息确定所述位置信息;当割草机处于卫星定位信号欠稳定区域时,基于所述卫星定位信号欠稳定区域对应的视觉地图进行视觉定位,以获取割草机的位置信息。
14.一种电子设备,包括:
处理器;以及
存储程序的存储器;
其中,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-11中任一项所述的方法。
15.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311118421.XA CN117044478B (zh) | 2023-08-31 | 2023-08-31 | 割草机控制方法、装置、割草机、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311118421.XA CN117044478B (zh) | 2023-08-31 | 2023-08-31 | 割草机控制方法、装置、割草机、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117044478A true CN117044478A (zh) | 2023-11-14 |
CN117044478B CN117044478B (zh) | 2024-03-19 |
Family
ID=88660795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311118421.XA Active CN117044478B (zh) | 2023-08-31 | 2023-08-31 | 割草机控制方法、装置、割草机、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117044478B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102662400A (zh) * | 2012-05-10 | 2012-09-12 | 慈溪思达电子科技有限公司 | 割草机器人的路径规划算法 |
CN205431051U (zh) * | 2016-02-19 | 2016-08-10 | Ac(澳门离岸商业服务)有限公司 | 割草机 |
CN105988471A (zh) * | 2015-02-15 | 2016-10-05 | 苏州宝时得电动工具有限公司 | 割草机的智能割草系统及割草控制方法 |
CN207799086U (zh) * | 2016-12-15 | 2018-08-31 | 苏州宝时得电动工具有限公司 | 基于差分定位技术的基站和自动工作系统 |
US20180348790A1 (en) * | 2015-12-02 | 2018-12-06 | Husqvarna Ab | Improved navigation for a robotic work tool |
US20180364735A1 (en) * | 2015-12-02 | 2018-12-20 | Husqvarna Ab | Improved navigation for a vehicle by implementing two operating modes |
WO2021093474A1 (zh) * | 2019-11-12 | 2021-05-20 | 苏州宝时得电动工具有限公司 | 一种割草机导航方法、装置和割草机 |
WO2022007385A1 (zh) * | 2020-07-09 | 2022-01-13 | 上海思岚科技有限公司 | 一种激光、视觉定位融合的方法及设备 |
CN114322980A (zh) * | 2020-09-30 | 2022-04-12 | 上海山科机器人有限公司 | 获取位置坐标及绘制电子地图的方法、计算机可读存储介质和自主作业设备 |
JP2022523312A (ja) * | 2019-01-28 | 2022-04-22 | キューフィールテック (ベイジン) カンパニー,リミティド | Vslam方法、コントローラ及び移動可能機器 |
CN115211273A (zh) * | 2021-04-15 | 2022-10-21 | 浙江亚特电器有限公司 | 一种割草机导航方法、装置、设备及无人割草系统 |
CN115454077A (zh) * | 2022-09-16 | 2022-12-09 | 未岚大陆(北京)科技有限公司 | 自动割草机及其控制方法和计算机可读存储介质 |
CN116027266A (zh) * | 2023-01-30 | 2023-04-28 | 西北工业大学 | Uwb与视觉紧耦合slam算法的定位方法及系统 |
CN116339323A (zh) * | 2023-02-28 | 2023-06-27 | 未岚大陆(北京)科技有限公司 | 虚拟边界构建方法、装置、自移动割草装置和用户端 |
-
2023
- 2023-08-31 CN CN202311118421.XA patent/CN117044478B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102662400A (zh) * | 2012-05-10 | 2012-09-12 | 慈溪思达电子科技有限公司 | 割草机器人的路径规划算法 |
CN105988471A (zh) * | 2015-02-15 | 2016-10-05 | 苏州宝时得电动工具有限公司 | 割草机的智能割草系统及割草控制方法 |
US20180348790A1 (en) * | 2015-12-02 | 2018-12-06 | Husqvarna Ab | Improved navigation for a robotic work tool |
US20180364735A1 (en) * | 2015-12-02 | 2018-12-20 | Husqvarna Ab | Improved navigation for a vehicle by implementing two operating modes |
CN205431051U (zh) * | 2016-02-19 | 2016-08-10 | Ac(澳门离岸商业服务)有限公司 | 割草机 |
CN207799086U (zh) * | 2016-12-15 | 2018-08-31 | 苏州宝时得电动工具有限公司 | 基于差分定位技术的基站和自动工作系统 |
JP2022523312A (ja) * | 2019-01-28 | 2022-04-22 | キューフィールテック (ベイジン) カンパニー,リミティド | Vslam方法、コントローラ及び移動可能機器 |
WO2021093474A1 (zh) * | 2019-11-12 | 2021-05-20 | 苏州宝时得电动工具有限公司 | 一种割草机导航方法、装置和割草机 |
WO2022007385A1 (zh) * | 2020-07-09 | 2022-01-13 | 上海思岚科技有限公司 | 一种激光、视觉定位融合的方法及设备 |
CN114322980A (zh) * | 2020-09-30 | 2022-04-12 | 上海山科机器人有限公司 | 获取位置坐标及绘制电子地图的方法、计算机可读存储介质和自主作业设备 |
CN115211273A (zh) * | 2021-04-15 | 2022-10-21 | 浙江亚特电器有限公司 | 一种割草机导航方法、装置、设备及无人割草系统 |
CN115454077A (zh) * | 2022-09-16 | 2022-12-09 | 未岚大陆(北京)科技有限公司 | 自动割草机及其控制方法和计算机可读存储介质 |
CN116027266A (zh) * | 2023-01-30 | 2023-04-28 | 西北工业大学 | Uwb与视觉紧耦合slam算法的定位方法及系统 |
CN116339323A (zh) * | 2023-02-28 | 2023-06-27 | 未岚大陆(北京)科技有限公司 | 虚拟边界构建方法、装置、自移动割草装置和用户端 |
Non-Patent Citations (1)
Title |
---|
孟添: "《智能交通系统理论体系与应用》", 上海大学出版社, pages: 34 * |
Also Published As
Publication number | Publication date |
---|---|
CN117044478B (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113296495B (zh) | 自移动设备的路径形成方法、装置和自动工作系统 | |
CN111024100B (zh) | 一种导航地图更新方法、装置、可读存储介质及机器人 | |
CN112179330B (zh) | 移动设备的位姿确定方法及装置 | |
CN104819726B (zh) | 导航数据处理方法、装置及导航终端 | |
CN112380312B (zh) | 基于栅格检测的激光地图更新方法、终端及计算机设备 | |
EP4083921A1 (en) | Local point cloud map construction method and vision robot | |
CN111652929A (zh) | 一种视觉特征的识别定位方法及系统 | |
WO2023160698A1 (zh) | 动态全覆盖路径规划方法及装置、清洁设备、存储介质 | |
EP3968609A1 (en) | Control method, vehicle, and server | |
CN114972490B (zh) | 一种数据自动标注方法、装置、设备及存储介质 | |
CN116753945A (zh) | 一种基于多传感器融合的工业巡检机器人的导航方法 | |
CN110986945A (zh) | 基于语义高度地图的局部导航方法和系统 | |
CN115077563A (zh) | 车辆定位精度评价方法、装置及电子设备 | |
CN117044478B (zh) | 割草机控制方法、装置、割草机、电子设备及存储介质 | |
CN113673288B (zh) | 空闲车位检测方法、装置、计算机设备及存储介质 | |
CN117381783A (zh) | 一种机器人的工作边界构建方法及机器人 | |
CN117423089A (zh) | 基于图像分割与雷达点云的可行驶区域拟合方法及设备 | |
CN115249407B (zh) | 指示灯状态识别方法、装置、电子设备、存储介质及产品 | |
CN115790568A (zh) | 基于语义信息的地图生成方法及相关设备 | |
CN111857113B (zh) | 可移动设备的定位方法及定位装置 | |
CN114610035A (zh) | 回桩方法、装置及割草机器人 | |
CN116501813A (zh) | 建图方法、装置、设备及介质 | |
CN114445590A (zh) | 用于工程设备的方法、装置、处理器及工程设备 | |
CN113484843A (zh) | 一种激光雷达与组合导航间外参数的确定方法及装置 | |
CN111126172B (zh) | 一种基于视觉的草场自主建图方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |