CN116466693A - 地图处理方法、自移动的园艺设备、以及自动割草机 - Google Patents
地图处理方法、自移动的园艺设备、以及自动割草机 Download PDFInfo
- Publication number
- CN116466693A CN116466693A CN202210029187.2A CN202210029187A CN116466693A CN 116466693 A CN116466693 A CN 116466693A CN 202210029187 A CN202210029187 A CN 202210029187A CN 116466693 A CN116466693 A CN 116466693A
- Authority
- CN
- China
- Prior art keywords
- area
- map
- self
- moving gardening
- gardening equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010413 gardening Methods 0.000 title claims abstract description 174
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000013507 mapping Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 6
- 238000003898 horticulture Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 28
- 230000000007 visual effect Effects 0.000 description 18
- 230000007613 environmental effect Effects 0.000 description 16
- 244000025254 Cannabis sativa Species 0.000 description 8
- 238000010276 construction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000002955 isolation Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
Abstract
本发明实施例提供一种地图处理方法、自移动的园艺设备、以及自动割草机。该地图处理方法包括:控制自移动的园艺设备采集局部区域内的第一环境图像和自移动的园艺设备的第一位姿信息,局部区域与充电桩的位置相接;根据局部区域的第一环境图像和自移动的园艺设备的第一位姿信息,生成初始地图,以使自移动的园艺设备能够基于初始地图自动回桩;驱动自移动的园艺设备采集剩余区域的第二环境图像和自移动的园艺设备的第二位姿信息;剩余区域至少部分包围局部区域;根据第二环境图像、第二位姿信息和初始地图,确定第一区域的地图,第一区域包括局部区域和剩余区域。该方法能够快速、方便地建立地图。
Description
技术领域
本发明涉及智能设备技术领域,尤其涉及一种地图处理方法、自移动的园艺设备、以及自动割草机。
背景技术
现有的自移动的园艺设备(也可以称为自助园艺设备或者智能园艺设备或者自动园艺设备等),如自动割草机,可以在无人照看或者控制的情况下进行自动割草,从而减少对使用者时间的占用,也可以减少使用者的重复劳动。
现有的自移动的园艺设备依赖人工对工作区域进行限定,如,对工作区域的边沿以及障碍物的边沿埋线,使自移动园艺设备通过检测埋线识别边界和障碍物,以防止走出工作区域或者碰撞工作区域中的障碍物。这种埋线的方式存在的问题在于需要用户消耗大量时间,或需要专业的作业人员进行埋线,而且价格昂贵。对于存在多片工作区域的场景,存在埋线复杂的问题。
发明内容
鉴于上述问题,提出了本发明实施例,其提供一种地图处理方法、自移动的园艺设备、以及自动割草机,以至少解决现有的自移动的园艺设备建图效果不好的问题。
本发明的一个或者多个实施例提供一种地图处理方法,包括:控制自移动的园艺设备采集局部区域内的第一环境图像和所述自移动的园艺设备的第一位姿信息,所述局部区域与充电桩的位置相接;根据所述局部区域的第一环境图像和所述自移动的园艺设备的第一位姿信息,生成初始地图,以使所述自移动的园艺设备能够基于所述初始地图自动回桩;驱动所述自移动的园艺设备采集剩余区域的第二环境图像和所述自移动的园艺设备的第二位姿信息;所述剩余区域至少部分包围所述局部区域;根据所述第二环境图像、所述第二位姿信息和所述初始地图,确定所述第一区域的地图,所述第一区域包括所述局部区域和所述剩余区域。根据本发明的另一方面,提供一种地图处理装置,包括:第一驱动模块,用于控制自移动的园艺设备采集局部区域内的第一环境图像和所述自移动的园艺设备的第一位姿信息,所述局部区域与充电桩的位置相接;第一确定模块,用于根据所述局部区域的第一环境图像和所述自移动的园艺设备的第一位姿信息,生成初始地图,以使所述自移动的园艺设备能够基于所述初始地图自动回桩;第二驱动模块,用于驱动所述自移动的园艺设备采集剩余区域的第二环境图像和所述自移动的园艺设备的第二位姿信息;所述剩余区域至少部分包围所述局部区域;第二确定模块,用于根据所述第二环境图像、所述第二位姿信息和所述初始地图,确定所述第一区域的地图,所述第一区域包括所述局部区域和所述剩余区域。
根据本发明的另一方面,提供一种自移动的园艺设备,其包括控制器,所述控制器用于执行上述的方法。
根据本发明的另一方面,提供一种自动割草机,其包括控制器,所述控制器用于执行上述的方法。
通过本实施例,通过这种方式可以实现自移动的园艺设备的自主建图,而且在自主建图时,先对充电桩所在的范围进行建图,以形成初始地图,从而保证自移动的园艺设备在低电量时方便地回桩充电,从而保证了自移动的园艺设备的可靠性。在建立完初始地图后,自移动的园艺设备可以在剩余区域内移动,以采集第二环境图像并结合初始地图和第二环境图像生成第一区域的地图,以此实现对自移动的园艺设备的自主建图,从而节省成本,降低劳动强度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A为本申请的实施例一提供的地图处理方法的步骤流程图;
图1B为本申请的实施例一的包含多个区域的工作区域的示意图;
图2为本申请的实施例一的地图处理方法的步骤流程图;
图3A为本申请的实施例四提供的地图处理方法的步骤流程图;
图3B为本申请的实施例四的在充电桩一定范围内移动的示意图;
图3C为本申请的实施例四的在剩余区域内移动的示意图;
图3D为本申请的实施例四的第一区域的原始地图的示意图;
图3E为本申请的实施例四的探索未探索区域的示意图;
图3F为本申请的实施例四的第一区域和目标区域的示意图;
图4为本发明的实施例四的地图处理装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了便于说明和理解,在对自移动的园艺设备的控制方法进行说明之前,对自移动的园艺设备的结构和工作场景进行简略说明如下:
在本实施例中,自移动的园艺设备可以是自动割草机,当然,在其他实施例中,该自移动的园艺设备还可以是其他自助园艺设备,或者,其他可以实现自行走的设备。
自动割草机可以用于对草坪进行修剪,以保证草坪内的草的高度满足需求。自动割草机包括驱动单元、控制器、定位组件和割草刀等。割草刀用于割草。定位组件可以包括卫星定位、超宽带无线通信定位(UWB)、惯性测量单元(IMU)、图像采集装置和轮速计中的一种或几种。通过定位组件可以检测出自动割草机当前时刻的位姿。位姿包括其位置和姿态。位置可以采用其在定位坐标系的X轴、Y轴和Z轴的坐标表示。姿态可以采用其相对X轴、Y轴和Z轴的角度确定。
图像采集装置可以采集自移动的园艺设备所在位置处的环境图像,进而可以根据环境图像确定自移动的园艺设备的位姿。
驱动单元包括至少两组驱动轮和控制所述至少两组驱动轮的转动方向和转速的驱动组件。驱动组件可以包括电机和电机控制器。每组驱动轮可以连接一个电机,通过电机的转动带动驱动轮转动。电机控制器可以是变频器或者PLC芯片等,电机控制器控制电机的转动方向和转速。
以自动割草机包括两组驱动轮,每组驱动轮包括至少一个驱动轮。两组驱动轮同速转动实现自动割草机的前进或者后退,两组驱动轮的差速转动实现自动割草机的转弯。
控制器与电机控制器、以及定位组件电信号连接,根据定位组件检测的自动割草机当前时刻的位姿,生成控制信号,并将控制信号发送给电机控制器,以使其控制电机转动。
除此之外,控制器还可以与控制设备连接,控制设备可以集成在自动割草机上,也可以独立于自动割草机。当控制设备集成在自动割草机上时,其可以包括显示屏、控制按钮及配套的电路板。当控制设备独立于自动割草机上时,控制设备可以是任何适当的智能终端,如智能手机、PAD、智能手表或者计算机等。
自动割草机与智能终端数据连接,从而实现数据交互。以智能手机为例,智能手机上可以运行自动割草机的控制应用程序,以通过控制应用程序操控自动割草机。
为了保证自移动的园艺设备能够自动在工作区域内移动,可以通过下述方法对工作区域进行自主视觉建图,从而使得自移动的园艺设备可以获得工作区域的地图,该地图不仅能够指导自移动的园艺设备在工作区域内移动从而进行自动工作,而且可以使自移动的园艺设备知道工作区域的边沿和障碍物的边沿。这样在不额外增加工作区域内埋线或者设置标识桩的情况下,使自移动的园艺设备可以自动移动,降低了使用成本和工作量。
下面对该方法的实现过程进行说明如下:
实施例一
参照图1A,示出了本申请的实施例一的地图处理方法的步骤流程示意图。
步骤S102:驱动自移动的园艺设备在第一区域的与充电桩的距离满足设定值的范围内移动,并采集所述范围内的环境图像和所述自移动的园艺设备的位姿信息。
如图1B所示,自移动的园艺设备的工作区域可以包括一个或一个以上的区域,充电桩可以设置在部分区域内或者设置在全部区域内。在本实施例中,若仅有一个区域内设置有充电桩,则设置充电桩的区域记作第一区域。若一个以上的区域内设置有充电桩,可以任选一个区域作为第一区域。
在自移动的园艺设备建图之前,自移动的园艺设备无法获知工作区域的环境,为了保证建图过程的可靠性、安全性和稳定性,避免由于自移动的园艺设备的电量不足等问题导致建图失败或者建图过程中止需要用户手动操作或者搬运自移动的园艺设备,在建图时,驱动自移动的园艺设备在与充电桩的距离满足设定值的范围内移动,并采集该范围内的环境图像,以及确定每个环境图像对应的位姿信息。这样后续可以先建立该范围内的初始地图,以在自移动的园艺设备的电量较低时基于该初始地图自动回桩充电,进而保证可靠性。
其中,设定值可以根据需要确定,对此不作限制。例如,设定值可以由用户或者其他人员手动配置,如设定值为10米到15米等。或者,设定值可以根据第一区域的面积,以一定比例选择确定,如第一区域的面积100平米,则设定值的取值可以为使该范围的面积为50平米的取值。又或者,设定值可以根据自移动的园艺设备的总电量确定,如总电量为10000mAh,则设定值可以为10米到15米等。
一种示例中,自移动的园艺设备可以以所在的充电桩作为起点,随机选取一个方向,沿该方向移动,并每隔一段时间拍摄一张所在位置的环境图像,并通过轮速计和IMU(惯性导航系统)采集自移动的园艺设备的位姿信息,以确定环境图像对应的位姿信息。
步骤S104:根据所述范围的环境图像和所述自移动的园艺设备的位姿信息,生成初始地图,以使所述自移动的园艺设备能够基于所述初始地图自动回桩。
根据该范围的环境图像和对应位姿信息可以通过运动重建(SFM,Structure FromMotion)建立初始地图。初始地图包括了范围内物体的特征点,如草的特征点、树木的特征点、石头的特征点、和凹坑的特征点等等。
建立的初始地图可以使自移动的园艺设备依据其进行自动回桩的路径规划和导航、定位。例如,若自移动的园艺设备在移动过程中检测到电池的电量较低,则可以根据初始地图引导自移动的园艺设备回到充电桩充电。
在建立完初始地图后可以确定第一区域内已经建立初始地图的范围之外的剩余区域,并通过步骤S106和步骤S108对剩余区域进行探索,以便完成第一区域的建图。
步骤S106:驱动所述自移动的园艺设备在所述第一区域的所述范围之外的剩余区域内移动,并采集所述剩余区域的环境图像和所述自移动的园艺设备的位姿信息。
通过驱动自移动的园艺设备在剩余区域内移动,且每隔一段时间可以采集自移动的园艺设备所在位置的环境图像,并通过轮速计、IMU或者卫星定位模块等确定环境图像对应的位姿信息。
步骤S108:根据所述剩余区域的环境图像、所述自移动的园艺设备的位姿信息和所述初始地图,确定所述第一区域的地图。
在采集完成剩余区域的环境图像后,基于环境图像及其对应的位姿信息对剩余区域建立地图,并经剩余区域的地图和初始地图进行合并,从而获得第一区域的地图。
通过这种方式可以实现自移动的园艺设备的自主建图,而且在自主建图时,先对充电桩所在的范围进行建图,以形成初始地图,从而保证自移动的园艺设备在低电量时方便地回桩充电,从而保证了自移动的园艺设备的可靠性。在建立完初始地图后,自移动的园艺设备可以在剩余区域内移动,以采集剩余区域的环境图像并结合初始地图和剩余区域的环境图像生成第一区域的地图,以此实现对自移动的园艺设备的自主建图,从而节省成本,降低劳动强度。
实施例二
参照图2,示出了本申请实施例二的地图处理方法的步骤流程示意图。
步骤S202:控制自移动的园艺设备采集局部区域内的第一环境图像和所述自移动的园艺设备的第一位姿信息,所述局部区域与充电桩的位置相接。
如前一实施例中所述,自移动的园艺设备的工作区域可以包括一个或一个以上的区域。与自移动的园艺设备对应的充电桩所在的区域可以记作第一区域。而第一区域中与充电桩位置相接一部分区域记作局部区域。例如,局域区域可以是充电桩周围五米范围内的区域。
自移动的园艺设备在局部区域内移动的过程中可以通过行进等采集第一环境图像,通过搭载的传感器可以采集对应的第一位姿信息。
步骤S204:根据所述局部区域的第一环境图像和所述自移动的园艺设备的第一位姿信息,生成初始地图,以使所述自移动的园艺设备能够基于所述初始地图自动回桩。
根据第一环境图像和对应的第一位姿信息可以通过运动重建(SFM,StructureFrom Motion)建立初始地图。初始地图包括了范围内物体的特征点,如草的特征点、树木的特征点、石头的特征点、和凹坑的特征点等等。
建立的初始地图可以使自移动的园艺设备依据其进行自动回桩的路径规划和导航、定位。例如,若自移动的园艺设备在移动过程中检测到电池的电量较低,则可以根据初始地图引导自移动的园艺设备回到充电桩充电。
步骤S206:驱动所述自移动的园艺设备采集剩余区域的第二环境图像和所述自移动的园艺设备的第二位姿信息;所述剩余区域至少部分包围所述局部区域。
剩余区域可以第一区域中除局部区域之外的区域。通过驱动自移动的园艺设备在剩余区域内移动,使得可以在其移动过程中采集第二环境图像和对应的第二位姿信息。
步骤S208:根据所述第二环境图像、所述第二位姿信息和所述初始地图,确定所述第一区域的地图,所述第一区域包括所述局部区域和所述剩余区域。
在采集完成剩余区域的第二环境图像后,基于第二环境图像及其对应的第二位姿信息对剩余区域建立地图,并将剩余区域的地图和初始地图进行合并,从而获得第一区域的地图。
通过这种方式可以方便地建立第一区域的地图,且在建图过程中出现电量不足等问题时也可以及时回到充电桩充电。该方法能够实现自移动的园艺设备的自主建图,从而节省成本,降低劳动强度。
实施例三
参照图3A,示出了本申请的实施例三的地图处理方法的步骤流程示意图。
在本实施例中,该方法包括以下步骤:
步骤S302:控制自移动的园艺设备采集局部区域内的第一环境图像和所述自移动的园艺设备的第一位姿信息,所述局部区域与充电桩的位置相接。
在本实施例中,以自移动的园艺设备的工作区域包括两个相互独立且不连通的区域为例进行说明,独立的区域的数量多于2个的处理方式与2个区域的数量的处理方式类似,故不再赘述。
在存在2个独立的区域的情况下,可以选取设置有充电桩的区域作为第一区域。初始状态下,自移动的园艺设备可以设置在充电桩上。自移动的园艺设备从充电桩退出。退出过程可以为:若自移动的园艺设备的车头朝向充电桩,则从充电桩后退,并原地旋转180度。
从充电桩退出后,自移动的园艺设备可以在以充电桩为圆心,半径10-15米的圆形区域(即局部区域,该局部区域与充电桩的距离满足设定值,也即图3B中所示初始探索区域)内随机行驶,如图3B所示。
在行驶过程中,自移动的园艺设备通过其上搭载的图像采集装置采集第一环境图像,并通过轮速计或者IMU等检测自移动的园艺设备的第一位姿信息。该第一环境图像一方面可以在后续步骤中生成初始地图,另一方面,可以通过神经网络模型对第一环境图像进行图像识别,以识别是否存在障碍物,并判断障碍物相对自移动的园艺设备的方位和距离,以便自移动的园艺设备进行避障。
步骤S304:根据所述局部区域的第一环境图像和所述自移动的园艺设备的第一位姿信息,生成初始地图,以使所述自移动的园艺设备能够基于所述初始地图自动回桩。
根据第一位姿信息可以确定自移动的园艺设备是否遍历了局部区域,若已遍历,则可以基于采集的该局部区域内的第一环境图像对应的第一位姿信息对第一环境图像进行处理,如通过SFM(视觉三维重建)或者视觉SLAM方式获得该局部区域对应的初始地图。
后续若需要回桩充电,则可以采集新的环境图像,将采集的环境图像中的特征点和初始地图中的特征点进行匹配,进而根据匹配到的特征点确定自移动的园艺设备的位姿,从而对其进行导航,使其能够自动回桩。
步骤S306:驱动所述自移动的园艺设备采集剩余区域的第二环境图像和所述自移动的园艺设备的第二位姿信息;所述剩余区域至少部分包围所述局部区域。
在本实施例中,针对一个独立区域的建图可以称为单区域建图,其指在草地外围区域均有边界、草地内部区域相互联通的场景下进行自主移动并绘制草地可通行地图以及视觉特征地图。
在本示例中,对第一区域建图就可以称为单区域建图。由于已经针对充电桩一定范围内的局部区域建立了初始地图,因此在建图过程中,对于第一区域内局部区域范围外的剩余区域,可以驱动自移动的园艺设备在剩余区域内移动,每隔一段时间采集一次所在位置的第二环境图像并定位出该第二环境图像对应的第二位姿信息,如图3C所示。针对采集的第二环境图像可以使用能够进行障碍物识别的神经网络模型对其进行识别,从而确定出是否有障碍物,若有障碍物,自移动的园艺设备可以避障绕行。
在一种可行方式中,可以采用适当的策略驱动自移动的园艺设备在剩余区域内移动。
策略例如为:
1、随机策略:随机转动角度;或者沿直线行驶,若遇到障碍物,则向远离障碍物方向随机转动一定角度,规避障碍物,并继续沿直线行驶。
2、循边策略:根据识别出的障碍物边沿,沿着边沿行驶。
3、随机策略混合循边策略执行。如根据一定时间比例,混合上述两种策略。
在采集剩余区域内的第二环境图像的过程中若检测到自移动的园艺设备电量不足,自移动的园艺设备将暂停自主移动,并根据初始地图回桩充电。在电量充足后,继续自主探索移动。
在移动过程中,结合用户输入的草地面积以及检测的自移动的园艺设备的第二位姿信息,确定是否停止单区域探索。例如,若确定已经遍历了剩余区域,则可以停止单区域探索。
步骤S308:根据所述第二环境图像、所述第二位姿信息和所述初始地图,确定所述第一区域的地图,所述第一区域包括所述局部区域和所述剩余区域。
在本示例中,确定终止探索后可以根据初始地图自动回桩。上桩后,自移动的园艺设备可以进行充电并通过下述过程获取第一区域的地图。
过程A1:根据所述初始地图、所述第二环境图像和所述第二的位姿信息,确定所述第一区域的原始地图。
一种情况中,若第二位姿信息中包含基于轮速计和IMU确定的位姿,而未包括基于卫星定位获得的卫星定位的位置,则过程A1可以实现为:根据第二环境图像及其对应的第二位姿信息,使用三维重建(SFM)方式建立剩余区域的视觉地图,并将初始地图和剩余区域的视觉地图进行融合,从而获得第一区域的原始视觉地图。此外,通过障碍物识别的神经网络模型对第二环境图像和初始地图对应的环境地图进行障碍物识别,基于识别出的障碍物及其位置,获得第一区域对应的可通行地图。
第一区域的原始地图包括原始视觉地图和可通行地图。原始视觉地图可以在后续自动工作过程中进行定位和导航,由于其包括了初始地图,因此也可以进行自动回桩。可通行地图由于包含了障碍物信息,因此可以进行路径规划和避障。
或者,在另一情况中,若第二位姿信息包括所述自移动的园艺设备的图像采集装置的位姿和所述自移动的园艺设备的卫星定位的位置,则过程A1可以实现为:根据所述自移动的园艺设备的卫星定位的位置,确定所述图像采集装置的位姿在地理坐标系中的映射位姿;根据所述初始地图、所述第二环境图像和所述映射位姿,确定所述第一区域的原始地图。
例如,卫星定位的位置可以基于RTK技术获得。在采集的环境图像中具有对应的卫星定位的位置(例如为经纬度)。通过将经纬度转换至UTM坐标系,得到正交的(例如,以正东正北为坐标轴)GNSS轨迹位置。基于该GNSS轨迹位置和图像采集装置的位姿可以确定GNSS轨迹位置与图像采集装置的位姿的转换关系,进而就可以确定将图像采集装置的位姿转换到UTM坐标系内的映射位姿。这样使得环境图像的位姿信息中携带了经纬度及该经纬度的协方差信息(协方差信息指示经纬度的置信度,若卫星信号强度较好,则协防差信息指示的置信度高,表示该经纬度更加可靠),进而基于该位姿信息对使用SFM方式获得的第一区域的原始地图的可靠性更好。这样提高了原始地图中的原始视觉地图和可通行地图的鲁棒性。
原始地图中包含多个特征点,这些特征点可以是原始地图中的特征点,或者是第二环境图像中的参照对象(如草、凹坑、树木等)的特征点,也可以一部分特征点是初始地图的特征点,另一部分特征点是第二环境地图中至少一个参照对象的特征点。
过程B1:确定所述第一区域的原始地图是否存在未探索部分,若存在,则对所述第一区域进行补充建图,以获得所述第一区域的地图。
由于在探索过程中可能由于障碍物等原因导致第一区域中有未探索部分,因此,在获得第一区域的原始地图后可以确定其是否存在未探索部分,若存在则执行过程B11,反之,若不存在则执行过程B12。
其中,为了能够准确地确定是否存在未探索部分,以此保证可靠性,所述确定所述第一区域的原始地图是否存在未探索部分可以实现为:确定所述第一区域的原始地图中各特征点的分布信息;根据所述分布信息,确定所述第一区域的原始地图是否存在未探索部分。
例如,将原始地图中原始视觉地图进行分块,统计每块中特征点的数量作为分布信息。基于该分布信息可以确定特征点的数量小于设定数量(其可以根据需要确定,如10个、20个等等)的异常分块。若多个异常分块连通,且连通面积大于或等于设定面积(其可以根据需要确定,如大于或等于1个自移动的园艺设备的面积),则将其确定为未探索区域(包含未探索区域的第一区域的原始地图如图3D所示),同时也可以确定出未探索区域的位置。反之,则忽略异常分块。
过程B11:对所述第一区域进行补充建图。
其中,过程B11可以实现为:驱动所述自移动的园艺设备在所述未探索区域内移动,并采集所述未探索区域的第三环境图像和所述自移动的园艺设备的第三位姿信息;使用所述第三环境图像和所述第三位姿信息更新所述第一区域的原始地图,以获得所述第一区域的地图。
基于未探索区域的位置可以驱动自移动的园艺设备移动到未探索区域内,并对其进行自动探索,探索策略可以与前述策略一致,故不再赘述。在未探索区域内移动过程中的示意图如图3E所示,采集未探索区域的第三环境图像,并确定第三环境图像对应的第三位姿信息,该第三位姿信息可以基于已有的原始视觉地图确定,这样使得新采集的环境图像的第三位姿信息的坐标系与原始视觉地图的坐标系一致。完成第三环境图像的采集后自移动的园艺设备可以自动回桩充电,并可以采用SFM方式对原始视觉地图和可通行地图进行更新,从而获得第一区域的地图。
通过这种方式解决了探索策略的随机性以及图像采集装置采集范围的限制导致容易出现未探索区域的问题,保证了地图的可靠性。
在未探索区域包括一个以上时,可以针对每个未探索区域都重复上述过程,直至完成所有未探索区域的补充建图。
过程B12:完成单区域建图。
可选地,为了提升该方法的适应性,对于存在一个以上单区域的工作区域,该方法还包括下述步骤:
步骤S310:确定所述工作区域是否存在已有地图的区域之外的第二区域,若存在第二区域,则建立所述第二区域对应的地图。
第二区域可以是独立于已有地图的区域之外的区域。例如,工作区域包括区域A和区域B,其中,第一区域为区域A,其已经完成建图。则区域B可以作为第二区域。或者,又例如,工作区域包括区域A、区域B和区域C,其中,第一区域为区域A,其已经完成建图,区域B作为第二区域也已经完成建图,则区域C可以作为新的第二区域进行建图。
一种可行的确定第二区域的方式可以为:通过显示装置向用户询问是否存在第二区域,若用户指示存在,则建立第二区域对应的地图。或者,若用户指示不存在,则完成建图。
当然,也可以采用其他可行方式确定是否存在第二区域,对此不作限制。
若存在第二区域,则建立所述第二区域对应的地图可以通过下述过程实现:
过程A2:从所述第二区域中确定目标区域。
若第二区域仅为1个,则直接将其确定为第二区域。或者,若第二区域为一个以上,则可以从中随机确定一个作为目标区域,或者,根据已有的地图选取与自移动的园艺设备所在位置最近的第二区域作为目标区域,或者,也可以由用户指定一个第二区域作为目标区域。
可选地,为了能够方便地引导自移动的园艺设备运动到目标区域,步骤S310可以包括过程B2。
过程B2:确定所述自移动的园艺设备所在区域与所述目标区域之间的通行通道。
对于已经采集到至少部分目标区域的环境图像的情况,若所述自移动的园艺设备所在区域的地图中包含至少部分的所述目标区域,则根据所述自移动的园艺设备所在区域的地图,确定所述通行通道,如图3F所示。例如,第一区域的地图可转化为图像或者二维网格形式,其中划分了草地区域和非草地区域。通过图像形态学方式提取所在位置的草地区域和所有可见草地区域,其中可见但非所在位置的草地区域可以是目标区域的草地。使用图像形态学方式划分出在两块草地之间的隔离区域,再从隔离区域中选择一条通行通道并在地图上标记出来。
选择方法通行通道可以是:穿越隔离区域最短路径;或者,在自移动的园艺设备包括深度传感器可以采集立体信息时,根据隔离区域的地形,计算一条平整通行通道;或者,向用户展示采集的地图和地形,由用户画出通行通道或从推荐通行通道中选择一条。
对于未采集到目标区域的环境图像的情况,可以通过用户指定的方式设定通行通道,用户可通过遥控方式将自移动的园艺设备遥控至需建图的目标区域,自移动的园艺设备将自动识别草地间不可通行区域,并记录通过的路径作为通行通道。
在通过通行通道移动到目标区域内,并可以执行过程C2。当然,在其他实施例中,可以省略过程B2,自移动的园艺设备可以通过其他适应的方式移动到目标区域。
过程C2:采集所述目标区域的第四环境图像,并根据所述第四环境图像确定所述目标区域的地图。
在到达目标区域内之后,自移动的园艺设备可以按照策略在目标区域内探索,且每隔一段时间就采集一张所在位置的第四环境图像,并确定该第四环境图像对应的第四位姿信息。然后,在采集完第四环境图像后,基于第四环境图像和第四位姿信息生成目标区域的地图。该地图包括视觉地图和可通行地图。
基于视觉地图和可通行地图也可以确定是否有未探索区域,若有未探索区域也可以进行重复探索,从而对视觉地图和可通行地图进行更新,直至完成对目标区域的建图。
前述的可通行地图可以在视觉地图获取的图像采集装置的位姿的基础上,结合识别得到的障碍物信息生成。其中,可通行地图中将可通行区域、障碍物、未知区域表示为三种不同的颜色。使用图像形态学的方法提取可通行区域的最大边界作为草地外边界,如果边界上或者边界内存在未知区域,并且未知区域与可通行区域连通,则作为需要继续探索的未知区域。
过程D2:确定是否满足终止条件,若未满足所述终止条件,则返回从所述第二区域中确定目标区域继续执行。
终止条件可以是已建图的区域的面积与用户指定的工作区域的面积的差值小于或等于面积阈值(其可以根据需要确定,例如为0,或者其他大于0的值)。若满足终止条件,则完成建图。若未满足终止条件,则从剩余的第二区域内确定新的目标区域,并对其进行建图,直至满足终止条件,完成建图。
基于该方法,可以免除人工部署埋线,实现自移动的园艺设备的自动建图,其能够自动探索未知区域,并且确定需要进一步探索的区域,在用户确认后自动完成未知区域的探索,提高多块草地建图的效率。
实施例四
参照图4,示出了本申请实施例四的地图处理装置的结构框图。
该装置包括:
第一驱动模块402,用于控制自移动的园艺设备采集局部区域内的第一环境图像和所述自移动的园艺设备的第一位姿信息,所述局部区域与充电桩的位置相接;
第一确定模块404,用于根据所述局部区域的第一环境图像和所述自移动的园艺设备的第一位姿信息,生成初始地图,以使所述自移动的园艺设备能够基于所述初始地图自动回桩;
第二驱动模块406,用于驱动所述自移动的园艺设备采集剩余区域的第二环境图像和所述自移动的园艺设备的第二位姿信息;所述剩余区域至少部分包围所述局部区域;
第二确定模块408,用于根据所述第二环境图像、所述第二位姿信息和所述初始地图,确定所述第一区域的地图,所述第一区域包括所述局部区域和所述剩余区域。
可选地,所述第二确定模块408用于根据所述初始地图、所述第二环境图像和所述第二位姿信息,确定所述第一区域的原始地图;确定所述第一区域的原始地图是否存在未探索部分,若存在,则对所述第一区域进行补充建图,以获得所述第一区域的地图。
可选地,所述原始地图中包含多个特征点,所述特征点包括所述初始地图中的特征点和所述第二环境地图中至少一个参照对象的特征点中至少之一,所述第二确定模块408用于在确定所述第一区域的原始地图是否存在未探索部分时,确定所述第一区域的原始地图中各特征点的分布信息;根据所述分布信息,确定所述第一区域的原始地图是否存在未探索部分。
可选地,所述第二确定模块408用于在对所述第一区域进行补充建图,以获得所述第一区域的地图时,驱动所述自移动的园艺设备在所述未探索区域内移动,并采集所述未探索区域的第三环境图像和所述自移动的园艺设备的第三位姿信息;使用所述第三环境图像和所述第三位姿信息更新所述第一区域的原始地图,以获得所述第一区域的地图。
可选地,所述自移动的园艺设备的位姿信息包括所述自移动的园艺设备的图像采集装置的位姿和所述自移动的园艺设备的卫星定位的位置;第二确定模块408用于在根据所述初始地图、所述第二环境图像和所述第二位姿信息,确定所述第一区域的原始地图时,根据所述自移动的园艺设备的卫星定位的位置,确定所述图像采集装置的位姿在地理坐标系中的映射位姿;根据所述初始地图、所述第二环境图像和所述映射位姿,确定所述第一区域的原始地图。
可选地,所述装置还包括:
第三确定模块410,用于确定所述工作区域是否存在已有地图的区域之外的第二区域,若存在第二区域,则建立所述第二区域对应的地图。
可选地,第三确定模块410用于在所述建立所述第二区域对应的地图时,从所述第二区域中确定目标区域;采集所述目标区域的第四环境图像,并根据所述第四环境图像确定所述目标区域的地图;确定是否满足终止条件,若未满足所述终止条件,则返回从所述第二区域中确定目标区域继续执行。
可选地,第三确定模块410还用于在所述建立所述第二区域对应的地图时,确定所述自移动的园艺设备所在区域与所述目标区域之间的通行通道。
可选地,第三确定模块410用于在确定所述自移动的园艺设备所在区域与所述目标区域之间的通行通道时,若所述自移动的园艺设备所在区域的地图中包含至少部分的所述目标区域,则根据所述自移动的园艺设备所在区域的地图,确定所述通行通道。
该装置能够实现上述方法对应的效果,故不再赘述。
实施例五
本实施例中,提供一种自移动的园艺设备,其包括控制器,所述控制器用于执行上述的方法,并实现相应的效果,对此不再赘述。
实施例六
本实施例中,提供一种自动割草机,其包括控制器,所述控制器用于执行上述的方法,并实现相应的效果,对此不再赘述。
需要说明的是,在本发明的描述中,术语“第一”、“第二”仅用于方便描述不同的部件或名称,而不能理解为指示或暗示顺序关系、相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
需要说明的是,虽然结合附图对本发明的具体实施例进行了详细地描述,但不应理解为对本发明的保护范围的限定。在权利要求书所描述的范围内,本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属于本发明的保护范围。
本发明实施例的示例旨在简明地说明本发明实施例的技术特点,使得本领域技术人员能够直观了解本发明实施例的技术特点,并不作为本发明实施例的不当限定。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种地图处理方法,其特征在于,包括:
控制自移动的园艺设备采集局部区域内的第一环境图像和所述自移动的园艺设备的第一位姿信息,所述局部区域与充电桩的位置相接;
根据所述局部区域的第一环境图像和所述自移动的园艺设备的第一位姿信息,生成初始地图,以使所述自移动的园艺设备能够基于所述初始地图自动回桩;
驱动所述自移动的园艺设备采集剩余区域的第二环境图像和所述自移动的园艺设备的第二位姿信息;所述剩余区域至少部分包围所述局部区域;
根据所述第二环境图像、所述第二位姿信息和所述初始地图,确定所述第一区域的地图,所述第一区域包括所述局部区域和所述剩余区域。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第二环境图像、所述第二位姿信息和所述初始地图,确定所述第一区域的地图,包括:
根据所述初始地图、所述第二环境图像和所述第二位姿信息,确定所述第一区域的原始地图;
确定所述第一区域的原始地图是否存在未探索部分,若存在,则对所述第一区域进行补充建图,以获得所述第一区域的地图。
3.根据权利要求2所述的方法,其特征在于,所述原始地图中包含多个特征点,所述特征点包括所述初始地图中的特征点和所述第二环境地图中至少一个参照对象的特征点中至少之一,所述确定所述第一区域的原始地图是否存在未探索部分,包括:
确定所述第一区域的原始地图中各特征点的分布信息;
根据所述分布信息,确定所述第一区域的原始地图是否存在未探索部分。
4.根据权利要求2所述的方法,其特征在于,所述对所述第一区域进行补充建图,以获得所述第一区域的地图,包括:
驱动所述自移动的园艺设备在所述未探索区域内移动,并采集所述未探索区域的第三环境图像和所述自移动的园艺设备的第三位姿信息;
使用所述第三环境图像和所述第三位姿信息更新所述第一区域的原始地图,以获得所述第一区域的地图。
5.根据权利要求2所述的方法,其特征在于,所述第二位姿信息包括所述自移动的园艺设备的图像采集装置的位姿和所述自移动的园艺设备的卫星定位的位置;
根据所述初始地图、所述第二环境图像和所述第二位姿信息,确定所述第一区域的原始地图,包括:
根据所述自移动的园艺设备的卫星定位的位置,确定所述图像采集装置的位姿在地理坐标系中的映射位姿;
根据所述初始地图、所述第二环境图像和所述映射位姿,确定所述第一区域的原始地图。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述工作区域是否存在已有地图的区域之外的第二区域,若存在第二区域,则建立所述第二区域对应的地图。
7.根据权利要求6所述的方法,其特征在于,所述建立所述第二区域对应的地图,包括:
从所述第二区域中确定目标区域;
采集所述目标区域的第四环境图像,并根据所述第四环境图像确定所述目标区域的地图;
确定是否满足终止条件,若未满足所述终止条件,则返回从所述第二区域中确定目标区域的步骤继续执行。
8.根据权利要求7所述的方法,其特征在于,所述建立所述第二区域对应的地图,还包括:
确定所述自移动的园艺设备所在区域与所述目标区域之间的通行通道。
9.根据权利要求8所述的方法,其特征在于,所述确定所述自移动的园艺设备所在区域与所述目标区域之间的通行通道,包括
若所述自移动的园艺设备所在区域的地图中包含至少部分的所述目标区域,则根据所述自移动的园艺设备所在区域的地图,确定所述通行通道。
10.一种地图处理装置,其特征在于,包括:
第一驱动模块,用于控制自移动的园艺设备采集局部区域内的第一环境图像和所述自移动的园艺设备的第一位姿信息,所述局部区域与充电桩的位置相接;
第一确定模块,用于根据所述局部区域的第一环境图像和所述自移动的园艺设备的第一位姿信息,生成初始地图,以使所述自移动的园艺设备能够基于所述初始地图自动回桩;
第二驱动模块,用于驱动所述自移动的园艺设备采集剩余区域的第二环境图像和所述自移动的园艺设备的第二位姿信息;所述剩余区域至少部分包围所述局部区域;
第二确定模块,用于根据所述第二环境图像、所述第二位姿信息和所述初始地图,确定所述第一区域的地图,所述第一区域包括所述局部区域和所述剩余区域。
11.一种自移动的园艺设备,其特征在于,包括控制器,所述控制器用于执行权利要求1-9中任一项所述的方法。
12.一种自动割草机,其特征在于,包括控制器,所述控制器用于执行权利要求1-9中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210029187.2A CN116466693A (zh) | 2022-01-11 | 2022-01-11 | 地图处理方法、自移动的园艺设备、以及自动割草机 |
PCT/CN2023/071525 WO2023134659A1 (zh) | 2022-01-11 | 2023-01-10 | 地图处理方法、自移动的园艺设备、以及自动割草机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210029187.2A CN116466693A (zh) | 2022-01-11 | 2022-01-11 | 地图处理方法、自移动的园艺设备、以及自动割草机 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116466693A true CN116466693A (zh) | 2023-07-21 |
Family
ID=87177560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210029187.2A Pending CN116466693A (zh) | 2022-01-11 | 2022-01-11 | 地图处理方法、自移动的园艺设备、以及自动割草机 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116466693A (zh) |
WO (1) | WO2023134659A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3413090A4 (en) * | 2016-02-06 | 2019-10-16 | Positec Power Tools (Suzhou) Co., Ltd | AUTOMATIC OPERATING SYSTEM, AUTOMOTIVE DEVICE AND ITS CONTROL METHOD |
CN115202336A (zh) * | 2016-07-19 | 2022-10-18 | 苏州宝时得电动工具有限公司 | 自移动园艺机器人及其系统 |
CN109682368B (zh) * | 2018-11-30 | 2021-07-06 | 上海肇观电子科技有限公司 | 机器人及地图构建方法、定位方法、电子设备、存储介质 |
CN112578779A (zh) * | 2019-09-29 | 2021-03-30 | 苏州宝时得电动工具有限公司 | 地图建立方法、自移动设备、自动工作系统 |
CN113625701A (zh) * | 2020-05-09 | 2021-11-09 | 苏州宝时得电动工具有限公司 | 一种割草机器人路径规划方法及割草机器人 |
-
2022
- 2022-01-11 CN CN202210029187.2A patent/CN116466693A/zh active Pending
-
2023
- 2023-01-10 WO PCT/CN2023/071525 patent/WO2023134659A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023134659A1 (zh) | 2023-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112584697B (zh) | 使用视觉系统的自主机器导航和训练 | |
CN113128747B (zh) | 智能割草系统及其自主建图方法 | |
CN111199677B (zh) | 一种室外区域的工作地图自动建立方法,装置,存储介质及工作设备 | |
CN113115621B (zh) | 智能割草系统及其自主建图方法 | |
EP4159021A1 (en) | Installation method of a mobile device for land maintenance contemplating an association of a piece of information to a stretch of a contour | |
CN112393737A (zh) | 障碍地图的创建方法、系统,机器人及可读存储介质 | |
CN114898205A (zh) | 一种信息确定方法、设备和计算机可读存储介质 | |
CN110727270A (zh) | 自动工作系统及其工作区域控制地图的建立方法 | |
WO2021034257A1 (en) | Improved operation for a robotic work tool | |
CN114937258B (zh) | 割草机器人的控制方法、割草机器人以及计算机存储介质 | |
CN116466693A (zh) | 地图处理方法、自移动的园艺设备、以及自动割草机 | |
CN114995444A (zh) | 建立虚拟工作边界的方法、装置、远程终端及存储介质 | |
US20220137631A1 (en) | Autonomous work machine, control device, autonomous work machine control method, control device operation method, and storage medium | |
CN116430838A (zh) | 自移动设备、及其控制方法 | |
EP3695701B1 (en) | Robotic vehicle for boundaries determination | |
CN113110411A (zh) | 视觉机器人回基站控制方法、装置及割草机器人 | |
CN112204488A (zh) | 自移动设备的工作方法及装置、自移动设备 | |
US20230320263A1 (en) | Method for determining information, remote terminal, and mower | |
US20240049627A1 (en) | Improved operation for a robotic work tool | |
CN116088533B (zh) | 信息确定方法、远程终端、设备、割草机及存储介质 | |
JP7410150B2 (ja) | 自律作業機、自律作業機の制御方法及びプログラム | |
EP4368004A1 (en) | Improved operation and installation for a robotic work tool | |
CN114489083A (zh) | 一种工作区域构建方法及相关装置 | |
CN116736865A (zh) | 信息确定方法、远程终端、设备、割草机及存储介质 | |
CN115933681A (zh) | 基于激光和视觉方案的工作区域圈定方法及室外机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |