CN117519126A - 自移动设备的控制方法 - Google Patents

自移动设备的控制方法 Download PDF

Info

Publication number
CN117519126A
CN117519126A CN202311337873.7A CN202311337873A CN117519126A CN 117519126 A CN117519126 A CN 117519126A CN 202311337873 A CN202311337873 A CN 202311337873A CN 117519126 A CN117519126 A CN 117519126A
Authority
CN
China
Prior art keywords
area
self
moving
boundary
reference point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311337873.7A
Other languages
English (en)
Inventor
史蒂文·马
约翰·霍夫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Positec Power Tools Suzhou Co Ltd
Original Assignee
Positec Power Tools Suzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Positec Power Tools Suzhou Co Ltd filed Critical Positec Power Tools Suzhou Co Ltd
Publication of CN117519126A publication Critical patent/CN117519126A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)

Abstract

本说明书提供了一种自移动设备的控制方法。在一个实施例中,通过先调用预设的识别模型,对从电子地图数据库中获取的包含有目标工作区域的图像数据,以及相关坐标信息的电子地图数据进行识别和划分,识别出多个工作区域并给出这些工作区域边界图形;进而在上述每一个工作区域边界内,标记出相应GPS参考点;基于该参考点和边界图形生成自移动设备规律性移动路径。这些移动路径覆盖所有划分区域。自移动设备根据划分的区域和设定的路径自主的完成走位。

Description

自移动设备的控制方法
本申请是申请人于2020年7月6日申请的发明名称为“自移动设备的路径形成方法、装置和自动工作系统”,申请号为202010642954.8的中国发明专利申请的分案申请。
技术领域
本说明书属于机器人技术领域,尤其涉及自移动设备的活动区域划分和路径形成方法、装置和自动工作系统。
背景技术
随着机器人相关技术的发展,越来越多的自移动工作设备逐渐出现并应用在了人们的日常工作和生活中。
通常自移动工作设备在具体应用之前,往往需要用户先人工地引导自移动工作设备围绕工作区域的边界移动一圈,以便自移动工作设备确定并记录下所负责的工作区域边界,进而自移动工作设备才能针对该工作区域生成相应的移动路径。
目前亟需一种能够简化用户操作,高效、自动地划分自移动设备的活动区域和生成自移动设备的移动路径的方法。
发明内容
本说明书提供了一种自移动设备的活动区域划分和移动路径形成方法、装置和自动工作系统,以简化了用户的操作,改善了用户的使用体验,提高了自移动设备的活动区域划分和移动路径的生成效率,解决了现有方法中存在的活动区域划分和移动路径生成效率低,用户操作繁琐、使用体验差的技术问题。
本说明书提供的一种自移动设备的路径形成方法,包括:
从电子地图数据库获取电子地图数据;其中,所述电子地图数据包括:包含有目标工作区域的图像数据,所述图像数据与坐标信息相关联;
调用预设的识别模型,基于所述电子地图数据,确定出语义地图;所述语义地图包括被识别出的可工作区域和/或可工作区域边界,所述可工作区域和/或可工作区域边界与坐标信息相关联;
在所述语义地图或电子地图数据上标记出至少一个参考点;以所述参考点为起始点,并基于所述语义地图中的可工作区域和/或可工作区域边界,形成移动路径。
在一个实施例中,在所述语义地图或电子地图数据上标记出参考点,包括:根据所述语义地图,自动确定目标工作区域内的点作为所述参考点。
在一个实施例中,所述根据所述语义地图,自动确定目标工作区域内的点作为所述参考点,包括:自动确定可工作区域的角点和/或可工作区域边界的拐点作为所述参考点。
在一个实施例中,在所述语义地图或电子地图数据上标记出参考点,包括:向用户展示所述语义地图或所述电子地图的图像数据;接收用户针对所述语义地图或所述电子地图的图像数据的选择操作;根据所述选择操作,在所述语义地图或电子地图数据上标记出参考点。
在一个实施例中,还包括:生成第一驱动电路指令,所述第一驱动电路指令指示移动至所述参考点或参考点的邻近范围区域;所述自移动设备通过定位,基于参考点的坐标信息,执行所述第一驱动电路指令。
在一个实施例中,所述调用预设的识别模型,基于电子地图数据,确定出语义地图,包括:调用预设的识别模型,基于电子地图数据,生成一个或多个子区域;所述语义地图的可工作区域包括所述子区域;所述在语义地图上标记出参考点,包括:在每个所述子区域标记至少一个参考点。
在一个实施例中,还包括:生成第二驱动电路指令,所述第二驱动电路指令指示基于所述参考点中的一个完成所对应的一个子区域的移动后,移动至另一个子区域所对应的参考点,以开始所述另一个子区域的移动。
在一个实施例中,所述语义地图还包括:被识别出的可通过的非工作区域和/或可通过的非工作区域边界,所述可通过的非工作区域和/或可通过的非工作区域边界与坐标信息相关联;基于所述参考点中的一个完成所对应的一个子区域的移动后,移动至另一个子区域所对应的参考点,包括:基于所述参考点中的一个完成所对应的一个子区域的移动后,通过所述可通过的非工作区域,移动至另一个子区域所对应的参考点。
在一个实施例中,所述方法还包括:通过视觉识别,识别出可工作区域边界;基于识别出的边界,生成第三驱动电路指令,所述第三驱动电路指令指示沿所述可工作区域边界移动,和/或,转向以远离所述可工作区域边界。
在一个实施例中,所述方法还包括:通过视觉识别,识别出可工作区域边界;操作自移动设备沿可工作区域边界移动,并通过定位记录移动过程中的坐标信息;根据所记录的坐标信息,生成所述目标工作区域的工作区域地图。
在一个实施例中,形成移动路径包括形成规律性的移动路径。
在一个实施例中,形成规律性的移动路径包括:生成往返移动路径,其中,所述往返移动路径包括前一路径段和后一路径段,且后一路径段相对前一路径段偏移预设距离。
在一个实施例中,还包括:通过视觉识别,确定位于当前位置前方预设距离的位置处是否存在障碍物;在确定当前位置前方预设距离的位置处存在障碍物的情况下,生成调整路径,所述调整路径用于避开所述障碍物。
在一个实施例中,还包括:基于定位信号的融合,生成移动路径,所述定位信号来自惯性导航、或里程计、或卫星导航。
在一个实施例中,所述电子地图数据库包括在线卫星地图数据库。
在一个实施例中,调用预设的识别模型,基于所述电子地图数据,确定出语义地图,包括:通过训练好的神经网络模型,对所述电子地图数据中的图像数据进行卷积处理,以获得所述语义地图。
在一个实施例中,所述自移动设备包括自移动草坪处理设备,所述目标工作区域包括目标草坪。
本说明书还提供了一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述指令被执行时实现从电子地图数据库获取电子地图数据;其中,所述电子地图数据包括:包含有目标工作区域的图像数据,所述图像数据与坐标信息相关联;调用预设的识别模型,基于所述电子地图数据,确定出语义地图;所述语义地图包括被识别出的可工作区域和/或可工作区域边界,所述可工作区域和/或可工作区域边界与坐标信息相关联;在所述语义地图或电子地图数据上标记出至少一个参考点;以所述参考点为起始点,并基于所述语义地图中的可工作区域和/或可工作区域边界,形成移动路径。
本说明书还提供了一种自移动设备的路径形成装置,包括:获取模块,用于从电子地图数据库获取电子地图数据;其中,所述电子地图数据包括:包含有目标工作区域的图像数据,所述图像数据与坐标信息相关联;识别模块,用于调用预设的识别模型,基于所述电子地图数据,确定出语义地图;所述语义地图包括被识别出的可工作区域和/或可工作区域边界,所述可工作区域和/或可工作区域边界与坐标信息相关联;标记模块,用于在所述语义地图或电子地图数据上标记出至少一个参考点;移动路径形成模块,用于以所述参考点为起始点,并基于所述语义地图中的可工作区域和/或可工作区域边界,形成移动路径。
本说明书还提供了一种自移动设备的路径形成装置,包括:存储器,存储有计算机可读指令;处理器,在处理所述计算机可读指令时,从电子地图数据库获取电子地图数据;其中,所述电子地图数据包括:包含有目标工作区域的图像数据,所述图像数据与坐标信息相关联;调用预设的识别模型,基于所述电子地图数据,确定出语义地图;所述语义地图包括被识别出的可工作区域和/或可工作区域边界,所述可工作区域和/或可工作区域边界与坐标信息相关联;在所述语义地图或电子地图数据上标记出至少一个参考点;以所述参考点为起始点,并基于所述语义地图中的可工作区域和/或可工作区域边界,形成移动路径。
本说明书还提供了一种自动工作系统,包括:自移动设备,以及安装于用户端侧的应用程序;所述应用程序包括:获取程序:从电子地图数据库获取电子地图数据;其中,所述电子地图数据包括:包含有目标工作区域的图像数据,所述图像数据与坐标信息相关联;识别程序:调用预设的识别模型,基于所述电子地图数据,确定出语义地图;所述语义地图包括被识别出的可工作区域和/或可工作区域边界,所述可工作区域和/或可工作区域边界与坐标信息相关联;标记程序:在所述语义地图或电子地图数据上标记出至少一个参考点;所述自移动设备包括通信模块,与客户端通信,在所述应用程序被执行后从客户端获取所述参考点的坐标信息;所述自移动设备还包括定位模块,通过监测定位模块的输出,基于所述参考点的坐标信息,形成移动路径。
本说明书还提供了一种自动工作系统,包括:自移动设备;所述自移动设备包括壳体;移动模块,安装于壳体;控制模块,控制所述移动模块带动所述自移动设备移动;所述自移动设备还包括定位模块,用于输出自移动设备的坐标信息;所述自动工作系统还包括存储单元,存储:语义地图生成程序,包括:从电子地图数据库获取电子地图数据;其中,所述电子地图数据包括:包含有目标工作区域的图像数据,所述图像数据与坐标信息相关联;调用预设的识别模型,基于所述电子地图数据,确定出语义地图;所述语义地图包括被识别出的可工作区域和/或可工作区域边界,所述可工作区域和/或可工作区域边界与坐标信息相关联;标记程序,包括:在所述语义地图或电子地图数据上标记出至少一个参考点;所述自动工作系统执行所述语义地图生成程序以及标记程序,从而确定出所述参考点的坐标信息;所述控制模块通过监测所述定位模块的输出,基于所述参考点的坐标信息,控制所述移动模块带动所述自移动设备移动以形成移动路径。
本说明书提供的一种智能性自移动设备的活动区域划分和移动路径形成方法、装置和自动工作系统,通过调用预设的识别模型,对从电子地图数据库中获取的包含有与坐标信息关联的目标工作区域的图像数据的电子地图数据进行识别和划分,识别出多个工作区域并给出这些工作区域边界图形;进而在上述每一个工作区域边界内,标记出相应GPS参考点;基于该参考点和边界图形生成自移动设备规律性移动路径。这些移动路径覆盖所有划分区域。自移动设备根据划分的区域和设定的路径自主的完成走位。从而不需要用户预先引导自移动设备沿目标工作区域绕行,就能自动地根据具体的业务任务划分活动区域和生成对应的移动路径,简化了用户的操作,改善了用户的使用体验,提高了自移动设备的活动区域划分和移动路径的生成效率,解决了现有方法中存在的活动区域划分和移动路径生成效率低,用户操作繁琐、使用体验差的技术问题。
附图说明
为了更清楚地说明本说明书实施例,下面将对实施例中所需要使用的附图作简单地介绍,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是一种基于现有方法应用自移动草坪处理设备的场景示意图;
图2是本说明书的一个实施例提供的自移动设备的路径形成方法的流程示意图;
图3是一个实施例提供自移动草坪处理设备的结构组成示意图;
图4是在一个场景示例中,应用本说明书实施例提供的自移动设备的路径形成方法的一种实施例的示意图;
图5是在一个场景示例中,应用本说明书实施例提供的自移动设备的路径形成方法的一种实施例的示意图;
图6是在一个场景示例中,应用本说明书实施例提供的自移动设备的路径形成方法的一种实施例的示意图;
图7是在一个场景示例中,应用本说明书实施例提供的自移动设备的路径形成方法的一种实施例的示意图;
图8是在一个场景示例中,应用本说明书实施例提供的自移动设备的路径形成方法的一种实施例的示意图;
图9是在一个场景示例中,应用本说明书实施例提供的自移动设备的路径形成方法的一种实施例的示意图;
图10是在一个场景示例中,应用本说明书实施例提供的自移动设备的路径形成方法的一种实施例的示意图;
图11是在一个场景示例中,应用本说明书实施例提供的自移动设备的路径形成方法的一种实施例的示意图;
图12是在一个场景示例中,应用本说明书实施例提供的自移动设备的路径形成方法的一种实施例的示意图;
图13是在一个场景示例中,应用本说明书实施例提供的自移动设备的路径形成方法的一种实施例的示意图;
图14是本说明书的一个实施例提供的自移动设备的路径形成装置的结构组成示意图;
图15是本说明书的一个实施例提供的自移动设备的路径形成装置的结构组成示意图;
图16(a)是本说明书的一个实施例提供的自移动设备的路径示意图;
图16(b)是本说明书的一个实施例提供的自移动设备的路径示意图;
图17是本说明书的一个实施例提供的自移动设备的运动控制流程图。
图18(a)-(e)是本说明书的一个实施例的活动区域划分示意图。
图19是本说明书的一个实施例的边界修正过程示意图。
图20是本说明书的一个实施例中充电站的示意图。
图21是图20所示充电站的另一角度示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
考虑到基于现有的自移动设备的路径形成方法在生成具体的移动路径,具体运行前,通常会需要先依赖用户人工引导自移动设备绕着该自移动设备所负责的目标工作区域的边界走一圈,以便自移动设备采集到并记录下目标工作区域的边界上各个点的坐标信息,确定出该目标工作区域边界后,自移动设备才能基于所确定出的目标工作区域边界自动生成相应的移动路径,以进行具体移动和工作。
例如,可以参阅图1所示,用户所使用的自移动设备为一种自移动草坪处理设备。基于现有方法,用户需要先拿着自移动草坪处理设备上设置的可拆卸的定位设备,绕着待割草的草坪,沿实际的草坪边界走一圈,以便定位设备可以在用户行走过程中通过卫星定位获取所经过的草坪边界上点的坐标信息,以确定需要进行割草作业的草坪,以及该草坪的边界。在完成上述处理之后,自移动草坪处理设备才能自动生成覆盖该草坪的移动路径,在该草坪中移动进行割草。但是,基于上述方法需要依赖用户人工地带着自移动草坪处理设备的定位设备绕着该草坪边界走一圈,对用户而言较为繁琐,增加了用户的工作负担。尤其当需要割草的草坪范围较大的时候,如图1所示,用户势必要耗费大量的时间和体力,才能带着自移动草坪处理设备的定位设备沿着草坪边界走完完整的一圈,用户的使用体验相对较差。
可见,现有方法由于需要依赖用户预先引导自移动设备沿目标工作区域绕行,才能针对目标工作区域生成对应的移动路径,导致具体实施时存在移动路径生成效率低,用户操作繁琐、使用体验差的技术问题。
针对上述情况,本申请考虑可以通过一种更加简便、智能地方法来为自移动设备生成对应的移动路径。具体的,考虑可以利用预先基于卷积神经网络训练好的预设的识别模型,对从电子地图数据库中获取的包含有目标工作区域的图像数据,以及相关坐标信息的电子地图数据进行识别处理,得到包括被识别出的可工作区域和/或可工作区域边界的语义地图。进而可以在该语义地图中,标记出相应参考点,再基于该参考点,生成自移动设备的移动路径。这样用户只需要进行简单的电子地图数据的选择和指示获取的操作,而不需要再亲自引导自移动设备沿目标工作区域绕行,就能自动地根据具体的业务任务生成针对目标工作区域的移动路径,从而简化了用户的操作,改善了用户的使用体验,提高了自移动设备的移动路径的生成效率,也有效地解决了现有方法中存在的移动路径生成效率低,用户操作繁琐、使用体验差的技术问题。
基于上述考虑,本申请提供了一种自移动设备的路径形成方法。可以参阅图2所示。该方法具体可以应用于自移动设备中,也可以应用于用户所使用的与自移动设备关联的客户端设备中,还可以应用于与自移动设备通信的网站平台的云端服务器中。具体的,该方法可以包括以下内容。
S201:从电子地图数据库获取电子地图数据;其中,所述电子地图数据包括:包含有目标工作区域的图像数据,所述图像数据与坐标信息相关联。
一实施例中,所述图像数据与GPS坐标信息相关联。
在一个实施例中,上述自移动设备具体可以称为移动工作设备。具体的,上述自移动工作设备可以包括自移动草坪处理设备(例如自动割草机等),也可以包括自移动清扫设备(例如自动扫地机、自动扫雪机等),还可以包括自移动监控机器人等等。当然,上述所列举的自移动设备只是一种示意性说明。具体实施时,根据具体的应用场景,上述自移动设备还可以包括除上述所列举的设备以外其他类型的自移动设备。对此,本说明书不作限定。
在一个实施例中,具体运行时,可以先由用户为自移动设备设置该设备所负责的工作区域,也可以由自移动设备自行识别并确定所负责的工作区域。进而自移动设备可以针对该工作区域生成对应的移动路径,再通过定位导航,根据移动路径移动,并完成相应的业务工作。
在一个实施例中,以自移动草坪处理设备为例,可以参阅图3所示。上述自移动草坪处理设备具体可以包括:信号收发器、处理器、导航器,以及切割组件和移动组件等组成结构。其中,上述信号收发器可以用于与用户使用的客户端设备进行交互。进一步,上述信号收发器还可以与云端服务器进行交互。上述导航器,例如GPS模块等,可以用于与卫星导航系统进行交互。上述处理器可以用于通过执行具体的数据处理。上述移动组件可以用于执行指令移动自移动草坪处理设备。上述切割组件可以用于执行指令执行例如割草等工作。
当然,上述所列举的组成结构只是一种示意性说明。具体实施时,根据具体的应用场景和工作要求,还可以引入除上述所列举的组成结构外其他的组成结构来构成上述自移动草坪处理设备。例如,有的自移动草坪处理设备进一步还可以设置有:姿态检测器、激光测距仪、方向传感器、摄像头等等。
在一个实施例中,上述自移动草坪处理设备上具体还可以设置有操作控制面板,例如,触控显示屏或者布设有功能按键的操作板等。这样用户可以通过在上述操作控制面板上进行相关操作,发起相应指令来控制该自移动草坪处理设备执行具体的工作任务。
在一个实施例中,用户也可以通过使用与上述自移动草坪处理设备分离的客户端设备,来控制自移动草坪处理设备执行具体的工作任务。可以参阅图4所示。客户端设备与自移动草坪处理设备的信号收发器可以通过有线或无线的方式进行耦合,以便客户端设备与自移动草坪处理设备可以通过有线或无线的方式进行信息、指令的交互。
其中,上述客户端设备具体可以包括一种应用于用户一侧,能够实现数据输入、数据传输等功能的前端设备。具体的,所述客户端设备例如可以为台式电脑、平板电脑、笔记本电脑、智能手机、遥控器等。或者,所述客户端设备也可以为能够运行于上述电子设备中的软件应用。例如,可以是在手机上运行的某APP等。
在一个实施例中,用户可以使用事先安装了与自移动草坪处理设备关联的APP应用的手机作为客户端设备,进而可以通过该手机来方便地控制自移动草坪处理设备来执行例如,确定待割草的草坪的边界、自动生成待割草的草坪的地图,或者在待割草的草坪割草等多种具体的工作任务。
在一个实施例中,上述电子地图数据库具体可以包括在线卫星地图数据库。例如,具体的可以是Google的在线卫星地图数据库,也可以是百度的在线卫星地图数据库,还可以是高德的在线卫星地图数据库等等。上述电子地图数据库中存储有不同位置区域的地图数据,其中,上述位置区域的地图数据包含有所对应的位置区域的图像(例如航拍照片等),同时也包含有所对应的位置区域的坐标信息。其中,上述坐标信息具体可以包括经纬度坐标等。
在一个实施例中,上述电子地图数据具体可以包括一种包含有目标工作区域的图像数据,且上述图像数据与坐标信息关联。
其中,上述目标工作区域具体可以理解为用户要求自移动设备负责工作的范围区域。具体的,例如,上述目标工作区域可以是用户的门前需要自移动草坪处理设备负责割草的草坪。也可以是用户需要自移动扫雪机负责扫雪的道路等等。当然,上述所列举的目标工作区域只是一种示意性说明。具体实施时,根据具体的应用场景,上述目标工作区域还可以是其他类型的范围区域。对此,本说明书不作限定。
上述电子地图数据具体可以包含有目标工作区域的图像数据。其中,该图像数据具体可以是针对目标工作区域的航拍照片,也可以是针对目标工作区域的扫描成像数据等。上述图像数据中除了包含有目标工作区域外,也可以同时包含有目标工作区域的邻近范围区域。具体的,上述电子地图数据中还可以携带有目标工作区域的坐标信息。其中,一个坐标信息可以与图像数据中的一个位置点对应关联。当然,考虑到电子地图数据本身存在一定的精度误差。因此,在本实施例中容许上述坐标信息和图像数据的位置点之间的对应关系存在一定范围的可容忍的偏移误差。
在一个实施例中,用户可以通过在客户端设备上进行相应操作,设置针对目标工作区域的标识信息,例如,目标工作区域的地址或GPS坐标等;进而客户端设备可以根据该标识信息,访问电子地图数据库,获取对应的电子地图数据,并将该电子地图数据发送至自移动设备。这样自移动设备可以获取上述电子地图数据,进而可以通过自移动设备的处理器对上述电子地图数据进行后续处理。当然,具体实施时,也可以是先通过客户端设备按照上述方式获取电子地图数据后,由客户端设备直接对该电子地图数据进行后续处理,而不需要将上述电子地图数据发送至自移动设备。此外,还可以是用户通过在自移动设备的操作控制面板上进行相应操作,控制自移动设备主动地获取上述电子地图数据。
在一个实施例中,考虑到基于上述方式在根据用户设置的目标工作区域的标识信息,例如,目标工作区域的地址,来获取得到的电子地图数据中可能还会包含有目标工作区域以外的周边区域的电子地图数据。例如,按照上述方式根据用户设置的住宅地址所获取得到的电子地图数据中除了包含有用户自己住宅的草坪的电子地图数据外,可能还会同时包含有邻居家的部分草坪的电子地图数据。显然,电子地图数据中所包含的上述邻居家的部分草坪并不是用户真正想要设置的目标工作区域。
为了避免出现上述情况,使获得的电子地图数据相对更为精准,尽量只包含有目标工作区域的电子地图数据,减少其他周边区域的电子地图数据对后续处理的干扰。在具体获取电子地图数据的过程中,可以在根据目标工作区域的标识信息,访问电子地图数据库,获取对应的电子地图数据的同时;查询关联数据库(例如,用户所在小区的住宅信息数据库等),以便获取得到例如,用户的住宅面积信息、用户的住宅庭院范围信息等与标识信息关联的参考数据;进而可以根据上述参考数据,过滤掉电子地图数据中除目标工作区域以外的周边区域的电子地图数据,只保留目标工作区域的电子地图数据,作为最终所获取得到的较为精准的电子地图数据。
当然,在具体获取地图数据时,还可以同时获取用户针对目标工作区域的范围的指定操作数据,进而可以结合用户的指定操作数据,和用户设置的目标工作区域的标识信息,访问电子地图数据库,获取得到与标识信息对应的,且只包含有用户指定的目标工作区域的范围的匹配的电子地图数据等。其中,用户的指定操作数据具体可以是用户在所展示的与用户设置的目标工作区域的标识信息所对应的电子地图数据中,通过手势操作进一步画出具体的目标工作区域的范围的操作数据等。
在一个实施例中,用户也可以直接在自移动设备的操作控制面板上进行相应操作,设置针对目标工作区域的标识信息,进而自移动设备可以接收并根据用户设置的针对目标工作区域的标识信息,直接从电子地图数据库中检索并下载对应的电子地图数据等。
当然,上述所列举的获取电子地图数据的方式只是一种示意性说明。具体实施时,根据具体的应用场景和处理要求,还可以采用其他合适的方式来从电子地图数据库中获取对应的电子地图数据。对此,本说明书不作限定。
在一个实施例中,具体的,还例如,用户想要利用自移动草坪处理设备对自己住宅院子的草坪进行割草作业,可以参阅图5所示。用户可以在所使用的客户端手机上与自移动草坪处理设备关联的APP应用的地址输入界面中输入自己住宅的地址。例如,“A市XXX路YYY号”,并将该地址发送给自移动草坪处理设备。自移动草坪处理设备在接收该地址后,可以通过所连接网络(例如,wifi网等)访问相应的电子地图数据库,并从该电子地图数据库中搜索并下载与该地址对应的电子地图数据。具体的,该电子地图数据可以是包含有以该地址作为中心点,预设的范围区域(例如以该地址为中心的400平米的正方形范围区域)电子地图数据。可以参阅图6所示。在其他实施例中,用户也可以在APP中输入目标草坪的GPS坐标来获得相应的电子地图数据。当用户位于自己住宅庭院的草坪上时,可以通过APP直接获得当前位置的GPS坐标。也可以将自移动草坪处理设备放置在目标草坪上,获取自移动草坪处理设备的GPS坐标。基于上述获取得到的电子地图数据实际上还可能包含有例如该用户邻居家的草坪等,用户所设置的目标工作区域(即用户自己住宅庭院的草坪)范围之外的周边区域的电子地图数据。这时,可以通过查询该用户所在小区的住宅信息数据库,获取属于该用户的住宅庭院的范围信息,进一步可以结合上述住宅庭院的范围信息,将图6中上方属于邻居家的部分草坪的电子地图数据进行过滤裁剪,这样可以最终得到只保留图6下方属于该用户自己住宅庭院草坪的电子地图数据。
当然,也可以先向用户展示出所获取得到的同时包含有用户的住宅庭院的草坪,又包含有用户的住宅庭院草坪周边区域(例如,邻居家的部分草坪)的电子地图数据,并提示用户在所展示的电子地图数据中,通过手势等操作指定出目标工作区域。这时用户可以根据上述提示信息,在所展示的图6中的电子地图数据中,通过手势操作圈出图6下方的属于该用户住宅草坪所在范围区域,从而更加精细地基于电子地图数据中指定出目标工作区域的范围。进一步,可以采集并根据用户的上述指定操作,从图6中确定出只包含有目标工作区域的电子地图数据,后续可以只对该部分电子地图数据进行相应处理。
S203:调用预设的识别模型,基于所述电子地图数据,确定出语义地图;所述语义地图包括被识别出的可工作区域和/或可工作区域边界,所述可工作区域和/或可工作区域边界与坐标信息相关联。
在一个实施例中,上述预设的识别模型具体可以包括一种预先基于卷积神经网络模型训练得到的能够从图像数据中识别出可工作区域,和/或,可工作区域边界的模型。
其中,上述可工作区域具体可以理解为目标工作区域中自移动设备可以正常移动进入并进行相应工作作业的区域。例如,通过预设的识别模型从图像数据识别出的自移动草坪处理设备能够移动进入进行割草工作的待割草草坪。可以参阅图7所示。
上述可工作区域边界具体可以理解为可工作区域和非工作区域的之间交界位置处的范围区域。
在本实施例中,通过上述预设的识别模型除了可以识别出可工作区域,和/或,可工作区域的边界外,还可以进一步识别出图像数据中的非工作区域。其中,上述非工作区域具体可以包括图像数据中除目标工作区域以外的区域。例如,通过预设的识别模型从图像数据中识别出的待割草的草坪之外的街道、房子等所在区域,或者邻居家的草坪所在区域等。上述非工作区域具体可以包括自移动设备不可以正常移动进入的不可通过的非工作区域。例如,通过预设的识别模型从图像数据中识别出的假山、水池等障碍物所在的区域。还可以包括自移动设备可以正常移动进入但不能执行具体业务工作的可通过的非工作区域。例如,通过预设的识别模型从图像数据中识别出过道、桥梁等所在区域等。
本实施例中,对通过预设的识别模型从图像数据中识别出的对象进行分类并赋予标签,从而实现区域划分,示例如下:
在一个实施例中,上述语义地图具体可以理解为从电子地图数据中识别提取出的包含有被预设的识别模型识别出的可工作区域和/或可工作区域边界的,携带有与可工作区域和/或可工作区域边界关联的坐标信息的地图数据。具体的,自移动设备的处理器或者用户使用的客户端设备可以读取并根据上述语义地图确定出电子地图数据所对应的范围区域中哪些范围区域是可工作区域,哪些范围区域是非工作区域,哪些范围区域是可工作区域边界等。
本实施例中,通过调用预设的识别模型可划分出多个子区域,子区域例如为被人行道分隔的两块草坪。通过调用预设的识别模型能够识别出整个庭院(和/或其边界),也可以识别出每个子区域(和/或其边界)。
在一个实施例中,具体实施时,可以通过客户端设备,或者自移动设备上的处理器,或者云端服务器,按照上述方式,调用上述预设的识别模型对电子地图数据进行处理,得到上述语义地图。
具体的,可以将电子地图数据作为一种模型输入,输入至预设的识别模型中,并运行该预设的识别模型。预设的识别模型具体运行时,可以通过模型中训练好的卷积神经网络对电子地图的图像数据进行卷积处理,以获得对应的语义地图,作为模型输出。从而可以基于所述电子地图数据,确定出对应的语义地图。
在一个实施例中,调用上述预设的识别模型对电子地图数据进行处理后,未得到清晰的边界时(例如与邻居家相邻草坪的边界不清晰),用户也可以手动选择边界,例如在APP上划定,在无清晰边界的区域选择一定的补偿偏移量,等等。
S205:在所述语义地图或电子地图数据上标记出至少一个参考点。
在一个实施例中,上述参考点可以理解为一种与目标工作区域相关的位置点。具体的,上述参考点可以是可工作区域内的位置点,也可以是可工作区域边界位置处的位置点,还可以是可工作区域以外的可通过的非工作区域中的位置点。其中,上述可通过的非工作区域具体可以理解为一种自移动设备可以移动经过,但不允许进行工作作业的范围区域。
具体的,例如,可以参阅图8所示。上述参考点可以包括待割草的草坪中的中心位置处的位置点A。也可以包括草坪中的两相邻的边界线之间的交点(或者是草坪中角落位置处的点),即可工作区域的角点和/或可工作区域边界的拐点,例如,图8中的点B等。还可以是允许自移动草坪处理设备移动通过,但不允许进行割草作业的过道上的点C等等。
在一个实施例中,具体实施时,可以在上述语义地图中确定并标记出一个或多个参考点。具体的,例如,当目标工作区域包括两个被分隔开的子区域时,可以在语义地图中分别在每一个子区域中确定并标记出一个参考点。又例如,对于一个目标工作区域,由于工作作业要求,需要同时对该目标工作区域的中心位置点、左上角位置点和右下角位置点3不同的位置点进行实地检测,则可以在上述语义地图中的一个目标工作区域中确定并标记出3个参考点等。
在一个实施例中,具体实施时,工作区域的划分是根据图像识别过程中草地和草地周围的环境的识别并加入人工智能自动生成的。根据区块的情况,可自动生成一个或多个工作区域(草地),并在每个子区域获得至少一个GPS参考点。
在一个实施例中,具体实施时,可以通过客户端设备或者自移动设备的处理器根据所述语义地图,结合具体的工作作业要求,自动确定出目标范围区域内的点作为所述参考点。同时,还可以根据语义地图的坐标信息,确定并记录下该参考点的坐标信息。
在一个实施例中,上述目标范围区域具体可以是可工作区域的相邻的两条工作区域边界线之间的交点,即可工作区域的角点和/或可工作区域边界的拐点位置处所在的预设范围区域。上述目标范围区域具体还可以是可工作区域的中心点位置所在的预设范围区域等。其中,上述预设的范围区域的区域范围大小可以根据具体情况,灵活设定。
具体的,例如,可以参阅图9所示,可以将以待割草的草坪右上角两条边界线之间的交点D为中心,1米为半径的圆形范围区域作为目标范围区域。
当然,需要说明的是上述所列举的目标范围区域只是一种示意性说明。具体实施时,根据具体的应用场景,上述目标范围区域还可以是其他类型的范围区域。
在一个实施例中,具体实施时,可以先根据语义地图,自动确定出目标范围区域,再从上述目标范围区域中进一步确定出符合预设要求的点作为上述参考点。当然,也可以直接确定符合预设要求的点作为上述参考点,例如确定可工作区域的角点和/或可工作区域边界的拐点作为参考点。
其中,上述符合预设要求的点具体可以是自移动设备可以移动达到的位置点,也可以是目标范围区域中位于可工作区域内的点。
具体的,例如,可以参阅图9所示,从目标范围区域中确定出位于可工作区域内的点E点作为参考点。
在一个实施例中,具体实施时,为了提高用户的使用体验,方便用户灵活地选择满足自己要求的点作为参考点,具体实施时,也可以先向用户展示语义地图或电子地图的图像数据,并接收用户针对语义地图或电子地图的图像数据的选择操作。再根据上述操作,将用户选中的位置点确定为参考点,并在语义地图或电子地图数据中标记出该参考点。进而,还可以根据地图的坐标信息,确定并记录下该参考点的坐标信息。
在一个实施例中,具体实施时,还可以先由自移动设备的处理器或者客户端设备先自动确定出一个或多个参考点,作为推荐点。在向用户展示的语义地图中,会同时显示出上述推荐点。用户可以在所展示的地图中点击推荐点,进行操作,这时可以将用户所选中的推荐点确定为最终的参考点。当然,用户也可以不点击任何一个推荐点,而另外点击地图中的其他的点,进行操作,这时可以将用户另外点击的点确定为最终的参考点。
具体的,例如,可以参阅图10所示,自移动草坪处理设备的处理器在自动从草坪中找到多个符合要求的点(例如草坪中的多个相邻边界线之间的交点),可以先将上述多个点确定为推荐点,再将上述多个推荐点发送至客户端设备。进而,客户端设备可以通过屏幕向用户展示出显示有多个推荐点的地图。这时,用户可以根据自己的规划或喜好,在客户端设备所展示的地图中进行相应操作来选中自己希望作为参考点的推荐点。例如,用户可以在手机显示屏上点击所展示的多个推荐点中的点E。进而手机可以接收并响应用户的上述选择操作,将用户选中的推荐点点E最终确定为参考点。
在本实施例中,上述自移动草坪处理设备,还可以设置有诸如显示屏等显示设备。具体实施时,自移动草坪处理设备还可以通过上述显示设备直接向用户展示出显示有多个推荐点的地图。用户可以在自移动草坪处理设备所展示的多个推荐点中进行选择操作,以选中某一个推荐点。自移动草坪处理设备可以接收并根据用户的选择操作,从多个推荐点中确定出用户选中的推荐点作为参考点。
在一个实施例中,在具体标记参考点时,可以在语义地图上标记出参考点,也可以在电子地图数据上标记出参考点。具体可以根据用户的喜好,为用户提供两种用于标记参考点的数据选择;接收并响应用户的选择操作,在用户所选中的语义地图,或者用户所选中的电子地图数据上标记出上述参考点。这样可以满足不同用户的多样化的标记要求,进一步提高用户的使用的体验。
S207:以所述参考点为起始点,并基于所述语义地图中的可工作区域和/或可工作区域边界,形成移动路径。
在一个实施例中,上述移动路径具体可以理解为自移动设备在可工作区域内,或者可通过的非工作区域内进行相应移动的线路。
在一个实施例中,具体实施时,可以根据具体的应用场景、自移动设备当前所要执行的具体工作任务,灵活地根据上述参考点形成对应的移动路径。
在一个实施例中,具体的,上述移动路径可以是指示移动至参考点或者参考点的邻近范围区域的移动路径。基于该移动路径自移动设备可以自动地移动至上述参考点或者参考点的邻近范围区域内。上述移动路径还可以是以参考点作为路径的起始点,所形成的移动路径。例如,可以是以参考点为起始点,覆盖可工作区域的往返移动路径。上述移动路径还可以是用于指示从一个子区域移动至分隔开的另一个子区域的移动路径。上述移动路径还可以是沿可工作区域边界移动的移动路径。上述移动路径还可以是指示转向以远离可工作区域边界移动的移动路径等等。
当然,上述所列举的移动路径只是一种示意性说明。具体实施时,根据具体的应用场景,和工作任务,上述移动路径具体还可以包括除上述所列举的移动路径之外其他类型的移动路径。对此,本说明书不作限定。
在一个实施例中,具体实施时,可以根据具体的应用场景和工作任务,生成与移动路径相关的驱动电路指令。自移动设备可以获取该驱动电路指令,并通过定位,基于参考点的坐标信息,执行驱动电路指令,以控制自移动设备根据移动路径移动。
在一个实施例中,具体实施时,参阅图11所示,可以生成由客户端设备或者自移动设备的处理生成指示由当前位置移动至参考点或参考点的邻近范围区域的第一移动路径。对应的,生成第一驱动电路指令。自移动设备在接收到该第一驱动电路指令后,可以通过导航定位,基于参考点的坐标信息,执行第一驱动电路指令,控制自移动设备沿第一移动路径移动至参考点或参考点的临近范围区域内。
在一个实施例中,在自移动设备通过执行第一驱动电路指令,控制自移动设备移动至参考点或参考点的邻近范围区域后,进一步可以根据具体的工作任务,以参考点作为起始点,形成新的移动路径。
在一个实施例中,形成移动路径包括形成规律性的移动路径。
在一个实施例中,如果自移动设备所要执行的工作任务需要覆盖整个可工作区域,例如,自移动草坪处理设备,需要对待割草的草坪所在区域进行割草处理。在自移动设备移动至参考点或参考点的邻近范围区域后,可以进一步基于参考点,生成能够覆盖整个可工作区域的往返移动路径作为新的移动路径。具体可以参阅图12所示。其中,移动路径可以是平行直线路径。具体的,可以是水平(或竖直)的平行直线路径,如图12中右侧区域所示;也可以是沿边界的斜线路径,如图12中左侧区域所示。其中,上述往返移动路径的起始点可以是为参考点,往返移动路径具体可以包括一组或多组往返路径对。其中,各组往返路径对中又具体包括前一路径和后一路径。同一往返路径对中的前一路径和后一路径之间可以偏移预设距离,相邻的两个往返路径对中的相邻的两个路径,例如,相邻的两个往返路径对中在前的往返路径对的后一路径,与在后的往返路径对中的前一路径之间也可以偏移预设距离。可以参阅图12所示。这样得到的往返移动路径能够较准确地覆盖整个可工作区域。
进一步,可以基于上述往返移动路径,生成对应的驱动电路指令。通过执行该驱动电路指令,可以精准地控制自移动设备从参考点出发,沿往返移动路径移动,从而完成能够覆盖整个可工作区域的移动。
在一个实施例中,在执行驱动电路指令,控制自移动设备沿往返移动路径移动的过程中,还可以根据具体的工作任务进行具体的工作作业。例如,对于自移动草坪处理设备,可以在沿往返移动路径移动的过程中,进行割草处理。这样在完成了覆盖草坪的往返移动后,也同时完成了对该草坪的割草作业。
在一个实施例中,移动路径还可以是由边界逐渐向区域中心收缩的环形路径,或由区域中心向边界逐渐扩大的环形路径,例如从房屋周围向草坪边界逐渐扩大的环形路径(图未示)。在一个实施例中,移动路径还可以是随机路径。
具体实施时,用户可以选择上述移动路径中的一种或多种作为切割模式,也可以由系统根据区域的形状等特征自动生成切割模式。
一实施例中,还可以通过路径在草坪上切割出图案。
在一个实施例中,如果自移动设备所要负责进行工作作业的可工作区域包括多个子区域。例如,包括两个子区域。相应的,所确定的参考点包括多个参考点,其中,每一个子区域中至少有一个参考点。对于上述场景,当自移动设备完成了一个子区域的工作作业后,需要从当前子区域移动至下一个子区域,以进行针对下一个子区域的工作作业。
在这种情况下,可以生成第二移动路径,其中,第二移动路径可以指示从当前所在的子区域移动至下一个子区域中的参考点的移动路径。具体的,该第二移动路径可以经过语义地图中的可通过的非工作区域,和/或,可工作区域。
对应的,生成第二驱动电路指令。自移动设备在接收到上述第二驱动电路指令后,可以基于当前位置的坐标信息(可以通过自移动设备的导航器确定),执行第二驱动电路指令,从而能准确地控制自移动设备沿着第二移动路径由当前子区域,通过可工作区域,和/或,可通过的非工作区域移动至下一个子区域,进行针对下一个子区域的工作作业。
在一个实施例中,自移动设备移动至参考点,通过视觉沿边界走一圈,过程中或完成沿边后更新边界坐标,使之更加精确,然后再开始后续工作。
在一个实施例中,自移动设备移动至参考点,首先,通过视觉沿边界行走并切割,通过机器人操作系统(ROS)PID控制来实现沿边界行走。其次,识别割痕,将割痕转换为线条,沿该线条移动并切割,且偏移约一个机身的宽度。重复上述过程直至该区域完成切割,再进入下一个区域。
上述移动路径参图16(a)或图16(b)所示。
上述实施例中,运动控制流程参图17所示。
在一个实施例中,如果自移动设备所要负责的工作任务是实地测量确定更精确的可工作区域边界时,相对的,参考点可以为可工作区域的相邻可工作区域边界线之间的目标范围区域中的点。在自移动设备移动至参考点或者参考点的邻近范围区域后,可以通过视觉识别出真实环境中的可工作区域边界。进而可以根据所识别出的真实环境中的可工作区域边界生成对应的移动路径。例如,沿着可工作区域边界移动的第三移动路径。并基于第三移动路径生成对应的第三驱动电路指令。基于参考点的坐标信息,可以执行上述第三驱动电路指令,控制自移动设备沿着通过视觉识别所识别出的真实环境中的可工作区域边界移动,并在移动过程中通过根据视觉识别出的真实环境中的可工作区域边界,不断地校正第三移动路径,以避免自移动设备移动到可工作区域边界之外的区域,控制自移动设备在可工作区域范围内移动,和工作。
进一步,还可以利用上述基于真实环境得到的可工作区域边界修正语义地图中的可工作区域边界。
在一个实施例中,还可以通过上述沿真实环境中的可工作区域边界移动时记录下的坐标信息,生成精度更高的针对目标工作区域的工作区域地图。后续,可以根据该工作区域地图在目标工作区域中移动进行相应的工作作业。
在一个实施例中,该工作区域地图通过视觉、编码器和IMU的融合来获得。
在一个实施例中,将相机捕获的图像进行透视变换,从而将相机坐标(CameraCoordinate)转换为世界坐标(World Coordinate),来获得工作区域地图。
在一个实施例中,具体的,例如,上述自移动草坪处理设备上还配置安装有可以360度旋转的摄像头,可以参阅图3所示。具体实施时,自移动草坪处理设备可以参考点作为起始点,先选定预设的初始方向(例如正东方)作为起始方向,按照预设的旋转方向(例如沿逆时针方向)每隔预设的间隔角度(例如每隔5度角),旋转摄像头以获取包含有周围环境的环境图片,同时记录下该环境图片拍摄时的摄像头与起始方向之间的夹角。进一步,处理器可以对所得到的环境的图片进行处理识别,找到环境中草坪和周边区域之间的分界位置。例如,可以通过颜色识别找到图片中绿色色块与其他颜色之间的中间位置作为上述分界位置。按照一定比例,根据环境图片计算出各个环境图片中的分界位置到参考点的距离。进而可以根据各个分界位置距离参考点的距离、各个分界位置所在的环境图片的拍摄时同起始方向的夹角,以及参考点确定出围绕草坪的边界轮廓。接着,可以将参考点作为原点,根据上述边界轮廓确定出以参考点为起始的行走路径,从而得到了能够覆盖目标草坪边界的行走路径。
在本实施例中,为了保证所确定出的草坪边界的精度较高、误差较小,自移动草坪处理设备可以根据上述基于轮廓边界所确定出行走路径作为指导,先移动至对应的位置处,再对所移动至的位置处进行检测、校正,以保证所在位置为边界处。通过校正后,进而可以通过导航器获取当前所在位置处的坐标信息。在获取到当前所在位置处的坐标信息后;进一步,可以根据行走路径,沿着草坪边界移动到下一个位置处,重复上述操作。在自移动草坪处理设备逐个记录下移动过程中的坐标信息后,确定出草坪边界。
在本实施例中,具体实施时,自移动草坪处理设备在根据上述行走路径移动到所确定的边界轮廓。再通过获取该位置处采集的地面图像,来判断该位置处是否是真实的草坪边界。如果确定该位置处为真实草坪边界,则可以记录当前所在位置的坐标信息(例如,当前所在位置点的经纬度坐标信息等),进一步确定出草坪边界上点的坐标信息。
在本实施例中,具体实施时,根据具体情况和处理要求,还可以采用其他方式来确定出真实的草坪边界。
具体的,例如,在根据目标图像数据确定出参考点后,处理器还可以通过图像识别等方式,从上述目标图像数据中确定出围绕上述目标草坪的轮廓线,再根据上述轮廓线以及参考点,生成以参考点为起始点的行走路径。进而自移动草坪处理设备可以根据上述行走路径,沿着草坪边界移动,并在移动过程中不断地调整校正所在的位置点,以保证是沿草坪边界移动,从而可以通过记录移动过程中的坐标信息,获取得到真实的草坪边界上点的坐标信息。
又例如,考虑到通常草坪的边界很多是由直线组成的。在参考点包括草坪边界上相邻的两个边界线之间的交点的情况下。自移动草坪处理设备上预先还配置安装了惯性导航系统。在自移动草坪处理设备通过导航到达参考点后,自移动草坪处理设备可以先选中一条沿边界线1的直线作为第一路径,可以记为S1。进而可以利用惯性导航系统沿着第一路径S1移动到达下一个交点,即边界线2和3之间的交点。在移动过程中自移动草坪处理设备可以通过导航器获取所经过的该条边界线2上的各个点的坐标信息,从而得到草坪边界线1上的各个点的坐标信息。再到达边界线2和3之间的交点后,可以重复上述方式选中沿边界线3的直线作为第二路径,记为S2。进而可以利用惯性导航系统沿着第二路径S2移动,并获取记录下所经过的该条边界线3上的各个点的坐标信息。按照上述方式,自移动草坪处理设备可以自动地移动经过围绕目标草坪的各个边界线,并获取各个边界上的点的坐标,从而确定出目标草坪的草坪边界。
在本实施例中,在确定出目标草坪的草坪边界后,用户可以通过客户端设备输入割草指令。自移动草坪处理设备在接收到客户端设备发送的割草指令后,可以响应该割草指令,根据所确定的目标边界生成覆盖目标草坪,且没有超出草坪边界的割草路径。进而可以根据上述割草路径在目标草坪内移动割草。在割草的过程中,自移动草坪处理设备具体还可以实时通过导航器获取自移动草坪处理设备当前所在的位置点的坐标信息,并将当前所在的位置点的坐标信息与所确定的草坪边界上点的坐标信息进行比较,以判断自移动草坪处理设备当前所在的位置点是否为草坪边界以外的区域中的点。如果确定当前所在的位置点是草坪边界以外的区域中的点,则可以判断草坪机器人已经离开了目标草坪所在的范围区域,这时为了保证安全,自移动草坪处理设备可以停止割草。进一步,自移动草坪处理设备还可以通过导航器搜索并移动至参考点,以返回目标草坪所在的范围区域。在一个实施例中,在自移动设备通过视觉识别,识别出可工作区域边界后,还可以生成第三驱动电路指令,指示转向以远离该工作区域边界。
自移动设备在接收到上述第三驱动电路指令后,可以执行第三驱动电路指令,控制自移动设备沿第三移动路径,转向,向远离工作区域边界的方向移动。从而能够避免自移动设备移动到可工作区域边界之外的非工作区域,保证自移动设备在可工作区域内移动工作。
在一个实施例中,具体实施时,可以通过客户端设备,或者自移动设备上的处理器,也可以通过云端服务器,按照上述方式,根据具体场景和处理需要生成对应的移动路径。
在一个实施例中,在自移动设备沿移动路径移动时,还会通过视觉识别,确定位于当前位置前方预设距离的位置处是否存在障碍物。其中,上述障碍物具体可以是人、动物、假山、建筑物等等。在确定当前位置前方预设距离的位置处存在障碍物的情况下,可以及时地生成调整路径,其中,上述调整路径包括绕开障碍物的移动路径。进而可以控制自移动设备沿调整路径移动,以避开障碍物顺利地移动。在一个实施例中,基于语义分割识别障碍物并避开。
在一个实施例中,对通过预设识别模型识别出的对象进行分类并赋予标签,并相应的设定自移动设备的动作,以实现导航。其中,上述分类可以是语义地图中已识别的,也可以是自移动设备移动过程中通过视觉识别的。
其中一种分类用于识别特定对象,以使自移动设备执行特定动作,特定对象包括人,动物,车库或车库门等。例如,当自移动设备识别到主人或宠物时,避开主人或宠物的活动区域以免割伤;当自移动设备识别到陌生人或野生动物时,发出信号以驱逐。再例如,当自移动设备识别到车库或车库门时,控制车库门自动打开,以进入车库,等等。
其中另一种分类可以用于控制自移动设备的工作,包括行走和/或切割,示例如下表。
/>
在一个实施例中,在基于所述参考点,形成具体的移动路径时,具体可以获取定位信号,并通过定位信号的融合,生成具体的移动路径。
在一个实施例中,所述定位信号具体可以来自惯性导航、或里程计、或卫星导航等等。当然,上述所列举的定位信号的来源只是一种示意性说明。具体实施时,根据具体的应用场景,上述定位信号还可以来源于其他的定位设备。对此,本说明书不作限定。
本说明书实施例提供的自移动设备的路径形成方法通过调用预设的识别模型,对从电子地图数据库中获取的包含有与坐标信息关联的目标工作区域的图像数据的电子地图数据进行识别处理,得到包括被自动识别出的可工作区域和/或可工作区域边界的语义地图;进而可以在上述语义地图或电子地图数据中,标记出相应参考点,再基于该参考点,生成自移动设备的移动路径。从而不需要用户预先引导自移动设备沿目标工作区域绕行,就能自动地根据具体的业务任务生成对应的移动路径,简化了用户的操作,改善了用户的使用体验,提高了自移动设备的移动路径的生成效率,解决了现有方法中存在的移动路径生成效率低,用户操作繁琐、使用体验差的技术问题。
在一个实施例中,上述预设的识别模型可以为预先通过深度学习(DeepLearning)等方式训练得到的处理模型。
具体实施时,可以获取多个包含有目标工作区域的电子地图数据作为样本数据。再对上述电子地图数据进行标注,标注出上述电子地图数据的图像数据中的可工作区域和/或可工作区域边界所在的范围区域。从而得到标注后的样本数据。进一步,可以建立用于进行图像数据处理的神经网络或者其他类型的模型作为初始模型。再利用上述标注后的样本数据作为模型训练数据,利用上述标注后的样本数据不断地对初始模型进行学习、训练,从而不断地调整、修改初始模型中的模型参数,直到基于调整后的模型参数的模型在对电子地图数据进行识别时的误差率低于预设的误差率阈值时,将模型当前使用的调整后的模型参数确定预设的识别模型的模型参数,从而得到了准确度较高的预设的识别模型。
其中,上述初始模型具体可以包括卷积神经网络(CNN,Convolutional NeuralNetwork)模型等。
当然,上述所列举的获取预设的识别模型的方式只是一种示意性说明。具体实施时,除了使用深度学习,还可以采用其他的学习训练方式来进行模型训练,得到符合要求的预设的草坪识别模型。例如,还可以对所采集到的样本数据不作标注,通过非监督学习算法或强化学习算法对上述样本数据进行学习,以得到对应的预设的识别模型等。
在一个实施例中,所述可工作区域具体包括至少两个被分隔的子区域;相应的,在所述语义地图上标记出至少两个参考点,所述参考点分别对应一个子区域。其中,每一个子区域中至少包含有一个参考点。
在本实施例中,有时目标工作区域相对较为复杂,例如,一个大可工作区域中可能包括两个或更多数量个被分隔开的子区域。
可以参阅图13所示。自移动设备需要工作的目标工作区域具体可以包括5个不同的子区域,分别为:子区域1、子区域2、子区域3、子区域4和子区域5。其中,子区域1和子区域2之间、子区域2和子区域3之间、子区域4和子区域5之间,以及子区域2和子区域4之间的是自移动设备可以自由通过但不允许工作的过道,即一种可通过的非工作区域。而子区域3和子区域4之间则是一堵墙,即一种不可通过的非工作区域。根据用户的指令,自移动设备可以按顺序,依次完成针对上述各个子区域的业务工作。
基于本实施例提供的方法,可以先在语义地图上分别标记出子区域1中的参考点:1号参考点,子区域2中的参考点:2号参考点,子区域3中的参考点:3号参考点,子区域4中的参考点:4号参考点,子区域5中的参考点:5号参考点,以及子区域1和子区域2之间的可通过的非工作区域中的参考点:6号参考点,子区域2和子区域3之间的可通过的非工作区域中的参考点:7号参考点,子区域,4和子区域5之间的可通过的非工作区域中的参考点:8号参考点,子区域2和子区域4之间的可通过的非工作区域中的参考点:9号参考点。
在本实施例中,具体实施时,自移动设备可以先以子区域1中的1号参考点作为起始点,完成覆盖子区域1的业务工作后,以在子区域1中完成子区域1的业务工作时位置所在的点作为起始点,并以子区域2中的2号参考点作为结束点,生成跨区域移动路径。进一步,自移动设备可以根据上述跨区域移动路径从子区域1移动至子区域2中的2号参考点。再以2号参考点作为起始点,完成覆盖子区域2的业务工作。以此类推,自移动设备可以依次完成上述目标工作区域中的各个子区域的业务工作。
在另一个实施例中,具体实施时,自移动设备在完成子区域1的业务工作后,还可以先返回至1号参考点,再根据从1号参考点经6号参考点到2号参考点的移动路径,从子区域1移动到子区域2,进行针对子区域2的业务工作。在完成子区域2的业务工作后,先返回至2号参考点,再根据从2号参考点经7号参考点到3号参考点的移动路径,从子区域2移动到子区域3,进行针对子区域3的业务工作。在完成子区域3的业务工作后,由于子区域3和子区域4之间间隔的是不可通过的非工作区域。因此,自移动设备无法直接从子区域2移动到子区域3,这时可以返回至3号参考点后,先根据从3号参考点经7号参考点到2号参考点的移动路径,从子区域3返回至子区域2;进一步再根据从2号参考点经9号参考点到4号参考点的移动路径,从子区域2移动进入子区域4,这样自移动设备可以顺利地进入并对子区域4进行具体的业务工作。在完成子区域4的业务工作后,自移动设备可以返回至4号参考点,再根据从4号参考点经8号参考点到5号参考点的移动路径,从子区域4再移动进入至子区域5,进行针对子区域5的业务工作。按照上述方式,自移动设备可以根据用户指令,按照子区域的编号顺序,依次移动至各个子区域完成针对各个子区域的业务工作。
自移动设备需要依次移动至各个子区域中进行工作作业。在完成各个子区域的工作作业后,才最终完成了对该可工作业务的工作业。
在一个实施例中,在完成当前子区域的工作作业时,需要生成移动至下一个子区域的参考点的移动路径,进而可以控制自移动设备沿该移动路径从当前子区域移动至下一个子区域进行针对下一个子区域的工作作业。
在一个实施例中,基于所述参考点,形成移动路径,具体实施时,还可以包括以下内容:生成第二驱动电路指令,其中,所述第二驱动电路指令包括指示基于所述参考点中的一个参考点完成所对应的一个子区域的移动路径后,移动至另一个子区域所对应的参考点,以开始所述另一个子区域的移动路径。
在一个实施例中,所述语义地图具体还可以包括:被识别出的可通过的非工作区域和/或可通过的非工作区域边界,所述可通过的非工作区域和/或可通过的非工作区域边界与坐标信息相关联。其中,上述可通过的非工作区域具体可以包括非工作区域中允许自移动设备移动通过的区域。
相应的,基于所述参考点中的一个参考点完成所对应的一个子区域的移动路径后,移动至另一个子区域所对应的参考点,具体实施时,可以包括以下内容:基于所述参考点中的一个参考点完成所对应的一个子区域的移动路径后,通过所述可通过的非工作区域,移动至另一个子区域所对应的参考点。
在一个实施例中,在所述语义地图或电子地图数据上标记出参考点,具体实施时,可以包括以下内容:根据所述语义地图,自动确定目标工作区域内的点作为所述参考点。
在一个实施例中,根据所述语义地图,自动确定目标工作区域内的点作为所述参考点,包括:自动确定可工作区域的角点和/或可工作区域边界的拐点作为所述参考点。
在一个实施例中,在所述语义地图或电子地图数据上标记出参考点,具体实施时,可以包括:向用户展示所述语义地图或所述电子地图的图像数据;接收用户针对所述语义地图或所述电子地图的图像数据的选择操作;根据所述选择操作,在所述语义地图或电子地图数据上标记出参考点。
在一个实施例中,基于所述参考点,形成移动路径,具体实施时,可以包括:生成第一驱动电路指令,所述第一驱动电路指令指示移动至所述参考点或参考点的邻近范围区域的移动路径;所述自移动设备通过定位,基于参考点的坐标信息,执行所述第一驱动电路指令。
在一个实施例中,在基于参考点的坐标信息,执行所述驱动电路指令后,所述方法具体还可以包括:以所述参考点为起始点,形成新的移动路径。
在一个实施例中,所述方法具体实施时,还可以包括:通过视觉识别,识别出可工作区域边界;基于识别出的边界,生成第三驱动电路指令,所述第三驱动电路指令指示沿所述可工作区域边界移动,和/或,转向以远离所述可工作区域边界。
在一个实施例中,所述方法具体实施时,还可以包括:通过视觉识别,识别出可工作区域边界;操作自移动设备沿可工作区域边界移动,并通过定位记录移动过程中的坐标信息;根据所记录的坐标信息,生成所述目标工作区域的工作区域地图。
在一个实施例中,基于所述参考点,形成移动路径,具体实施时,可以包括以下内容:基于所述参考点,生成往返移动路径,其中,所述往返移动路径包括前一路径段和后一路径段,且后一路径段相对前一路径段偏移预设距离。
在一个实施例中,基于所述参考点,形成移动路径,具体实施时,可以包括:通过视觉识别,确定位于当前位置前方预设距离的位置处是否存在障碍物;在确定当前位置前方预设距离的位置处存在障碍物的情况下,生成调整路径,所述调整路径用于避开所述障碍物。
在一个实施例中,基于所述参考点,形成移动路径,具体实施时,可以包括:基于定位信号的融合,生成移动路径,所述定位信号来自惯性导航、或里程计、或卫星导航。
在一个实施例中,所述电子地图数据库具体可以包括在线卫星地图数据库。当然,上述所列举的电子地图数据库只是一种示意性说明。具体实施时,根据具体的应用场景,还可以使用其他的电子地图数据库。对此,本说明书不作限定。
在一个实施例中,调用预设的识别模型,基于所述电子地图数据,确定出语义地图,具体实施时,可以包括:通过训练好的神经网络模型,对所述电子地图数据中的图像数据进行卷积处理,以获得所述语义地图。
在一个实施例中,所述自移动设备具体可以包括自移动草坪处理设备,相应的,所述目标工作区域具体可以包括待割草的目标草坪。所述自移动设备具体还可以包括自移动监测机器人,相应的,所述目标工作区域具体可以包括自移动监测机器人负责监控管理的范围区域等。当然,上述所列举的自移动设备和目标工作区域只是一种示意性说明。具体实施时,根据具体的应用场景,上述自移动设备还可以包括其他类型的设备,相应的,目标工作区域还可以包括其他类型的区域。对此,本说明书不作限定。
图18(a)-(e)为本说明书一实施例的活动区域划分示意图。本实施例中,通过谷歌地图定义边界来获得初始地图。如图18(a)所示,首先获得电子地图数据,例如谷歌地图数据。基于电子地图数据,使用神经网络模型进行深度学习,确定出语义地图,如图18(b)所示。通过语义地图识别可能的工作区域。在18(b)所示的地图中,语义分割分割出树和阴影,本实施例中,将树和阴影视为可工作区域,得到如图18(c)所示的地图。如图18(d)所示,提取边界,如上文所述,在边界不清晰的地方也可以人工定义。最后如图18(e)所示,获得世界坐标系下的初始地图,供自移动设备导航使用。
图19为本说明书一实施例的边界修正过程示意图。获得初始边界后,自移动设备利用视觉沿边界行走一圈,通过视觉识别边界。行走过程中,通过初始位置和惯导来获得位置信息,建立边界。比对初始边界和行走建立的边界,来修正边界。例如利用角点重合来修正边界。一实施例中,自移动设备遍历工作区域的工程中,在转向时通过视觉识别边界,并修正边界。如图19所示,自移动设备行走至靠近边界还未到达初始边界(图中虚线所示)时,通过视觉识别到实际边界(图中实线所示),则判断新的边界位置。自移动设备转向并记录实际边界位置,用实际边界位置修正初始地图,得到修正的地图。
由上可见,本说明书实施例提供的自移动设备的路径形成方法,通过调用预设的识别模型,对从电子地图数据库中获取的包含有与坐标信息关联的目标工作区域的图像数据的电子地图数据进行识别处理,得到包括被自动识别出的可工作区域和/或可工作区域边界的语义地图;进而可以在上述语义地图或电子地图数据中,标记出相应参考点,再基于该参考点,生成自移动设备的移动路径。从而不需要用户预先引导自移动设备沿目标工作区域绕行,就能自动地根据具体的业务任务生成对应的移动路径,简化了用户的操作,改善了用户的使用体验,提高了自移动设备的移动路径的生成效率,解决了现有方法中存在的移动路径生成效率低,用户操作繁琐、使用体验差的技术问题。还通过在基于所生成的移动路径在可工作区域移动时,实时地通过视觉识别检测自移动设备前方预设距离处是否存在障碍物,在检测到障碍物的情况,及时对所执行的移动路径进行调整,再根据调整后的移动路径移动,从而能智能地发现并避开障碍物,保证移动设备的安全移动。还通过基于视觉识别,识别出真实的可工作区域边界,再根据所识别出的真实的可工作区域边界,调整移动路径,使得自移动设备基于上述调整后的移动路径能够更加精准地在可工作区域边界以内移动工作,避免自移动设备移动到可工作边界之外。
本说明书实施例还提供了一种自移动草坪处理设备,具体可以参阅图3所示,所述自移动草坪处理设备至少可以包括:处理器、信号收发器、导航器等组成设备。其中,所述信号收发器具体可以用于获取包含有目标草坪的图像数据,以及相关联的坐标信息的电子地图数据。所述处理器具体可以用于调用预设的识别模型,基于所述电子地图数据,确定出语义地图;所述语义地图包括被识别出的可工作区域和/或可工作区域边界,所述可工作区域和/或可工作区域边界与坐标信息相关联;在所述语义地图或电子地图数据上标记出至少一个参考点;基于所述参考点,形成移动路径。
在本实施例中,上述自移动草坪处理设备还包括移动组件和切割组件。其中,上述移动组件可以用于移动自移动草坪处理设备。上述切割组件可以用于执行具体的割草工作。
当然,上述所列举的组成结构只是一种示意性说明。具体实施时,根据具体的应用场景和工作要求,还可以引入除上述所列举的组成结构外其他的组成结构构成上述自移动草坪处理设备。例如,有的自移动草坪处理设备还可以包括:姿态检测器、激光测距仪、方向传感器、摄像头等等。
在本实施例中,上述导航器具体可以包括GPS天线等,这样通过上述导航器接收位置点的坐标信息。
在一个实施例中,所述处理器具体还可以用于控制所述自移动草坪处理设备沿移动路径在所述目标草坪边界内移动并进行割草作业。
参阅图14所示,在软件层面上,本说明书实施例还提供了一种草坪边界的确定装置,该装置具体可以包括以下的结构模块。
获取模块1401,具体可以用于从电子地图数据库获取电子地图数据;其中,所述电子地图数据包括:包含有目标工作区域的图像数据,所述图像数据与坐标信息相关联;
识别模块1402,具体可以用于调用预设的识别模型,基于所述电子地图数据,确定出语义地图;所述语义地图包括被识别出的可工作区域和/或可工作区域边界,所述可工作区域和/或可工作区域边界与坐标信息相关联;
标记模块1403,具体可以用于在所述语义地图或电子地图数据上标记出至少一个参考点;
移动路径形成模块1404,具体可以用于基于所述参考点,形成移动路径。
在一个实施例中,所述目标图像数据具体可以包括包含有目标草坪的卫星地图数据等。
需要说明的是,上述实施例阐明的单元、装置或模块等,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
说明书实施例提供的自移动设备的路径形成装置,通过识别模块调用预设的识别模型,对获取模块从电子地图数据库中获取的包含有目标工作区域的图像数据,以及相关坐标信息的电子地图数据进行识别处理,得到包括被识别出的可工作区域和/或可工作区域边界的语义地图;进而可以通过标记模块在上述语义地图中,标记出相应参考点,再通过移动路径形成模块基于该参考点,生成自移动设备的移动路径。从而不需要依赖用户预先引导自移动设备沿目标工作区域绕行,就能自动地根据具体的业务任务生成对应的移动路径,简化了用户的操作,改善了用户的使用体验,提高了自移动设备的移动路径的生成效率,解决了现有方法中存在的移动路径生成效率低,用户操作繁琐、使用体验差的技术问题。
本说明书实施例还提供一种客户端设备,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器具体实施时可以根据指令执行以下步骤:从电子地图数据库获取电子地图数据;其中,所述电子地图数据包括:包含有目标工作区域的图像数据,所述图像数据与坐标信息相关联;调用预设的识别模型,基于所述电子地图数据,确定出语义地图;所述语义地图包括被识别出的可工作区域和/或可工作区域边界,所述可工作区域和/或可工作区域边界与坐标信息相关联;在所述语义地图或电子地图数据上标记出至少一个参考点;基于所述参考点,形成移动路径。以便所述自移动设备根据所述移动路径,通过导航在目标工作区域中沿移动路径移动,进行相应的工作作业。
在本实施例中,上述客户端设备具体可以包括一种应用于用户一侧,能够实现数据输入、数据传输等功能的前端设备。具体的,所述客户端设备例如可以为台式电脑、平板电脑、笔记本电脑、智能手机、遥控器等。或者,所述客户端设备也可以为能够运行于上述电子设备中的软件应用。例如,可以是在手机上运行的某APP等。
为了能够更加准确地完成上述指令,参阅图15所示,本说明书实施例还提供了一种自移动设备的路径形成装置,其中,所述客户端设备包括存储器1501,和处理器1502,上述结构通过内部线缆相连,以便各个结构可以进行具体的数据交互。
其中,所述存储器1501,具体可以用于存储有计算机可读指令。
所述处理器1502,具体可以用于在处理所述计算机可读指令时,从电子地图数据库获取电子地图数据;其中,所述电子地图数据包括:包含有目标工作区域的图像数据,所述图像数据与坐标信息相关联;调用预设的识别模型,基于所述电子地图数据,确定出语义地图;所述语义地图包括被识别出的可工作区域和/或可工作区域边界,所述可工作区域和/或可工作区域边界与坐标信息相关联;在所述语义地图或电子地图数据上标记出至少一个参考点;基于所述参考点,形成移动路径。
在本实施例中,所述处理器1501可以按任何适当的方式实现。例如,处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。本说明书并不作限定。
在本实施例中,所述存储器1502可以包括多个层次,在数字系统中,只要能保存二进制数据的都可以是存储器;在集成电路中,没有实物形式的具有存储功能的电路也叫存储器,如RAM、FIFO等;在系统中,具有实物形式的存储设备也叫存储器,如内存条、TF卡等。
本说明书实施例还提供了一种自动工作系统,包括:自移动设备,以及安装于用户端侧的应用程序;所述应用程序包括:获取程序:从电子地图数据库获取电子地图数据;其中,所述电子地图数据包括:包含有目标工作区域的图像数据,所述图像数据与坐标信息相关联;识别程序:调用预设的识别模型,基于所述电子地图数据,确定出语义地图;所述语义地图包括被识别出的可工作区域和/或可工作区域边界,所述可工作区域和/或可工作区域边界与坐标信息相关联;标记程序:在所述语义地图或电子地图数据上标记出至少一个参考点;所述自移动设备包括通信模块,与客户端通信,在所述应用程序被执行后从客户端获取所述参考点的坐标信息;所述自移动设备还包括定位模块,通过监测定位模块的输出,基于所述参考点的坐标信息,形成移动路径。
本说明书实施例还提供了一种自动工作系统,包括:自移动设备;所述自移动设备包括壳体;移动模块,安装于壳体;控制模块,控制所述移动模块带动所述自移动设备移动;所述自移动设备还包括定位模块,用于输出自移动设备的坐标信息;所述自动工作系统还包括存储单元,存储:语义地图生成程序,包括:从电子地图数据库获取电子地图数据;其中,所述电子地图数据包括:包含有目标工作区域的图像数据,所述图像数据与坐标信息相关联;调用预设的识别模型,基于所述电子地图数据,确定出语义地图;所述语义地图包括被识别出的可工作区域和/或可工作区域边界,所述可工作区域和/或可工作区域边界与坐标信息相关联;标记程序,包括:在所述语义地图或电子地图数据上标记出至少一个参考点;所述自动工作系统执行所述语义地图生成程序以及标记程序,从而确定出所述参考点的坐标信息;所述控制模块通过监测所述定位模块的输出,基于所述参考点的坐标信息,控制所述移动模块带动所述自移动设备移动以形成移动路径。
本说明书实施例还提供了一种基于上述自移动设备的路径形成方法的计算机可读存储介质,所述计算机存储介质存储有计算机程序指令,在所述计算机程序指令被执行时实现:从电子地图数据库获取电子地图数据;其中,所述电子地图数据包括:包含有目标工作区域的图像数据,所述图像数据与坐标信息相关联;调用预设的识别模型,基于所述电子地图数据,确定出语义地图;所述语义地图包括被识别出的可工作区域和/或可工作区域边界,所述可工作区域和/或可工作区域边界与坐标信息相关联;在所述语义地图或电子地图数据上标记出至少一个参考点;基于所述参考点,形成移动路径。
本说明书实施例还提供了一种使用机器视觉返回停靠站的方案。具体的,如图20、21,例如,上述自移动草坪处理设备上安装有摄像头、配置于设备移动的前或后方向上充电端。自移动草坪处理设备的充电站上设置有图像标签,具体的,例如,二维编码图案,如条形码、二维码等。自移动草坪处理设备基于摄像头捕获条形码、二维码或其他图像标签的连续的图像流,来实现6个自由度(6DOF)上的对齐,进而达到精确对接的目的。具体的,例如,自移动草坪处理设备连续的根据条形码或二维码的图像的特征点的形状和大小,判断自身在6自由度上相对于充电站的关系,并根据判断结果不断的调整自身的坐标和方位,以靠近充电站并实现设备的充电端和充电站的充电端的精确对接。
在本实施例中,上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的,用于进行网络连接通信的接口。
在本实施例中,该计算机存储介质存储的程序指令具体实现的功能和效果,可以与其它实施方式对照解释,在此不再赘述。
虽然本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施例的描述可知,本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本说明书的技术方案本质上可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,移动终端,服务器,或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。本说明书可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
虽然通过实施例描绘了本说明书,本领域技术人员知道,本说明书有许多变形和变化而不脱离本说明书精神,希望所附的权利要求包括这些变形和变化而不脱离本说明书精神。

Claims (10)

1.一种自移动设备的控制方法,其特征在于,包括:
获取针对目标工作区域的语义地图,所述语义地图包括可工作区域和/或可工作区域边界;
在所述语义地图标记出至少一个参考点;
生成第一移动路径,所述第一移动路径表征由所述自移动设备的当前位置,移动至所述参考点或所述参考点的邻近范围区域的路径;
控制所述自移动设备沿所述第一移动路径移动至参考点或参考点的临近范围区域内。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过视觉识别,识别出可工作区域边界;
控制所述自移动设备沿可工作区域边界移动,并通过定位记录移动过程中的坐标信息或者边界上点的坐标信息;
根据所记录的坐标信息修正所述语义地图,生成所述目标工作区域的工作区域地图。
3.根据权利要求2所述的方法,其特征在于,在控制所述自移动设备沿可工作区域边界移动的过程中,控制所述自移动设备的摄像头旋转并获取包括有周围环境的环境图片,记录环境照片拍摄时的摄像头与旋转起始方向的夹角。
4.根据权利要求1所述的方法,其特征在于,所述可工作区域包括多个子区域,每一个子区域中至少有一个参考点;
所述方法还包括:
生成第二移动路径,所述第二移动路径表征从一个子区域移动至另一个子区域中参考点的路径;
控制所述自移动设备沿所述第二移动路径由当前子区域,通过可工作区域,和/或,可通过的非工作区域,移动至下一个子区域。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
生成第三移动路径,所述第三移动路径表征沿可工作区域边界移动的路径;
控制所述自移动设备沿所述第三移动路径移动。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
通过根据视觉识别出的真实环境中的可工作区域边界,校正所述第三移动路径。
7.根据权利要求1所述的方法,其特征在于,基于定位信号的融合,生成移动路径,所述定位信号来自惯性导航、或里程计、或卫星导航。
8.根据权利要求1所述的方法,其特征在于,所述语义地图包括非工作区域,所述非工作区域包括不可通过的非工作区域和可通过的非工作区域。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取用户输入的手动选择边界指令;
根据所述手动选择边界指令,处理所述语义地图。
10.根据权利要求9所述的方法,其特征在于,所述手动选择边界指令包括:划定边界指令和/或边界补偿偏移量指令。
CN202311337873.7A 2020-02-19 2020-07-06 自移动设备的控制方法 Pending CN117519126A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2020101022272 2020-02-19
CN202010102227 2020-02-19
CN202010642954.8A CN113296495B (zh) 2020-02-19 2020-07-06 自移动设备的路径形成方法、装置和自动工作系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010642954.8A Division CN113296495B (zh) 2020-02-19 2020-07-06 自移动设备的路径形成方法、装置和自动工作系统

Publications (1)

Publication Number Publication Date
CN117519126A true CN117519126A (zh) 2024-02-06

Family

ID=77318337

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202010642954.8A Active CN113296495B (zh) 2020-02-19 2020-07-06 自移动设备的路径形成方法、装置和自动工作系统
CN202311337800.8A Pending CN117519125A (zh) 2020-02-19 2020-07-06 自移动设备的控制方法
CN202311337873.7A Pending CN117519126A (zh) 2020-02-19 2020-07-06 自移动设备的控制方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202010642954.8A Active CN113296495B (zh) 2020-02-19 2020-07-06 自移动设备的路径形成方法、装置和自动工作系统
CN202311337800.8A Pending CN117519125A (zh) 2020-02-19 2020-07-06 自移动设备的控制方法

Country Status (3)

Country Link
EP (1) EP4066078A1 (zh)
CN (3) CN113296495B (zh)
WO (1) WO2021164738A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113885495A (zh) * 2021-09-29 2022-01-04 邦鼓思电子科技(上海)有限公司 一种基于机器视觉的室外自动工作控制系统、方法及设备
CN114296463A (zh) * 2021-12-31 2022-04-08 南京苏美达智能技术有限公司 一种作业区域间路径生成方法及园林系统
CN116088533B (zh) * 2022-03-24 2023-12-19 未岚大陆(北京)科技有限公司 信息确定方法、远程终端、设备、割草机及存储介质
US20230400857A1 (en) * 2022-06-08 2023-12-14 Positec Power Tools (Suzhou) Co., Ltd. Local area mapping for a robot lawnmower
CN115685997A (zh) * 2022-10-14 2023-02-03 深圳市正浩创新科技股份有限公司 自移动设备的沿边控制方法、装置、介质及自移动设备
WO2024092728A1 (zh) * 2022-11-04 2024-05-10 苏州宝时得电动工具有限公司 自主工作装置、系统及工作方法
CN116704074A (zh) * 2023-08-03 2023-09-05 松灵机器人(深圳)有限公司 边界地图构建方法、装置、系统和可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6934615B2 (en) * 2003-03-31 2005-08-23 Deere & Company Method and system for determining an efficient vehicle path
US9851718B2 (en) * 2014-09-26 2017-12-26 Steven R. Booher Intelligent control apparatus, system, and method of use
US9420741B2 (en) * 2014-12-15 2016-08-23 Irobot Corporation Robot lawnmower mapping
CN107239074A (zh) * 2016-03-29 2017-10-10 苏州宝时得电动工具有限公司 自动工作系统及其工作区域的地图建立方法
CN106647750B (zh) * 2016-12-07 2019-03-26 西安电子科技大学 一种基于rfid技术的移动机器人路径优化与导引方法
CN107066507B (zh) * 2017-01-10 2019-09-17 中国人民解放军国防科学技术大学 一种基于云机器人混合云架构的语义地图构建方法
CN106647765B (zh) * 2017-01-13 2021-08-06 深圳拓邦股份有限公司 一种基于割草机器人的规划平台
CN108459597B (zh) * 2017-07-26 2024-02-23 炬大科技有限公司 一种用于处理任务区域的任务的移动电子设备以及方法
CN109725632A (zh) * 2017-10-30 2019-05-07 速感科技(北京)有限公司 可移动智能设备控制方法、可移动智能设备及智能扫地机
CN108776474B (zh) * 2018-05-24 2022-03-15 中山赛伯坦智能科技有限公司 集成高精度导航定位与深度学习的机器人嵌入式计算终端
CN109117718B (zh) * 2018-07-02 2021-11-26 东南大学 一种面向道路场景的三维语义地图构建和存储方法
CN110154053A (zh) * 2019-06-05 2019-08-23 东北师范大学 一种基于ocr的室内讲解机器人及其讲解方法
CN110347153A (zh) * 2019-06-26 2019-10-18 深圳拓邦股份有限公司 一种边界识别方法、系统及移动机器人
CN110544307A (zh) * 2019-08-29 2019-12-06 广州高新兴机器人有限公司 基于卷积神经网络的语义地图构建方法及计算机存储介质

Also Published As

Publication number Publication date
EP4066078A1 (en) 2022-10-05
CN117519125A (zh) 2024-02-06
WO2021164738A1 (en) 2021-08-26
CN113296495B (zh) 2023-10-20
CN113296495A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN113296495B (zh) 自移动设备的路径形成方法、装置和自动工作系统
US11204247B2 (en) Method for updating a map and mobile robot
US20210255638A1 (en) Area Division and Path Forming Method and Apparatus for Self-Moving Device and Automatic Working System
EP2169503B1 (en) Multi-vehicle high intensity perception
EP2169498B1 (en) Vehicle with high integrity perception system
US8478493B2 (en) High integrity perception program
US8818567B2 (en) High integrity perception for machine localization and safeguarding
US20220362939A1 (en) Robot positioning method and apparatus, intelligent robot, and storage medium
CN111199677B (zh) 一种室外区域的工作地图自动建立方法,装置,存储介质及工作设备
CN110986945A (zh) 基于语义高度地图的局部导航方法和系统
CN114721385A (zh) 虚拟边界建立方法、装置、智能终端及计算机存储介质
US20230210050A1 (en) Autonomous mobile device and method for controlling same
CN112799389B (zh) 自动行走区域路径规划方法及自动行走设备
CN114937258A (zh) 割草机器人的控制方法、割草机器人以及计算机存储介质
CN117044478B (zh) 割草机控制方法、装置、割草机、电子设备及存储介质
US20230320263A1 (en) Method for determining information, remote terminal, and mower
CN114756018A (zh) 建图方法、装置、计算机可读存储介质和自移动设备
CN115972217B (zh) 基于单目相机的地图建立方法和机器人
US20230315106A1 (en) Method and System for Robot Automatic Charging, Robot, and Storage Medium
CN116448125A (zh) 地图处理方法、装置及自移动设备
CN116407030A (zh) 自移动机器人回归基站的方法、系统及自移动机器人
CN116736865A (zh) 信息确定方法、远程终端、设备、割草机及存储介质
CN115933681A (zh) 基于激光和视觉方案的工作区域圈定方法及室外机器人
CN111060116A (zh) 一种基于视觉的草场自主建图系统
de Campos et al. Perception planning in PANORAMA

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination