CN115265520A - 智能作业设备及其建图方法、装置和存储介质 - Google Patents
智能作业设备及其建图方法、装置和存储介质 Download PDFInfo
- Publication number
- CN115265520A CN115265520A CN202210822283.2A CN202210822283A CN115265520A CN 115265520 A CN115265520 A CN 115265520A CN 202210822283 A CN202210822283 A CN 202210822283A CN 115265520 A CN115265520 A CN 115265520A
- Authority
- CN
- China
- Prior art keywords
- line
- boundary
- intelligent operation
- operation equipment
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 238000013507 mapping Methods 0.000 title claims abstract description 48
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 95
- 239000003550 marker Substances 0.000 claims abstract description 54
- 238000004590 computer program Methods 0.000 claims abstract description 25
- 239000007787 solid Substances 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 15
- 238000012790 confirmation Methods 0.000 claims description 7
- 239000013589 supplement Substances 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 14
- 238000010276 construction Methods 0.000 description 7
- 230000009469 supplementation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011065 in-situ storage Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 235000015243 ice cream Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D34/00—Mowers; Mowing apparatus of harvesters
- A01D34/006—Control or measuring arrangements
- A01D34/008—Control or measuring arrangements for automated or remotely controlled operation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3844—Data obtained from position sensors only, e.g. from inertial navigation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请涉及一种智能作业设备的建图方法、装置、智能作业设备、存储介质和计算机程序产品。所述方法包括：接收建图指令；响应所述建图指令，从实时拍摄的图像中，识别目标行走线，所述目标行走线为区域实体边界线和具有预设标志物信息的视觉引导线中的一种；控制所述智能作业设备沿识别出的所述目标行走线行走；在所述智能作业设备的行走过程中，若从实时拍摄的图像中识别出视觉引导线，控制所述智能作业设备沿所述视觉引导线行走；在所述智能作业设备行走至建图起点时，基于所述智能作业设备行走过程中记录的轨迹坐标生成地图。采用本方法能够便捷地完成涉及外边界和内边界的建图过程。
Description
技术领域
本申请涉及智能作业技术领域，特别是涉及一种智能作业设备的建图方法、智能作业设备的建图装置、智能作业设备、计算机可读存储介质和计算机程序产品。
背景技术
随着科学技术的发展，出现了各种智能作业设备，例如扫地机器人、割草机器人等。智能作业设备在进行智能作业过程中，通常需要限定智能作业设备在指定的作业区域内进行作业，例如割草机器人需要在限定的工作区域内进行割草作业。据此，智能作业设备通常需要结合智能作业设备的作业区域的边界的边界地图进行智能作业，该边界地图用以限定智能作业设备的作业范围。
其中，该边界地图可以是预先设置于智能作业设备中，也可以是由智能作业设备生成该边界地图。由于对于不同甚至于相同设备类型的智能作业设备而言，智能作业设备可能位于不同的作业区域，每个智能作业设备的作业区域会存在差异，因此，在智能作业设备在作业区域进行作业之前，或者是智能作业设备在某个作业区域作业一段时间之后，由于作业区域可能发生了变化，都会存在确定智能作业设备的边界地图的需求。
发明人发现，针对同时具有外边界和内边界的作业区域的场景，例如草坪中存在花圃或者游泳池等，在确定智能作业设备的边界地图时，现有方式是让智能作业设备沿作业区域的外边界或内边界行走，完成外边界或内边界的建图之后，用户再手动将智能作业设备搬到内边界或外边界上，再次启动自动建图，完成内边界或外边界的建图，才能完成建图过程，建图过程繁琐。
发明内容
基于此，有必要针对上述技术问题，提供一种智能作业设备的建图方法、智能作业设备的建图装置、智能作业设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种智能作业设备的建图方法。所述方法包括：
接收建图指令；
响应所述建图指令，从实时拍摄的图像中，识别目标行走线，所述目标行走线为区域实体边界线和具有预设标志物信息的视觉引导线中的一种；
控制所述智能作业设备沿识别出的所述目标行走线行走；
在所述智能作业设备的行走过程中，若从实时拍摄的图像中识别出视觉引导线，控制所述智能作业设备沿所述视觉引导线行走；
在所述智能作业设备行走至建图起点时，基于所述智能作业设备行走过程中记录的轨迹坐标生成地图。
第二方面，本申请还提供了一种智能作业设备的建图装置。所述装置包括：
指令接收模块，用于接收建图指令；
视觉处理模块，用于从实时拍摄的图像中，识别目标行走线，所述目标行走线为区域实体边界线和具有预设标志物信息的视觉引导线中的一种；
行走控制模块，用于响应所述建图指令，控制所述智能作业设备沿所述视觉处理模块识别出的所述目标行走线行走，并在所述智能作业设备的行走过程中，若所述视觉处理模块从实时拍摄的图像中识别出视觉引导线，控制所述智能作业设备沿所述视觉引导线行走；
地图生成模块，用于在所述智能作业设备行走至建图起点时，基于所述智能作业设备行走过程中记录的轨迹坐标生成地图。
第三方面，本申请还提供了一种智能作业设备。所述智能作业设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的任意一种智能作业设备的建图方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的任意一种智能作业设备的建图方法的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的任意一种智能作业设备的建图方法的步骤。
上述智能作业设备的建图方法、装置、智能作业设备、存储介质和计算机程序产品，其在接收到建图指令后，在建图时控制智能作业设备行走的过程中，是控制智能作业设备沿识别出的所述目标行走线行走，且在行走的过程中从实时拍摄的图像中识别出视觉引导线时，是控制所述智能作业设备沿所述视觉引导线行走，即视觉引导线的优先级高于区域实体边界线的优先级，而视觉引导线又是用于连接作业区域的外边界和内边界的引导线，因此，智能作业设备在接收到建图指令后的上述建图过程中，不再需要人为对智能作业设备的搬运过程，即可完成涉及外边界和内边界的建图过程，建图过程方便便捷。
附图说明
图1为一个实施例中智能作业设备的建图方法的应用环境图；
图2为一个应用示例中的智能作业设备的建图方法的应用环境图；
图3为另一个应用示例中的智能作业设备的建图方法的应用环境图；
图4为另一个应用示例中的智能作业设备的建图方法的应用环境图；
图5为一个实施例中智能作业设备的建图方法的流程示意图；
图6为一个实施例中识别目标行走线方法的流程示意图；
图7为一个实施例中基于轨迹坐标生成地图的流程示意图；
图8为一个具体示例中的作业区域的原始区域示意图；
图9为一个具体示例中在布设了标志物后的区域示意图；
图10为一个具体示例中的智能作业设备的行走原理示意图；
图11为一个具体示例中的智能作业设备生成的边界地图的示意图；
图12为一个实施例中跨终端显示装置的结构框图；
图13为一个实施例中智能作业设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的智能作业设备的建图方法，可以应用于如图1所示的应用环境中。其中，区域10是需要智能作业设备进行作业的完整的区域，但是，在该区域10中，可能存在不需要智能作业设备进行作业的区域20，该区域20也可能是智能作业设备不能作业的区域，例如花圃，游泳池，鱼池，或者其他具有一定范围的障碍物等等。因此，在为智能作业设备确定其进行作业的作业区域时，除了需要建立包含该作业区域10的外边界101的地图，还需要建立该区域10的内边界102的地图。本申请实施例涉及同时具有外边界和内边界的情况下，建立智能作业设备的地图的技术场景。建立的智能作业设备的地图，具体可以包含智能作业设备的边界地图。具体在建立智能作业设备的地图时，可以由智能作业设备进行。
本实施例提供的智能作业设备的建图方法的应用环境，还可以涉及标志物，该标志物能够被视觉传感器识别，用以确定外边界和内边界的引导线。
参考图2所示，一个示例中的结合标志物的智能作业设备的建图方法的应用环境中，涉及的标志物201可以是一个视觉带，其中，视觉带201为具有一定长度的、能够直接设置在外边界101与内边界102之间的带状物体，例如用单一颜色组成的颜色带，或者由其他图案形成的连接带等等，该视觉带能够被视觉传感器识别。以智能作业设备是在草坪上作业为例，该视觉带201可以是选用任何能够被视觉传感器识别、且能够与草坪相区分的带状物体。
参考图3所示，一个示例中的结合标志物的智能作业设备的建图方法的应用环境中，可以涉及一个以上的标志物202，该标志物202可以是不能完整连接外边界和内边界的物体，例如，可以是仅占据比较小的区域的物体，且该标志物能够被视觉传感器识别，例如标杆、雪糕筒等，能够理解的是，还可以是其他的能够被视觉传感器识别的物体，例如长度不足以连接外边界或者内边界的视觉带等等。以智能作业设备在草坪上作业为例，该标志物202可以是选用任何能够被视觉传感器识别、且能够与草坪相区分的物体。一个以上的标志物202以一定的间距，设置于外边界101与内边界102之间，从而多个标志物202在外边界101与内边界102之间能够形成一条虚拟的引导线200。通过多个标志物202来形成虚拟的引导线，在布设标志物时，无需关心外边界101与内边界102之间的距离的大小，只需少量的标志物就可以完成外边界101与内边界102之间的引导线的设置，简单便捷。
本申请实施例提供的智能作业设备的建图方法，可以仅涉及智能作业设备，也可以涉及如图4所示的应用环境。其中，智能作业设备10与智能终端20可以相互通信，智能作业设备10与智能终端20相互通信的方式不限，例如可以通过蓝牙、近场通信等方式进行通信，也可以通过网络(例如wifi网络、移动通信(如4G、5G)等)进行通信。智能作业设备10可以接收智能终端20发出的指令(例如建图指令、地图确认信息)，也可以将生成的地图传输至智能终端20进行显示。
在智能作业设备10连接网络的情况下，智能作业设备10还可以与服务器30进行通信，智能作业设备10与智能终端20的通信数据可以记录至服务器30中，智能作业设备10行走过程中记录的轨迹坐标以及生成的地图，均可以发送至服务器30进行存储。
其中，智能终端20可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器30可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在智能作业设备需作业区域的外边界与内边界布设上述标志物201或者标志物202之后，即可开始智能作业设备的建图过程。
在一个实施例中，如图5所示，提供了一种智能作业设备的建图方法，以该方法应用于智能作业设备为例进行说明，包括以下步骤S501至步骤S505。
步骤S501：接收建图指令。
建图指令，是用以指示开始进行智能作业设备的建图的指令。在需要开始建图过程时，用户可以通过智能作业设备上的实体的建图按键或者智能作业设备的触控屏上显示的建图按键发出该建图指令。在其他实施例中，也可以通过其他的方式获得该建图指令，例如通过语音接收建图指令，本申请实施例不做具体限定。
步骤S502：响应建图指令，从实时拍摄的图像中，识别目标行走线，其中，目标行走线为区域实体边界线和具有预设标志物信息的视觉引导线中的一种。
实时拍摄的图像，具体可以是智能作业设备的视觉传感器(例如摄像装置)进行拍摄获得的图像。由于在开始建图时，智能作业设备的放置位置和放置方向可能存在各种可能，且视觉传感器的视觉范围通常有限，因此，若智能作业设备按照接收到建图指令时的方位拍摄，不一定能够拍摄到目标行走线。据此，在一些实施例中，在接收到建图指令后，智能作业设备可以是原地转圈，并获得原地转圈的过程中实时拍摄的图像，以从中识别出目标行走线。
其中，区域实体边界线，是指智能作业设备能够从图像识别出的作业区域的边界线，例如图1-图3中所示的外边界101或者内边界102。智能作业设备从拍摄的图像中识别出区域实体边界线的方式，可以采用目前已有以及今后出现的各种可能的方式进行，本申请实施例不做具体限定。
在一些具体示例中，从实时拍摄的图像中，识别目标行走线，可以包括：
从实时拍摄的图像中，若识别到符合预设区域特征的区域边界线，将区域边界线确定为识别出的区域实体边界线。
对于一些智能作业设备而言，其进行作业的区域通常会具有相应的区域特征，对于这类智能作业设备而言，可以将其要进行作业区域的区域特征，作为预设区域特征，以此为基础识别出区域实体边界线。以智能作业设备为割草机器人为例，割草机器人通常在草坪上作业，而草坪的颜色区域明显能够与道路等相区分开，因此，可以结合草坪的特征来设置该预设区域特征，例如草坪的颜色特征，或者草坪与道路的边界的颜色特征值的差异等，本申请实施例不做限定。应当理解的是，在其他实施例中，也可以通过其他的方式识别出区域实体边界线。
具有预设标志物信息的视觉引导线，是指基于设置的标志物所形成的引导线，其本身并不是作业区域的边界，其目的是用以引导智能作业设备在外边界与内边界之间行走，该具有预设标志物信息的视觉引导线可以是如图2中所示的引导线201，也可以是如图3中所示的标志物202。
步骤S503：控制智能作业设备沿识别出的目标行走线行走。
在识别出目标行走线后，可控制智能作业设备沿识别出的目标行走线行走，以便于记录智能作业设备的轨迹坐标。其中，具体控制智能作业设备沿识别出的目标行走线行走的方式，可以采用已有的以及以后出现的任何控制行走的方式进行，本申请实施例不做具体限定。
步骤S504：在智能作业设备的行走过程中，若从实时拍摄的图像中识别出视觉引导线，控制智能作业设备沿视觉引导线行走。
其中，智能作业设备的行走过程中，智能作业设备的视觉传感器实时拍摄行走过程中的图像，并对其进行视觉引导线和区域实体边界线的识别，若从实时拍摄的图像中识别出视觉引导线，控制智能作业设备沿视觉引导线行走。其中，若在智能作业设备沿视觉引导线行走的过程中，识别到视觉引导线，则维持智能作业设备继续沿视觉引导线行走。若在智能作业设备沿区域实体边界线行走的过程中，识别到视觉引导线，即便当前行走的区域实体边界线未走完，也优先切换至视觉引导线行走，从而便于能够及时从外边界线行走至内边界线，或者从内边界线行走至外边界线。具体的识别出视觉引导线和控制智能作业设备行走的方式，可以与上述实施方式中的相同，在此不予赘述。
步骤S505：在智能作业设备行走至建图起点时，基于智能作业设备行走过程中记录的轨迹坐标生成地图。
建图起点，可以是指智能作业设备接收建图指令时所处的位置点，或者智能作业设备在目标行走线上行走的过程中出现重合的位置点。在智能作业设备的行走过程中，会实时记录该智能作业设备行走过程中的轨迹坐标，当智能作业设备行走至建图起点时，说明智能作业设备已经回到建图时的起点，因而可以基于行走过程中记录的轨迹坐标生成地图。
基于如上所述的智能作业设备的建图方法，其在接收到建图指令后，在建图时控制智能作业设备行走的过程中，是控制智能作业设备沿识别出的目标行走线行走，且在行走的过程中从实时拍摄的图像中识别出视觉引导线时，是控制智能作业设备沿视觉引导线行走，即视觉引导线的优先级高于区域实体边界线的优先级，而视觉引导线又是用于连接作业区域的外边界和内边界的引导线，因此，智能作业设备在接收到建图指令的上述建图过程中，不再需要人为对智能作业设备的搬运过程，即可完成涉及外边界和内边界的建图过程，建图过程方便便捷。
一些实施例中，参考图6所示，上述步骤S502中的从实时拍摄的图像中，识别目标行走线，具体包括步骤S5021至步骤S5022。
步骤S5021：从实时拍摄的图像中，识别出是否存在预设标志物。
预设标志物可以是预先设定的可以用以作为标志物的类型，如图2中所示的视觉带的标志物201，或者如图3中所示的一个以上的标志物202。
其中，在从实时拍摄的图像中识别出预设标志物时，可以是采用各种可能的方式进行，例如通过将智能作业设备中的预设标志物的图像与实时拍摄的图像进行图像匹配，若在实时拍摄的图像中匹配到预设标志物的图像，则可以认为实时拍摄的图像中存在预设标志物。
在另一些实施例中，也可以是对实时拍摄的图像进行分析，从中分析出不是区域边界，但是又能够与作业区域明显相区分的图像部分，并针对分析出的图像部分分析出预设标志物。以智能作业设备为割草机器人为例，可以从实时拍摄的图像中分析出不是草坪边界、但是与草坪特征不同的图像部分，并将该图像部分作为识别出的预设标志物。从而在此情况下，任何能够与草坪相区分的物体，均可以作为标志物，以此确定草坪的外边界与内边界的引导线。
步骤S5022：若存在预设标志物，基于识别出的预设标志物，确定出视觉引导线。
上述识别出的预设标志物，可能跨越于外边界与内边界之间，也可能仅仅是外边界与内边界之间的一个点，因此，还需要基于识别出的预设标志物，确定出视觉引导线。
一些实施例中，上述基于识别出的预设标志物，确定出视觉引导线，可以包括：若识别出的预设标识物为视觉带，将识别出的视觉带确定为视觉引导线。
从而，在识别出的预设标志物为视觉带时，由于视觉带在设置时通常设置在外边界与内边界之间，因此，可以直接将识别出的视觉带确定为视觉引导线。
一些实施例中，上述基于识别出的预设标志物，确定出视觉引导线，可以包括：若识别出的预设标识物为两个以上的符合预设形状的标识物，基于两个以上的标识物形成的连线确定视觉引导线。例如，将两个以上的标识物依次连接得到连接线后，将该连接线延伸至与识别出的区域实体边界线相交的连线，确定为视觉引导线。
从而，在识别出的预设标志物为符合预设形状的标志物时，由于该标志物通常为外边界与内边界之间的点，因此，可以结合识别出的两个以上的标识物形成的连线，确定出视觉引导线。
其中，上述智能作业设备行走过程中记录的轨迹坐标，具体可以包括：沿区域实体边界线行走的实体边界轨迹坐标，以及沿视觉引导线行走的引导线轨迹坐标。
据此，在一些实施例中，参考图7所示，上述步骤S505的基于智能作业设备行走过程中记录的轨迹坐标生成地图，具体可以包括步骤S701至步骤S703。
步骤S701：基于智能作业设备行走过程中记录的轨迹坐标，生成初始边界线，其中，初始边界线包括：基于实体边界轨迹坐标生成的实体边界线，以及基于引导线轨迹坐标生成的引导边界线。
其中，在基于实体边界轨迹坐标生成的实体边界线时，可以将记录的各实体边界轨迹坐标依次连接，以生成实体边界线。
在基于引导线轨迹坐标生成引导边界线时，具体可以是将记录的各引导线轨迹坐标依次连接，并将依次连接后得到的连接线延伸至与识别出的区域实体边界线相交，以生成该引导边界线。
应当理解的是，在其他实施例中，基于实体边界轨迹坐标，也可以是采用其他方式生成实体边界线，基于引导线轨迹坐标，也可以是通过其他方式生成引导边界线。
步骤S702：删除距离在预设范围内、相互平行且行走方向相反的引导边界线对。
结合图2、图3所示，当智能作业设备沿视觉引导线201或者200，从外边界行走至内边界之后，当内边界行走完一圈之后，会再次沿视觉引导线201或者200行走至外边界，从而形成距离相近(距离在预设范围内)、相互平行且行走方向相反的两条引导边界线，这两条边界线组成引导边界线对。这两条引导边界线是用于辅助智能作业设备在外边界与内边界之间行走的连线，并不是作业区域的边界的一部分，因此，可将该引导边界线对删除。
步骤S703：基于删除了引导边界线对的初始边界线，生成边界地图。
删除了引导边界线对后的初始边界线，已经不再具有用于辅助智能作业设备在外边界与内边界之间行走的引导边界线对，因而可以结合剩下的初始边界线，生成边界地图。
一些实施例中，上述基于删除了引导边界线对的初始边界线，生成边界地图，具体可以包括：
对删除了引导边界线对的初始边界线中，不连续的实体边界线进行插点补充；
基于插点补充后的连续的实体边界线，生成边界地图。
由于智能作业设备在行走过程中，在从实体边界线切换至视觉引导线行走之后，可能会存在实体边界线不连续的现象，因此，可以通过对不连续的实体边界线进行插点补充，使得剩下的实体边界线连续，据此可以生成完整的边界地图。
其中，具体的对不连续的实体边界线进行插点补充的方式，可以采用任何可能的插点补充的方式进行。
一些实施例中，在上述基于智能作业设备行走过程中记录的轨迹坐标生成地图之后，还可以包括：
将生成的地图进行显示；
在接收到针对地图的地图确认信息时，将生成的地图进行存储。
从而，在生成地图后，还可以将生成的地图向用户进行展示，以让用户确认生成的地图是否无误，若接收到地图确认信息，则说明生成的地图无误，从而可以将生成的地图进行存储，智能作业设备后续作业时，即可基于存储的该地图进行智能作业。
基于上述的实施例，以下以智能作业设备为割草机器人为例，一些具体的应用示例进行详细举例说明。
参考图8所示，假设割草机器人需要建图的草坪区域为区域801，且区域801中存在不需要割草机器人工作的区域802。据此，参考图9所示，在草坪区域的内边界802靠近外边界的位置，布设出一个或两个以上的视觉标志物803。该视觉标志物能够被割草机器人的视觉识别传感器识别，且能够与草坪的环境相区别。在图9所示的示例中，存在分离的多个该视觉标志物803，且视觉标志物有多个以上时，以一定的间距布设，形成视觉引导线，用于连接外边界和内边界。基于图9中的视觉标志物形成的视觉引导线如图10中的引导线804所示。
布设完视觉标志物803之后，可将割草机器人放置在在草坪边界线上，该草坪边界线可以是外边界线，也可以是内边界线，如图10所示中，是以将割草机器人805放置在外边界线上为例进行说明。
在将割草机器人805放置在边界线上之后，若割草机器人有实体按键，则用户可以通过操作实体按键来发出建图指令。若割草机器人设置有触控屏，则可以通过触控屏输入建图指令。若割草机器人通过网络或者近场通信与智能终端通信连接，则可以通过智能终端的交互界面，发出建图指令。
割草机器人收到建图指令后，原地转圈寻找到目标行走线，具体地，在原地转圈的过程中，割草机器人的视觉传感器实时拍摄图像，并对该实时拍摄的图像进行分析，以识别出目标行走线。该目标行走线可以是区域实体边界线，也可以是视觉引导线。在图10所示示例中，识别出的目标行走线为区域实体边界线。
在识别出目标行走线后，则控制割草机器人沿识别出的目标行走线，按照指定方向行走，该指定方向可以是顺时针方向，也可以是逆时针方向，在控制割草机器人沿目标行走线行走的过程中，同时记录割草机器人行走的轨迹坐标。其中，该轨迹坐标可以是采用任何方式进行定位获得的位置坐标，例如，在一些实施例中，该轨迹坐标可以包含基于割草机器人的位置信息确定的坐标。
其中，在割草机器人行走的过程中，实时记录割草机器人的轨迹坐标，其中，沿区域实体边界线行走的轨迹坐标，将其轨迹坐标的类型记录为实体边界轨迹坐标，沿视觉引导线行走的轨迹坐标，将其轨迹坐标的类型记录为引导线轨迹坐标。
割草机器人在沿目标行走线行走的过程中，割草机器人的视觉传感器实时拍摄图像，并对该实时拍摄的图像进行分析，以识别出是否出现不同于当前目标行走线的区域实体边界线或者视觉引导线。
其中，若割草机器人在沿区域实体边界线行走过程中遇到视觉引导线，则控制割草机器人优先沿视觉引导线行走。
如图10所示，假设割草机器人是沿顺时针方向行走，则割草机器人在沿区域实体边界线806行走的过程中，直至行走至A点或者A点附近的区域时，结合实时拍摄的图像，分析出存在基于标志物803形成的视觉引导线804，从而，控制割草机器人在A点切换至沿视觉引导线804行走。
如图10所示，当割草机器人行走至视觉引导线804的终点C点时，由于识别到内边界的区域实体边界线807，且视觉引导线804已行走完，则切换至沿内边界的区域实体边界线807行走，直至行走至D点，由于再次识别到视觉引导线804，因此切换至沿视觉引导线804行走，直至行走至B点，再切换至沿区域实体边界线808行走，直至回到建图起点。
割草机器人回到建图起点后，即可基于智能作业设备行走过程中记录的轨迹坐标生成地图。
一些实施例中，割草机器人在上述行走过程中，可以直接基于记录的实体边界轨迹坐标生成实体边界线，并基于记录的引导线轨迹坐标生成引导边界线。在另一些实施例中，可以在割草机器人回到建图起点后，再基于记录的实体边界轨迹坐标生成的实体边界线，并基于记录的引导线轨迹坐标生成引导边界线。
如图10所示，在割草机器人回到建图起点，完成一圈建图后，可以发现，割草机器人针对视觉引导线的行走会存在距离相近、近似平行且行走方向相反的两条引导边界线8041和8042，这两条引导边界线8041和8042形成了一组引导边界线对。因此，可将引导边界线对(8041，8042)删除后，再基于剩下的边界线生成边界地图。
结合图10、图11所示，在删除引导边界线对之后，剩下的边界线会存在边界线缺口，如图11中的点A与点B之间的缺口，点C与点D之间的缺口，即会存在不连续的实体边界线。因此，可以对不连续的实体边界线进行插点补充，让不连续的实体边界线变得连续，从而可以基于插点补充后的连续的实体边界线，生成边界地图。插点补充后的连续的实体边界线的生成的边界地图如图11所示。
在获得生成的边界地图后，可将该边界地图进行显示，具体显示时，若割草机器人存在显示界面，则可以是在割草机器人的显示界面进行显示，若割草机器人与智能终端通信连接，则可以发送至智能终端的用户界面进行显示，应当理解的是，该边界地图也可以是同时在割草机器人与智能终端的界面进行显示，以供用户进行确认。
若用户确认生成的边界地图无误，则可以通过割草机器人的触控界面或者智能终端的交互界面发出地图确认信息，割草机器人在接收到地图确认信息后，可将生成地图存储，完成最终的建图过程。
在将生成的地图存储后，可以提醒用户将设置在草坪上的标志物803移除，以方便割草机器人作业。视觉标志物移除后，割草机器人即可以在地图范围内进行割草作业。
应当理解的是，上述具体示例中，是以存在一个内边界802为例进行说明，在存在多个内边界的情况下，可以采用与上述相同的方式实现建图，本申请实施例不再赘述。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的智能作业设备的建图方法的智能作业设备的建图装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个智能作业设备的建图装置实施例中的具体限定可以参见上文中对于智能作业设备的建图方法的限定，在此不再赘述。
在一个实施例中，如图12所示，提供了一种智能作业设备的建图装置，包括：指令接收模块121、视觉处理模块122、行走控制模块123和地图生成模块124，其中：
指令接收模块121，用于接收建图指令；
视觉处理模块122，用于从实时拍摄的图像中，识别目标行走线，目标行走线为区域实体边界线和具有预设标志物信息的视觉引导线中的一种；
行走控制模块123，用于响应建图指令，控制智能作业设备沿视觉处理模块识别出的目标行走线行走，并在智能作业设备的行走过程中，若视觉处理模块从实时拍摄的图像中识别出视觉引导线，控制智能作业设备沿视觉引导线行走；
地图生成模块124，用于在智能作业设备行走至建图起点时，基于智能作业设备行走过程中记录的轨迹坐标生成地图。
一些实施例中，视觉处理模块122，用于从实时拍摄的图像中，识别出是否存在预设标志物；若存在预设标志物，基于识别出的预设标志物，确定出视觉引导线。
一些实施例中，视觉处理模块122，用于在识别出的预设标识物为视觉带时，将识别出的视觉带确定为视觉引导线；在识别出的预设标识物为两个以上的符合预设形状的标识物时，基于两个以上的标识物形成的连线确定视觉引导线。
一些实施例中，行走过程中记录的轨迹坐标包括：沿区域实体边界线行走的实体边界轨迹坐标，以及沿视觉引导线行走的引导线轨迹坐标；地图生成模块124，用于基于智能作业设备行走过程中记录的轨迹坐标，生成初始边界线，初始边界线包括：基于实体边界轨迹坐标生成的实体边界线，以及基于引导线轨迹坐标生成的引导边界线；删除距离在预设范围内、相互平行且行走方向相反的引导边界线对；基于删除了引导边界线对的初始边界线，生成边界地图。
一些实施例中，地图生成模块124，还用于对删除了引导边界线对的初始边界线中，不连续的实体边界线进行插点补充；基于插点补充后的连续的实体边界线，生成边界地图。
一些实施例中，地图生成模块124，还用于将生成的地图进行显示；在接收到针对地图的地图确认信息时，将生成的地图进行存储。
上述智能作业设备的建图装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于智能作业设备中的处理器中，也可以以软件形式存储于智能作业设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种智能作业设备，该智能作业设备的内部结构图可以如图13所示。该智能作业设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该智能作业设备的处理器用于提供计算和控制能力。该智能作业设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能作业设备的输入/输出接口用于处理器与外部设备之间交换信息。该智能作业设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种智能作业设备的建图方法。该智能作业设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该智能作业设备的输入装置可以是显示屏上覆盖的触摸层，也可以是智能作业设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的智能作业设备的限定，具体的智能作业设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能作业设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现如上所述的任一实施例中的智能作业设备的建图方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上所述的任一实施例中的智能作业设备的建图方法的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的任一实施例中的智能作业设备的建图方法的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种智能作业设备的建图方法，其特征在于，所述方法包括：
接收建图指令；
响应所述建图指令，从实时拍摄的图像中，识别目标行走线，所述目标行走线为区域实体边界线和具有预设标志物信息的视觉引导线中的一种；
控制所述智能作业设备沿识别出的所述目标行走线行走；
在所述智能作业设备的行走过程中，若从实时拍摄的图像中识别出视觉引导线，控制所述智能作业设备沿所述视觉引导线行走；
在所述智能作业设备行走至建图起点时，基于所述智能作业设备行走过程中记录的轨迹坐标生成地图。
2.根据权利要求1所述的方法，其特征在于，所述从实时拍摄的图像中，识别目标行走线，包括：
从所述实时拍摄的图像中，识别出是否存在预设标志物；
若存在预设标志物，基于识别出的预设标志物，确定出视觉引导线。
3.根据权利要求2所述的方法，其特征在于，所述基于识别出的预设标志物，确定出视觉引导线，包括：
若识别出的预设标识物为视觉带，将识别出的所述视觉带确定为视觉引导线；
若识别出的预设标识物为两个以上的符合预设形状的标识物，基于两个以上的所述标识物形成的连线确定视觉引导线。
4.根据权利要求1至3任意一项所述的方法，其特征在于，所述行走过程中记录的轨迹坐标包括：沿所述区域实体边界线行走的实体边界轨迹坐标，以及沿所述视觉引导线行走的引导线轨迹坐标；
所述基于所述智能作业设备行走过程中记录的轨迹坐标生成地图，包括：
基于所述智能作业设备行走过程中记录的轨迹坐标，生成初始边界线，所述初始边界线包括：基于所述实体边界轨迹坐标生成的实体边界线，以及基于所述引导线轨迹坐标生成的引导边界线；
删除距离在预设范围内、相互平行且行走方向相反的引导边界线对；
基于删除了所述引导边界线对的所述初始边界线，生成边界地图。
5.根据权利要求4所述的方法，其特征在于，所述基于删除了所述引导边界线对的所述初始边界线，生成边界地图，包括：
对所述删除了所述引导边界线对的所述初始边界线中，不连续的所述实体边界线进行插点补充；
基于所述插点补充后的连续的实体边界线，生成边界地图。
6.根据权利要求1至3任意一项所述的方法，其特征在于，在所述基于所述智能作业设备行走过程中记录的轨迹坐标生成地图之后，还包括：
将生成的所述地图进行显示；
在接收到针对所述地图的地图确认信息时，将生成的所述地图进行存储。
7.一种智能作业设备的建图装置，其特征在于，所述装置包括：
指令接收模块，用于接收建图指令；
视觉处理模块，用于从实时拍摄的图像中，识别目标行走线，所述目标行走线为区域实体边界线和具有预设标志物信息的视觉引导线中的一种；
行走控制模块，用于响应所述建图指令，控制所述智能作业设备沿所述视觉处理模块识别出的所述目标行走线行走，并在所述智能作业设备的行走过程中，若所述视觉处理模块从实时拍摄的图像中识别出视觉引导线，控制所述智能作业设备沿所述视觉引导线行走；
地图生成模块，用于在所述智能作业设备行走至建图起点时，基于所述智能作业设备行走过程中记录的轨迹坐标生成地图。
8.一种智能作业设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210822283.2A CN115265520A (zh) | 2022-07-13 | 2022-07-13 | 智能作业设备及其建图方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210822283.2A CN115265520A (zh) | 2022-07-13 | 2022-07-13 | 智能作业设备及其建图方法、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115265520A true CN115265520A (zh) | 2022-11-01 |
Family
ID=83764464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210822283.2A Pending CN115265520A (zh) | 2022-07-13 | 2022-07-13 | 智能作业设备及其建图方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115265520A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116399330A (zh) * | 2023-05-29 | 2023-07-07 | 未岚大陆(北京)科技有限公司 | 地图修改方法、装置、电子设备、存储介质和程序产品 |
| CN116704074A (zh) * | 2023-08-03 | 2023-09-05 | 松灵机器人(深圳)有限公司 | 边界地图构建方法、装置、系统和可读存储介质 |
-
2022
- 2022-07-13 CN CN202210822283.2A patent/CN115265520A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116399330A (zh) * | 2023-05-29 | 2023-07-07 | 未岚大陆(北京)科技有限公司 | 地图修改方法、装置、电子设备、存储介质和程序产品 |
| CN116399330B (zh) * | 2023-05-29 | 2023-08-15 | 未岚大陆(北京)科技有限公司 | 地图修改方法、装置、电子设备和存储介质 |
| CN116704074A (zh) * | 2023-08-03 | 2023-09-05 | 松灵机器人(深圳)有限公司 | 边界地图构建方法、装置、系统和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115265520A (zh) | 智能作业设备及其建图方法、装置和存储介质 | |
| CN108245888A (zh) | 虚拟对象控制方法、装置及计算机设备 | |
| KR101989089B1 (ko) | 클라우드 소싱 기반의 ａｒ 컨텐츠 템플릿을 수집하여 ａｒ 컨텐츠를 자동으로 생성하는 방법 및 시스템 | |
| CN109887003A (zh) | 一种用于进行三维跟踪初始化的方法与设备 | |
| CN114127837A (zh) | 内容提供系统和方法 | |
| CN110309236B (zh) | 地图中寻路的方法、装置、计算机设备和存储介质 | |
| CN113409441A (zh) | 建筑信息展示方法、装置、设备及计算机可读存储介质 | |
| WO2018076372A1 (zh) | 一种航点编辑方法、装置、设备及飞行器 | |
| CN114332417B (zh) | 一种多人场景交互的方法、设备、存储介质及程序产品 | |
| JP7393374B2 (ja) | 画像を処理するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム | |
| WO2021027967A1 (zh) | 一种路线确定方法、可行进设备、和存储介质 | |
| US20140267589A1 (en) | Free viewpoint video display apparatus | |
| CN107084740A (zh) | 一种导航方法和装置 | |
| US20220107704A1 (en) | Virtual paintbrush implementing method and apparatus, and computer readable storage medium | |
| CN115661371B (zh) | 三维对象建模方法、装置、计算机设备及存储介质 | |
| WO2022088819A1 (zh) | 视频处理方法、视频处理装置和存储介质 | |
| CN112057858B (zh) | 虚拟对象的控制方法、装置、设备及存储介质 | |
| CN113378605B (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
| CN107735648A (zh) | 导航期间的交通通知 | |
| WO2021093703A1 (zh) | 基于光通信装置的交互方法和系统 | |
| KR102189924B1 (ko) | ３ｄ 지도를 이용한 원격 위치 기반 ａｒ 저작 방법 및 시스템 | |
| CN115382208A (zh) | 三维指引地图生成方法、装置、存储介质和电子装置 | |
| Mulloni et al. | Enhancing handheld navigation systems with augmented reality | |
| CN113421213A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110334173A (zh) | 对象创建方法、装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |