CN113959444A - 用于无人设备的导航方法、装置、介质及无人设备 - Google Patents
用于无人设备的导航方法、装置、介质及无人设备 Download PDFInfo
- Publication number
- CN113959444A CN113959444A CN202111162555.2A CN202111162555A CN113959444A CN 113959444 A CN113959444 A CN 113959444A CN 202111162555 A CN202111162555 A CN 202111162555A CN 113959444 A CN113959444 A CN 113959444A
- Authority
- CN
- China
- Prior art keywords
- virtual
- environment
- unmanned
- map
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000000007 visual effect Effects 0.000 claims description 82
- 230000008569 process Effects 0.000 claims description 21
- 230000001133 acceleration Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims 2
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
Abstract
本公开涉及一种用于无人设备的导航方法、装置、介质及无人设备,所述方法包括:获取用于导航的目标环境的本地环境地图;基于所述本地环境地图,确定所述无人设备所处的初始位置;根据接收到的移动指令确定移动的目标位置,并向所述云端发送所述初始位置和所述目标位置,以使云端确定所述无人设备对应的虚拟设备在所述虚拟孪生环境中的虚拟初始位置和虚拟目标位置,并基于所述虚拟初始位置和虚拟目标位置,确定所述虚拟设备的移动路径,所述虚拟设备为在所述云端生成的、在所述虚拟孪生环境中与所述无人设备对应的虚拟设备;响应于接收到云端发送的所述移动路径,根据所述移动路径控制所述无人设备移动,以提升无人设备导航和路径规划的精确性。
Description
技术领域
本公开涉及无人设备控制领域,具体地,涉及一种用于无人设备的导航方法、装置、介质及无人设备。
背景技术
无人设备想要实现自主行走,则需要能够实现对无人设备的准确定位,在定位导航技术中通常导航地图构建的质量也将直接影响无人设备的导航路径。
相关技术中,通常是在无人设备到达一个新的环境时,控制该无人设备在该环境中进行移动扫描,以在该移动扫描的过程中采集环境信息,生成导航地图控制无人设备的后续移动。而在上述过程中需要无人设备根据地图进行路径规划,降低无人设备导航准确度和导航效率。
发明内容
本公开的目的是提供一种高精度的用于无人设备的导航方法、装置、介质及无人设备。
为了实现上述目的,根据本公开的第一方面,提供一种用于无人设备的导航方法,应用于无人设备,所述方法包括:
获取用于导航的目标环境的本地环境地图,其中,所述本地环境地图由所述无人设备对所述目标环境进行扫描所得的信息生成,或者所述本地环境地图是根据云端在与所述目标环境对应的虚拟孪生环境构建的虚拟环境地图同步所得;
基于所述本地环境地图,确定所述无人设备所处的初始位置;
根据接收到的移动指令确定移动的目标位置,并向所述云端发送所述初始位置和所述目标位置,以使云端确定所述无人设备对应的虚拟设备在所述虚拟孪生环境中的虚拟初始位置和虚拟目标位置,并基于所述虚拟初始位置和虚拟目标位置,确定所述虚拟设备的移动路径,其中,所述虚拟设备为在所述云端生成的、在所述虚拟孪生环境中与所述无人设备对应的虚拟设备;
响应于接收到云端发送的所述移动路径,根据所述移动路径控制所述无人设备移动。
可选地,所述本地环境地图是根据云端在与所述目标环境对应的虚拟孪生环境构建的虚拟环境地图同步所得;
所述方法还包括:
在控制所述无人设备移动的过程中,根据所述无人设备采集的环境信息对所述本地环境地图进行更新。
可选地,所述本地环境地图是根据云端在与所述目标环境对应的虚拟孪生环境构建的虚拟环境地图同步所得;所述虚拟环境地图通过以下方式确定:
获取所述目标环境的环境数据信息;
基于所述环境数据信息进行三维空间重建,获得所述目标环境对应的虚拟孪生环境;
在所述虚拟孪生环境中生成与所述无人设备对应的所述虚拟设备;
控制虚拟设备遍历所述虚拟孪生环境,并基于所述虚拟设备中的虚拟传感器对所述虚拟孪生环境中的特征信息进行采集,以根据所述特征信息生成所述虚拟环境地图。
可选地,所述虚拟环境地图包括栅格图和视觉特征图,所述虚拟传感器包括虚拟激光雷达和虚拟视觉相机;
所述基于所述虚拟设备中的虚拟传感器对所述虚拟孪生环境中的特征信息进行采集,以根据所述特征信息生成所述虚拟环境地图,包括:
基于所述虚拟激光雷达采集所述虚拟孪生环境对应的激光点云特征信息,并根据所述激光点云特征信息生成所述栅格图;
基于所述虚拟视觉相机采集所述虚拟孪生环境对应的位姿特征信息和视觉图像特征信息,并根据所述位姿特征信息和所述视觉图像特征信息生成所述视觉特征图。
可选地,所述本地环境地图由所述无人设备对所述目标环境进行扫描所得的信息生成;所述本地环境地图包括栅格图和视觉特征图;
所述本地环境地图通过如下方式生成:
基于所述无人设备中设置的激光雷达采集所述目标环境对应的激光点云特征信息,并根据所述激光点云特征信息生成所述栅格图;
基于所述无人设备中设置的视觉相机采集所述目标环境对应的位姿特征信息和视觉图像特征信息,并根据所述位姿特征信息和所述视觉图像特征信息生成所述视觉特征图。
可选地,所述在控制所述无人设备移动的过程中,根据所述无人设备采集的环境信息对所述本地环境地图进行更新,包括:
在所述无人设备移动的过程中,按照预设时间间隔控制所述无人设备采集所述目标环境的环境信息;
根据所述环境信息和所述本地环境地图对所述无人设备进行定位,确定所述无人设备的移动位置;
根据所述无人设备在所述移动位置采集到的环境信息、与所述本地环境地图进行对比,根据对比结果对所述本地环境地图进行更新。
可选地,所述虚拟环境地图包括栅格图和视觉特征图,所述根据所述环境信息和所述本地环境地图对所述无人设备进行定位,确定所述无人设备的移动位置,包括:
获取所述无人设备在所处位置对应的激光点云信息和视觉图像信息;
根据所述激光点云信息和所述栅格图确定第一位置;
根据所述视觉图像信息和所述视觉特征图确定第二位置;
根据所述第一位置和所述第二位置,确定所述移动位置。
可选地,所述根据所述第一位置和所述第二位置,确定所述移动位置,包括:
确定所述第一位置和所述第二位置分别对应的位置置信度,并将位置置信度大的位置确定为所述移动位置。
可选地,所述方法还包括:
获取所述无人设备的加速度信息和旋转角度信息;
根据上一移动位置、所述加速度信息、旋转角度信息以及所述本地环境地图确定第三位置;
所述根据所述第一位置和所述第二位置,确定所述移动位置,还包括:
在确定出的移动位置与所述第三位置的距离大于距离阈值的情况下,将所述第三位置确定为所述移动位置。
根据本公开的第二方面,提供一种用于无人设备的导航方法,应用于云端,所述方法包括:
获取用于导航的目标环境的环境数据信息;
基于所述环境数据信息进行三维空间重建,获得所述目标环境对应的虚拟孪生环境;
在所述虚拟孪生环境中生成与所述目标环境中的无人设备对应的虚拟设备;
控制所述虚拟设备遍历所述虚拟孪生环境,并基于所述虚拟设备中的虚拟传感器对所述虚拟孪生环境中的特征信息进行采集,以根据所述特征信息生成所述虚拟环境地图;
响应于接收到的初始位置和目标位置,确定所述无人设备对应的虚拟设备在所述虚拟孪生环境中的虚拟初始位置和虚拟目标位置,并基于所述虚拟初始位置和虚拟目标位置,确定所述虚拟设备的移动路径;
向所述无人设备发送所述移动路径。
根据本公开的第三方面,提供一种用于无人设备的导航装置,应用于所述无人设备,所述装置包括:
第一获取模块,用于获取用于导航的目标环境的本地环境地图,其中,所述本地环境地图由所述无人设备对所述目标环境进行扫描所得的信息生成,或者所述本地环境地图是根据云端在与所述目标环境对应的虚拟孪生环境构建的虚拟环境地图同步所得;
第一确定模块,用于基于所述本地环境地图,确定所述无人设备所处的初始位置;
第一发送模块,用于根据接收到的移动指令确定移动的目标位置,并向所述云端发送所述初始位置和所述目标位置,以使云端确定所述无人设备对应的虚拟设备在所述虚拟孪生环境中的虚拟初始位置和虚拟目标位置,并基于所述虚拟初始位置和虚拟目标位置,确定所述虚拟设备的移动路径,其中,所述虚拟设备为在所述云端生成的、在所述虚拟孪生环境中与所述无人设备对应的虚拟设备;
控制模块,用于响应于接收到云端发送的所述移动路径,根据所述移动路径控制所述无人设备移动。
根据本公开的第四方面,提供一种用于无人设备的导航装置,应用于云端,所述装置包括:
第三获取模块,用于获取用于导航的目标环境的环境数据信息;
重建模块,用于基于所述环境数据信息进行三维空间重建,获得所述目标环境对应的虚拟孪生环境;
生成模块,用于在所述虚拟孪生环境中生成与所述目标环境中的无人设备对应的虚拟设备;
采集模块,用于控制所述虚拟设备遍历所述虚拟孪生环境,并基于所述虚拟设备中的虚拟传感器对所述虚拟孪生环境中的特征信息进行采集,以根据所述特征信息生成所述虚拟环境地图;
第三确定模块,用于响应于接收到的初始位置和目标位置,确定所述无人设备对应的虚拟设备在所述虚拟孪生环境中的虚拟初始位置和虚拟目标位置,并基于所述虚拟初始位置和虚拟目标位置,确定所述虚拟设备的移动路径;
第二发送模块,用于向所述无人设备发送所述移动路径。
根据本公开的第五方面,提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面或第二方面任一所述方法的步骤。
根据本公开的第六方面,提供一种无人设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现第一方面或第二方面任一所述方法的步骤。
在上述技术方案中,无人设备自身生成或者从云端获取用于导航的目标环境的本地环境地图,从而可以将确定出的所述无人设备所处的初始位置以及移动的目标位置发送至云端,以使云端确定所述无人设备对应的虚拟设备在所述虚拟孪生环境中的虚拟初始位置和虚拟目标位置,并基于所述虚拟初始位置和虚拟目标位置,确定无人设备的移动路径,之后无人设备响应于接收到云端发送的所述移动路径,根据所述移动路径控制所述无人设备移动。由此,通过上述技术方案,无人设备可以将其初始位置和目标位置发送至云端,以由云端基于虚孪生环境生成虚拟设备,基于该虚拟设备的信息生成无人设备的移动路径,一方面可以有效降低路径规划对无人设备本身性能的要求,同时基于虚拟孪生环境和虚拟设备可以对无人设备的移动路径进行实时显示和监控,进一步保证无人设备导航的准确性,提升使用体验。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据本公开的一种实施方式提供的用于无人设备的导航方法的流程图;
图2是根据本公开的一种实施方式提供的激光栅格图的示意图;
图3是根据本公开的一种实施方式提供的视觉特征图的示意图;
图4是根据本公开的一种实施方式提供的用于无人设备的导航装置的框图;
图5是根据一示例性实施例示出的一种无人设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
图1所示,为根据本公开的一种实施方式提供的用于无人设备的导航方法的流程图,如图1所示,所述方法可以包括:
在步骤11中,获取用于导航的目标环境的本地环境地图,其中,所述本地环境地图由所述无人设备对所述目标环境进行扫描所得的信息生成,或者所述本地环境地图是根据云端在与所述目标环境对应的虚拟孪生环境构建的虚拟环境地图同步所得。
示例地,该目标环境可以是该无人设备所服务的环境,如酒店、校园等环境,无人设备可以是机器人或者无人配送设备等。在该实施例中,可以预先设置无人设备对应的目标环境,从而其可以与云端进行通信。
作为示例,可以直接将该无人设备放置在该目标环境中,从而可以控制该无人设备在目标环境进行移动扫描,从而获得所述本地环境地图。作为示例,在本地创建本地环境地图后,可以将该本地环境地图发送至云端,以为云端提供环境地图。
作为另一示例,无人设备可以从云端同步其定位所需的环境地图,并将该环境地图保存在本地,以获得该本地环境地图。在该实施例中,在针对一个环境进行地图创建时,无需每一个无人设备对环境进行扫描以分别进行建图,只需要对目标环境进行一次扫描在云端生成该目标环境对应的虚拟孪生环境,进而可以基于该虚拟孪生环境进行环境地图的构建,从而有效降低建图的次数。
在步骤12中,基于本地环境地图,确定无人设备所处的初始位置。
示例地,在获得本地环境地图后,则可以通过无人设备获得其所处位置的环境特征,从而基于该环境特征与该本地环境地图进行定位。例如,可以基于无人设备上安装的视觉相机进行环境图像拍摄,从而可以基于拍摄的环境图像进行图像识别,获得该无人设备所处位置的环境图像特征,通过将该环境图像特征与该本地环境地图中的特征进行对比,根据匹配到的特征确定该初始位置。
在步骤13中,根据接收到的移动指令确定移动的目标位置,并向云端发送初始位置和目标位置,以使云端确定所述无人设备对应的虚拟设备在所述虚拟孪生环境中的虚拟初始位置和虚拟目标位置,并基于所述虚拟初始位置和虚拟目标位置,确定所述虚拟设备的移动路径,其中,所述虚拟设备为在所述云端生成的、在所述虚拟孪生环境中与所述无人设备对应的虚拟设备。
示例地,可以通过预设的APP界面触发该移动指令,例如输入移动的目标地点即该目标位置,也可以显示当前目标环境,用户可以在目标环境中通过点选的方式触发移动指令,其选择的位置即为该目标位置;又例如,可以通过语音输入触发该移动指令,即用户通过语音“请将桌子上的书XX拿给我”,则无人设备接收到该语音,通过语音识别确定“桌子上的书XX”的位置为目标位置。
之后,该无人设备将其初始位置和目标位置发送至云端,以由云端对其进行路径规划,无需在无人设备端进行计算,降低对无人设备处理的高要求,提高该导航方法的适用范围。示例地,云端在接收到初始位置和目标位置后,可以在虚拟孪生环境中生成与该无人设备对应的虚拟设备,之后则可以分别将该初始位置和目标位置映射至虚拟孪生环境中,获得虚拟设备对应的虚拟初始位置和虚拟目标位置,从而可以基于本领域中常用的路径规划方法确定出该虚拟设备从虚拟初始位置到达该虚拟目标位置的路径,虚拟设备在虚拟孪生环境中的移动路径与所述无人设备在所述目标环境中的移动路径相同。示例地,可以基于用户预先设置的路径选择要求确定出移动路径,例如该路径选择要求可以是路径最短、时间最短、无人设备能耗最小等,本公开对此不进行限定。
在步骤14中,响应于接收到云端发送的移动路径,根据移动路径控制无人设备移动。
示例地,可以根据云端确定出的移动路径,控制无人设备沿该移动路径的指示进行移动。作为示例,在控制无人设备沿移动路径进行移动的过程中,可以间隔预设时段对无人设备所处的位置进行定位,以便于对该无人设备的移动路径进行实时监控和纠正。
由此,在上述技术方案中,无人设备自身生成或者从云端获取用于导航的目标环境的本地环境地图,从而可以将确定出的所述无人设备所处的初始位置以及移动的目标位置发送至云端,以使云端确定所述无人设备对应的虚拟设备在所述虚拟孪生环境中的虚拟初始位置和虚拟目标位置,并基于所述虚拟初始位置和虚拟目标位置,确定无人设备的移动路径,之后无人设备响应于接收到云端发送的所述移动路径,根据所述移动路径控制所述无人设备移动。由此,通过上述技术方案,无人设备可以将其初始位置和目标位置发送至云端,以由云端基于虚孪生环境生成虚拟设备,基于该虚拟设备的信息生成无人设备的移动路径,一方面可以有效降低路径规划对无人设备本身性能的要求,同时基于虚拟孪生环境和虚拟设备可以对无人设备的移动路径进行实时显示和监控,进一步保证无人设备导航的准确性,提升使用体验。
在一种可能的实施例中,所述本地环境地图是根据云端在与所述目标环境对应的虚拟孪生环境构建的虚拟环境地图同步所得;
所述方法还包括:
在控制无人设备移动的过程中,根据无人设备采集的环境信息对本地环境地图进行更新。
其中,云端构建的环境地图是基于对现实的目标环境进行虚拟化获得的虚拟孪生环境构建出的,现实环境中部分物体的摆放的变化难以实时的映射到该虚拟孪生环境中,从而使得本地环境地图与该现实的目标环境有所偏差。因此,在该实施例中,在控制无人设备移动的过程中,该无人设备可以对其移动过程中经过的环境进行环境信息采集,例如,可以无人设备上安装的激光雷达传感器采集环境的激光点云数据,基于3D深度相机获得视觉图像数据,从而可以基于采集到的信息与本地环境地图进行对比,并对其本地环境地图进行更新,以提高该本地环境地图与该无人设备的适配性。
由此,通过上述技术方案,可以通过在云端构建出适用于该目标环境中的各个无人设备导航的虚拟环境地图,实现环境地图的云端共享,无需新加入目标环境中的每一无人设备重复进行环境地图的构建,节省无人设备进行环境地图构建所需的数据量,并且可以在一定程度上提高导航地图的准确性;同时便于对环境地图的统一管理,提高无人设备导航的准确性和全面性。并且可以基于每一无人设备在移动过程中的采集信息对其本地环境地图进行更新,从而可以进一步提高该本地环境地图与该无人设备的适配性,提升无人设备导航和路径规划的精确性,并且可以扩展该导航方法的使用范围。
在一种可能的实施例中,所述本地环境地图是根据云端在与所述目标环境对应的虚拟孪生环境构建的虚拟环境地图同步所得;所述虚拟环境地图通过以下方式确定:
获取所述目标环境的环境数据信息;
基于所述环境数据信息进行三维空间重建,获得所述目标环境对应的虚拟孪生环境。
其中,该环境数据信息可以是通过激光雷达和3D视觉工具(如多线激光以及IMU(Inertial Measurement Unit,惯性测量单元)等传感器)等对该目标环境的进行信息采集获得的特征数据,之后对该特征数据进行后处理,以删除掉其中重复的信息,并将对应于同一位置的特征数据进行整合,形成该现实的目标环境的3D稠密点云数据,之后则可以基于该3D稠密点云数据进行三维空间渲染重建,获得该虚拟孪生环境。
示例地,可以基于单目相机采集到的原始图像、对应的深度图,以及对应的相机位姿等数据进行拼接点云生成三维稠密点云地图,其中,可以通过MVS(Multiple ViewStereo,稠密重建)算法逐像素的计算图像中每一个像素点对应的三维点,得到图像中物体表面密集的三维点云,其具体计算方式在此不再赘述。
作为另一示例,也可以基于已有的无人设备扫描上传的目标场景的3D模型图上传到云端,该3D模型图可以经过渲染的3D装修布局效果图,从而可以基于该3D模型形成3D数字孪生的仿真环境,其中可以基于现有的数字孪生技术进行仿真构建,本公开对此不进行限定。
作为另一示例,可以通过物理无人设备在目标环境中进行扫描,将采集到的原始3D点云数据和RGB图像数据上传到云端,在云端则可以基于3D点云和RGB图像信息对环境进行3D重建,基于3D重建场景进行场景的语义分割以形成与目标环境对应的数字孪生环境,其中可以通过神经网络预训练语义分割的模型,从而可以实现基于图像的语义分割,实现3D重建。
在所述虚拟孪生环境中生成与所述无人设备对应的虚拟设备。作为示例,可以基于无人设备上设置的多个传感器进行虚拟生成,从而生成与该无人设备具有相同的信息采集传感器的虚拟设备。作为另一示例,可以在该虚拟孪生环境中生成与该无人设备相同的虚拟设备,如该虚拟设备为孪生无人设备,该孪生无人设备可以对物理无人设备的物理传感器参数进行仿真模拟,即孪生无人设备上虚拟设置有虚拟激光雷达、虚拟3D相机等,从而可以和物理无人设备获得同样的采集参数,使得孪生无人设备的虚拟传感器尽可能与物理无人设备的仿真效果更接近,提高信息采集的准确性。
之后,控制虚拟设备遍历所述虚拟孪生环境,并基于所述虚拟设备中的虚拟传感器对所述虚拟孪生环境中的特征信息进行采集,以根据所述特征信息生成所述虚拟环境地图。
示例地,可以控制虚拟设备在该虚拟孪生环境中进行移动从而采集虚拟孪生环境的特征信息,该虚拟设备可以通过其虚拟的多传感器获得激光雷达的距离、角分辨率、扫描频率等,以及3D视觉相机的内部参数等特征信息,从而基于该虚拟设备采集到的特征信息生成所述虚拟环境地图。
由此,通过上述技术方案,可以通过对现实的目标环境进行数字孪生生成,从而获得虚拟孪生环境,同时可以对物理无人设备进行虚拟获得虚拟设备,之后,控制虚拟设备对该虚拟孪生环境进行扫描以进行建图,一方面无需控制物理无人设备进行移动扫描,提高环境扫描的效率,另一方面,只需要进行一次环境扫描,则可以针对目标环境进行建图,获得适用于多个无人设备的环境地图,无需每一无人设备进行环境信息扫描采集,提高该方法的使用范围,同时采集信息的精度不再受无人设备的传感器精度限制,从而可以为精度较低的无人设备提供高精度的环境地图,提高其进行导航的准确性和效率。
在一种可能的实施例中,所述虚拟环境地图包括栅格图和视觉特征图,所述虚拟传感器包括虚拟激光雷达和虚拟视觉相机;
所述基于所述虚拟设备中的虚拟传感器对所述虚拟孪生环境中的特征信息进行采集,以根据所述特征信息生成所述虚拟环境地图的示例性实现方式如下,该步骤可以包括:
基于所述虚拟激光雷达采集所述虚拟孪生环境对应的激光点云特征信息,并根据所述激光点云特征信息生成所述栅格图;
作为示例,可以通过SLAM建图算法基于获得的激光点云特征信息进行建图,以获得用于定位的激光栅格图(GridMap),如图2所示。其中,栅格图本质上为位图图片,该位图图片中每个“像素”表示了现实的目标环境中存在障碍物的概率分布,从而可以基于该栅格图确定出目标环境中的可通行部分。如图2所示,其中存在障碍物的概率越大颜色越深,则其中的白色的部分可以用于表示不存在障碍物的部分,即可通行部分;黑色的部分则用于表示存在障碍物的部分,即不可通行部分。
基于所述虚拟视觉相机采集所述虚拟孪生环境对应的位姿特征信息和视觉图像特征信息,并根据所述位姿特征信息和所述视觉图像特征信息生成所述视觉特征图。
作为另一示例,可以基于vSLAM的时间建图算法根据该3D视觉相机采集的视觉图像确定该视觉特征图(FeatureMap),示例地,可以根据虚拟设备采集过程中的定位点和位姿特征信息,获得该定位点和位姿特征信息对应的视觉图像,基于该视觉图像进行特征点提取,从而获得视觉特征图,之后基于各个定位点和位姿特征信息进行特征拼接,获得的整体视觉特征图如图3所示,其中的各个点即为确定出的视觉特征图中的特征点。其中,可以预训练一特征点提取模型,该模型可以为神经网络模型,则可以将该视觉特征图输入该特征点提取模型,从而获得特征图。
由此,通过上述技术方案,可以通过虚拟设备在虚拟孪生环境中采集到的信息生成栅格图和视觉特征图,其中栅格图可以用于表示该目标环境中的障碍物情况,从而确定目标环境中的可通行路径,视觉特征图用于确定目标环境中各个部分的特征点,从而实现特征比对以确定某一物体的位置,从而结合上述栅格图和视觉特征图可以准确确定目标环境中的目标物体的位置,同时为确定无人设备移动至目标物体的位置提供准确的数据支持,提升导航的准确性和效率,提升用户使用体验。
在一种可能的实施例中,所述本地环境地图由所述无人设备对所述目标环境进行扫描所得的信息生成;所述本地环境地图包括栅格图和视觉特征图;
所述本地环境地图通过如下方式生成:
基于所述无人设备中设置的激光雷达采集所述目标环境对应的激光点云特征信息,并根据所述激光点云特征信息生成所述栅格图;
基于所述无人设备中设置的视觉相机采集所述目标环境对应的位姿特征信息和视觉图像特征信息,并根据所述位姿特征信息和所述视觉图像特征信息生成所述视觉特征图。
其中,生成栅格图和视觉特征图的具体方式已在上文进行详述,在此不再赘述。在该实施例中,可以直接基于该无人设备自身设置的部件对目标环境进行扫描,从而可以获得目标环境中的实际环境信息,保证用于构建本地环境地图的信息与该实际环境以及该无人设备的匹配性,为后续基于该本地环境地图进行定位提供准确的数据支持,提高确定出的无人设备定位的准确性,进而保证对无人设备导航的准确性和有效性。
在一种可能的实施例中,在控制所述无人设备移动的过程中,根据所述无人设备采集的环境信息对所述本地环境地图进行更新的示例性实现方式如下,该步骤可以包括:
在所述无人设备移动的过程中,按照预设时间间隔控制所述无人设备采集目标环境的环境信息。
其中,所述环境信息可以是目标环境中的视觉图像,示例地,可以基于无人设备上安装的视觉相机进行拍摄,从而获取其当前所处位置的环境图像。又例如,所述环境信息可以是目标环境中的障碍物信息,示例地,可以基于无人设备上安装的激光雷达进行监测拍摄,从而获取其当前所处位置的障碍物信息。
根据所述环境信息和所述本地环境地图对所述无人设备进行定位,确定所述无人设备的移动位置。
其中,该移动位置即为无人设备在移动过程中的实时位置。作为一种可能的实施例,可以通过将采集的环境信息与本地环境地图中的特征进行对比,从而获得本地环境地图中与该环境信息匹配的特征以及匹配度,将对应的匹配度最高的特征的位置确定为该移动位置。
根据所述无人设备在所述移动位置采集到的环境信息、与所述本地环境地图进行对比,根据对比结果对所述本地环境地图进行更新。
示例地,目标环境中可能会由于物品摆放的变化而导致虚拟环境地图与现实的环境地图之间有所偏差,则可以在确定出无人设备的当前位置后,可以进一步地基于无人设备当前的方向获得本地环境地图中该无人设备视野中的图像,并将该图像与该无人设备在该位置采集到的实时的环境信息的特征进行对比,若两者一致,则保持本地环境地图不变,若两者不一致,则以该无人设备在该位置采集到的实时的环境信息的特征更新该本地环境地图中的相对应的位置的特征,从而保证该本地环境地图与当前现实的目标环境中的特征相一致,从而可以在无人设备的移动过程中对本地环境地图进行更新,进一步提高本地环境地图的准确性的同时节省无人设备的操作,同时可以为后续无人设备的导航提供更加准确的数据支持。
在一种可能的实施例中,在本地环境地图更新后,可以将该本地环境地图发送至云端,以由云端基于该更新的本地环境地图对虚拟环境地图进行更新。
在一种可能的实施例中,所述虚拟环境地图包括栅格图和视觉特征图,所述根据所述环境信息和所述本地环境地图对所述无人设备进行定位,确定所述无人设备的移动位置的示例性实现方式如下,该步骤可以包括:
获取所述无人设备在所处位置对应的激光点云信息和视觉图像信息。其中,上述信息的获取方式已在上文进行详述,在此不再赘述。
根据所述激光点云信息和所述栅格图确定第一位置,其中,可以根据无人设备在当前位置采集的激光点云信息和该栅格图中的各个栅格的特征进行对比,从而确定出该栅格图中与该激光点云信息匹配的栅格,将匹配度最高的栅格的位置确定为该第一位置。
根据所述视觉图像信息和所述视觉特征图确定第二位置。同样地,可以根据无人设备在当前位置采集的视觉图像信息进行特征提取获得实时特征点,并将该实时特征点与视觉特征图中的特征点进行对比,从而确定出该视觉特征图中与该实时特征点匹配的特征点,将匹配度最高的特征点的位置确定为该第二位置。
根据所述第一位置和所述第二位置,确定所述移动位置。
由此,通过上述技术方案,在无人设备的移动过程中对无人设备进行实时定位时,可以同时结合栅格图和视觉特征图对该其进行定位,通过多角度的定位可以保证该无人设备移动位置的准确性,并且可以实时掌握无人设备的移动位置,便于对无人设备的移动路径的控制,以便于对该无人设备进行局部路径控制,使其按照移动路径进行移动,保证无人设备导航的准确性和效率。
在一种可能的实施例中,所述根据所述第一位置和所述第二位置,确定所述移动位置可以包括:
确定所述第一位置和所述第二位置分别对应的位置置信度,并将位置置信度大的位置确定为所述移动位置。
作为示例,可以将确定第一位置和第二位置时其分别对应的匹配度作为其分别对应的位置置信度,从而在第一位置对应的位置置信度大于第二位置对应的位置置信度时,可以直接将该第一位置作为该移动位置,在第一位置对应的位置置信度小于第二位置对应的位置置信度时,可以直接将该第二位置作为该移动位置。由此,在基于栅格图和视觉特征图对无人设备的位置进行实时确定时,可以将其中更加准确的位置作为该无人设备的移动位置,结合两种地图进行定位,以进一步提高无人设备移动位置的准确性,为控制该无人设备顺利移动到目标位置提供数据支持。
在一种可能的实施例中,所述方法还可以包括:
获取所述无人设备的加速度信息和旋转角度信息。其中,可以通过无人设备上安装的惯性传感器对该加速度信息和旋转角度信息进行采集。
根据上一移动位置、所述加速度信息、旋转角度信息以及所述本地环境地图确定第三位置。
其中,由于无人设备的移动路径具有连续性,因此,在无人设备移动过程中,可以根据所述加速度信息和旋转角度信息确定无人设备的局部移动路径,从而可以基于上一移动位置、该局部移动路径和本地环境地图确定出基于上一移动位置预测出的当前位置,即该第三位置。
所述根据所述第一位置和所述第二位置,确定所述移动位置的另一示例性实现方式如下,该步骤还可以包括:
在确定出的移动位置与所述第三位置的距离大于距离阈值的情况下,将所述第三位置确定为所述移动位置。
其中,该第三位置与基于上一移动位置预测出的当前位置,若确定出的移动位置与所述第三位置的距离大于距离阈值,表示该确定出的当前位置与基于上一移动位置确定出的当前位置的偏差较大,此时,可以将该基于上一移动位置确定出的当前位置,即该第三位置确定为该移动位置。由此,通过上述技术方案,可以在一定程度上提高无人设备移动过程中定位的连续性,符合无人设备实际的移动路线,从而可以在一定程度上提高无人设备导航的准确性,使得无人设备导航的移动路径与实际环境相匹配,也可以提供机器移动控制的准确性,提升用户使用体验。
基于同样地发明构思,本公开还提供一种用于无人设备的导航方法,该方法应用于云端,所述方法包括:
获取用于导航的目标环境的环境数据信息;
基于所述环境数据信息进行三维空间重建,获得所述目标环境对应的虚拟孪生环境;
在所述虚拟孪生环境中生成与所述目标环境中的无人设备对应的虚拟设备;
控制所述虚拟设备遍历所述虚拟孪生环境,并基于所述虚拟设备中的虚拟传感器对所述虚拟孪生环境中的特征信息进行采集,以根据所述特征信息生成所述虚拟环境地图;
响应于接收到的初始位置和目标位置,确定所述无人设备对应的虚拟设备在所述虚拟孪生环境中的虚拟初始位置和虚拟目标位置,并基于所述虚拟初始位置和虚拟目标位置,确定所述虚拟设备的移动路径;
向所述无人设备发送所述移动路径。
其中,上述步骤的具体实现过程已在上文进行详述,在此不再赘述。由此,通过上述技术方案,可以在云端构建出适用于该目标环境中的各个无人设备导航的虚拟环境地图,实现环境地图的云端共享,无需新加入目标环境中的每一无人设备重复进行环境地图的构建,节省无人设备进行环境地图构建所需的数据量,并且可以在一定程度上提高导航地图的准确性;同时便于对环境地图的统一管理,提高无人设备导航的准确性和全面性。并且,通过云端对云端基于虚孪生环境生成虚拟设备,基于该虚拟设备的信息生成无人设备的移动路径,一方面可以有效降低路径规划对无人设备本身性能的要求,同时基于虚拟孪生环境和虚拟设备可以对无人设备的移动路径进行实时显示和监控,进一步保证无人设备导航的准确性,提升使用体验。
本公开还提供一种用于无人设备的导航装置,如图4所示,应用于无人设备,所述装置10包括:
第一获取模块100,用于获取用于导航的目标环境的本地环境地图,其中,所述本地环境地图由所述无人设备对所述目标环境进行扫描所得的信息生成,或者所述本地环境地图是根据云端在与所述目标环境对应的虚拟孪生环境构建的虚拟环境地图同步所得;
第一确定模块200,用于基于所述本地环境地图,确定所述无人设备所处的初始位置;
第一发送模块300,用于根据接收到的移动指令确定移动的目标位置,并向所述云端发送所述初始位置和所述目标位置,以使云端确定所述无人设备对应的虚拟设备在所述虚拟孪生环境中的虚拟初始位置和虚拟目标位置,并基于所述虚拟初始位置和虚拟目标位置,确定所述虚拟设备的移动路径,其中,所述虚拟设备为在所述云端生成的、在所述虚拟孪生环境中与所述无人设备对应的虚拟设备;
控制模块400,用于响应于接收到云端发送的所述移动路径,根据所述移动路径控制所述无人设备移动。
可选地,所述本地环境地图是根据云端在与所述目标环境对应的虚拟孪生环境构建的虚拟环境地图同步所得;
所述装置还包括:
更新模块,用于在控制所述无人设备移动的过程中,根据所述无人设备采集的环境信息对所述本地环境地图进行更新。
可选地,所述本地环境地图是根据云端在与所述目标环境对应的虚拟孪生环境构建的虚拟环境地图同步所得;所述虚拟环境地图通过构图模块确定,所述构图模块包括:
第一获取子模块,用于获取所述目标环境的环境数据信息;
重建子模块,用于基于所述环境数据信息进行三维空间重建,获得所述目标环境对应的虚拟孪生环境;
第一生成子模块,用于在所述虚拟孪生环境中生成与所述无人设备对应的虚拟设备;
第二生成子模块,用于控制虚拟设备遍历所述虚拟孪生环境,并基于所述虚拟设备中的虚拟传感器对所述虚拟孪生环境中的特征信息进行采集,以根据所述特征信息生成所述虚拟环境地图。
可选地,所述虚拟环境地图包括栅格图和视觉特征图,所述虚拟传感器包括虚拟激光雷达和虚拟视觉相机;
所述第二生成子模块包括:
第三生成子模块,用于基于所述虚拟激光雷达采集所述虚拟孪生环境对应的激光点云特征信息,并根据所述激光点云特征信息生成所述栅格图;
第四生成子模块,用于基于所述虚拟视觉相机采集所述虚拟孪生环境对应的位姿特征信息和视觉图像特征信息,并根据所述位姿特征信息和所述视觉图像特征信息生成所述视觉特征图。
可选地,所述本地环境地图由所述无人设备对所述目标环境进行扫描所得的信息生成;所述本地环境地图包括栅格图和视觉特征图;
所述本地环境地图通过如下方式生成:
基于所述无人设备中设置的激光雷达采集所述目标环境对应的激光点云特征信息,并根据所述激光点云特征信息生成所述栅格图;
基于所述无人设备中设置的视觉相机采集所述目标环境对应的位姿特征信息和视觉图像特征信息,并根据所述位姿特征信息和所述视觉图像特征信息生成所述视觉特征图。
可选地,所述更新模块包括:
采集子模块,用于在所述无人设备移动的过程中,按照预设时间间隔控制所述无人设备采集所述目标环境的环境信息;
第一确定子模块,用于根据所述环境信息和所述本地环境地图对所述无人设备进行定位,确定所述无人设备的移动位置;
更新子模块,用于根据所述无人设备在所述移动位置采集到的环境信息、与所述本地环境地图进行对比,根据对比结果对所述本地环境地图进行更新。
可选地,所述虚拟环境地图包括栅格图和视觉特征图,所述第一确定子模块包括:
第二获取子模块,用于获取所述无人设备在所处位置对应的激光点云信息和视觉图像信息;
第二确定子模块,用于根据所述激光点云信息和所述栅格图确定第一位置;
第三确定子模块,用于根据所述视觉图像信息和所述视觉特征图确定第二位置;
第四确定子模块,用于根据所述第一位置和所述第二位置,确定所述移动位置。
可选地,所述第四确定子模块包括:
第五确定子模块,用于确定所述第一位置和所述第二位置分别对应的位置置信度,并将位置置信度大的位置确定为所述移动位置。
可选地,所述装置还包括:
第二获取模块,用于获取所述无人设备的加速度信息和旋转角度信息;
第二确定模块,用于根据上一移动位置、所述加速度信息、旋转角度信息以及所述本地环境地图确定第三位置;
所述第四确定子模块还包括:
第六确定子模块,用于在确定出的移动位置与所述第三位置的距离大于距离阈值的情况下,将所述第三位置确定为所述移动位置。
本公开还提供一种用于无人设备的导航装置,应用于云端,所述装置包括:
第三获取模块,用于获取用于导航的目标环境的环境数据信息;
重建模块,用于基于所述环境数据信息进行三维空间重建,获得所述目标环境对应的虚拟孪生环境;
生成模块,用于在所述虚拟孪生环境中生成与所述目标环境中的无人设备对应的虚拟设备;
采集模块,用于控制所述虚拟设备遍历所述虚拟孪生环境,并基于所述虚拟设备中的虚拟传感器对所述虚拟孪生环境中的特征信息进行采集,以根据所述特征信息生成所述虚拟环境地图;
第三确定模块,用于响应于接收到的初始位置和目标位置,确定所述无人设备对应的虚拟设备在所述虚拟孪生环境中的虚拟初始位置和虚拟目标位置,并基于所述虚拟初始位置和虚拟目标位置,确定所述虚拟设备的移动路径;
第二发送模块,用于向所述无人设备发送所述移动路径。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种无人设备700的框图。如图5所示,该无人设备700可以包括:处理器701,存储器702。该无人设备700还可以包括多媒体组件703,输入/输出(I/O)接口704,以及通信组件705中的一者或多者。
其中,处理器701用于控制该无人设备700的整体操作,以完成上述的用于无人设备的导航方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该无人设备700的操作,这些数据例如可以包括用于在该无人设备700上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该无人设备700与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件705可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,无人设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的用于无人设备的导航方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的用于无人设备的导航方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器702,上述程序指令可由无人设备700的处理器701执行以完成上述的用于无人设备的导航方法。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (14)
1.一种用于无人设备的导航方法,其特征在于,应用于所述无人设备,所述方法包括:
获取用于导航的目标环境的本地环境地图,其中,所述本地环境地图由所述无人设备对所述目标环境进行扫描所得的信息生成,或者所述本地环境地图是根据云端在与所述目标环境对应的虚拟孪生环境构建的虚拟环境地图同步所得;
基于所述本地环境地图,确定所述无人设备所处的初始位置;
根据接收到的移动指令确定移动的目标位置,并向所述云端发送所述初始位置和所述目标位置,以使云端确定所述无人设备对应的虚拟设备在所述虚拟孪生环境中的虚拟初始位置和虚拟目标位置,并基于所述虚拟初始位置和虚拟目标位置,确定所述虚拟设备的移动路径,其中,所述虚拟设备为在所述云端生成的、在所述虚拟孪生环境中与所述无人设备对应的虚拟设备;
响应于接收到云端发送的所述移动路径,根据所述移动路径控制所述无人设备移动。
2.根据权利要求1所述的方法,其特征在于,所述本地环境地图是根据云端在与所述目标环境对应的虚拟孪生环境构建的虚拟环境地图同步所得;
所述方法还包括:
在控制所述无人设备移动的过程中,根据所述无人设备采集的环境信息对所述本地环境地图进行更新。
3.根据权利要求1所述的方法,其特征在于,所述本地环境地图是根据云端在与所述目标环境对应的虚拟孪生环境构建的虚拟环境地图同步所得;所述虚拟环境地图通过以下方式确定:
获取所述目标环境的环境数据信息;
基于所述环境数据信息进行三维空间重建,获得所述目标环境对应的虚拟孪生环境;
在所述虚拟孪生环境中生成与所述无人设备对应的所述虚拟设备;
控制虚拟设备遍历所述虚拟孪生环境,并基于所述虚拟设备中的虚拟传感器对所述虚拟孪生环境中的特征信息进行采集,以根据所述特征信息生成所述虚拟环境地图。
4.根据权利要求3所述的方法,其特征在于,所述虚拟环境地图包括栅格图和视觉特征图,所述虚拟传感器包括虚拟激光雷达和虚拟视觉相机;
所述基于所述虚拟设备中的虚拟传感器对所述虚拟孪生环境中的特征信息进行采集,以根据所述特征信息生成所述虚拟环境地图,包括:
基于所述虚拟激光雷达采集所述虚拟孪生环境对应的激光点云特征信息,并根据所述激光点云特征信息生成所述栅格图;
基于所述虚拟视觉相机采集所述虚拟孪生环境对应的位姿特征信息和视觉图像特征信息,并根据所述位姿特征信息和所述视觉图像特征信息生成所述视觉特征图。
5.根据权利要求1所述的方法,其特征在于,所述本地环境地图由所述无人设备对所述目标环境进行扫描所得的信息生成;所述本地环境地图包括栅格图和视觉特征图;
所述本地环境地图通过如下方式生成:
基于所述无人设备中设置的激光雷达采集所述目标环境对应的激光点云特征信息,并根据所述激光点云特征信息生成所述栅格图;
基于所述无人设备中设置的视觉相机采集所述目标环境对应的位姿特征信息和视觉图像特征信息,并根据所述位姿特征信息和所述视觉图像特征信息生成所述视觉特征图。
6.根据权利要求2所述的方法,其特征在于,所述在控制所述无人设备移动的过程中,根据所述无人设备采集的环境信息对所述本地环境地图进行更新,包括:
在所述无人设备移动的过程中,按照预设时间间隔控制所述无人设备采集所述目标环境的环境信息;
根据所述环境信息和所述本地环境地图对所述无人设备进行定位,确定所述无人设备的移动位置;
根据所述无人设备在所述移动位置采集到的环境信息、与所述本地环境地图进行对比,根据对比结果对所述本地环境地图进行更新。
7.根据权利要求1所述的方法,其特征在于,所述虚拟环境地图包括栅格图和视觉特征图,所述根据所述环境信息和所述本地环境地图对所述无人设备进行定位,确定所述无人设备的移动位置,包括:
获取所述无人设备在所处位置对应的激光点云信息和视觉图像信息;
根据所述激光点云信息和所述栅格图确定第一位置;
根据所述视觉图像信息和所述视觉特征图确定第二位置;
根据所述第一位置和所述第二位置,确定所述移动位置。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第一位置和所述第二位置,确定所述移动位置,包括:
确定所述第一位置和所述第二位置分别对应的位置置信度,并将位置置信度大的位置确定为所述移动位置。
9.根据权利要求7所述的方法,其特征在于,所述方法还包括:
获取所述无人设备的加速度信息和旋转角度信息;
根据上一移动位置、所述加速度信息、旋转角度信息以及所述本地环境地图确定第三位置;
所述根据所述第一位置和所述第二位置,确定所述移动位置,还包括:
在确定出的移动位置与所述第三位置的距离大于距离阈值的情况下,将所述第三位置确定为所述移动位置。
10.一种用于无人设备的导航方法,其特征在于,应用于云端,所述方法包括:
获取用于导航的目标环境的环境数据信息;
基于所述环境数据信息进行三维空间重建,获得所述目标环境对应的虚拟孪生环境;
在所述虚拟孪生环境中生成与所述目标环境中的无人设备对应的虚拟设备;
控制所述虚拟设备遍历所述虚拟孪生环境,并基于所述虚拟设备中的虚拟传感器对所述虚拟孪生环境中的特征信息进行采集,以根据所述特征信息生成所述虚拟环境地图;
响应于接收到的初始位置和目标位置,确定所述无人设备对应的虚拟设备在所述虚拟孪生环境中的虚拟初始位置和虚拟目标位置,并基于所述虚拟初始位置和虚拟目标位置,确定所述虚拟设备的移动路径;
向所述无人设备发送所述移动路径。
11.一种用于无人设备的导航装置,其特征在于,应用于所述无人设备,所述装置包括:
第一获取模块,用于获取用于导航的目标环境的本地环境地图,其中,所述本地环境地图由所述无人设备对所述目标环境进行扫描所得的信息生成,或者所述本地环境地图是根据云端在与所述目标环境对应的虚拟孪生环境构建的虚拟环境地图同步所得;
第一确定模块,用于基于所述本地环境地图,确定所述无人设备所处的初始位置;
第一发送模块,用于根据接收到的移动指令确定移动的目标位置,并向所述云端发送所述初始位置和所述目标位置,以使云端确定所述无人设备对应的虚拟设备在所述虚拟孪生环境中的虚拟初始位置和虚拟目标位置,并基于所述虚拟初始位置和虚拟目标位置,确定所述虚拟设备的移动路径,其中,所述虚拟设备为在所述云端生成的、在所述虚拟孪生环境中与所述无人设备对应的虚拟设备;
控制模块,用于响应于接收到云端发送的所述移动路径,根据所述移动路径控制所述无人设备移动。
12.一种用于无人设备的导航装置,其特征在于,应用于云端,所述装置包括:
第三获取模块,用于获取用于导航的目标环境的环境数据信息;
重建模块,用于基于所述环境数据信息进行三维空间重建,获得所述目标环境对应的虚拟孪生环境;
生成模块,用于在所述虚拟孪生环境中生成与所述目标环境中的无人设备对应的虚拟设备;
采集模块,用于控制所述虚拟设备遍历所述虚拟孪生环境,并基于所述虚拟设备中的虚拟传感器对所述虚拟孪生环境中的特征信息进行采集,以根据所述特征信息生成所述虚拟环境地图;
第三确定模块,用于响应于接收到的初始位置和目标位置,确定所述无人设备对应的虚拟设备在所述虚拟孪生环境中的虚拟初始位置和虚拟目标位置,并基于所述虚拟初始位置和虚拟目标位置,确定所述虚拟设备的移动路径;
第二发送模块,用于向所述无人设备发送所述移动路径。
13.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-10中任一项所述方法的步骤。
14.一种无人设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-10中任一项所述方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111162555.2A CN113959444A (zh) | 2021-09-30 | 2021-09-30 | 用于无人设备的导航方法、装置、介质及无人设备 |
PCT/CN2022/119467 WO2023051289A1 (zh) | 2021-09-30 | 2022-09-16 | 用于无人设备的导航方法、装置、介质及无人设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111162555.2A CN113959444A (zh) | 2021-09-30 | 2021-09-30 | 用于无人设备的导航方法、装置、介质及无人设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113959444A true CN113959444A (zh) | 2022-01-21 |
Family
ID=79463018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111162555.2A Pending CN113959444A (zh) | 2021-09-30 | 2021-09-30 | 用于无人设备的导航方法、装置、介质及无人设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113959444A (zh) |
WO (1) | WO2023051289A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115359192A (zh) * | 2022-10-14 | 2022-11-18 | 阿里巴巴(中国)有限公司 | 三维重建与商品信息处理方法、装置、设备及存储介质 |
WO2023051289A1 (zh) * | 2021-09-30 | 2023-04-06 | 达闼机器人股份有限公司 | 用于无人设备的导航方法、装置、介质及无人设备 |
WO2023151548A1 (zh) * | 2022-02-08 | 2023-08-17 | 达闼机器人股份有限公司 | 导航方法、装置、程序及计算机可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180107211A1 (en) * | 2016-10-17 | 2018-04-19 | X Development Llc | Drop-off Location Planning for Delivery Vehicle |
CN110989605A (zh) * | 2019-12-13 | 2020-04-10 | 哈尔滨工业大学 | 一种三体智能系统架构及探测机器人 |
CN111179435A (zh) * | 2019-12-24 | 2020-05-19 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、系统、存储介质和电子设备 |
CN111429574A (zh) * | 2020-03-06 | 2020-07-17 | 上海交通大学 | 基于三维点云和视觉融合的移动机器人定位方法和系统 |
CN111522003A (zh) * | 2019-01-31 | 2020-08-11 | 广州汽车集团股份有限公司 | 车辆定位方法及系统、计算机设备、车辆、存储介质 |
CN112365216A (zh) * | 2020-12-02 | 2021-02-12 | 青岛慧拓智能机器有限公司 | 矿区无人运输仿真测试平台和矿区无人运输仿真方法 |
CN113190568A (zh) * | 2021-05-12 | 2021-07-30 | 上海快仓自动化科技有限公司 | 一种地图更新方法、装置及相关组件 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109084732B (zh) * | 2018-06-29 | 2021-01-12 | 北京旷视科技有限公司 | 定位与导航方法、装置及处理设备 |
CN110716558A (zh) * | 2019-11-21 | 2020-01-21 | 上海车右智能科技有限公司 | 一种基于数字孪生技术的非公开道路用自动驾驶系统 |
KR102266235B1 (ko) * | 2020-03-02 | 2021-06-17 | 주식회사 클로버스튜디오 | 지능형 드론 비행계획 수립방법 및 이를 이용한 드론 관제 시스템 |
CN112440281A (zh) * | 2020-11-16 | 2021-03-05 | 浙江大学 | 一种基于数字孪生的机器人轨迹规划方法 |
CN112668687B (zh) * | 2020-12-01 | 2022-08-26 | 达闼机器人股份有限公司 | 云端机器人系统、云服务器、机器人控制模块和机器人 |
CN112632778B (zh) * | 2020-12-22 | 2023-07-18 | 达闼机器人股份有限公司 | 数字孪生模型的运行方法、装置和电子设备 |
CN112924185B (zh) * | 2021-01-22 | 2021-11-30 | 大连理工大学 | 一种基于数字孪生虚实交互技术的人机共驾测试方法 |
CN113959444A (zh) * | 2021-09-30 | 2022-01-21 | 达闼机器人有限公司 | 用于无人设备的导航方法、装置、介质及无人设备 |
-
2021
- 2021-09-30 CN CN202111162555.2A patent/CN113959444A/zh active Pending
-
2022
- 2022-09-16 WO PCT/CN2022/119467 patent/WO2023051289A1/zh unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180107211A1 (en) * | 2016-10-17 | 2018-04-19 | X Development Llc | Drop-off Location Planning for Delivery Vehicle |
CN111522003A (zh) * | 2019-01-31 | 2020-08-11 | 广州汽车集团股份有限公司 | 车辆定位方法及系统、计算机设备、车辆、存储介质 |
CN110989605A (zh) * | 2019-12-13 | 2020-04-10 | 哈尔滨工业大学 | 一种三体智能系统架构及探测机器人 |
CN111179435A (zh) * | 2019-12-24 | 2020-05-19 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、系统、存储介质和电子设备 |
CN111429574A (zh) * | 2020-03-06 | 2020-07-17 | 上海交通大学 | 基于三维点云和视觉融合的移动机器人定位方法和系统 |
CN112365216A (zh) * | 2020-12-02 | 2021-02-12 | 青岛慧拓智能机器有限公司 | 矿区无人运输仿真测试平台和矿区无人运输仿真方法 |
CN113190568A (zh) * | 2021-05-12 | 2021-07-30 | 上海快仓自动化科技有限公司 | 一种地图更新方法、装置及相关组件 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023051289A1 (zh) * | 2021-09-30 | 2023-04-06 | 达闼机器人股份有限公司 | 用于无人设备的导航方法、装置、介质及无人设备 |
WO2023151548A1 (zh) * | 2022-02-08 | 2023-08-17 | 达闼机器人股份有限公司 | 导航方法、装置、程序及计算机可读存储介质 |
CN115359192A (zh) * | 2022-10-14 | 2022-11-18 | 阿里巴巴(中国)有限公司 | 三维重建与商品信息处理方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023051289A1 (zh) | 2023-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113959444A (zh) | 用于无人设备的导航方法、装置、介质及无人设备 | |
CN108521788B (zh) | 生成模拟航线的方法、模拟飞行的方法、设备及存储介质 | |
CN110246182B (zh) | 基于视觉的全局地图定位方法、装置、存储介质和设备 | |
US20210279967A1 (en) | Object centric scanning | |
CN108297115B (zh) | 一种机器人的自主重定位方法 | |
JP2020030204A (ja) | 距離測定方法、プログラム、距離測定システム、および可動物体 | |
CN110361005B (zh) | 定位方法、定位装置、可读存储介质及电子设备 | |
US20170305546A1 (en) | Autonomous navigation method and system, and map modeling method and system | |
CN112581535B (zh) | 机器人定位方法、装置、存储介质及电子设备 | |
US20200349754A1 (en) | Methods, devices and computer program products for generating 3d models | |
CN112470092A (zh) | 一种测绘系统、测绘方法、装置、设备及介质 | |
CN112580582B (zh) | 动作学习方法、装置、介质及电子设备 | |
KR20200031683A (ko) | 무인 항공기의 항행구역 계획 방법, 장치 및 리모컨 | |
WO2023273415A1 (zh) | 基于无人机的定位方法、装置、存储介质、电子设备和产品 | |
JP2022050311A (ja) | 車両の車線変更を検出するための方法、装置、電子機器、記憶媒体、路側機、クラウド制御プラットフォーム、及びコンピュータプログラム | |
JP2020022157A (ja) | 点検システム及び点検方法 | |
CN112469967A (zh) | 一种测绘系统、测绘方法、装置、设备及介质 | |
CN115330946A (zh) | 元宇宙构建方法、装置、存储介质及电子设备 | |
US11210864B2 (en) | Solution for generating virtual reality representation | |
CN114972485A (zh) | 定位精度测试方法、设备、存储介质及程序产品 | |
CN114662587A (zh) | 一种基于激光雷达的三维目标感知方法、装置及系统 | |
US20210357620A1 (en) | System, moving object, and information processing apparatus | |
CN108364340A (zh) | 同步空间扫描的方法及系统 | |
US20220128729A1 (en) | Method and device for estimating mechanical property of rock joint | |
WO2023088127A1 (zh) | 室内导航方法、服务器、装置和终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai Applicant after: Dayu robot Co.,Ltd. Address before: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai Applicant before: Dalu Robot Co.,Ltd. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220121 |