CN112445204B - 工地中的物体移动导航方法、装置和计算机设备 - Google Patents
工地中的物体移动导航方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN112445204B CN112445204B CN201910754261.5A CN201910754261A CN112445204B CN 112445204 B CN112445204 B CN 112445204B CN 201910754261 A CN201910754261 A CN 201910754261A CN 112445204 B CN112445204 B CN 112445204B
- Authority
- CN
- China
- Prior art keywords
- controlled object
- obstacle
- information
- data
- navigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000001514 detection method Methods 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 28
- 230000002159 abnormal effect Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 abstract description 30
- 230000004888 barrier function Effects 0.000 abstract description 6
- 239000002689 soil Substances 0.000 description 22
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000009435 building construction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种工地中的物体移动导航方法、装置、计算机设备和存储介质。方法包括获取基于工地三维地图生成的AR导航信息,AR导航信息包括实时路况数据,识别实时路况数据中的障碍物信息,并确定被控物体与障碍物的相对位置,获取被控物体的当前移动状态,根据移动路径、被控物体与障碍物的相对位置以及被控物体的当前移动状态,生成移动控制提示信息。将所述移动控制提示信息添加至所述AR导航信息,并推送添加有所述移动控制提示信息的AR导航信息至终端。解决了障碍物带来的移动障碍问题,提高远程控制人员对被控物体在工地中移动的远程控制过程的可靠性和安全性。
Description
技术领域
本申请涉及导航技术领域,特别是涉及一种工地中的物体移动导航方法、装置、计算机设备和存储介质。
背景技术
随着信息技术的发展,在车辆、飞行物以及船舶等物体的移动控制方面,出现了导航技术,通过导航技术,可以辅助操作人员控制物体从一个地方移动到另一个地方。传统的导航方式一般是基于地图数据,根据出发点和目的地进行路径规划,以确保物体能够顺利从出发点移动到目的地。路径规划是通过地图数据确定可移动的路径得到的,一般适用于各种道路情况相对稳定的应用场景。
对于建筑工地来说,由于施工需要,各种施工车辆、材料运送车辆等移动物体在建筑工地随处可见。但由于建筑工地环境的复杂性,建筑工地的可供物体移动的道路并不是一成不变的,在建筑工地上可供物体移动的路径上存在各种不可控因素,随时可能会出现各种移动障碍物,在工地中的物体的远程移动控制过程中,仅通过地图进行路径规划的方式得到的导航信息的准确性和可靠性都比较低,从而导致操作人员在对物体远程移动控制过程中存在较大的安全隐患。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高工地中物体远程移动控制安全性的工地中的物体移动导航方法、装置、计算机设备和存储介质。
一种工地中的物体移动导航方法,所述方法包括:
获取基于工地三维地图生成的AR导航信息,所述AR导航信息包括被控物体按规划的移动路径移动时采集的实时路况数据;
识别所述实时路况数据中的障碍物信息,并确定所述被控物体与障碍物的相对位置;
获取所述被控物体的当前移动状态,其中,所述当前移动状态包括当前移动方向和当前移动速度;
根据所述移动路径、所述被控物体与障碍物的相对位置以及所述被控物体的当前移动状态,生成移动控制提示信息;
将所述移动控制提示信息添加至所述AR导航信息,并推送添加有所述移动控制提示信息的AR导航信息至终端。
在其中一个实施例中,基于工地三维地图生成AR导航信息包括:
获取被控物体在工地中的当前位置、目的位置以及工地三维地图,基于所述工地三维地图,规划所述被控物体的移动路径;
根据所述当前位置和所述移动路径,得到所述被控物体在所述工地三维地图中的导航数据;
获取所述被控物体按规划的移动路径移动时采集的实时路况数据,对所述实时路况数据中的摄像数据进行拼接处理,生成AR画面;
将所述实时路况数据中的雷达数据和所述导航数据添加至所述AR画面,得到AR导航信息。
在其中一个实施例中,所述识别所述实时路况数据中的障碍物信息,并确定所述被控物体与障碍物的相对位置之后,还包括:
根据所述障碍物信息以及所述被控物体与障碍物的相对位置,确定障碍物路段;
根据所述障碍物路段,更新所述移动路径;
基于更新的移动路径和所述被控物体的当前位置,更新所述导航数据。
在其中一个实施例中,所述AR导航信息包括超视距AR导航信息;
所述基于工地三维地图生成AR导航信息,还包括:
获取检测范围在规划的所述移动路径上的摄像设备标识和雷达设备标识;
获取所述摄像设备标识对应摄像设备采集的超视距视频数据,根据所述超视距视频数据中携带的标定时钟信息,将所述超视距视频数据的画面帧与所述AR画面中标定时钟信息相同的画面帧进行拼接,得到超视距AR画面;
获取所述雷达设备标识对应雷达设备采集的超视距雷达数据;
将更新后的导航数据和所述超视距雷达数据添加至所述超视距AR画面,得到超视距AR导航信息。
在其中一个实施例中,所述识别所述实时路况数据中的障碍物信息,并确定所述被控物体与障碍物的相对位置至少包括以下各项中的一项:
对所述实时路况数据中的摄像数据进行目标识别处理,确定识别目标对应的第一类障碍物,并根据所述第一类障碍物在摄像画面中的位置信息,确定所述被控物体与所述第一类障碍物的相对位置;
对所述实时路况数据中的雷达数据进行异常数据识别,确定所述异常数据对应的第二类障碍物,并根据异常数据表征的检测距离与检测方向,确定所述被控物体与所述第二类障碍物的相对位置。
在其中一个实施例中,所述移动控制提示消息包括移动方向控制提示消息和移动速度控制提示消息;所述根据所述移动路径、所述被控物体与障碍物的相对位置以及所述被控物体的当前移动状态,生成移动控制提示消息包括:
根据所述移动路径、以及所述被控物体与障碍物的相对位置,确定目标移动方向;
根据所述被控物体的当前移动方向与所述目标移动方向之间的方向变化幅度,生成移动方向控制提示消息;
获取与所述方向变化幅度相匹配的目标移动速度;
根据所述被控物体的当前移动速度与所述目标移动速度的速度差,生成移动速度控制提示消息。
在其中一个实施例中,所述将所述移动控制提示信息添加至所述AR导航信息,并推送添加有所述移动控制提示信息的AR导航信息至终端之后,还包括:
接收基于所述添加有所述移动控制提示信息的AR导航信息输入的操作控制指令,并将所述操作控制指令发送至所述被控物体。
在其中一个实施例中,所述识别所述实时路况数据中的障碍物信息,并确定所述被控物体与障碍物的相对位置之后,还包括:
根据所述障碍物信息,确定障碍物类型;
当所述障碍物类型为需要进行清除处理的类型时,查找所述障碍物对应的清除处理方案;
生成携带有所述清除处理方案的预警消息并发送至终端。
一种工地中的物体移动导航装置,所述装置包括:
AR导航信息获取模块,用于获取基于工地三维地图生成的AR导航信息,所述AR导航信息包括被控物体按规划的移动路径移动时采集的实时路况数据;
相对位置确定模块,用于识别所述实时路况数据中的障碍物信息,并确定所述被控物体与障碍物的相对位置;
移动状态获取模块,用于获取所述被控物体的当前移动状态,其中,所述当前移动状态包括当前移动方向和当前移动速度;
消息生成模块,用于根据所述移动路径、所述被控物体与障碍物的相对位置以及所述被控物体的当前移动状态,生成移动控制提示信息;
信息推送模块,用于将所述移动控制提示信息添加至所述AR导航信息,并推送添加有所述移动控制提示信息的AR导航信息至终端。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取基于工地三维地图生成的AR导航信息,所述AR导航信息包括被控物体按规划的移动路径移动时采集的实时路况数据;
识别所述实时路况数据中的障碍物信息,并确定所述被控物体与障碍物的相对位置;
获取所述被控物体的当前移动状态,其中,所述当前移动状态包括当前移动方向和当前移动速度;
根据所述移动路径、所述被控物体与障碍物的相对位置以及所述被控物体的当前移动状态,生成移动控制提示信息;
将所述移动控制提示信息添加至所述AR导航信息,并推送添加有所述移动控制提示信息的AR导航信息至终端。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取基于工地三维地图生成的AR导航信息,所述AR导航信息包括被控物体按规划的移动路径移动时采集的实时路况数据;
识别所述实时路况数据中的障碍物信息,并确定所述被控物体与障碍物的相对位置;
获取所述被控物体的当前移动状态,其中,所述当前移动状态包括当前移动方向和当前移动速度;
根据所述移动路径、所述被控物体与障碍物的相对位置以及所述被控物体的当前移动状态,生成移动控制提示信息;
将所述移动控制提示信息添加至所述AR导航信息,并推送添加有所述移动控制提示信息的AR导航信息至终端。
上述工地中的物体移动导航方法、装置、计算机设备和存储介质,通过获取基于工地三维地图生成的AR导航信息,确定被控物体按规划的移动路径移动时采集的实时路况数据,并根据实时路况数据来识别障碍物信息,可以结合三维的AR导航信息,考虑到复杂环境下障碍物对被控物体移动的影响,并根据移动路径和被控物体与障碍物的相对位置,得到被控物体的当前移动方向和当前移动速度的调整提示信息,便于操作人员基于添加移动控制提示信息的AR导航信息进行移动操作控制,避免在远程控制被控物体移动过程中,无法感知障碍物带来的移动障碍,且通过提供移动控制提示信息,辅助进行远程控制,提高物体在工地中的远程移动控制过程的可靠性和安全性。
附图说明
图1为一个实施例中工地中的物体移动导航方法的应用场景图;
图2为一个实施例中工地中的物体移动导航方法的流程示意图;
图3为一个实施例中基于工地三维地图生成AR导航信息的流程示意图;
图4为一个实施例中图2中步骤S208的子步骤流程示意图;
图5为一个实施例中工地中的物体移动导航装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的工地中的物体移动导航方法,可以应用于如图1所示的应用环境中。其中,被控物体102与服务器104通过网络进行通信。服务器与终端106通过网络进行通信。服务器104获取基于工地三维地图生成的AR导航信息,AR导航信息包括被控物体按规划的移动路径移动时采集的实时路况数据,识别实时路况数据中的障碍物信息,并确定被控物体与障碍物的相对位置,获取被控物体的当前移动状态,其中,当前移动状态包括当前移动方向和当前移动速度,根据移动路径、被控物体与障碍物的相对位置以及被控物体的当前移动状态,生成移动控制提示信息,然后将移动控制提示信息添加至AR导航信息,并推送添加有移动控制提示信息的AR导航信息至终端106。其中,被控物体102可以但不限于是各种施工车辆、货运车辆、障碍物清理车辆等工地车辆以及其他移动物体,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端106可以设置于被控物体的远程控制中心的固定设备,如AR显示设备等。也可以是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等可以用于显示AR信息的设备。
在一个实施例中,如图2所示,提供了一种工地中的物体移动导航方法,以该方法应用于图1中的服务器为例进行说明,包括步骤S202至S210。
步骤S202,获取基于工地三维地图生成的AR导航信息,AR导航信息包括被控物体按规划的移动路径移动时采集的实时路况数据。
工地三维地图是指用于展示工地信息的立体地图,工地三维地图可以是根据地图元素的更新频率要求更新的实时地图。在实施例中,工地三维地图包括四类不同的元素,分别为:信息更新频率在一个月以上的固定元素,如轮廓图,建筑物的位置与占地尺寸等,信息更新频率在一个月以内的半永久固定匀速,如建筑物的高度,信息更新频率在一天以内的半实时动态信息,如临时施工区域等,信息更新频率在一秒以内的信息实时动态,如各种能够实时移动的对象。其中,更新频率可根据实际情况进行调整,元素类型可以互相转变,转变条件即为更新频率。AR导航是通过采集实时行驶路径上的画面信息,构建对应的虚拟画面进行导航的技术,驾驶员可以根据AR导航画面实现对物体的远程控制驾驶。AR导航信息是AR画面、雷达数据等实时路况数据与导航数据相结合的结果,其中AR画面可以是通过被控物体如导航车辆的车载摄像装置实时采集的摄像数据,通过拼接得到的画面,也可以是通过车载摄像装置以及移动路径方向上其他摄像装置,采集的摄像数据拼接而成的超视距画面。被控物体是指服务器的控制对象,包括施工车辆、货运车辆、障碍物清理车辆等工地车辆以及其他适用于在建筑工地行驶的物体。被控物体的移动路径是指被控物体从当前位置移动到目的位置的移动路线。AR导航信息包括规划的移动路径、以及被控物体按规划的移动路径移动时采集的实时路况数据,具体来说,实时路况数据可以包括摄像数据和雷达数据。当服务器接收到用户输入的物体移动任务时,根据物体移动任务携带的被控物体标识,确定被控物体,根据物体移动任务携带的被控物体的当前位置和目的位置信息,基于工地三维地图,规划被控物体从当前位置移动到目的位置的移动路线。服务器根据被控物体标识,建立与被控物体的网络连接。具体来说,服务器与被控物体可以通过被控物体携带的5G通信模块进行网络连接,利用5G网络的快速性,提高被控物体与服务器的交互效率,降低时延,提高控制准确性。服务器根据移动路径,向被控物体发送移动控制提示消息,以使被控物体按照移动路径移动。被控物体携带有各种路况信息采集装置,例如摄像装置和雷达装置等,通过各种路况信息采集装置采集实时路况信息,并将实时路况信息反馈至服务器。
步骤S204,识别实时路况数据中的障碍物信息,并确定被控物体与障碍物的相对位置。
障碍物是指影响被控物体按照移动路径正常移动的物体。具体来说,障碍物可以是出现在移动路径上的固定物体或移动物体,还可以是土壤塌陷、坠落物等其他造成移动障碍的障碍物。固定物体包括临时物资堆放、车辆临停、区域暂时封闭等,移动物体包括移动车辆、移动人员以及工地移动锥桶等其他可移动物体。服务器对实时路况数据进行分析,例如,对摄像数据进行目标识别,识别视频画面中的行驶道路,确定行驶道路上是否存在影响被控物体移动的物体,并区分各类物体的类型。当摄像数据包括坠落物捕捉摄像数据时,根据捕捉到的坠落物的坠落轨迹信息,计算坠落物的坠落位置,从而确定坠落物对应的障碍区域。实时路况数据还可以包括雷达测距检测数据,雷达测距检测数据可以用于检测被控物体移动路径上是否存在物体,如固定物体或移动物体,以及该物体的具体位置以及该物体与被控物体之间的距离,进而判断该物体是否为障碍物,并确定被控物体与障碍物的相对位置。可以理解,在其他实施例中,实时路况数据还可以包括其他设备采集的路况数据。在一个实施例中,实时路况数据包括土壤含水量检测数据,通过探测土壤含水量,确定土壤的承重能力,并根据被控物体的重量数据,确定该土壤能否承载该被控物体,使在其移动过程中土壤不会发生塌陷或是塌陷程度在允许范围内,其中,土壤含水量可以通过固定于待监测土壤位置的探测器探测得到,也可以根据移动探测设备探测得到。
步骤S206,获取被控物体的当前移动状态,其中,当前移动状态包括当前移动方向和当前移动速度。
被控物体的当前移动状态包括当前移动方向和当前移动速度。服务器根据被控物体的速度传感器、加速度传感器和方向传感器的传感数据,即可得到被控物体的当前移动方向和当前移动速度。
步骤S208,根据移动路径、被控物体与障碍物的相对位置以及被控物体的当前移动状态,生成移动控制提示信息。
当移动路径上存在障碍物时,需要控制被控物体避开障碍物进行移动。被控物体移动过程中遇到障碍物,在移动过程中,需要在障碍物所在的路段,根据障碍物的位置重新规划临时移动路径,以使得被控物体能够绕开障碍物移动。障碍物路段的长度可以根据障碍物的位置及其大小来确定。在需要绕开障碍物的路段中,根据原本规划的移动路径,可以确定被控物体在该障碍物路段起点和终点。被控物体在该障碍物路段的移动过程中,移动方向会发生改变,但需要通过方向修正回归至最终移动方向,保证被控物体在后续路段能按原本规划的移动路径移动。根据移动路径,以及被控物体与障碍物的相对位置,确定控制该被控物体避开该障碍物的临时移动路径,障碍物路段和临时移动路径的起点和终点分别相同,两者的起点和终点间的路径不一样。移动控制提示信息具体包括移动方向控制提示消息和移动速度控制提示消息,在实施例中,根据临时移动路径,更新移动方向,生成移动方向控制提示消息,并基于根据临时移动路径,确定临时移动方向,根据临时移动方向与被控物体当前移动方向的方向变化幅度,确定匹配的速度,从而得到移动速度控制提示消息,并将移动方向控制提示消息和移动速度控制提示消息推送至远程控制人员所在的远程驾驶舱。以使远程控制人员能够基于移动速度控制提示信息和移动方向控制提示信息,对被控物体进行远程操作,使得被控物体按临时移动路径移动。
步骤S210,将移动控制提示信息添加至AR导航信息,并推送添加有移动控制提示信息的AR导航信息至终端。
远程控制人员通过终端既能获取到以AR形式展现的实时路况数据,还能获得对被控物体的移动控制提示信息,便于远程控制人员通过终端输入操作控制指令,对被控物体进行远程控制操作,使得被控物体能在远程控制人员的操作下,顺利避开障碍物,移动控制过程的可靠性和安全性。
上述工地中的物体移动导航方法,通过获取基于工地三维地图生成的AR导航信息,确定被控物体按规划的移动路径移动时采集的实时路况数据,并根据实时路况数据来识别障碍物信息,可以结合三维的AR导航信息,考虑到复杂环境下障碍物对被控物体移动的影响,并根据移动路径和被控物体与障碍物的相对位置,得到被控物体的当前移动方向和当前移动速度的调整提示信息,便于操作人员基于添加移动控制提示信息的AR导航信息进行移动操作控制,避免在远程控制被控物体移动过程中,无法感知障碍物带来的移动障碍,且通过提供移动控制提示信息,辅助进行远程控制,提高物体在工地中的远程移动控制过程的可靠性和安全性。
传统的AR导航,一般地是采用二维地图、定位以及图像识别相结合的处理方式,以车辆导航为例,通过获取实时的二维平面地图以及车辆的GPS位置,获得车辆接下来要行走的方向,再通过摄像头拍摄的图像进行对象识别,如识别出车道线、红绿灯路口等信息,再将车辆接下来要行走的方向通过箭头等符号显示在摄像头拍摄画面的视角上,实现AR导航。但传统技术中,GPS定位精度较差,特别是有建筑物遮挡的情况下甚至可能信号消失。GPS信号一旦误差较大或者丢失,而相机拍摄画面依旧识别并生成移动方向指示信息,引起错误导航。另外,依靠图像识别去判定路口或变道等驾驶辅助,在特定的、复杂的场景难以保证正确性。
在一个实施例中,如图3所示,基于工地三维地图生成AR导航信息包括:
步骤S302,获取被控物体在工地中的当前位置、目的位置以及工地三维地图,基于工地三维地图,规划被控物体的移动路径。
步骤S304,根据当前位置和移动路径,得到被控物体在工地三维地图中的导航数据。
步骤S306,获取被控物体按规划的移动路径移动时采集的实时路况数据,对实时路况数据中的摄像数据进行拼接处理,生成AR画面。
步骤S308,将实时路况数据中的雷达数据和导航数据添加至AR画面,得到AR导航信息。
根据被控物体在工地中的当前位置和目的位置,以及当前位置和目的位置在工地三维地图中对应的位置,可以规划从当前位置移动到目的位置的移动路径。以工地这种固定场景为例,通过预先建立好的实时高精度工地三维地图,结合被控物体如工地车辆在工地的高精度定位,可以精准得到工地车辆在工地三维地图中的全局的导航数据,导航数据包括从当前位置移动到目的位置中的变道、转弯、减速、避让等。再结合车载摄像头拍摄的画面拼接得到AR画面,将变道、转弯、减速、避让等导航数据用箭头等提示符号信息精准地映射在AR画面上,并实时显示在终端的显示屏上,实现实时、精准的AR导航,特别适合于建筑工地这种固定、封闭、有限的场景。具体来说,当服务器接收到用户输入的物体移动任务时,根据物体移动任务携带的被控物体的当前位置和目的位置信息,基于工地三维地图,规划被控物体从当前位置移动到目的位置的移动路径。被控物体的高精度定位数据可以通过设置于被控物体的UWB(Ultra Wideband,无载波通信)定位装置采集得到。根据移动路径和高精度定位数据,确定被控物体在移动路径上的精准定位,从而得到被控物体在工地三维地图中的导航数据,导航数据包括移动应对策略,例如需要变道、转弯、减速、避让等,导航数据可以通过语音播报或图像文字等提示信息的形式展现。在被控物体上装设有多个摄像装置,用于拍摄被控物体各角度的视频数据,摄像装置包括前置摄像头、后置摄像头、两侧环视摄像头,使采集画面覆盖被控物体的360°方向,根据各视频数据的标定时钟信息,将各视频数据中标定时钟信息相同的画面帧进行同步拼接,画面帧的拼接过程包括摄像装置的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接,以及亮度与颜色的均衡处理,从而得到拼接的360°画面,以被控物体的运动方向为画面中心,得到被控物体的AR画面,将导航数据、雷达数据与三维的AR画面相结合,将工地三维地图中的导航数据和雷达数据以文字、图像或方向指示等方式添加到AR画面中,得到高精度的AR导航信息。
在一个实施例中,识别实时路况数据中的障碍物信息,并确定被控物体与障碍物的相对位置之后,还包括:
根据障碍物信息以及被控物体与障碍物的相对位置,确定障碍物路段。
根据障碍物路段,更新移动路径。
基于更新的移动路径和被控物体的当前位置,更新导航数据。
在移动路径上存在障碍物时,需要根据障碍物所在的路段,对规划的移动路径进行更新,障碍物路段的长度可以根据障碍物的位置及其大小来确定。具体来说,更新的移动路径是将障碍物路段的移动路径更新为,能绕开障碍物的临时移动路径,障碍物路段和临时移动路径的起点和终点分别相同,两者的起点和终点间的路径不一样。
在一个实施例中,AR导航信息为超视距AR导航信息;基于工地三维地图生成AR导航信息,还包括:
获取检测范围在规划的移动路径上的摄像设备标识和雷达设备标识。
读取摄像设备标识对应的摄像设备采集的超视距视频数据,根据超视距视频数据中携带的标定时钟信息,将超视距视频数据的画面帧与AR画面中标定时钟信息相同的画面帧进行拼接,得到超视距AR画面。
获取雷达设备标识对应的雷达设备采集的超视距雷达数据。
将导航信息和超视距雷达数据添加至超视距AR画面,得到超视距AR导航信息。
超视距是指超出被控物体的数据采集范围,超视距感知是指获取不在被控物体自身的传感器检测范围的感知数据,通过超视距感知,可以得到不在被控物体视距范围内的障碍物的准确位置,以使被控物体提前做出预判或动作进行避让。超视距AR画面是指画面所示范围超过被控物体自带摄像设备采集范围的AR画面。在实施例中,超视距AR画面可以是超视距视频数据与AR画面拼接得到。其中,超视距视频数据是指超出被控物体自身携带的摄像设备的采集范围的其他摄像设备采集的视频数据。具体来说,通过设置于被控物体移动路径的道路两侧装设的摄像装置,或当前位于移动路径上的其他移动物体携带的摄像装置,根据其采集的超视距视频数据,即超出被控物体自身的摄像设备采集范围的视频数据,将超视距视频数据的画面帧与AR画面中标定时钟信息相同的画面帧进行拼接,得到超视距AR画面。超视距雷达数据是指超出被控物体自身携带的雷达设备的采集范围的其他雷达设备采集的雷达数据。在AR画面中,还可以添加其他传感器如雷达设备采集的超视距雷达数据,即超出被控物体自身携带的雷达设备采集范围的雷达数据,进而结合导航信息,得到超视距AR导航信息。在实施例中,通过高精度工地三维地图、以及工地上安装的各种传感器如摄像头、雷达等、实时搜集得到工地中每一个传感器的检测范围,并通过每一个传感器采集的检测数据,结合规划的移动路径,分析得到在移动路径上某一不在被控物体视距范围内的物体,从而进行障碍物预判。通过超视距导航,可以准确应对被控物体无法避开移动路径上的障碍物的情况,例如,障碍物体积过大、障碍物数量过多等。
在一个实施例中,识别实时路况数据中的障碍物信息,并确定被控物体与障碍物的相对位置包括:
对实时路况数据中的摄像数据进行目标识别处理,确定识别目标对应的第一类障碍物,并根据第一类障碍物在摄像画面中的位置信息,确定被控物体与第一类障碍物的相对位置。
摄像数据的目标识别处理可以通过用于进行目标识别的深度神经网络模型进行分析处理得到,深度神经网络模型可以通过获取大量携带有分类结果的样本数据进行训练得到,将摄像数据的各画面帧输入训练完成的深度神经网络模型,通过深度神经网络模型的分类识别处理,确定画面帧中的各物体的位置和种类,进而判断确定各物体是否为障碍物。根据第一类障碍物在摄像画面中的位置信息,通过摄像画面坐标与被控物体坐标之间的坐标变换处理和距离计算,得到被控物体与第一类障碍物的相对位置。
由于工地环境而定复杂性,在建筑施工过程中,可能存在坠落物,有可能成为被控物体移动过程中的障碍物。在实施例中,被控物体采集的摄像数据还包括捕捉的坠落物数据,坠落物数据用于表征检测范围内的坠落物的相关信息,包括坠落物的大小、形状、坠落点位置等,通过设置于被控物体的摄像设备在不同时刻采集到的坠落物实时位置信息,并将坠落物的相关信息和实时位置信息通过5G网络发送至服务器,服务器通过计算处理,预测坠落物的坠落点位置,当该坠落位置位于被控物体的移动路径上时,将该坠落物数据标记为障碍物所在地点。
在另一个实施例中,识别实时路况数据中的障碍物信息,并确定被控物体与障碍物的相对位置包括:
对实时路况数据中的雷达数据进行异常数据识别,确定异常数据对应的第二类障碍物,并根据异常数据表征的检测距离与检测方向,确定被控物体与第二类障碍物的相对位置。
雷达数据用于表征检测范围内的各物体与被控物体的距离,检测范围可以根据雷达测距装置如激光雷达、毫米波雷达、超声波雷达等的安装位置和雷达测距装置的检测角度来确定,安装位置对应的检测方向可以是被控物体前进方向或被控物体本体的其他方向。当各物体的距离小于预先设定与被控物体的安全距离时,将该雷达检测数据标记为异常数据。
不同类型的传感设备用于采集不同的传感检测数据,不同的传感检测数据有不同的分析标准,通过分析标准来检测该传感检测数据是否为异常数据。
由于摄像数据中分析得到的第一类障碍物与雷达数据检测的第二类障碍物有可能为同一物体,当得到的被控物体与第一类障碍物的相对位置和被控物体与第二类障碍物的相对位置相同时,直接丢弃该第一类障碍物对应的数据信息与该第二类障碍物对应的数据信息中的任意一项,以简化后续的数据处理量,提高数据处理速度。
在其中一个实施例中,实时路况数据还可以包括设置于其他位置的传感设备检测的数据,例如固定于待监测土壤位置的探测器或移动探测设备探测得到的土壤含水量检测数据。
以土壤含水量检测数据为例,土壤含水量检测数据可以通过土壤含水量传感设备采集获得,用于表征土壤的含水量。测量方式为频率法,即利用电磁脉冲原理、根据电磁波在介质中传播频率来测量土壤的表观介电常数,从而得到土壤容积含水量。在被控物体移动过程中,通过唤醒土壤含水量传感设备,实时发射电磁脉冲测量土壤的表层介电常数,并自动计算出表层土壤含水量。根据被控物体的重量,包括被控物体自身重量和被控物体载物重量,计算能使在其移动过程中土壤不会发生塌陷或是塌陷程度在允许范围内的允许含水量,将允许含水量和检测得到的含水量进行比较,当检测得到的含水量大于允许含水量时,将土地塌陷检测数据标记为异常数据,并根据探测器或移动探测设备的检测范围与检测方向,确定塌陷程度超出允许范围的异常区域,以使服务器根据异常区域调整被控物体的移动方向和移动速度。
在一个实施例中,将移动控制提示信息添加至AR导航信息,并推送添加有移动控制提示信息的AR导航信息至终端之后,还包括:
当接收到终端的画面调整指令时,根据画面调整指令携带的调整参数,确定调整后的画面,并将调整后的画面显示在终端的显示屏。
在具体的应用实例中,在被控物体装设有多个摄像装置,用于采集被控物体各角度的视频数据,摄像装置包括前置摄像头、后置摄像头、两侧环视摄像头,使采集画面覆盖导航车辆的360°方向,根据各视频数据的标定时钟信息,将各视频数据中标定时钟信息相同的画面帧进行同步拼接,画面帧的拼接过程包括摄像装置的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接,以及亮度与颜色的均衡处理,从而得到拼接的360°画面。分别以被控物体的不同视角为画面中心,得到被控物体不同视角的AR导航信息,具体包括:运动方向为前进时对应前方广角、运动方向为倒车时对应后方广角、运动方向为转弯时对应方向盘随动广角。终端设置有环绕式远程驾驶显示平台,包括广角主显示屏、360全景显示屏、状态显示屏,以及多功能方向盘。广角主显示屏用于显示远程控制的被控物体的运动方向的实时广角画面,及控制人员调用的局部区域画面,360全景显示屏用于显示车辆360环视的摄像头采集拼接画面,状态显示屏用于显示被控物体的移动状态消息,包括被控物体的当前状态信息,移动控制信息及障碍物提示信息,控制人员可以通过终端的多功能方向盘向服务器发送画面旋转指令、画面缩放指令以及画面切换指令,快速将所需画面切换为主画面,服务器接收到上述画面调整指令后,根据画面调整指令携带的调整参数,确定调整后的画面,并将调整后的画面渲染至终端,从而实现控制人员通过多功能方向盘的快捷键触发。
在其中一个实施例中,如图4所示,步骤S208包括步骤S402至步骤S408。
步骤S402,根据移动路径、以及被控物体与障碍物的相对位置,确定目标移动方向。
步骤S404,根据被控物体的当前移动方向与目标移动方向之间的方向变化幅度,生成移动方向控制提示消息。
步骤S406,获取与方向变化幅度相匹配的目标移动速度。
步骤S408,根据被控物体的当前移动速度与目标移动速度的速度差,生成移动速度控制提示消息。
当规划的移动路径上存在障碍物时,根据被控物体与障碍物的相对位置,以及被控物体的移动路径,确定避开该障碍物的临时移动路径,该临时移动路径的起点和终点与规划的移动路径中的其中障碍物路段的起点与终点相同,但从起点移动到终点的路径不同,以确保被控物体在避开障碍物后,能重新回到规划的移动路径。目标移动方向是指能够顺利避开障碍物的临时移动路径的方向,根据被控物体的当前移动方向与目标移动方向之间的方向变化幅度,生成移动方向控制提示消息,以使被控物体根据移动方向控制提示消息调整移动方向。由于惯性的存在,在物体方向变化过程中,会受到移动速度的影响,速度越快,对方向变化的影响也越大。根据预先设置的与方向变化幅度相匹配的目标移动速度,确定被控物体的当前移动速度与目标移动速度的速度差,生成移动速度控制提示消息,以使被控物体根据移动速度控制提示消息调整移动速度。在避开障碍物的过程中,被控物体的当前移动速度和当前移动方向是实时变化的,基于实时变化的移动状态数据,实时发送移动速度控制提示消息和移动方向控制提示消息至被控物体,在实施例中,可以通过5G网络来发送移动速度控制提示消息和移动方向控制提示消息,利用5G的低延迟、大带宽特点,进一步提高被控物体的响应速度。
在其中一个实施例中,将移动控制提示信息添加至AR导航信息,并推送添加有移动控制提示信息的AR导航信息至终端之后,还包括:
接收基于添加有移动控制提示信息的AR导航信息输入的操作控制指令,并将操作控制指令发送至被控物体。
为进一步确保被控物体在移动过程中的安全性,远程控制人员对被控物体的移动过程进行远程操作,具体地,移动控制提示信息是指服务器发送至终端,使用户根据操作提示信息对被控物体进行远程操作的信息。在实施例中,移动控制提示信息可以是文字信息或图像信息,当终端显示有被控物体的AR导航画面时,在AR导航画面中展示对应的移动控制提示信息,例如显示包括障碍物的前方路况信息与障碍物应对方案,例如当障碍物为可控移动物体时,应对方案可以为发送移动提示指令至该障碍物,当障碍物为不可控物体时,应对方案可以为发送提示信息至与该障碍物距离最近的工作人员所在的终端,还可以将操作提示信息以AR图像或图像文字结合的形式显示在终端的显示屏上,此外,操作提示信息还可以包括对目标距离、障碍物位置、转弯位置、移动速度、移动方向提示等关系到行驶安全与效率的实时交通信息播报,对危险进行视听提示。在实施例中,用户通过终端输入的操作控制指令的优先级高于服务器生成的移动控制提示消息,一般来说,用户输入的操作控制指令是先发给服务器,再由服务器转发给被控物体,当服务器接收到用户通过终端输入的操作控制指令时,暂停发送服务器生成的移动控制提示消息至被控物体,并将用户通过终端输入的操作控制指令发送至被控物体。
在其中一个实施例中,识别实时路况数据中的障碍物信息,并确定被控物体与障碍物的相对位置之后,还包括:
根据障碍物信息,确定障碍物类型。
当障碍物类型为需要进行清除处理的类型时,查找障碍物对应的清除处理方案。
生成携带有清除处理方案的预警消息并发送至终端。
障碍物类型包括行人、车辆等实时移动障碍物,临时物资堆放、车辆临停、区域暂时封闭等静止障碍物,还包括土壤塌陷或坠落物等特殊障碍物等。不需要进行清理的障碍物可以包括行人、车辆等实时移动障碍物当前处于移动路径,但当被控物体移动至该位置时,移动障碍物以自行离开,不会影响被控物体通行的情况。当障碍物类型为需要进行清除处理的类型时,不同类型的障碍物需要采用不同的清除方案进行清除处理,例如,土壤塌陷需要处理,坠落物需要移除等,服务器的数据库中可以预先根据各种需要进行清除处理的障碍物设置对应的障碍物清除处理方案,服务器生成携带有该障碍物对应的清除处理方案的预警消息发送至终端,以减小障碍物对被控物体移动的影响,保证被控物体能够顺利通行。
应该理解的是,虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种工地中的物体移动导航装置,包括:
AR导航信息获取模块502,用于获取基于工地三维地图生成的AR导航信息,AR导航信息包括被控物体按规划的移动路径移动时采集的实时路况数据。
相对位置确定模块504,用于识别实时路况数据中的障碍物信息,并确定被控物体与障碍物的相对位置。
移动状态获取模块506,用于获取被控物体的当前移动状态,其中,当前移动状态包括当前移动方向和当前移动速度。
消息生成模块508,用于根据移动路径、被控物体与障碍物的相对位置以及被控物体的当前移动状态,生成移动控制提示信息。
信息推送模块510,用于将移动控制提示信息添加至AR导航信息,并推送添加有移动控制提示信息的AR导航信息至终端。
上述工地中的物体移动导航装置,通过获取基于工地三维地图生成的AR导航信息,确定被控物体按规划的移动路径移动时采集的实时路况数据,并根据实时路况数据来识别障碍物信息,可以结合三维的AR导航信息,考虑到复杂环境下障碍物对被控物体移动的影响,并根据移动路径和被控物体与障碍物的相对位置,得到被控物体的当前移动方向和当前移动速度的调整提示信息,便于操作人员基于添加移动控制提示信息的AR导航信息进行移动操作控制,避免在远程控制被控物体移动过程中,无法感知障碍物带来的移动障碍,且通过提供移动控制提示信息,辅助进行远程控制,提高物体在工地中的远程移动控制过程的可靠性和安全性。
在其中一个实施例中,工地中的物体移动导航装置还包括AR导航信息获得模块,用于获取被控物体在工地中的当前位置、目的位置以及工地三维地图,基于工地三维地图,规划被控物体的移动路径,根据当前位置和移动路径,得到被控物体在工地三维地图中的导航数据获取被控物体按规划的移动路径移动时采集的实时路况数据,对实时路况数据中的摄像数据进行拼接处理,生成AR画面,将实时路况数据中的雷达数据和导航数据添加至AR画面,得到AR导航信息。
在其中一个实施例中,AR导航信息获得模块还用于根据障碍物信息以及被控物体与障碍物的相对位置,确定障碍物路段,根据障碍物路段,更新移动路径,基于更新的移动路径和被控物体的当前位置,更新导航数据。
在其中一个实施例中,AR导航信息获得模块还用于获取检测范围在规划的移动路径上的摄像设备标识和雷达设备标识,获取摄像设备标识对应摄像设备采集的超视距视频数据,根据超视距视频数据中携带的标定时钟信息,将超视距视频数据的画面帧与AR画面中标定时钟信息相同的画面帧进行拼接,得到超视距AR画面,获取雷达设备标识对应雷达设备采集的超视距雷达数据,将更新后的导航数据和超视距雷达数据添加至超视距AR画面,得到超视距AR导航信息。
在其中一个实施例中,相对位置确定模块,还用于对实时路况数据中的摄像数据进行目标识别处理,确定识别目标对应的第一类障碍物,并根据第一类障碍物在摄像画面中的位置信息,确定被控物体与第一类障碍物的相对位置。
在其中一个实施例中,相对位置确定模块,还用于对实时路况数据中的雷达数据进行异常数据识别,确定异常数据对应的第二类障碍物,并根据异常数据表征的检测距离与检测方向,确定被控物体与第二类障碍物的相对位置。
在其中一个实施例中,消息生成模块还用于根据移动路径、以及被控物体与障碍物的相对位置,确定目标移动方向,根据被控物体的当前移动方向与目标移动方向之间的方向变化幅度,生成移动方向控制提示消息,获取与方向变化幅度相匹配的目标移动速度,根据被控物体的当前移动速度与目标移动速度的速度差,生成移动速度控制提示消息。
在其中一个实施例中,工地中的物体移动导航装置还包括操作提示信息反馈模块,用于根据被控物体的当前移动状态、以及被控物体与障碍物的相对位置,生成并反馈操作提示信息至终端,接收终端基于操作提示信息输入的操作控制指令,并将操作控制指令发送至被控物体。
在其中一个实施例中,工地中的物体移动导航装置还包括预警消息生成模块,用于根据障碍物信息,确定障碍物类型,当障碍物类型为需要进行清除处理的类型时,查找障碍物对应的清除处理方案,生成携带有清除处理方案的预警消息并发送至终端。
关于工地中的物体移动导航装置的具体限定可以参见上文中对于工地中的物体移动导航方法的限定,在此不再赘述。上述工地中的物体移动导航装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储工地中的物体移动导航数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种工地中的物体移动导航方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取基于工地三维地图生成的AR导航信息,AR导航信息包括被控物体按规划的移动路径移动时采集的实时路况数据;
识别实时路况数据中的障碍物信息,并确定被控物体与障碍物的相对位置;
获取被控物体的当前移动状态,其中,当前移动状态包括当前移动方向和当前移动速度;
根据移动路径、被控物体与障碍物的相对位置以及被控物体的当前移动状态,生成移动控制提示信息;
将移动控制提示信息添加至AR导航信息,并推送添加有移动控制提示信息的AR导航信息至终端。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取被控物体在工地中的当前位置、目的位置以及工地三维地图,基于工地三维地图,规划被控物体的移动路径;
根据当前位置和移动路径,得到被控物体在工地三维地图中的导航数据;
获取被控物体按规划的移动路径移动时采集的实时路况数据,对实时路况数据中的摄像数据进行拼接处理,生成AR画面;
将实时路况数据中的雷达数据和导航数据添加至AR画面,得到AR导航信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据障碍物信息以及被控物体与障碍物的相对位置,确定障碍物路段;
根据障碍物路段,更新移动路径;
基于更新的移动路径和被控物体的当前位置,更新导航数据。
在一个实施例中,AR导航信息包括超视距AR导航信息,处理器执行计算机程序时还实现以下步骤:
获取检测范围在规划的移动路径上的摄像设备标识和雷达设备标识;
获取摄像设备标识对应摄像设备采集的超视距视频数据,根据超视距视频数据中携带的标定时钟信息,将超视距视频数据的画面帧与AR画面中标定时钟信息相同的画面帧进行拼接,得到超视距AR画面;
获取雷达设备标识对应雷达设备采集的超视距雷达数据;
将更新后的导航数据和超视距雷达数据添加至超视距AR画面,得到超视距AR导航信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对实时路况数据中的摄像数据进行目标识别处理,确定识别目标对应的第一类障碍物,并根据第一类障碍物在摄像画面中的位置信息,确定被控物体与第一类障碍物的相对位置。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对实时路况数据中的雷达数据进行异常数据识别,确定异常数据对应的第二类障碍物,并根据异常数据表征的检测距离与检测方向,确定被控物体与第二类障碍物的相对位置。
在一个实施例中,移动控制提示消息包括移动方向控制提示消息和移动速度控制提示消息;处理器执行计算机程序时还实现以下步骤:
根据移动路径、以及被控物体与障碍物的相对位置,确定目标移动方向;
根据被控物体的当前移动方向与目标移动方向之间的方向变化幅度,生成移动方向控制提示消息;
获取与方向变化幅度相匹配的目标移动速度;
根据被控物体的当前移动速度与目标移动速度的速度差,生成移动速度控制提示消息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
接收基于添加有移动控制提示信息的AR导航信息输入的操作控制指令,并将操作控制指令发送至被控物体。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据障碍物信息,确定障碍物类型;
当障碍物类型为需要进行清除处理的类型时,查找障碍物对应的清除处理方案;
生成携带有清除处理方案的预警消息并发送至终端。
上述用于实现工地中的物体移动导航方法的计算机设备,通过获取基于工地三维地图生成的AR导航信息,确定被控物体按规划的移动路径移动时采集的实时路况数据,并根据实时路况数据来识别障碍物信息,可以结合三维的AR导航信息,考虑到复杂环境下障碍物对被控物体移动的影响,并根据移动路径和被控物体与障碍物的相对位置,得到被控物体的当前移动方向和当前移动速度的调整提示信息,便于操作人员基于添加移动控制提示信息的AR导航信息进行移动操作控制,避免在远程控制被控物体移动过程中,无法感知障碍物带来的移动障碍,且通过提供移动控制提示信息,辅助进行远程控制,提高物体在工地中的远程移动控制过程的可靠性和安全性。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取基于工地三维地图生成的AR导航信息,AR导航信息包括被控物体按规划的移动路径移动时采集的实时路况数据;
识别实时路况数据中的障碍物信息,并确定被控物体与障碍物的相对位置;
获取被控物体的当前移动状态,其中,当前移动状态包括当前移动方向和当前移动速度;
根据移动路径、被控物体与障碍物的相对位置以及被控物体的当前移动状态,生成移动控制提示信息;
将移动控制提示信息添加至AR导航信息,并推送添加有移动控制提示信息的AR导航信息至终端。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取被控物体在工地中的当前位置、目的位置以及工地三维地图,基于工地三维地图,规划被控物体的移动路径;
根据当前位置和移动路径,得到被控物体在工地三维地图中的导航数据;
获取被控物体按规划的移动路径移动时采集的实时路况数据,对实时路况数据中的摄像数据进行拼接处理,生成AR画面;
将实时路况数据中的雷达数据和导航数据添加至AR画面,得到AR导航信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据障碍物信息以及被控物体与障碍物的相对位置,确定障碍物路段;
根据障碍物路段,更新移动路径;
基于更新的移动路径和被控物体的当前位置,更新导航数据。
在一个实施例中,AR导航信息包括超视距AR导航信息,计算机程序被处理器执行时还实现以下步骤:
获取检测范围在规划的移动路径上的摄像设备标识和雷达设备标识;
获取摄像设备标识对应摄像设备采集的超视距视频数据,根据超视距视频数据中携带的标定时钟信息,将超视距视频数据的画面帧与AR画面中标定时钟信息相同的画面帧进行拼接,得到超视距AR画面;
获取雷达设备标识对应雷达设备采集的超视距雷达数据;
将更新后的导航数据和超视距雷达数据添加至超视距AR画面,得到超视距AR导航信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对实时路况数据中的摄像数据进行目标识别处理,确定识别目标对应的第一类障碍物,并根据第一类障碍物在摄像画面中的位置信息,确定被控物体与第一类障碍物的相对位置。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对实时路况数据中的雷达数据进行异常数据识别,确定异常数据对应的第二类障碍物,并根据异常数据表征的检测距离与检测方向,确定被控物体与第二类障碍物的相对位置。
在一个实施例中,移动控制提示消息包括移动方向控制提示消息和移动速度控制提示消息;计算机程序被处理器执行时还实现以下步骤:
根据移动路径、以及被控物体与障碍物的相对位置,确定目标移动方向;
根据被控物体的当前移动方向与目标移动方向之间的方向变化幅度,生成移动方向控制提示消息;
获取与方向变化幅度相匹配的目标移动速度;
根据被控物体的当前移动速度与目标移动速度的速度差,生成移动速度控制提示消息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
接收基于添加有移动控制提示信息的AR导航信息输入的操作控制指令,并将操作控制指令发送至被控物体。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据障碍物信息,确定障碍物类型;
当障碍物类型为需要进行清除处理的类型时,查找障碍物对应的清除处理方案;
生成携带有清除处理方案的预警消息并发送至终端。
上述用于工地中的物体移动导航方法的计算机设备可读存储介质,通过获取基于工地三维地图生成的AR导航信息,确定被控物体按规划的移动路径移动时采集的实时路况数据,并根据实时路况数据来识别障碍物信息,可以结合三维的AR导航信息,考虑到复杂环境下障碍物对被控物体移动的影响,并根据移动路径和被控物体与障碍物的相对位置,得到被控物体的当前移动方向和当前移动速度的调整提示信息,便于操作人员基于添加移动控制提示信息的AR导航信息进行移动操作控制,避免在远程控制被控物体移动过程中,无法感知障碍物带来的移动障碍,且通过提供移动控制提示信息,辅助进行远程控制,提高物体在工地中的远程移动控制过程的可靠性和安全性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来消息相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种工地中的物体移动导航方法,所述方法包括:
获取基于工地三维地图生成的AR导航信息,所述AR导航信息包括被控物体按规划的移动路径移动时采集的实时路况数据,所述实时路况数据包括摄像数据、雷达数据以及探测器探测得到的数据;
识别所述实时路况数据中的障碍物信息,并确定所述被控物体与障碍物的相对位置;
获取所述被控物体的当前移动状态,其中,所述当前移动状态包括当前移动方向和当前移动速度;
根据所述移动路径、所述被控物体与障碍物的相对位置以及所述被控物体的当前移动状态,生成移动控制提示信息,所述移动控制提示信息包括移动方向控制提示消息和移动速度控制提示消息;
将所述移动控制提示信息添加至所述AR导航信息,并推送添加有所述移动控制提示信息的AR导航信息至终端;
所述根据所述移动路径、所述被控物体与障碍物的相对位置以及所述被控物体的当前移动状态,生成移动控制提示信息包括:根据所述移动路径、以及所述被控物体与障碍物的相对位置,确定目标移动方向,所述目标移动方向是指能够顺利避开障碍物的临时移动路径的方向;根据所述被控物体的当前移动方向与所述目标移动方向之间的方向变化幅度,生成移动方向控制提示消息;获取与所述方向变化幅度相匹配的目标移动速度;根据所述被控物体的当前移动速度与所述目标移动速度的速度差,生成移动速度控制提示消息。
2.根据权利要求1所述的方法,其特征在于,基于工地三维地图生成AR导航信息包括:
获取被控物体在工地中的当前位置、目的位置以及工地三维地图,基于所述工地三维地图,规划所述被控物体的移动路径;
根据所述当前位置和所述移动路径,得到所述被控物体在所述工地三维地图中的导航数据;
获取所述被控物体按规划的移动路径移动时采集的实时路况数据,对所述实时路况数据中的摄像数据进行拼接处理,生成AR画面;
将所述实时路况数据中的雷达数据和所述导航数据添加至所述AR画面,得到AR导航信息。
3.根据权利要求2所述的方法,其特征在于,所述识别所述实时路况数据中的障碍物信息,并确定所述被控物体与障碍物的相对位置之后,还包括:
根据所述障碍物信息以及所述被控物体与障碍物的相对位置,确定障碍物路段;
根据所述障碍物路段,更新所述移动路径;
基于更新的移动路径和所述被控物体的当前位置,更新所述导航数据。
4.根据权利要求3所述的方法,其特征在于,所述AR导航信息包括超视距AR导航信息;
所述基于工地三维地图生成AR导航信息,还包括:
获取检测范围在规划的所述移动路径上的摄像设备标识和雷达设备标识;
获取所述摄像设备标识对应摄像设备采集的超视距视频数据,根据所述超视距视频数据中携带的标定时钟信息,将所述超视距视频数据的画面帧与所述AR画面中标定时钟信息相同的画面帧进行拼接,得到超视距AR画面;
获取所述雷达设备标识对应雷达设备采集的超视距雷达数据;
将更新后的导航数据和所述超视距雷达数据添加至所述超视距AR画面,得到超视距AR导航信息。
5.根据权利要求1所述的方法,其特征在于,所述识别所述实时路况数据中的障碍物信息,并确定所述被控物体与障碍物的相对位置至少包括以下各项中的一项:
对所述实时路况数据中的摄像数据进行目标识别处理,确定识别目标对应的第一类障碍物,并根据所述第一类障碍物在摄像画面中的位置信息,确定所述被控物体与所述第一类障碍物的相对位置;
对所述实时路况数据中的雷达数据进行异常数据识别,确定所述异常数据对应的第二类障碍物,并根据异常数据表征的检测距离与检测方向,确定所述被控物体与所述第二类障碍物的相对位置。
6.根据权利要求1所述的方法,其特征在于,所述将所述移动控制提示信息添加至所述AR导航信息,并推送添加有所述移动控制提示信息的AR导航信息至终端之后,还包括:
接收基于所述添加有移动控制提示信息的AR导航信息输入的操作控制指令,并将所述操作控制指令发送至所述被控物体。
7.根据权利要求1所述的方法,其特征在于,所述识别所述实时路况数据中的障碍物信息,并确定所述被控物体与障碍物的相对位置之后,还包括:
根据所述障碍物信息,确定障碍物类型;
当所述障碍物类型为需要进行清除处理的类型时,查找所述障碍物对应的清除处理方案;
生成携带有所述清除处理方案的预警消息并发送至终端。
8.一种工地中的物体移动导航装置,其特征在于,所述装置包括:
AR导航信息获取模块,用于获取基于工地三维地图生成的AR导航信息,所述AR导航信息包括被控物体按规划的移动路径移动时采集的实时路况数据,所述实时路况数据包括摄像数据、雷达数据以及探测器探测得到的数据;
相对位置确定模块,用于识别所述实时路况数据中的障碍物信息,并确定所述被控物体与障碍物的相对位置;
移动状态获取模块,用于获取所述被控物体的当前移动状态,其中,所述当前移动状态包括当前移动方向和当前移动速度;
消息生成模块,用于根据所述移动路径、所述被控物体与障碍物的相对位置以及所述被控物体的当前移动状态,生成移动控制提示信息,所述移动控制提示信息包括移动方向控制提示消息和移动速度控制提示消息;
信息推送模块,用于将所述移动控制提示信息添加至所述AR导航信息,并推送添加有所述移动控制提示信息的AR导航信息至终端;
消息生成模块,还用于根据所述移动路径、以及所述被控物体与障碍物的相对位置,确定目标移动方向,所述目标移动方向是指能够顺利避开障碍物的临时移动路径的方向;根据所述被控物体的当前移动方向与所述目标移动方向之间的方向变化幅度,生成移动方向控制提示消息;获取与所述方向变化幅度相匹配的目标移动速度;根据所述被控物体的当前移动速度与所述目标移动速度的速度差,生成移动速度控制提示消息。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
AR导航信息获得模块,用于获取被控物体在工地中的当前位置、目的位置以及工地三维地图,基于所述工地三维地图,规划所述被控物体的移动路径;根据所述当前位置和所述移动路径,得到所述被控物体在所述工地三维地图中的导航数据;获取所述被控物体按规划的移动路径移动时采集的实时路况数据,对所述实时路况数据中的摄像数据进行拼接处理,生成AR画面;将所述实时路况数据中的雷达数据和所述导航数据添加至所述AR画面,得到AR导航信息。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910754261.5A CN112445204B (zh) | 2019-08-15 | 2019-08-15 | 工地中的物体移动导航方法、装置和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910754261.5A CN112445204B (zh) | 2019-08-15 | 2019-08-15 | 工地中的物体移动导航方法、装置和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112445204A CN112445204A (zh) | 2021-03-05 |
CN112445204B true CN112445204B (zh) | 2023-09-26 |
Family
ID=74742005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910754261.5A Active CN112445204B (zh) | 2019-08-15 | 2019-08-15 | 工地中的物体移动导航方法、装置和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112445204B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115180210B (zh) * | 2021-04-07 | 2024-01-05 | 苏州优斯登物联网科技有限公司 | 一种设备动作流量监控系统及物料自动包装设备 |
CN113267179B (zh) * | 2021-05-17 | 2023-05-30 | 北京京东乾石科技有限公司 | 提示信息生成方法和装置、存储介质、电子设备 |
CN113325844B (zh) * | 2021-05-27 | 2023-03-28 | 天津迦自机器人科技有限公司 | 一种辅助自主定位导航ar教学演示的障碍物位置识别方法 |
CN115434519B (zh) * | 2022-09-29 | 2023-08-22 | 中铁八局集团第一工程有限公司 | 电动式钢筋预绑扎台车 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010134499A (ja) * | 2008-12-02 | 2010-06-17 | Mitsubishi Electric Corp | 遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラム |
CN105737843A (zh) * | 2016-01-29 | 2016-07-06 | 努比亚技术有限公司 | 一种导航提示的方法和穿戴式设备 |
CN109459029A (zh) * | 2018-11-22 | 2019-03-12 | 亮风台(上海)信息科技有限公司 | 一种用于确定目标对象的导航路线信息的方法与设备 |
CN109714730A (zh) * | 2019-02-01 | 2019-05-03 | 清华大学 | 用于车车及车路协同的云控平台系统及协同系统和方法 |
CN109919118A (zh) * | 2019-03-15 | 2019-06-21 | 百度在线网络技术(北京)有限公司 | Ar导航中的障碍物提示方法、装置、设备及介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8301318B2 (en) * | 2008-03-05 | 2012-10-30 | Robotic Research Llc | Robotic vehicle remote control system having a virtual operator environment |
CN105989712A (zh) * | 2015-11-06 | 2016-10-05 | 乐卡汽车智能科技(北京)有限公司 | 一种车辆数据处理的方法及车辆终端 |
CN107328424B (zh) * | 2017-07-12 | 2020-12-11 | 三星电子(中国)研发中心 | 导航方法和装置 |
CN109584596A (zh) * | 2018-12-20 | 2019-04-05 | 奇瑞汽车股份有限公司 | 车辆驾驶提示方法及装置 |
-
2019
- 2019-08-15 CN CN201910754261.5A patent/CN112445204B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010134499A (ja) * | 2008-12-02 | 2010-06-17 | Mitsubishi Electric Corp | 遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラム |
CN105737843A (zh) * | 2016-01-29 | 2016-07-06 | 努比亚技术有限公司 | 一种导航提示的方法和穿戴式设备 |
CN109459029A (zh) * | 2018-11-22 | 2019-03-12 | 亮风台(上海)信息科技有限公司 | 一种用于确定目标对象的导航路线信息的方法与设备 |
CN109714730A (zh) * | 2019-02-01 | 2019-05-03 | 清华大学 | 用于车车及车路协同的云控平台系统及协同系统和方法 |
CN109919118A (zh) * | 2019-03-15 | 2019-06-21 | 百度在线网络技术(北京)有限公司 | Ar导航中的障碍物提示方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112445204A (zh) | 2021-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3967972A1 (en) | Positioning method, apparatus, and device, and computer-readable storage medium | |
CN112445204B (zh) | 工地中的物体移动导航方法、装置和计算机设备 | |
CN108596116B (zh) | 测距方法、智能控制方法及装置、电子设备和存储介质 | |
US11422265B2 (en) | Driver visualization and semantic monitoring of a vehicle using LiDAR data | |
EP4027167A1 (en) | Sensor calibration method and apparatus | |
CN111046743B (zh) | 一种障碍物信息标注方法、装置、电子设备和存储介质 | |
EP3553752A1 (en) | Information processing apparatus, information processing method, and computer-readable medium for generating an obstacle map | |
US20210278221A1 (en) | Lane marking localization and fusion | |
US11280630B2 (en) | Updating map data | |
US11755917B2 (en) | Generating depth from camera images and known depth data using neural networks | |
KR102151815B1 (ko) | 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치 | |
CN111754580A (zh) | 一种摄像头标定方法、路侧感知设备和智慧交通系统 | |
US20230222671A1 (en) | System for predicting near future location of object | |
CN114494618B (zh) | 地图的生成方法、装置、电子设备及存储介质 | |
CN114419098A (zh) | 基于视觉变换的运动目标轨迹预测方法及装置 | |
US20210394782A1 (en) | In-vehicle processing apparatus | |
CN113887400B (zh) | 障碍物检测方法、模型训练方法、装置及自动驾驶车辆 | |
CN116310679A (zh) | 多传感器融合目标检测方法、系统、介质、设备及终端 | |
CN109618131B (zh) | 一种用于呈现决策辅助信息的方法与设备 | |
US11763492B1 (en) | Apparatus and methods to calibrate a stereo camera pair | |
CN113433965B (zh) | 无人机避障方法,装置,存储介质及电子设备 | |
WO2021223166A1 (zh) | 状态信息确定方法、装置、系统、可移动平台和存储介质 | |
Thai et al. | Application of edge detection algorithm for self-driving vehicles | |
KR20220139756A (ko) | 주변차량의 경로 예측 장치 및 그 방법 | |
JP7294476B2 (ja) | カメラ制御システム、カメラ制御方法、及び非一時的コンピュータ可読媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |