CN112907757A - 一种导航提示方法、装置、电子设备及存储介质 - Google Patents
一种导航提示方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112907757A CN112907757A CN202110375929.2A CN202110375929A CN112907757A CN 112907757 A CN112907757 A CN 112907757A CN 202110375929 A CN202110375929 A CN 202110375929A CN 112907757 A CN112907757 A CN 112907757A
- Authority
- CN
- China
- Prior art keywords
- information
- target object
- determining
- real scene
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000001514 detection method Methods 0.000 claims abstract description 77
- 230000003190 augmentative effect Effects 0.000 claims abstract description 6
- 230000033001 locomotion Effects 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 23
- 230000003287 optical effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 208000027744 congestion Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3635—Guidance using 3D or perspective road maps
- G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
本公开提供了一种导航提示方法、装置、电子设备及存储介质,该导航提示方法包括:获取增强现实AR设备拍摄的现实场景图像;基于现实场景图像,确定AR设备的当前位姿数据、AR设备所处的当前道路的道路属性信息、以及基于现实场景图像确定当前道路上的目标对象的三维检测信息;基于AR设备的当前位姿数据、道路属性信息和三维检测信息,生成针对用户的导航提示信息,并通过AR设备对用户进行提示。
Description
技术领域
本公开涉及导航技术领域,具体而言,涉及一种导航提示方法、装置、电子设备及存储介质。
背景技术
随着计算机技术的发展,出现了越来越多的用于导航应用程序,给人们的出行生活带来了方便。
导航应用程序中,可以基于用户的出发地和目的地,生成用于指示用户从出发地到达目的地的导航路线,但是用户按照导航路线前进时,可能会存在危险情况,因此如何保证用户在使用导航时的安全,为亟需解决的问题。
发明内容
本公开实施例至少提供一种导航提示方案。
第一方面,本公开实施例提供了一种导航提示方法,包括:
获取增强现实AR设备拍摄的现实场景图像;
基于所述现实场景图像,确定所述AR设备的当前位姿数据和所述AR设备所处的当前道路的道路属性信息、以及基于所述现实场景图像确定所述当前道路上的目标对象的三维检测信息;
基于所述AR设备的当前位姿数据、所述道路属性信息和所述三维检测信息,生成针对用户的导航提示信息,并通过所述AR设备对所述用户进行提示。
本公开实施例中,在用户出行过程中,可以检测AR设备的当前位姿数据、当前道路的道路属性信息以及当前道路上的目标对象的三维检测信息,并基于此生成针对用户的导航提示信息,该导航提示信息可以提示用户前方的目标对象,一方面可以提高导航精度,另一方面可以提高用户出行安全。
在一种可能的实施方式中,基于所述现实场景图像,确定所述AR设备的当前位姿数据、以及所述AR设备所处的当前道路的道路属性信息,包括:
基于所述现实场景图像,以及预先构建的表征现实场景的三维场景地图,确定所述AR设备的当前位姿数据;
基于所述AR设备的当前位姿数据和所述三维场景地图,确定所述AR设备所处的当前道路的道路属性信息。
本公开实施例中,可以基于预先构建的可以表征现实场景的高精度三维场景地图和AR设备拍摄的现实场景地图,快速确定出AR设备的当前位姿数据以及AR设备所处的当前道路的道路属性信息,便于生成准确的导航提示信息。
在一种可能的实施方式中,所述基于所述现实场景图像确定所述当前道路上的目标对象的三维检测信息,包括:
对所述现实场景图像进行目标检测,确定所述当前道路上包含的目标对象;
基于所述现实场景图像,确定所述现实场景图像对应的深度图像;所述深度图像中包含所述现实场景图像中构成所述目标对象的每个像素点的深度信息;
基于所述现实场景图像中构成所述目标对象的每个像素点在图像坐标系下的二维坐标信息、该像素点的深度信息以及所述AR设备中的图像采集部件的参数信息,确定该像素点在世界坐标系下的三维坐标信息;
基于构成所述目标对象的每个像素点在所述世界坐标系下的三维坐标信息,确定所述目标对象的三维检测信息。
本公开实施例中,可以通过AR设备采集的现实场景图像,以及预先存储的AR设备的图像采集部件的参数信息来准确地确定目标对象在当前道路中的位置、朝向和尺寸,从而便于生成准确的导航提示信息。
在一种可能的实施方式中,所述基于所述AR设备的当前位姿数据、所述道路属性信息和所述三维检测信息,生成针对用户的导航提示信息,包括:
基于所述AR设备的当前位姿数据和所述道路属性信息,确定针对所述用户的道路提示信息;
基于所述AR设备的当前位姿数据和所述三维检测信息,确定与所述目标对象发生关联的风险信息;
基于所述道路属性信息、所述道路提示信息和所述风险信息,生成针对所述用户的导航提示信息。
本公开实施例中,提出可以基于AR设备的当前位姿数据和道路属性信息,确定出针对用户的道路提示信息,以及基于AR设备的当前位姿数据和目标对象三维检测信息,确定与目标对象关联的风险信息,然后结合道路提示信息、道路属性信息和风险信息,可以生成准确的导航提示信息。
在一种可能的实施方式中,所述基于所述AR设备的当前位姿数据和所述三维检测信息,确定与所述目标对象关联的风险信息,包括:
基于所述AR设备的当前位姿数据和所述三维检测信息,确定所述目标对象与所述AR设备的相对位姿信息;
基于所述相对位姿信息,确定所述AR设备与所述目标对象发生碰撞的风险信息。
本公开实施例中,在用户按照导航步行过程中,可以基于AR设备的当前位姿数据和目标对象的三维检测信息,确定用户在导航过程中是否存在发生碰撞的风险,以便在确定存在碰撞的风险时,能够对用户进行及时提示,保证用户出行安全。
在一种可能的实施方式中,所述基于所述相对位姿信息,确定所述AR设备与所述目标对象发生碰撞的风险信息之前,所述导航提示方法还包括:
基于多张现实场景图像,确定所述AR设备和所述目标对象之间的相对运动数据;
所述基于所述相对位姿信息,确定所述AR设备与所述目标对象发生碰撞的风险信息,包括:
基于所述相对位姿信息和所述相对运动数据,确定所述AR设备与所述目标对象发生碰撞的风险信息。
本公开实施例中,通过考虑AR设备和目标对象之间的相对位姿信息以及相对运动数据,来准确确定AR设备和目标对象发生碰撞的风险信息,从而可以基于该风险信息对用户进行导航提示,以保证用户出行安全。
在一种可能的实施方式中,所述基于所述相对位姿信息和所述相对运动数据,确定所述AR设备与所述目标对象发生碰撞的风险信息,包括:
基于所述相对位姿信息和所述相对运动数据,确定在预设时长内所述AR设备与所述目标对象是否会发生碰撞;
在确定会发生碰撞的情况下,基于所述相对位姿信息和所述相对运动数据,确定所述AR设备与所述目标对象从当前时刻到发生碰撞时所需的预估时长;
基于所述预估时长和所述相对运动数据,确定所述风险信息。
在一种可能的实施方式中,所述基于所述道路属性信息、所述道路提示信息和所述风险信息,生成针对所述用户的导航提示信息,包括:
基于所述风险信息和预设风险等级,确定针对所述用户的目标对象提示信息;
基于所述目标对象对应的三维检测信息和所述道路属性信息,确定针对所述用户的避障路线信息;
基于所述道路提示信息、所述目标对象提示信息和所述避障路线信息,生成针对所述用户的导航提示信息。
本公开实施例中,在导航过程中,可以生成针对用户进行全面的导航提示信息,示例性地,可以包括针对用户的道路提示信息、目标对象提示信息和避障路线信息,从而可以提高用户在导航使用过程中的安全性。
第二方面,本公开实施例提供了一种导航提示装置,包括:
获取模块,用于获取增强现实AR设备拍摄的现实场景图像;
确定模块,用于基于所述现实场景图像,确定所述AR设备的当前位姿数据和所述AR设备所处的当前道路的道路属性信息、以及基于所述现实场景图像确定所述当前道路上的目标对象的三维检测信息;
提示模块,用于基于所述AR设备的当前位姿数据、所述道路属性信息和所述三维检测信息,生成针对用户的导航提示信息,并通过所述AR设备对所述用户进行提示。
第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的导航提示方法的步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的导航提示方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种导航提示方法的流程图;
图2示出了本公开实施例所提供的一种确定道路属性信息的方法流程图;
图3示出了本公开实施例所提供的一种确定目标对象的三维检测信息的方法流程图;
图4示出了本公开实施例所提供的一种生成导航提示信息的方法流程图;
图5示出了本公开实施例所提供的一种确定AR设备与目标对象发生碰撞的风险信息的方法流程图;
图6示出了本公开实施例所提供的一种确定风险信息的具体方法流程图;
图7示出了本公开实施例所提供的一种生成导航提示信息的具体方法流程图;
图8示出了本公开实施例所提供的一种生成三维场景地图的方法流程图;
图9示出了本公开实施例所提供的一种确定AR设备的当前位姿数据的方法流程图;
图10示出了本公开实施例所提供的一种确定AR设备的当前位姿数据的具体方法流程图;
图11示出了本公开实施例所提供的一种导航提示装置的结构示意图;
图12示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
在一般的AR场景的导航中,通过短距离选择步行导航时,可以在AR设备中展示指向目标地的虚拟指示箭头,用户按照该虚拟指示箭头步行前进,即可以达到目的地,但是在跟随指示箭头机械式的步行过程中,很容易忽略临时出现的障碍物,若遇到临时出现的障碍物,在继续按照原来的导航信息进行行驶的过程中,可能会与障碍物发生碰撞,比如遇到其他行人,或者遇到来往车辆,因此,如何提高导航的准确度,以及提高用户在导航过程中的安全性,为本公开要解决的技术问题。
基于上述研究,本公开提供了一种导航提示方法,在用户出行过程中,可以检测AR设备的当前位姿数据、当前道路的道路属性信息以及当前道路上的目标对象的三维检测信息,并基于此生成针对用户的导航提示信息,该导航提示信息可以提示用户前方的目标对象,一方面可以提高导航精度,另一方面可以提高用户出行安全。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种导航提示方法进行详细介绍,本公开实施例所提供的导航提示方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为移动设备、用户终端、终端、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该导航提示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例提供的导航提示方法的流程图,该导航提示方法包括以下S101~S103:
S101,获取增强现实AR设备拍摄的现实场景图像。
示例性地,AR设备具体可以包括智能手机、平板电脑和AR眼镜等能够进行增强现实的设备,AR设备可以内置图像采集部件也可以外接图像采集部件,在AR设备进入工作状态后,可以通过图像采集部件实时拍摄现实场景图像。
S102,基于现实场景图像,确定AR设备的当前位姿数据和AR设备所处的当前道路的道路属性信息、以及基于现实场景图像确定当前道路上的目标对象的三维检测信息。
示例性地,考虑到现实场景图像是通过AR设备的图像采集部件采集的,AR设备的当前位姿数据可以通过AR设备的图像采集部件的当前位姿数据表示,具体可以包括AR设备的图像采集部件在现实场景对应的世界坐标系下的当前位置坐标和当前姿态数据,其中当前位置坐标可以通过该图像采集部件在世界坐标系中的位置坐标表示;当前姿态数据可以通过该图像采集部件的当前朝向来表示,该图像采集部件的当前朝向可以通过图像采集部件的光轴与世界坐标系中的X轴、Y轴和Z轴的当前夹角来表示。
具体地,在基于AR设备拍摄的现实场景图像来确定AR设备的当前位姿数据时,可以基于该现实场景图像和表征现实场景的三维场景地图来进行定位,另外在定位过程中还可以结合AR设备内置的惯性测量单元(Inertial Measurement Unit,IMU)对AR设备进行定位,具体地的定位方式将在后文进行具体介绍。
示例性地,每条道路的道路属性信息可以表示该条道路的长度、宽度、在现实场景对应的世界坐标系中的走向、转向信息等,每条道路的道路属性信息可以预先通过线下采集并进行存储,这里可以在确定出AR设备的当前位置坐标后,通过预先保存的每条道路的地理位置范围确定出AR设备所处的当前道路,进一步可以提取预先存储的当前道路的道路属性信息。
示例性地,在确定当前道路上的目标对象的三维检测信息时,可以引入三维目标检测技术,对现实场景图像进行三维目标检测,得到当前道路上的目标对象的三维检测信息。
示例性地,目标对象的三维检测信息可以包括目标对象在世界坐标系下的中心点位置坐标、目标对象的3D检测框的长度、宽度和高度,以及该目标对象的设定正方向与世界坐标系的各个坐标轴之间的夹角,目标对象为行人时,该目标对象的设定正方向可以为行人朝向的方向,目标对象为车辆时,该目标对象的设定正方向可以为车头朝向的方向。
S103,基于AR设备的当前位姿数据、道路属性信息和三维检测信息,生成针对用户的导航提示信息,并通过AR设备对用户进行提示。
示例性地,基于AR设备的当前位姿数据可以确定AR设备在现实场景中的位置以及朝向,基于道路属性信息可以确定出AR设备所处的当前道路的宽度、长度以及转向信息,基于AR设备采集的现实场景图像中的目标对象对应的三维检测信息,可以确定当前道路上的目标对象在世界坐标系下的三维尺寸、中心点位置和朝向,进一步地基于AR设备的当前位姿数据、道路属性信息和三维检测信息可以确定AR设备是否存在与目标对象发生碰撞的情况,由此可以生成针对用户的导航提示信息,以保证用户出行安全。
本公开实施例中,在用户出行过程中,可以检测AR设备的当前位姿数据、当前道路的道路属性信息以及当前道路上的目标对象的三维检测信息,并基于此生成针对用户的导航提示信息,该导航提示信息可以提示用户前方的目标对象,一方面可以提高导航精度,另一方面可以提高用户出行安全。
示例性地,导航提示信息可以包括语音提示信息、文字提示信息、动画提示信息、警示符和闪光中的至少一种,这样通过AR设备对用户进行提示时,可以包括:
以语音形式、文字形式、动画形式、警示符、和闪光形式中的至少一种对用户进行提示。
其中,文字提示信息、动画提示信息、警示符可以为叠加在现实场景中的虚拟对象,在生成导航提示信息后,可以按照在AR设备拍摄的现实场景图像中叠加进行提示的虚拟对象,达到对用户进行提示的目的。
除了通过文字提示信息、动画提示信息、警示符等视觉信息对用户进行预警提示外,还可以结合语音形式和/或闪光形式对用户进行提示,便于有效提示用户注意道路安全。
下面将结合具体实施例对上述S101~S103进行详细介绍。
针对上述S102,在基于现实场景图像,确定AR设备的当前位姿数据、以及AR设备所处的当前道路的道路属性信息时,如图2所示,可以包括以下S1021~S1022:
S1021,基于现实场景图像,以及预先构建的表征现实场景的三维场景地图,确定AR设备的当前位姿数据;
S1022,基于AR设备的当前位姿数据和三维场景地图,确定AR设备所处的当前道路的道路属性信息。
示例性地,可以通过预先拍摄现实场景得到的视频或者图像数据,生成表征现实场景的三维场景地图,具体生成方式详见后文,该三维场景地图基于现实场景对应的视频数据生成,可以构建与现实场景在相同坐标系下完全重合的三维场景地图,因此可以将该三维场景地图作为现实场景的高精度地图使用。
示例性地,在得到AR设备拍摄的现实场景图像后,可以先基于该现实场景图像和预先构建的表征现实场景图像的三维场景地图,确定出AR设备的当前位姿数据,然后再根据AR设备的当前位姿数据和三维场景地图中预先存储的现实场景中的每条道路的地理位置范围,确定出AR设备所处的当前道路,以及当前道路的道路属性信息。
本公开实施例中,可以基于预先构建的可以表征现实场景的高精度三维场景地图和AR设备拍摄的现实场景地图,快速确定出AR设备的当前位姿数据以及AR设备所处的当前道路的道路属性信息,便于生成准确的导航提示信息。
针对上述S102,在基于现实场景图像确定当前道路上的目标对象的三维检测信息时,如图3所示,可以包括以下S1023~S1026:
S1023,对现实场景图像进行目标检测,确定当前道路上包含的目标对象。
这里可以采用预先训练的二维目标检测神经网络,针对现实场景图像进行二维目标检测,确定现实场景图像中包含的目标对象,示例性地,目标对象可以包括行人、车辆等。
S1024,基于现实场景图像,确定现实场景图像对应的深度图像;深度图像中包含现实场景图像中构成目标对象的每个像素点的深度信息。
示例性地,可以根据采集到的现实场景图像以及预先训练的用于确定深度图像的神经网络,来确定现实场景图像对应的深度图像,从而得到现实场景图像中构成目标对象的每个像素点的深度信息。
S1025,基于现实场景图像中构成目标对象的每个像素点在图像坐标系下的二维坐标信息、该像素点的深度信息以及AR设备中的图像采集部件的参数信息,确定该像素点在世界坐标系下的三维坐标信息。
示例性地,针对采集到的现实场景图像可以建立图像坐标系,基于构建的图像坐标系可以确定构成目标对象的每个像素点在图像坐标系下的二维坐标信息,即在图像坐标系下的像素坐标值。
图像采集部件的参数信息可以包括图像采集部件的内部参数和外部参数,其中,该内部参数可以用于将像素点在图像坐标系下的坐标值转化为在相机坐标系下的坐标值;外部参数可以用于将像素点在相机坐标系下的坐标值转换为在世界坐标系下的坐标值。
示例性地,这里可以通过AR设备中的图像采集部件的内部参数,对构成目标对象的每个像素点在图像坐标系下的二维坐标信息转换至在相机坐标系下沿X轴和Y轴方向的坐标值,基于像素点的深度信息,可以得到该像素点在相机坐标系下沿Z轴方向的坐标值,然后再基于图像采集部件的外部参数,将像素点在相机坐标系下的坐标值转化至在世界坐标系下的坐标值,即得到像素点在世界坐标系下的三维坐标信息。
S1026,基于构成目标对象的每个像素点在世界坐标系下的三维坐标信息,确定目标对象的三维检测信息。
示例性地,在得到构成目标对象的每个像素点在世界坐标系下的三维坐标信息后,可以基于预先训练的三维目标检测神经网络,来确定目标对象对应的三维检测信息。
比如,可以基于构成目标对象的每个像素点在世界坐标系下的三维坐标信息,得到目标对象对应的三维点云数据,然后基于该三维点云数据和预先构建的三维目标检测神经网络,来确定目标对象对应的三维检测信息。
本公开实施例中,可以通过AR设备采集的现实场景图像,以及预先存储的AR设备的图像采集部件的参数信息来准确地确定目标对象在当前道路中的位置、朝向和尺寸,从而便于生成准确的导航提示信息。
针对上述S103,在基于AR设备的当前位姿数据、道路属性信息和三维检测信息,生成针对用户的导航提示信息时,如图4所示,可以包括以下S1031~S1033:
S1031,基于AR设备的当前位姿数据和道路属性信息,确定针对用户的道路提示信息。
示例性地,可以根据AR设备的当前位姿数据和当前道路的道路属性信息,确定出AR设备在当前道路中的朝向,以及AR设备在当前道路中的位置,比如AR设备所处的当前道路L1为东西走向的长度为1000米的直行道路,且东侧的一端与另一条南北走向的道路L2相交,若AR设备指示的导航路线为沿道路L1由西向东行走,行走至道路L2后,向南继续行驶,若AR设备的当前位姿数据指示该AR设备位于当前道路L1且与道路L2相距800米的位置,可以生成针对用户的道路提示信息,比如“向东行走800米后继续向南行走”;再比如若该道路属性信息中的宽度指示当前道路的宽度较窄,可以向用户提示“道路狭窄,请注意安全”。
S1032,基于AR设备的当前位姿数据和三维检测信息,确定与目标对象关联的风险信息。
示例性地,与目标对象关联的风险信息可以包含AR设备与目标对象发生碰撞的风险信息,比如检测出的目标对象为车辆,可以通过车辆的三维检测信息确定出车辆在世界坐标系下的尺寸、中心点位置和朝向,然后基于AR设备在世界坐标系下的当前位姿数据,确定AR设备和该车辆在当前道路上是否存在发生碰撞的风险,比如AR设备朝向该车辆步行移动,且与该车辆的距离较近时,可以确定存在与该车辆发生碰撞的风险。
示例性地,与目标对象关联的风险信息还可以指其它容易对用户造成风险的信息,比如前方车辆多,造成拥堵的风险。
S1033,基于道路属性信息、道路提示信息和风险信息,生成针对用户的导航提示信息。
示例性地,当AR设备存在与目标对象发生碰撞的风险时,可以结合道路属性信息及时调整避障路线,并结合道路提示信息,对用户进行提示。
示例性地,用户在当前道路行驶时,前方2米处靠道路右侧停靠有目标车辆,且用户沿着当前道路靠右的方向步行移动,这样基于AR设备的当前位姿数据和当前道路上的车辆的三维检测信息,确定出若用户继续按照当前方向行驶时,会在前方2米处的位置发生碰撞,针对此,可以提示用户“前方路段注意车辆,请您沿左侧行走”。
本公开实施例中,提出可以基于AR设备的当前位姿数据和道路属性信息,确定出针对用户的道路提示信息,以及基于AR设备的当前位姿数据和目标对象三维检测信息,确定与目标对象关联的风险信息,然后结合道路提示信息、道路属性信息和风险信息,可以生成准确的导航提示信息。
具体地,在基于AR设备的当前位姿数据和三维检测信息,确定与目标对象关联的风险信息时,如图5所示,可以包括以下S10321~S10322:
S10321,基于AR设备的当前位姿数据和三维检测信息,确定目标对象与AR设备的相对位姿信息。
示例性地,AR设备与目标对象之间的相对位姿信息可以包括AR设备和该目标对象之间的相对距离和相对角度,其中,相对距离可以通过AR设备的图像采集部件的光心与该目标对象的目标位置点在世界坐标系下的相对距离表示,该目标位置点可以包括该目标对象的中心位置点,也可以包括该目标对象的3D检测框上与图像采集部件的光心之间距离最近的位置点;相对角度可以通过AR设备的图像采集部件的光轴指向该目标对象的目标位置点时的方向与该光轴的当前朝向之间的夹角来表示。
S10322,基于相对位姿信息,确定AR设备与目标对象发生碰撞的风险信息。
示例性地,考虑到用户步行的当前道路存在一些临时障碍物,比如行人、车辆等,因此需要对周边场景进行目标检测,在检测到目标对象时,可以基于AR设备与目标对象之间的相对位姿信息,来确定AR设备在当前道路上与目标对象发生碰撞的风险信息。
比如,若根据AR设备和目标对象的相对位姿信息,确定出AR设备朝向目标对象,且与目标对象距离较近的情况下,可以表示AR设备与目标对象有发生碰撞的风险,然后可以进一步基于AR设备与目标对象之间的距离,确定AR设备与目标对象发生碰撞的风险,比如距离越近,发生碰撞的风险越高。
本公开实施例中,在用户按照导航步行过程中,可以基于AR设备的当前位姿数据和目标对象的三维检测信息,确定用户在导航过程中是否存在发生碰撞的风险,以便在确定存在碰撞的风险时,能够对用户进行及时提示,保证用户出行安全。
在另一种实施方式中,考虑到用户在当前道路中可以处于移动状态和/或目标对象处于移动状态,这样在基于相对位姿信息,确定AR设备与目标对象发生碰撞的风险信息之前,本公开实施例提供的导航提示方法还包括:
基于多张现实场景图像,确定AR设备和目标对象之间的相对运动数据;
考虑到基于现实场景图像可以确定AR设备在采集该张现实场景图像时的位姿数据,这样结合多张现实场景图像,可以确定出AR设备在多张现实场景图像对应的时长内的移动距离、以及移动方向,然后结合多张现实场景图像对应的时长,可以确定出AR设备的运动速度和运动方向。
同样,基于现实场景图像可以确定出AR设备在采集该张现实场景图像时目标对象的三维检测信息,这样结合多张现实场景图像,可以确定出目标对象在多张现实场景图像对应的时长内的移动距离、以及移动方向,然后结合多张现实场景图像对应的时长,同样可以确定出目标对象的运动速度和运动方向。
基于多张现实场景图像对应的时长内,AR设备的运动速度以及目标对象的运动速度,可以确定出AR设备和目标对象的相对运动速度;同样可以基于多张现实场景图像对应的时长内,AR设备的运动方向以及目标对象的运动方向,可以确定出AR设备和目标对象的相对运动方向,这里可以将相对运动数据和相对运动方向作为AR设备和目标对象之间的相对运动数据。
进一步地,在基于相对位姿信息,确定AR设备与目标对象发生碰撞的风险信息时,可以包括:
基于相对位姿信息和相对运动数据,确定AR设备与目标对象发生碰撞的风险信息。
基于AR设备和目标对象的相对位姿信息可以确定出AR设备是否朝向目标对象,然后基于该相对运动数据,可以确定出AR设备和目标对象是否相互靠近,以及确定相互靠近时的靠近速度,基于此可以确定AR设备与目标对象发生碰撞的风险信息。
本公开实施例中,通过考虑AR设备和目标对象之间的相对位姿信息以及相对运动数据,来准确确定AR设备和目标对象发生碰撞的风险信息,从而可以基于该风险信息对用户进行导航提示,以保证用户出行安全。
针对上述提到的在基于相对位姿信息和相对运动数据,确定AR设备与目标对象发生碰撞的风险信息时,如图6所示,可以包括以下S601~S603:
S601,基于相对位姿信息和相对运动数据,确定AR设备与目标对象是否会发生碰撞。
示例性地,基于AR设备和目标对象之间的相对位姿信息,可以确定该AR设备与目标对象当前的相对距离,以及AR设备是否朝向目标对象;然后基于AR设备和目标对象之间的相对运动数据,可以确定AR设备和目标对象之间是否相互靠近,以及在确定相互靠近的情况下的靠近速度,这样可以确定出AR设备和目标对象是否会发生碰撞。
比如,AR设备朝向目标对象,且与目标对象的相对距离为10米,若AR设备和目标对象相向运动,且按照1米/秒的相对速度继续靠近,则可以预估出AR设备和目标对象会发生碰撞。
S602,在确定会发生碰撞的情况下,基于相对位姿信息和相对运动数据,确定AR设备与目标对象从当前时刻到发生碰撞时所需的预估时长。
示例性地,AR设备与目标对象的相对距离为10米,若AR设备和目标对象相向运动,且按照1米/秒的相对速度继续靠近,这里的预估时长为10秒。
S603,基于预估时长和相对运动数据,确定风险信息。
示例性地,预估时长越短,相对运动数据中的相对运动速度越大,碰撞的风险越高,因此可以基于预估时长和相对运动速度,确定表示风险信息的碰撞风险值。
针对上述S1033,在基于道路属性信息、道路提示信息和风险信息,生成针对用户的导航提示信息时,如图7所示,可以包括以下S10331~S10333:
S10331,基于风险信息和预设风险等级,确定针对用户的目标对象提示信息。
示例性地,可以按照碰撞风险值划分不同的预设风险等级,这样在得到目标对象的风险信息后,可以确定该目标对象对应风险等级,以便生成针对用户的目标对象提示信息,比如确定目标对象对应的风险级别较高时,可以按照文字提示信息、动画提示信息、警示符、语音和闪光中的至少两种生成针对用户的目标对象提示信息,便于用户紧急避险。
示例性地,当AR设备采集的现实场景图像中包含多个目标对象时,可以基于每个目标对象对应的风险信息确定该目标对象的风险等级,并基于风险等级最高的目标对象生成目标对象提示信息。
S10332,基于目标对象对应的三维检测信息和道路属性信息,确定针对用户的避障路线信息。
示例性地,基于目标对象对应的三维检测信息和道路属性信息,可以确定出目标对象在当前道路中占据的地理位置区域,从而可以生成用于指示用户避开目标对象的避障路线信息。
示例性地,AR设备的所处的当前道路的宽度为10米,且AR设备沿道路右侧移动,若在AR设备前方出现占据道路3米宽的障碍物,可以生成绕过该目标对象的避障路线信息,比如导航指示箭头指示用户靠道路左侧行驶,以提示用户绕过该障碍物。
S10333,基于道路提示信息、目标对象提示信息和避障路线信息,生成针对用户的导航提示信息。
示例性地,基于道路提示信息、目标对象提示信息和避障路线信息生成的导航提示信息,可以提示用户如何步行至目的地、在当前道路中会遇到的目标对象,以及遇到目标对象时可以如何避障。
本公开实施例中,在导航过程中,可以生成针对用户进行全面的导航提示信息,示例性地,可以包括针对用户的道路提示信息、目标对象提示信息和避障路线信息,从而可以提高用户在导航使用过程中的安全性。
针对上述多次提到的表征现实场景的三维场景地图,如图8所示,具体可以按照以下方式预先构建,包括S801~S803:
S801,获取多张现实场景样本图像。
示例性地,可以预先通过无人机对该现实场景,比如某个城市进行多角度航拍,得到该现实场景对应的大量现实场景样本图像。
S802,基于多张现实场景样本图像,构建表征现实场景的初始三维场景模型。
针对S802,在基于多张现实场景样本图像,生成现实场景对应的初始三维场景模型时,可以包括:
(1)从获取的每张现实场景样本图像中提取多个特征点;
(2)基于提取的多个特征点,以及预存的与现实场景匹配的三维样本图,生成初始三维场景模型;其中,三维样本图为预存储的表征现实场景形貌特征的三维图。
具体地,针对每张现实场景样本图像提取的特征点可以为能够表征该张现实场景样本图像关键信息的点,比如针对包含建筑物的现实场景样本图像,这里的特征点可以表示该建筑物轮廓信息的特征点。
示例性地,这里预存的与现实场景的三维样本图可以包括提前设置好的能够表征该现实场景形貌特征、且带有尺寸标注的三维图,比如可以是表征该现实场景形貌特征的计算机辅助设计(Computer Aided Design,CAD)三维图。
针对该现实场景,当提取的特征点足够多时,特征点构成的特征点云,可以构成表征该现实场景的三维模型,这里的特征点云中的特征点是没有单位的,特征点云构成的三维模型也是没有单位的,然后将该特征点云与带有尺度标注的且能够表征该现实场景形貌特征的三维图对齐后,即得到该现实场景对应的初始三维场景模型。
S803,将构建的初始三维场景模型上的标定特征点与现实场景对应的标定特征点进行对齐,生成三维场景地图。
生成的初始三维模型可能会存在失真现象,然后可以通过现实场景中的标定特征点和初始三维场景模型上的标定特征点来完成对齐过程,从而可以得到准确度较高的三维场景地图。
针对S803,在将构建的初始三维场景模型上的标定特征点与现实场景对应的标定特征点进行对齐,生成三维场景地图时,包括:
(1)在现实场景对应的初始三维场景模型中提取用于表征现实场景多个空间位置点的标定特征点;
(2)确定标定特征点在现实场景对应的真实二维地图中的真实坐标数据,并基于每个标定特征点对应的真实坐标数据,调整初始三维场景模型中各个特征点的坐标数据。
示例性地,可以选择一些表征建筑物边缘、角落的空间位置点的特征点作为这里的标定特征点,然后基于标定特征点对应的真实坐标数据以及该标定特征点在初始三维场景模型中的坐标数据,确定坐标数据调整量,然后基于该坐标数据调整量对初始三维模型中各个特征点的坐标数据进行修正,即可以得到准确度较高的三维场景地图。
构建完成表征现实场景的三维场景地图后,可以基于AR设备拍摄的现实场景图像和该三维场景地图对AR设备进行定位,在基于现实场景图像,以及预先构建表征现实场景的三维场景地图,确定AR设备的当前位姿数据时,如图9所示,可以包括以下S901~S902:
S901,提取现实场景图像包含的特征点,以及提取预先构建三维场景地图时的每张现实场景样本图像的特征点;
S902,基于现实场景图像对应的特征点以及预先构建三维场景地图时的每张现实场景样本图像对应的特征点,确定与现实场景图像相似度最高的目标现实场景样本图像;
S903,基于目标现实场景样本图像对应的拍摄位姿数据,确定AR设备的当前位姿数据。
示例性地,在获取到AR设备拍摄的现实场景图像后,可以通过该现实场景图像中特征点,以及预先构建三维场景地图时每张现实场景样本图像的特征点,找到与该现实场景图像相似度最高的目标现实场景样本图像,比如可以基于现实场景图像的特征点的特征信息与每张现实场景样本图像的特征点的特征信息,确定该现实场景图像和每张现实场景样本图像的相似度值,将相似度值最高且超过相似度阈值的现实场景样本图像作为这里的目标现实场景样本图像。
在确定出目标现实场景样本图像后,可以基于将该目标现实场景样本图像对应的拍摄位姿数据确定AR设备的当前位姿数据。
具体地,针对上述S903,在基于目标现实场景样本图像对应的拍摄位姿数据,确定AR设备的当前位姿数据时,如图10所示,可以包括以下S9031~S9032:
S9031,确定目标现实场景样本图像中的目标对象和现实场景图像中的目标对象之间的相对位姿数据;
S9032,基于相对位姿数据和目标现实场景样本图像对应的拍摄位姿数据,确定AR设备的当前位姿数据。
示例性地,与现实场景图像的相似度最高的目标现实场景样本图像中包含的目标对象与现实场景图像中包含的目标对象为相同的目标对象,比如现实场景图像中包含的目标对象为建筑物A,目标现实场景样本图像中包含的目标对象也为建筑物A,这样可以通过确定现实场景图像中的建筑物A和目标现实场景样本图像中的建筑物A之间的相对位姿数据,确定出图像采集部件在拍摄现实场景图像和拍摄目标现实场景样本图像时的相对拍摄位姿数据,进一步可以基于该相对拍摄位姿数据和目标现实场景样本图像对应的拍摄位姿数据,确定出AR设备的当前位姿数据。
示例性地,在确定目标现实场景样本图像中的目标对象和现实场景图像中的目标对象之间的相对位姿数据时,可以基于上述提到的三维检测技术,分别确定目标现实场景样本图像和现实场景图像中的目标对象对应的三维检测信息,然后通过分别确定的目标现实场景样本图像和现实场景图像中的目标对象对应的三维检测信息,确定出该相对位姿数据。
特殊情况下,当目标现实场景样本图像中的目标对象和现实场景图像中的目标对象的位姿数据相同时,可以直接将目标现实场景样本图像对应的拍摄位姿数据,作为这里AR设备的当前位姿数据。
另外,考虑到现实场景图像并非实时采集的,一般情况下是按照设定时间间隔采集的,另外,基于现实场景图像和三维场景地图进行定位的方式功耗较大,因此在对AR设备进行定位,确定AR设备的当前位姿数据的过程中,可以将基于现实场景图像的视觉定位和IMU定位方式结合使用。
示例性地,可以按照视觉定位周期性地确定AR设备的位姿数据,中间过程通过IMU进行定位,比如,每隔10秒通过视觉方式进行定位,则从AR设备开始工作后的初始位姿数据、第10秒、第20秒、第30秒的位姿数据是基于视觉定位得到的,针对第1秒的位姿数据可以是基于初始位姿数据以及从初始时刻到第1秒过程中AR设备的IMU采集的数据预估得到的,同样,第2秒的位姿数据可以是基于第1秒的位姿数据和从第1秒到第2秒过程中AR设备的IMU采集的数据预估得到的,随着时间的积累,基于IMU定位方式得到的位姿数据不再准确时,可以通过视觉定位方式进行修正,得到准确度较高的位姿数据。
另外,对AR设备进行定位过程还可以基于即时定位与地图构建(SimultaneousLocalization And Mapping,SLAM)的方式对AR设备进行定位,比如预先为现实场景构建世界坐标系,在AR设备进入现实场景后,预先确定该AR设备在世界坐标系下的初始位姿数据,并获取AR设备拍摄的初始现实场景图像,随着AR设备在移动过程中拍摄的现实场景图像,实时构建该现实场景的三维场景地图并对该AR设备进行定位,得到AR设备的当前位姿数据。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思,本公开实施例中还提供了与导航提示方法对应的导航提示装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述导航提示方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图11所示,为本公开实施例提供的一种导航提示装置1100的示意图,该导航提示装置包括:
获取模块1101,用于获取增强现实AR设备拍摄的现实场景图像;
确定模块1102,用于基于现实场景图像,确定AR设备的当前位姿数据和AR设备所处的当前道路的道路属性信息、以及基于现实场景图像确定当前道路上的目标对象的三维检测信息;
提示模块1103,用于基于AR设备的当前位姿数据、道路属性信息和三维检测信息,生成针对用户的导航提示信息,并通过AR设备对用户进行提示。
在一种可能的实施方式中,确定模块1102具体用于:
基于现实场景图像,以及预先构建的表征现实场景的三维场景地图,确定AR设备的当前位姿数据;
基于AR设备的当前位姿数据和三维场景地图,确定AR设备所处的当前道路的道路属性信息。
在一种可能的实施方式中,确定模块1102具体用于:
对现实场景图像进行目标检测,确定当前道路上包含的目标对象;
基于现实场景图像,确定现实场景图像对应的深度图像;深度图像中包含现实场景图像中构成目标对象的每个像素点的深度信息;
基于现实场景图像中构成目标对象的每个像素点在图像坐标系下的二维坐标信息、该像素点的深度信息以及AR设备中的图像采集部件的参数信息,确定该像素点在世界坐标系下的三维坐标信息;
基于构成目标对象的每个像素点在世界坐标系下的三维坐标信息,确定目标对象的三维检测信息。
在一种可能的实施方式中,提示模块1103具体用于:
基于AR设备的当前位姿数据和道路属性信息,确定针对用户的道路提示信息;
基于AR设备的当前位姿数据和三维检测信息,确定与目标对象关联的风险信息;
基于道路属性信息、道路提示信息和风险信息,生成针对用户的导航提示信息。
在一种可能的实施方式中,提示模块1103具体用于:
基于AR设备的当前位姿数据和三维检测信息,确定目标对象与AR设备的相对位姿信息;
基于相对位姿信息,确定AR设备与目标对象发生碰撞的风险信息。
在一种可能的实施方式中,在提示模块1103基于相对位姿信息,确定AR设备与目标对象发生碰撞的风险信息之前,确定模块1102还用于:
基于多张现实场景图像,确定AR设备和目标对象之间的相对运动数据;
提示模块1103具体用于:
基于相对位姿信息和相对运动数据,确定AR设备与目标对象发生碰撞的风险信息。
在一种可能的实施方式中,提示模块1103具体用于:
基于相对位姿信息和相对运动数据,确定AR设备与目标对象是否会发生碰撞;
在确定会发生碰撞的情况下,基于相对位姿信息和相对运动数据,确定AR设备与目标对象从当前时刻到发生碰撞时所需的预估时长;
基于预估时长和相对运动数据,确定风险信息。
在一种可能的实施方式中,提示模块1103具体用于:
基于风险信息和预设风险等级,确定针对用户的目标对象提示信息;
基于目标对象对应的三维检测信息和道路属性信息,确定针对用户的避障路线信息;
基于道路提示信息、目标对象提示信息和避障路线信息,生成针对用户的导航提示信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
对应于图1中的导航提示方法,本公开实施例还提供了一种电子设备1200,如图12所示,为本公开实施例提供的电子设备1200结构示意图,包括:
处理器121、存储器122、和总线123;存储器122用于存储执行指令,包括内存1221和外部存储器1222;这里的内存1221也称内存储器,用于暂时存放处理器121中的运算数据,以及与硬盘等外部存储器1222交换的数据,处理器121通过内存1221与外部存储器1222进行数据交换,当电子设备1200运行时,处理器121与存储器122之间通过总线123通信,使得处理器121执行以下指令:获取增强现实AR设备拍摄的现实场景图像;基于现实场景图像,确定AR设备的当前位姿数据和AR设备所处的当前道路的道路属性信息、以及基于现实场景图像确定当前道路上的目标对象的三维检测信息;基于AR设备的当前位姿数据、道路属性信息和三维检测信息,生成针对用户的导航提示信息,并通过AR设备对用户进行提示。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中的导航提示方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的导航提示方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行上述方法实施例中的导航提示方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (11)
1.一种导航提示方法,其特征在于,包括:
获取增强现实AR设备拍摄的现实场景图像;
基于所述现实场景图像,确定所述AR设备的当前位姿数据和所述AR设备所处的当前道路的道路属性信息、以及基于所述现实场景图像确定所述当前道路上的目标对象的三维检测信息;
基于所述AR设备的当前位姿数据、所述道路属性信息和所述三维检测信息,生成针对用户的导航提示信息,并通过所述AR设备对所述用户进行提示。
2.根据权利要求1所述的导航提示方法,其特征在于,基于所述现实场景图像,确定所述AR设备的当前位姿数据、以及所述AR设备所处的当前道路的道路属性信息,包括:
基于所述现实场景图像,以及预先构建的表征现实场景的三维场景地图,确定所述AR设备的当前位姿数据;
基于所述AR设备的当前位姿数据和所述三维场景地图,确定所述AR设备所处的当前道路的道路属性信息。
3.根据权利要求1或2所述的导航提示方法,其特征在于,所述基于所述现实场景图像确定所述当前道路上的目标对象的三维检测信息,包括:
对所述现实场景图像进行目标检测,确定所述当前道路上包含的目标对象;
基于所述现实场景图像,确定所述现实场景图像对应的深度图像;所述深度图像中包含所述现实场景图像中构成所述目标对象的每个像素点的深度信息;
基于所述现实场景图像中构成所述目标对象的每个像素点在图像坐标系下的二维坐标信息、该像素点的深度信息以及所述AR设备中的图像采集部件的参数信息,确定该像素点在世界坐标系下的三维坐标信息;
基于构成所述目标对象的每个像素点在所述世界坐标系下的三维坐标信息,确定所述目标对象的三维检测信息。
4.根据权利要求1至3任一所述的导航提示方法,其特征在于,所述基于所述AR设备的当前位姿数据、所述道路属性信息和所述三维检测信息,生成针对用户的导航提示信息,包括:
基于所述AR设备的当前位姿数据和所述道路属性信息,确定针对所述用户的道路提示信息;
基于所述AR设备的当前位姿数据和所述三维检测信息,确定与所述目标对象关联的风险信息;
基于所述道路属性信息、所述道路提示信息和所述风险信息,生成针对所述用户的导航提示信息。
5.根据权利要求4所述的导航提示方法,其特征在于,所述基于所述AR设备的当前位姿数据和所述三维检测信息,确定与所述目标对象关联的风险信息,包括:
基于所述AR设备的当前位姿数据和所述三维检测信息,确定所述目标对象与所述AR设备的相对位姿信息;
基于所述相对位姿信息,确定所述AR设备与所述目标对象发生碰撞的风险信息。
6.根据权利要求5所述的导航提示方法,其特征在于,所述基于所述相对位姿信息,确定所述AR设备与所述目标对象发生碰撞的风险信息之前,所述导航提示方法还包括:
基于多张现实场景图像,确定所述AR设备和所述目标对象之间的相对运动数据;
所述基于所述相对位姿信息,确定所述AR设备与所述目标对象发生碰撞的风险信息,包括:
基于所述相对位姿信息和所述相对运动数据,确定所述AR设备与所述目标对象发生碰撞的风险信息。
7.根据权利要求6所述的导航提示方法,其特征在于,所述基于所述相对位姿信息和所述相对运动数据,确定所述AR设备与所述目标对象发生碰撞的风险信息,包括:
基于所述相对位姿信息和所述相对运动数据,确定在预设时长内所述AR设备与所述目标对象是否会发生碰撞;
在确定会发生碰撞的情况下,基于所述相对位姿信息和所述相对运动数据,确定所述AR设备与所述目标对象从当前时刻到发生碰撞时所需的预估时长;
基于所述预估时长和所述相对运动数据,确定所述风险信息。
8.根据权利要求5至7任一所述的导航提示方法,其特征在于,所述基于所述道路属性信息、所述道路提示信息和所述风险信息,生成针对所述用户的导航提示信息,包括:
基于所述风险信息和预设风险等级,确定针对所述用户的目标对象提示信息;
基于所述目标对象对应的三维检测信息和所述道路属性信息,确定针对所述用户的避障路线信息;
基于所述道路提示信息、所述目标对象提示信息和所述避障路线信息,生成针对所述用户的导航提示信息。
9.一种导航提示装置,其特征在于,包括:
获取模块,用于获取增强现实AR设备拍摄的现实场景图像;
确定模块,用于基于所述现实场景图像,确定所述AR设备的当前位姿数据和所述AR设备所处的当前道路的道路属性信息、以及基于所述现实场景图像确定所述当前道路上的目标对象的三维检测信息;
提示模块,用于基于所述AR设备的当前位姿数据、所述道路属性信息和所述三维检测信息,生成针对用户的导航提示信息,并通过所述AR设备对所述用户进行提示。
10.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的导航提示方法的步骤。
11.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至8任一所述的导航提示方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110375929.2A CN112907757A (zh) | 2021-04-08 | 2021-04-08 | 一种导航提示方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110375929.2A CN112907757A (zh) | 2021-04-08 | 2021-04-08 | 一种导航提示方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112907757A true CN112907757A (zh) | 2021-06-04 |
Family
ID=76110105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110375929.2A Pending CN112907757A (zh) | 2021-04-08 | 2021-04-08 | 一种导航提示方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112907757A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114049469A (zh) * | 2021-10-30 | 2022-02-15 | 平安科技(深圳)有限公司 | 基于智能穿戴设备的盲人导航方法、装置、设备及介质 |
CN114219907A (zh) * | 2021-12-08 | 2022-03-22 | 阿波罗智能技术(北京)有限公司 | 三维地图生成方法、装置、设备以及存储介质 |
CN114723924A (zh) * | 2022-03-23 | 2022-07-08 | 杭州易现先进科技有限公司 | 一种大场景增强现实的定位方法、系统、装置和介质 |
WO2024199190A1 (zh) * | 2023-03-27 | 2024-10-03 | 华为技术有限公司 | Ar路线制作方法、相关装置及通信系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584596A (zh) * | 2018-12-20 | 2019-04-05 | 奇瑞汽车股份有限公司 | 车辆驾驶提示方法及装置 |
CN110111566A (zh) * | 2019-04-19 | 2019-08-09 | 腾讯科技(深圳)有限公司 | 轨迹预测方法、装置和存储介质 |
CN110758243A (zh) * | 2019-10-31 | 2020-02-07 | 的卢技术有限公司 | 一种车辆行驶过程中的周围环境显示方法和系统 |
CN111316333A (zh) * | 2018-09-30 | 2020-06-19 | 华为技术有限公司 | 一种信息提示方法及电子设备 |
CN111613092A (zh) * | 2020-05-09 | 2020-09-01 | 腾讯科技(深圳)有限公司 | 车辆碰撞预警方法、装置、设备及计算机可读存储介质 |
CN111694356A (zh) * | 2020-06-10 | 2020-09-22 | 上海高仙自动化科技发展有限公司 | 一种行驶控制方法、装置、电子设备及存储介质 |
CN111931643A (zh) * | 2020-08-08 | 2020-11-13 | 商汤集团有限公司 | 一种目标检测方法、装置、电子设备及存储介质 |
CN111968376A (zh) * | 2020-08-28 | 2020-11-20 | 北京市商汤科技开发有限公司 | 一种路况提示方法、装置、电子设备及存储介质 |
-
2021
- 2021-04-08 CN CN202110375929.2A patent/CN112907757A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111316333A (zh) * | 2018-09-30 | 2020-06-19 | 华为技术有限公司 | 一种信息提示方法及电子设备 |
CN109584596A (zh) * | 2018-12-20 | 2019-04-05 | 奇瑞汽车股份有限公司 | 车辆驾驶提示方法及装置 |
CN110111566A (zh) * | 2019-04-19 | 2019-08-09 | 腾讯科技(深圳)有限公司 | 轨迹预测方法、装置和存储介质 |
CN110758243A (zh) * | 2019-10-31 | 2020-02-07 | 的卢技术有限公司 | 一种车辆行驶过程中的周围环境显示方法和系统 |
CN111613092A (zh) * | 2020-05-09 | 2020-09-01 | 腾讯科技(深圳)有限公司 | 车辆碰撞预警方法、装置、设备及计算机可读存储介质 |
CN111694356A (zh) * | 2020-06-10 | 2020-09-22 | 上海高仙自动化科技发展有限公司 | 一种行驶控制方法、装置、电子设备及存储介质 |
CN111931643A (zh) * | 2020-08-08 | 2020-11-13 | 商汤集团有限公司 | 一种目标检测方法、装置、电子设备及存储介质 |
CN111968376A (zh) * | 2020-08-28 | 2020-11-20 | 北京市商汤科技开发有限公司 | 一种路况提示方法、装置、电子设备及存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114049469A (zh) * | 2021-10-30 | 2022-02-15 | 平安科技(深圳)有限公司 | 基于智能穿戴设备的盲人导航方法、装置、设备及介质 |
CN114219907A (zh) * | 2021-12-08 | 2022-03-22 | 阿波罗智能技术(北京)有限公司 | 三维地图生成方法、装置、设备以及存储介质 |
CN114723924A (zh) * | 2022-03-23 | 2022-07-08 | 杭州易现先进科技有限公司 | 一种大场景增强现实的定位方法、系统、装置和介质 |
WO2024199190A1 (zh) * | 2023-03-27 | 2024-10-03 | 华为技术有限公司 | Ar路线制作方法、相关装置及通信系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112907757A (zh) | 一种导航提示方法、装置、电子设备及存储介质 | |
CN111771207B (zh) | 增强的车辆跟踪 | |
CN112287928A (zh) | 一种提示方法、装置、电子设备及存储介质 | |
EP2769181B1 (en) | Reimaging based on depthmap information | |
KR20180050823A (ko) | 3차원의 도로 모델을 생성하는 방법 및 장치 | |
CN113916242B (zh) | 车道定位方法和装置、存储介质及电子设备 | |
CN109215433A (zh) | 用于自动驾驶仿真的基于视觉的驾驶场景生成器 | |
CN112861725A (zh) | 一种导航提示方法、装置、电子设备及存储介质 | |
JP2005268847A (ja) | 画像生成装置、画像生成方法、および画像生成プログラム | |
CN112270272B (zh) | 高精度地图制作中道路路口提取方法及系统 | |
WO2017139516A1 (en) | System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation | |
CN113178006A (zh) | 导航地图生成方法、装置、计算机设备及存储介质 | |
US11373411B1 (en) | Three-dimensional object estimation using two-dimensional annotations | |
KR20150114141A (ko) | 모션 추정 시스템 및 방법 | |
CN113095184B (zh) | 定位方法、行驶控制方法、装置、计算机设备及存储介质 | |
CN112950790A (zh) | 路线导航方法、装置、电子设备及存储介质 | |
KR102167835B1 (ko) | 영상 처리 방법 및 장치 | |
CN113240734B (zh) | 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质 | |
JP2020126612A (ja) | スマートフォンを利用する歩行者を保護するための先端歩行者補助システムを提供する方法及び装置 | |
CN112906625A (zh) | 一种避障提示方法、装置、电子设备及存储介质 | |
CN113610966A (zh) | 三维姿态调整的方法、装置、电子设备及存储介质 | |
CN113011517A (zh) | 定位结果检测方法、装置、电子设备及存储介质 | |
CN114248778A (zh) | 移动设备的定位方法和定位装置 | |
CN111784798B (zh) | 地图生成方法、装置、电子设备和存储介质 | |
CN113807282A (zh) | 一种数据处理方法、设备以及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |