CN113570664A - 增强现实导航显示方法和装置、电子设备、计算机介质 - Google Patents

增强现实导航显示方法和装置、电子设备、计算机介质 Download PDF

Info

Publication number
CN113570664A
CN113570664A CN202110831005.9A CN202110831005A CN113570664A CN 113570664 A CN113570664 A CN 113570664A CN 202110831005 A CN202110831005 A CN 202110831005A CN 113570664 A CN113570664 A CN 113570664A
Authority
CN
China
Prior art keywords
navigation
identification surface
terminal
scene
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110831005.9A
Other languages
English (en)
Other versions
CN113570664B (zh
Inventor
张滔滔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110831005.9A priority Critical patent/CN113570664B/zh
Publication of CN113570664A publication Critical patent/CN113570664A/zh
Application granted granted Critical
Publication of CN113570664B publication Critical patent/CN113570664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • G01C21/3638Guidance using 3D or perspective road maps including 3D objects and buildings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)

Abstract

本公开提供了一种增强现实导航显示方法和装置,涉及计算机视觉、图像处理、增强现实等技术领域。具体实现方案为:获取终端当前的导航场景和导航路线;基于导航路线,生成连续的导航标识面;在终端的导航图像中叠加并实时显示导航标识面;基于导航场景,获取终端的位置信息;基于导航图像和位置信息,调整导航标识面的参数,以在导航图像中显示动态变化的导航标识面。该实施方式提高了增强现实导航引导效果。

Description

增强现实导航显示方法和装置、电子设备、计算机介质
技术领域
本公开涉及计算机技术领域,具体涉及计算机视觉、图像处理、增强现实等技术领域,尤其涉及一种增强现实导航显示方法和装置、电子设备、计算机可读介质以及计算机程序产品。
背景技术
通过在实景相机画面中,叠加与三维空间相贴合的虚拟3D AR(AugmentedReality,增强现实)标识可以直观地为用户提供导航。
现有技术中一般采用离散的导航箭头模型来指示导航路线,然而在跨楼层场景中存在飞线,飘在空中等问题,导致AR标识引导效果较差。
发明内容
提供了一种增强现实导航显示方法和装置、电子设备、计算机可读介质以及计算机程序产品。
根据第一方面,提供了一种增强现实导航显示方法,该方法包括:获取终端当前的导航场景和导航路线;基于导航路线,生成连续的导航标识面;在终端的导航图像中叠加并实时显示导航标识面;基于导航场景,获取终端的位置信息;基于导航图像和位置信息,调整导航标识面的参数,以在导航图像中显示动态变化的导航标识面。
根据第二方面,提供了一种增强现实导航显示装置,该装置包括:信息获取单元,被配置成获取终端当前的导航场景和导航路线;生成单元,被配置成基于导航路线,生成连续的导航标识面;叠加单元,被配置成在终端的导航图像中叠加并实时显示导航标识面;位置获取单元,被配置成基于导航场景,获取终端的位置信息;参数调整单元,被配置成基于导航图像和位置信息,调整导航标识面的参数,以在导航图像中显示动态变化的导航标识面。
根据第三方面,提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器,其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如第一方面任一实现方式描述的方法。
根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行如第一方面任一实现方式描述的方法。
根据第五方面,提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现如第一方面任一实现方式描述的方法。
本公开的实施例提供的增强现实导航显示方法和装置,首先,获取终端当前的导航场景和导航路线;其次,基于导航路线,生成连续的导航标识面;再次,在终端的导航图像中叠加并实时显示导航标识面;从次,基于导航场景,获取终端的位置信息;最后,基于导航图像和位置信息,调整导航标识面的参数,以在导航图像中显示动态变化的导航标识面。由此,在生成的连续的导航标识面的基础上,基于导航图像和终端的位置信息,调整导航标识面的参数,可以使导航标识面的显示效果可以随导航图像和终端的位置信息的变化而适当调整,得到动态变化显示的导航标识面,提高了导航标识面的引导效果,提升了AR导航体验。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开增强现实导航显示方法的一个实施例的流程图;
图2是本公开的实施例中导航标识面的一种示意图;
图3是本公开实施例中生成连续的导航标识面的方法的流程图;
图4a是本公开实施例中混合权重函数对应的一种曲线表示;
图4b是本公开实施例中混合权重函数对应的另一种曲线表示;
图4c是本公开实施例中混合权重函数对应的第三种曲线表示;
图5是根据本公开增强现实导航显示装置的实施例的结构示意图;
图6是用来实现本公开实施例的增强现实导航显示方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1示出了根据本公开增强现实导航显示方法的一个实施例的流程100,上述增强现实导航显示方法包括以下步骤:
步骤101,获取终端当前的导航场景和导航路线。
本实施例中,终端可以是由对象手持的移动终端,该移动终端上设置有摄像装置,通过摄像装置可以实时拍摄终端或者对象周围的景象(导航图像),当对象具有增强现实导航的需求时,打开终端上的支持增强现实显示的应用,可在应用对应的界面上实时查看叠加有增强现实指示标识的导航图像。
本实施例中的导航图像可以来自于公开数据集,或者导航图像的获取是经过了不同导航场景中对应的用户的授权。
本实施例中,在对象有导航需求时,还可以在上述应用中选择不同的导航模式并且选择导航路线;其中,导航路线是对象的行走路线,其可以是对象预先在增强现实导航的应用中设置的具有始发地和结束地的路线,也可以是对象无目的地的自由行走路线;导航路线对应的实际道路可以实时显示在导航图像中。
导航模式是对象预先选择的导航类型,例如,步行导航,车载导航等,导航场景是终端当前所在的场景的情况,例如室内场景,或室外场景;不同导航模式对应不同的导航场景,例如,步行导航模式对应的导航场景为室内场景或室外场景。
本实施例中,增强现实导航显示方法运行与其上的执行主体可以基于对象在终端上设置的导航模式和导航路线确定当前的导航场景,例如,导航模式是步行模式,并且导航路线上的当前定位点是“商场”,则确定导航场景为室内场景。再如,导航模式是步行模式,并且导航路线上的当前定位点是“城市道路”,则确定导航场景为室外场景。
可选地,增强现实导航显示方法运行于其上的执行主体还可以通过终端上的GPS(Global Positioning System,全球定位系统)确定终端当前在地理坐标系下的位置,进一步,通过地图上导航路线上的各个定位点确定导航场景。
本实施例中,增强现实导航显示方法的执行主体可以通过各种公开、合法合规的方式获取导航场景、导航路线、终端当前在地理坐标系下的位置,例如可以是从公开数据集处获取的,或者是经过了用户的授权从用户处获取的。
步骤102,基于导航路线,生成连续的导航标识面。
本实施例中,基于导航路线中多个不同位置点得到的多个定位点的形成的连续曲线,基于导航路线的连续性,构造与导航路线的曲线形状相对应的曲面,得到导航标识面,如图2所示。连续导航标识面a可以整体叠加在终端的导航图像中,随导航图像的变化而实时变化。
本实施例中,在得到导航路线之后,可以基于导航路线的数据,采用贝塞尔函数、三次样条函数构造导航曲线,导航曲线是一种可以指示对象行进方向的导航路径,再通过应用构建导航曲线时预设的输入的参数,如:需要构造的面宽、插值数(贝塞尔函数控制点间构造网格时的分隔数值)、最小夹角及最小距离、导航标识面的纹理(及流动纹理)这些参数来构建导航曲面。其中,面宽、插值数用于构建导航标识面的几何体,最小夹角及最小距离数据用于对输入的导航路线的定位点集进行定位点筛选数据,导航路面纹理用于展示导航标识面的外观效果。
步骤103,在终端的导航图像中叠加并实时显示导航标识面。
本实施例中,终端的导航图像是从终端获取的待进行增强现实的导航图像,导航图像可以是对象打开终端上支撑增强现实的应用进行导航之后,通过摄像装置实时拍摄的图像,该导航图像可以包括与终端或者对象周围的景象的图像。
本实施例中,增强现实导航显示方法运行于其上的执行主体可以实现上述应用的功能,并且还可以基于对象的导航路线,通过在待进行增强现实的导航图像中叠加与用户的行进路线对应的增强现实指示标识为对象提供虚拟现实导航功能,从而使对象在导航过程中体验到3D虚拟现实的显示效果。
本实施例提供的增强现实导航显示方法可以应用于AR步行导航模式(应用可以支持步行、车载等不同导航模式,每种导航模式采用的导航计算方式不同),当对象将当前AR步行导航模式切换到车载导航模式时,增强现实导航显示方法运行于其上的执行主体可以实时获取车载GPS的定位数据,并基于GPS的定位数据,确定导航路线,导航场景等。
步骤104,基于导航场景,获取终端的位置信息。
本实施例中,终端的位置信息为终端在导航图像中的方向位置信息,具体地,方向位置信息可以包括:终端的方向、位置、尺寸、终端在导航图像中的形状以及各个像素的坐标值等信息,通过终端的位置可以确定对象的导航路线与终端的关系,例如,终端位于导航路线上,或者终端位于导航路线之外。
在AR导航过程中,需要通过三轴姿态角及加速度装置等硬件对终端进行跟踪,输出终端在一个摄像装置坐标系下的六自由度位移、姿态等数据。通过比对相同时刻,终端在摄像装置坐标系下的位置、姿态以及终端在地理环境下的坐标以及罗盘的指示方向,可以获得终端摄像装置坐标系与地理坐标系之间的变换关系。
本实施例中,终端在导航图像中的位置信息得到方式如下:首先通过终端上的定位装置,得到终端在地理坐标中位置信息;然后再对终端在地理坐标中位置信息通过上述终端摄像装置坐标系与地理坐标系之间的变换关系转换得到。而导航场景不同,终端在地理坐标系中的位置信息获取方式不同,例如,导航场景为室外场景,则终端在地理坐标系中的位置信息是GPS定位终端得到的终端定位信息。
本实施例中,增强现实导航显示方法的执行主体可以通过各种公开、合法合规的方式获取终端在地理坐标中位置信息,例如经过了用户的授权从用户处或者服务器处获取的。
步骤105,基于导航图像和位置信息,调整导航标识面的参数,以在导航图像中显示动态变化的导航标识面。
本实施例中,导航标识面是一种连续显示的导航标识,在使用导航标识面指示导航路线的过程中,导航标识面指示区域可能存在障碍物、路况变化(转弯、电梯)等情况,通过识别导航图像可以确定障碍物、路况变化的情况,而基于终端的位置信息可以确定导航标识面距障碍物、路况变化点的具体位置,当当前显示的导航标识面与障碍物相冲突时,通过调整导航标识面的面宽、导航标识面的插值数,可以将导航标识面动态调整为隔绝或者避开障碍物的位置。
当当前显示的导航标识面无法正确反映路况变化点时,通过调整组成导航标识面的导航曲线的类型(直角、圆角等)、导航标识面的面宽、导航标识面的插值数,可以将导航标识面动态调整为对多种不同路况之间具有不同显示效果的动态的标识面。
可选地,本实施例中,还可以通过调整导航标识面的显示时钟和流速等参数,使导航标识面具有实时流动显示的效果。
本实施例中,通过图像识别技术可以在导航图像中实时识别障碍物的特征,从而确定导航图像中是否具有障碍物。本实施例中,通过图像识别技术对导航图像中的障碍物实时识别包括:基于特定的图像识别算法分析判断导航图像是否包含障碍物。图像识别算法包括但不限于采用基于深度学习的Fast Renn算法(英文全称:Faster Regions withCNNs features)、SSD算法(英文全称:single shot multibox detector)、Yolo算法(英文全称:You Only Look Once)等目标识别算法,或者其他类型的图像目标识别算法。
本实施例提供的增强现实导航显示方法,可以通过连续的、带方向的流动箭头指示、淡入淡出效果的导航标识面指示导航路线,从而提升路线引导效果,还可以通过导航标识面对AR导航的实景渲染进行强化,并优化基础导航体验,解决路线引导效果差、感知差等问题,提升整体AR导航体验。
本公开的实施例提供的增强现实导航显示方法,首先,获取终端当前的导航场景和导航路线;其次,基于导航路线,生成连续的导航标识面;再次,在终端的导航图像中叠加并实时显示导航标识面;从次,基于导航场景,获取终端的位置信息;最后,基于导航图像和位置信息,调整导航标识面的参数,以在导航图像中显示动态变化的导航标识面。由此,在生成的连续的导航标识面的基础上,基于导航图像和终端的位置信息,调整导航标识面的参数,可以使导航标识面的显示效果可以随导航图像和终端的位置信息的变化而适当调整,得到动态变化显示的导航标识面,提高了导航标识面的引导效果,提升了AR导航体验。
在本实施例的一些可选实现方式中,如图3所示,为本公开实施例中生成连续的导航标识面的流程图300,该生成连续的导航标识面的方法包括:
步骤301,基于导航路线,生成离散的控制点集。
本实施例中,导航路线是由多个定位点数据组成,上述基于导航路线,生成离散的控制点集包括:得到导航路线多个定位点数据,并对得到的导航路线的定位点数据进行关键点预处理。
本实施例中,对导航路线的定位点数据进行关键点预处理包括:确定导航路线的定位点数据中有效的定位点—关键点,逐个遍历导航路线关键点,检测当前关键点距相邻的上一个关键点的距离是否大于距离阈值(标定确定),若大于距离阈值,检测当前关键点夹角是否大于角度阈值(标定确定),若大于角度阈值,保留当前关键点;将所有保留的关键点组合起来得到控制点集。
本实施例中,数据的预处理主要是根据导航路线数据中的关键点之间的距离、夹角等剔除导航路线上中间点等冗余数据,以进行可靠导航路线定位点数据的筛查。
步骤302,基于控制点集,生成导航曲线。
本实施例中,为了较好的视觉效果,使导航路线看起来更平滑、自然,需要对控制点集进行一些插值处理,插值方法可通过贝塞尔函数等方式进行,通过插值处理后可得到一条平滑的导航曲线。
步骤303,基于导航曲线,构造并生成与导航场景对应的连续的导航标识面。
本实施例中,导航标识面是一种导航路线网格曲面,可以采用曲面绘图工具,模型等多种方法,在导航曲线基础上,设置的导航标识面的网格数、面宽、曲线类型、最小夹角及最小距离等参数,构建导航路线网格曲面。
本可选实现方式提供的生成连续的导航标识面的方法,基于导航路线,生成导航曲线,基于导航曲线构造并生成导航标识面,从而以导航路线为依据生成的连续导航标识面可以为对象提供可靠地指引方向,提高了用户的导航体验。
在本实施例的一些可选实现方式中,上述基于导航场景,获取终端的位置信息,包括:
响应于确定导航场景为室内场景,则比对导航图像与预先建立的视觉地图;基于导航图像与视觉地图的比对结果,确定终端在视觉地图中的位置信息。
本可选实现方式中,视觉地图可以是2D地图,也可以是3D地图模型,视觉地图是预先建立的、具有位置信息的图像集,通过将导航图像与视觉地图中的图像进行比对,可以精确确定导航图像在视觉地图中的位置信息。
本实施例中,视觉地图的坐标系可以与导航图像采用相同的坐标系,由此确定终端在视觉地图中的位置信息,同时也可以确定终端在导航图像中的位置信息。
可选地,当视觉地图的坐标系与导航图像采用的坐标系不同时,可以通过坐标转换等方式,将终端在视觉地图中的位置信息转换为终端在导航图像中的位置信息。
本可选实现方式中,在导航场景为室内场景时,通过比对预先建立的视觉地图,定位终端在导航图像的位置信息,提高了终端位置定位的准确性。
需要说明的是,通过本实施例得到的视觉地图包含了多个不同区域的不同兴趣点,但该视觉地图的构建是在经用户授权后执行的,其构建过程符合相关法律法规。
本实施例中,增强现实导航显示方法的执行主体可以通过各种公开、合法合规的方式确定室内场景、获取导航图像,例如可以是经过了用户的授权从用户处或服务器处获取的。
在本实施例的一些可选实现方式中,上述基于导航图像和位置信息,调整导航标识面的参数,以在导航图像中显示动态变化的导航标识面,包括:
响应于确定位置信息对应的位置与视觉地图中的兴趣点相距预设距离值,则检测导航图像中是否有目标标定物;响应于检测到目标标定物,基于目标标定物的类型,调整导航标识面的参数,以在导航图像中显示动态变化的导航标识面。
本可选实现方式中,视觉地图中的兴趣点是在构建视觉地图是预先设置的感兴趣的位置点,例如,商场中的商店,卫生间,饭店等。兴趣点还可以与导航路线的出发点和目的地相关,例如,兴趣点为导航路线的出发点,或者兴趣点为导航路线的目的地,兴趣点还可以导航路线上途径的位置点。
本可选实现方式中,目标标定物对应实际地理坐标系中的目标物体,目标物体是对象在不同导航场景中需要避让或者注意的物体,例如,在室内场景,目标物体是障碍物、电梯、路的拐弯等;在室外场景中,目标物体是车道线等交通标线等。
本可选实现方式中,目标标定物可以是物体、线条、道路等,目标标定物的类型可以分为实物类型,道路类型,线条类型等等。目标标定物的不同类型可以通过对终端上图像采集设备录入的数据经过图像识别得出,如在室内场景中,通过图像识别技术得出当前目标标定物为道路的拐弯处时,修改导航标识面的曲线类型、面宽及插值数得出调整后的导航曲面,达到更好地显示效果。
对于室外场景中的车辆AR导航也可以实现较好的导航标识面,通过图像识别技术识别出终端所在的车辆压车道线后,修改修改导航标识面的曲线类型、面宽构建相应图元及压线效果。
本可选实现方式中,基于目标标定物的不同类型,调整导航标识面的参数,可以使导航标识面针对不同种类的目标标定物,具有不同的显示效果,提高了对象在增强现实导航中的导航体验。
在本实施例的一些可选实现方式中,上述增强现实导航显示方法还包括:获取导航标识面上的网格点的位置;基于网格点的位置和位置信息对应的位置之间的距离,调整导航标识面上网格点的颜色属性值。
本可选实现方式中,颜色属性值是指网格点具有的色相、明度、彩度三种属性,该三种属性是界定色彩感官识别的基础,通过调整网格点的颜色属性值,可以实现不同的色彩显示效果。
为了增加导航标识面与周围导航图像的融合效果,可以在AR导航系统中,通过采集网格点的位置与终端的位置之间距离,调整导航标识面上网格点的颜色属性值,使导航标识面在终端近处可以淡化显示,便于持终端的对象可以在终端的显示屏上查看导航标识面出发端周围的导航图像。
本可选实现方式中,基于网格点的位置和终端的位置信息对应的位置之间的距离,调整导航标识面上网格点的颜色属性值,可以基于终端当前的位置实现对导航标识面的颜色属性的动态调节,提高了导航标识面的颜色性能的设置的灵活性。
在本实施例的一些可选实现方式中,上述基于网格点的位置和位置信息对应的位置之间的距离,调整导航标识面上网格点的颜色属性值,包括:将距离输入混合权重函数,得到混合权重值;基于混合权重值,调整导航标识面上网格点的颜色属性值。
本可选实现方式中,当颜色属性值为导航标识面上网格点的alpha通道时,可以实现导航标识面的淡入淡出的动态显示效果。其中,alpha通道是一个8位的灰度通道,该通道用256级灰度来记录图像中的透明度信息,定义透明、不透明和半透明区域。
本可选实现方式中,混合权重函数是得到混合权重值的函数,例如,混合权重函数的函数表示式如下:
interp=(x-a)/(b-a) (1)
v=interp×interp×(3.0-2.0×interp) (2)
在式(1)中a,b为预设的导航标识面起始、终止点值,a,b一般设置为0-1的值,x是输入的距离值,即网格点的位置和位置信息对应的位置之间的距离;在式(2)中v是输出的混合权重值,混合权重值与alpha通道的值正比例对应,混合权重值最大值对应alpha通道的最大值1,混合权重值最小值对应alpha通道的最小值0。
本实施例中,基于不同的导航路线的显示需求,混合权重函数可以采用多种公式,各种公式的曲线表示上可以如图4a-4c,图4a-4c中输入为距离值x,输出为混合权重值v,根据导航路线显示需求,当需要导航标识面后端变化较大,可以选择图4a中曲线所对应的混合权重函数;当需要导航标识面前端变化较大,可以选择图4a中曲线所对应的混合权重函数;当需要导航标识面中间变化较大,两端较平稳是,可以选择图4c中曲线所对应的混合权重函数。
本可选实现方式中,计算导航路线网格上的点与终端的距离,再通过计算出的距离与地图构建AR导航路线以及内置的混合权重函数计算得到混合权重值,通过混合权重值影响AR导航路线网格点的alpha通道,从而实现淡入淡出效果,为导航标识面的动态显示效果提供了可选的方式。
在本实施例的一些可选实现方式中,上述基于导航场景,获取终端的位置信息,包括:响应于确定导航场景为室外场景,则获取终端的定位信息;基于定位信息,确定终端的位置信息。
本可选实现方式中,不同的导航场景,获取终端的位置信息不同,而在室外场景下,通过终端GPS获取终端的定位信息。在室内场景下,通过与视觉地图核对,确定终端的位置信息。
本可选实现方式中,在室外场景下,在获取到终端的定位信息之后,通过可以通过终端摄像装置坐标系与地理坐标系之间的变换关系转换可以得到终端的位置信息。
可选地,在得到定位信息之后,还可以将定位信息指示的不同方向分别进行各自固定系数的变换,也可以得到终端的位置信息。
本可选实现方式中,在室外场景下,通过终端的定位信息,得到的终端的位置信息,比较准确、可靠。
本实施例中,增强现实导航显示方法的执行主体可以通过各种公开、合法合规的方式确定室外场景、获取终端的定位信息,例如可以是从公开数据集处获取的,或者是经过了用户的授权从用户处或者服务器处获取的。
进一步参考图5,作为对上述各图所示方法的实现,本公开提供了增强现实导航显示装置的一个实施例,该装置实施例与图1所示的方法实施例相对应,该装置具体可应用于各种电子设备中。
如图5所示,本实施例提供的增强现实导航显示装置500包括:信息获取单元501,生成单元502,叠加单元503,位置获取单元504,参数调整单元505。其中,上述信息获取单元501,可以被配置成获取终端当前的导航场景和导航路线。上述生成单元502,可以被配置成基于导航路线,生成连续的导航标识面。上述叠加单元503,可以被配置成在终端的导航图像中叠加并实时显示导航标识面。上述位置获取单元504,可以被配置成基于导航场景,获取终端的位置信息。上述参数调整单元505,可以被配置成基于导航图像和位置信息,调整导航标识面的参数,以在导航图像中显示动态变化的导航标识面。
在本实施例中,增强现实导航显示装置500中:信息获取单元501,生成单元502,叠加单元503,位置获取单元504,参数调整单元505的具体处理及其所带来的技术效果可分别参考图1对应实施例中的步骤101、步骤102、步骤103、步骤104、步骤105的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,上述生成单元502包括:点集生成模块(图中未示出)、曲线生成模块(图中未示出)、构造模块(图中未示出)。其中,上述点集生成模块,可以被配置成基于导航路线,生成离散的控制点集。上述曲线生成模块,可以被配置成基于控制点集,生成导航曲线。上述构造模块,可以被配置成基于导航曲线,构造并生成与导航场景对应的连续的导航标识面。
在本实施例的一些可选的实现方式中,上述位置获取单元504包括:比对模块(图中未示出)、视觉确定模块(图中未示出)。其中,上述比对模块,可以被配置成响应于确定导航场景为室内场景,则比对导航图像与预先建立的视觉地图。上述视觉确定模块,可以被配置成基于导航图像与视觉地图的比对结果,确定终端在视觉地图中的位置信息。
在本实施例的一些可选的实现方式中,上述参数调整单元505包括:检测模块(图中未示出)、调整模块(图中未示出)。其中,上述检测模块,可以被配置成响应于确定位置信息对应的位置与视觉地图中的兴趣点相距预设距离值,则检测导航图像中是否有目标标定物。上述调整模块,可以被配置成响应于检测到目标标定物,基于目标标定物的类型,调整导航标识面的参数,以在导航图像中显示动态变化的导航标识面。
在本实施例的一些可选实现方式中,上述装置500还包括:网格获取单元(图中未示出)、属性调整单元(图中未示出)。其中,上述网格获取单元,可以被配置成获取导航标识面上的网格点的位置。上述属性调整单元,可以被配置成基于网格点的位置和位置信息对应的位置之间的距离,调整导航标识面上网格点的颜色属性值。
在本实施例的一些可选的实现方式中,上述属性调整单元包括:权重计算模块(图中未示出)、属性调整模块(图中未示出)。其中,上述权重计算模块,可以被配置成将距离输入混合权重函数,得到混合权重值。上述属性调整模块,可以被配置成基于混合权重值,调整导航标识面上网格点的颜色属性值。
在本实施例的一些可选实现方式中,位置获取单元504包括:获取模块(图中未示出)、位置确定模块(图中未示出)。其中,上述获取模块,可以被配置成响应于确定导航场景为室外场景,则获取终端的定位信息。上述位置确定模块,可以被配置成基于定位信息,确定终端的位置信息。
本公开的实施例提供的增强现实导航显示方法和装置,首先,信息获取单元501获取终端当前的导航场景和导航路线;其次,生成单元502基于导航路线,生成连续的导航标识面;再次,叠加单元503在终端的导航图像中叠加并实时显示导航标识面;从次,位置获取单元504基于导航场景,获取终端的位置信息;最后,参数调整单元505基于导航图像和位置信息,调整导航标识面的参数,以在导航图像中显示动态变化的导航标识面。由此,在生成的连续的导航标识面的基础上,基于导航图像和终端的位置信息,调整导航标识面的参数,可以使导航标识面的显示效果可以随导航图像和终端的位置信息的变化而适当调整,得到动态变化显示的导航标识面,提高了导航标识面的引导效果,提升了AR导航体验。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如增强现实导航显示方法。例如,在一些实施例中,增强现实导航显示方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的增强现实导航显示方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行增强现实导航显示方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程增强现实导航显示装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (17)

1.一种增强现实导航显示方法,所述方法包括:
获取终端当前的导航场景和导航路线;
基于所述导航路线,生成连续的导航标识面;
在所述终端的导航图像中叠加并实时显示所述导航标识面;
基于所述导航场景,获取所述终端的位置信息;
基于所述导航图像和所述位置信息,调整所述导航标识面的参数,以在导航图像中显示动态变化的导航标识面。
2.根据权利要求1所述的方法,其中,所述基于所述导航路线,生成连续的导航标识面,包括:
基于所述导航路线,生成离散的控制点集;
基于所述控制点集,生成导航曲线;
基于所述导航曲线,构造并生成与所述导航场景对应的连续的导航标识面。
3.根据权利要求1所述的方法,其中,所述基于所述导航场景,获取所述终端的位置信息,包括:
响应于确定所述导航场景为室内场景,则比对所述导航图像与预先建立的视觉地图;
基于所述导航图像与所述视觉地图的比对结果,确定所述终端在所述视觉地图中的位置信息。
4.根据权利要求3所述方法,其中,所述基于所述导航图像和所述位置信息,调整所述导航标识面的参数,以在导航图像中显示动态变化的导航标识面,包括:
响应于确定所述位置信息对应的位置与所述视觉地图中的兴趣点相距预设距离值,则检测所述导航图像中是否有目标标定物;
响应于检测到所述目标标定物,基于所述目标标定物的类型,调整所述导航标识面的参数,以在导航图像中显示动态变化的导航标识面。
5.根据权利要求3或4所述的方法,其中,所述还包括:
获取所述导航标识面上的网格点的位置;
基于所述网格点的位置和所述位置信息对应的位置之间的距离,调整所述导航标识面上网格点的颜色属性值。
6.根据权利要求5所述的方法,其中,所述基于所述网格点的位置和所述位置信息对应的位置之间的距离,调整所述导航标识面上网格点的颜色属性值,包括:
将所述距离输入混合权重函数,得到混合权重值;
基于所述混合权重值,调整所述导航标识面上网格点的颜色属性值。
7.根据权利要求1所述的方法,其中,所述基于所述导航场景,获取所述终端的位置信息,包括:
响应于确定所述导航场景为室外场景,则获取所述终端的定位信息;
基于所述定位信息,确定所述终端的位置信息。
8.一种增强现实导航显示装置,所述装置包括:
信息获取单元,被配置成获取终端当前的导航场景和导航路线;
生成单元,被配置成基于所述导航路线,生成连续的导航标识面;
叠加单元,被配置成在所述终端的导航图像中叠加并实时显示所述导航标识面;
位置获取单元,被配置成基于所述导航场景,获取所述终端的位置信息;
参数调整单元,被配置成基于所述导航图像和所述位置信息,调整所述导航标识面的参数,以在导航图像中显示动态变化的导航标识面。
9.根据权利要求8所述的装置,其中,所述生成单元包括:
点集生成模块,被配置成基于所述导航路线,生成离散的控制点集;
曲线生成模块,被配置成基于所述控制点集,生成导航曲线;
构造模块,被配置成基于所述导航曲线,构造并生成与所述导航场景对应的连续的导航标识面。
10.根据权利要求8所述的装置,其中,所述位置获取单元包括:
比对模块,被配置成响应于确定所述导航场景为室内场景,则比对所述导航图像与预先建立的视觉地图;
视觉确定模块,被配置成基于所述导航图像与所述视觉地图的比对结果,确定所述终端在所述视觉地图中的位置信息。
11.根据权利要求10所述的装置,其中,所述参数调整单元包括:
检测模块,被配置成响应于确定所述位置信息对应的位置与所述视觉地图中的兴趣点相距预设距离值,则检测所述导航图像中是否有目标标定物;
调整模块,被配置成响应于检测到所述目标标定物,基于所述目标标定物的类型,调整所述导航标识面的参数,以在导航图像中显示动态变化的导航标识面。
12.根据权利要求10或11所述的装置,所述装置还包括:
网格获取单元,被配置成获取所述导航标识面上的网格点的位置;
属性调整单元,被配置成基于所述网格点的位置和所述位置信息对应的位置之间的距离,调整所述导航标识面上网格点的颜色属性值。
13.根据权利要求12所述的装置,其中,所述属性调整单元包括:
权重计算模块,被配置成将所述距离输入混合权重函数,得到混合权重值;
属性调整模块,被配置成基于所述混合权重值,调整所述导航标识面上网格点的颜色属性值。
14.根据权利要求8所述的装置,其中,所述位置获取单元包括:
获取模块,被配置成响应于确定所述导航场景为室外场景,则获取所述终端的定位信息;
位置确定模块,被配置成基于所述定位信息,确定所述终端的位置信息。
15.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
17.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1-7中任一项所述的方法。
CN202110831005.9A 2021-07-22 2021-07-22 增强现实导航显示方法和装置、电子设备、计算机介质 Active CN113570664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110831005.9A CN113570664B (zh) 2021-07-22 2021-07-22 增强现实导航显示方法和装置、电子设备、计算机介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110831005.9A CN113570664B (zh) 2021-07-22 2021-07-22 增强现实导航显示方法和装置、电子设备、计算机介质

Publications (2)

Publication Number Publication Date
CN113570664A true CN113570664A (zh) 2021-10-29
CN113570664B CN113570664B (zh) 2023-03-24

Family

ID=78166275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110831005.9A Active CN113570664B (zh) 2021-07-22 2021-07-22 增强现实导航显示方法和装置、电子设备、计算机介质

Country Status (1)

Country Link
CN (1) CN113570664B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114061586A (zh) * 2021-11-10 2022-02-18 北京有竹居网络技术有限公司 用于生成电子设备的导航路径的方法和产品
CN114152260A (zh) * 2021-12-15 2022-03-08 杨银 一种运用于虚拟现实中的虚拟路径导航方法及系统
CN114413919A (zh) * 2021-12-30 2022-04-29 联想(北京)有限公司 一种导航方法、装置、设备以及计算机存储介质
CN114546120A (zh) * 2022-02-25 2022-05-27 北京百度网讯科技有限公司 导航标识显示方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107806872A (zh) * 2017-09-18 2018-03-16 东莞新吉凯氏测量技术有限公司 基于机器视觉的增强现实导航方法
CN109405836A (zh) * 2017-08-17 2019-03-01 维布络有限公司 用于确定无人驾驶汽车的可驾驶导航路径的方法和系统
US20190279425A1 (en) * 2016-11-30 2019-09-12 Alibaba Group Holding Limited Augmented-reality-based offline interaction method and apparatus
CN111065891A (zh) * 2018-08-16 2020-04-24 北京嘀嘀无限科技发展有限公司 基于增强现实的室内导航系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190279425A1 (en) * 2016-11-30 2019-09-12 Alibaba Group Holding Limited Augmented-reality-based offline interaction method and apparatus
CN109405836A (zh) * 2017-08-17 2019-03-01 维布络有限公司 用于确定无人驾驶汽车的可驾驶导航路径的方法和系统
CN107806872A (zh) * 2017-09-18 2018-03-16 东莞新吉凯氏测量技术有限公司 基于机器视觉的增强现实导航方法
CN111065891A (zh) * 2018-08-16 2020-04-24 北京嘀嘀无限科技发展有限公司 基于增强现实的室内导航系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114061586A (zh) * 2021-11-10 2022-02-18 北京有竹居网络技术有限公司 用于生成电子设备的导航路径的方法和产品
CN114152260A (zh) * 2021-12-15 2022-03-08 杨银 一种运用于虚拟现实中的虚拟路径导航方法及系统
CN114413919A (zh) * 2021-12-30 2022-04-29 联想(北京)有限公司 一种导航方法、装置、设备以及计算机存储介质
CN114546120A (zh) * 2022-02-25 2022-05-27 北京百度网讯科技有限公司 导航标识显示方法、装置及电子设备

Also Published As

Publication number Publication date
CN113570664B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN113570664B (zh) 增强现实导航显示方法和装置、电子设备、计算机介质
CN111623795B (zh) 实景导航图标显示方法、装置、设备和介质
US8553942B2 (en) Reimaging based on depthmap information
EP2769363B1 (en) Depth cursor and depth measurement in images
US9330504B2 (en) 3D building model construction tools
US9430871B2 (en) Method of generating three-dimensional (3D) models using ground based oblique imagery
US9404764B2 (en) Path side imagery
CN105333883B (zh) 一种用于抬头显示器的导航路径轨迹显示方法和装置
US8471732B2 (en) Method for re-using photorealistic 3D landmarks for nonphotorealistic 3D maps
KR20180050823A (ko) 3차원의 도로 모델을 생성하는 방법 및 장치
KR102097416B1 (ko) 표고차를 고려한 지하관로의 관리를 위한 증강 현실 표현 방법 및 이를 기록한 기록매체
US20160012635A1 (en) Three-dimensional map display system
CN113483771B (zh) 实景地图的生成方法、装置及系统
CN112985419B (zh) 室内导航方法、装置、计算机设备及存储介质
CN113900517B (zh) 线路导航方法和装置、电子设备、计算机可读介质
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
CN113566847B (zh) 导航校准方法和装置、电子设备、计算机可读介质
JP6487545B2 (ja) 認知度算出装置、認知度算出方法及び認知度算出プログラム
CN114266876A (zh) 定位方法、视觉地图的生成方法及其装置
JP6091676B2 (ja) 3次元地図表示システム
CN115523940B (zh) 导航显示方法、装置、电子设备及存储介质
CN111506280B (zh) 用于指示屏幕外兴趣点的图形用户界面
JP5964611B2 (ja) 3次元地図表示システム
CN117870716A (zh) 地图兴趣点的显示方法、装置、电子设备及存储介质
CN115019167A (zh) 基于移动终端的融合定位方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant