CN109084748A - 一种ar导航方法及电子设备 - Google Patents

一种ar导航方法及电子设备 Download PDF

Info

Publication number
CN109084748A
CN109084748A CN201810698766.XA CN201810698766A CN109084748A CN 109084748 A CN109084748 A CN 109084748A CN 201810698766 A CN201810698766 A CN 201810698766A CN 109084748 A CN109084748 A CN 109084748A
Authority
CN
China
Prior art keywords
road conditions
navigation
true
true road
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810698766.XA
Other languages
English (en)
Other versions
CN109084748B (zh
Inventor
万喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201810698766.XA priority Critical patent/CN109084748B/zh
Publication of CN109084748A publication Critical patent/CN109084748A/zh
Application granted granted Critical
Publication of CN109084748B publication Critical patent/CN109084748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)

Abstract

本申请提供了一种AR导航方法及电子设备,所述方法包括获得当前导航位置的第一位置信息及目的地的第二位置信息,利用电子设备的摄像单元采集当前导航位置的真实路况对应的真实路况图像,并显示与所述真实路况相匹配的至少一个导航对象,其中,所述至少一个导航对象基于所述第一位置信息及所述第二位置信息,匹配于所述真实路况进行移动,以引导到达所述目的地。本申请利用导航对象进行导航的方式与现有技术通过给出一个方向性的导航提示(如箭头等)进行导航的方式相比更为生动、形象,且由于在导航时还结合考虑了真实路况并使得导航对象匹配于真实路况进行移动,从而无疑还可以提升导航质量及导航的安全性。

Description

一种AR导航方法及电子设备
技术领域
本申请属于智能导航技术领域,尤其涉及一种AR(Augmented Reality,增强现实)导航方法及电子设备。
背景技术
AR导航也称AR实景导航,是在将AR技术与地图信息相结合的基础上实现的一种导航方式,可以为人们提供更为形象、直观、安全的导航服务,在人们开启导航设备的AR导航后,导航设备可通过其屏幕上显示的真实环境路况信息结合地图信息导航到目的地。
AR导航可以应用于短距离的步行导航、车载导航等应用场景中,其中,短距离的步行导航是AR导航的主要应用形式之一。目前的AR导航技术,在进行导航时,一般仅是根据需到达的目的地信息,通过在设备屏幕显示的真实环境路面上给出一个方向性的导航提示(如箭头等)来实现导航,该方式所提供的导航服务不够优化。
发明内容
有鉴于此,本发明的目的在于提供一种AR导航方法及电子设备,用于进一步优化现有的AR导航技术,为人们提供更好的导航服务。
为此,本发明公开如下技术方案:
一种增强现实AR导航方法,应用于设置有摄像单元及显示单元的电子设备,所述方法包括:
获得当前导航位置的第一位置信息及目的地的第二位置信息;
利用所述摄像单元采集所述当前导航位置的真实路况对应的真实路况图像;
显示与所述真实路况相匹配的至少一个导航对象,其中,所述至少一个导航对象基于所述第一位置信息及所述第二位置信息,匹配于所述真实路况进行移动,以引导到达所述目的地。
上述方法,优选的,所述显示与所述真实路况相匹配的至少一个导航对象,包括:
在所述显示单元上显示所述真实路况图像,以及匹配于所述真实路况图像的至少一个导航对象;
或者,
利用光学模组投射与所述至少一个导航对象对应的光线,以使得感知到的所述至少一个导航对象和所述真实路况相匹配。
上述方法,优选的,在显示与所述真实路况相匹配的至少一个导航对象之后,所述方法还包括:
确定所述真实路况所对应的路况信息;
控制所述至少一个导航对象执行与所述路况信息相对应的交互行为,以提示路况。
上述方法,优选的,所述控制所述至少一个导航对象执行与所述路况信息相对应的交互行为,包括:
基于所述路况信息,识别路况类型;
若所述路况信息表明所述真实路况在第三位置对应的路况类型为预定的至少一种路况类型之一,则控制所述至少一个导航对象中的一个或多个导航对象在所述第三位置对应的预定区域执行与所述第三位置的路况类型相对应的交互行为。
上述方法,优选的,所述方法还包括:
在符合所述预定类型路况的位置不少于1个时,在每个符合所述预定类型路况的位置的预定区域显示至少一个导航对象,并控制所述至少一个导航对象执行与相应位置所属的路况类型相匹配的交互行为。
上述方法,优选的,所述至少一个导航对象为与目的地的预定特征信息相匹配的导航对象;
所述至少一个导航对象的数量为固定数量,或者,为根据所述真实路况对应的路况信息实时调整的动态数量。
上述方法,优选的,所述利用所述摄像单元采集所述当前导航位置对应的真实路况图像,包括:
利用所述摄像单元中的后置摄像头采集所述当前导航位置的真实路况对应的第一真实路况图像,以使得基于所述第一真实路况图像进行导航和/或路况提示;
或者,
利用所述摄像单元中的后置摄像头采集所述当前导航位置的真实路况对应的第一真实路况图像,以及利用所述摄像单元中的前置摄像头采集所述当前导航位置对应的第二真实路况图像,以使得基于所述第一真实路况图像进行导航和/或路况提示,基于所述第二真实路况图像进行路况提示。
一种电子设备,包括摄像单元及显示单元,还包括:
存储器,用于至少存储一导航处理指令集;
处理器,用于调用并执行所述导航处理指令集,以通过执行所述导航处理指令集完成以下操作:
获得当前导航位置的第一位置信息及目的地的第二位置信息;
所述摄像单元,用于采集所述当前导航位置的真实路况对应的真实路况图像;
所述显示单元,用于显示与所述真实路况相匹配的至少一个导航对象,其中,所述至少一个导航对象基于所述第一位置信息及所述第二位置信息,匹配于所述真实路况进行移动,以引导到达所述目的地。
上述电子设备,优选的,所述显示单元,还用于:
显示所述真实路况图像,以及匹配于所述真实路况图像的至少一个导航对象;
或者,
所述显示单元包括光学模组,其中,所述光学模组用于投射与所述至少一个导航对象对应的光线,以使得感知到的所述至少一个导航对象和所述真实路况相匹配。
一种电子设备,包括:
获取单元,用于获得当前导航位置的第一位置信息及目的地的第二位置信息;
采集单元,用于采集所述当前导航位置的真实路况对应的真实路况图像;
显示单元,用于显示与所述真实路况相匹配的至少一个导航对象,其中,所述至少一个导航对象基于所述第一位置信息及所述第二位置信息,匹配于所述真实路况进行移动,以引导到达所述目的地。
根据以上方案可知,本申请提供的AR导航方法及电子设备,获得当前导航位置的第一位置信息及目的地的第二位置信息,利用电子设备的摄像单元采集当前导航位置的真实路况对应的真实路况图像,并显示与所述真实路况相匹配的至少一个导航对象,其中,所述至少一个导航对象基于所述第一位置信息及所述第二位置信息,匹配于所述真实路况进行移动,以引导到达所述目的地。由此可见,本申请提出了一种通过利用至少一个导航对象匹配于真实路况进行移动来实现导航的方案,该利用导航对象进行导航的方式与现有技术通过给出一个方向性的导航提示(如箭头等)进行导航的方式相比更为生动、形象,且由于在导航时还结合考虑了真实路况并使得导航对象匹配于真实路况进行移动,从而无疑还可以提升导航质量及导航的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本申请提供的一种AR导航方法实施例一的流程图;
图2是本申请提供的一种AR导航方法实施例二的流程图;
图3是本申请实施例二提供的利用智能手机进行AR导航的一导航画面示例图;
图4是本申请提供的一种AR导航方法实施例三的流程图;
图5是本申请提供的一种AR导航方法实施例四的流程图;
图6是本申请提供的一种电子设备实施例五的结构示意图;
图7是本申请提供的一种电子设备实施例六的结构示意图;
图8是本申请提供的一种电子设备实施例七的结构示意图;
图9是本申请提供的一种电子设备实施例九的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请提供了一种AR导航方法及电子设备,以用于对现有技术的AR导航技术进行进一步优化,以下将通过多个实施例对本申请的AR导航方法及电子设备进行说明。
参考图1,是本申请提供的一种AR导航方法实施例一的流程图,其中,该AR导航方法可应用于设置有摄像单元及显示单元的电子设备中,所述电子设备可以是但不限于智能手机、平板电脑(Pad,portable android device)等移动设备或者AR眼镜、AR头盔等头戴式AR设备。本申请的导航可应用于短距离的步行导航、车载导航等各类导航场景中。
如图1所示,本实施例中,所述AR导航方法可以包括如下步骤:
步骤101、获得当前导航位置的第一位置信息及目的地的第二位置信息。
导航是一种将被引导对象从当前位置引导至目的位置的过程,鉴于此,为了实现有效引导,需获得当前导航位置的第一位置信息以及目的地的第二位置信息。
所述当前导航位置即指被引导对象当前所处的位置,以对用户的步行导航(当然还可以是车载导航等其他导航类型)为例,所述当前导航位置即指用户当前所处的位置。
具体实施中,可基于电子设备的自定位功能,获得所述当前导航位置的第一位置信息。电子设备的自定位功能可以是但不限于基于GPS(Global Positioning System,全球定位系统)卫星定位技术、Wi-Fi(WIreless-Fidelity,无线保真)定位技术或基站定位技术的自定位功能。当用户存在导航需求时,可手动启动电子设备的自定位功能或者由电子设备在接收到用户的导航请求时,响应于导航请求自动启动电子设备的自定位功能,如用户手动启动或电子设备自动启动设备的GPS功能等,以此使得在整个导航过程中实时对用户位置进行定位。
对于所述目的地的第二位置信息,则可以结合用户提交的目的地信息(如目的地名称、地址等)及相关电子地图信息获取,在用户存在导航需求并向电子设备提交目的地信息(如手写输入/语音输入目的地地址/名称或者用户从提供的列表中选择目的地地址/名称等)后,电子设备可自动根据用户提交的目的地信息结合相关电子地图信息,如百度地图、高德地图等,获得目的地的第二位置信息,对目的地进行定位,在此基础上,后续可进一步根据当前导航位置的第一位置信息及目的地的第二位置信息并结合电子地图信息制定出当前导航位置至目的地的导航路线,以此使得为从当前导航位置导航至目的地的导航过程提供依据。
步骤102、利用所述摄像单元采集所述当前导航位置的真实路况对应的真实路况图像。
由于导航的根本目的在于将被引导对象从当前位置引导至目的位置,因此,所述摄像单元采集的所述当前导航位置的真实路况对应的真实路况图像,应至少包括电子设备的后置摄像头采集的当前导航位置的真实路况对应的真实路况图像(以使得所采集的真实路况图像为当前位置至目的地的路径上的路况图像)。
所采集的真实路况图像用于客观反映所述当前导航位置所对应的真实路况信息,如当前导航位置所对应的路面信息、障碍物信息、台阶信息、坑洞信息,甚至道路两边的墙壁信息等等,以使得为后续的导航处理提供数据基础。
步骤103、显示与所述真实路况相匹配的至少一个导航对象,其中,所述至少一个导航对象基于所述第一位置信息及所述第二位置信息,匹配于所述真实路况进行移动,以引导到达所述目的地。
在获得所述当前导航位置的真实路况对应的真实路况图像后,本实施例进一步根据所述真实路况图像所反映的当前导航位置的真实路况,利用电子设备显示与所述真实路况相匹配的至少一个导航对象,并基于所述当前导航位置的第一位置信息及目的地的第二位置信息,控制所显示的至少一个导航对象匹配于所述真实路况进行移动,以此达到导航的目的。
根据以上方案可知,本实施例提供的AR导航方法,在获得当前导航位置的第一位置信息及目的地的第二位置信息后,利用电子设备的摄像单元采集当前导航位置的真实路况对应的真实路况图像,并显示与所述真实路况相匹配的至少一个导航对象,其中,所述至少一个导航对象基于所述第一位置信息及所述第二位置信息,匹配于所述真实路况进行移动,以引导到达所述目的地。由此可见,本申请提出了一种通过利用至少一个导航对象匹配于真实路况进行移动来实现导航的方案,该利用导航对象进行导航的方式与现有技术通过给出一个方向性的导航提示(如箭头等)进行导航的方式相比更为生动、形象,且由于在导航时还结合考虑了真实路况并使得导航对象匹配于真实路况进行移动,从而无疑还可以提升导航质量及导航的安全性。
参考图2,是本申请提供的一种AR导航方法实施例二的流程图,本实施例主要以应用所述AR导航方法的电子设备为具有摄像单元及显示单元的智能手机、平板电脑等移动设备为例,对所述AR导航方法的实现过程进行说明。其中,所述摄像单元具体可以包括智能手机、平板电脑等移动设备的摄像头,如移动设备的前置摄像头、后置摄像头等,所述显示单元可以包括移动设备的显示屏幕。
如图2所示,本实施例中,所述AR导航方法包括如下步骤:
步骤201、获得当前导航位置的第一位置信息及目的地的第二位置信息。
具体实施中,可基于智能手机、平板电脑等移动设备的自定位功能,获得所述当前导航位置的第一位置信息。移动设备的自动位功能可以是但不限于基于GPS卫星定位技术、Wi-Fi定位技术或基站定位技术的自定位功能。当用户存在导航需求时,可手动启动移动设备的自定位功能或者由移动设备在接收到用户的导航请求时,响应于导航请求自动启动移动设备的自定位功能,如用户手动启动或移动设备自动启动设备的GPS功能等,以此使得在整个导航过程中实时对用户位置进行定位。
所述目的地的第二位置信息,则可以由移动设备结合目的地信息(如目的地名称、地址等)以及相关电子地图信息获取。对于智能手机、平板电脑等移动设备来说,当用户存在导航需求时,可通过手写输入、语音输入或者从设备提供的列表中选择目的地地址/名称等方式向移动设备提交目的地信息,在此基础上,移动设备可自动根据用户提交的目的地信息结合相关电子地图信息,如百度地图、高德地图等,获得目的地的第二位置信息,对目的地进行定位,后续可进一步根据当前导航位置的第一位置信息及目的地的第二位置信息并结合电子地图信息制定出当前导航位置至目的地的导航路线,以此使得为从当前导航位置导航至目的地的导航过程提供依据。
步骤202、利用所述摄像单元采集所述当前导航位置的真实路况对应的真实路况图像。
其中,作为一种可能的实现方式,所述利用所述摄像单元采集所述当前导航位置的真实路况对应的真实路况图像,具体可以是利用智能手机、平板电脑等移动设备的后置摄像头采集所述当前导航位置的真实路况所对应的第一真实路况图像。此种方式本质上是利用移动设备的后置摄像头获得用户前方(即道路线路上用户所在位置超向目的地的一方)的真实路况的图像。
作为另一种可能的实现方式,所述利用所述摄像单元采集所述当前导航位置的真实路况对应的真实路况图像,还可以是利用移动设备的后置摄像头采集所述当前导航位置的真实路况对应的第一真实路况图像,以及利用移动设备的前置摄像头采集所述当前导航位置对应的第二真实路况图像。与上述仅采用后置摄像头的方式相区别,该方式本质上是利用移动设备的后置摄像头及前置摄像头同时获得用户前方(即道路线路上用户所在位置超向目的地的一方)及后方(即道路线路上用户所在位置背离目的地的一方)的真实路况的图像。
步骤203、在所述显示单元上显示所述真实路况图像,以及匹配于所述真实路况图像的至少一个导航对象。
在获得当前导航位置的真实路况所对应的真实路况图像后,可在移动设备的显示屏幕上实时显示所述真实路况图像,并同时在移动设备的显示屏幕上显示至少能够用于对用户进行路线引导的至少一个导航对象,也即,移动设备的显示屏幕上显示的是当前导航位置的真实路况所对应的真实路况图像与至少一个导航对象相结合的结合画面,该结合画面即为用于对用户进行导航的导航画面,该结合画面所呈现的画面效果具体可参考图3示出的一导航画面示例图。
其中,所述至少一个导航对象基于当前导航位置的第一位置信息以及目的地的第二位置信息,匹配于所述真实路况图像所反映的真实路况进行移动,具体地,可根据所述真实路况图像分析其所对应的真实路况,例如,分析当前道路是否是直线路线,在非直线路线如折线路线情况下具体在哪个(哪些)位置发生转折,分析路面信息(如路面宽窄)等,在此基础上,所述至少一个导航对象可以以与所述真实路况图像所反映的路线状况、路面信息相匹配的位置、形态、大小、移动方向等进行移动,如,直线路线情况下直线移动,在路线的拐点处进行转弯,并根据移动过程中导航对象所处的位置控制导航对象的大小等(如图3中处于不同位置的导航对象具有不同的大小,以与呈现的路面宽窄进行匹配)。
更进一步地,针对所述真实路况图像为利用移动设备的后置摄像头采集的所述第一真实路况图像的情况,可在移动设备显示屏幕上显示所述第一真实路况图像,并显示匹配于所述第一真实路况图像对应的真实路况进行移动的至少一个导航对象,以此实现对用户进行导航,以图3的手机导航为例,具体可在图3所示的智能手机屏幕上竖屏显示所述第一真实路况图像,并结合显示匹配于所述第一真实路况图像对应的真实路况进行移动的至少一个导航对象。
针对所述真实路况图像为利用电子设备的后置摄像头采集的所述第一真实路况图像,以及利用电子设备的前置摄像头采集的所述第二真实路况图像的情况,可首先对所述第一真实路况图像及所述第二真实路况图像进行图像处理,并在设备屏幕上显示结果图像,例如拼接所述第一真实路况图像的至少部分图像以及所述第二真实路况图像的至少部分图像,并在设备屏幕上显示拼接后的结果图像,或者,在移动设备显示屏幕上显示所述第一真实路况图像,并将所述第二真实路况图像缩小一定比例后覆盖显示在第一图像的部分区域等。以使得移动设备屏幕上所显示的真实路况图像既包括所述第一真实路况图像的至少部分图像又包括所述第二真实路况图像的至少部分图像。
其中,设备屏幕上所显示的第一真实路况图像的至少部分图像用于导航,所显示的第二真实路况图像的至少部分图像则用于在对用户进行导航的同时方便用户了解其后方的路况信息(如后方车辆或人流情况等),鉴于此,可在显示的第一真实路况图像的至少部分图像上显示匹配于第一真实路况进行移动的至少一个导航对象,以实现导航。而所述第二真实路况图像的至少部分图像上则可以不显示任何导航对象,用户可基于第二真实路况图像的至少部分图像的自身图像内容了解其后方的路况信息,如后方车辆或人流情况等,进而在有危险状况时可及时闪避,如躲避后方车辆或人流等。当然,也可以在显示的第二真实路况图像的至少部分图像中结合显示用于提示路况的至少一个导航/虚拟对象(导航/虚拟对象可通过执行与路况相对应的交互行为实现提示路况,该部分会在下文详细阐述)。
仍以图3的手机导航为例,可在手机屏幕上竖屏显示拼接第一真实路况图像的至少部分图像以及第二真实路况图像的至少部分图像后所得的结果图像(如拼接2/3的第一真实路况图像与1/3的第二真实路况图像等),并具体可在屏幕下方相应区域显示该结果图像中的第二真实路况图像部分,在屏幕上方相应区域显示该结果图像中的第一真实路况图像部分,同时在第一真实路况图像部分中显示各个用于导航的导航对象,或者,还可以直接显示第一真实路况图像,并在第一真实路况图像的部分区域如左上角、右上角等覆盖一按比例缩小后的第二真实路况图像,以用于在对用户进行导航的同时还能够便于其了解后方的路况信息。
实际应用中,可根据业务逻辑的设定或用户需求选取上述实现方式中的任意一种对用户进行导航,本实施例对此并不进行限定。
所述导航对象为AR虚拟对象,本实施例中,优选的,所述导航对象与目的地的预定特征信息相匹配,比如与目的地所提供的服务、词条信息或者目的地所属的机构性质、属性相匹配等,以实现更为直观、形象地对用户进行导航,进而增加导航的趣味性。更进一步地,比如,假设用户的目的地为海洋馆,则所述至少一个导航对象可以是至少一个虚拟企鹅(可参考图3),假设用户的目的地为老虎馆,则所述至少一个导航对象可以是至少一个虚拟老虎,假设用户的目的地为一学校,则所述至少一个导航对象可以是至少一个虚拟小学生。
且所述至少一个导航对象的数量,可以为系统默认的、或用户自行设定的一个或多个的固定数量,或者,还可以是根据所述真实路况对应的路况信息实时调整的动态数量,例如,在道路上人流和/或车辆较拥挤的情况下,动态减少导航对象的数量,在道路上人流和/或车辆较稀疏的情况下,动态增加导航对象的数量等等,本实施例对此不作限定。
另外,所述至少一个导航对象,可以是在需要对导航对象进行显示以实现导航时实时生成的与目的地的预定特征信息相匹配的导航对象,或者还可以是从预先存储的导航对象集中调用的与目的地的预定特征信息相匹配的导航对象,或者还可以是从网络/云端检索的与目的地的预定特征信息相匹配的导航对象,或者还可以是由用户从设备上呈现的多个不同的导航对象中所选择的导航对象等等,本实施例对导航对象的获取方式同样不作限定。
本实施例通过在移动设备的显示屏幕上呈现真实路况图像,以及呈现匹配于所述真实路况图像进行移动的至少一个导航对象,实现了对用户进行AR实景导航,由于在导航时结合考虑了真实路况并使得导航对象匹配于真实路况进行移动,从而提升了导航质量及导航的安全性。且所呈现的至少一个导航对象与目的地的预定特征信息相匹配,增加了导航的趣味性。
参考图4,是本申请提供的一种AR导航方法实施例三的流程图,本实施例主要以应用所述AR导航方法的电子设备为具有摄像单元及显示单元的AR眼镜、AR头盔等头戴式AR设备为例,对所述AR导航方法的实现过程进行说明。其中,所述摄像单元具体可以包括AR眼镜、AR头盔等头戴式AR设备的摄像头,如头戴式AR设备的前置摄像头、后置摄像头等,所述显示单元可以包括头戴式AR设备的光学模组。
如图4所示,本实施例中,所述AR导航方法可以包括如下步骤:
步骤401、获得当前导航位置的第一位置信息及目的地的第二位置信息。
具体实施中,可基于头戴式AR设备的自定位功能,获得所述当前导航位置的第一位置信息。头戴式AR设备的自动位功能可以是但不限于基于GPS卫星定位技术、Wi-Fi定位技术或基站定位技术的自定位功能。当用户存在导航需求时,可手动启动头戴式AR设备的自定位功能或者由头戴式AR设备在接收到用户的导航请求时,响应于导航请求自动启动设备的自定位功能,如用户手动启动或设备自动启动其GPS功能等,以此使得在整个导航过程中实时对用户位置进行定位。
所述目的地的第二位置信息,则可以由头戴式AR设备结合目的地信息(如目的地名称、地址等)以及相关电子地图信息获取。对于AR眼镜、AR头盔等头戴式AR设备来说,当用户存在导航需求时,优选的,可通过语音输入的方式向头戴式AR设备提交目的地信息,如语音输入目的地名称或目的地地址等,在此基础上,头戴式AR设备可自动根据用户输入的目的地信息结合相关电子地图信息,如百度地图、高德地图等,获得目的地的第二位置信息,对目的地进行定位,后续可进一步根据当前导航位置的第一位置信息及目的地的第二位置信息并结合电子地图信息制定出当前导航位置至目的地的导航路线,以此使得为从当前导航位置导航至目的地的导航过程提供依据。
步骤402、利用所述摄像单元采集所述当前导航位置的真实路况对应的真实路况图像。
其中,作为一种可能的实现方式,所述利用所述摄像单元采集所述当前导航位置的真实路况对应的真实路况图像,具体可以是利用AR眼镜、AR头盔等头戴式AR设备的后置摄像头采集所述当前导航位置的真实路况对应的第一真实路况图像。此种方式本质上是利用头戴式AR设备的后置摄像头获得用户前方(即道路线路上用户所在位置超向目的地的一方)的真实路况的图像。
作为另一种可能的实现方式,所述利用所述摄像单元采集所述当前导航位置的真实路况对应的真实路况图像,还可以是利用头戴式AR设备的后置摄像头采集所述当前导航位置的真实路况对应的第一真实路况图像,以及利用头戴式AR设备的前置摄像头采集所述当前导航位置对应的第二真实路况图像。与上述方式相区别,该方式本质上是利用头戴式AR设备的后置摄像头及前置摄像头同时获得用户前方(即道路线路上用户所在位置超向目的地的一方)及后方(即道路线路上用户所在位置背离目的地的一方)的真实路况的图像。
步骤403、利用光学模组投射与所述至少一个导航对象对应的光线,以使得感知到的所述至少一个导航对象和所述真实路况相匹配。
本申请用于通过显示与真实路况相匹配的至少一个导航对象,并使得所述至少一个导航对象基于当前导航位置的第一位置信息以及目的地的第二位置信息,匹配于所述真实路况进行移动,来达到导航的目的,鉴于此,头戴式AR设备在通过其摄像单元获得当前导航位置的真实路况所对应的真实路况图像后,可根据所述真实路况图像分析其所对应的真实路况,例如,分析当前道路是否是直线路线,在非直线路线如折线路线情况下具体在哪个(哪些)位置发生转折,分析路面信息(如路面宽窄)等等,并可结合真实路况图像以及路况图像对应的路况信息进行AR建模,以确定至少一个导航对象中各导航对象的与路况信息相匹配的位置、形态、大小、移动方向等信息。
在此基础上,头戴式AR设备可基于所确定的至少一个导航对象中各导航对象的位置、形态、大小、移动方向等信息,利用其光学模组投射与所述至少一个导航对象对应的光线,用户通过入眼的光线感知到所述至少一个导航对象,且用户感知到的所述至少一个导航对象和透过AR眼镜/AR头盔的镜片所看到的真实路况相匹配。
针对所述真实路况图像为利用头戴式AR设备的后置摄像头采集的所述第一真实路况图像的情况,头戴式AR设备可直接基于所述第一真实路况图像及其对应的路况信息进行建模,以确定至少一个导航对象中各导航对象的位置、形态、大小、移动方向等信息。并进而利用光学模组投射与所述至少一个导航对象对应的光线,使用户感知到与第一真实路况图像对应的实际路况相匹配的至少一个导航对象。
针对所述真实路况图像为利用电子设备的后置摄像头采集的所述第一真实路况图像,以及利用电子设备的前置摄像头采集的所述第二真实路况图像的情况,与上述仅采用一个摄像头的情况相类似,头戴式AR设备同样可基于第一真实路况图像进行建模以及光线投射,使得用户感知到与第一真实路况图像对应的实际路况相匹配的至少一个导航对象。与上述仅采用一个摄像头的情况相区别的是,该采用两个摄像头的方式可将前置摄像头采集的用户后方的路况信息额外显示在头戴式AR设备镜片的预定部分区域(如在镜片左上角等区域额外设置一用于显示后方路况信息的微型显示屏),以便于用户了解其后方的路况信息(后方如车辆或人流情况等),进而便于在有危险状况发生时能够及时闪避,如躲避后方车辆或人流等。
所述导航对象为AR虚拟对象,本实施例中,优选的,所述导航对象与目的地的预定特征信息相匹配,比如与目的地所提供的服务、词条信息或者目的地所属的机构性质、属性相匹配等,以实现更为直观、形象地对用户进行导航,进而增加导航的趣味性。更进一步地,比如,假设用户的目的地为海洋馆,则所述至少一个导航对象可以是至少一个虚拟企鹅(可参考图3),假设用户的目的地为老虎馆,则所述至少一个导航对象可以是至少一个虚拟老虎,假设用户的目的地为一学校,则所述至少一个导航对象可以是至少一个虚拟小学生。
且所述至少一个导航对象的数量,可以为系统默认的、或用户自行设定的一个或多个的固定数量,或者,还可以是根据所述真实路况对应的路况信息实时调整的动态数量,例如,在道路上人流和/或车辆较拥挤的情况下,动态减少导航对象的数量,在道路上人流和/或车辆较稀疏的情况下,动态增加导航对象的数量等等,本实施例对此不作限定。
另外,所述至少一个导航对象,可以是在需要对导航对象进行显示以实现导航时实时生成的与目的地的预定特征信息相匹配的导航对象,或者还可以是从预先存储的导航对象集中调用的与目的地的预定特征信息相匹配的导航形象,或者还可以是从网络/云端检索的与目的地的预定特征信息相匹配的导航形象,或者还可以是由用户从设备上呈现的多个不同的导航对象中所选择的导航对象等等,本实施例对导航对象的获取方式同样不作限定。
本实施例中,头戴式AR设备通过利用光学模组投射与当前导航位置的真实路况相匹配的至少一个导航对象对应的光线,可使得用户感知到的所述至少一个导航对象和所述当前导航位置的真实路况相匹配,实现了对用户进行AR实景导航。其中,在导航时结合考虑了真实路况并使得导航对象匹配于真实路况进行移动,从而提升了导航质量及导航的安全性;且所呈现的至少一个导航对象与目的地的预定特征信息相匹配,增加了导航的趣味性。
参考图5,是本申请提供的一种AR导航方法实施例四的流程图,与上述实施例相区别的是,本实施例中,所述导航方法还可以包括:
步骤501、确定所述真实路况所对应的路况信息。
所述确定所述真实路况所对应的路况信息,可以包括但不限于根据所采集的当前导航位置的真实路况图像,分析路线信息(当前导航位置对应的道路为直线路线或具有拐点的折线路线等)、路面信息(路面宽窄、路面是否平整、路面是否湿滑等)、障碍物信息(是否有垃圾杂物、围栏、隔离墩等)、台阶信息、上下坡信息、坑洞信息(水坑、凹洞)、车辆/人流信息、甚至道路两边的墙壁信息(墙壁上是否有尖锐物体、易坠落物体等危险物)等等。
步骤502、控制所述至少一个导航对象执行与所述路况信息相对应的交互行为,以提示路况。
在前述各实施例中已经说明可基于当前导航位置的第一位置信息以及目的地的第二位置信息,通过使得所述至少一个导航对象匹配于实际路况进行移动来达到导航的目的,在此基础上,本实施例中,还控制所述至少一个导航对象执行与所述路况信息相对应的交互行为,以实现向用户提示路况。
具体地,可基于对所述真实路况图像进行分析所得的路况信息,识别路况类型。若所述路况信息表明当前导航位置所对应的真实路况在第三位置对应的路况类型为预定的至少一种路况类型之一,则控制所述至少一个导航对象中的一个或多个导航对象在所述第三位置对应的预定区域执行与所述第三位置的路况类型相对应的交互行为。
示例性地,所述预定路况类型可以是但不限于某位置存在障碍物、某位置为上下坡、某位置具有水坑/坑洞、某位置有台阶、某位置路面湿滑、某位置车辆/人流密集等等较为典型的需对用户进行提示的路况类型。在进行导航时,针对符合所述预定路况类型的相应位置,可在该位置对应的预定区域内显示一个或多个导航对象,并控制该一个或多个导航对象执行对应于该位置路况类型的交互行为,以此实现对用户进行路况提示,如,在存在障碍物(隔离墩、围栏、垃圾杂物等)的位置处控制导航对象绕过障碍物或者直接撞在障碍物上导致导航对象受伤或摔倒、在具有水坑/坑洞的位置处控制导航对象绕过水坑/坑洞或者直接跌落在水坑/坑洞中、在存在台阶的位置处控制导航对象执行蹦跳动作、在路面湿滑的位置处控制导航对象滑倒、在车辆/人流密集的位置处控制导航对象躲避车辆/人流等等,以实现有效提醒用户。
这里,需要说明的是,在符合所述预定类型路况的位置不少于1个时,本实施例中,优选的可在每个符合所述预定类型路况的位置的预定区域显示至少一个导航对象,并控制所述至少一个导航对象执行与相应位置所属的路况类型相匹配的交互行为;导航对象的数量相应地可根据路况变化动态变动,如路面上出现新的障碍物时,针对新出现的障碍物实时在障碍物对应的预定区域内添加显示用于对该障碍物进行行为交互的一个或多个导航对象等,当然除此之外,障碍物数量还可以根据车辆及人流情况动态变化。
具体实施中,对于符合上述预定路况类型的每个位置,还可以以特殊标记对其进行标定,例如对该位置进行高亮处理、或者以特殊颜色对该位置进行显示、或者在该位置上呈现气球/框线的提示符号等等,以进一步提示用户该位置的路况信息。
本实施例通过控制所述至少一个导航对象执行与所述路况信息相对应的交互行为,实现了对用户进行路况提示,可进一步提升对用户进行导航时的导航质量、导航的安全性及趣味性。
参考图6,是本申请提供的一种电子设备实施例五的结构示意图,所述电子设备可以是但不限于智能手机、平板电脑等移动设备或者AR眼镜、AR头盔等头戴式AR设备。该电子设备可应用于短距离的步行导航、车载导航等各类导航场景中。
如图6所示,所述电子设备包括用于至少采集真实路况图像的摄像单元601及用于进行信息显示的显示单元602,除此之外,还包括:
存储器603,用于至少存储一导航处理指令集;
处理器604,用于调用并执行所述导航处理指令集,以通过执行所述导航处理指令集完成以下操作:
获得当前导航位置的第一位置信息及目的地的第二位置信息;
控制所述摄像单元采集所述当前导航位置的真实路况对应的真实路况图像;
控制所述显示单元显示与所述真实路况相匹配的至少一个导航对象,其中,所述至少一个导航对象基于所述第一位置信息及所述第二位置信息,匹配于所述真实路况进行移动,以引导到达所述目的地。
其中,导航是一种将被引导对象从当前位置引导至目的位置的过程,鉴于此,为了实现有效引导,需获得当前导航位置的第一位置信息以及目的地的第二位置信息。
所述当前导航位置即指被引导对象当前所处的位置,以对用户的步行导航(当然还可以是车载导航等其他导航类型)为例,所述当前导航位置即指用户当前所处的位置。
具体实施中,可基于电子设备的自定位功能,获得所述当前导航位置的第一位置信息。电子设备的自定位功能可以是但不限于基于GPS卫星定位技术、Wi-Fi定位技术或基站定位技术的自定位功能。当用户存在导航需求时,可手动启动电子设备的自定位功能或者由电子设备在接收到用户的导航请求时,响应于导航请求自动启动电子设备的自定位功能,如用户手动启动或电子设备自动启动设备的GPS功能等,以此使得在整个导航过程中实时对用户位置进行定位。
对于所述目的地的第二位置信息,则可以结合用户提交的目的地信息(如目的地名称、地址等)及相关电子地图信息获取,在用户存在导航需求并向电子设备提交目的地信息(如手写输入/语音输入目的地地址/名称或者用户从提供的列表中选择目的地地址/名称等)后,电子设备可自动根据用户提交的目的地信息结合相关电子地图信息,如百度地图、高德地图等,获得目的地的第二位置信息,对目的地进行定位,在此基础上,后续可进一步根据当前导航位置的第一位置信息及目的地的第二位置信息并结合电子地图信息制定出当前导航位置至目的地的导航路线,以此使得为从当前导航位置导航至目的地的导航过程提供依据。
由于导航的根本目的在于将被引导对象从当前位置引导至目的位置,因此,所述摄像单元采集的所述当前导航位置的真实路况对应的真实路况图像,应至少包括电子设备的后置摄像头采集的当前导航位置的真实路况对应的真实路况图像(以使得所采集的真实路况图像为当前位置至目的地的路径上的路况图像)。
所采集的真实路况图像用于客观反映所述当前导航位置所对应的真实路况信息,如当前导航位置所对应的路面信息、障碍物信息、台阶信息、坑洞信息,甚至道路两边的墙壁信息等等,以使得为后续的导航处理提供数据基础。
在获得所述当前导航位置的真实路况对应的真实路况图像后,本实施例进一步根据所述真实路况图像所反映的当前导航位置的真实路况,利用电子设备显示与所述真实路况相匹配的至少一个导航对象,并基于所述当前导航位置的第一位置信息及目的地的第二位置信息,控制所显示的至少一个导航对象匹配于所述真实路况进行移动,以此达到导航的目的。
根据以上方案可知,本实施例提供的电子设备,在获得当前导航位置的第一位置信息及目的地的第二位置信息后,利用电子设备的摄像单元采集当前导航位置的真实路况对应的真实路况图像,并显示与所述真实路况相匹配的至少一个导航对象,其中,所述至少一个导航对象基于所述第一位置信息及所述第二位置信息,匹配于所述真实路况进行移动,以引导到达所述目的地。由此可见,本申请提出了一种通过利用至少一个导航对象匹配于真实路况进行移动来实现导航的方案,该利用导航对象进行导航的方式与现有技术通过给出一个方向性的导航提示(如箭头等)进行导航的方式相比更为生动、形象,且由于在导航时还结合考虑了真实路况并使得导航对象匹配于真实路况进行移动,从而无疑还可以提升导航质量及导航的安全性。
在本申请接下来的实施例六中,主要以所述电子设备为具有摄像单元及显示单元的智能手机、平板电脑等移动设备为例,对所述电子设备进行进一步说明。本实施例中,所述摄像单元601具体可以是智能手机、平板电脑等移动设备的摄像头,如移动设备的前置摄像头、后置摄像头等,如图7所示,所述显示单元602可以是移动设备的显示屏幕6021。
作为一种可能的实现方式,所述摄像单元601采集所述当前导航位置的真实路况对应的真实路况图像,具体可以是智能手机、平板电脑等移动设备的后置摄像头采集所述当前导航位置的真实路况所对应的第一真实路况图像。此种方式本质上是利用移动设备的后置摄像头获得用户前方(即道路线路上用户所在位置超向目的地的一方)的真实路况的图像。
作为另一种可能的实现方式,所述摄像单元601采集所述当前导航位置的真实路况对应的真实路况图像,还可以是移动设备的后置摄像头采集所述当前导航位置的真实路况对应的第一真实路况图像,以及移动设备的前置摄像头采集所述当前导航位置对应的第二真实路况图像。与上述仅采用后置摄像头的方式相区别,该方式本质上是利用移动设备的后置摄像头及前置摄像头同时获得用户前方(即道路线路上用户所在位置超向目的地的一方)及后方(即道路线路上用户所在位置背离目的地的一方)的真实路况的图像。
本实施例中,所述显示单元602具体用于显示所述真实路况图像,以及匹配于所述真实路况图像的至少一个导航对象。
在获得当前导航位置的真实路况所对应的真实路况图像后,可在移动设备的显示屏幕上实时显示所述真实路况图像,并同时在移动设备的显示屏幕上显示至少能够用于对用户进行路线引导的至少一个导航对象,也即,移动设备的显示屏幕上显示的是当前导航位置的真实路况所对应的真实路况图像与至少一个导航对象相结合的结合画面,该结合画面即为用于对用户进行导航的导航画面,该结合画面所呈现的画面效果具体可参考图3示出的一导航画面示例图。
其中,所述至少一个导航对象基于当前导航位置的第一位置信息以及目的地的第二位置信息,匹配于所述真实路况图像所反映的真实路况进行移动,具体地,可由处理器604根据所述真实路况图像分析其所对应的真实路况,例如,分析当前道路是否是直线路线,在非直线路线如折线路线情况下具体在哪个(哪些)位置发生转折,分析路面信息(如路面宽窄)等,在此基础上,控制所述至少一个导航对象可以以与所述真实路况图像所反映的路线状况、路面信息相匹配的位置、形态、大小、移动方向等进行移动,如,直线路线情况下直线移动,在路线的拐点处进行转弯,并根据移动过程中导航对象所处的位置控制导航对象的大小等(如图3中处于不同位置的导航对象具有不同的大小,以与呈现的路面宽窄进行匹配)。
更进一步地,针对所述真实路况图像为利用移动设备的后置摄像头采集的所述第一真实路况图像的情况,可在移动设备显示屏幕上显示所述第一真实路况图像,并显示匹配于所述第一真实路况图像对应的真实路况进行移动的至少一个导航对象,以此实现对用户进行导航,以图3的手机导航为例,具体可在图3所示的智能手机屏幕上竖屏显示所述第一真实路况图像,并结合显示匹配于所述第一真实路况图像对应的真实路况进行移动的至少一个导航对象。
针对所述真实路况图像为利用电子设备的后置摄像头采集的所述第一真实路况图像,以及利用电子设备的前置摄像头采集的所述第二真实路况图像的情况,可首先利用处理器604对所述第一真实路况图像及所述第二真实路况图像进行图像处理,并在设备屏幕上显示结果图像,例如拼接所述第一真实路况图像的至少部分图像以及所述第二真实路况图像的至少部分图像,并在设备屏幕上显示拼接后的结果图像,或者,在移动设备显示屏幕上显示所述第一真实路况图像,并将所述第二真实路况图像缩小一定比例后覆盖显示在第一图像的部分区域等。以使得移动设备屏幕上所显示的真实路况图像既包括所述第一真实路况图像的至少部分图像又包括所述第二真实路况图像的至少部分图像。
其中,设备屏幕上所显示的第一真实路况图像的至少部分图像用于导航,所显示的第二真实路况图像的至少部分图像则用于在对用户进行导航的同时方便用户了解其后方的路况信息(如后方车辆或人流情况等),鉴于此,可在显示的第一真实路况图像的至少部分图像上显示匹配于第一真实路况进行移动的至少一个导航对象,以实现导航。而所述第二真实路况图像的至少部分图像上则可以不显示任何导航对象,用户可基于第二真实路况图像的至少部分图像的自身图像内容了解其后方的路况信息,如后方车辆或人流情况等,进而在有危险状况时可及时闪避,如躲避后方车辆或人流等。当然,也可以在显示的第二真实路况图像的至少部分图像中结合显示用于提示路况的至少一个导航/虚拟对象(导航/虚拟对象可通过执行与路况相对应的交互行为实现提示路况,该部分会在下文详细阐述)。
仍以图3的手机导航为例,可在手机屏幕上竖屏显示拼接第一真实路况图像的至少部分图像以及第二真实路况图像的至少部分图像后所得的结果图像(如拼接2/3的第一真实路况图像与1/3的第二真实路况图像等),并具体可在屏幕下方相应区域显示该结果图像中的第二真实路况图像部分,在屏幕上方相应区域显示该结果图像中的第一真实路况图像部分,同时在第一真实路况图像部分中显示各个用于导航的导航对象,或者,还可以直接显示第一真实路况图像,并在第一真实路况图像的部分区域如左上角、右上角等覆盖一按比例缩小后的第二真实路况图像,以用于在对用户进行导航的同时还能够便于其了解后方的路况信息。
实际应用中,可根据业务逻辑的设定或用户需求选取上述实现方式中的任意一种对用户进行导航,本实施例对此并不进行限定。
所述导航对象为AR虚拟对象,本实施例中,优选的,所述导航对象与目的地的预定特征信息相匹配,比如与目的地所提供的服务、词条信息或者目的地所属的机构性质、属性相匹配等,以实现更为直观、形象地对用户进行导航,进而增加导航的趣味性。更进一步地,比如,假设用户的目的地为海洋馆,则所述至少一个导航对象可以是至少一个虚拟企鹅(可参考图3),假设用户的目的地为老虎馆,则所述至少一个导航对象可以是至少一个虚拟老虎,假设用户的目的地为一学校,则所述至少一个导航对象可以是至少一个虚拟小学生。
且所述至少一个导航对象的数量,可以为系统默认的、或用户自行设定的一个或多个的固定数量,或者,还可以是根据所述真实路况对应的路况信息实时调整的动态数量,例如,在道路上人流和/或车辆较拥挤的情况下,动态减少导航对象的数量,在道路上人流和/或车辆较稀疏的情况下,动态增加导航对象的数量等等,本实施例对此不作限定。
另外,所述至少一个导航对象,可以是在需要对导航对象进行显示以实现导航时实时生成的与目的地的预定特征信息相匹配的导航对象,或者还可以是从预先存储的导航对象集中调用的与目的地的预定特征信息相匹配的导航对象,或者还可以是从网络/云端检索的与目的地的预定特征信息相匹配的导航对象,或者还可以是由用户从设备上呈现的多个不同的导航对象中所选择的导航对象等等,本实施例对导航对象的获取方式同样不作限定。
本实施例通过在移动设备的显示屏幕上呈现真实路况图像,以及呈现匹配于所述真实路况图像进行移动的至少一个导航对象,实现了对用户进行AR实景导航,由于在导航时结合考虑了真实路况并使得导航对象匹配于真实路况进行移动,从而提升了导航质量及导航的安全性。且所呈现的至少一个导航对象与目的地的预定特征信息相匹配,增加了导航的趣味性。
在本申请接下来的实施例七中,主要以所述电子设备为具有摄像单元及显示单元的AR眼镜、AR头盔等头戴式AR设备为例,对所述电子设备进行进一步进行说明。本实施例中,所述摄像单元601具体可以是AR眼镜、AR头盔等头戴式AR设备的摄像头,如头戴式AR设备的前置摄像头、后置摄像头等,如图8所示,所述显示单元602可以包括光学模组6022,其中,所述光学模组用于投射与所述至少一个导航对象对应的光线,以使得感知到的所述至少一个导航对象和所述真实路况相匹配。
作为一种可能的实现方式,所述摄像单元601采集所述当前导航位置的真实路况对应的真实路况图像,具体可以是AR眼镜、AR头盔等头戴式AR设备的后置摄像头采集所述当前导航位置的真实路况对应的第一真实路况图像。此种方式本质上是利用头戴式AR设备的后置摄像头获得用户前方(即道路线路上用户所在位置超向目的地的一方)的真实路况的图像。
作为另一种可能的实现方式,所述摄像单元601采集所述当前导航位置的真实路况对应的真实路况图像,还可以是利用头戴式AR设备的后置摄像头采集所述当前导航位置的真实路况对应的第一真实路况图像,以及利用头戴式AR设备的前置摄像头采集所述当前导航位置对应的第二真实路况图像。与上述方式相区别,该方式本质上是利用头戴式AR设备的后置摄像头及前置摄像头同时获得用户前方(即道路线路上用户所在位置超向目的地的一方)及后方(即道路线路上用户所在位置背离目的地的一方)的真实路况的图像。
如前文所述,本实施例中,所述显示单元602中的光学模组用于投射与所述至少一个导航对象对应的光线,以使得感知到的所述至少一个导航对象和所述真实路况相匹配。
本申请用于通过显示与真实路况相匹配的至少一个导航对象,并使得所述至少一个导航对象基于当前导航位置的第一位置信息以及目的地的第二位置信息,匹配于所述真实路况进行移动,来达到导航的目的,鉴于此,头戴式AR设备在通过其摄像单元获得当前导航位置的真实路况所对应的真实路况图像后,可根据所述真实路况图像分析其所对应的真实路况,例如,分析当前道路是否是直线路线,在非直线路线如折线路线情况下具体在哪个(哪些)位置发生转折,分析路面信息(如路面宽窄)等等,并可结合真实路况图像以及路况图像对应的路况信息进行AR建模,以确定至少一个导航对象中各导航对象的与路况信息相匹配的位置、形态、大小、移动方向等信息。
在此基础上,头戴式AR设备可基于所确定的至少一个导航对象中各导航对象的位置、形态、大小、移动方向等信息,利用其光学模组投射与所述至少一个导航对象对应的光线,用户通过入眼的光线感知到所述至少一个导航对象,且用户感知到的所述至少一个导航对象和透过AR眼镜/AR头盔的镜片所看到的真实路况相匹配。
针对所述真实路况图像为利用头戴式AR设备的后置摄像头采集的所述第一真实路况图像的情况,头戴式AR设备可直接基于所述第一真实路况图像及其对应的路况信息进行建模,以确定至少一个导航对象中各导航对象的位置、形态、大小、移动方向等信息。并进而利用光学模组投射与所述至少一个导航对象对应的光线,使用户感知到与第一真实路况图像对应的实际路况相匹配的至少一个导航对象。
针对所述真实路况图像为利用电子设备的后置摄像头采集的所述第一真实路况图像,以及利用电子设备的前置摄像头采集的所述第二真实路况图像的情况,与上述仅采用一个摄像头的情况相类似,头戴式AR设备同样可基于第一真实路况图像进行建模以及光线投射,使得用户感知到与第一真实路况图像对应的实际路况相匹配的至少一个导航对象。与上述仅采用一个摄像头的情况相区别的是,该采用两个摄像头的方式可将前置摄像头采集的用户后方的路况信息额外显示在头戴式AR设备镜片的预定部分区域(如在镜片左上角等区域额外设置一用于显示后方路况信息的微型显示屏),以便于用户了解其后方的路况信息(后方如车辆或人流情况等),进而便于在有危险状况发生时能够及时闪避,如躲避后方车辆或人流等。
所述导航对象为AR虚拟对象,本实施例中,优选的,所述导航对象与目的地的预定特征信息相匹配,比如与目的地所提供的服务、词条信息或者目的地所属的机构性质、属性相匹配等,以实现更为直观、形象地对用户进行导航,进而增加导航的趣味性。更进一步地,比如,假设用户的目的地为海洋馆,则所述至少一个导航对象可以是至少一个虚拟企鹅(可参考图3),假设用户的目的地为老虎馆,则所述至少一个导航对象可以是至少一个虚拟老虎,假设用户的目的地为一学校,则所述至少一个导航对象可以是至少一个虚拟小学生。
且所述至少一个导航对象的数量,可以为系统默认的、或用户自行设定的一个或多个的固定数量,或者,还可以是根据所述真实路况对应的路况信息实时调整的动态数量,例如,在道路上人流和/或车辆较拥挤的情况下,动态减少导航对象的数量,在道路上人流和/或车辆较稀疏的情况下,动态增加导航对象的数量等等,本实施例对此不作限定。
另外,所述至少一个导航对象,可以是在需要对导航对象进行显示以实现导航时实时生成的与目的地的预定特征信息相匹配的导航对象,或者还可以是从预先存储的导航对象集中调用的与目的地的预定特征信息相匹配的导航形象,或者还可以是从网络/云端检索的与目的地的预定特征信息相匹配的导航形象,或者还可以是由用户从设备上呈现的多个不同的导航对象中所选择的导航对象等等,本实施例对导航对象的获取方式同样不作限定。
本实施例中,头戴式AR设备通过利用光学模组投射与当前导航位置的真实路况相匹配的至少一个导航对象对应的光线,可使得用户感知到的所述至少一个导航对象和所述当前导航位置的真实路况相匹配,实现了对用户进行AR实景导航。其中,在导航时结合考虑了真实路况并使得导航对象匹配于真实路况进行移动,从而提升了导航质量及导航的安全性;且所呈现的至少一个导航对象与目的地的预定特征信息相匹配,增加了导航的趣味性。
在本申请接下来的实施例八中,所述处理器604还用于:确定所述真实路况所对应的路况信息;控制所述至少一个导航对象执行与所述路况信息相对应的交互行为,以提示路况。
所述确定所述真实路况所对应的路况信息,可以包括但不限于根据所采集的当前导航位置的真实路况图像,分析路线信息(当前导航位置对应的道路为直线路线或具有拐点的折线路线等)、路面信息(路面宽窄、路面是否平整、路面是否湿滑等)、障碍物信息(是否有垃圾杂物、围栏、隔离墩等)、台阶信息、上下坡信息、坑洞信息(水坑、凹洞)、车辆/人流信息、甚至道路两边的墙壁信息(墙壁上是否有尖锐物体、易坠落物体等危险物)等等。
在前述各实施例中已经说明可基于当前导航位置的第一位置信息以及目的地的第二位置信息,通过使得所述至少一个导航对象匹配于实际路况进行移动来达到导航的目的,在此基础上,本实施例中,还控制所述至少一个导航对象执行与所述路况信息相对应的交互行为,以实现向用户提示路况。
具体地,可基于对所述真实路况图像进行分析所得的路况信息,识别路况类型。若所述路况信息表明当前导航位置所对应的真实路况在第三位置对应的路况类型为预定的至少一种路况类型之一,则控制所述至少一个导航对象中的一个或多个导航对象在所述第三位置对应的预定区域执行与所述第三位置的路况类型相对应的交互行为。
示例性地,所述预定路况类型可以是但不限于某位置存在障碍物、某位置为上下坡、某位置具有水坑/坑洞、某位置有台阶、某位置路面湿滑、某位置车辆/人流密集等等较为典型的需对用户进行提示的路况类型。在进行导航时,针对符合所述预定路况类型的相应位置,可在该位置对应的预定区域内显示一个或多个导航对象,并控制该一个或多个导航对象执行对应于该位置路况类型的交互行为,以此实现对用户进行路况提示,如,在存在障碍物(隔离墩、围栏、垃圾杂物等)的位置处控制导航对象绕过障碍物或者直接撞在障碍物上导致导航对象受伤或摔倒、在具有水坑/坑洞的位置处控制导航对象绕过水坑/坑洞或者直接跌落在水坑/坑洞中、在存在台阶的位置处控制导航对象执行蹦跳动作、在路面湿滑的位置处控制导航对象滑到、在车辆/人流密集的位置处控制导航对象躲避车辆/人流等等,以实现有效提醒用户。
这里,需要说明的是,在符合所述预定类型路况的位置不少于1个时,本实施例中,优选的可在每个符合所述预定类型路况的位置的预定区域显示至少一个导航对象,并控制所述至少一个导航对象执行与相应位置所属的路况类型相匹配的交互行为;导航对象的数量相应地可根据路况变化动态变动,如路面上出现新的障碍物时,针对新出现的障碍物实时在障碍物对应的预定区域内添加显示用于对该障碍物进行行为交互的一个或多个导航对象等,当然除此之外,障碍物数量还可以根据车辆及人流情况动态变化。
具体实施中,对于符合上述预定路况类型的每个位置,还可以以特殊标记对其进行标定,例如对该位置进行高亮处理、或者以特殊颜色对该位置进行显示、或者在该位置上呈现气球/框线的提示符号等等,以进一步提示用户该位置的路况信息。
本实施例通过控制所述至少一个导航对象执行与所述路况信息相对应的交互行为,实现了对用户进行路况提示,可进一步提升对用户进行导航时的导航质量、导航的安全性及趣味性。
参考图9,为本申请提供的一种电子设备实施例九的结构示意图,所述电子设备可以是但不限于智能手机、平板电脑等移动设备或者AR眼镜、AR头盔等头戴式AR设备。该电子设备可应用于短距离的步行导航、车载导航等各类导航场景中。
如图9所示,所述电子设备包括:
获取单元901,用于获得当前导航位置的第一位置信息及目的地的第二位置信息。
导航是一种将被引导对象从当前位置引导至目的位置的过程,鉴于此,为了实现有效引导,需获得当前导航位置的第一位置信息以及目的地的第二位置信息。
所述当前导航位置即指被引导对象当前所处的位置,以对用户的步行导航(当然还可以是车载导航等其他导航类型)为例,所述当前导航位置即指用户当前所处的位置。
具体实施中,可基于电子设备的自定位功能,获得所述当前导航位置的第一位置信息。电子设备的自定位功能可以是但不限于基于GPS卫星定位技术、Wi-Fi定位技术或基站定位技术的自定位功能。当用户存在导航需求时,可手动启动电子设备的自定位功能或者由电子设备在接收到用户的导航请求时,响应于导航请求自动启动电子设备的自定位功能,如用户手动启动或电子设备自动启动设备的GPS功能等,以此使得在整个导航过程中实时对用户位置进行定位。
对于所述目的地的第二位置信息,则可以结合用户提交的目的地信息(如目的地名称、地址等)及相关电子地图信息获取,在用户存在导航需求并向电子设备提交目的地信息(如手写输入/语音输入目的地地址/名称或者用户从提供的列表中选择目的地地址/名称等)后,电子设备可自动根据用户提交的目的地信息结合相关电子地图信息,如百度地图、高德地图等,获得目的地的第二位置信息,对目的地进行定位,在此基础上,后续可进一步根据当前导航位置的第一位置信息及目的地的第二位置信息并结合电子地图信息制定出当前导航位置至目的地的导航路线,以此使得为从当前导航位置导航至目的地的导航过程提供依据。
采集单元902,用于采集所述当前导航位置的真实路况对应的真实路况图像。
由于导航的根本目的在于将被引导对象从当前位置引导至目的位置,因此,所述摄像单元采集的所述当前导航位置的真实路况对应的真实路况图像,应至少包括电子设备的后置摄像头采集的当前导航位置的真实路况对应的真实路况图像(以使得所采集的真实路况图像为当前位置至目的地的路径上的路况图像)。
所采集的真实路况图像用于客观反映所述当前导航位置所对应的真实路况信息,如当前导航位置所对应的路面信息、障碍物信息、台阶信息、坑洞信息,甚至道路两边的墙壁信息等等,以使得为后续的导航处理提供数据基础。
显示单元903,用于显示与所述真实路况相匹配的至少一个导航对象,其中,所述至少一个导航对象基于所述第一位置信息及所述第二位置信息,匹配于所述真实路况进行移动,以引导到达所述目的地。
在获得所述当前导航位置的真实路况对应的真实路况图像后,本实施例进一步根据所述真实路况图像所反映的当前导航位置的真实路况,利用电子设备显示与所述真实路况相匹配的至少一个导航对象,并基于所述当前导航位置的第一位置信息及目的地的第二位置信息,控制所显示的至少一个导航对象匹配于所述真实路况进行移动,以此达到导航的目的。
根据以上方案可知,本实施例提供的电子设备,在获得当前导航位置的第一位置信息及目的地的第二位置信息后,利用电子设备的摄像单元采集当前导航位置的真实路况对应的真实路况图像,并显示与所述真实路况相匹配的至少一个导航对象,其中,所述至少一个导航对象基于所述第一位置信息及所述第二位置信息,匹配于所述真实路况进行移动,以引导到达所述目的地。由此可见,本申请提出了一种通过利用至少一个导航对象匹配于真实路况进行移动来实现导航的方案,该利用导航对象进行导航的方式与现有技术通过给出一个方向性的导航提示(如箭头等)进行导航的方式相比更为生动、形象,且由于在导航时还结合考虑了真实路况并使得导航对象匹配于真实路况进行移动,从而无疑还可以提升导航质量及导航的安全性。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
为了描述的方便,描述以上系统或装置时以功能分为各种模块或单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后,还需要说明的是,在本文中,诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种增强现实AR导航方法,其特征在于,应用于设置有摄像单元及显示单元的电子设备,所述方法包括:
获得当前导航位置的第一位置信息及目的地的第二位置信息;
利用所述摄像单元采集所述当前导航位置的真实路况对应的真实路况图像;
显示与所述真实路况相匹配的至少一个导航对象,其中,所述至少一个导航对象基于所述第一位置信息及所述第二位置信息,匹配于所述真实路况进行移动,以引导到达所述目的地。
2.根据权利要求1所述的方法,其特征在于,所述显示与所述真实路况相匹配的至少一个导航对象,包括:
在所述显示单元上显示所述真实路况图像,以及匹配于所述真实路况图像的至少一个导航对象;
或者,
利用光学模组投射与所述至少一个导航对象对应的光线,以使得感知到的所述至少一个导航对象和所述真实路况相匹配。
3.根据权利要求1所述的方法,其特征在于,在显示与所述真实路况相匹配的至少一个导航对象之后,所述方法还包括:
确定所述真实路况所对应的路况信息;
控制所述至少一个导航对象执行与所述路况信息相对应的交互行为,以提示路况。
4.根据权利要求3所述的方法,其特征在于,所述控制所述至少一个导航对象执行与所述路况信息相对应的交互行为,包括:
基于所述路况信息,识别路况类型;
若所述路况信息表明所述真实路况在第三位置对应的路况类型为预定的至少一种路况类型之一,则控制所述至少一个导航对象中的一个或多个导航对象在所述第三位置对应的预定区域执行与所述第三位置的路况类型相对应的交互行为。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在符合所述预定类型路况的位置不少于1个时,在每个符合所述预定类型路况的位置的预定区域显示至少一个导航对象,并控制所述至少一个导航对象执行与相应位置所属的路况类型相匹配的交互行为。
6.根据权利要求1所述的方法,其特征在于,所述至少一个导航对象为与目的地的预定特征信息相匹配的导航对象;
所述至少一个导航对象的数量为固定数量,或者,为根据所述真实路况对应的路况信息实时调整的动态数量。
7.根据权利要求1所述的方法,其特征在于,所述利用所述摄像单元采集所述当前导航位置对应的真实路况图像,包括:
利用所述摄像单元中的后置摄像头采集所述当前导航位置的真实路况对应的第一真实路况图像,以使得基于所述第一真实路况图像进行导航和/或路况提示;
或者,
利用所述摄像单元中的后置摄像头采集所述当前导航位置的真实路况对应的第一真实路况图像,以及利用所述摄像单元中的前置摄像头采集所述当前导航位置对应的第二真实路况图像,以使得基于所述第一真实路况图像进行导航和/或路况提示,基于所述第二真实路况图像进行路况提示。
8.一种电子设备,其特征在于,包括摄像单元及显示单元,还包括:
存储器,用于至少存储一导航处理指令集;
处理器,用于调用并执行所述导航处理指令集,以通过执行所述导航处理指令集完成以下操作:
获得当前导航位置的第一位置信息及目的地的第二位置信息;
所述摄像单元,用于采集所述当前导航位置的真实路况对应的真实路况图像;
所述显示单元,用于显示与所述真实路况相匹配的至少一个导航对象,其中,所述至少一个导航对象基于所述第一位置信息及所述第二位置信息,匹配于所述真实路况进行移动,以引导到达所述目的地。
9.根据权利要求8所述的电子设备,其特征在于,所述显示单元,还用于:
显示所述真实路况图像,以及匹配于所述真实路况图像的至少一个导航对象;
或者,
所述显示单元包括光学模组,其中,所述光学模组用于投射与所述至少一个导航对象对应的光线,以使得感知到的所述至少一个导航对象和所述真实路况相匹配。
10.一种电子设备,其特征在于,包括:
获取单元,用于获得当前导航位置的第一位置信息及目的地的第二位置信息;
采集单元,用于采集所述当前导航位置的真实路况对应的真实路况图像;
显示单元,用于显示与所述真实路况相匹配的至少一个导航对象,其中,所述至少一个导航对象基于所述第一位置信息及所述第二位置信息,匹配于所述真实路况进行移动,以引导到达所述目的地。
CN201810698766.XA 2018-06-29 2018-06-29 一种ar导航方法及电子设备 Active CN109084748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810698766.XA CN109084748B (zh) 2018-06-29 2018-06-29 一种ar导航方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810698766.XA CN109084748B (zh) 2018-06-29 2018-06-29 一种ar导航方法及电子设备

Publications (2)

Publication Number Publication Date
CN109084748A true CN109084748A (zh) 2018-12-25
CN109084748B CN109084748B (zh) 2020-09-25

Family

ID=64834812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810698766.XA Active CN109084748B (zh) 2018-06-29 2018-06-29 一种ar导航方法及电子设备

Country Status (1)

Country Link
CN (1) CN109084748B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767645A (zh) * 2019-02-01 2019-05-17 谷东科技有限公司 一种基于ar眼镜的停车规划辅助方法及系统
CN110455303A (zh) * 2019-08-05 2019-11-15 深圳市大拿科技有限公司 Ar导航方法、装置及适用于车辆的ar导航终端
CN111595349A (zh) * 2020-06-28 2020-08-28 浙江商汤科技开发有限公司 导航方法及装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1836149A (zh) * 2003-06-25 2006-09-20 国际商业机器公司 导航系统
US20110228078A1 (en) * 2010-03-22 2011-09-22 Institute For Information Industry Real-time augmented reality device, real-time augmented reality method and computer storage medium thereof
CN103471580A (zh) * 2012-06-06 2013-12-25 三星电子株式会社 用于提供导航信息的方法、移动终端和服务器
US20140268353A1 (en) * 2013-03-14 2014-09-18 Honda Motor Co., Ltd. 3-dimensional (3-d) navigation
CN105444775A (zh) * 2015-12-31 2016-03-30 歌尔科技有限公司 一种增强现实的导航系统、头戴设备和导航方法
CN105513389A (zh) * 2015-11-30 2016-04-20 小米科技有限责任公司 增强现实的方法及装置
CN107677263A (zh) * 2017-09-29 2018-02-09 北京金山安全软件有限公司 基于ar的导航方法、装置、电子设备及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1836149A (zh) * 2003-06-25 2006-09-20 国际商业机器公司 导航系统
US20110228078A1 (en) * 2010-03-22 2011-09-22 Institute For Information Industry Real-time augmented reality device, real-time augmented reality method and computer storage medium thereof
CN103471580A (zh) * 2012-06-06 2013-12-25 三星电子株式会社 用于提供导航信息的方法、移动终端和服务器
US20140268353A1 (en) * 2013-03-14 2014-09-18 Honda Motor Co., Ltd. 3-dimensional (3-d) navigation
CN105513389A (zh) * 2015-11-30 2016-04-20 小米科技有限责任公司 增强现实的方法及装置
CN105444775A (zh) * 2015-12-31 2016-03-30 歌尔科技有限公司 一种增强现实的导航系统、头戴设备和导航方法
CN107677263A (zh) * 2017-09-29 2018-02-09 北京金山安全软件有限公司 基于ar的导航方法、装置、电子设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767645A (zh) * 2019-02-01 2019-05-17 谷东科技有限公司 一种基于ar眼镜的停车规划辅助方法及系统
CN110455303A (zh) * 2019-08-05 2019-11-15 深圳市大拿科技有限公司 Ar导航方法、装置及适用于车辆的ar导航终端
CN111595349A (zh) * 2020-06-28 2020-08-28 浙江商汤科技开发有限公司 导航方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN109084748B (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
US9891073B2 (en) Method and device for providing guidance to street view destination
US11698268B2 (en) Street-level guidance via route path
CN105027033B (zh) 用于选择扩增现实对象的方法、装置和计算机可读媒体
CN107209022B (zh) 交互式3d导航系统
EP3151202B1 (en) Information processing device and information processing method
US9569898B2 (en) Wearable display system that displays a guide for a user performing a workout
CN108600632B (zh) 拍照提示方法、智能眼镜及计算机可读存储介质
CN110168615B (zh) 信息处理设备、信息处理方法和存储介质
CN105306084A (zh) 眼镜型终端及其控制方法
US20220005283A1 (en) R-snap for production of augmented realities
CN109084748A (zh) 一种ar导航方法及电子设备
CN109115221A (zh) 室内定位、导航方法及装置、计算机可读介质和电子设备
US11532138B2 (en) Augmented reality (AR) imprinting methods and systems
US11410330B2 (en) Methods, devices, and systems for determining field of view and producing augmented reality
KR20190118939A (ko) Mr 지원 망원경 장치, 방법 및 이를 이용한 mr 지원 망원경 운영 시스템 및 방법
EP3422145A1 (en) Provision of virtual reality content
Hsieh et al. Outdoor walking guide for the visually-impaired people based on semantic segmentation and depth map
JPWO2019131143A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR101862948B1 (ko) 가상 현실 기반의 박물관 컨텐츠 제공 시스템
US10796477B2 (en) Methods, devices, and systems for determining field of view and producing augmented reality
KR102341294B1 (ko) 인터렉티브 콘텐츠 제공 방법 및 장치
US20220256249A1 (en) Content event mapping
CN113687810A (zh) 语音导航方法和装置、存储介质及电子设备
CN112154389A (zh) 终端设备及其数据处理方法、无人机及其控制方法
Arbaoui Applying Augmented Reality to Stimulate User Awareness in Urban Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant