CN110019580A - 地图显示方法、装置、存储介质及终端 - Google Patents

地图显示方法、装置、存储介质及终端 Download PDF

Info

Publication number
CN110019580A
CN110019580A CN201710740562.3A CN201710740562A CN110019580A CN 110019580 A CN110019580 A CN 110019580A CN 201710740562 A CN201710740562 A CN 201710740562A CN 110019580 A CN110019580 A CN 110019580A
Authority
CN
China
Prior art keywords
virtual
search
current
scene image
real scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710740562.3A
Other languages
English (en)
Other versions
CN110019580B (zh
Inventor
曾超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710740562.3A priority Critical patent/CN110019580B/zh
Priority to PCT/CN2018/087683 priority patent/WO2019037489A1/zh
Priority to EP18848064.4A priority patent/EP3675084A4/en
Priority to MA049961A priority patent/MA49961A/fr
Publication of CN110019580A publication Critical patent/CN110019580A/zh
Priority to US16/781,817 priority patent/US11578988B2/en
Application granted granted Critical
Publication of CN110019580B publication Critical patent/CN110019580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • G01C21/367Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3896Transmission of map data from central databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/954Navigation, e.g. using categorised browsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种地图显示方法、装置、存储介质及终端,属于互联网技术领域。方法包括:获取当前位置的真实场景图像以及导航至目的地的目标导航数据;根据所述当前位置和所述目标导航数据,确定待叠加显示在所述真实场景图像中的虚拟导航提示信息;根据拍摄所述真实场景图像的目标设备的设备标定参数,确定所述虚拟导航提示信息叠加显示在所述真实场景图像中的第一位置;对当前的设备标定参数进行校验检测;当所述当前的设备标定参数通过所述校验检测时,将所述虚拟导航提示信息叠加显示在所述第一位置,得到用于进行地图显示的增强现实图像。本发明将AR技术运用到了导航领域中,实现了虚实景结合的导航方式,使得地图显示方式更加多元及多样化。

Description

地图显示方法、装置、存储介质及终端
技术领域
本发明涉及互联网技术领域,特别涉及一种地图显示方法、装置、存储介质及终端。
背景技术
随着科学技术的逐渐进步,时下可为人们日常生活提供便捷服务的各种应用产品不断推陈出新,比如地图应用便是其中一种。其中,地图应用由于可以为用户提供诸如地图浏览、地址查询、兴趣点搜索、公交换乘、驾车导航、步行导航、公交线路查询及站点查询等多项服务,因此得以在人群中迅速普及。
以驾车导航为例,参见图1,时下在进行地图显示时,除了实时基于车辆的当前位置点来显示有关于周边环境的平面路网信息外,通常还会给出一个由当前位置点到达目的地的导航路径作为导航提示。
在实现本发明的过程中,发明人发现相关技术至少存在以下问题:
由于在进行地图显示时,仅显示平面形式的路网信息以及导航路径,因此显示方式较为单一,缺乏多样性。
发明内容
为了解决相关技术的问题,本发明实施例提供了一种地图显示方法、装置、存储介质及终端。所述技术方案如下:
第一方面,提供了一种地图显示方法,所述方法包括:
获取当前位置的真实场景图像以及导航至目的地的目标导航数据;
根据所述当前位置和所述目标导航数据,确定待叠加显示在所述真实场景图像中的虚拟导航提示信息;
根据拍摄所述真实场景图像的目标设备的设备标定参数,确定所述虚拟导航提示信息叠加显示在所述真实场景图像中的第一位置;
对当前的设备标定参数进行校验检测;
当所述当前的设备标定参数通过所述校验检测时,将所述虚拟导航提示信息叠加显示在所述第一位置,得到用于进行地图显示的增强现实图像。
第二方面,提供了一种地图显示装置,所述装置包括:
获取模块,用于获取当前位置的真实场景图像以及导航至目的地的目标导航数据;
确定模块,用于根据所述当前位置和所述目标导航数据,确定待叠加显示在所述真实场景图像中的虚拟导航提示信息;
所述确定模块,还用于根据拍摄所述真实场景图像的目标设备的设备标定参数,确定所述虚拟导航提示信息叠加显示在所述真实场景图像中的第一位置;
显示模块,用于对当前的设备标定参数进行校验检测;当所述当前的设备标定参数通过所述校验检测时,将所述虚拟导航提示信息叠加显示在所述第一位置,得到用于进行地图显示的增强现实图像。
第三方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的地图显示方法。
第四方面,提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的地图显示方法。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例将AR技术运用到了导航领域中,不但实现了虚景和实景结合的导航方式,使得地图显示方式更加多元以及多样化,而且在真实场景图像中叠加显示虚拟导航提示信息时,本发明实施例还会对当前的设备标定参数进行校验检测,实现仅在设备标定参数通过校验检测的情况下才会将虚拟导航提示信息叠加显示到真实场景图像中,大大提升了将虚拟导航提示信息显示到正确位置的概率,使得实景与导航提示信息更加吻合,提升了导航的精准度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明背景技术提供的一种地图显示的示意图;
图2A是本发明实施例提供的一种AR导航的方法执行流程示意图;
图2B是本发明实施例提供的一种车载多媒体终端的示意图;
图3A是本发明实施例提供的一种地图显示方法的流程图;
图3B是本发明实施例提供的一种平面上点到点的距离示意图;
图3C是本发明实施例提供的一种平面上点到线的距离示意图;
图4是本发明实施例提供的一种地图显示示意图;
图5是本发明实施例提供的一种地图显示示意图;
图6是本发明实施例提供的一种地图显示示意图;
图7是本发明实施例提供的一种地图显示装置的结构示意图;
图8是本发明实施例提供的一种车载多媒体终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
在对本发明实施例进行详细地解释说明之前,先对本发明实施例涉及的一些名词进行一下解释说明。
AR(Augmented Reality,增强现实)技术:是一种通过计算机系统提供的虚拟信息增加用户对真实世界感知的技术。即,AR技术可以将虚拟信息应用到真实世界,实现将计算机生成的虚拟物体、虚拟场景或系统提示信息叠加到真实场景中,从而实现对现实的增强。
换句话说,这种技术的目标是在屏幕上将虚拟世界套在现实世界中并进行互动,另外,由于真实场景和虚拟信息实时地叠加到了同一个画面中,因此在被人类感官所感知后,可以达到超越现实的感官体验。
外参(外部参数):以拍摄设备为摄像机为例,外参决定了摄像机在世界坐标系中的位置和姿态。即,外参限定了从世界坐标系变换到摄像机坐标系所依据的规则。
以Pw指代在世界坐标系的一个三维点,Pc指代这个三维点投影到摄像机坐标系中的三维点为例,则二者之间的关系可以描述为Pc=RPw+T。
其中,R指代旋转矩阵,用来表征摄像机的旋转变换操作,通常为3*3大小;T指代平移矩阵,用于表征摄像机的平移变换操作,通常为3*1大小。
内参(内部参数):同样以拍摄设备为摄像机为例,内参仅与摄像机的内部结构有关,比如包括摄像机的焦距、畸变参数等。内参决定了从摄像机坐标系变换到图像坐标系所依据的规则。在本发明实施例中,将摄像机的外参和内参统称为设备标定参数。
其中,上述内参和外参可以统一用一个投影矩阵M来表示。比如,世界坐标系中的一个三维点投影到二维的图像坐标系的投影公式如下:
(x,y)=M(X,Y,Z)
其中,(X,Y,Z)为这个点在世界坐标系中的三维坐标值,(x,y)为这个点在图像坐标系中的二维坐标值。M=K[R|T],混合了外参和内参,大小为3*4,其中K为内参数矩阵。在本发明实施例中,通过投影矩阵实现将三维空间中的点投影到了图像空间。
内外参标定:即是从世界坐标系变换到图像坐标系的过程,换句话说,内外参标定对应求上述投影矩阵的过程。一般来说,标定的过程分为两个部分:一个是从世界坐标系变换为摄像机坐标系,这一步是三维点到三维点的转换,用于标定旋转矩阵R以及平移矩阵T这样的摄像机外部参数;另一个是从摄像机坐标系变换为图像坐标系,这一步是三维点到二维点的转换,用于标定内参矩阵K这样的摄像机内部参数。
在本发明实施例中,将AR技术应用到了地图导航领域中,实现了除了基于传统的二维地图导航之外的AR地图导航,由于本方案可以在真实场景图像中叠加显示虚拟导航提示信息,因此用户可以获得超越现实的感官体验。其中,这种AR导航技术既可以应用在驾驶场景下,也可以应用在诸如步行等其他有地图导航需求的场景下,本发明实施例对此不进行具体限定。
其中,本发明实施例提供的地图显示方法,给出了一种在线设备标定参数的标定方法,且可周期性地对当前的设备标定参数进行检验检测,仅在基于当前的设备标定参数将虚拟导航提示信息投影至真实场景图像的第一位置,与在真实场景图像中检测到的对应目标物的第二位置之间的位置误差小于预设阈值时,才将该虚拟导航提示信息进行增强显示,这大大提升了导航的精准度,使得导航提示信息与实时场景更加匹配和吻合,可以避免出现诸如虚拟导航提示信息显示在错误位置,或者按照不够精准的导航提示信息行进或行驶进入错误道路或死路的问题。
此外,本发明实施例除了可将真实场景中出现的各种目标物的虚拟导航提示信息投影至真实场景图像中进行增强显示外,还可以突出显示对当前导航影响最大的虚拟导航提示信息。其中,目标物既可为各种道路附属设施,比如限速牌、转向牌、红绿灯、电子眼、摄像头等,也可以为车道线、马路牙子线等,本发明实施例对此不进行具体限定。
下面结合图2A所示的AR导航的方法执行流程示意图,对本发明实施例所涉及的系统架构进行说明。
参见图2A,本发明实施例提供的地图显示方法所涉及的功能模块除了包括真实场景获取模块、定位定姿模块、标定模块、地图获取模块、路径规划模块以及投影显示模块之外,还包括图像检测模块。
其中,真实场景获取模块用于获取有关于真实场景的真实场景图像,并将获取到的真实场景图像输出给投影显示模块以及图像检测模块。
定位定姿模块用于确定目标物的当前位置以及姿态。标定模块用于对拍摄真实场景的设备进行外参和内参的标定,并将结果输出给投影显示模块。
地图获取模块用于根据目标物的当前位置和姿态从服务器获取需要显示的地图数据。而路径规划模块便根据定位定姿模块以及地图获取模块的输出进行导航至目的地的路径的规划,进而得到导航至目的地的目标导航数据。
投影显示模块用于基于当前的设备标定参数以及目标导航数据在真实场景图像中叠加虚拟导航提示信息。
在本发明实施例中,图像检测模块用于周期性地基于投影显示模块输出的候选检测区域,在真实场景图像中进行目标物检测。其中,候选检测区域指代以前文中提及的第一位置为中心点的一个图像区域,即图像检测模块的检测结果实际上用于对设备标定参数的校验检测。当上述第一位置与在候选检测区域中检测到的对应目标物的第二位置之间的位置误差小于预设阈值时,本发明实施例才将该虚拟导航提示信息进行增强显示。
以驾驶场景为例,本发明实施例提供的地图显示方法既可应用于与车辆一体化的车载多媒体终端,也可应用于安装在车辆上且独立于车辆的智能移动终端。如图2B所示,车载多媒体终端可为设置在车辆中控台的多媒体设备。该车载多媒体终端可支持导航、音乐播放、视频播放、即时通讯、获取车辆时速、收发以及解析无线广播报文等功能。其中,无线广播报文可以是WiFi(Wireless Fidelity,无线保真)报文或蓝牙报文等,本发明实施例对此不进行具体限定。
以上述车载多媒体终端为例,上述图2A中所示的定位定姿模块、标定模块、地图获取模块、路径规划模块、投影显示模块以及图像检测模块可置于车载多媒体终端内,若车载多媒体终端不支持图像获取,则真实场景获取模块实质上置于安装在车辆上且与车载多媒体终端建立数据连接的摄像设备内。即车载多媒体终端通过摄像设备来间接获取真实场景图像。
以上述智能移动终端为例,由于时下各种类型的智能移动终端基本均支持图像获取功能,因此上述图2A中所示的真实场景获取模块、定位定姿模块、标定模块、地图获取模块、路径规划模块、投影显示模块以及图像检测模块均可置于智能移动终端内。
图3A是本发明实施例提供的一种地图显示方法的流程图。结合驾驶场景以及图2A所示的AR导航的方法执行流程示意图,以该地图显示方法的执行主体为不支持图像获取功能的车载多媒体终端为例,参见图3A,本发明实施例提供的方法流程包括:
301、获取当前位置的真实场景图像以及导航至目的地的目标导航数据。
在本发明实施例中,图2A中的定位定姿模块用于确定车辆的当前位置和姿态。其中,为了能够对车辆进行精准地定位定姿,本发明实施例采取SLAM(SimultaneousLocalization And Mapping,同步定位与构图)技术实现,而基于SLAM技术的定位定姿方式,相较于采取传统的GPS(Global Positioning System,全球定位系统)以及陀螺仪的定位定姿方式,精度大大提高。
其中,目标导航数据给出了由当前位置行驶至目的地的导航依据,如图2A所示,目标导航数据由路径规划模块基于定位定姿模块输出的车辆当前位置和姿态、地图获取模块输出的地图数据、以及用户输入的目的地信息确定。其中,本发明实施例提及的地图数据为高精度地图数据,其是具有厘米级定位精度,包括路网信息、兴趣点信息、道路附属设施(如红绿灯、电子眼、交通路牌等)的相关信息和动态交通信息的下一代导航地图。不但可以告知用户前方的行驶方向和路况,而且可以实时地将动态交通信息传递给用户,以便于用户来判断前方的拥堵程度,协助选择最佳行驶路径。
302、根据当前位置和目标导航数据,确定待叠加显示在该真实场景图像中的虚拟导航提示信息,并根据拍摄该真实场景图像的目标设备的设备标定参数,确定虚拟导航提示信息叠加显示在真实场景图像中的第一位置。
以拍摄该真实场景图像的目标设备为车辆上安装的摄像机即车载摄像机为例,由于目标导航数据涵盖了由当前位置至目的地之间的全部导航数据,而真实场景图像是由车载摄像机实时拍摄的,因此为了确定应该在当前实时拍摄到的真实场景图像中叠加显示何种虚拟导航提示信息,还需先根据目标导航数据确定跟当前位置关联的虚拟导航提示信息。比如,通过目标导航数据确定当前位置或附近包括红绿灯、电子眼、交通路牌等目标物,则有关于这些目标物的虚拟信息均可作为与当前位置关联的虚拟导航提示信息。
换句话说,待叠加显示在该真实场景图像中的虚拟导航提示信息可为与当前位置或附近的各种道路附属设施相关的虚拟信息,与车辆当前行驶道路上的车道线或马路牙子线相关的虚拟信息等等,本发明实施例对此不进行具体限定。
在本发明实施例中,在确定待叠加显示的虚拟导航提示信息后,为了将虚拟导航提示信息显示在显示屏幕上的正确位置,还会根据摄像机的设备标定参数来确定虚拟导航提示信息叠加显示在真实场景图像中的第一位置。其中,此处的第一位置即为将世界坐标系中的对应目标物投影变换到图像坐标系后,该目标物理论上在图像坐标系中的位置。
其中,各个目标物在世界坐标系中的位置已知,在获取到摄像机当前的设备标定参数,即前文所示的投影矩阵后,便可根据该投影矩阵来计算虚拟导航提示信息叠加显示在该真实场景图像中的第一位置。其中,设备标定参数的获取由图2A中的标定模块完成。在本发明实施例中,设备标定参数中内参的标定可以采用棋盘格标定方法实现,或者也可以直接采用设备出厂时设置的内参值。而对于设备标定参数中外参的标定,本发明实施例给出了一种在线外参标定方法。其中,该外参标定方法具体为一种基于参数空间的层次搜索方法,具体的标定过程如下:
(a)、为外参设置至少两个搜索粒度。
在本发明实施例中,层次搜索的概念是将外参的参数值搜索范围(又可称之为参数空间)进行由粗到细的离散划分,先在粗粒度上进行搜索,然后再基于粗粒度上的搜索结果再逐步在更细粒度上进行搜索。其中,至少两个搜索粒度中每一个搜索粒度都是不同的。举一个例来说,以旋转角度且设置两个搜索粒度为例,则其中一个搜索粒度可以为1度大小,另一个搜索粒度可以为0.1度大小。
(b)、以粒度值最大的第一搜索粒度,在外参的参数值搜索范围内确定各个呈离散状态的搜索参数值。
其中,第一搜索粒度为至少两个搜索粒度中粒度值最大的搜索粒度。以参数值搜索范围为0度至20度,第一搜索粒度为1度为例,则各个成离散状态的搜索参数值可为0度、1度、2度、3度、…、20度这样。
(c)、计算当前的参数值搜索范围内每一个搜索参数值的代价函数值,并确定在第一搜索粒度下具有最小代价函数值的第一搜索参数值。
对于该外参标定方法来说其核心是定义代价函数的计算方法,本发明实施例采取了将图像空间中的欧式距离作为代价函数值的计算方法。其中,在计算每一个搜索参数值的代价函数值时,本发明实施例采取下述方式实现:
第一种、针对真实场景图像中的点目标物。
其中,点目标物可为诸如红绿灯、转向提示、电子眼等交通路牌。
首先,获取真实场景图像中的点目标物;然后,对于每一个搜索参数值,根据该搜索参数值,确定与该点目标物匹配的虚拟导航提示信息在真实场景图像中的第二位置,并如图3B所示计算第二位置与点目标物的第三位置之间的直线距离,将该直线距离作为该搜索参数值的代价函数值。
其中,第三位置为在真实场景图像中检测到的点目标物的位置。
第二种、针对真实场景图像中的线目标物。
其中,线目标物可为诸如车道线、马路牙子线等。
首先,获取真实场景图像中的线目标物;然后,对于每一个搜索参数值,根据该搜索参数值,确定与该线目标物匹配的第三虚拟导航提示信息在真实场景图像中的第四位置,并如图3C所示计算与第四位置与线目标物的第五位置之间的法线距离,将该法线距离作为该搜索参数值的代价函数值。
其中,第五位置为在真实场景图像中检测到的线目标物的位置。
综上所述,在计算得到在第一搜索粒度下各个搜索参数值的代价函数值后,本发明实施例具体是在第一搜索粒度下确定具有最小代价函数值的第一搜索参数值,接下来,以第一搜索参数值作为初值,继续在更细的粒度下进行搜索,详见下述步骤(d)。
(d)、基于第一搜索参数值,在第二搜索粒度下进行具有最小代价函数值的第二搜索参数值的搜索。
其中,第二搜索粒度的粒度值小于第一搜索粒度且大于其他搜索粒度。
作为一种可选的实施方式,在第二搜索粒度下进行具有最小代价函数值的第二搜索参数值的搜索时,可参考下述方式实现:
首先,根据第一搜索粒度和第一搜索参数值,确定在第二搜索粒度下的参数值搜索范围。
继续以第一搜索粒度为1度为例,假设第一搜索参数值为3度,则在第二搜索粒度下的参数值搜索范围可为3-1=2度至3+1=4度的范围。
接下来,以第二搜索粒度,在第二搜索粒度下的参数值搜索范围内确定各个呈离散状态的搜索参数值,并按照前文类似的方式计算当前的参数值搜索范围内每一个搜索参数值的代价函数值;之后,将在第二搜索粒度下具有最小代价函数值的搜索参数值作为第二搜索参数值。
假设第二搜索粒度为0.1度,在第二搜索粒度下的参数值搜索范围为2度至4度的范围,则各个呈离散状态的搜索参数值可为2.1度、2.2度、2.3度、…、4度这样。
(e)、在剩余的搜索粒度中按照粒度值由大到小的顺序,基于第二搜索粒度下的参数值搜索方式进行参数值搜索,直至在最小粒度值的搜索粒度下得到具有最小代价函数值的目标搜索参数值;将目标搜索参数值确定为目标设备当前的外参。
总结来说,上述外参标定方法即是对于任一个搜索粒度来说,均计算该搜索粒度对应的参数值搜索范围内每一个搜索参数值的代价函数值,以确定该搜索粒度下具有最小代价函数值的搜索参数值;之后,按照搜索粒度由大到小的顺序,基于这次搜索得到的搜索参数值,再确定下一个搜索粒度对应的参数值搜索范围,当然下一个搜索粒度的粒度值小于这一搜索粒度;之后,还是按照与这次搜索方式类似的方式,确定下一个搜索粒度下具有最小代价函数值的搜索参数值;依次类推,进行重复搜索,直至得到最小搜索粒度下具有最小代价函数值的目标搜索参数值。
换句话说,本发明实施例实现了将参数空间进行由粗到细的离散划分,先在粗粒度上进行搜索,得到代价函数值最小的搜索参数值;然后以此为初值,细化参数空间,再一次进行搜索,得到当前粒度下代价函数值最小的搜索参数值;依此循环,直至得到最细粒度下代价函数值最小的搜索参数值,将其作为最终的标定参数值。
需要说明的是,在得到虚拟导航提示信息叠加显示在真实场景图像中的第一位置后,本发明实施例除了立即根据计算得到的第一位置进行虚拟导航提示信息的叠加显示之外,还可进一步地对当前的设备标定参数进行校验检测,仅在当前的设备标定参数通过校验检测后,方可根据计算得到的第一位置进行虚拟导航提示信息的叠加显示,以提升对虚拟导航提示信息的叠加显示的精准度,具体描述请参见下述步骤303。
303、对当前的设备标定参数进行校验检测;当所述当前的设备标定参数通过校验检测时,将虚拟导航提示信息叠加显示在所述第一位置,得到用于进行地图显示的增强现实图像。
作为一种可选的实现方式,对当前的设备标定参数进行校验检测,主要包括下述几个步骤:
303(a)、若当前满足对设备标定参数的校验条件,则在真实场景图像中以第一位置为中心点的目标图像区域中进行目标物检测。
在本发明实施例中,为了降低计算量,并不是在对每一帧真实场景图像进行虚拟导航提示信息叠加时均进行校验检测,这种对设备标定参数的校验检测可以周期性地进行,比如进行校验检测的间隔时长可为10s一次。
其中,若根据间隔时长确定出当前时刻为周期性地进行校验检测的时刻,则确定当前满足对设备标定参数的校验条件,图2A所示的投影显示模块便会基于上述计算得到的第一位置在真实场景图像中划出一个目标图像区域作为候选检测区域。其中,目标图像区域以第一位置为中心点,接下来,本发明实施例便会在这个目标图像区域中进行与虚拟导航提示信息匹配的目标物的检测,以此来判断当前的设备标定参数是否还继续可用。
303(b)、若在目标图像区域中检测到与虚拟导航提示信息匹配的目标物,且目标物所在的第六位置与第一位置之间的位置误差小于预设阈值,则确定当前的设备标定参数通过校验检测。
其中,图2A中的图像检测模块负责在目标图像区域中进行与虚拟导航提示信息匹配的目标物的检测。其中,图像检测模块在进行目标物的检测时可采取卷积神经网络检测算法或深度学习检测算法实现,本发明实施例对此不进行具体限定,通过上述检测算法可以在真实场景图像中确定出目标物的位置。
若目标物在目标图像区域中的第六位置与第一位置之间的位置误差小于预设阈值,则证明基于当前的设备标定参数在理论上计算得到的第一位置与真实检测到的第六位置之间相差无几,即上述计算出的理论位置与真实位置之间的差异很小,表明当前的设备标定参数的精度较好,无需重新标定,可以继续基于当前的设备标定参数将确定的虚拟导航提示信息投影到真实场景图像中,进而得到增强显示图像,这个增强显示图像便可作为一张地图图像输出到显示屏幕上进行显示。
作为一种可选的实施方式,本发明实施例在对虚拟导航提示信息进行叠加显示时,通常可采取下述方式进行:
第一种、若虚拟导航提示信息为车道线信息,则在第一位置对当前行驶车道的虚拟车道线以及其他车道的虚拟车道线进行区分显示,并对当前行驶车道的可行驶范围进行标记。
针对该种方式,本发明实施例提供了车道级导航。参见图4,本发明实施例在真实场景图像中叠加显示了当前行驶道路上的全部车道线信息。此外,如果当前行驶道路上包括了多个车道,则为了使得用户明确当前行驶车道,还会将当前行驶车道的虚拟车道线同其他车道的虚拟车道线进行区分显示。
以图4为例,当前行驶车道上总共包括4个车道,其中车辆的当前行驶车道为左边第二个车道,则本发明实施例会以第一显示方式对左边第二个车道的虚拟车道线进行显示,而对于其他三个车道的虚拟车道线则以第二显示方式进行显示。其中,第一显示方式可为采用第一颜色进行填充,第二显示方式可为采用第二颜色进行填充,本发明实施例对此不进行具体限定。
此外,为了进一步地使得用户明确当前行驶车道,不会误进入其他车道,还可以叠加显示当前车道的可行驶范围。比如,可采用一个单一颜色或单一样式对当前行驶车道所界定的图像区域进行色彩填充或标记。比如,在图4中采取了单一黄色的填充方式对当前行驶车道的可行驶范围进行了标记。
此外,除了上述虚拟导航提示信息外,本发明实施例还可以在当前行驶道路上叠加显示虚拟方向指示信息,比如图4中所示的一排箭头指示信息。此外,还可以同步进行语音导航,本发明实施例对此不进行具体限定。
第二种、若虚拟导航提示信息为道路附属设施信息,则在第一位置处显示虚拟道路附属设施标记。
针对该种方式,本发明实施例还可以对当前行驶道路上的各种道路附属设施进行标记。如图5所示,当前位置一共包括5个道路附属设施,其中两个为红绿灯,另外3个为交通路牌。需要说明的是,针对虚拟导航提示信息为道路附属设施信息的情况,本发明实施例在第一位置处显示虚拟道路附属设施标记时,可采取下述几种方式实现:
(a)如图5所示,在各个道路附属设施所在位置(即第一位置处)显示虚拟框体,以该虚拟框体可以包含各个道路附属设施为准。即,针对该种方式虚拟导航提示信息的表现形式为一个个用于突出显示各个道路附属设施的虚拟框体。换句话说,针对方式(a)虚拟道路附属设施标记为虚拟框体。
此外,针对红绿灯而言,虚拟导航提示信息除了虚拟框体以外,还可包括用于提示红绿灯当前颜色状态的虚拟提示信息,比如在框体周围附近显示一个诸如“当前为红灯”的虚拟文本信息。
(b)、在各个道路附属设施所在位置叠加显示一个虚拟的道路附属设施。换句话说,针对方式(b)虚拟道路附属设施标记为与各个道路附属设施匹配的虚拟物体。比如针对图5中的2个红绿灯来说,可以分别生成一个虚拟的红绿灯,该虚拟红绿灯可以指示当前的颜色状态,比如当前为红灯,则该虚拟红绿灯中红灯以高亮显示,黄绿灯以非高亮显示。
而对于剩余的3个交通路牌来说,同样分别为其生成一个虚拟交通路牌,并叠加显示在相应位置处。
需要说明的一点是,对于各种道路附属设施距拍摄的摄像机较远距离的情况,方式(b)要明显优于方式(a),因为由于距离较远,方式(a)的框选方式可能会存在由于道路附属设施成像较小,用户看不清道路附属设施的缺陷,而方式(b)正好解决了这一问题。
第三种、若虚拟导航提示信息为并线提醒信息,则对当前行驶车道的虚拟车道线以及目标并线车道的虚拟车道线同其他虚拟车道线进行区分显示。
针对该种方式,本发明实施例还可以向用户提供并线提醒。继续以图4为例,若当前左边第一个车道的行车较少,可以进行并线,则本发明实施例会对左边第二个车道的虚拟车道线,以及左边第一个车道的虚拟车道线同剩余的虚拟车道线进行区分显示。其中区分显示的方式同样可以采取采用不同颜色进行填充的方式,本发明实施例对此不进行具体限定。
此外,针对并线提醒来说,本发明实施例还可同步提供语言提醒,即在上述图像显示的基础上,还可以输出诸如“当前可由左二车道并入左一车道”的语音提醒信息,以为用户提供更加精细化的并线服务。
第四种、若虚拟导航提示信息为兴趣点信息,则在第一位置显示当前位置的虚拟兴趣点标记。
针对该种方式,为了优化导航体验,提高用户体验度,还可以基于车辆行驶的位置不同,而实时地对当前位置附近的兴趣点信息进行显示,以对用户进行相关提示。其中,在对虚拟兴趣点标记进行显示时,可采取下述几种方式实现:
方式一、如图6所示,该虚拟兴趣点标记具体为虚拟文本信息,该虚拟文本信息中可包含兴趣点的名称信息以及与车辆当前位置的距离信息等,本发明实施例对此不进行具体限定。
方式二、该虚拟兴趣点标记具体为与该兴趣点匹配的虚拟物体。比如,若兴趣点为一个商场,则该虚拟物体可为一个虚拟小建筑物;若该兴趣点为一个餐馆,则该虚拟物体可为一个虚拟小餐具。
针对第二种方式,也可与第一种方式叠加使用,比如同时叠加显示上述虚拟物体以及虚拟文本信息,本发明实施例对此不进行具体限定。
在另一个实施例中,本发明实施例还可以突出显示对当前导航影响最大的虚拟导航提示信息。即,若确定的虚拟导航提示信息中包括至少两个虚拟导航提示信息,则在至少两个虚拟导航提示信息中,还会再确定对当前导航影响最大的目标导航提示信息,并将目标导航提示信息以区别与其他虚拟导航提示信息的方式进行叠加显示。
其中,对当前导航影响最大的目标导航提示信息即指代在当前场景下最重要的虚拟导航提示信息,其通常指代距离车辆最近的目标物的虚拟导航提示信息。继续以图5为例,在图5所示的5个目标物中,3个交通路牌距离车辆最近,且在当前场景下这些交通路牌所指信息的重要程度要大于远方的2个红绿灯,因此图5中的目标导航提示信息便为3个交通路牌的虚拟导航提示信息。
综上所述,上述步骤301至步骤304实现了AR导航,且每当车辆转动或移动进而导致摄像机的视野变动时,本发明实施例可以保证叠加显示的虚拟导航提示信息也随之做相应地变化,并将这些导航提示信息显示在显示屏幕上的正确位置,使得AR导航的精准度得以大大提升。
需要说明的一点是,上述仅是给出了当在目标图像区域中检测到与虚拟导航提示信息匹配的目标物,且目标物所在的第六位置与第一位置之间的位置误差小于预设阈值时的处理方式,而对于除了该种情况之外的其他情形,本发明实施例同样给出了处理方式,详细如下:
在另一个实施例中,若在目标图像区域中未检测到目标物,则重新对设备标定参数进行标定,与前文类似,在得到了重新标定的设备标定参数后,同样也可对这一设备标定参数进行校验检测;仅在当前得到的设备标定参数通过校验检测时,再根据当前得到的设备标定参数,将确定的虚拟导航提示信息叠加显示在当前位置的真实场景图像中。
针对该种方式,由于在目标图像区域中未检测到与上述虚拟导航提示信息匹配的目标物,因此表明当前的设备标定参数已经不适用了,所以需要重新进行标定。
其中,触发重新进行设备标定参数进行标定的根本原因为摄像机本身可能由于车辆的运动而产生松动或震动,导致摄像机位置和姿态可能相对于之前的位置和姿态发生了改变,在这种情况下,如果还按照当前的设备标定参数在真实场景图像中进行虚拟导航提示信息的叠加显示,则很可能会出现位置不准确的情况,所以需要重新对设备标定参数进行标定。其中,重新进行标定的方式同前文所示的外参标定方法一致,此处不再赘述。此外,重新标定设备标定参数,仅指代的是重新标定外参,而不包括内参。
在另一个实施例中,本发明实施例还支持统计在预设时长内得到的各个位置误差的平均值;若得到的平均值大于预设阈值,则重新对设备标定参数进行标定,与前文类似,在得到了重新标定的设备标定参数后,同样也可对这一设备标定参数进行校验检测;仅在当前得到的设备标定参数通过校验检测时,再根据当前得到的设备标定参数,将确定的虚拟导航提示信息叠加显示在当前位置的真实场景图像中。
其中,预设时长可为1s或2s等等,本发明实施例对此不进行具体限定。以每帧间隔50ms为例,则若预设时长为1s,则便可得到有关于20帧的位置误差,之后便可计算这20帧的位置误差的平均值,进而基于计算出的平均值进行后续处理。针对该种方式,由于对一段时间内的情况进行了综合统计,因此对当前的设备标定参数的校验检测也更合理和准确。
在另一个实施例中,若在目标图像区域在检测到目标物,且位置误差大于预设阈值,则也可触发重新标定设备标定参数的过程;之后,与前文类似,同样也可对这一设备标定参数进行校验检测;仅在当前得到的设备标定参数通过校验检测时,再根据当前得到的设备标定参数,将确定的虚拟导航提示信息叠加显示在当前位置的真实场景图像中。
以上对本发明实施例提供的地图显示方法进行了详细地解释说明,还需要说明的一点是,上述地图显示方法在应用到驾驶场景下时,通过使用自动驾驶技术中的高精度地图数据、高精度定位定姿方式以及实时影像信息,为用户提供了丰富和精确的AR导航方式。一方面可以促进自动驾驶部分核心技术落地,形成研发到应用的闭环;另一方面,这种虚实景融合的导航方式还能够激发用户的探索欲和使用热情,增加导航的乐趣,从而提高了导航的使用率。
本发明实施例提供的方法,将AR技术运用到了导航领域中,不但实现了虚景和实景结合的导航方式,使得地图显示方式更加多元以及多样化,而且在真实场景图像中叠加显示虚拟导航提示信息时,本发明实施例还会在满足对设备标定参数进行校验的条件下,对当前的设备标定参数进行校验检测,实现仅在通过校验检测的情况下才会将虚拟导航提示信息叠加显示到真实场景图像中,大大提升了将虚拟导航提示信息显示到正确位置的概率,使得实景与导航提示信息更加吻合,提升了导航的精准度。
另外,在当前的设备标定参数未通过检验检测的情况下,本发明实施例还提出了一种鲁棒性能较好的外参标定方法来实现对设备标定参数的重新标定,并在后续过程基于重新标定后的设备标定参数进行虚拟导航提示信息的叠加显示,进一步地确保了导航的精准度。
另外,本发明实施例在进行地图显示时,还可基于虚拟导航提示信息进行车道线级别的导航,使得导航更为精细,可大幅提升用户的导航体验;而且,还可以突出显示对当前导航影响最大的虚拟导航提示消息,并在真实场景图像中对并线提醒以及附近兴趣点等进行增强显示,所以功能更为丰富以及精细。
图7是本发明实施例提供的一种地图显示装置的结构示意图。参见图7,该装置包括:
获取模块701,用于获取当前位置的真实场景图像以及导航至目的地的目标导航数据;
确定模块702,用于根据所述当前位置和所述目标导航数据,确定待叠加显示在所述真实场景图像中的虚拟导航提示信息;
所述确定模块702,还用于根据拍摄所述真实场景图像的目标设备的设备标定参数,确定所述虚拟导航提示信息叠加显示在所述真实场景图像中的第一位置;
显示模块703,用于对当前的设备标定参数进行校验检测;当所述当前的设备标定参数通过所述校验检测时,将所述虚拟导航提示信息叠加显示在所述第一位置,得到用于进行地图显示的增强现实图像。
在另一个实施例中,所述设备标定参数中包括外参,该装置还包括:
标定模块,用于对于为所述外参设置的搜索粒度,计算当前搜索粒度对应的参数值搜索范围内每一个搜索参数值的代价函数值,确定当前搜索粒度下具有最小代价函数值的搜索参数值;
所述标定模块,还用于基于本次搜索得到的搜索参数值,确定下一个搜索粒度对应的参数值搜索范围,按照本次搜索方式,确定所述下一个搜索粒度下具有最小代价函数值的搜索参数值,依次类推,直至得到最小搜索粒度下具有最小代价函数值的目标搜索参数值,所述下一个搜索粒度的粒度值小于所述当前搜索粒度;将所述目标搜索参数值确定为所述目标设备当前的外参。
在另一个实施例中,所述标定模块,用于获取真实场景图像中的点目标物;对于所述每一个搜索参数值,根据所述搜索参数值,确定与所述点目标物匹配的虚拟导航提示信息在所述真实场景图像中的第二位置;计算所述第二位置与所述点目标物的第三位置之间的直线距离,所述第三位置为在所述真实场景图像中检测到的所述点目标物的位置;将所述直线距离作为所述搜索参数值的代价函数值。
在另一个实施例中,所述标定模块,用于获取真实场景图像中的线目标物;对于所述每一个搜索参数值,根据所述搜索参数值,确定与所述线目标物匹配的虚拟导航提示信息在所述真实场景图像中的第四位置;计算与所述第四位置与所述线目标物的第五位置之间的法线距离,所述第五位置为在所述真实场景图像中检测到的所述线目标物的位置;将所述法线距离作为所述搜索参数值的代价函数值。
在另一个实施例中,该装置还包括:
标定模块,用于若在所述目标图像区域中未检测到所述目标物,则重新对所述设备标定参数进行标定;
所述显示模块,还用于对当前的设备标定参数进行校验检测;当所述当前的设备标定参数通过所述校验检测时,根据所述当前的设备标定参数,将确定的虚拟导航提示信息叠加显示在当前位置的真实场景图像中。
在另一个实施例中,该装置还包括:
标定模块,用于统计在预设时长内得到的各个所述位置误差的平均值;若所述平均值大于所述预设阈值,则重新对所述设备标定参数进行标定;
所述显示模块,还用于对当前的设备标定参数进行校验检测;当所述当前的设备标定参数通过所述校验检测时,根据所述当前的设备标定参数,将确定的虚拟导航提示信息叠加显示在当前位置的真实场景图像中。
在另一个实施例中,该装置还包括:
标定模块,用于若在所述目标图像区域检测到所述目标物,且所述位置误差大于所述预设阈值,则重新对所述设备标定参数进行标定;
所述显示模块,还用于对当前的设备标定参数进行校验检测;当所述当前的设备标定参数通过所述校验检测时,根据所述当前的设备标定参数,将确定的虚拟导航提示信息叠加显示在当前位置的真实场景图像中。
在另一个实施例中,所述显示模块,用于若当前满足对所述设备标定参数的校验条件,则在所述真实场景图像中以所述第一位置为中心点的目标图像区域进行目标物检测;若检测到与所述虚拟导航提示信息匹配的目标物,且所述目标物所在的第六位置与所述第一位置之间的位置误差小于预设阈值,则确定所述当前的设备标定参数通过所述校验检测。
在另一个实施例中,所述显示模块,用于若所述虚拟导航提示信息中包括至少两个虚拟导航提示信息,则在所述至少两个虚拟导航提示信息中,确定对当前导航影响最大的目标导航提示信息;
将所述目标导航提示信息以区别与其他虚拟导航提示信息的方式进行叠加显示。
在另一个实施例中,所述显示模块,用于若所述虚拟导航提示信息为车道线信息,则在所述第一位置对当前行驶车道的虚拟车道线以及其他车道的虚拟车道线进行区分显示,并对所述当前行驶车道的可行驶范围进行标记;或,若所述虚拟导航提示信息为道路附属设施信息,则在所述第一位置处显示虚拟道路附属设施标记;或,若所述虚拟导航提示信息为并线提醒信息,则对所述当前行驶车道的虚拟车道线以及目标并线车道的虚拟车道线同其他虚拟车道线进行区分显示;或,若所述虚拟导航提示信息为兴趣点信息,则在所述第一位置显示所述当前位置的虚拟兴趣点标记。
本发明实施例提供的装置,将AR技术运用到了导航领域中,不但实现了虚景和实景结合的导航方式,使得地图显示方式更加多元以及多样化,而且在真实场景图像中叠加显示虚拟导航提示信息时,本发明实施例还会在满足对设备标定参数进行校验的条件下,对当前的设备标定参数进行校验检测,实现仅在通过校验检测的情况下才会将虚拟导航提示信息叠加显示到真实场景图像中,大大提升了将虚拟导航提示信息显示到正确位置的概率,使得实景与导航提示信息更加吻合,提升了导航的精准度。
另外,在当前的设备标定参数未通过检验检测的情况下,本发明实施例还提出了一种鲁棒性能较好的外参标定方法来实现对设备标定参数的重新标定,并在后续过程基于重新标定后的设备标定参数进行虚拟导航提示信息的叠加显示,进一步地确保了导航的精准度。
另外,本发明实施例在进行地图显示时,还可基于虚拟导航提示信息进行车道线级别的导航,使得导航更为精细,可大幅提升用户的导航体验;而且,还可以突出显示对当前导航影响最大的虚拟导航提示消息,并在真实场景图像中对并线提醒以及附近兴趣点等进行增强显示,所以功能更为丰富以及精细。
需要说明的是:上述实施例提供的地图显示装置在进行地图显示时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的地图显示装置与地图显示方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图8是本发明实施例提供的一种车载多媒体终端的结构示意图,该车载多媒体终端可以用于执行上述实施例中提供的地图显示方法。参见图8,该车载多媒体终端800包括:
收发器110、包括有一个或一个以上计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、包括有一个或者一个以上处理核心的处理器170等部件。本领域技术人员可以理解,图8中示出的车载多媒体终端结构并不构成对车载多媒体终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
收发器110可用于收发信息过程中信号的接收和发送。通过收发器110车载多媒体终端800可以和位于车辆内的其他设备进行通信。其中,通信方式包括但不限于蓝牙无线通信方式、WiFi无线通信方式等。
存储器120可用于存储软件程序以及模块,处理器170通过运行存储在存储器120的至少一条指令、至少一段程序、代码集或指令集,从而执行各种功能应用以及数据处理。存储器120主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一条指令、至少一段程序、代码集或指令集等;存储数据区可存储根据车载多媒体终端800的使用所创建的数据(比如音频数据)等。
输入单元130可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的信号输入。具体地,输入单元130可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作,并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器170,并能接收处理器170发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元130还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及车载多媒体终端800的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板,可选的,可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器170以确定触摸事件的类型,随后处理器170根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图8中,触敏表面与显示面板是作为两个独立的部件来实现输入和输出功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
车载多媒体终端800还可包括至少一种传感器150,比如光传感器。具体地,光传感器可包括环境光传感器,其中环境光传感器可根据环境光线的明暗来调节显示面板的亮度。
音频电路160、扬声器161,传声器162可提供用户与车载多媒体终端800之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161,由扬声器161转换为声音信号输出;另一方面,传声器162将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出处理器170处理后,经收发器110发送给诸如车辆内的其他设备,或者将音频数据输出至存储器120以便进一步处理。
处理器170是车载多媒体终端800的控制中心,利用各种接口和线路连接整个车载多媒体终端的各个部分,通过运行或执行存储在存储器120内的软件程序和/或模块,以及调用存储在存储器120内的数据,执行车载多媒体终端800的各种功能和处理数据,从而对车载多媒体终端进行整体监控。可选的,处理器170可包括一个或多个处理核心;优选的,处理器170可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器170中。
具体在本实施例中,车载多媒体终端的显示单元可以是触摸屏显示器,车载多媒体终端的处理器170会运行存储在存储器120中的至少一条指令、至少一段程序、代码集或指令集,从而实现上述方法实施例所述的地图显示方法。
在另一个示例性的实施例中,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述车载多媒体终端的处理器加载并执行以实现上述实施例所述的地图显示方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (13)

1.一种地图显示方法,其特征在于,所述方法包括:
获取当前位置的真实场景图像以及导航至目的地的目标导航数据;
根据所述当前位置和所述目标导航数据,确定待叠加显示在所述真实场景图像中的虚拟导航提示信息;
根据拍摄所述真实场景图像的目标设备当前的设备标定参数,确定所述虚拟导航提示信息叠加显示在所述真实场景图像中的第一位置;
对当前的设备标定参数进行校验检测;
当所述当前的设备标定参数通过所述校验检测时,将所述虚拟导航提示信息叠加显示在所述第一位置,得到用于进行地图显示的增强现实图像。
2.根据权利要求1所述的方法,其特征在于,所述设备标定参数中包括外参和内参,所述方法还包括:
对于为所述外参设置的搜索粒度,计算当前搜索粒度对应的参数值搜索范围内每一个搜索参数值的代价函数值,确定当前搜索粒度下具有最小代价函数值的搜索参数值;
基于本次搜索得到的搜索参数值,确定下一个搜索粒度对应的参数值搜索范围,并按照本次搜索方式,确定所述下一个搜索粒度下具有最小代价函数值的搜索参数值,依此类推,直至得到最小搜索粒度下具有最小代价函数值的目标搜索参数值,所述下一个搜索粒度的粒度值小于所述当前搜索粒度;
将所述目标搜索参数值确定为所述目标设备当前的外参。
3.根据权利要求2所述的方法,其特征在于,所述计算当前搜索粒度对应的参数值搜索范围内每一个搜索参数值的代价函数值,包括:
获取真实场景图像中的点目标物;
对于所述每一个搜索参数值,根据所述搜索参数值,确定与所述点目标物匹配的虚拟导航提示信息在所述真实场景图像中的第二位置;
计算所述第二位置与所述点目标物的第三位置之间的直线距离,所述第三位置为在所述真实场景图像中检测到的所述点目标物的位置;
将所述直线距离作为所述搜索参数值的代价函数值。
4.根据权利要求2所述的方法,其特征在于,所述计算当前搜索粒度对应的参数值搜索范围内每一个搜索参数值的代价函数值,包括:
获取真实场景图像中的线目标物;
对于所述每一个搜索参数值,根据所述搜索参数值,确定与所述线目标物匹配的虚拟导航提示信息在所述真实场景图像中的第四位置;
计算与所述第四位置与所述线目标物的第五位置之间的法线距离,所述第五位置为在所述真实场景图像中检测到的所述线目标物的位置;
将所述法线距离作为所述搜索参数值的代价函数值。
5.根据权利要求1至4中任一权利要求所述的方法,其特征在于,所述方法还包括:
若在所述目标图像区域中未检测到所述目标物,则重新对所述设备标定参数进行标定;
对当前的设备标定参数进行校验检测;
当所述当前的设备标定参数通过所述校验检测时,根据所述当前的设备标定参数,将确定的虚拟导航提示信息叠加显示在当前位置的真实场景图像中。
6.根据权利要求1至4中任一权利要求所述的方法,其特征在于,所述方法还包括:
统计在预设时长内得到的各个所述位置误差的平均值;
若所述平均值大于所述预设阈值,则重新对所述设备标定参数进行标定;
对当前的设备标定参数进行校验检测;
当所述当前的设备标定参数通过所述校验检测时,根据所述当前的设备标定参数,将确定的虚拟导航提示信息叠加显示在当前位置的真实场景图像中。
7.根据权利要求1至4中任一权利要求所述的方法,其特征在于,所述方法还包括:
若在所述目标图像区域检测到所述目标物,且所述位置误差大于所述预设阈值,则重新对所述设备标定参数进行标定;
对当前的设备标定参数进行校验检测;
当所述当前的设备标定参数通过所述校验检测时,根据所述当前的设备标定参数,将确定的虚拟导航提示信息叠加显示在当前位置的真实场景图像中。
8.根据权利要求1、5至7中任一权利要求所述的方法,其特征在于,所述对当前的设备标定参数进行校验检测,包括:
若当前满足对所述设备标定参数的校验条件,则在所述真实场景图像中以所述第一位置为中心点的目标图像区域进行目标物检测;
若检测到与所述虚拟导航提示信息匹配的目标物,且所述目标物所在的第六位置与所述第一位置之间的位置误差小于预设阈值,则确定所述当前的设备标定参数通过所述校验检测。
9.根据权利要求1所述的方法,其特征在于,所述将所述虚拟导航提示信息叠加显示在所述第一位置,包括:
若所述虚拟导航提示信息中包括至少两个虚拟导航提示信息,则在所述至少两个虚拟导航提示信息中,确定对当前导航影响最大的目标导航提示信息;
将所述目标导航提示信息以区别与其他虚拟导航提示信息的方式进行叠加显示。
10.根据权利要求1所述的方法,其特征在于,所述将所述虚拟导航提示信息叠加显示在所述第一位置,包括:
若所述虚拟导航提示信息为车道线信息,则在所述第一位置对当前行驶车道的虚拟车道线以及其他车道的虚拟车道线进行区分显示,并对所述当前行驶车道的可行驶范围进行标记;或,
若所述虚拟导航提示信息为道路附属设施信息,则在所述第一位置处显示虚拟道路附属设施标记;或,
若所述虚拟导航提示信息为并线提醒信息,则对所述当前行驶车道的虚拟车道线以及目标并线车道的虚拟车道线同其他虚拟车道线进行区分显示;或,
若所述虚拟导航提示信息为兴趣点信息,则在所述第一位置显示所述当前位置的虚拟兴趣点标记。
11.一种地图显示装置,其特征在于,所述装置包括:
获取模块,用于获取当前位置的真实场景图像以及导航至目的地的目标导航数据;
确定模块,用于根据所述当前位置和所述目标导航数据,确定待叠加显示在所述真实场景图像中的虚拟导航提示信息;
所述确定模块,还用于根据拍摄所述真实场景图像的目标设备的设备标定参数,确定所述虚拟导航提示信息叠加显示在所述真实场景图像中的第一位置;
显示模块,用于对当前的设备标定参数进行校验检测;当所述当前的设备标定参数通过所述校验检测时,将所述虚拟导航提示信息叠加显示在所述第一位置,得到用于进行地图显示的增强现实图像。
12.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至10中任一权利要求所述的地图显示方法。
13.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至10中任一权利要求所述的地图显示方法。
CN201710740562.3A 2017-08-25 2017-08-25 地图显示方法、装置、存储介质及终端 Active CN110019580B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710740562.3A CN110019580B (zh) 2017-08-25 2017-08-25 地图显示方法、装置、存储介质及终端
PCT/CN2018/087683 WO2019037489A1 (zh) 2017-08-25 2018-05-21 地图显示方法、装置、存储介质及终端
EP18848064.4A EP3675084A4 (en) 2017-08-25 2018-05-21 MAP DISPLAY METHOD, DEVICE, STORAGE MEDIUM AND TERMINAL
MA049961A MA49961A (fr) 2017-08-25 2018-05-21 Procédé d'affichage de carte, appareil, support de stockage et terminal
US16/781,817 US11578988B2 (en) 2017-08-25 2020-02-04 Map display method, device, storage medium and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710740562.3A CN110019580B (zh) 2017-08-25 2017-08-25 地图显示方法、装置、存储介质及终端

Publications (2)

Publication Number Publication Date
CN110019580A true CN110019580A (zh) 2019-07-16
CN110019580B CN110019580B (zh) 2022-07-12

Family

ID=65438343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710740562.3A Active CN110019580B (zh) 2017-08-25 2017-08-25 地图显示方法、装置、存储介质及终端

Country Status (5)

Country Link
US (1) US11578988B2 (zh)
EP (1) EP3675084A4 (zh)
CN (1) CN110019580B (zh)
MA (1) MA49961A (zh)
WO (1) WO2019037489A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110793544A (zh) * 2019-10-29 2020-02-14 北京百度网讯科技有限公司 感知传感器参数标定方法、装置、设备及存储介质
CN111124128A (zh) * 2019-12-24 2020-05-08 Oppo广东移动通信有限公司 位置提示方法及相关产品
CN111337015A (zh) * 2020-02-28 2020-06-26 重庆特斯联智慧科技股份有限公司 一种基于商圈聚合大数据的实景导航方法与系统
CN111627114A (zh) * 2020-04-14 2020-09-04 北京迈格威科技有限公司 室内视觉导航方法、装置、系统及电子设备
CN111795688A (zh) * 2020-07-17 2020-10-20 南京邮电大学 一种基于深度学习和增强现实的图书馆导航系统实现方法
CN112330819A (zh) * 2020-11-04 2021-02-05 腾讯科技(深圳)有限公司 基于虚拟物品的交互方法、装置及存储介质
CN112446915A (zh) * 2019-08-28 2021-03-05 北京初速度科技有限公司 一种基于图像组的建图方法及装置
CN112577488A (zh) * 2020-11-24 2021-03-30 腾讯科技(深圳)有限公司 导航路线确定方法、装置、计算机设备和存储介质
CN112991752A (zh) * 2021-05-20 2021-06-18 武汉纵横智慧城市股份有限公司 基于ar与物联网道路车辆可视化展示方法、装置及设备
CN113306392A (zh) * 2021-06-29 2021-08-27 广州小鹏汽车科技有限公司 显示方法、车载终端、车辆和计算机可读存储介质
CN113483774A (zh) * 2021-06-29 2021-10-08 阿波罗智联(北京)科技有限公司 导航方法、装置、电子设备及可读存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018213634A1 (de) * 2018-08-13 2020-02-13 Audi Ag Verfahren zum Betreiben einer in einem Kraftfahrzeug angeordneten Anzeigeeinrichtung und Anzeigeeinrichtung zum Verwenden in einem Kraftfahrzeug
KR20220125148A (ko) * 2020-01-06 2022-09-14 엘지전자 주식회사 영상 출력 장치 및 그것의 제어 방법
CN111639975A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种信息推送方法及装置
CN114972494A (zh) * 2021-02-26 2022-08-30 魔门塔(苏州)科技有限公司 一种记忆泊车场景的地图构建方法及装置
CN113240816B (zh) * 2021-03-29 2022-01-25 泰瑞数创科技(北京)有限公司 基于ar和语义模型的城市精确导航方法及其装置
KR20220141667A (ko) * 2021-04-13 2022-10-20 현대자동차주식회사 내비게이션 단말의 통합 제어 방법 및 그 방법을 제공하는 자동차 시스템
CN113221359B (zh) * 2021-05-13 2024-03-01 京东鲲鹏(江苏)科技有限公司 一种仿真场景生成方法、装置、设备及存储介质
CN113961065B (zh) * 2021-09-18 2022-10-11 北京城市网邻信息技术有限公司 导航页面的显示方法、装置、电子设备及存储介质
CN115278095A (zh) * 2022-05-11 2022-11-01 岚图汽车科技有限公司 一种基于融合感知的车载摄像头控制方法及装置
CN117723070A (zh) * 2024-02-06 2024-03-19 合众新能源汽车股份有限公司 地图匹配初值的确定方法及装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110153198A1 (en) * 2009-12-21 2011-06-23 Navisus LLC Method for the display of navigation instructions using an augmented-reality concept
CN103335657A (zh) * 2013-05-30 2013-10-02 佛山电视台南海分台 一种基于图像捕获和识别技术增强导航功能的方法和系统
CN104520675A (zh) * 2012-08-03 2015-04-15 歌乐株式会社 摄像机参数运算装置、导航系统及摄像机参数运算方法
CN106931961A (zh) * 2017-03-20 2017-07-07 成都通甲优博科技有限责任公司 一种自动导航方法及装置
CN106996795A (zh) * 2016-01-22 2017-08-01 腾讯科技(深圳)有限公司 一种车载激光外参标定方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457355B2 (en) * 2011-05-05 2013-06-04 International Business Machines Corporation Incorporating video meta-data in 3D models
CN102980570A (zh) * 2011-09-06 2013-03-20 上海博路信息技术有限公司 一种实景增强现实导航系统
WO2013086475A1 (en) * 2011-12-08 2013-06-13 Cornell University System and methods for world-scale camera pose estimation
US9031782B1 (en) * 2012-01-23 2015-05-12 The United States Of America As Represented By The Secretary Of The Navy System to use digital cameras and other sensors in navigation
KR20150087619A (ko) * 2014-01-22 2015-07-30 한국전자통신연구원 증강 현실 기반의 차로 변경 안내 장치 및 방법
US10996473B2 (en) * 2014-03-26 2021-05-04 Atheer, Inc. Method and apparatus for adjusting motion-based data space manipulation
US20150317057A1 (en) * 2014-05-02 2015-11-05 Electronics And Telecommunications Research Institute Navigation apparatus for providing social network service (sns) service based on augmented reality, metadata processor, and metadata processing method in augmented reality navigation system
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10521649B2 (en) * 2015-02-16 2019-12-31 University Of Surrey Three dimensional modelling
KR101714185B1 (ko) * 2015-08-05 2017-03-22 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
CN105335969B (zh) * 2015-10-16 2017-12-05 凌云光技术集团有限责任公司 一种彩色线阵相机空间校正参数的获取方法
CN106092121B (zh) * 2016-05-27 2017-11-24 百度在线网络技术(北京)有限公司 车辆导航方法和装置
KR102581359B1 (ko) * 2016-09-02 2023-09-20 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
CN110573369B (zh) * 2017-04-19 2022-05-17 麦克赛尔株式会社 平视显示器装置及其显示控制方法
US10168174B2 (en) * 2017-05-09 2019-01-01 Toyota Jidosha Kabushiki Kaisha Augmented reality for vehicle lane guidance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110153198A1 (en) * 2009-12-21 2011-06-23 Navisus LLC Method for the display of navigation instructions using an augmented-reality concept
CN104520675A (zh) * 2012-08-03 2015-04-15 歌乐株式会社 摄像机参数运算装置、导航系统及摄像机参数运算方法
CN103335657A (zh) * 2013-05-30 2013-10-02 佛山电视台南海分台 一种基于图像捕获和识别技术增强导航功能的方法和系统
CN106996795A (zh) * 2016-01-22 2017-08-01 腾讯科技(深圳)有限公司 一种车载激光外参标定方法和装置
CN106931961A (zh) * 2017-03-20 2017-07-07 成都通甲优博科技有限责任公司 一种自动导航方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WOLFGANG NARZT ET AL.: "Augmented reality navigation systems", 《UNIVERSAL ACCESS IN THE INFORMATION SOCIETY》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446915A (zh) * 2019-08-28 2021-03-05 北京初速度科技有限公司 一种基于图像组的建图方法及装置
CN112446915B (zh) * 2019-08-28 2024-03-29 北京初速度科技有限公司 一种基于图像组的建图方法及装置
CN110793544A (zh) * 2019-10-29 2020-02-14 北京百度网讯科技有限公司 感知传感器参数标定方法、装置、设备及存储介质
CN111124128B (zh) * 2019-12-24 2022-05-17 Oppo广东移动通信有限公司 位置提示方法及相关产品
CN111124128A (zh) * 2019-12-24 2020-05-08 Oppo广东移动通信有限公司 位置提示方法及相关产品
CN111337015A (zh) * 2020-02-28 2020-06-26 重庆特斯联智慧科技股份有限公司 一种基于商圈聚合大数据的实景导航方法与系统
CN111627114A (zh) * 2020-04-14 2020-09-04 北京迈格威科技有限公司 室内视觉导航方法、装置、系统及电子设备
CN111795688A (zh) * 2020-07-17 2020-10-20 南京邮电大学 一种基于深度学习和增强现实的图书馆导航系统实现方法
CN111795688B (zh) * 2020-07-17 2023-11-17 南京邮电大学 一种基于深度学习和增强现实的图书馆导航系统实现方法
CN112330819A (zh) * 2020-11-04 2021-02-05 腾讯科技(深圳)有限公司 基于虚拟物品的交互方法、装置及存储介质
CN112330819B (zh) * 2020-11-04 2024-02-06 腾讯科技(深圳)有限公司 基于虚拟物品的交互方法、装置及存储介质
CN112577488B (zh) * 2020-11-24 2022-09-02 腾讯科技(深圳)有限公司 导航路线确定方法、装置、计算机设备和存储介质
CN112577488A (zh) * 2020-11-24 2021-03-30 腾讯科技(深圳)有限公司 导航路线确定方法、装置、计算机设备和存储介质
CN112991752A (zh) * 2021-05-20 2021-06-18 武汉纵横智慧城市股份有限公司 基于ar与物联网道路车辆可视化展示方法、装置及设备
CN113483774A (zh) * 2021-06-29 2021-10-08 阿波罗智联(北京)科技有限公司 导航方法、装置、电子设备及可读存储介质
WO2023273036A1 (zh) * 2021-06-29 2023-01-05 阿波罗智联(北京)科技有限公司 导航方法、装置、电子设备及可读存储介质
CN113483774B (zh) * 2021-06-29 2023-11-03 阿波罗智联(北京)科技有限公司 导航方法、装置、电子设备及可读存储介质
CN113306392A (zh) * 2021-06-29 2021-08-27 广州小鹏汽车科技有限公司 显示方法、车载终端、车辆和计算机可读存储介质

Also Published As

Publication number Publication date
MA49961A (fr) 2021-04-28
US11578988B2 (en) 2023-02-14
US20200173804A1 (en) 2020-06-04
EP3675084A4 (en) 2021-04-28
WO2019037489A1 (zh) 2019-02-28
CN110019580B (zh) 2022-07-12
EP3675084A1 (en) 2020-07-01

Similar Documents

Publication Publication Date Title
CN110019580A (zh) 地图显示方法、装置、存储介质及终端
CN111257866B (zh) 车载摄像头和车载雷达联动的目标检测方法、装置及系统
JP6484228B2 (ja) 視覚強化ナビゲーション
CN103718062B (zh) 用于确保个人导航设备的服务的持续性的方法及其设备
CN104266658B (zh) 一种基于精准定位导播导览系统、方法及其数据采集方法
US20210207974A1 (en) System and Method Associated with Expedient Determination of Location of One or More Object(s) Within a Bounded Perimeter of 3D Space Based on Mapping and Navigation to a Precise POI Destination Using a Smart Laser Pointer Device
CN110231039A (zh) 一种定位信息修正方法及终端设备
CN106969774A (zh) 导航方法与装置、终端、服务器及系统
CN109474894A (zh) 终端定位处理方法、装置及电子设备
CN109752021A (zh) 一种行驶路线规划方法及装置
CN107071722A (zh) 通过行为预测防止掉线呼叫
CN111664848B (zh) 一种多模态室内定位导航方法及系统
CN108683744A (zh) 信息推送方法、装置、计算机设备及存储介质
CN109495846A (zh) 一种定位方法及移动终端
EP3201859A1 (en) Reputation sharing system using augmented reality systems
CN109830114A (zh) 交通信号灯提醒方法和装置
CN109040968A (zh) 路况提醒方法、移动终端及计算机可读存储介质
CN108646280A (zh) 一种定位方法、装置及用户终端
CN108627176A (zh) 屏幕亮度调节方法及相关产品
CN107735648A (zh) 导航期间的交通通知
CN110033497A (zh) 区域标定方法、装置、电子设备及计算机可读存储介质
CN112595728B (zh) 一种道路问题确定方法和相关装置
KR20190029412A (ko) 네트워크를 통한 오프라인 매장 정보 제공 방법 및 이에 사용되는 관리 서버
CN110470293A (zh) 一种导航方法及移动终端
CN109640272A (zh) 一种定位方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant