CN114096996A - 在交通中使用增强现实的方法和装置 - Google Patents

在交通中使用增强现实的方法和装置 Download PDF

Info

Publication number
CN114096996A
CN114096996A CN202080051194.1A CN202080051194A CN114096996A CN 114096996 A CN114096996 A CN 114096996A CN 202080051194 A CN202080051194 A CN 202080051194A CN 114096996 A CN114096996 A CN 114096996A
Authority
CN
China
Prior art keywords
location
displaying
path
user device
camera feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080051194.1A
Other languages
English (en)
Inventor
柴塔尼亚·德赛
泰德·格拉杰达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Publication of CN114096996A publication Critical patent/CN114096996A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3632—Guidance using simplified or iconic instructions, e.g. using arrows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

增强现实可用于帮助用户导航到期望位置。可以获取用户设备的第一位置和设备朝向。可以获取第二位置。可以确定从第一位置到第二位置的路径。可以在用户设备上显示相机反馈。路径的指示符可以基于设备朝向显示在相机反馈上。响应于确定设备朝向与第二位置对齐，可以在相机反馈上显示标记，标记可以指示第二位置。

Description

在交通中使用增强现实的方法和装置
相关申请的交叉引用
本申请要求2019年7月30日提交的申请号为16/525,955、发明名称为“在交通中使用增强现实的方法和装置”的美国非临时申请的优先权，其全部内容通过引用并入本文。
技术领域
本申请总体上涉及使用增强现实提供导航。
背景技术
人们经常计划在拥挤的地方见面。对于陌生人和朋友来说，找到彼此都很困难。当一个人在车里时，要找到他可能特别困难。即使距离汽车较近，使用共享乘车平台的乘客也可能难以确定汽车位置。通过提供改进的导航帮助一个人到达期望位置，可以改善其体验。
发明内容
本申请的一个方面涉及用于增强现实导航的系统。该系统包括一个或以上处理器和一个或以上非暂时性计算机可读存储器，一个或以上非暂时性计算机可读存储器连接到该一个或以上处理器，并存储有由该一个或以上处理器执行的指令。执行指令可使系统执行操作，操作包括：获取用户设备的第一位置和设备朝向；获取第二位置；确定从第一位置到第二位置的路径；在用户设备上显示相机反馈；基于设备朝向，在相机反馈上显示路径的指示符；以及响应于确定设备朝向与第二位置对齐，在相机反馈上显示标记，该标记指示第二位置。
本申请的另一方面涉及一种用于增强现实导航的方法，该方法包括：获取用户设备的第一位置和设备朝向；获取第二位置；确定从第一位置到第二位置的路径；在用户设备上显示相机反馈；基于设备朝向，在相机反馈上显示路径的指示符；以及响应于确定设备朝向与第二位置对齐，在相机反馈上显示标记，该标记指示第二位置。
本申请的又一方面涉及一种非暂时性计算机可读存储介质，其配置有可由一个或以上处理器执行的指令，以使一个或以上处理器执行操作，操作包括：获取用户设备的第一位置和设备朝向；获取第二位置；确定从第一位置到第二位置的路径；在用户设备上显示相机反馈；基于设备朝向，在相机反馈上显示路径的指示符；以及响应于确定设备朝向与第二位置对齐，在相机反馈上显示标记，该标记指示第二位置。
在一些实施例中，显示路径的指示符可以包括：确定第二位置相对于设备朝向的方向，其中从第一位置到第二位置的路径包括第二位置相对于所述设备朝向的方向；以及在第二位置相对于所述设备朝向的方向上显示路径的指示符。
在一些实施例中，显示路径的指示符可以包括：确定从第一位置到第二位置的路线，其中从第一位置到第二位置的路径包括路线；检测相机反馈中与路线相关的特征；以及显示相机反馈中特征上的路径的指示符。
在一些实施例中，相机反馈中的特征可以包括通向第二位置的道路。
在一些实施例中，路径的指示符可以包括沿路径的动态箭头。
在一些实施例中，在用户设备上显示相机反馈可以包括在用户设备的第一部分上显示相机反馈；在用户设备的第二部分上显示地图；以及在地图上显示至少一部分路径。
在一些实施例中，当所述用户设备的用户移近所述第二位置时，指示所述第二位置的所述标记的尺寸增加。
在一些实施例中，在用户设备上显示相机反馈可以包括：响应于确定第一位置和第二位置在阈值距离内，显示用于启用用户设备的相机的按钮；以及响应于检测到对按钮的选择，在用户设备上显示相机反馈。
本申请公开的系统、方法和非暂时性计算机可读介质的上述特征和其他特征，以及结构相关元件的操作方法、功能、部件的组合和制造的经济性，在参考附图考虑以下描述和所附权利要求时，将变得更加明显，所有这些均构成本说明书的一部分，其中相同的附图标记表示各个附图中的相应部分。然而，应明确理解，附图仅用于说明和描述的目的，并不旨在作为对本申请范围的限定。应当理解，上述一般描述和以下详细描述仅为示例性和解释性的，并且不限制如权利要求所述的本申请。
附图说明
通过参考附图可以更容易地理解本申请的优选和非限制性实施例，其中：
图1A是根据本申请的一些实施例所示的用于增强现实导航的示例性平台。
图1B是根据一些实施例所示的用于增强现实导航的示例性计算系统。
图2是根据本申请的一些实施例所示的用于启动增强现实导航的示例性显示。
图3是根据本申请的一些实施例所示的包括路径的指示符的增强现实导航的示例性显示。
图4是根据本申请的一些实施例所示的包括指示第二位置的标记的增强现实导航的示例性显示。
图5示出了可在其上实现本文所述的任何实施例的计算机系统的框图。
图6是根据本申请的一些实施例所示的用于增强现实导航的示例性方法的流程图。
具体实施方式
现在将参考附图描述本申请的具体的非限制性实施例。应当理解，本文公开的任何实施例的特定特征和方面可以与本文公开的任何其他实施例的特定特征和方面组合使用。还应当理解，这些实施例作为示例，仅说明本申请范围内的少量实施例。对于本申请所属领域的技术人员来说，显而易见的各种改变和修改被认为是在所附权利要求书中进一步定义的本申请的精神、范围和设想之内。
本文公开的技术可以通过使用增强现实提供导航来改善用户体验。导航方向可以通过用户设备上的相机反馈来增强。例如，箭头可以覆盖在相机反馈中的地面上，以向用户显示他们需要走的路径。还可以在用户试图到达的相机反馈中的确切位置上增加标记。当用户是使用共享乘车服务的乘客，乘客必须步行才能与汽车会合时，这会特别有用。增强现实可用于使用户快速到达期望位置。
图1A是根据一些实施例所示的用于增强现实(AR)导航的示例性平台100。示例性平台100可以包括服务器系统102、计算设备104和计算设备106。应当理解，尽管图1A中示出了两台计算设备，但是平台100可以包括任意数量的计算设备。服务器系统102可以在一个或以上网络(例如，企业网络)、一个或以上端点、一个或以上服务器或一个或以上云中实现。服务器可以包括管理对网络中的集中式资源或服务的访问的硬件或软件。云可以包括分布在网络上的服务器和其他设备集群。计算设备104和计算设备106可以在诸如移动电话、平板电脑、服务器、台式电脑、笔记本电脑、可穿戴设备(例如，智能手表、头盔相机)、行车记录仪、车辆(例如，汽车、卡车、船、火车、自动驾驶汽车、电动滑板车、电动自行车)等各种设备上实现或作为各种设备来实现。服务器系统102可以与计算设备104和计算设备106以及其他计算设备通信。计算设备104和计算设备106通过服务器系统102彼此通信，并且可以直接彼此通信。设备之间的通信可以通过互联网、本地网络(例如，LAN)或直接通信(例如，蓝牙TM、射频、红外)进行。
图1B是根据一些实施例示出的用于AR导航的示例性计算系统110。计算系统110可以在平台100中实现。虽然计算系统110在图1B中示出为单个实体，但这仅仅是为了便于参考，并不意味着限制。本文描述的计算系统110的一个或以上组件或一个或以上功能可以在单个计算设备或多个计算设备中实现。例如，计算系统110可以完全包括在服务器系统102或计算设备104或计算设备106中。在另一示例中，计算系统110可以跨服务器系统102、计算设备104和计算设备106实现。
在一些实施例中，计算系统110包括导航组件112、相机组件114和增强现实组件116。在一些实施例中，计算系统102可以进一步包括启动组件118。计算系统110可以包括其他组件。计算系统110可以包括一个或以上处理器(例如，数字处理器、模拟处理器、设计用于处理信息的数字电路、中央处理单元、图形处理单元、微控制器或微处理器、设计用于处理信息的模拟电路、状态机和/或用于电子处理信息的其他机制)和存储器(例如，永久存储器、临时存储器)。处理器可以被配置为通过解读存储在存储器中的机器可读指令来执行各种操作。计算系统110可以包括其他计算资源。在一些实例中，计算系统110可以包括单个独立的硬件设备，该硬件设备被配置为通信地耦合或物理地连接到计算机系统的组件。在一些实例中，计算系统110可以包括专用集成电路(ASIC)或现场可编程门阵列(FPGA)，其被配置为执行与一个或以上分散应用相关联的事务验证操作。上述计算系统110可以安装有适当的软件(例如，平台程序等)和/或硬件(例如，有线、无线连接等)，以访问平台100的其他设备。
导航组件112可以被配置为获取位置和设备朝向。可以获取用户设备的第一位置和设备朝向。可以获取第二位置。在一些实施例中，第二位置可以包括固定目的地。在一些实施例中，第二位置可以包括第二设备的位置，并且可以获取第二设备朝向。在一些实施例中，第二设备可以包括用户设备。在一些实施例中，第二设备可以包括不需要用户交互的自主或远程系统。获取信息的方式可以包括访问、获取、分析、确定、检查、识别、加载、定位、打开、接收、检索、审查、存储或其他获取信息方式中的一个或以上。
在一些实施例中，第一用户设备和第二设备可以包括计算系统110的全部或部分。在一些实施例中，第一用户设备可以包括计算设备104，第二设备可以包括计算设备106。例如，第一用户设备可以是第一用户的移动电话，第二设备可以是第二用户的移动电话。第一用户和第二用户可以是试图相互定位的行人、试图相互定位的乘客和驾驶员，或试图相互定位的两名驾驶员。在另一个示例中，第一用户设备可以是第一用户的移动电话，第二设备可以是自动驾驶车辆。在另一个示例中，第一用户设备可以是可穿戴设备。
位置可以包括地址、地标或GPS(全球定位系统)坐标。在一些实施例中，位置可以由用户输入。例如，驾驶员可以确定附近地标的位置。在另一个示例中，乘客可以输入目的地的位置。在一些实施例中，可以使用GPS或连接到设备的接入点来确定位置。在一些实施例中，可以使用视觉定位确定位置。视觉里程计、视觉惯性里程计或视觉惯性遥测可以用于跟踪设备的位置、朝向和移动。可以使用设备上的传感器(例如，相机、加速度计、接近传感器、陀螺仪)检测位置变化。相机可用于检测特征和对象。例如，视觉定位可以使用ARKITTM或ARCORETM。相机可以包括连接至设备(例如，移动设备相机、网络摄像头)的相机、行车记录仪或六自由度(6DoF)相机。
包括拓扑和图像的数据库可用于识别检测到的特征和对象。例如，数据库可以包括地标的拓扑图和图像。在一些实施例中，数据库可以包括用户和车辆的图像。例如，数据库可以包括乘客试图找到的驾驶员汽车的图像。汽车所有侧面的图像可由驾驶员上传至数据库。计算系统110可以执行视觉定位的全部或部分。在一些实施例中，数据库可由服务器系统102、计算设备104和计算设备106中的一个或以上访问或位于其上。例如，图像可以由计算设备104和计算设备106中的一个或两个捕获。在一些实施例中，图像可以上载到服务器系统102。服务器系统102可以执行视觉定位，并将位置信息发送回计算设备104和计算设备106中的一个或两个。在一些实施例中，视觉定位可以在计算设备104和计算设备106中的一个或两个上本地执行。
在一些实施例中，可以使用视觉定位来确定第一位置和第二位置。第一用户和第二用户都可以在其用户设备上打开相机。视觉定位可以用于基于来自第一设备的相机反馈确定第一用户的设备的位置，以及可以基于来自第二设备的相机反馈确定第二用户的设备的位置。
导航组件112可以进一步被配置为确定从第一位置到第二位置的路径。例如，路径可以是从乘客的位置到驾驶员的位置。在一些实施例中，路径是第二位置相对于设备朝向的方向。例如，路径可以是第一用户设备的用户可以转向面对第二位置的方向。使用位置和设备朝向可以确定方向。
在一些实施例中，路径可以是从第一位置到第二位置的路线。路线可以包括用户到达第二位置必须采取的多个步骤。例如，路线可以包括用户必须转弯的列表，该转弯的列表可以包括距离、方向和街道名称。
相机组件114可以被配置为在用户设备上显示相机反馈。相机反馈可以显示来自相机的实时反馈。例如，可以显示来自相机的实时视频。相机可以包括可通信地连接到用户设备的设备(例如，网络摄像头、行车记录仪、视频记录器、手持相机)或嵌入在用户设备中的组件(例如，移动设备相机)。
增强现实组件116可以被配置为显示路径的指示符和指示第二位置的标记。指示符和标记可以显示在用户设备上。指示符和标记可以在相机反馈上增强。响应于确定设备朝向与第二位置不对齐，可以显示指示符。例如，当用户设备的相机未指向第二位置时，可以显示指示符。在一些实施例中，指示符可以显示在通向第二位置的方向上。例如，指示符可以显示在用户设备上，以指示用户为了到达第二位置必须行进的方向。指示符可以沿面向第二位置的用户设备的屏幕边缘显示。例如，箭头可以显示在屏幕边缘附近。如果用户正朝着或远离第二位置的方向移动，则指示符可以包括显示不同的颜色。随着用户移向第二位置和远离第二位置，指示符可以包括使屏幕变亮和变暗。例如，最靠近第二位置的屏幕边缘可以变亮。
在一些实施例中，指示符可以显示在相机反馈中的特征上。可以基于与从第一位置到第二位置的路线的相关性来检测该特征。例如，相机反馈中的特征可以包括通向第二设备位置的道路。可以沿第二位置的路径显示动态箭头。例如，箭头可以向第二位置移动。箭头可以向乘客显示他们需要沿着走的道路或人行道，以便到达他们的驾驶员。在一些实施例中，响应于确定设备朝向与第二位置对齐，可以显示指示符。例如，在设备转向面向第二位置后，可以继续显示指示符。
响应于确定设备朝向与第二位置对齐，可以显示指示第二位置的标记。例如，当用户设备面对第二位置时，可以显示标记。当第二位置在相机反馈内时，可以确定用户设备面向第二位置。该标记可以显示在相机反馈中。例如，标记可以是一个图标，用于标记乘客试图到达的汽车。可以使用GPS或其他定位技术识别汽车。当用户设备移动时，标记可以保持与第二位置对齐。当用户设备移动靠近第二位置时，标记的尺寸可以增大。当乘客靠近他们的汽车时，放大标记可以给乘客一种透视感。标记可以是动态的和彩色的。例如，橙色标记可以在乘客试图到达的第二位置(例如，汽车)旋转或跳动。
在一些实施例中，增强现实组件116可以被配置为显示附加信息以帮助导航。相机反馈可以显示在用户设备的第一部分上，并且地图可以显示在用户设备的第二部分上。路径的一部分可以显示在地图上。例如，包括在到第二设备位置的路线中的街道可以在地图中高亮显示。第二位置可以在地图上确定。用户设备的第二部分可以包括含有地图的导航盘。指南针式导航可以显示在导航盘中或用户设备的第三部分上。文本导航信息可以显示在用户设备的第四部分上。例如，距离、方向和街道名称可以显示在用户设备的顶部。显示信息的组合可以让乘客及时到达他们的汽车。
在一些实施例中，可以显示传统的通信和识别方式。例如，可以显示驾驶员的姓名、照片和车辆信息(例如，颜色、品牌、型号、牌照)。可以显示通信渠道的按钮。通信渠道可以包括电话、短信和视频聊天。例如，可以显示来自另一设备的相机反馈。
启动组件118可以被配置为在用户设备上启动AR导航。启动AR导航可以包括激活连接到用户设备的相机，并在用户设备上显示相机反馈。可以基于阈值距离启动相机反馈。阈值距离可以包括设定的距离。例如，阈值距离可以是距离第二位置例如乘客的汽车100米。也可以使用地理围栏设置阈值距离。在一些实施例中，当用户设备在第二位置的阈值距离内时，可以自动启动相机。在一些实施例中，响应于确定第一位置和第二位置在阈值距离内，可以显示用于启用用户设备的相机的按钮。相机反馈可以响应于检测到对按钮的选择而启动。例如，用户可以按下按钮。启用相机的按钮可以与其他功能(例如，地图以及呼叫和向驾驶员发送信息的按钮)一起显示。启动组件118可以节省用户设备的资源。使用GPS、相机和加速度计可能需要大量计算。启动组件可以延迟AR的激活以限制用户设备的电池的消耗。
在一些实施例中，可以从远程服务器(例如，服务器系统102)向第二用户设备发送请求以启动第二相机。该请求可以自动启动第二设备的相机，或者提示第二设备的用户启动相机。例如，提示可以包括用于启用驾驶员设备上的相机的按钮。在一些实施例中，当乘客打开其相机时，驾驶员的相机可以自动打开。
图2示出了用于启动AR导航的用户设备200的示例性显示210。用户设备200可以包括计算设备104、计算设备106或计算系统110的全部或部分。用户设备200可由乘客或驾驶员在乘车共享行程中使用。显示210可以包括用于启动AR导航的按钮220。例如，按钮220可以是包括在图1B的启动组件118中的按钮。可以包括小文本横幅222以解释AR导航特征。文本横幅222可以包括提示用户启动AR导航的语言(例如，“使用您的相机找到您的共享车辆”)。点击文本横幅222可以允许用户了解更多关于AR的信息。显示210包括地图230和可显示驾驶员位置的标记232。显示210还包括文本通知部分240，该文本通知部分240向乘客显示提醒，告知乘客驾驶员已经到达。显示210还包括驾驶员信息部分242，其可以包括驾驶员的姓名、照片和车辆信息。驾驶员信息部分242可以包括按钮244，该按钮允许乘客给驾驶员打电话和发信息。
图3示出了用于显示包括到第二位置的路径的指示符的增强现实导航的用户设备200的示例性显示310。显示310可以包括导航信息320、相机反馈330、地图340和驾驶员信息部分342。导航信息320可以包括方向、距离和用于退出增强现实导航的“X”。可以显示相机反馈330。例如，可以使用图1B的相机组件114显示相机反馈330。道路332可以在相机反馈330中被检测为通向第二位置的路径的一部分。箭头334可以沿道路332被增强。例如，箭头可以是由图1B的增强现实组件116显示的指示符。可以显示地图340以向用户提供进一步的导航。通往第二位置的路线中包含的街道可以在地图中高亮显示。驾驶员信息部分342可以包括驾驶员的姓名、照片和车辆信息。驾驶员信息部分342可以包括按钮344，该按钮允许乘客给驾驶员打电话和发信息。
图4示出了用于显示包括指示第二位置的标记的增强现实导航的用户设备200的示例性显示410。显示410可以包括导航信息420、相机反馈430、地图440和驾驶员信息部分442。导航信息420可以包括方向、距离和用于退出增强现实导航的“X”。在一些实施例中，当驾驶员开始行程时，可以自动退出增强现实导航。可以显示相机反馈430。例如，可以使用图1B的相机组件114显示相机反馈430。可以在相机反馈430中检测到汽车432作为第二位置。响应于在相机反馈430中检测到第二位置(例如，汽车432的位置)，标记434可以在相机反馈430上增强以指示汽车432的位置。例如，标记可以是由图1B的增强现实组件116显示的标记。箭头436可沿通往汽车432的路径显示。箭头436可以包括设备转向面向第二位置时持续显示的箭头334。箭头334可沿道路332显示。例如，箭头334可以是由图1B的增强现实组件116显示的指示符。可以显示地图440以向用户提供进一步的导航。到第二位置的路线中包括的街道可以高亮显示。驾驶员信息部分442可以包括驾驶员的姓名、照片和车辆信息。驾驶员信息部分442可包括按钮444，该按钮允许乘客给驾驶员打电话和发信息。
图5示出了可在其上实现本文所述的任何实施例的计算机系统500的框图。例如，计算机系统500可以是服务器系统102以及计算设备104和计算设备106中的任何一个。计算机系统500包括用于通信的总线502或其他通信机制、与总线502连接用于处理信息的一个或以上硬件处理器504。作为示例，硬件处理器504可以是一个或以上通用微处理器。
计算机系统500还包括主存储器506，诸如随机存取存储器(RAM)、高速缓存和/或其他动态存储设备，其耦合到总线502，用于存储由处理器504执行的信息和指令。主存储器506还可以用于在执行由处理器504执行的指令期间存储临时变量或其他中间信息。当这些指令存储在处理器504可访问的存储介质中时，计算机系统500呈现为专用机器，该专用机器定制为执行指令中指定的操作。主存储器506可以包括非易失性介质和/或易失性介质。非易失性介质可以包括例如光盘或磁盘。易失性介质可以包括动态存储器。常见形式的介质可以包括例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、只读光盘、任何其他光学数据存储介质、任何具有孔型的物理介质、随机存储器、动态随机存储器、可编程只读存储器和可擦编程只读存储器、闪存-可擦编程只读存储器、非易失性随机访问存储器、任何其他内存芯片或盒带，以及其网络版本。
计算机系统500可以使用定制的硬接线逻辑、一个或以上专用集成电路或门阵列、固件和/或程序逻辑来实现本文描述的技术，这些与计算机系统相结合使得计算机系统500或对计算机系统500编程后成为专用机器。根据一个实施例，本文中的技术由计算机系统500响应于处理器504执行主存储器506中包含的一个或以上指令的一个或以上序列来执行。这些指令可以从另一存储介质(例如，存储设备508)读入主存储器506。执行主存储器506中包含的指令序列，使处理器504执行本文所述的处理步骤。例如，计算系统500可用于实现图1A所示的服务器系统102、计算设备104和计算设备106。在另一示例中，计算系统500可用于实现图1B所示的计算系统110或计算系统110的一个或以上组件。在替代实施例中，硬接线电路可以代替软件指令或与软件指令结合使用。
计算机系统500还包括耦合到总线502的通信接口510。通信接口510向连接到一个或以上网络的一个或以上网络链路提供双向数据通信耦合。作为另一示例，通信接口510可以是局域网(LAN)卡，以提供到兼容LAN(或与WAN通信的WAN组件)的数据通信连接。还可以实现无线链路。
某些操作的性能可以分布在处理器之间，不仅驻留在单个计算机中，而且部署在多个计算机上。在一些示例实施例中，处理器或处理器实现的引擎可位于单个地理位置(例如，在家庭环境、办公室环境或服务器群内)。在其他示例实施例中，处理器或处理器实现的引擎可以分布在多个地理位置上。
图6示出了根据本申请的一些实施例所示的用于增强现实导航的示例性方法600的流程图。方法600可以在包括例如图1A和图1B的平台100的各种平台中实现。作为另一示例，图6所示并结合该图描述的过程/方法可以通过存储在图5的主存储器506中的计算机程序指令来实现。当这些指令由图5的处理器504执行时，它们可以执行如图6所示和上述描述的步骤。下面介绍的方法600的操作旨在说明。取决于实施方式，方法600可以包括以各种顺序或并行执行的附加、更少或替代步骤。方法600可以在包括一个或以上处理器的各种计算系统或设备中实现。
关于方法600，在610中，可以获取用户设备的第一位置和设备朝向。在620中，可以获取第二位置。在630中，可以确定从第一位置到第二位置的路径。在640中，可以在用户设备上显示相机反馈。在650中，基于设备朝向，在相机反馈上显示路径的指示符。在660中，响应于确定设备朝向与第二位置对齐，可以在相机反馈上显示标记，标记可以指示第二位置。
本文将某些实施例描述为包括逻辑或多个组件。组件可以构成软件组件(例如，体现在机器可读介质上的代码)或硬件组件(例如，能够执行可以以特定物理方式配置或排列的特定操作的有形单元)。如本文所使用的，为方便起见，当计算系统110的组件可以包括可编程或配置计算系统110以执行操作的指令时，这些组件可以被描述为执行或配置为执行操作。
虽然本文描述了所公开的原理的示例和特征，但是在不脱离所公开的实施例的精神和范围的情况下，可以进行修改、调整和其他实施方式。此外，词语“包括”、“具有”、“包含”和“含有”以及其他类似形式旨在在含义上等同并且是开放式的，因为在这些词语中任何一个之后的一个或以上项目并不意味着是此类项目的详尽列表，或者意味着仅限于所列项目。还必须注意，如本文和所附权利要求中所使用的，除非上下文另有明确规定，否则单数形式“一”、“一个”和“该”包括复数引用。
本文所示的实施例以足够的细节描述以使本领域技术人员能够实践所公开的教导。可以从中使用并导出其他实施例，使得可以在不脱离本申请的范围的情况下进行结构和逻辑替换和改变。因此，不应从限制意义上理解详细描述，并且各种实施例的范围仅由所附权利要求以及这些权利要求所赋予的等同物的全部范围来限定。

Claims (20)

1.一种用于增强现实导航的系统，所述系统包括一个或以上处理器和一个或以上非暂时性计算机可读存储器，所述一个或以上非暂时性计算机可读存储器与所述一个或以上处理器连接，并存储有由所述一个或以上处理器执行的指令，以使所述系统执行操作，所述操作包括：
获取用户设备的第一位置和设备朝向；
获取第二位置；
确定从所述第一位置到所述第二位置的路径；
在所述用户设备上显示相机反馈；
基于所述设备朝向，在所述相机反馈上显示所述路径的指示符；以及
响应于确定所述设备朝向与所述第二位置对齐，在所述相机反馈上显示标记，所述标记指示所述第二位置。
2.根据权利要求1所述的系统，其特征在于，显示所述路径的所述指示符包括：
确定所述第二位置相对于所述设备朝向的方向，其中从所述第一位置到所述第二位置的所述路径包括所述第二位置相对于所述设备朝向的所述方向；以及
显示所述第二位置相对于所述设备朝向的所述方向上的所述路径的所述指示符。
3.根据权利要求1所述的系统，其特征在于，显示所述路径的所述指示符包括：
确定从所述第一位置到所述第二位置的路线，其中从所述第一位置到所述第二位置的所述路径包括所述路线；
检测所述相机反馈中与所述路线相关的特征；以及
显示所述相机反馈中所述特征上的所述路径的所述指示符。
4.根据权利要求3所述的系统，其特征在于，所述相机反馈中的所述特征包括通向所述第二位置的道路。
5.根据权利要求3所述的系统，其特征在于，所述路径的所述指示符包括沿所述路径的动态箭头。
6.根据权利要求1所述的系统，其特征在于，在所述用户设备上显示所述相机反馈包括在所述用户设备的第一部分上显示所述相机反馈；以及
所述操作还包括：
在所述用户设备的第二部分上显示地图；以及
在所述地图上显示至少一部分所述路径。
7.根据权利要求1所述的系统，其特征在于，当所述用户设备的用户移近所述第二位置时，指示所述第二位置的所述标记的尺寸增加。
8.根据权利要求1所述的系统，其特征在于，在所述用户设备上显示所述相机反馈包括：
响应于确定所述第一位置和所述第二位置在阈值距离内，显示用于启用所述用户设备的相机的按钮；以及
响应于检测到对所述按钮的选择，在所述用户设备上显示所述相机反馈。
9.一种用于增强现实导航的方法，包括：
获取用户设备的第一位置和设备朝向；
获取第二位置；
确定从所述第一位置到所述第二位置的路径；
在所述用户设备上显示相机反馈；
基于所述设备朝向，在所述相机反馈上显示所述路径的指示符；以及
响应于确定所述设备朝向与所述第二位置对齐，在所述相机反馈上显示标记，所述标记指示所述第二位置。
10.根据权利要求9所述的方法，其特征在于，显示所述路径的所述指示符包括：
确定所述第二位置相对于所述设备朝向的方向，其中从所述第一位置到所述第二位置的所述路径包括所述第二位置相对于所述设备朝向的所述方向；以及
显示所述第二位置相对于所述设备朝向的所述方向上的所述路径的所述指示符。
11.根据权利要求9所述的方法，其特征在于，显示所述路径的所述指示符包括：
确定从所述第一位置到所述第二位置的路线，其中从所述第一位置到所述第二位置的所述路径包括所述路线；
检测所述相机反馈中与所述路线相关的特征；以及
显示所述相机反馈中所述特征上的所述路径的所述指示符。
12.根据权利要求11所述的方法，其特征在于，所述相机反馈中的所述特征包括通向所述第二位置的道路。
13.根据权利要求11所述的方法，其特征在于，所述路径的所述指示符包括沿所述路径的动态箭头。
14.根据权利要求9所述的方法，其特征在于，在所述用户设备上显示所述相机反馈包括在所述用户设备的第一部分上显示所述相机反馈；以及
所述方法还包括：
在所述用户设备的第二部分上显示地图；以及
在所述地图上显示至少一部分所述路径。
15.根据权利要求9所述的方法，其特征在于，当所述用户设备的用户移近所述第二位置时，指示所述第二位置的所述标记的尺寸增加。
16.根据权利要求9所述的方法，其特征在于，在所述用户设备上显示所述相机反馈包括：
响应于确定所述第一位置和所述第二位置在阈值距离内，显示用于启用所述用户设备的相机的按钮；以及
响应于检测到对所述按钮的选择，在所述用户设备上显示所述相机反馈。
17.一种非暂时性计算机可读存储介质，其存储有由一个或以上处理器执行的指令，以使所述一个或以上处理器执行操作，所述操作包括：
获取用户设备的第一位置和设备朝向；
获取第二位置；
确定从所述第一位置到所述第二位置的路径；
在所述用户设备上显示相机反馈；
基于所述设备朝向，在所述相机反馈上显示所述路径的指示符；以及
响应于确定所述设备朝向与所述第二位置对齐，在所述相机反馈上显示标记，所述标记指示所述第二位置。
18.根据权利要求17所述的非暂时性计算机可读存储介质，其特征在于，显示所述路径的所述指示符包括：
确定从所述第一位置到所述第二位置的路线，其中从所述第一位置到所述第二位置的所述路径包括所述路线；
检测所述相机反馈中与所述路线相关的特征；以及
显示所述相机反馈中所述特征上的所述路径的所述指示符。
19.根据权利要求18所述的非暂时性计算机可读存储介质，其特征在于，所述相机反馈中的所述特征包括通向所述第二位置的道路。
20.根据权利要求17所述的非暂时性计算机可读存储介质，其特征在于，在所述用户设备上显示所述相机反馈包括在所述用户设备的第一部分上显示所述相机反馈；以及
所述操作还包括：
在所述用户设备的第二部分上显示地图；以及
在所述地图上显示至少一部分所述路径。
CN202080051194.1A 2019-07-30 2020-07-22 在交通中使用增强现实的方法和装置 Pending CN114096996A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/525,955 US20210034869A1 (en) 2019-07-30 2019-07-30 Method and device for using augmented reality in transportation
US16/525,955 2019-07-30
PCT/CN2020/103379 WO2021017962A1 (en) 2019-07-30 2020-07-22 Method and device for using augmented reality in transportation

Publications (1)

Publication Number Publication Date
CN114096996A true CN114096996A (zh) 2022-02-25

Family

ID=74230102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080051194.1A Pending CN114096996A (zh) 2019-07-30 2020-07-22 在交通中使用增强现实的方法和装置

Country Status (3)

Country Link
US (2) US20210034869A1 (zh)
CN (1) CN114096996A (zh)
WO (1) WO2021017962A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019164514A1 (en) * 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view
US11385071B2 (en) * 2020-08-07 2022-07-12 Micron Technology, Inc. Providing a route with augmented reality
WO2023129812A1 (en) * 2021-12-30 2023-07-06 Snap Inc. Augmented reality (ar) - enhanced detection and localization of a personal mobility device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9525964B2 (en) * 2012-02-02 2016-12-20 Nokia Technologies Oy Methods, apparatuses, and computer-readable storage media for providing interactive navigational assistance using movable guidance markers
US9266018B2 (en) * 2012-11-08 2016-02-23 Audible, Inc. Customizable in-vehicle gaming system
US11120264B2 (en) * 2017-06-02 2021-09-14 Apple Inc. Augmented reality interface for facilitating identification of arriving vehicle
US10269246B2 (en) * 2017-06-07 2019-04-23 GM Global Technology Operations LLC Vehicle locator and guide
US20190147743A1 (en) * 2017-11-14 2019-05-16 GM Global Technology Operations LLC Vehicle guidance based on location spatial model
US10685485B2 (en) * 2017-11-21 2020-06-16 Google Llc Navigation in augmented reality environment
US11100680B2 (en) * 2018-11-08 2021-08-24 Toyota Jidosha Kabushiki Kaisha AR/VR/MR ride sharing assistant
CN109781072A (zh) * 2019-01-18 2019-05-21 上海扩博智能技术有限公司 基于增强现实的室内导航地图建立、导航方法及系统
US11604069B2 (en) * 2019-05-14 2023-03-14 Lyft, Inc. Localizing transportation requests utilizing an image based transportation request interface

Also Published As

Publication number Publication date
WO2021017962A1 (en) 2021-02-04
US20210034869A1 (en) 2021-02-04
US20210406546A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
JP6894471B2 (ja) 自動運転車（ａｄｖ）のサブシステムによるパトロールカーのパトロール
US11042751B2 (en) Augmented reality assisted pickup
CN106611497B (zh) 交通量预测系统及预测方法、车辆用显示装置以及车辆
US11501104B2 (en) Method, apparatus, and system for providing image labeling for cross view alignment
US10553113B2 (en) Method and system for vehicle location
CN112449690B (zh) 用于自动驾驶车辆的乘客上车和下车的不方便
US9888364B2 (en) Localizing a smartphone in a moving vehicle
CN114096996A (zh) 在交通中使用增强现实的方法和装置
CN113313961B (zh) 导航方法、装置、计算机设备和存储介质
CN110869867A (zh) 用于对自动化程度较高的车辆的数字地图进行验证的方法、相应的设备和计算机程序
US9374803B2 (en) Message notification system, message transmitting and receiving apparatus, program, and recording medium
US11181386B2 (en) Navigation device, destination guiding system, and non-transitory recording medium
JP7041700B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN114329237A (zh) 接载位置的语义识别
US20220281486A1 (en) Automated driving vehicle, vehicle allocation management device, and terminal device
CN106643780A (zh) 一种展现导航信息的方法和装置
JP6810723B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7372144B2 (ja) 車載処理装置、及び車載処理システム
WO2022228564A1 (zh) 导航方法、装置、计算机设备和存储介质
Al-Rajab et al. Smart Application for Every Car (SAEC).(AR Mobile Application)
JP2022056153A (ja) 一時停止検出装置、一時停止検出システム、及び一時停止検出プログラム
JP7479108B2 (ja) 情報処理装置、情報処理方法
US20230143690A1 (en) Driving Assisting Device and Driving Assisting Method
JP7093268B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
CN113945220A (zh) 导航方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination