CN113259004A - 具有可见光通信的增强现实车辆识别 - Google Patents

具有可见光通信的增强现实车辆识别 Download PDF

Info

Publication number
CN113259004A
CN113259004A CN202110149532.1A CN202110149532A CN113259004A CN 113259004 A CN113259004 A CN 113259004A CN 202110149532 A CN202110149532 A CN 202110149532A CN 113259004 A CN113259004 A CN 113259004A
Authority
CN
China
Prior art keywords
vehicle
mobile device
key
encrypted
vlc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110149532.1A
Other languages
English (en)
Inventor
大卫·迈克尔·赫尔曼
尼古拉斯·朔伊夫勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN113259004A publication Critical patent/CN113259004A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/46—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for giving flashing caution signals during drive, other than signalling change of direction, e.g. flashing the headlights or hazard lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/508—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to vehicles driving in fleets or convoys
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80—Circuits; Control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/501—Structural aspects
    • H04B10/502—LED transmitters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/80—Optical aspects relating to the use of optical transmission for specific applications, not provided for in groups H04B10/03 - H04B10/70, e.g. optical power feeding or optical transmission through water
    • H04B10/85—Protection from unauthorised access, e.g. eavesdrop protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/30—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy
    • H04L9/3066—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy involving algebraic varieties, e.g. elliptic or hyper-elliptic curves
    • H04L9/3073—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy involving algebraic varieties, e.g. elliptic or hyper-elliptic curves involving pairings, e.g. identity based encryption [IBE], bilinear mappings or bilinear pairings, e.g. Weil or Tate pairing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/48—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for parking purposes
    • B60Q1/482—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for parking purposes for locating vehicle in parking lot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2900/00—Features of lamps not covered by other groups in B60Q
    • B60Q2900/30—Lamps commanded by wireless transmissions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q2220/00—Business processing using cryptography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/84—Vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Transportation (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Operations Research (AREA)

Abstract

本公开涉及具有可见光通信的增强现实车辆识别。例如，移动装置可以被配置用于“扫描”在移动装置的视觉范围内具有多个停放车辆的区域，以识别目标车辆。移动装置可以包括用于使用可见光通信(VLC)设备和技术来识别目标车辆的应用程序，一旦车辆被系统识别到，所述VLC设备和技术就在智能电话屏幕上呈现目标车辆的增强现实轮廓或其他标识。可以建立与车辆的加密通信信道以利用车辆前照灯、内部灯或另一发光装置来在用户的电话与车辆VLC系统之间建立VLC。移动装置可以在与目标车辆进行视觉通信时使用机载光发射器发射VLC信号，建立与所述车辆的加密通信信道，以及使用自动和/或用户可选择的标识特征来识别所述车辆。

Description

具有可见光通信的增强现实车辆识别
技术领域
本公开涉及车辆通信系统，并且更具体地涉及具有增强现实用户界面的车辆光通信系统。
背景技术
乘客可能进入错误的共乘车辆，或者车辆可能无法正确地识别一组个体中的指定乘客。更糟糕的是，乘客可能进入不正确的车辆，这可能导致乘车者和车辆乘员的困惑和人身安全问题。用于识别人群中的乘客或识别车群中的特定车辆的常规方法不足以准确地提供正确的车辆/客户识别。贴纸或灯可能无法提供正确的车辆和驾驶员识别，并且可能使乘车者困惑或被坏人伪造。一些现有的车辆和驾驶员识别系统可以集成用于向人群中的乘车者标识车辆驾驶员的移动装置技术。然而，由于定位分辨率的不足或对象识别和分类的准确度不足，常规系统可能不允许自主车辆或人类驾驶员在人群中识别特定乘车者。此外，正确的车辆和/或乘客可能彼此被遮挡，从而影响定位和对象检测方法的准确性。
常规系统可能不使用标准车辆设备(诸如车辆前灯)来执行可见光通信的各方面，并且可能不交换在移动装置与车辆控制器之间建立安全信道所需的信息，诸如加密密钥的交换。乘车者身份和车辆身份对于个人安全和便利性可能变得越来越重要，提供此类信息的通信信道的相对安全性也将越来越重要。
关于这些和其他考虑因素，提出了本文进行的公开。
发明内容
本文公开的系统和方法被配置用于向用户标识约车车辆的改进的方法和系统。该方法可以包括移动装置，所述移动装置被配置用于“扫描”区域，其中所述移动装置包括用于在智能电话屏幕上呈现目标车辆的增强现实轮廓、触觉反馈或其他标识的应用程序。所公开的系统和方法可以利用车辆前照灯、内部灯、在车辆内部使用的移动装置或用于在车辆外部的约车用户的电话与车辆可见光通信系统之间建立可见光通信的另一发光装置。可见光通信(VLC)通过以非常高的速度(例如，100赫兹或更高)切断或接通去往发光二极管(LED)或其他光发射器的电流来工作，这是人眼无法察觉的。因此，VLC不会向观察者呈现任何闪烁。在一个方面，移动装置可以在与也包括VLC通信接收器和发射器的目标车辆进行视觉通信时使用机载LED相机灯、红外光发射器或另一可见光通信设备发射可见光信号，建立与所述车辆的加密通信信道，以及使用自动和/或用户可选择的标识特征来向所述移动装置标识所述车辆。接收器可以包括光电二极管、CMOS相机和能够区分光发射的时间和/或空间性质的其他光敏传感器。
在一些实施例中，本公开包括一种系统，所述系统具有移动装置，所述移动装置包括处理器和存储指令的存储器。存储器存储指令，所述指令在被执行时可以使处理器在被执行时将移动装置应用程序与约车应用程序服务器连接，并且将车辆标识(ID)请求消息发送到车辆计算系统。所述车辆ID请求消息可以包括加密密钥对中的加密移动装置密钥，以及在所述车辆与所述移动装置之间建立可见光连接(VLC)的请求。在其他方面，车辆ID请求消息还可以包括其他信息，例如，基于GPS的近似装置位置、描述VLC参数的配置信息、相应相机的给定特征、光发射器能力、环境照明等。所述处理器响应于所述车辆ID请求消息并且经由所述车辆上的VLC系统来识别所述车辆，经由车辆ID和所述加密密钥对中的加密车辆密钥来识别所述车辆。
用于向移动装置用户标识车辆和驾驶员的常规方法可以使用诸如全球定位系统(GPS)的技术，所述技术对于提供正确的车辆/客户识别可能不够准确。此外，使用贴纸或灯不能提供正确识别任务，并且可能容易被使用常规方法混淆或伪造。而且，当前的解决方案不允许自主车辆或驾驶员在由GPS识别的大体位置中识别出人群中的客户。先前的解决方案可能需要存储生物特征信息，这可能牵连到隐私或在许多情况下不足以实现正确识别。
在本文中更详细地提供本公开的这些和其他优点。
附图说明
参考附图阐述具体实施方式。使用相同的附图标记可以指示类似或相同的项。各种实施例可利用除了在附图中示出的元件和/或部件之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。贯穿本公开，根据上下文，单数术语和复数术语可以可互换地使用。
图1描绘了其中可实现用于提供本文所公开的系统和方法的技术和结构的示例性计算环境。
图2至图5描绘了根据本公开的成排停放的多个车辆的街道场景，如通过移动装置显示器看到的。
图6是根据本公开的示例性方法的流程图的流程图。
具体实施方式
下文将参考附图更全面地描述本公开，附图中示出了本公开的示例性实施例，并且所述实施例不意图为限制性的。
图1描绘了示例性计算环境100，该示例性计算环境可以包括一个或多个车辆105，该一个或多个车辆包括汽车计算机145以及车辆控制单元(VCU)165，该车辆控制单元典型地包括设置成与车辆计算机145和可见光通信(VLC)系统107进行通信的多个电子控制单元(ECU)117。移动装置120(其可以与约车乘客140和车辆105相关联)可以使用有线和/或无线通信协议和收发器以及可见光通信来与汽车计算机145连接。移动装置120可以经由一个或多个网络125来与车辆105通信地耦合，该一个或多个网络可以经由一个或多个无线信道130进行通信，和/或该移动装置可以使用近场通信(NFC)协议、
Figure BDA0002932107410000041
协议、Wi-Fi、超宽带(UWB)以及其他可能的数据连接和共享技术来与车辆105直接地连接。车辆105还可接收全球定位系统(GPS)175和/或与其进行通信。
汽车计算机145可以是或包括具有一个或多个处理器150和存储器155的电子车辆控制器。在一些示例性实施例中，汽车计算机145可以设置成与移动装置120以及一个或多个约车应用程序服务器170进行通信。车应用程序服务器170可以是基于云的计算基础设施的一部分，并且可以与远程信息处理服务交付网络(SDN)相关联和/或包括所述远程信息处理服务交付网络，所述远程信息处理服务交付网络向车辆105和可能是车辆车队的一部分的其他车辆(图1中未示出)提供数字数据服务。
尽管被示出为运动型多功能车，但车辆105可采取另一种乘用或商用汽车的形式，例如，小型汽车、卡车、跨界车、厢式货车、小型货车、出租车、公共汽车、人力车、吉普车等，并且可被配置和/或编程为包括各种类型的汽车驱动系统。示例性驱动系统可包括具有汽油、柴油或天然气动力燃烧发动机的内燃发动机(ICE)动力传动系统，其具有常规的驱动部件，诸如变速器、驱动轴、差速器等。在另一种配置中，车辆105可被配置为电动车辆(EV)。更具体地，车辆105可包括电池EV(BEV)驱动系统，或者被配置为具有独立车载动力装置的混合动力EV(HEV)、包括HEV动力传动系统的插电式HEV(PHEV)，HEV动力传动系统可连接到外部电源，并且包括具有燃烧发动机动力装置和一个或多个EV驱动系统的并联或串联混合动力动力传动系统。HEV可包括用于蓄电的电池和/或超级电容器组、飞轮蓄电系统或其他发电和蓄电基础设施。车辆105还可以被配置为使用燃料电池(例如，氢燃料电池车辆(HFCV)动力传动系统等)和/或这些驱动系统和部件的任何组合将液体或固体燃料转换为可用动力的燃料电池车辆(FCV)。
此外，车辆105可以是手动驾驶的车辆，和/或被配置和/或编程为在完全自主(例如，无人驾驶)模式(例如，5级自主)下或在一种或多种部分自主模式下操作。部分自主模式的示例在本领域中被广泛地理解为0级至5级自主。具有1级自主的自主车辆(AV)通常可以包括单个自动化驾驶员辅助特征，诸如转向或加速辅助。自适应巡航控制是1级自主系统的这样一个示例，其包括加速和转向两个方面。车辆中的2级自主可以提供转向和加速功能的部分自动化，其中自动化系统由执行非自动化操作(诸如制动和其他控制)的人类驾驶员监督。车辆中的3级自主通常可以提供对驾驶特征的条件自动化和控制。例如，3级车辆自主典型地包括“环境检测”能力，其中车辆可以独立于当前的驾驶员而做出明智的决策，诸如加速驶过缓慢移动的车辆，而如果系统无法执行任务，当前的驾驶员仍准备好重新取得对车辆的控制。4级自主包括具有高级自主的车辆，其可以独立于人类驾驶员操作，但是仍包括用于超驰操作的人类控制。4级自动化还可以使得自行驾驶模式能够响应于诸如道路危险或系统故障等预定义条件触发而进行干预。5级自主与无需人类输入进行操作并且通常不包括人类操作的驾驶控制的自主车辆系统相关联。
根据一个实施例，VLC系统107可以被配置和/或编程为与使用AV控制器(图1中未示出)的具有任何水平的自主控制的车辆一起操作。例如，车辆105可以在3级、4级或5级AV模式下操作，使得约车乘客140可能没有他们可以验证车辆身份的人类接触(例如，车辆驾驶员)。在另一方面，车辆105可以在车辆105上具有车辆驾驶员143。移动装置120(并且更具体地，应用程序135)可以与约车应用程序服务器(诸如如图1所示的约车应用程序服务器170)连接和/或与车辆计算系统(诸如VCU 165)连接。
通过一般概述，VLC系统107可以包括车辆105上和车辆105外的部件，使得移动装置120可以与车辆建立可见光通信(VLC)(并且反之亦然)。尽管被描述为加密通信信道，但是在一个实施例中，VLC还可以建立非加密通信信道。移动装置120可以向车辆105发送信息以与车辆105建立安全和/或不安全的通信信道。例如，移动装置120可以将车辆标识(ID)请求消息122发送到VCU 165，其中车辆ID请求消息122包括加密移动装置密钥(图1中未示出)。加密移动装置密钥可以是对于车辆105和移动装置120唯一的加密密钥对中的一个密钥。因此，移动装置120可以传输车辆ID请求消息作为在车辆105与移动装置120之间建立可见光连接(VLC)的请求。移动装置处理器121可以使用车辆ID和加密车辆密钥(在图1中统一示出为响应消息123)经由车辆105上的VLC系统107来识别车辆，所述车辆ID和加密车辆密钥可以发送回移动装置120作为对车辆ID请求消息122的响应。
在一个实施例中，移动装置120可能由于障碍物而没有通向车辆105的清晰视线。第二车辆(图1中未示出)可以配置有第二VLC系统(图1中未示出)，并且还可以设置成与移动装置120和/或车辆105中的一者或多者通信。因此，第二车辆可以接收车辆ID请求消息并将该消息转发到车辆105以在车辆105与移动装置120之间建立VLC。例如，移动装置120与车辆105之间的障碍物可以是暂时或间歇性障碍物，诸如在移动装置120与车辆105之间短暂停下、然后离开场景的另一车辆(图1中未示出)(暂时性障碍物)，或当风改变其位置时阻挡信号的间歇性障碍物，诸如树或其他对象。通过使用第三车辆中继，移动装置120可以及时地与车辆105建立通信，尽管存在暂时或间歇性障碍物。
在另一方面，移动装置120可能由于障碍物而没有通向车辆105的清晰视线，但是仍然可以使用被设置成与具有相同设备的车辆通信的红外(IR)LED源(IR-LED)和IR接收器来形成VLC通信信道。因此，在没有第二车辆的帮助的情况下，移动装置120和车辆105可以使用IR VLC系统建立安全的或不安全的通信信道。
VLC系统107可以被配置和/或编程为使VCU 165连接到约车应用程序服务器(诸如约车应用程序服务器170)、接收包括加密移动装置密钥的移动装置标识(ID)请求消息。在示例性实施例中，移动装置密钥可以是加密密钥对的一部分。ID请求消息还可以包括使用VCU165受控部件的各个方面在车辆105与移动装置120之间建立可见光连接(VLC)的请求。受控部件可以包括例如相机系统163a和/或163b、车辆前照灯108、内部光发射器109、车辆喇叭(图1中未示出等)。VCU 165可以经由网络125和/或经由使用VLC直接将移动装置120与VCU 165连接的一个或多个无线信道133与移动装置通信。
移动装置120可包括用于存储与应用程序135相关联的程序指令的存储器，所述程序指令在被移动装置处理器121执行时执行所公开的实施例的各方面。应用程序(或“应用”)135可以是VLC系统107的一部分，或者可以向VLC系统107提供信息和/或从VLC系统107接收信息。移动装置120还可以包括相机系统163B，所述相机系统可以与安装在车辆105上的相机系统163A基本上类似或相同。VLC系统107还可以包括光电二极管，所述光电二极管被配置有用于移动装置定位和VLC信息交换的惯性测量单元(IMU)。在另一方面，相机系统163A可以是和/或包括第二移动装置(未示出)，所述第二移动装置被配置和/或被编程为与车辆105、VCU 165和/或车辆105的其他方面通信和/或以其他方式与其集成。例如，当车辆内的用户的移动装置被配置为VLC系统107的一部分时，车辆内的用户可以使用该装置来执行一些VLC通信方面。
在一个示例性实施例中，相机系统163A和/或163B可以是高动态范围(HDR)图像相机系统，和/或可以包括车辆105和移动装置120两者上的飞行时间(TOF)范围图像相机系统。相机系统163A和163B可以另外或排他地用于交换信息。
在一些方面，移动装置120可以通过一个或多个信道130与车辆105进行通信，所述一个或多个信道可以在移动装置120与远程信息处理控制单元(TCU)160之间加密并建立。移动装置120可使用与车辆105上的TCU 160相关联的无线发射器与TCU 160进行通信。发射器可使用例如网络125的无线通信网络来与移动装置120进行通信。无线信道在图1中被描绘为通过信道130经由一个或多个网络125进行通信，并且还通过使用蓝牙通信的信道133A经由直接通信与车辆105进行通信，和/或使用VLC经由信道133B与车辆进行通信。
网络125示出了示例性通信基础设施的示例，其中本公开的各种实施例中讨论的连接的装置可以进行通信。网络125可以是和/或包括互联网、专用网络、公共网络或使用任何一种或多种已知的通信协议操作的其他配置，所述已知的通信协议例如传输控制协议/互联网协议(TCP/IP)、
Figure BDA0002932107410000081
基于电气和电子工程师协会(IEEE)标准802.11的Wi-Fi、超宽带(UWB)，以及蜂窝技术，诸如时分多址(TDMA)、码分多址(CDMA)、高速分组接入(HSPDA)、长期演进(LTE)、全球移动通信系统(GSM)和第五代(5G)，仅举几个例子。
根据本公开，汽车计算机145可安装在车辆105的发动机舱中(或车辆105中的其他地方)并且可作为VLC系统107的功能部分操作。汽车计算机145可包括一个或多个处理器150和计算机可读存储器155。
一个或多个处理器150可以设置成与被设置成与相应的计算系统进行通信的一个或多个存储器装置(例如，存储器155和/或图1中未示出的一个或多个外部数据库)进行通信。处理器150可利用存储器155来以代码存储程序和/或存储数据以执行根据本公开的各方面。存储器155可以是存储VLC信道建立和通信程序代码的非暂时性计算机可读存储器。存储器155可包括易失性存储器元件(例如，动态随机存取存储器(DRAM)、同步动态随机存取存储器(SDRAM)等)中的任一者或组合，并且可包括任何一个或多个非易失性存储器元件(例如，可擦除可编程只读存储器(EPROM)、快闪存储器、电子可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)等)。
VCU 165可在车辆105的系统、连接的服务器(例如，约车应用程序服务器170)以及作为车辆车队的一部分操作的其他车辆(图1中未示出)之间协调数据。VCU 165可包括ECU117(例如车身控制模块(BCM)193、发动机控制模块(ECM)185、变速器控制模块(TCM)190、TCU 160、约束控制模块(RCM)187等)的任何组合或可与其通信。在一些方面，VCU 165可控制车辆105的各方面，并且可实现从在移动装置120上操作的应用程序135所接收的一个或多个指令集、从自主车辆(AV)控制器(诸如关于图2讨论的AV控制器245)所接收的指令。
TCU 160可被配置和/或编程为向车辆105上和外的无线计算系统提供车辆连接性，并且可包括用于接收和处理来自GPS 175的GPS信号的导航(NAV)接收器188、
Figure BDA0002932107410000091
低功耗模块(BLEM)195、Wi-Fi收发器、超宽带(UWB)收发器和/或可配置为用于在车辆105与其他系统、计算机和模块之间的无线通信的其他无线收发器(图1中未示出)。TCU 160可设置成通过控制器局域网(CAN)总线180与ECU117进行通信。在一些方面中，TCU160可以检索数据并作为CAN总线180节点发送数据。
BLEM 195可使用
Figure BDA0002932107410000092
和Bluetooth
Figure BDA0002932107410000093
通信协议通过广播和/或监听小广告包的广播并且与根据本文所述的实施例配置的响应装置建立连接来建立无线通信。例如，BLEM 195可以包括响应或发起GATT命令和请求的客户端装置的通用属性配置文件(GATT)装置连接性，并且与移动装置120直接地连接。
CAN总线180可以被配置为多主控串行总线标准以使用基于消息的协议将ECU 117中的两个或更多个连接为节点，所述基于消息的协议可以被配置和/或编程为允许ECU 117彼此通信。CAN总线180可以是或包括高速CAN(其在CAN上的位速度可以高达1Mb/s，在CAN灵活数据速率(CAN FD)上的位速度可以高达5Mb/s)，并且可以包括低速或容错CAN(高达125Kbps)，在一些配置中，其可以使用线性总线配置。在一些方面，ECU 117可以与主机计算机(例如，汽车计算机145、VLC系统107和/或约车应用程序服务器170等)通信，并且还可以彼此通信而不必需要主机计算机。CAN总线180可将ECU117与汽车计算机145连接，使得汽车计算机145可从ECU 117检索信息、向所述ECU发送信息以及以其他方式与所述ECU交互，以执行根据本公开的实施例所述的步骤。CAN总线180可通过两线式总线将CAN总线节点(例如，ECU 117)彼此连接，所述两线式总线可以是具有标称特性阻抗的双绞线。CAN总线180也可使用其他通信协议解决方案(诸如面向媒体的系统传输(MOST)或以太网)来实现。在其他方面中，CAN总线180可以是无线车内CAN总线。
VCU 165可经由CAN总线180通信来直接控制各种负载或者可结合BCM 193实现这种控制。关于VCU 165所述的ECU 117仅出于示例性目的而提供，并且不意图是限制性的或排他性的。用图1中未示出的其他控制模块进行的控制和/或与其的通信是可能的，并且可考虑这种控制。
在示例性实施例中，ECU 117可使用来自人类驾驶员的输入、来自自主车辆控制器的输入、VLC系统107和/或经由通过无线信道133从其他连接的装置(诸如移动装置120等)所接收的无线信号输入来控制车辆操作和通信的各方面。当被配置为CAN总线180中的节点时，ECU 117各自可以包括中央处理单元(CPU)、CAN控制器和/或收发器(图1中未示出)。例如，尽管图1中将移动装置120描绘为经由BLEM 195连接到车辆105，但是可以设想，也可或替代地经由与模块相关联的相应的收发器在移动装置120与ECU 117中的一个或多个之间建立无线连接133。
BCM 193通常包括传感器、车辆性能指示器以及与车辆系统相关联的可变反应器的集成，并且可以包括基于处理器的配电电路，该配电电路可以控制与车身(诸如灯、窗、安全装置、门锁和访问控制)相关联的功能以及各种舒适性控制。BCM 193还可以作为总线和网络接口的网关操作，以与远程ECU(图1中未示出)进行交互。
BCM 193可以协调各种车辆功能性中的任一种或多种功能，包括能量管理系统、警报、车辆防盗器、驾驶员和乘车者进入授权系统、手机即钥匙(PaaK)系统、驾驶员辅助系统、自主车辆(AV)控制系统、电动窗、门、致动器以及其他功能性等。BCM 193可以被配置为用于车辆能量管理、外部照明控制、雨刮器功能性、电动窗和门功能性、供暖通风和空调系统以及驾驶员集成系统。在其他方面，BCM 193可以控制辅助设备功能性，和/或负责集成这种功能性。在一个方面，具有挂车控制系统的车辆可至少部分地使用BCM 193来集成所述系统。
汽车计算机145、VCU 165和/或VLC系统107的计算系统架构可以省略某些计算模块。应容易理解，图1中描绘的计算环境是根据本公开的可能的实现方式的一个示例，并且因此不应被视为限制性的或排他性的。
VLC系统107可以包括HDR图像相机系统163，所述HDR图像相机系统163可以被配置和/或编程为获得HDR图像以通过分析场景中的图像帧来识别所配置的装置并与之通信，其中一个或多个其他装置、车辆等在图像帧内并且具有通过相机系统163的视线。相机系统163可以包括用于向在移动装置120上实例化的应用程序135标识车辆105的部件，并且还可以包括在车辆105上实例化以用于识别移动装置120的部件。因此，相机系统163当在车辆105上引用时被称为163A，并且在被引用为移动装置120的一部分时被称为163B。尽管关于移动装置上或车辆上的HDR图像系统进行了描述，但是应当理解，用于每个相应装置的HDR系统可以以基本上类似或相同的方式起作用。
一种这样的HDR图像相机系统在被授予福特全球技术有限责任公司(Ford GlobalTechnologies,LLC)并于2019年1月29日公布的美国专利第10,193,627号中描述，所述专利以引用方式整体并入本文。通过对并入本文的基础技术的简要概述，VLC系统107可以获得HDR图像，所述HDR图像可基于使用一个或多个相机(例如，相机124)以不同的曝光时间捕获的一系列图像帧。在一个示例性实施例中，VLC系统107可通过以下方式将图像融合成单个合成动态范围图像(图1中未示出)：将一个或多个HDR图像和/或捕获的图像帧进行排序(例如，以时间顺序)，以及基于其具有时间变化(图像到图像捕获)和/或空间变化(例如，由于CMOS相机卷帘快门的伪像)搜索所排序的帧来寻找光源的证据。
预期与本公开的系统一起使用的一种类型的光源可以包括光保真(LiFi)技术。LiFi是利用光在两个数字装置之间传输数据和位置信息的无线通信技术。更具体地，LiFi是光学无线通信(OWC)技术的衍生物，其使用来自发光二极管(LED)的光作为介质来以与Wi-Fi类似的方式递送网络、移动、高速通信。数据传输可以在可见光、紫外和红外光谱上高速进行。在其当前状态下，仅LED灯可以用于可见光的传输。
在示例性实施例中，VLC系统107可以使用LiFi检测算法来检测兼容装置(在车辆上或在移动装置上)，所述LiFi检测算法在将图像帧划分成实时提供可搜索数据或提供基本上实时的视频馈送的子窗口之后搜索图像捕获。除了检测VLC源的位置(即，它们在图像帧中的子窗口“足迹”)之外，VLC系统107还可使用HDR图像来确定每个相应VLC源的最佳曝光时间。例如，使用包括单个源(例如，LED阵列)的子窗口(即，边界框)内的像素的平均值或中值(例如，亮度)来计算相应的最佳曝光。替代地，一个或多个处理器(例如，处理器150和/或121)可以查看分别在单独视野(FOV)子窗口中识别的VLC源，以避免使用全局曝光时间的缺点，该全局曝光时间可能完全阻止来自低强度LED源的数据传输，或者可能降低使用更高亮度LED源获得的数据传输速率。
在一个方面，可见光通信(VLC)方法可包括用相机捕获场景的帧。处理器121可以从场景的帧组装增强的动态范围图像序列，以确定是否可以在帧中检测到至少一个VLC源。更具体地，VLC系统107可以确定是否在由系统获得的连续图像帧的相应子窗口的增强序列中识别出至少一个VLC源。根据所述相应VLC源的亮度优化所述子窗口处的曝光。VLC系统107可使用所述优化的曝光捕获场景的多个子窗口图像。然后，处理器121可以对在子窗口图像中可见的VLC数据进行解码。如本文所使用的，亮度是指使用针对VLC的任何已知编码方案的任何特定强度调制(具有或不具有色彩变化)。
图2描绘了成排停放的多个车辆的街道场景。在一个示例性情景中，图2的车辆可能位于机场或其他公共交通枢纽，在此处，乘客(诸如约车乘客140)可能会遇到约车驾驶员和/或车辆。在一个方面，图2的车辆包括目标车辆265。如本文所解释的，约车乘客140可能不清楚哪个车辆是目标车辆265。约车乘客140可以使用在移动装置120上操作的应用程序135来识别目标车辆265。
在一个示例性实施例中，移动装置120可以与约车应用程序服务器连接，所述约车应用程序服务器可以是如图1所示的约车应用程序服务器170。约车应用程序服务器170可以向作为约车平台的一部分的移动装置提供信息并且从所述移动装置接收信息。在一些方面，约车乘客140可能请求约车，但不能明确地识别车辆阵容中的目标车辆265。这可能是由于各种原因所致，诸如所有车辆之间的相对类似的设计(如在场景中所描绘的)，或者原本可用于区分车辆的其他识别方面(诸如车牌号、车辆颜色、驾驶员描述、驾驶员照片等)的有限视野。在其他示例中，如果约车中的车辆是AV，则可能不存在与该约车相关联的驾驶员。因此，约车乘客140可能不了解他们已经匹配的车辆，并且在一些情况下，可能没有与人类驾驶员通信以请求识别辅助的途径。
VLC系统107可以通过基于经由从目标车辆发射的VLC信号接收的车辆密钥信息提供车辆的实时识别来解决这些问题。移动装置120可以被配置有应用程序135，所述应用程序从约车应用程序服务器170和/或经由与目标车辆265的直接通信来接收信息，其中应用程序135通过以下方式在场景中的多个车辆中识别目标车辆265：使用可听噪声、视觉指示(例如，从目标车辆265闪烁的光)和/或经由移动装置120的显示器上的识别目标车辆265的增强现实表示。
例如，约车乘客140可以通过接近成队的车辆并与多个成队的车辆建立视线来接近场景。应用程序135可以包括一个或多个指令260，所述指令指示约车乘客140向应用程序135提供输入数据的步骤，移动装置处理器121可以利用所述输入数据来处理所排序的帧中的任何VLC信号。应用程序135可以利用VLC信号来认证车辆，并在目标车辆265与移动装置120之间建立加密通信信道。例如，指令260可以读取“从左到右扫动电话”以提示约车乘客140提供场景的捕获车辆的一系列视频帧(并且理想地，将目标车辆265捕获在帧的一些或全部中)。因此，响应于指令260，约车乘客140可以如图2所描绘的那样举起移动装置，并从左向右扫动装置，使得车辆队伍的完整视图至少一次出现在移动装置显示器255中。移动装置120可以将一些或全部图像帧保存到移动装置120上的计算机可读存储器(图2中未示出)，并且执行如VLC通信领域中所理解的图像处理技术。
目标车辆265可以包括车载VLC系统，其具有发光系统161，并且在一些选择性实施例中，具有HDR图像相机系统163A。换句话说，车辆105可以被配备成生成信标VLC信号，所述信标VLC信号类似于与蓝牙通信协议相关联的信标信号，其中诸如移动装置120的任何监听装置(或者在VLC通信的情况下，监视装置)可以监视VLC信号并生成车辆ID请求消息122以请求在车辆105与移动装置120之间建立通信信道。
在其他方面，应用程序135还可以包括一个或多个用户可选动作按钮240、245、250......等。在图2的示例中，移动装置120可以接收用户选择，并且响应于接收到用户选择而生成用于车辆105的指令。响应于利用应用程序135认证目标车辆265的车辆ID消息，移动装置120可以经由VLC信道133B在一个或多个消息中发送指令。用户可选动作按钮240-250可以包括以下选项：例如“闪灯”按钮，所述按钮可以指示目标车辆265响应于接收到用户对该按钮的选择而使车辆前照灯(例如，如图1所描绘的前照灯108)闪烁；“鸣喇叭”按钮，所述按钮指示目标车辆265响应于接收到用户对该按钮的选择而鸣响喇叭(图2中未示出的喇叭)；或者执行任何数量的其他可能的识别动作，诸如自主导航到发出呼叫的移动装置120的大致位置。
图3描绘了如通过移动装置显示器255看到的成排停放的多个车辆的街道场景。在一个示例性情景中，动作按钮240-250指示用户可选择的动作，包括“闪灯”动作按钮310、“突显车辆”动作按钮315和“鸣喇叭”动作按钮320。在识别由目标车辆265发射的VLC信号并建立车辆105与移动装置120的VLC信道133B之后，移动装置120可在移动装置显示器255上显示实时或基本上实时的场景(例如，如图2所示的场景200)。移动装置显示器255还可以提供对认证的车辆的实时确认。例如，响应于对“突显车辆”动作按钮315的选择，移动装置120可以生成并发送指令，所述指令致使目标车辆265致动车辆内部车厢灯(如果选择的时间是在夜间，使得场景是黑暗的，并且致动的内部车厢灯从车辆外部是明显的)。
图4示出了如通过移动装置显示器255看到的多个车辆的街道场景的另一个视图。这里，约车乘客140被描绘为选择“闪灯”动作按钮310。响应于接收到用户对“突显车辆”动作按钮315的选择，移动装置120，并且更具体地，处理器121(如图1所示)可以生成使车辆执行所请求动作(在该示例中，使车辆前照灯闪烁)的指令，并且以加密消息将所述指令发送到目标车辆265。所述消息可以经由VLC信道133B作为加密的数据包发送。下文关于图6讨论使用加密密钥对建立加密信道的示例性实施例。响应于从移动装置120接收到动作消息，车辆的VCU(例如，如图1所描绘的VCU 165)可以使用与控制指令相关联的一个或多个控制模块来执行指令。例如，BCM(例如，如图1所示的BCM 193)可以使车辆喇叭鸣响，或者如图4所描绘，使车辆前照灯108根据消息中的指令闪烁。通过使车辆前照灯闪烁，VLC系统107可以就车辆队伍中的所有其他车辆中的适当车辆(目标车辆265)向约车乘客140发出警报。
图5示出了如通过移动装置显示器255看到的多个车辆的街道场景的另一个视图。这里，约车乘客140被描绘为选择“突显车辆”动作按钮315。响应于接收到用户对“突显车辆”动作按钮315的选择，移动装置120，并且更具体地，处理器121(如图1所示)可以生成使移动装置执行所请求动作(在该示例中，生成示出现实街道场景的帧的增强现实覆盖物505)的指令。例如，覆盖物505可以包括如由移动装置相机124获得的实时车辆帧的突显的轮廓或其他描绘。增强现实覆盖物505可以是突显的样条、线、动画、具有目标车辆265的边界的彩色覆盖物，或结合具有示出现实场景和目标车辆265的图像帧的动画或计算机生成的特征的一些其他描绘。移动装置120可以经由VLC信道133B(在图1中描绘)作为加密的数据包发送消息。下文关于图6讨论使用加密密钥对建立加密信道的示例性实施例。
响应于从移动装置120接收到动作消息，目标车辆265的VCU(其可以与图1中所描绘的VCU 165基本上类似或相同)可以使用与所述控制指令相关联的一个或多个控制模块来执行指令。例如，目标车辆265BCM可使车辆喇叭(图5中未示出)鸣响，或者如图4所描绘，使车辆前照灯108根据消息中的指令闪烁。通过使车辆前照灯闪烁，VLC系统107可以就车辆队伍中的所有其他车辆中的适当车辆(目标车辆265)向约车乘客140发出警报。
图6是用于使用移动装置(诸如如图1至图5中所描绘的移动装置120)生成车辆标识的示例性方法600的流程图。可继续参考包括图1至图5的先前附图来描述图6。以下过程是示例性的，并且不限于下文描述的步骤。此外，替代实施例可包括本文示出或描述的更多或更少的步骤，并且可以与以下示例性实施例中描述的顺序不同的顺序包括这些步骤。
首先参考图6，在步骤605处，方法600可以开始于将移动装置应用程序与约车应用程序服务器(例如图1所示的约车应用程序服务器170)连接。
在步骤610处，所述方法可以包括将车辆计算系统连接到约车应用程序服务器。该步骤可以包括经由约车应用程序服务器获得加密签名的私钥，以及基于所述私钥和加密车辆密钥来确定所述加密车辆密钥与和移动装置或车辆相关联的约车账户相关联。
在步骤615处，方法600还可以包括经由移动装置120向车辆计算系统(例如，VCU165)发送车辆标识(ID)请求消息。在一个方面，车辆ID请求消息可以包括在车辆105与移动装置120之间建立VLC的请求。在一个示例性实施例中，车辆ID请求消息可以包括加密密钥对中的加密移动装置密钥。
在步骤620处，所述方法包括经由车辆上的VLC系统来识别车辆，经由车辆ID和加密密钥对中的加密车辆密钥来识别车辆。
在一个实施例中，所述方法还包括经由移动装置确定所述加密车辆密钥与约车账户相关联，以及响应于确定所述加密车辆密钥与所述约车账户相关联，在移动装置120的显示器上生成识别所述车辆的增强现实标识符。接收视频馈送可以包括在移动装置120的视线内的车辆的图像。在一个方面，所述方法包括：在所述视频馈送中识别包括所述加密车辆密钥的光通信发射，以及在所述移动装置的所述显示器上生成识别所述车辆的增强现实表示，所述生成基于包括所述加密车辆密钥的所述光通信发射。所述加密车辆密钥可以包括在VLC信号中。此外，由车辆生成的VLC可以使用车辆的前照灯来生成VLC信号，使得前照灯以人类观察者不可想象但可使用移动装置120上的HDR图像相机系统163A读取的速率循环打开和关闭。在其他示例性实施例中，使用目标车辆265的内部车厢灯生成光通信发射。例如，内部车厢灯可以以类似的速率闪烁，以便生成可以被解密并且移动装置120可以对其生成响应的信号。在另一个示例性实施例中，VLC系统107可以提供对车辆车厢中的指定座椅的指示，和/或可以提供对车辆105的多个车门中用户将通过其进入车辆105的特定车门的AR指示。
在以上公开中，已经参考了形成以上公开的一部分的附图，附图示出了其中可实践本公开的具体实现方式。应理解，在不脱离本公开的范围的情况下，可以利用其他实现方式，并且可以进行结构改变。本说明书中对“一个实施例”、“实施例”、“示例性实施例”等的引用指示所描述的实施例可包括特定特征、结构或特性，但每个实施例可不一定包括所述特定特征、结构或特性。此外，此类短语不一定指代同一实施例。另外，当结合实施例描述特征、结构或特性时，无论是否明确描述，本领域的技术人员都将认识到结合其他实施例的此类特征、结构或特性。
还应当理解，如本文所使用的词语“示例”意图在本质上是非排他性的和非限制性的。更具体地，如本文所用的词语“示例性”指示若干示例中的一者，并且应当理解，对所描述的特定示例并没有过分的强调或偏好。
计算机可读介质(也称为处理器可读介质)包括参与提供可由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此种介质可采取许多形式，包括但不限于非易失性介质和易失性介质。计算装置可包括计算机可执行指令，其中所述指令可由一个或多个计算装置(诸如以上列出的那些)执行并存储在计算机可读介质上。
关于本文所描述的过程、系统、方法、启发法等，应当理解，虽然已经将此类过程等的步骤描述为根据某个有序顺序发生，但是此类过程可用以与本文所描述的次序不同的次序执行的所描述的步骤来实践。还应理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文所描述的某些步骤。换句话说，本文中对过程的描述是出于说明各种实施例的目的而提供的，并且绝不应被解释为限制权利要求。
因此，应理解，以上描述旨在是说明性的而非限制性的。在阅读以上描述时，除所提供的示例之外的许多实施例和应用将为明显的。所述范围不应参考以上描述来确定，而是应参考所附权利要求以及享有此类权利要求的权利的等效物的整个范围来确定。预计并预期本文所讨论的技术未来将有所发展，并且所公开的系统和方法将并入到此类未来实施例中。总而言之，应当理解，本申请能够进行修改和变化。
除非在本文中做出明确的相反指示，否则权利要求中使用的所有术语意图被赋予其如本文中描述的技术人员所理解的普通含义。特别地，除非权利要求相反地叙述明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的元件中的一个或多个。除非另有特别说明或在使用时在上下文内以其他方式理解，否则诸如尤其是“能够”、“可能”、“可以”或“可”的条件语言通常意图表达某些实施例可包括某些特征、元件和/或步骤，而其他实施例可不包括某些特征、元件和/或步骤。因此，此类条件语言通常并不意图暗示一个或多个实施例无论如何都需要所述特征、元件和/或步骤。
根据一个实施例，处理器还被编程为执行指令以：发送车辆动作请求，所述车辆动作请求包括执行鸣响喇叭信号或使车灯闪烁中的一者或多者的指令。
根据本发明，提供了一种可见光通信(VLC)系统，所述VLC系统具有：处理器，所述处理器被编程为：连接到约车应用程序服务器；从移动装置接收包括加密密钥对中的加密移动装置密钥的移动装置标识(ID)请求消息，其中所述请求消息包括在车辆与所述移动装置之间建立可见光连接(VLC)的请求；以及生成包括车辆ID和所述加密密钥对中的加密车辆密钥的VLC通信传输，其中所述加密车辆密钥启用耦合所述处理器和所述移动装置的VLC通信信道。
根据一个实施例，本发明的特征还在于具有存储在其上的另外的指令，以：确定所述加密车辆密钥与约车账户相关联；以及响应于确定所述加密车辆密钥与所述约车账户相关联，在所述移动装置的显示器上生成识别所述车辆的增强现实标识符。
根据一个实施例，本发明的特征还在于具有存储在其上的另外的指令，以：从所述车辆上的前照灯或所述车辆的内部车厢灯生成所述光通信传输。
根据一个实施例，本发明的特征还在于具有存储在其上的另外的指令，以：接收车辆动作请求，所述车辆动作请求包括执行鸣响喇叭信号或使车灯闪烁中的一者或多者的指令；以及响应于接收到所述指令而鸣响所述喇叭信号或使所述车灯闪烁。

Claims (15)

1.一种用于使用移动装置生成车辆标识的方法，其包括：
将移动装置应用程序与约车应用程序服务器连接；
将与车辆相关联的车辆计算系统连接到所述约车应用程序服务器；
经由所述移动装置向车辆计算系统发送车辆标识(ID)请求消息，所述车辆ID请求消息用于在所述车辆与所述移动装置之间建立可见光连接(VLC)；以及
经由车辆ID和加密密钥对中的加密密钥来识别所述车辆。
2.如权利要求1所述的方法，其中所述车辆ID请求消息包括所述加密密钥对中的加密移动装置密钥。
3.如权利要求2所述的方法，其还包括：
经由所述移动装置确定加密车辆密钥与约车账户相关联；以及
响应于确定所述加密车辆密钥与所述约车账户相关联，在所述移动装置的显示器上生成识别所述车辆的增强现实标识符。
4.如权利要求3所述的方法，其中在所述移动装置的所述显示器上生成所述增强现实标识符包括：
接收视频馈送，所述视频馈送包括在所述移动装置的视线内的车辆的图像；
在所述视频馈送中识别包括所述加密车辆密钥的光通信发射；
以及在所述移动装置的所述显示器上生成识别所述车辆的增强现实表示，所述生成基于包括所述加密车辆密钥的所述光通信发射。
5.如权利要求4所述的方法，其中使用所述车辆的前照灯生成所述光通信发射。
6.如权利要求4所述的方法，其中使用所述车辆的内部车厢灯生成所述光通信发射。
7.如权利要求3所述的方法，其中所述确定包括：
经由所述约车应用程序服务器获得加密签名的私钥；以及
基于所述加密签名的私钥和所述加密车辆密钥来确定所述加密车辆密钥与和所述移动装置或所述车辆相关联的约车账户相关联。
8.如权利要求1所述的方法，其还包括：
发送车辆动作请求，所述车辆动作请求包括执行鸣响喇叭信号或使车灯闪烁中的一者或多者的指令。
9.一种系统，其包括：
处理器；和
存储器，所述存储器用于存储可执行指令，所述处理器被编程为执行所述指令以：
将移动装置应用程序与约车应用程序服务器连接；
将车辆计算系统连接到所述约车应用程序服务器；
经由所述移动装置向所述车辆计算系统发送车辆标识(ID)请求消息，所述车辆ID请求消息包括在车辆与所述移动装置之间建立可见光连接(VLC)的请求；以及
经由车辆ID和加密密钥对中的加密车辆密钥来识别所述车辆。
10.如权利要求9所述的系统，其中所述车辆ID请求消息还包括所述加密密钥对中的加密移动装置密钥。
11.如权利要求10所述的系统，其中所述处理器还被编程为执行所述指令以：
经由所述移动装置确定所述加密车辆密钥与约车账户相关联；以及
响应于确定所述加密车辆密钥与所述约车账户相关联，在所述移动装置的显示器上生成识别所述车辆的增强现实标识符。
12.如权利要求11所述的系统，其中所述处理器还被编程为执行所述指令以：
接收视频馈送，所述视频馈送包括在所述移动装置的视线内的车辆的图像；
在所述视频馈送中识别包括所述加密车辆密钥的光通信发射；
以及在所述移动装置的所述显示器上生成识别所述车辆的增强现实表示，所述生成基于包括所述加密车辆密钥的所述光通信发射。
13.如权利要求12所述的系统，其中所述处理器还被编程为执行所述指令以：
使用从所述车辆的前照灯生成的光来识别光通信传输。
14.如权利要求13所述的系统，其中所述处理器还被编程为执行所述指令以：
使用从所述车辆的内部车厢灯生成的光来识别所述光通信传输。
15.如权利要求9所述的系统，其中所述处理器还被编程为执行所述指令以：
经由所述约车应用程序服务器获得加密签名的私钥；以及
基于所述加密签名的私钥和所述加密车辆密钥来确定所述加密车辆密钥与和所述移动装置或所述车辆相关联的约车账户相关联。
CN202110149532.1A 2020-02-10 2021-02-03 具有可见光通信的增强现实车辆识别 Pending CN113259004A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/786,849 US11699206B2 (en) 2020-02-10 2020-02-10 Augmented reality vehicle identification with visual light communication
US16/786,849 2020-02-10

Publications (1)

Publication Number Publication Date
CN113259004A true CN113259004A (zh) 2021-08-13

Family

ID=76968821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110149532.1A Pending CN113259004A (zh) 2020-02-10 2021-02-03 具有可见光通信的增强现实车辆识别

Country Status (3)

Country Link
US (1) US11699206B2 (zh)
CN (1) CN113259004A (zh)
DE (1) DE102021102796A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220227612A1 (en) 2021-01-15 2022-07-21 Oshkosh Corporation Elevation based machine localization system and method

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10139237B2 (en) * 2015-09-01 2018-11-27 Chris Outwater Method for remotely identifying one of a passenger and an assigned vehicle to the other
GB201600968D0 (en) * 2016-01-19 2016-03-02 Qatar Foundation For Education Science And Community Dev A visible light communication system
US10333620B2 (en) * 2016-02-11 2019-06-25 Morgan State University System and method for lighting and building occupant tracking
US10027412B2 (en) * 2016-05-26 2018-07-17 The Florida International University Board Of Trustees System and method for visible light communications with multi-element transmitters and receivers
US10263831B2 (en) * 2016-08-08 2019-04-16 International Business Machines Corporation Communication of event messages in computing systems
US10019621B2 (en) * 2016-09-14 2018-07-10 General Motors Llc Identifying a vehicle using a mobile device
US10135529B2 (en) * 2017-01-16 2018-11-20 GM Global Technology Operations LLC Automotive light based communication system for user equipment
US10856203B2 (en) * 2017-01-19 2020-12-01 Qualcomm Incorporated Signaling for link aggregation setup and reconfiguration
US9904375B1 (en) * 2017-04-10 2018-02-27 Uber Technologies, Inc. LIDAR display systems and methods
US10511771B2 (en) * 2017-04-21 2019-12-17 Qualcomm Incorporated Dynamic sensor mode optimization for visible light communication
US11120264B2 (en) * 2017-06-02 2021-09-14 Apple Inc. Augmented reality interface for facilitating identification of arriving vehicle
US10411798B2 (en) * 2017-07-13 2019-09-10 Qualcomm Incorporated Power optimized VLC signal processing with efficient handling of ISP/VFE
US20190206258A1 (en) 2018-01-04 2019-07-04 nuTonomy Inc. Augmented reality vehicle interfacing
US10193627B1 (en) * 2018-05-31 2019-01-29 Ford Global Technologies, Llc Detection of visible light communication sources over a high dynamic range
US10464529B1 (en) * 2018-11-15 2019-11-05 Didi Research America, Llc Method and system for managing access of vehicle compartment
US10501055B1 (en) * 2018-11-15 2019-12-10 Didi Research America, Llc Passenger and vehicle mutual authentication
US10740615B2 (en) * 2018-11-20 2020-08-11 Uber Technologies, Inc. Mutual augmented reality experience for users in a network system
US10696222B1 (en) * 2019-03-12 2020-06-30 Waymo Llc Communications for autonomous vehicles

Also Published As

Publication number Publication date
US11699206B2 (en) 2023-07-11
US20210250178A1 (en) 2021-08-12
DE102021102796A1 (de) 2021-08-12

Similar Documents

Publication Publication Date Title
CN110182024B (zh) 用于车辆的车窗调色系统和方法
CN109451760B (zh) 车辆驾驶辅助装置及包括该车辆驾驶辅助装置的停车控制系统
CN107499307B (zh) 自动停车辅助装置以及包括该自动停车辅助装置的车辆
CN109843676B (zh) 自动泊车辅助装置以及包括其的车辆
US9854085B2 (en) Apparatus and method for controlling portable device in vehicle
US10144397B2 (en) Method of providing stopped-vehicle movement mode, driver assistance apparatus providing the same, and vehicle including driver assistance apparatus
CN110177723B (zh) 用于提供周围视野的装置
US11284262B2 (en) Apparatus for testing hacking of vehicle electronic device
US11548452B2 (en) Method and device for correcting vehicle view cameras
KR102183130B1 (ko) 차량 제어 장치
US20220258773A1 (en) Autonomous Vehicle Rider Authentication, Boarding, And Drop Off Confirmation
KR20180080939A (ko) 차량 운전 보조장치 및 이를 포함하는 차량
US20210023985A1 (en) System and method to indicate a vehicle status
CN114466115A (zh) 车辆视觉led闪烁干扰减轻系统
US20220229432A1 (en) Autonomous vehicle camera interface for wireless tethering
US11699206B2 (en) Augmented reality vehicle identification with visual light communication
KR20170041072A (ko) 차량용 소음 감지장치 및 이를 포함하는 차량
CN111295876B (zh) 全景环视图像控制装置及其全景环视图像处理方法
US11369017B2 (en) Systems and methods utilizing a vehicle for detecting and responding to a power outage
KR20180106336A (ko) 카메라장치, 이를 이용한 충돌방지장치 및 충돌방지방법
CN114394106A (zh) 增强的增强现实车辆通路

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination