CN118119523A - 用于车辆乘员辅助的车辆和移动设备接口 - Google Patents

用于车辆乘员辅助的车辆和移动设备接口 Download PDF

Info

Publication number
CN118119523A
CN118119523A CN202280066180.6A CN202280066180A CN118119523A CN 118119523 A CN118119523 A CN 118119523A CN 202280066180 A CN202280066180 A CN 202280066180A CN 118119523 A CN118119523 A CN 118119523A
Authority
CN
China
Prior art keywords
vehicle
occupant
mobile device
data
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280066180.6A
Other languages
English (en)
Inventor
Z·阿斯加尔
W·J·霍兰
S·H·奥古兹
B·拉马萨米
L·希亚恩布拉特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN118119523A publication Critical patent/CN118119523A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4561—Evaluating static posture, e.g. undesirable back curvature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4845—Toxicology, e.g. by detection of alcohol, drug or toxic products
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/191—Highlight information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B60K2360/5915—Inter vehicle communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Dermatology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Human Computer Interaction (AREA)
  • Vascular Medicine (AREA)
  • Pulmonology (AREA)
  • Analytical Chemistry (AREA)
  • Anesthesiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pharmacology & Pharmacy (AREA)

Abstract

提供了用于车辆和用于车辆乘员辅助的移动设备界面的系统、方法和非暂时性介质。示例方法可以包括：基于车辆的内部部分的一个或多个图像来确定移动设备相对于车辆的坐标系的姿态；确定车辆的乘员的状态；以及，向车辆发送指示乘员的状态和移动设备相对于车辆的坐标系的姿态的数据。

Description

用于车辆乘员辅助的车辆和移动设备接口
技术领域
本公开内容总体上涉及用于车辆乘员辅助的扩展现实。例如，本公开内容的各方面涉及用于车辆中的扩展现实的车辆到设备接口。
背景技术
许多设备和系统允许通过生成场景的图像(或帧)和/或视频数据(包括多个帧)来捕获该场景。例如，具有摄像头的设备可以捕获场景的帧序列(例如，场景的视频)。在一些情况中，帧的序列可以被处理以用于一个或多个功能、输出以用于显示、输出以用于由其他设备处理和/或消耗、以及其他用途。车辆是可以包括一个或多个摄像头的设备的一个示例。例如，车辆可以包括可以捕获车辆内部和/或车辆外部区域的帧的摄像头。帧可以被处理以用于各种目的，诸如确定或识别道路状况；识别车辆附近的其他车辆、对象、行人和/或障碍物；以及其他目的。
扩展现实(XR)设备是可以包括一个或多个摄像头的设备的另一示例。XR设备可以包括增强现实(AR)设备、虚拟现实(VR)设备、混合现实(MR)设备等。例如，AR设备的示例包括智能眼镜和头戴式显示器(HMD)。通常，AR设备可以实现摄像头和各种传感器跟踪AR设备和其他对象在物理环境内的方位。AR设备可以使用跟踪信息来向AR设备的用户提供现实AR体验。例如，AR设备可以允许用户体验沉浸式虚拟环境或内容或与沉浸式虚拟环境或内容交互。为了提供现实的AR体验，AR技术通常旨在将虚拟内容与物理世界集成。在一些示例中，AR技术可以匹配对象和设备的相对姿态和移动。例如，AR设备可以使用跟踪信息来计算设备、对象的相对姿态和/或现实世界环境的地图，以便匹配设备、对象和/或现实世界环境的相对方位和移动。使用一个或多个设备、对象和/或现实世界环境的姿态和移动，AR设备可以通过有说服力的方式将内容锚定到现实世界环境。相对姿态信息可以用于将虚拟内容与设备、对象和现实世界环境的用户所感知运动和时空状态进行匹配。
发明内容
本文描述了用于将移动设备(诸如增强现实(AR)设备)与车辆的操作进行集成的系统和技术。根据至少一个示例，提供了一种用于车辆乘员辅助的增强现实的方法。该方法可以包括：基于车辆的内部部分的一个或多个图像，确定移动设备相对于车辆的坐标系的姿态；确定车辆的乘员的状态；以及向车辆发送指示乘员的状态和移动设备相对于车辆的坐标系的姿态的数据。
根据至少一个示例，提供了一种用于车辆乘员辅助的增强现实的非暂时性计算机可读介质。非暂时性计算机可读介质可以包括存储在其上的指令，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器用于：基于车辆的内部部分的一个或多个图像，来确定移动设备(例如，所述装置)相对于所述车辆的坐标系的姿态；确定所述车辆的乘员的状态；以及，将指示乘员的状态和移动设备相对于车辆的坐标系的姿态的数据发送给所述车辆。
根据至少一个示例，提供了一种用于车辆乘员辅助的增强现实的装置。所述装置可以包括存储器以及耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：基于车辆的内部部分的一个或多个图像来确定移动设备(例如，所述装置)相对于所述车辆的坐标系的姿态；确定所述车辆的乘员的状态；以及，将指示乘员的状态以及移动设备相对于车辆的坐标系的姿态的数据发送给所述车辆。
根据至少一个示例，提供了用于车辆乘员辅助的增强现实的另一装置。所述装置可以包括用于以下操作的单元：基于车辆的内部部分的一个或多个图像，确定移动设备相对于车辆的坐标系的姿态；确定车辆的乘员的状态；以及，将指示乘员的状态和移动设备相对于车辆的坐标系的姿态的数据发送给车辆。
在一些方面中，上述方法、非暂时性计算机可读介质和装置可以基于与一个或多个传感器相关联的数据来确定车辆的上下文。在一些示例中，上下文可以包括与车辆相关的事件。
在一些方面中，上述方法、非暂时性计算机可读介质和装置可以确定车辆的乘员的眼睛注视。在一些示例中，乘员的状态包括乘员的眼睛注视，并且乘员与移动设备相关联(例如，乘员正在佩戴移动设备)。
在一些示例中，乘员的状态可以包括：乘员关于操作车辆的损伤。在一些情况中，损伤可以包括以下各项中的至少一项：关于车辆的操作和与车辆相关联的事件中的至少一项的分心的状态、中毒状态、健康状况、清醒状态、检测到的情绪状态、控制车辆的受损位置、和受损视野。
在一些情况下，确定乘员的状态可以包括从车辆接收与车辆的一个或多个传感器相关联的数据；以及，基于与车辆的一个或多个传感器相关联的数据和移动设备的姿态来确定乘员的状态。在一些示例中，与车辆的一个或多个传感器相关联的数据指示以下各项中的至少一项：车辆的状态和与车辆相关联的事件。
在一些示例中，与车辆相关联的事件可以包括以下各项中的至少一项：在车辆的路径或与车辆的路径的门限接近度内存在对象、与车辆的路径相关联的交通控制、以及车辆未能保持在速度限制和车道标记中的至少一项。在一些情况中，在车辆的路径或与车辆的路径的门限接近度内的对象可以包括行人、动物和另一车辆中的至少一项。
在一些情况中，确定乘员的状态可以包括：从与乘员穿戴的移动设备和可穿戴设备中的至少一项相关联的一个或多个传感器接收与乘员相关联的一个或多个健康测量值；以及，基于一个或多个健康测量来确定乘员的状态。在一些示例中，一个或多个健康测量可以包括以下各项中的至少一项：心率、血压、体温、皮肤电反应、来自乘员的心脏的电信号的测量值、乘员的大脑的电活动的测量值、眼睛发红的量、以及瞳孔大小。
在一些方面中，确定乘员的状态可以包括：确定乘员的眼睛注视聚焦远离车辆前方的道路一段时间；以及，基于乘员的眼睛注视聚焦远离车辆前方的道路一段时间并且确定这段时间超过门限时间段来确定乘员的损伤状态。
在一些情况中，确定乘员的眼睛注视聚焦远离车辆前方的道路一段时间可以包括：确定乘员的眼睛注视在这段时间的至少一部分内聚焦于由移动设备渲染的虚拟内容。
在一些示例中，确定乘员的眼睛注视聚焦远离车辆前方的道路一段时间可以包括：确定乘员的眼睛注视聚焦在与车辆的路径或与车辆的路径的门限接近度内的障碍物的方向不同的方向上。
在一些方面中，上文所描述的方法、非暂时性计算机可读介质和装置可以向第二车辆、车辆基础设施系统、与第二车辆的第二乘员相关联的第一远程设备、以及与行人相关联的第二远程设备中的至少一项发送关于乘员的状态的指示。
在一些情况中，确定乘员的状态可以包括：确定佩戴移动设备的乘员的眼睛注视；以及，基于移动设备的姿态和乘员的眼睛注视来确定乘员的状态。
在一些示例中，确定移动设备的姿态可以包括：从车辆接收包括与车辆相关联的一个或多个标记的车辆模板；以及，基于一个或多个图像和车辆模板来确定移动设备相对于车辆的坐标系的姿态。
在一些示例中，一个或多个标记可以包括以下各项中的至少一项：车辆的内部部分内的区域和附连到车辆的内部部分的物体中的至少一项上的视觉图案、车辆的内部部分的元件、车辆的内部部分内的表面、以及车辆内部的照明物体。
在一些示例中，一个或多个图像描绘一个或多个标记，并且确定移动设备的姿态可以包括：检测一个或多个图像中的一个或多个标记；以及，基于检测到的一个或多个标记和车辆模板来确定移动设备相对于车辆的坐标系的姿态。
在一些方面中，上文所描述的方法、非暂时性计算机可读介质和装置可以使用移动设备的一个或多个图像传感器，获得车辆的内部部分的图像集合，所述图像集合描绘与车辆相关联的一个或多个视觉地标；以及，基于所述图像集合来生成车辆模板。在一些示例中，车辆模板可以包括一个或多个视觉地标。
在一些情况中，确定移动设备的姿态可以包括：获得与移动设备相关联的惯性传感器数据；以及，基于一个或多个图像和惯性传感器数据来确定移动设备的姿态。
在一些方面中，上述装置中的每一个装置是以下各项、可以是以下各项的一部分、或可以包括以下各项：移动设备、可穿戴设备、摄像头系统、个人计算设备和/或扩展现实(XR)设备(例如，虚拟现实(VR)设备、增强现实(AR)设备或混合现实(MR)设备)。在一些示例中，所述装置可以包括以下各项、或者是以下各项的一部分、和/或与以下各项对接：车辆、移动设备(例如，移动电话或所谓的“智能电话”或其它移动设备)、可穿戴设备、个人计算机、膝上型计算机、平板计算机、服务器计算机、机器人设备或系统、航空系统或其它设备。在一些方面中，所述装置包括用于捕获一个或多个图像的图像传感器(例如，摄像头)或多个图像传感器(例如，多个摄像头)。在一些方面中，所述装置包括用于显示一个或多个图像、通知和/或其它可显示数据的一个或多个显示器。在一些方面中，所述装置包括一个或多个扬声器、一个或多个发光器件和/或一个或多个麦克风。在一些方面中，上文描述的装置可以包括一个或多个传感器。在一些情况中，所述一个或多个传感器可以用于确定所述装置的姿态、所述装置的状态(例如，跟踪状态、操作状态、温度、湿度水平和/或其它状态)和/或用于其它目的。如本文所使用的，术语姿态是指装置、传感器或其他真实世界设备或结构相对于坐标系的方位和取向。
该发明内容既不旨在标识所要求保护的主题的关键或必要特征，也不旨在单独用于确定所要求保护的主题的范围。应当通过参考本专利的整个说明书的适当部分、任何或全部附图以及每个权利要求来理解该主题。
在参照以下说明书、权利要求以及附图之后，前述内容以及其它特征和实施例将变得更加显而易见。
附图说明
下文参考以下附图详细描述了本申请的说明性示例：
图1是示出根据本公开内容的一些示例的移动设备的计算系统的示例的图；
图2是示出根据本公开内容的一些示例的车辆的计算系统的示例的框图；
图3是示出根据本公开内容的一些示例的用于车内定位的示例系统过程的图；
图4A和图4B是示出根据本公开内容的一些示例的用于车辆乘员辅助的增强现实的示例系统过程的图；
图5是示出根据本公开内容的一些示例的用于调制针对车辆乘员而渲染的虚拟内容的示例用例的图；
图6A至图6E是示出根据本公开内容的一些示例的用于调制虚拟内容的示例用例的图；
图7A至图7I是示出根据本公开内容的一些示例的驾驶车辆的乘员的不同示例状态的图；
图8是示出根据本公开内容的一些示例的包括乘员监测事件的车辆到万物通信的示例的图；
图9和图10是示出根据本公开内容的一些示例的基于由驾驶车辆的乘员佩戴的移动设备所确定的乘员状态的示例车辆缓解事件的图；
图11是示出根据本公开内容的一些示例的用于在车辆的操作期间控制虚拟内容的呈现的示例过程的流程图；
图12是示出根据本公开内容的一些示例的用于监测车辆的乘员的示例过程的流程图；
图13是示出根据本公开内容的一些示例的用于控制车辆的操作的示例过程的流程图；
图14是示出根据本公开内容的一些示例的用于将车辆与关联于车辆乘员的移动设备进行对接的示例过程的流程图；以及
图15示出了根据本公开内容的一些示例的示例计算设备架构。
具体实施方式
下面提供了本公开内容的某些方面和实施例。这些方面和实施例中的一些方面和实施例可以独立地应用，并且其中的一些方面和实施例可以组合地应用，如对于本领域技术人员来说将显而易见的。在下面的描述中，为了便于解释起见，阐述了特定的细节以便提供对本申请的实施例的透彻理解。但是，显而易见的是，可以在不具有这些特定细节的情况下实践各个实施例。附图和描述不旨在是限制性的。
随后的描述仅提供示例实施例，而不旨在限制本公开内容的范围、适用性或配置。相反，随后对示例性实施例的描述将为本领域技术人员提供用于实现示例性实施例的可行描述。应当理解，在不脱离所附权利要求中阐述的本申请的范围的情况下，可以对元件的功能和布置进行各种改变。
扩展现实(XR)系统或设备可以向用户提供虚拟内容和/或可以组合现实世界或物理环境和虚拟环境(由虚拟内容组成)以向用户提供XR体验。现实世界环境可以包括现实世界对象(也称为物理对象)，例如，书、人、车辆、建筑物、桌、椅和/或其他现实世界或物理对象。XR系统或设备可以促进与不同类型的XR环境的交互(例如，用户可以使用XR系统或设备来与XR环境交互)。XR系统可以包括促进与虚拟现实(VR)环境交互的VR系统、促进与增强现实(AR)环境交互的AR系统、促进与混合现实(MR)环境交互的MR系统和/或其他XR系统。如本文所用，术语XR系统和XR设备可互换地使用。XR系统或设备的示例包括头戴式显示器(HMD)、智能眼镜以及其他。在一些情况中，XR系统可以跟踪用户的部分(例如，用户的手和/或指尖)以允许用户与虚拟内容项交互。
AR是在物理、现实世界场景或环境的用户视图上提供虚拟或计算机生成的内容(称为AR内容)的技术。AR内容可以包括虚拟内容，诸如视频、图像、图形内容、位置数据(例如，全球定位系统(GPS)数据或其他位置数据)、声音、其任何组合、和/或其他增强内容。AR系统或设备被设计为提升(或增强)而非替换人对现实的当前感知。例如，用户可以通过AR设备显示器看到真实的静止或移动的物理对象，但是用户对物理对象的视觉感知可以通过该对象的虚拟图像(例如，由DeLorean的虚拟图像替换的现实世界汽车)、通过添加到物理对象的AR内容(例如，添加到活的动物的虚拟翅膀)、通过相对于物理对象显示的AR内容(例如，在建筑物上的标志附近显示的信息性虚拟内容、在一个或多个图像中虚拟地锚定到现实世界桌子(例如，放置在其顶部)的虚拟咖啡杯等)和/或通过显示其他类型的AR内容，来被增强或提升。各种类型的AR系统可以用于游戏、娱乐和/或其他应用。
在一些情况中，可以用于提供AR内容的两种类型的AR系统包括视频透视(也称为视频直通)显示器和光学透视显示器。视频透视和光学透视显示器可以用于增强用户对现实世界或物理对象的视觉感知。在视频透视系统中，显示现实世界场景的实况视频(例如，包括在实况视频上增强或提升的一个或多个对象)。视频透视系统可以使用移动设备(例如，移动电话显示器上的视频)、HMD或可以在视频上显示视频和计算机生成的对象的其他合适设备来实现。
具有AR特征的光学透视系统可以将AR内容直接显示到真实世界场景的视图上(例如，不显示真实世界场景的视频内容)。例如，用户可以通过显示器(例如，眼镜或镜片)查看现实世界场景中的物理对象，并且AR系统可以将AR内容(例如，投影或以其他方式显示)显示到显示器上，以向用户提供一个或多个现实世界对象的提升的视觉感知。光学透视AR系统或设备的示例是AR眼镜、HMD、另一AR耳机或其他类似设备，其可以包括在每只眼睛前面的透镜或玻璃(或两只眼睛上的单个透镜或玻璃)以允许用户直接看到具有物理对象的现实世界场景，同时还允许该对象或附加AR内容的提升图像被投影到显示器上以增强用户对现实世界场景的视觉感知。
例如，VR在三维(3D)计算机生成的VR环境或用于描绘虚拟版本的现实世界环境的视频中提供完整的沉浸式体验。VR环境可以通过看似真实或物理的方式进行交互。当体验VR环境的用户在现实世界中移动时，在虚拟环境中渲染的图像也变化，从而给予用户对用户正在VR环境内移动的感知。例如，用户可以左转或右转、向上或向下看，和/或向前或向后移动，从而改变用户对VR环境的视点。呈现给用户的XR内容可以相应地改变，使得用户的体验与在现实世界中的体验一样无缝。在一些情况中，VR内容可以包括VR视频，其可以以非常高的质量被捕获和渲染，潜在地提供真正沉浸式虚拟现实体验。虚拟现实应用可以包括游戏、训练、教育、体育视频、在线购物等。可以使用VR系统或设备(诸如VR HMD或其他VR头戴设备)来渲染和显示VR内容，所述VR系统或设备在VR体验期间完全覆盖用户的眼睛。
MR技术可以组合VR和AR的各方面以针对用户提供沉浸式体验。例如，在MR环境中，真实世界和计算机生成的对象可以交互(例如，真实的人可以与虚拟的人交互，就好像该虚拟的人是真实的人一样)。
本文描述了用于集成来自车辆和移动(便携式和/或可穿戴)设备(诸如XR设备(例如，增强现实(AR)或混合现实(MR)设备、虚拟现实(VR)设备等)、具有联网/通信能力的可穿戴设备、智能电话、个人计算设备等)的数据、功能、动作和/或设备能力的系统、装置、方法(在本文中统称为“系统和技术”)。在一些示例中，本文所述的系统和技术可以使用来自XR设备(例如，AR设备、MR设备等)和/或车辆的数据和/或功能来向车辆的乘员提供帮助。例如，在一些情况中，本文描述的系统和技术可以向车辆的乘员提供用于增强现实辅助的车辆到设备(例如，车辆到移动计算设备)接口。
在一些示例中，车辆可以包括可以捕获车辆内部和/或车辆外部区域(例如，车辆周围环境)的帧的摄像头。可以出于各种目的来处理帧，诸如确定或识别道路状况；识别车辆中的人的身份；识别车辆附近的其他车辆、对象、行人和/或障碍物；确定和/或识别与车辆相关联的环境(例如，车辆外部的环境、车辆内部的环境等)中的活动和/或事件；等等。车辆还可以包括和/或实施其他类型的传感器系统以测量和/或确定各种状况。例如，在一些情况中，车辆可以包括和/或实现一个或多个无线电检测和测距(RADAR)系统、惯性测量单元(IMU)、光检测和测距(LIDAR)系统、超声传感器、射频(RF)传感器、声音导航和测距(SONAR)系统、电磁检测和测距(EmDAR)系统、声音检测和测距(SODAR)系统、全球导航卫星系统(GNSS)接收机系统(例如，一个或多个全球定位系统(GPS)接收机系统)、加速度计、陀螺仪、速度传感器、红外线传感器系统、激光测距仪系统、超声传感器系统、次声波传感器系统、麦克风、其任何组合、和/或其他传感器系统。
移动设备(诸如XR设备(例如，头戴式显示器AR设备、AR智能眼镜或其他XR设备))还可以包括可捕获图像和/或视频的一个或多个摄像头。例如，AR设备可以实现摄像头和各种传感器以确定和/或跟踪AR设备和其他对象在物理环境内的方位。AR设备可以使用跟踪信息来向AR设备的用户提供现实AR体验。例如，AR设备可以允许用户体验沉浸式虚拟环境或内容或与沉浸式虚拟环境或内容交互。如上所述，为了提供现实的AR体验，AR技术通常旨在将虚拟内容与物理世界相集成。例如，AR设备可以使用来自一个或多个传感器的跟踪信息来计算设备、对象的相对姿态、和/或现实世界环境的地图，以便匹配设备、对象和/或现实世界环境的相对方位和移动。使用一个或多个设备、对象和/或现实世界环境的姿态和移动，AR设备可以通过有说服力的方式将内容锚定到现实世界环境。相对姿态信息可以用于将虚拟内容与设备、对象和现实世界环境的用户所感知运动和时空状态进行匹配。
XR设备(例如，AR设备)的用户有时可以当用户在车辆中时(例如，当用户正在驾驶车辆或作为车辆中的乘客时)佩戴XR设备。例如，在一些情况中，用户可以在操作(例如，驾驶)车辆时佩戴AR设备。在一些情况中，佩戴AR设备和操作车辆的用户(例如，驾驶员)可能由于一个或多个状况(例如，分心)而受损。换句话说，用户操作车辆的能力可能由于这种状况而受损。分心可以由诸如用户外部的原因之类的各种事情引起。例如，用户可能被由AR设备呈现的虚拟内容(例如，电子邮件通知、世界锁定的虚拟广告牌或标志、应用内容、视频和/或图像内容、接口内容等)、在车辆外部的环境中发生的对象和/或活动、在车辆内部发生的对象和/或事件、车辆的其他乘员、想法和/或不专心(例如，幻想等)、声音或噪声(例如，在车辆内部和/或外部)、用户设备等分心。
即使没有这种分心，车辆的乘员(例如，驾驶员)通常也可能遭受其他损伤。其他损伤可以包括以下各项和/或由以下各项引起：某些身体和/或个人限制和/或状况，例如，有限的感知、有限的注意力、真实世界的事件和状况、睡眠不足、醉酒、健康状况等。例如，穿戴AR设备的车辆的乘员(例如，驾驶员)可能难以从乘员的视点或视野看到车辆周围环境的某些区域/视图(例如，车辆后方的区域、车辆下方的区域、靠近车辆外部的区域、被一个或多个对象和/或状况遮挡/遮挡的区域(例如，照明不良等)、车辆上方的区域、距车辆一定距离的区域等)。此外，某些道路状况可能对于车辆的乘员是不可见的或可能难以被车辆的乘员看到，诸如积水、冰、超出车辆的一个或多个灯(例如，前灯、雾灯、越野灯、应急灯、信号灯、日间行车灯、倒车灯、尾灯、制动灯等)的范围的障碍物等。车辆的乘客也可能被某些事件和物体分散注意力，例如，过往车辆、行人、周围活动/事件、导航警报等。在某些情况下，这种损伤可能会阻碍或阻碍驾驶员安全操作车辆或对驾驶条件做出反应的能力。
在一些方面中，本文描述的系统和技术可以允许车辆和XR设备(例如，AR设备)彼此对接，比如，共享/集成来自车辆和XR设备的数据、功能、动作和/或设备能力。相互对接和共享/集成数据可以允许车辆和XR设备(例如，AR设备)向车辆的乘员(例如，车辆的驾驶员/操作者、车辆乘客等)提供辅助。在一些示例中，XR设备(例如，AR设备)可以使用来自车辆和/或在XR设备上的一个或多个传感器的数据来将其自身定位在车辆内(例如，在车辆的内部，例如车厢内)(确定其方位和/或取向，一般确定其姿态)。在一些情况中，XR设备可以实现定位过程，该定位过程可以执行车载地标/标记(例如，车辆内部的快速响应(QR)码、车辆内部的灯、车辆内部的对象(例如，门、窗、座椅、头枕、仪表板部件、车辆控制系统(例如，方向盘、喇叭、信号系统等)、车辆内部的图案、车辆内部的形状等)的基于图像和/或基于音频(例如，经由音频波束成形)的定位。定位过程可以使用这样的车载地标/标记来定位车辆内的XR设备。例如，定位过程可以使用车载地标/标记来确定XR设备相对于XR设备和/或车辆的坐标系的姿态。
在一些情况中，定位过程可以基于来自XR设备(例如，AR设备)上的一个或多个设备(例如，传感器、发射机、收发机、成像设备等)(诸如一个或多个摄像头、无线电接口、超声传感器、雷达等)的数据来检测车载地标。例如，(例如来自一个或多个IMU的)辅助传感器数据可以用于跟踪XR设备的姿态。在一些情况中，定位过程可以使用车辆模板来确定XR设备相对于在车辆模板中指定并检测到的一个或多个车载地标的方位，如上所述。例如，定位过程可以使用车辆模板来识别其可以用于定位的一个或多个车载地标。在一些情况中，车辆模板可以指定一个或多个车载地标的坐标(比如，方位和/或取向信息)，定位过程可以使用该坐标来相对于XR设备(例如，AR设备)和/或车辆的坐标系来定位自身。例如，定位过程可以使用来自如上所述的一个或多个设备(例如，传感器、发射机、收发机等)的数据来检测在车辆模板中标识的一个或多个车载地标。车辆模板可以指定一个或多个车载地标的坐标，这可以定义一个或多个车载地标相对于车辆的坐标系的方位和/或取向。车辆模板可以是车辆专用的或专用于车辆型号、品牌、系列、类别或其组合。定位过程可以使用在车辆模板中指定的坐标来确定由XR设备(例如，AR设备)检测到的一个或多个车载地标相对于车辆的坐标系的方位和/或取向。定位过程可以将一个或多个车载地标相对于车辆的坐标系的位置和/或取向变换、转变、和/或关联到相对于XR设备的坐标系的位置和/或取向。XR设备(例如，AR设备)可以使用与一个或多个车载地标相关联的位置和/或取向信息来理解、确定和/或跟踪XR设备在车辆内并且相对于XR设备的坐标系和/或车辆的坐标系的姿态。
在一些方面中，XR设备可以实现乘员监测过程，比如驾驶员监测过程，其可以基于车辆的状态、乘员的方位/取向、由XR设备所渲染的虚拟内容、使用XR设备上的一个或多个摄像头的眼睛跟踪、惯性传感器数据、音频传感器数据、雷达数据、无线电信号等来监测用户的损伤。在一些示例中，XR设备可以包括虚拟内容过滤过程，该虚拟内容过滤过程可以基于来自车辆的状态和乘员监测过程来过滤或阻止虚拟内容呈现给乘员(例如，驾驶员或乘客)。车辆用户界面过程可以基于例如来自车辆的状态和乘员监测过程来渲染用户界面元素。
在一些情况中，车辆可以实施车辆监测过程，该车辆监测过程可以识别和监测与车辆、车辆的乘员和/或车辆的周围环境相关的状态和/或事件。车辆监测过程可以向(例如，经由无线的无线电链路)与车辆进行无线通信(例如，配对)的XR设备(例如，AR设备)发送关于此类状况/事件的数据。XR设备可以将这样的数据用于乘员监测过程、虚拟内容过滤过程、车辆用户界面过程等。在一些示例中，车辆可以实现事件缓解过程，该事件缓解过程可以基于由XR设备生成的乘员(例如，驾驶员)监测事件(诸如由XR设备检测到的乘员状况和/或活动)来改变车辆操作和/或自主驾驶策略。
如前所述，在一些情况中，XR设备(例如，AR设备)的车载定位过程可以允许XR设备理解XR设备在车辆内的姿态。XR设备可以使用定位过程来确定其相对于车辆的坐标系的姿态和/或在车辆的坐标系内的姿态。例如，为了呈现来自基于车辆的传感器和/或指令的数据和/或事件，XR设备可以使用定位过程来获得XR设备相对于车辆的坐标系的姿态的共同理解。在一些情况中，定位过程可以执行从车辆的坐标系到XR的坐标系的变换。在一些情况中，为了帮助XR设备在车辆内定位自身和/或在三维(3D)空间中映射车辆的内部，车辆可以向XR设备提供车辆模板。车辆模板可以包括例如但不限于一个或多个车载地标的视觉、IR和/或RF描述符。车载地标的非限制性示例可以包括：固定到车辆的内部部分(例如，车厢)中的对象或区域(例如，车厢中的对象/区域、挡风玻璃上的区域、仪表板上的对象/区域、门上的对象/区域、座椅上的对象/区域等)的视觉图案(例如，QR码、诸如棋盘图案、刻写/雕刻、图案材料、标签等的校准图案)、固定到车辆的内部部分中的对象和/或区域的主动照明(例如，发光二极管(LED)等)、车辆的内部部分的不可移动元件(例如，仪表组、仪表板的拐角、车窗和/或挡风玻璃的拐角、车辆的车顶、车辆的中央控制台等)、具有与车辆的车身已知方位/偏移的车辆的内部部分的可移动元件(例如，乘客座椅、方向盘等)等等。在一些示例中，车辆模板可以包括/指定车载地标相对于车辆的坐标系的位置和/或取向。
XR设备(例如，AR设备)的定位过程可以使用车载地标/标记、视觉、IR和/或RF描述符、以及位置和/或取向信息来相对于车载地标和车辆的坐标系定位自身。例如，使用XR设备的一个或多个摄像头，XR设备可以实现定位过程以(连续地)搜索车辆模板中指定的车载地标，并且相对于车载地标和(通过扩展)车辆来定位自身。在一些情况中，XR设备还可以使用其他传感器/设备来辅助定位，例如，WiFi设备、蓝牙设备、超声设备、IMU等。
车辆监测过程可以监测XR设备(例如，AR设备)、车辆和/或一个或多个周围环境等的状态。车辆监测过程可以识别与车辆及其周围环境、驾驶状况、道路状况、车辆状况等相关的事件。车辆监测过程可以向XR设备发送关于这些事件的数据，XR设备可以将这些数据用于乘员监测过程、虚拟内容过滤过程、车辆用户界面过程等。由车辆监测过程提供给XR设备的数据的非限制性示例可以包括仪器读数；传感器数据(例如，摄像头数据、RADAR数据、SONAR数据、SODAR数据、EmDAR数据，GNSS数据、LIDAR数据、IMU数据、GPS数据等)、指示车辆的路径中的状况(例如，天气条件、交通状况、道路状况等)的互联网数据、导航信息等。在一些示例中，传感器数据可以在被提供给XR设备之前由车辆进行预处理，例如，通过应用图像处理、传感器融合、对象/受试者检测等。在一些示例中，可以将至少一些传感器数据未经处理地提供给XR设备。
在一些示例中，传感器数据可以指示车辆的状态或状态，诸如车辆的操作状态、车辆的运动状态、自主驾驶策略、车辆相关事件(例如，车辆部件或传感器触发警报的故障)以及它们的组合、车辆路径中或接近车辆路径的物体或障碍物的存在(例如，在一些情况中，经由在肯定示例和否定示例上训练的机器学习分类器被确定的)、车辆路径中或接近车辆路径的行人的存在(例如，在一些情况中，经由在肯定示例和否定示例上训练的机器学习分类器被确定的)、车辆路径中的某物(例如，坑洞、事故、动物、不平坦道路部分、车道标记等)的存在(例如，在一些情况中，经由在肯定示例和否定示例上训练的机器学习分类器被确定的)、车辆路径后方或附近的物体(例如，紧急车辆等)的存在(例如，在一些情况中，经由在肯定示例和否定示例上训练的机器学习分类器被确定的)等。在一些情况中，传感器数据可以沿着车辆路径的交通控制(例如，停车标志、停车灯等)(例如，在一些情况中，经由在正示例和负示例上训练的机器学习分类器被确定)指示：车辆正在违反车道标线(例如，在一些情况中，经由在正示例和负示例上训练的机器学习分类器被确定的)、车辆正在超过速度限制(例如，在一些情况中，基于车辆的速度表和速度限制区域的数据库被确定的)等等。
在一些情况中，车辆监测过程可以提供XR设备(例如，AR设备)车辆到万物(V2X)(例如，车辆到车辆(V2V)、车辆到基础设施(V2I)等)数据和/或事件。车辆监测过程可以向XR设备提供的V2X数据的非限制性示例包括：指示在车辆路径中存在障碍物的V2X数据、指示车辆路径中或接近车辆路径的行人的存在的V2X数据、指示车辆路径中存在某物(例如，坑洞、动物、物体等)的V2X数据、指示车辆路径后方或附近存在紧急车辆的V2X数据、指示沿车辆路径存在交通控制(例如，停车标志、停车灯等)的V2X数据、指示车辆正在违反车道标记的V2X数据、指示车辆正在超过速度限制的V2X数据、指示在车辆路径中存在某些状况(例如，天气状况、道路状况、交通状况、事故等)的V2X数据等。
在一些示例中，乘员监测过程可以基于来自车辆的事件数据和/或状态信息、由XR设备(例如，AR设备)渲染的虚拟内容、乘员的方位/取向、用户活动(例如，手势、移动等)、眼睛跟踪、惯性传感器数据、音频数据(例如，语音数据、声学数据、声波等)、用户头部姿态等，来监测用户/乘员的损伤。在一些情况中，可以独立于XR设备所渲染的虚拟内容和/或车辆状态来检测乘员(例如，驾驶员、乘客等)损伤。例如，在一些情况中，可以使用传感器数据和/或传感器数据处理(例如，眼睛跟踪、惯性感测、心率信息、温度数据)来检测乘员损伤。在一些情况中，眼睛跟踪、惯性感测、心率信息、温度数据等可以指示(例如，在一些情况中，经由在正面和负面示例上训练的机器学习分类器被确定的)困倦、中毒、健康紧急情况(例如，发作、心脏病发作、意识丧失等)、压力或升高的情绪状态一般不注意/分心等。在一些情况中，可以使用虚拟内容、车辆状态信息和/或传感器数据的组合来检测损伤。例如，在一些情况中，可以基于指示乘员的眼睛注视已经聚焦于虚拟内容达某个(可配置)时间段的眼睛跟踪数据、指示当车辆事件监视器检测到即将发生的事件或对象(例如，障碍物、行人、坑洞、动物等)时乘员注视聚焦于别处的眼睛跟踪数据、乘员注视的光线跟踪、车辆模板、在报告的车辆事件中的位置信息、指示乘员的方位和/或移动的传感器数据等，来检测乘员损伤。
在一些情况中，XR设备可以调制/修改(例如，经由虚拟内容过滤过程和/或用户界面过程)由XR设备呈现给乘员的虚拟内容。例如，XR设备可以响应于由乘员监测过程确定乘员受损、来自车辆监测过程的关于车辆事件即将发生或正在发生的报告、确定由乘员请求的虚拟内容可以使乘员远离某些驾驶和/或相关事件等，来调制虚拟内容。在一些示例中，XR设备可以通过禁用、调暗或增加除了根据需要标记的虚拟内容的子集(例如，平视显示器(HUD)内容、车辆仪表内容等)之外的所有虚拟内容的透明度、乘员关注的虚拟内容的任何部分(例如，在一些情况中，基于乘员注视的光线跟踪和/或捕捉乘员注视的图像数据而被确定的)，正在遮挡车辆事件的任何虚拟内容(例如，在一些情况中，基于从XR设备到车辆事件的位置的光线跟踪、车辆模板、和/或在报告的车辆事件中的信息而被确定的)等，来调制虚拟内容。
在一些情况中，除了禁用分散虚拟内容以外，AR设备还可以渲染其他虚拟内容以唤醒受损乘员和/或强调即将发生或正在发生的车辆事件。在一些示例中，XR设备可以使乘员的视野(FOV)的边缘脉动，在显示的图像/视频中环绕或突出显示车辆事件的位置，渲染头部锁定箭头，使乘员的视觉的外围脉动，使用其他方向指示符在车辆事件的方向上引导乘员的头部和/或注视，在车辆事件的位置附近流式传输车辆摄像头馈送(例如，倒车摄像头、侧视摄像头等)，将车辆状态(例如，仪表装置等)流式传输为头部锁定HUD或世界锁定用户界面(UI)元素，渲染锁定到车辆的区域(例如，车辆壁等)的扭曲和/或透视校正的外部视图，使得车辆看起来透明或半透明并且车辆事件可见，渲染虚拟内容以替换从现实世界内容分心(例如，广告牌、事故等)。在一些情况中，可以使用深度神经网络来渲染这样的虚拟内容，该深度神经网络被训练为从图像的数据库生成合成或“深伪”虚拟内容，并且以由AR设备和/或车辆观察到的样式中的渲染。
如前面解释的，车辆监测过程可以将车辆事件发送到XR设备(例如，AR设备)。类似地，XR设备的乘员监测过程可以向车辆发送乘员监测事件(例如，损伤等)。在一些示例中，车辆可以具有一些自主或半自主驾驶能力，其可以受益于由XR设备生成的乘员监测事件的知识。车辆可以使用这样的事件作为自主驾驶策略或能力的一部分。例如，在接收到指示乘员(例如，驾驶员)的受损的乘员监测事件时，车辆可以参与自主能力以警告乘员和/或防止与受损驾驶相关联的某些事件或风险，增加已参与自主能力的水平或置信度等。在一些示例中，在接收到指示健康紧急情况的乘员监测事件时，车辆可以启用自主能力以安全地停止车辆或前往某个位置寻求帮助(例如，医院、诊所等)。在一些情况中，车辆可以使用在线或强化学习算法来随时间学习哪些车辆和/或世界事件与特定驾驶员状态(例如，特定受损等)具有更高的相关性，并且使用该信息来处理和/或避免这些情况。例如，如果乘员经常被广告牌分散注意力，则车辆可以降低速度或在具有广告牌的环境中更强烈地实现紧急破坏。
在一些情况中，XR设备可以使用来自乘员的一个或多个可穿戴设备的数据来帮助乘员监测过程。可穿戴设备可以具有可以帮助乘员监测的附加和/或冗余传感器形态。可穿戴设备可以将此类数据(或相关事件的摘要)发送到XR设备以帮助其乘员监测过程。在一些示例中，可穿戴设备可以发送XR设备传感器数据，诸如例如惯性传感器数据、心率测量、血压测量、皮肤电反应测量、ECG/EKG/EEG数据、温度数据、氧气水平、运动信息、睡眠跟踪信息等。在一些情况下，来自可穿戴设备的数据可以指示和/或可以用于确定(例如，经由对积极和消极例子进行训练的机器学习分类器)损伤，例如嗜睡、醉酒、健康紧急情况、压力、增强的情绪状态、意识丧失等。
在一些情况中，XR设备可以从车辆获得乘员监测信息。例如，在一些情况中，车辆可以结合其自己的乘员监测能力/功能。在一些情况中，XR设备可以将来自XR设备的乘员监测过程的原始乘员监测数据发送到车辆，以与车辆的乘员监测系统融合处理(例如，作为发送车辆处理的乘员监测事件的补充或替代)。
在一些情况中，车辆可以向基础设施和/或其他车辆发送乘员监测事件以允许缓解驾驶员事件。例如，车辆可以向其他车辆报告其驾驶员受损，因此其他车辆可以采取预防措施、改变他们的自主驾驶策略(例如，减速、对受损驾驶员回避等)、通知他们的驾驶员的XR设备(例如，在一些情况中，然后其可以突出显示或以其他方式用虚拟内容指示附近车辆具有受损驾驶员)等。在一些情况中，车辆可以向行人过街基础设施报告其驾驶员受损(例如，因此过街信号可以防止行人在具有受损驾驶员的车辆的前方过街等)，向执法部门报告(例如，用于协助和/或保护)，行人的XR设备(例如，使得行人的XR设备可以渲染向受损驾驶员用信号发送的虚拟内容，等等)。在一些情况中，车辆可以渲染本文关于XR设备描述的任何虚拟内容。例如，车辆可以渲染与如本文关于XR和/或移动设备描述的相同的内容和/或内容类型。作为由XR设备渲染的任何内容的补充或替代，车辆可以渲染这样的内容。
将参考附图描述本申请的各个方面。
图1是示出移动设备150的计算系统100的示例的图。移动设备150是可以由终端用户使用的计算设备的示例。例如，移动设备150可以包括便携式设备、移动电话、XR设备(例如，HMD、智能眼镜等)、平板计算机、膝上型计算机、可穿戴设备(例如，智能手表等)、连接的或物联网(IoT)设备、和/或用户用于通过无线通信网络进行通信的任何其他设备。计算系统100包括可以经由诸如总线之类的通信系统134电或通信地耦合(或者可以以其它方式酌情通信)的软件和硬件组件。
计算系统100可以包括一个或多个传感器系统102、计算组件110、一个或多个输入设备120(例如，鼠标、键盘、触敏屏幕、触摸板、小键盘、麦克风、控制器等)、一个或多个输出设备122(例如，一个或多个显示器、扬声器、发光设备、打印机、投影仪等)、一个或多个调制解调器126、一个或多个无线收发机128、一个或多个天线130、和/或一个或多个存储器件132。在一些情况中，计算系统100可以可选地包括一个或多个SIM 124。计算系统100可以包括可以在计算系统100的组件之间传送数据的通信系统134(例如，总线)。在一些示例中，一个或多个输出设备122可以包括移动设备150的左显示器和右显示器，诸如HMD、智能眼镜等。在一些示例中，一个或多个输出设备122可以包括移动设备150的后显示器和/或前显示器，诸如智能电话、智能手表等。在一些情况中，一个或多个输出设备122可以包括一个或多个光学器件，比如一个或多个投影仪。
在一些示例中，通信系统134可以互连一个或多个传感器系统102、计算组件110、一个或多个输入设备120、一个或多个输出设备122、一个或多个调制解调器126、一个或多个无线收发机128、一个或多个天线130和/或一个或多个存储器件132。例如，在一些情况中，计算组件110可以使用通信系统134在处理处理器/核心之间和/或与计算系统100的任何设备/组件(例如，一个或多个传感器系统102、一个或多个输入设备120、一个或多个输出设备122、一个或多个SIM 124、一个或多个调制解调器126、一个或多个无线收发机128、一个或多个天线130和/或一个或多个存储器件132)进行通信。
计算组件110可以包括例如一个或多个中央处理单元(CPU)112、图形处理单元(GPU)114、数字信号处理器(DSP)116和/或图像信号处理器(ISP)118。在一些情况中，计算组件110可以附加地或替代地包括图1中未示出的一个或多个其他处理组件，诸如例如但不限于一个或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)、应用处理器(AP)、视觉处理单元(VPU)、神经网络信号处理器(NSP)、微控制器、计算机视觉(CV)处理器、专用硬件、其任何组合和/或其他处理设备或系统。在一些情况中，一个或多个计算组件110可以包括其它电子电路或硬件、计算机软件、固件或其任何组合，以执行本文中描述的各种操作中的任何操作。在一些示例中，一个或多个计算组件110可以包括比图1中所示出的计算组件更多或更少的计算组件。此外，CPU 112、GPU 114、DSP 116和ISP 118仅仅是出于解释目的而提供的计算组件的说明性示例。
计算系统100可以使用一个或多个计算组件110来执行各种计算操作，诸如例如，扩展现实操作(例如，跟踪、定位、对象检测、分类、姿态估计、映射、内容锚定、内容渲染等)、设备控制操作、图像/视频处理、图形渲染、机器学习、数据处理，建模、计算、计算机视觉、事件监测、本文描述的任何操作、和/或任何其他操作。例如，在一些情况中，一个或多个计算组件110可以使用来自图2所示的传感器系统102、一个或多个输入设备120、一个或多个SIM124、一个或多个调制解调器126、一个或多个无线收发机128、一个或多个天线130、一个或多个存储器件132、车辆计算系统210和/或任何其他设备的数据，来执行如本文所述的图像/视频处理、事件映射、XR处理、设备管理/控制、和/或其他操作。
为了说明，在一些示例中，一个或多个计算组件110可以基于来自用户计算系统100、车辆计算系统210的组件、和/或任何其他系统或组件中的一项或多项的数据来执行监测(例如，设备监测、用户监测、车辆监测、事件监测、活动监测、对象监测等)、设备控制/管理、跟踪(例如，设备跟踪、对象跟踪、手跟踪、眼睛注视跟踪等)、定位、对象检测和/或识别、对象分类、姿态估计、形状估计、场景映射、场景检测和/或场景识别、面部检测和/或识别、情绪检测和/或识别、内容锚定、内容渲染、内容过滤、图像处理、建模、内容生成、手势检测和/或识别、用户界面生成、功率管理、事件检测和/或识别和/或其他操作。
在一些示例中，一个或多个计算组件110可以实现一个或多个软件引擎和/或算法，例如，特征提取器(例如，尺度不变特征变换(SIFT)、加速稳健特征(SURF)、定向FAST和旋转BRIEF(ORB)等)、机器学习模型、计算机视觉算法、神经网络、跟踪算法、定位算法、对象检测算法、识别算法、映射算法、应用(例如，XR应用、消息传递应用、社交媒体网络应用、网页浏览器应用、生产力应用、游戏应用、娱乐应用、多媒体应用、认证应用、摄影应用、扫描应用、媒体回放应用、安全应用、电子商务应用、内容管理应用、界面和/或窗口应用、助理应用、自动化应用、电子邮件应用、语音应用、摄像头应用、导航应用、车辆应用等)、计算机视觉算法、图像处理算法、内容过滤算法、和/或任何其他算法和/或组件。
图像传感器104A和/或图像传感器104N可以包括任何图像和/或视频传感器或捕获设备，比如，在电子装置(诸如电视或计算机、摄像头等)上的数字摄像头传感器、视频摄像头传感器、智能电话摄像头传感器、图像/视频捕获器件。在一些情况中，图像传感器104A和/或图像传感器104N可以是摄像头或计算设备的一部分，例如，数码相机、摄像机、IP相机、智能手机、智能电视、游戏系统等。此外，在一些情况中，图像传感器104A和图像传感器104N可以包括和/或实施双(或多个)图像传感器系统或设置，比如，后传感器设备和前传感器设备。在一些示例中，图像传感器104A和图像传感器104N可以是双摄像头或其他多摄像头组件(例如，包括两个摄像头、三个摄像头、四个摄像头或其他数量的摄像头)的一部分。在一些情况中，图像传感器104A和/或图像传感器104N可以包括：被配置为执行环境的RF和/或IR成像的RF传感器，比如，雷达传感器、LIDAR传感器和/或IR传感器。
在一些示例中，每个图像传感器104A和104N可以捕获图像数据，并且基于图像数据来生成帧，和/或将图像数据或帧提供给一个或多个计算组件110以进行处理。帧可以包括视频序列中的视频帧或静态图像。帧可以包括表示场景的像素阵列。例如，帧可以是：每像素具有红色、绿色和蓝色分量的红-绿-蓝(RGB)帧；每像素具有亮度分量和两个色度(色彩)分量(色度红和色度蓝)的亮度、色度红、色度蓝(YCbCr)帧；或任何其它合适类型的彩色或单色图片。
一个或多个无线收发机128可以经由一个或多个天线130从一个或多个其他设备和/或网络(诸如其他用户设备、车辆(例如，图2中所示的车辆202)、网络设备(例如，基站，诸如eNB和/或gNB、WiFi设备(例如，路由器、接入点等)、服务器、交换机、路由器、网关、防火墙等)、云网络、专用网络、公共网络、数据中心、互联网、卫星、连接或IoT设备、基础设施设备/组件等)接收无线信号(例如，信号140)。在一些示例中，计算系统100可以包括多个天线。可以经由无线网络来发送无线信号140。无线网络可以是任何无线网络，比如，蜂窝或电信网络(例如，3G、4G、5G等)、无线局域网(例如，WiFi网络)、蓝牙TM网络和/或任何其它无线网络。在一些示例中，一个或多个无线收发机128可以包括射频(RF)前端。RF前端可以包括一个或多个组件，比如，一个或多个放大器、用于信号下变频的混频器(也称为信号乘法器)、向一个或多个混频器提供信号的频率合成器(也称为振荡器)、基带滤波器、模数转换器(ADC)、功率放大器、RF端口(例如，发送(Tx)和/或接收(Rx)端口)、移相器、IQ增益和相位补偿器、上采样器、增益控制、数模转换器(DAC)、波束成形器、低通滤波器、时间延迟滤波器以及其他组件。在一些示例中，RF前端可以通常处理无线信号140到基带或中频的选择和转换，并且可以将RF信号转换到数字域。
在一些情况中，计算系统100可以包括编码-解码设备(或CODEC)，其被配置为对使用一个或多个无线收发机128发送和/或接收的数据进行编码和/或解码。在一些情况中，计算系统100可以包括加密-解密设备或组件，其被配置为对由一个或多个无线收发机128发送和/或接收的数据进行加密和/或解密(例如，根据高级加密标准(AES)、数据加密标准(DES)、和/或任何其它标准)。
SIM是可以安全地存储国际移动订户身份(IMSI)号码和特定订户或用户的相关密钥(例如，加密-解密密钥)的设备(例如，集成电路)。IMSI和密钥可以用于识别和认证特定UE上的订户。在图1中，一个或多个SIM 124中的每个SIM可以安全地存储被指派给移动设备150的用户的IMSI编号和相关密钥。当接入由与一个或多个SIM 124相关联的网络服务提供商或运营商提供的网络时，IMSI和密钥可以用于识别和认证用户。
调制解调器是对一个或多个载波信号进行调制以对用于传输的数字信息进行编码以及对信号进行解调以对发送的信息进行解码的设备。一个或多个调制解调器126可以调制一个或多个信号以编码信息以使用一个或多个无线收发机128进行传输。一个或多个调制解调器126还可以解调由一个或多个无线收发机128接收的信号，以便解码所发送的信息。在一些示例中，一个或多个调制解调器126可以包括4G(或LTE)调制解调器、5G(或新无线电(NR))调制解调器、被配置用于车辆到万物(V2X)通信的调制解调器、和/或其他类型的调制解调器。一个或多个调制解调器126和一个或多个无线收发机128可以用于传送用于一个或多个SIM 124的数据。
如上所述，计算系统100可以包括一个或多个传感器系统102。在一些示例中，一个或多个传感器系统102可以包括一个或多个图像传感器，比如，图像传感器104A和104N(下文统称为“图像传感器104”)、位置传感器106(例如，超声传感器、次声波传感器、SONAR传感器、基于RF的传感器系统(例如，WiFi、蓝牙等)、麦克风等)、惯性测量单元(IMU)108和/或一个或多个其他传感器。在一些情况中，计算系统100可以可选地包括一个或多个其他/附加传感器或传感器系统，例如但不限于，RADAR传感器系统、LIDAR传感器系统、电磁检测和测距(EmDAR)传感器系统、红外线传感器系统、激光测距仪系统、声音检测和测距(SODAR)系统、触摸传感器、压力传感器(例如，气压传感器和/或任何其他压力传感器)、陀螺仪、加速度计、磁力计和/或任何其他传感器。在一些示例中，计算系统100可以包括附加组件，例如，发光二极管(LED)器件、高速缓存、无线网络接口等。可以由计算系统100实施的示例架构和示例硬件组件在下文中是进一步参照图15所描述的。
计算系统100还可以包括(和/或与之相通信)一个或多个非暂时性机器可读存储介质或存储设备(例如，一个或多个存储器件132)，其可以包括但不限于本地和/或网络可访问存储、磁盘驱动器、驱动器阵列、光学存储设备、诸如RAM和/或ROM之类的固态存储器件(例如，其可以是可编程的、闪存可更新的)等等。这样的存储设备可以被配置为实现任何适当的数据存储，包括但不限于各种文件系统、数据库结构等。
在一些示例中，功能可以作为一个或多个计算机程序产品(例如，指令或代码)存储于存储器件132中并且由计算组件110执行。计算系统100还可以包括软件元素(例如，位于一个或多个存储器件132内)，包括例如操作系统、设备驱动器、可执行库和/或其它代码，诸如一个或多个应用程序，其可以包括实现由各种实施例提供的功能的计算机程序，和/或可以被设计为实施方法和/或配置系统，如本文描述的。
在一些实施方式中，用户设备(UE)可以被配置用于双SIM双活动(DSDA)功能。例如，移动设备150、图2中所示的车辆202和/或其它UE可以配备有DSDA功能。具有DSDA功能的UE可以配备有至少两个SIM。在一个示意性示例中，具有DSDA功能的车辆(例如，图2中所示的车辆202)及用户设备(例如，移动设备150)可以使得车辆及车辆的乘员(例如，驾驶员、乘客等)以及用户设备能够选择独立网络运营商(或提供者)预订，其中，每个运营商预订与特定SIM相关联。例如，车辆可以使用第一运营商进行无线通信接入，并且用户设备可以使用第二运营商进行无线通信接入。
在一些情况中，DSDA功能可以支持用于车辆的至少两个活动SIM，包括OEM SIM和用户SIM，例如下文关于图2的车辆计算系统210所描述的那些。如下所述，OEM SIM和/或用户SIM可以与一个或多个调制解调器(例如，图2所示的调制解调器228和/或图2所示的通信系统222的其他调制解调器)一起使用。在一些实施方式中，车辆的OEM SIM、用户SIM和调制解调器可以是车辆的远程信息处理(telematic)控制单元(TCU)的一部分，或者可以是TCU的网络接入设备(NAD)(在一些情况下也称为网络控制单元或NCU)的一部分(例如，作为图2的通信系统222的一部分)。如下所述，OEM SIM可以存储提供用于执行基于车辆的操作(例如，用于eCall功能、用于与车辆制造商进行通信，诸如用于软件更新等，以及其他操作)的无线通信的接入的信息。OEM SIM支持用于车辆的各种服务，包括用于进行紧急呼叫的eCall。用户SIM可以用于为用户的UE执行无线网络接入，以便支持用户数据连接，比如，用于促进电话呼叫、消息传送、信息娱乐相关服务等。
DSDA可以允许车辆的用户SIM和调制解调器代替UE的SIM和/或调制解调器用于无线网络接入(例如，用于蜂窝连接)。例如，在进入车辆的通信范围时，用户设备(例如，移动设备)可以通过接口(例如，通过蓝牙TM、WiFiTM、USB端口、闪电端口和/或其他无线或有线接口)与车辆相连接。一旦连接，用户设备的通信单元就可以将无线网络接入功能从用户设备转移到车辆的通信单元。车辆的通信单元可以开始与基站进行交互以执行一个或多个无线通信操作，例如，促进电话呼叫、发送和/或接收数据(例如，消息传送、视频、音频等)以及其它操作。如上所述，设备(例如，车辆、用户设备、其他UE、路边单元(RSU)等)的“通信单元”可以是TCU、NAD、调制解调器、SIM、收发机(或个体接收机和/或发射机)、其任何组合、和/或被配置为执行无线通信操作的其他系统、设备或组件。在一个示意性示例中，用户设备(例如，移动设备)的用户SIM(例如，存储在SIM和/或实际SIM卡上的信息)可以被传送到车辆的TCUNAD，之后车辆的调制解调器可以使用用户SIM信息来与用于用户的无线网络运营商进行通信。
图2是示出车辆202的车辆计算系统210的示例的框图。车辆202是可以使用V2X通信(例如，通过PC5接口或其他设备到设备直接接口)与网络(例如，eNB、gNB、定位信标、位置测量单元和/或其他网络实体)和/或与其他UE(例如，移动设备150)进行通信的UE的示例。如图所示，车辆计算系统210可以至少包括功率管理系统212、控制系统214、信息娱乐系统216、智能运输系统(ITS)218、一个或多个传感器系统220和通信系统222。在一些情况中，车辆计算系统210可以包括或可以使用任何类型的处理设备或系统来实现，诸如一个或多个CPU、DSP、GPU、ISP、ASIC、FPGA、应用处理器(AP)、视觉处理单元(VPU)、神经处理单元(NPU)、控制电压处理器(CVP)、微控制器、专用硬件、其任何组合和/或其他处理设备或系统。
控制系统214可以被配置为控制车辆202、功率管理系统212、计算系统210、信息娱乐系统216、ITS218和/或车辆202的一个或多个其它系统(例如，制动系统、转向系统、除ITS218以外的安全系统、驾驶室系统和/或其它系统)的一个或多个操作。在一些示例中，控制系统214可以包括一个或多个电子控制单元(ECU)。ECU可以控制车辆中的一个或多个电气系统或子系统。可以被包括作为控制系统214的一部分的特定ECU的示例包括引擎控制模块(ECM)、动力系控制模块(PCM)、变速器控制模块(TCM)、制动控制模块(BCM)、中央控制模块(CCM)、中央定时模块(CTM)等。在一些情况中，控制系统214可以从一个或多个传感器系统220接收传感器信号，并且可以与车辆计算系统210的其它系统进行通信以操作车辆202。
车辆计算系统210还包括功率管理系统212。在一些实现中，功率管理系统212可以包括功率管理集成电路(PMIC)、备用电池和/或其它组件。在一些情况中，车辆计算系统210的其它系统可以包括一个或多个PMIC、电池和/或其它组件。功率管理系统212可以执行用于车辆202的功率管理功能，例如管理用于计算系统210和/或车辆的其它组件的功率供应。例如，考虑到功率波动，例如，基于启动车辆的发动机，功率管理系统212可以提供稳定的功率供应。在另一示例中，功率管理系统212可以执行热监测操作，例如，通过检查环境温度和/或晶体管结温度。在另一示例中，功率管理系统212可以基于检测到某个温度水平来执行某些功能，例如，使得冷却系统(例如，一个或多个风扇、空调系统等)冷却车辆计算系统210的某些组件(例如，控制系统214，诸如一个或多个ECU)，关闭车辆计算系统210的某些功能(例如，限制信息娱乐系统216，例如，通过关闭一个或多个显示器、断开与无线网络的连接等)以及其它功能。
车辆计算系统210可以包括通信系统222。通信系统222可以包括用于向网络(例如，gNB或其它网络实体)和/或其它UE(例如，通过PC5接口、WiFi接口、蓝牙TM接口和/或其它无线和/或有线接口向另一车辆或UE)发送信号、以及从网络和/或从其它UE接收信号的软件和硬件组件。例如，通信系统222被配置为在任何合适的无线网络(例如，3G网络、4G网络、5G网络、WiFi网络、蓝牙TM网络和/或其它网络)上无线地发送和接收信息。通信系统222包括用于执行无线通信功能的各种组件或设备，包括原始设备制造商(OEM)用户身份模块(被称为SIM或SIM卡)224、用户SIM 226和调制解调器228。虽然车辆计算系统210被示为具有两个SIM和一个调制解调器，但是在一些实现中，计算系统210可以具有任意数量的SIM(例如，一个SIM或多于两个SIM)和任意数量的调制解调器(例如，一个调制解调器、两个调制解调器或多于两个调制解调器)。
如前面解释的，SIM是可以安全地存储特定用户或用户的国际移动用户身份(IMSI)号码和相关密钥(例如，加密-解密密钥)的设备(例如，集成电路)。IMSI和密钥可以用于识别和认证特定UE上的订户。OEM SIM 224可以由通信系统222用于建立用于基于车辆的操作(例如，用于执行紧急呼叫(eCall)功能、与车辆制造商的通信系统进行通信(例如，用于软件更新等)以及其它操作)的无线连接。OEM SIM 224对于通信系统支持关键服务是重要的，例如，在车祸或其它紧急的情况下进行紧急呼叫的eCall。例如，eCall可以包括如下服务：该服务在车辆事故的情况下自动拨打紧急电话(例如，美国的“9-1-1”、欧洲的“1-1-2”等)，并且将车辆的位置传送给紧急服务部门，诸如警察局、消防局等。
通信系统222可以使用用户SIM 226来执行无线网络接入功能，以支持用户数据连接(例如，用于进行电话呼叫、消息传送、信息娱乐相关服务等)。在一些情况中，用户的用户设备可以通过接口(例如，通过PC5、蓝牙TM、WiFITM、通用串行总线(USB)端口和/或其它无线或有线接口)与车辆计算系统210相连接。一旦连接，用户设备就可以将无线网络接入功能从用户设备传送到车辆的通信系统222，在这种情况下，用户设备可以停止无线网络接入功能的执行(例如，在通信系统222正在执行无线接入功能的时段期间)。通信系统222可以开始与基站交互以执行一个或多个无线通信操作，例如促进电话呼叫、发送和/或接收数据(例如，消息传送、视频、音频等)以及其它操作。在这样的情况下，车辆计算系统210的其它组件可以用于输出由通信系统222接收的数据。例如，信息娱乐系统216(如下所述)可以在一个或多个显示器上显示由通信系统222接收的视频和/或可以使用一个或多个扬声器来输出由通信系统222接收的音频。
调制解调器228(和/或通信系统222的一个或多个其它调制解调器)可以用于传送用于OEM SIM 224和/或用户SIM 226的数据。在一些示例中，调制解调器228可以包括4G(或LTE)调制解调器，并且通信系统222的另一调制解调器(未示出)可以包括5G(或NR)调制解调器。在一些示例中，通信系统222可以包括一个或多个蓝牙TM调制解调器(例如，用于蓝牙TM低能量(BLE)或其它类型的蓝牙通信)、一个或多个WiFiTM调制解调器(例如，用于专用近距离通信(DSRC)和/或其它WiFi通信)、宽带调制解调器(例如，超宽带(UWB)调制解调器)、其任何组合和/或其它类型的调制解调器。
在一些情况中，调制解调器228(和/或通信系统222的一个或多个其它调制解调器)可以用于执行V2X通信(例如，与其它车辆进行车辆到车辆(V2V)通信、与其它设备进行设备到设备(D2D)通信、与基础设施系统进行车辆到基础设施(V2I)通信、与行人UE进行车辆到行人(V2P)通信等等)。在一些示例中，通信系统222可以包括用于执行V2X通信(例如，通过PC5接口的侧行链路通信)的V2X调制解调器，在这种情况下，V2X调制解调器可以与用于无线网络接入功能(例如，用于通过网络或空中接口(例如，通用移动电信系统(UMTS)接口或“Uu接口”等)进行网络通信和/或除了V2X通信之外的侧行链路通信)的一个或多个调制解调器分开。
在一些示例中，通信系统222可以是或可以包括远程信息处理控制单元(TCU)。在一些实施方式中，TCU可以包括网络接入设备(NAD)(在一些情况中，也被称为网络控制单元或NCU)。在一些情况中，NAD可以包括调制解调器228、图2中未示出的任何其它调制解调器、OEM SIM 224、用户SIM 226、和/或用于无线通信的其它组件。在一些示例中，通信系统222可以包括全球导航卫星系统(GNSS)。在一些情况中，GNSS可以是一个或多个传感器系统220的一部分，如下所述。GNSS可以为车辆计算系统210提供执行一个或多个位置服务、导航服务和/或可以利用GNSS功能的其它服务的能力。
在一些情况中，通信系统222可以包括用于发送和接收无线通信的一个或多个无线接口(例如，包括用于每个无线接口的一个或多个收发机和一个或多个基带处理器)、用于在一个或多个硬接线连接上执行通信的一个或多个有线接口(例如，诸如通用串行总线(USB)输入之类的串行接口、照明连接器和/或其它有线接口)、和/或可以允许车辆202与网络和/或其它UE进行通信的其它组件。
车辆计算系统210还可以包括可以控制内容的信息娱乐系统216以及可以用于输出内容的车辆202的一个或多个输出设备。信息娱乐系统216也可以被称为车载信息娱乐(IVI)系统或车载娱乐(ICE)系统。内容可以包括导航内容、媒体内容(例如，视频内容、音乐或其它音频内容和/或其它媒体内容)以及其它内容。一个或多个输出设备可以包括一个或多个图形用户界面、一个或多个显示器、一个或多个扬声器、一个和多个扩展现实设备(例如，VR、AR和/或MR头戴式耳机)、一个或多个触觉反馈设备(例如，被配置为振动座椅、方向盘和/或车辆202的其它部分的一个或多个设备)和/或其它输出设备。
在一些示例中，计算系统210可以包括智能运输系统(ITS)218。在一些示例中，ITS218可以用于实现V2X通信。例如，ITS218的ITS栈可以基于来自ITS的应用层的信息来生成V2X消息。在一些情况中，应用层可以确定是否已经满足某些条件来生成供ITS218使用的消息和/或生成要发送到其它车辆(例如，用于V2V通信)、行人UE(例如，用于V2P通信)和/或基础设施系统(例如，用于V2I通信)的消息。在一些情况中，通信系统222和/或ITS218可以(例如，经由CAN总线从车辆的其它组件)获得汽车接入网络(CAN)信息。在一些示例中，通信系统222(例如，TCU NAD)可以经由CAN总线获得CAN信息，并且可以将CAN信息发送给ITS栈。CAN信息可以包括车辆相关信息，诸如车辆的航向、车辆的速度、中断信息以及其它信息。可以连续地或周期性地(例如，每1毫秒(ms)、每10ms等等)向ITS218提供CAN信息。
可以使用基于安全相关应用和/或其它应用(包括与道路安全、交通效率、信息娱乐、商业和/或其它应用相关的应用)的CAN信息来确定用于确定是否生成消息的条件。在一个示意性例子中，ITS218可以执行车道改变辅助或协商。例如，使用CAN信息，ITS218可以确定车辆202或车辆202的驾驶员正尝试从当前车道变道到诸如相邻车道之类的另一车道(例如，基于闪光灯被激活、基于用户转向或转向到相邻车道等等)。基于确定车辆202正在尝试改变车道，ITS218可以确定已经满足与要发送到邻近车道中的车辆附近的其它车辆的消息相关联的车道改变条件。ITS218可以触发ITS栈以生成用于传输到其它车辆的一个或多个消息，该一个或多个消息可以用于与其它车辆协商车道改变。应用的其它示例包括前方碰撞警告、自动紧急中断、车道偏离警告、行人回避或保护(例如，当在车辆202附近检测到行人时，例如，基于与用户的UE的V2P通信)、交通标志识别等。
ITS218可以使用任何合适的协议来生成消息(例如，V2X消息)。ITS218可以使用的协议的示例包括一个或多个汽车工程协会(SAE)标准，诸如SAE J2735、SAE J2945、SAEJ3161和/或其他标准。
ITS218的安全层可以用于安全地对来自ITS栈的消息进行签名，这些消息被发送到被配置用于V2X通信的其它UE(诸如其它车辆、行人UE和/或基础设施系统)并且由其验证。安全层还可以验证从这些其它UE接收到的消息。在一些实施方式中，签名和验证过程可以是基于车辆的安全上下文的。在一些示例中，安全上下文可以包括一个或多个加密-解密算法、用于使用加密-解密算法来生成签名的公钥和/或私钥、和/或其它信息。例如，由ITS栈生成的每个ITS消息可以由安全层签名。可以使用公钥和加密-解密算法来推导签名。接收签名消息的车辆、行人UE和/或基础设施系统可以验证签名以确保消息是来自经授权的车辆。在一些示例中，一个或多个加密-解密算法可以包括一个或多个对称加密算法(例如，高级加密标准(AES)、数据加密标准(DES)和/或其它对称加密算法)、使用公钥和私钥的一个或多个非对称加密算法(例如，Rivest–Shamir–Adleman(RSA)和/或其它非对称加密算法)和/或其它加密-解密算法。
在一些示例中，ITS218可以基于从其他UE(诸如移动设备150)接收的消息来确定要执行的某些操作(例如，基于V2X的操作)。操作可以包括例如但不限于安全相关操作、导航操作、驾驶操作和/或其他操作，诸如用于道路安全、交通效率、导航、信息娱乐、商业、驾驶操作和/或其他应用的操作。在一些示例中，操作可以包括使得车辆(例如，控制系统214)执行自动功能，比如，自动刹车、自动转向(例如，以保持在特定车道上的航向)、与其它车辆的自动变道协商、自动加速和/或减速、以及其它自动功能。在一个示意性例子中，通信系统222可以从诸如另一车辆(例如，通过PC5接口)或移动设备的另一UE接收消息。该消息可以指示另一车辆即将停止。响应于接收到消息，ITS218可以生成消息或指令并将消息或指令发送给控制系统214。消息或指令可以使控制系统214在与另一车辆碰撞之前(例如，在碰撞到另一车辆中/与另一车辆碰撞之前)自动地制动车辆202以停止车辆202(或降低车辆202的速度)。
在其他示意性例子中，操作可以包括：触发向车辆202的乘员(例如，驾驶员)警告车辆相关事件的消息的呈现/显示，比如，另一车辆在车辆202旁边的车道中，向乘员(例如，驾驶员)警告停止车辆202的消息，向乘员(例如，驾驶员)警告行人在即将到来的人行横道中(例如，在车辆202附近的门限内和/或估计在特定时间段内靠近和/或接近车辆202的人行横道等)的消息，向乘员(例如，驾驶员)警告收费站在车辆202的特定距离内(例如，根据任何测量单元在1英里或任何其他距离内)的消息等。
计算系统210可以包括一个或多个传感器系统220(例如，第一传感器系统至第N传感器系统，其中，N是等于或大于2的值)。在一些示例中，传感器系统220可以包括不同类型的传感器系统，这些传感器系统可以布置在车辆202的不同组件上或不同组件中。在一些示例中，传感器系统220可以包括一个或多个摄像头传感器系统、LIDAR传感器系统、RADAR传感器系统、EmDAR传感器系统、SONAR传感器系统、SODAR传感器系统、GNSS接收机系统(例如，一个或多个GPS接收机系统)、加速度计、速度传感器、陀螺仪、磁力计、压力传感器系统、IMU、红外线传感器系统、射频(RF)传感器系统、激光测距仪系统、超声传感器系统、次声波传感器系统、麦克风、重量传感器、其任何组合、和/或其他传感器系统。应当理解，任何数量的传感器或传感器系统都可以被包括作为车辆202的计算系统210的一部分。
虽然车辆计算系统210被示为包括某些组件和/或系统，但是本领域普通技术人员将理解，车辆计算系统210可以包括比图2中所示的组件更多或更少的组件。例如，车辆计算系统210还可以包括一个或多个输入设备和一个或多个输出设备(未示出)。在一些实现中，车辆计算系统210还可以包括(例如，作为控制系统214、信息娱乐系统216、通信系统222和/或传感器系统220的一部分或与其分离)至少一个处理器和至少一个存储器，所述至少一种存储器具有由至少一个处理器执行的计算机可执行指令。至少一个处理器与至少一个存储器相通信和/或电连接(被称为“耦合”或“通信地耦合”)。至少一个处理器可以包括例如一个或多个微控制器、一个或多个CPU、一个或多个FPGA、一个或多个ASIC、一个或多个GPU、一个或多个NPU、一个或多个DSP、一个或多个ISP、一个或多个VPU、一个或多个应用处理器(Aps)(例如，用于运行或执行一个或多个软件应用)和/或其他处理器。至少一个存储器可以包括例如只读存储器(ROM)、随机存取存储器(RAM)(例如，静态RAM(SRAM))、电可擦除可编程只读存储器(EEPROM)、闪存、一个或多个缓冲器、一个或多个数据库和/或其它存储器。存储在至少一个存储器中或其上的计算机可执行指令可以被执行以执行本文描述的功能或操作中的一个或多个功能或操作。
图3是示出用于车内定位的示例系统过程300的图。在该示例中，移动设备150位于车辆202的内部。移动设备150可以包括由车辆202的乘员(例如，车辆202的驾驶员)佩戴的AR设备。移动设备150可以使用系统过程300来将其自身定位在车辆202内。
移动设备150可以使用车内定位来理解其相对于车辆202的姿态，监测车辆202的乘员以检测乘员的任何乘员损伤(例如，分心、中毒、困倦、健康紧急情况/状况、压力和/或增加的情绪状态、疏忽等)，监测乘员活动/事件，监测/检测车辆事件/活动，缓解车辆事件和/或控制车辆202的操作，确定为乘员渲染(和/或过滤)什么(如果有的话)内容(例如，虚拟内容、事件、数据、用户界面等)等等。在一些情况中，由移动设备150渲染/过滤的内容可以包括来自(或基于来自)车辆202和/或移动设备150上的传感器系统102的数据，例如传感器测量、检测到的事件等。
在一些情况中，车辆202还可以渲染/过滤用于乘员的内容。例如，车辆202可以使用在车辆202上/处的屏幕、在车辆202上/处的平视显示器、在车辆202的仪表板上的显示器、车辆202上/处的投影仪设备和/或任何其他显示设备来渲染内容。在一些示例中，由车辆202渲染的内容可以包括来自车辆202的数据、来自传感器系统102的数据、和/或来自一个或多个其他设备(比如，可穿戴设备、另一车辆的计算系统等)的数据。在一些情况中，车辆202可以接收移动设备150相对于车辆202的坐标系的姿态，并且使用姿态信息来确定要渲染和/或过滤什么内容，和/或确定在哪里和/或何时渲染/过滤这样的内容。
如图所示，车辆计算系统210上的车辆应用程序302可以将车辆模板304发送到移动设备150。移动设备150可以使用车辆模板304来将其自身定位在车辆202内，如本文进一步描述的。车辆模板304可以指定和/或描述在车辆202内部的地标/标记306。车辆模板304还可以指定地标/标记306相对于车辆202的坐标系的坐标。地标/标记306的坐标可以包括地标/标记306相对于车辆202的坐标系的方位和/或取向。地标/标记306可以包括：可以使用在移动设备150上的一个或多个图像传感器(例如，图像传感器104)成像和检测的任何视觉地标/标记。例如，地标/标记306可以包括车辆202内部的一个或多个视觉图案、车辆202内部的主动照明、车辆202内部的元件或物体(可移动和/或不可移动元件)、设备、车辆202内部的部分、和/或任何其他视觉地标/标记。在一些示例中，一个或多个图像传感器可以被配置为执行RF和/或IR成像。在这些示例中，地标/标记306可以包括：可以在RF和/或IR中感测的车辆202内部的对象和/或图案。
在一些示例中，地标/标记306可以包括：位于车辆202中和/或固定到车辆202的内部(和/或内部的物体)的一个或多个图案或代码(例如，快速响应(QR)代码、条形码、图案化设计(诸如棋盘图案、形状、符号等))、位于车辆202中和/或固定到车辆202的内部(和/或内部的物体)的灯(例如，发光二极管(LED)、灯泡等)、车辆202内部的物体(例如，门、窗、座椅、头枕、仪表板/面板中的组件、和/或车辆202的中央控制台(例如，仪表、无线电/媒体系统(和/或其组件))、方向盘、喇叭、信号系统、齿轮杆、杯托、控件等)、车辆202内部的可移动元件和/或不可移动元件(例如，诸如车辆202内部(例如，挡风玻璃、窗、仪表板、门、侧面板、后窗等)的拐角的一部分、汽车座椅、方向盘等)。
移动设备150可以使用一个或多个图像传感器104来对地标/标记306进行成像。例如，移动设备150可以使用一个或多个图像传感器104来捕获描绘车辆202中的地标/标记306的一个或多个图像。移动设备150的定位引擎312可以使用来自一个或多个图像传感器104和车辆模板304的一个或多个图像来将其自身定位在车辆202内。例如，移动设备150可以检测由一个或多个图像传感器104捕获的一个或多个图像中描绘的地标/标记306。定位引擎312可以使用车辆模板304来确定地标/标记306相对于车辆202的坐标系的坐标(和取向)。定位引擎312可以实施诸如变换之类的算法，以将地标306相对于车辆202的坐标系的坐标转换为相对于移动设备150的坐标系的相关联坐标。定位引擎312可以使用地标/标记306相对于车辆202的坐标和地标/标记306相对于移动设备150的坐标来确定移动设备150在车辆202内的姿态(例如，相对于车辆202的坐标系)。
在一些示例中，定位引擎312可以使用移动设备150相对于移动设备150的坐标系的跟踪位置(例如，基于来自移动设备150上的一个或多个传感器的传感器数据)来确定移动设备150相对于地标/标记306的位置和/或取向的姿态。定位引擎312可以使用移动设备150相对于地标/标记306的位置和/或取向的姿态，来确定移动设备150相对于车辆202的坐标系的姿态。
在一些情况中，定位引擎312可以使用来自其他传感器(例如，位置传感器106、IMU108等)的数据来辅助确定移动设备150在车辆202内的姿态。例如，位置传感器106可以使用传感器数据/信号(例如，诸如WiFi或蓝牙之类的RF信号、超声信号等)来确定移动设备150相对于车辆202中的一个或多个对象的姿态。位置传感器106可以将所确定的移动设备150的姿态提供给定位引擎312。定位引擎312可以使用这样的姿态信息以及基于如前所述的地标/标记306确定的位置和/或取向信息，来定位在车辆202内的移动设备150。
基于车内定位，定位引擎312可以生成指示移动设备150相对于车辆202的坐标系的姿态的定位数据314。定位引擎312可以将定位数据314提供给移动设备150上的AR应用310。在一些示例中，AR应用310可以使用定位数据314来为车辆202的乘员(例如，为移动设备150的用户)渲染用户界面，确定为乘员渲染什么内容(如果有的话)，确定过滤什么(如果有的话)内容，监测乘员(例如，损伤、活动/事件等)，缓解事件和/或任何其他输出和/或决策，如本文所述。在一些情况中，定位引擎312和/或移动设备150可以将定位数据314提供给车辆计算系统210，并且在车辆计算系统210上的车辆应用程序302可以使用定位数据314来渲染用户界面和/或本文所述的任何其他数据。在一些情况中，车辆应用程序302可以附加地或替代地使用事件数据、关于乘员状态的数据(例如，指示乘员受损的数据)、车辆仪表数据、和/或任何其他数据来为乘员渲染用户界面和/或任何其他虚拟内容。
在一些情况中，移动设备150可以使用一个或多个图像并且具有或不具有任何其他数据和/或模态来确定移动设备150的姿态。例如，移动设备150可以使用车辆202的内部部分的一个或多个图像来确定移动设备150相对于车辆202的坐标系的姿态。一个或多个图像可以描绘车辆202的内部部分中的一个或多个地标/标记。移动设备150可以使用一个或多个图像来识别一个或多个地标/标记相对于其自身的方位，移动设备150可以使用该方位来确定移动设备150在车辆202内的姿态(例如，相对于一个或多个地标/标记和/或相对于车辆202的坐标系)。
图4A是示出用于车辆乘员辅助的增强现实的示例系统过程400的图。在该示例中，车辆202可以包括如前所述的地标306。车辆计算系统210可以从车辆202上的传感器系统220获得传感器数据406。传感器数据406可以用于生成提供给移动设备150的车辆数据408的至少一部分，如本文进一步描述。在一些示例中，传感器数据406还可以由车辆应用302的车辆监测引擎402使用以监测车辆202和/或车辆202的操作，和/或由车辆应用302的事件缓解引擎404使用以执行事件缓解(例如，辅助驾驶员、校正由驾驶员发起/触发的错误和/或操作等)。例如，车辆监测引擎402可以使用传感器数据406来识别和/或监测与车辆202及其周围环境相关的状态事件和/或其他事件(例如，即将发生和/或发生的事件)。作为另一示例，事件缓解引擎404可以使用传感器数据406来执行驾驶员事件缓解动作，例如但不限于，防止和/或实施一个或多个车辆功能、操作和/或动作；为驾驶员生成警告/警报；校正由驾驶员发起/触发的错误和/或操作；实施保护措施；激活一个或多个自主驾驶能力；等等。在一些示例中，如本文所述，事件缓解引擎404可以响应于从移动设备150接收到一个或多个驾驶员监视事件而执行驾驶员事件缓解动作。
传感器数据406可以提供关于车辆202的状态/状态、车辆周围环境的状态、导航信息、驾驶/操作事件、安全事件等的信息。例如，传感器数据406可以包括：指示车辆202的操作(例如，速度、航向/方向、加速度/减速度等)、车辆202的位置、与车辆202相关联的驾驶/操作统计、与检测到的与车辆202相关联的活动/事件相关联的时间戳、任何条件(例如，物体、车道标记、交通信号、行人、其他车辆、动物、道路状况、交通、天气、基础设施状况、照明、附近障碍物等)和/或车辆202外部的活动/事件(例如，沿着车辆202的路径，发生在车辆202外部、车辆202周围、车辆202的外部环境中、车辆202附近等)、导航信息等的数据。
作为另一示例，传感器数据406可以(附加地或替代地)包括车辆202的任何状况和/或状态(例如，电池荷电状态、剩余燃料量、警告和/或错误、故障或故障等)、车辆202的一个或多个组件(例如，轮胎、制动器、车辆传感器、发动机、门锁、无线电和/或声音系统、控制和/或信令系统、车辆计算系统210、盲点信息系统、驾驶员监测系统、制动系统、自主驾驶组件、停车传感器、驾驶员辅助系统、导航系统、汽车平视显示器、灯传感器、车灯、车辆通信系统(例如，V2V、V2I、V2X)等)的任何状况和/或状态、由车辆202实现或实施的任何功能/动作(例如，自动驾驶仪、牵引控制、巡航控制、碰撞避免、车道偏离、车道居中、稳定性控制、制动辅助、交通警报、车道保持、高速公路辅助、停车、交通标志识别、盲点监测、驾驶员监测、交叉路口辅助、车道变换辅助、智能速度自适应、轮胎压力监测、转弯、加速度/减速度、信令等)、任何车辆安全相关事件(例如，即将发生的碰撞、操作错误、违反一个或多个法规(例如，速度限制、座椅安全带法规、跨越车道法规、道路安全法规等)、影响和/或冲击事件等。
在一些情况中，传感器数据406可以包括与车辆202的乘员相关联的测量值。例如，传感器数据406可以包括来自车辆202的一个或多个座椅上的一个或多个重量传感器的测量值。来自一个或多个重量传感器的测量值可以指示乘员在车辆202的特定座椅中。在一些示例中，一个或多个重量传感器的测量可以用于帮助确定乘员和/或移动设备150的方位，如本文进一步解释的。例如，测量值可以指示乘员在车辆202的特定座椅中。移动设备150可以使用一个或多个传感器来确认乘员的位置/方位，如本文中进一步描述。
车辆202可以包括如前所述的地标306。车辆计算系统210可以向移动设备150提供车辆数据408。车辆数据408可以包括车辆模板(例如，车辆模板304)。在一些示例中，车辆数据408还可以包括任何传感器数据406和/或基于传感器数据406生成的数据。在一些情况中，基于传感器数据406生成的数据可以包括：例如但不限于，传感器数据406中的信息的描述(例如，传感器测量和/或作为车辆仪表的描述)、从传感器数据406生成的一个或多个确定和/或预测(例如，在车辆202的环境中发生和/或估计影响车辆202的操作(和/或相关联的安全风险)的确定和/或预测事件等)、从传感器数据406生成的一个或多个输出和/或推断、与传感器数据406相关联的统计和/或度量、由传感器数据406识别和/或描述的事件、与车辆202相关联的状态信息(例如，车辆202的状态/状态)、传感器数据406的一个或多个属性等。
例如，在一些情况中，车辆数据408可以包括：车辆模板、以及以下各项中的至少一项：在传感器数据406中包括和/或根据传感器数据406生成的事件数据、和/或包括在传感器数据406中包括和/或根据传感器数据406生成的车辆状态信息。在一些情况中，事件数据可以包括：在车辆202周围和/或与车辆202相关联的环境中的事件(例如，传入/接近事件、传出事件、静止事件、移动事件、预测事件等)的指示，诸如一个或多个客体和/或主体(例如，行人、动物、基础设施对象、建筑物、设备、自行车、摩托车、交通、门、标志等)、障碍物(例如，坑洞、路缘、锥体、树、道路作业、事故、路障、电缆、路边垃圾或对象、碎片、水、冰、雪等)、事故(例如，碰撞、即将发生或遭遇、另一车辆的机动、路边活动、紧急或紧急车辆等)、另一车辆等。
在一些情况中，事件可以包括：基于一个或多个事件和/或车辆的位置/轨迹、和/或与车辆202的操作/导航的相关性的一个或多个事件。例如，事件可以包括：在车辆202的路径中/沿着车辆202的路径检测到的事件和/或被预测为在车辆202的门限时间段内或门限行驶距离内在车辆202的路径中/沿着车辆202的路径检测到的事件、在车辆202和/或车辆202的路径的门限接近度/距离内的事件、被估计为触发/提示车辆202的操纵(例如，加速度、减速度、转弯、制动、车道居中、碰撞避免、停止、信令等)和/或车辆202的操作(例如，策略)的变化(例如，路线变化、自动驾驶功能的变化或实施、一个或多个驾驶参数和/或门限的变化等)的事件等等。
车辆数据408中的车辆模板可以包括：关于车辆202中的地标306的指示、以及地标/标记306相对于车辆202的坐标系(例如，相对于车辆202上的车辆计算系统210的坐标系)的坐标和/或取向。例如，车辆模板可以包括车辆202中的地标/标记的描述、以及地标/标记相对于车辆202的坐标系的坐标和/或取向。如前所述，移动设备150可以使用车辆数据408(和车辆数据408的任何其他部分)中的车辆模板来将其自身定位在车辆202内。在一些示例中，移动设备150还可以使用车辆数据408来执行本文描述的任何功能，例如，本文描述的AR、监测、渲染、控制、通信、驾驶员辅助和/或缓解功能中的任何功能。
定位引擎312可以生成定位在车辆202内的移动设备150的定位数据314。定位引擎312可以将定位数据314提供给AR应用310以供监测引擎410、内容过滤引擎412和/或车辆用户界面414使用，如本文进一步描述的。定位数据314可以包括移动设备150相对于车辆202的坐标系的姿态。在一些示例中，定位引擎312可以基于车辆数据408(例如，基于车辆数据408中的车辆模板)和来自移动设备150的一个或多个图像传感器104的图像数据来生成定位数据314。
例如，定位引擎312可以从一个或多个图像传感器104获得地标/标记306的一个或多个图像。一个或多个图像可以描绘一个或多个地标/标记306。定位引擎312可以检测一个或多个图像中描绘的地标/标记306。定位引擎312可以使用车辆模板来确定车辆模板中引用/描述的任何检测到的地标/标记的坐标和/或取向。基于在车辆模板中的坐标和/或取向，定位引擎312可以确定所检测到的地标/标记相对于车辆202的坐标系的方位和/或取向。
在一些情况中，定位引擎312还可以使用来自跟踪引擎420的跟踪数据422来确定移动设备150的姿态。在一些示例中，跟踪数据422可以包括移动设备150在物理空间中的姿态，如下面进一步描述的。在一些情况中，定位引擎312可以确定移动设备150相对于检测到的地标的姿态，以确定移动设备150相对于车辆202的坐标系的姿态。例如，定位引擎312可以使用描绘地标/标记306的一个或多个图像来确定地标/标记306相对于移动设备150的坐标系的方位和/或取向。定位引擎312可以使用地标/标记306的方位和/或取向以及在来自跟踪引擎420的跟踪数据422中指示的移动设备150的姿态，来确定移动设备150相对于地标/标记306的姿态。定位引擎312可以使用移动设备150和地标/标记306的相对姿态来确定移动设备150相对于车辆202的坐标系的姿态。
在一些示例中，为了确定移动设备150相对于车辆202的坐标系的姿态，定位引擎312可以将检测到的地标相对于车辆202的坐标系的坐标变换(例如，转换、平移等)为相对于移动设备150的坐标系的对应坐标。例如，在一些情况中，定位引擎312可以确定相对于移动设备150的坐标系的坐标，该坐标对应于所检测到的地标/标记相对于车辆202的坐标系的坐标。定位引擎312可以使用所检测到的地标/标记相对于车辆202的坐标系的位置(例如，坐标)以及移动设备150相对于移动设备150的坐标系的位置(例如，坐标)相对于所检测到的地标/标记相对于移动设备150的坐标系的位置(例如，坐标)，来确定移动设备150相对于车辆202的坐标系的姿态。
在一些情况中，定位引擎312还可以使用来自位置传感器106的数据来辅助生成定位数据314，如前所述。例如，在一些情况中，位置传感器106可以使用一个或多个定位信号/算法(例如，基于RF的定位(localization)/定位(positioning)、基于超声的定位(localization)/定位(positioning)等)来确定移动设备150和/或一个或多个地标/标记306的姿态。
在一些情况中，传感器数据406可以包括来自车辆202的一个或多个座椅上的一个或多个重量传感器的测量值。来自一个或多个重量传感器的测量值可以指示握持或佩戴移动设备150的乘员在车辆202的特定座椅中。该信息可以用于确认由移动设备150确定的移动设备150的位置/方位，如先前所解释的。
跟踪引擎420可以获得传感器数据并使用传感器数据来执行跟踪操作。跟踪操作可以跟踪移动设备150、车辆202的乘员(和/或乘员的一个或多个身体部位，诸如手、眼睛、手指、头部姿态等)的姿态(例如，位置、取向等等)等等。传感器数据可以包括来自一个或多个图像传感器104的图像数据、来自IMU 108的位置信息(例如，角速率、线性加速度、方位；和/或俯仰、滚转和偏航的变化)、和/或来自移动设备150和/或车辆202的一个或多个其他传感器(例如，位置传感器106)的数据。在一些示例中，跟踪引擎420可以使用来自一个或多个图像传感器104、IMU 108和/或位置传感器106的数据来执行移动设备150的位置跟踪(例如，六个自由度(6DOF)位置跟踪等)以确定移动设备150的姿态。跟踪引擎420可以生成跟踪数据422并将跟踪数据422提供给AR应用310以供监测引擎410、内容过滤引擎412和/或车辆用户界面414使用。在一些示例中，跟踪数据422可以包括移动设备150相对于移动设备150的坐标系的姿态。
跟踪引擎420可以使用一个或多个跟踪算法(诸如卡尔曼滤波器、手跟踪算法、机器学习算法、光线跟踪算法、注视和/或眼睛跟踪算法、计算机视觉算法、位置跟踪算法等)来跟踪移动设备150和/或车辆202的乘员的一个或多个身体部位(例如，眼睛、手、手指、头部等)。乘员可以包括车辆202的驾驶员或乘客。跟踪引擎420可以向AR应用310提供跟踪数据422。跟踪数据422可以包括如本文进一步描述的方位和/或取向信息。
在一些情况中，跟踪引擎420可以执行多个跟踪操作。例如，跟踪引擎420可以跟踪移动设备150和车辆202的乘员的一个或多个身体部位(例如，手、眼睛、头部、手指、姿势等)。在一些示例中，跟踪引擎420可以跟踪车辆202的乘员的手。在一些示例中，跟踪引擎420可以跟踪车辆202的乘员的眼睛和/或眼睛注视。
为了说明，参考图4B，跟踪引擎420可以包括设备跟踪引擎430、手跟踪引擎432和/或眼睛跟踪引擎434。如前所述，设备跟踪引擎430可以跟踪移动设备150的方位和/或取向。设备跟踪引擎430可以为AR应用310生成设备跟踪数据440。在一些情况中，设备跟踪数据440可以包括或表示在图4A中所示的跟踪数据422的至少一部分。
设备跟踪引擎430可以使用来自一个或多个图像传感器104的一个或多个图像和/或来自IMU 108的惯性传感器数据来跟踪移动设备150的姿态。在一些情况中，装置跟踪引擎430可以(附加地或替代地)使用来自一个或多个额外传感器(例如，位置传感器106)的数据来跟踪移动设备150的姿态。例如，位置传感器106可以获得一个或多个RF信号并且基于与一个或多个RF信号相关联的往返时间(RTT)、与一个或多个RF信号相关联的到达时间(TOA)、与一个或多个RF信号相关联的接收信号强度指示符(RSSI)等生成与移动设备150相关联的姿态信息。设备跟踪引擎430可以使用来自位置传感器106的姿态信息来跟踪移动设备150的姿态。
手跟踪引擎432可以跟踪与移动设备150相关联的乘员的一只或多只手。手跟踪引擎432可以针对AR应用310生成手跟踪数据442。在一些情况中，手跟踪数据442可以包括或表示图4A所示的跟踪数据422的至少一部分。手跟踪引擎432可以使用来自一个或多个图像传感器104的图像数据来跟踪乘员的一只或多只手。图像数据可以包括乘员的一只或多只手的一个或多个图像。手跟踪引擎432可以检测一个或多个图像中的一只或多只手，并且基于描绘一只或多只手的一个或多个图像来确定一只或多只手在物理空间中的姿态。在一些情况中，手跟踪引擎432可以(附加地或替代地)使用来自一个或多个附加传感器(诸如位置传感器106)的数据来跟踪一只或多只手的姿态。例如，位置传感器106可以获得一个或多个RF信号，并且基于与一个或多个RF信号相关联的RTT、与一个或多个RF信号相关联的TOA、与一个或多个RF信号相关联的RSSI等来生成与一只或多只手相关联的姿态信息。手跟踪引擎432可以使用来自位置传感器106的姿态信息来跟踪移动设备150的姿态。
手跟踪引擎432可以使用一个或多个跟踪算法(诸如手跟踪算法、机器学习算法、光线跟踪算法、计算机视觉算法等)来跟踪一个或多个手。手跟踪引擎432可以向AR应用310提供手跟踪数据442。手跟踪数据442可以包括一个或多个手在物理空间中的姿态。
眼睛跟踪引擎434可以使用来自一个或多个图像传感器104的图像数据来跟踪乘员的眼睛和/或眼睛注视。眼睛跟踪引擎434可以为AR应用310生成眼睛跟踪数据444。眼睛跟踪数据444可以包括在一个或多个时间或时间段确定的乘员的眼睛注视。在一些情况中，眼睛跟踪数据444可以包括或表示图4A中所示的跟踪数据422的至少一部分。
图像数据可以包括描绘乘员的眼睛的一个或多个图像。眼睛跟踪引擎434可以检测在一个或多个图像中的眼睛，并且基于一个或多个图像中检测到的眼睛来确定乘员的眼睛注视。在一些示例中，眼睛跟踪引擎434可以使用一个或多个图像以及一个或多个算法(诸如光线跟踪算法、机器学习算法、计算机视觉算法等)来检测乘员的眼睛注视。如前所述，眼睛跟踪引擎434可以将眼睛跟踪数据444提供给AR应用310。
AR应用310可以使用定位数据(例如，定位数据314)和跟踪数据(例如，跟踪数据422、设备跟踪数据440、手跟踪数据442和/或眼睛跟踪数据444)来执行各种功能，例如乘员监测(例如，经由监测引擎410)、虚拟内容过滤(例如，经由内容过滤引擎412)、内容渲染(例如，经由车辆用户界面414)、其组合和/或本文所述的其他功能。例如，在一些情况中，AR应用310可以实施被配置为监测与车辆202和/或与移动设备150相关联的乘员相关联的事件的监测引擎410。
AR应用310可以附加地或替代地实施内容过滤引擎412，内容过滤引擎412被配置为使用定位数据(例如，定位数据314)、跟踪数据(例如，跟踪数据422、设备跟踪数据440、手跟踪数据442和/或眼睛跟踪数据444)、来自监测引擎410的乘员数据、来自车辆应用302上的车辆数据408和/或监测引擎402的车辆状态数据和/或事件数据、传感器数据、和/或任何其他数据，来过滤/阻止虚拟内容针对乘员被渲染和/或从虚拟内容渲染切换到实时内容(比如，实时摄像头馈送)。
AR应用310可以附加地或替代地实施被配置为渲染诸如虚拟内容、实时内容(例如，摄像头馈送等)和/或用户界面元素之类的数据的车辆用户界面414。车辆用户界面414可以基于定位数据(例如，定位数据314)、跟踪数据(例如，跟踪数据422、设备跟踪数据440、手跟踪数据442和/或眼睛跟踪数据444)、来自监测引擎410的乘员数据、来自车辆应用302上的车辆数据408和/或监测引擎402的车辆和/或事件数据、传感器数据和/或任何其他数据来渲染数据。
监测引擎410可以监测与移动设备150相关联的乘员并检测乘员的状态。在一些示例中，乘员的状态可以包括乘员的眼睛注视、乘员的姿态、乘员的活动、乘员的任何损伤和/或关于乘员的任何其他信息。乘员的障碍可以包括可能打击/影响乘员安全操作(例如，驾驶、控制、管理等)车辆202的能力的任何事件、活动、分心、状态、属性、行为和/或状况(例如，认知、情绪或心理、生理、视觉、音频和/或情境事件、状况、属性、活动、行为、分心和/或状态)。例如，损害可以包括可能对乘员操作(例如，驾驶、控制、管理等)车辆202、检测/识别车辆202在车辆202的操作期间遇到的任何事件/状况、避免车辆202在车辆202的操作期间遇到的事件/状况、对车辆202在车辆202的操作期间遇到的事件/状况进行避免和/或作出反应、保持门限量的注意/关注(和/或保持注意/关注达到门限持续时间)操作车辆202(和/或与车辆202相关联的任何事件/状况、车辆202的操作、车辆202的环境/周围环境等)等的能力(和/或相关联的响应/反应时间)产生负面冲击/影响的任何事。
在一些示例中，损伤可以包括分心(例如，来自车辆202和/或相关联的车辆和/或相关事件的操作)、困倦状态、中毒状态、健康紧急情况(例如，中风、心脏病发作、癫痫发作、精神状态、意识丧失等)、情绪或心理压力状态、情绪状态升高、意识丧失、失能、生理状态、乘员情境(例如，乘员方位/姿势、乘员行为、乘员移动、乘员活动、乘员与车辆202和/或乘员的环境的接合、乘员服装(例如，约束/限制乘员的移动自由度或灵活性和/或减少乘员的反应时间的服装)、佩戴医疗或安全设备(例如，处方眼镜或安全带)的失败、降低乘员的可见度的物品(例如，在较差的可见度条件下的太阳镜或者能够阻挡或部分地阻挡乘员的可见度的服装)等，这可能增加安全风险和/或降低乘员控制车辆202和/或响应于驾驶和/或车辆相关事件的能力、乘员的认知状态、车辆202内的高噪声水平(例如，这可能限制乘员专心和/或听到相关声音的能力)等。
在一些情况中，损害可以包括：乘员相对于车辆202的操作和/或与车辆202相关联的事件的分心状态、乘员的中毒状态、乘员的健康状况、乘员的清醒状态、检测到的乘员的情绪状态、控制车辆202的(乘员的)受损方位(例如，在驾驶时弯曲、倾斜远离车辆202的一个或多个控件、一个或多个手忙于除了用于控制车辆202的操作/行为的驾驶控件之外的一个或多个对象等)、受损视野(例如，道路和/或环境的视野/可见度的障碍、光和/或可见度状况的障碍或减少等)和/或任何其他损害。
在一些示例中，监测引擎410可以使用定位数据(例如，定位数据314)、跟踪数据(例如，跟踪数据422、设备跟踪数据440、手跟踪数据442和/或眼睛跟踪数据444)和/或任何其他事件、状态和/或传感器数据(诸如车辆数据408(或其一部分))来监测乘员(例如，驾驶员、乘客等)并且检测乘员的任何损伤。例如，监测引擎410可以基于(例如，根据车辆数据408和/或传感器数据406而确定的)车辆202的上下文(例如，涉及、表征和/或影响乘员安全地操作车辆的能力，例如，状况/状态、操作、车辆事件等)、(例如，根据定位数据(例如，定位数据314而确定的)乘员的姿态、跟踪数据(例如，跟踪数据422、设备跟踪数据440、手跟踪数据442和/或眼睛跟踪数据444)和/或来自一个或多个图像传感器104、IMU 108、位置传感器106的数据、和/或任何其他传感器和/或数据)、由移动设备150为乘员渲染的任何虚拟内容和/或与经渲染的虚拟内容、眼睛跟踪数据、惯性传感器数据、驾驶统计数据、其他传感器数据、其任何组合和/或任何其他数据的任何检测到的用户交互(例如，乘员交互)(例如，输入、眼睛注视和/或关注、手势等)，来确定乘员的任何损伤。
例如，车辆202的上下文可以指示特定事件(例如，影响车辆的安全操作)已发生或预期发生。监测引擎410可以确定，为了响应于特定事件和/或避免与特定事件相关联的安全问题和/或风险来控制车辆202，乘员应当关注和/或注意事件(和/或与事件相关联的特定区域/方向)，不应当被虚拟内容(或其他内容)分心，不应当以某些方式移动，不应当参与某些虚拟内容，应当注意车辆202的操作，不应当参与与车辆202的某些操作无关的某些活动，应当面朝某个方向，应当以某种方式定位以允许乘员响应于特定事件(和/或车辆202的操作)等等。否则，监测引擎410可以基于车辆202的状况/状态和/或乘员的方位、注意力/焦点、眼睛注视、取向、运动、内容参与、活动等来确定乘员受损。
在一些情况下，车辆202的上下文可以包括车辆202的状况/状态、车辆事件等。在一些示例中，与车辆202相关联的事件(例如，车辆事件)可以包括在车辆202的路径内的障碍物、在车辆202的路径的门限接近度内的障碍物、在车辆202的路径内的不同车辆(例如，汽车、公共汽车、摩托车、越野车辆、自行车、火车、卡车等)、在车辆202的门限接近度内的不同车辆、与车辆202的路径(例如，在车辆202的路径中/沿着车辆202的路径、在车辆202的路径的接近度内等)相关联的交通控制(例如，交通标志、指示标志、可变消息标志、交通锥、箭头板、施工桶、路障、交通标记、临时凸起岛、交通灯等)、车辆202未能保持在速度限制内、车辆202未能保持在车道或车道标记内、车辆202未能保持在道路内、交通事件(例如，事故、交通改道、停止、交通增加、道路关闭等)等。在一些示例中，障碍物可以包括行人、动物、物体、另一车辆、道路状况、树木、障碍物等。
在一些情况中，车辆202的状态可以包括车辆202的操作和/或状态，例如但不限于加速度、减速度、信令(例如，转向信号等)、选择的/活动挡位、警告(例如，发动机警告、电池警告、燃料警告、轮胎警告、灯警告等)、操纵(例如，转弯、出口/外出、入口/进入、U形转弯、停止/制动等)、车辆和/或车辆组件状况/状态(例如，发动机的状况/状态、电池、一个或多个车灯(例如，前灯、尾灯、日间行车灯、倒车灯、应急灯、雾灯、越野灯、信号灯、制动灯等)、轮胎(例如，轮胎压力、轮胎警告、平胎状况等)、一个或多个制动器或制动系统的状况/状态、燃料状态和/或燃料表读数等)、一个或多个车辆组件/功能的故障或具体操作、驾驶状态、自主状态、车辆功能状态等。
在一些情况中，监测引擎410可以基于各种提示(例如，视觉和/或音频提示)和/或关于乘员的信息(诸如乘员的状态、特性和/或状况；乘员的任何活动/运动；乘员的行为；乘员的眼睛注视；等)来确定乘员的状态(例如，乘员的损伤)。例如，监测引擎410可以基于乘员的眼睛注视或眼睛运动模式(例如，不规则的眼睛运动、对刺激的减小的响应性、延长的眼睛注视、不稳定的眼睛注视、聚焦在某些位置或方向上等)、眼睛的特性(例如，红色、瞳孔尺寸、玻璃眼等)、乘员对一个或多个事件的反应时间和/或特性(例如，夸张的反应、降低的反应时间等)、乘员的面部表情、乘员的头部姿态和/或头部运动(例如，睡眠抽动、头部滚动、倾斜或颓然头部等)、乘员的姿态或姿势(例如，颓然、蜷缩、身体倾斜、不规则姿势等)、乘员的运动(例如，抽动、运动功能、夸张的运动等)、乘员的手势、乘员的驾驶姿态(例如，鉴于车辆202的当前状态/状况/操作和/或通常)、乘员的驾驶模式(例如，加速/减速模式、车道变化模式、制动模式、信令模式(或其缺乏)、车辆操纵模式、转弯模式等)。
在一些情况中，监测引擎410可以基于音频提示(作为视觉提示的补充或替代)来确定乘员的损伤。例如，在一些情况中，监测引擎410可以从移动设备150和/或车辆202的一个或多个传感器(诸如麦克风)获得音频数据，并且基于音频数据来确定损伤。为了说明，监测引擎410可以基于一个或多个语音特性(例如，模糊不清的语音、快速语音等)、乘员的嗓音(例如，嗓音的响度或柔软性等)、乘员的识别语音的内容等来确定损害。
在一些情况中，监测引擎410可以基于车辆202的状态/状况和/或由移动设备150渲染的内容来确定损伤。例如，如果车辆202的状态指示车辆正在以高速行驶、在具有较差可见度的环境中行驶、在具有挑战性的状况(例如，潮湿或结冰状况、恶劣天气状况、急转弯、严重转变的区域、大量行人和/或其他交通等)下行驶、执行操纵等，监测引擎410可以确定乘员的损伤，如果确定乘员在门限时间段内关注由移动设备150渲染的虚拟内容或在门限时间段内不再关注某些区域/位置(例如，道路、车辆事件的位置等)，如果确定乘员参与其他活动(例如，与车辆202的操作或安全操作(例如，驾驶)无关)，如果确定乘员被定位成远离某些车辆控件超过一定距离，如果确定乘员具有被确定为降低驾驶安全性或增加驾驶风险的特定姿势/方位(例如，晃动、弯曲、转身等)，如果乘员没有佩戴安全带，如果乘员在较差可见度状况下(例如，在夜间、在恶劣天气状况期间、在浓雾期间等等)在没有车灯(例如，头灯、雾灯、尾灯、制动灯等)操作车辆202等等。监测引擎410可以基于车辆202的状况/状态和/或由移动设备150渲染的内容，作为先前描述的关于乘员的任何提示(视觉和/或音频)的补充或者在没有关于乘员的任何提示(视频和/或音频)的情况下，来确定损伤。
在一些情况中，车辆应用302的车辆监测引擎402可以类似地确定乘员的任何损伤。作为由AR应用310的监测引擎410确定的任何损伤信息的补充或替代，车辆监测引擎402可以确定任何损伤。例如，在一些情况中，车辆监测引擎402可以结合由AR应用310的监测引擎410确定的损伤信息来确定损伤信息。作为另一示例，在一些情况中，车辆监测引擎402可以确定与由AR应用310的监测引擎410所确定的损伤信息分开的损伤信息，和/或在没有任何损伤信息的情况下确定损伤信息。此外，车辆监测引擎402可以确定除了任何车辆数据以外还有的任何损伤，比如指示车辆202的上下文的数据，如下面进一步描述的。
在一些示例中，内容过滤引擎412可以使用定位数据(例如，定位数据314)、跟踪数据(例如，跟踪数据422、设备跟踪数据440、手跟踪数据442和/或眼睛跟踪数据444)、来自监测引擎410(和/或车辆监测引擎402)的损伤信息和/或任何其他事件、状态和/或传感器数据(诸如车辆数据408(或其一部分))来确定/选择内容以过滤/阻止和/或渲染给乘员。例如，内容过滤引擎412可以使用移动设备150相对于车辆202的(例如，车辆计算系统210的)坐标系的姿态和指示车辆202的上下文的车辆数据(例如，车辆202的状态/状况、车辆事件/操作等)来过滤/阻止可能使乘员从车辆202的操作和/或车辆事件分心和/或可能阻碍乘员对车辆事件的查看和/或内容过滤引擎412确定应当对乘员保持可见的车辆202外部的某个区域的某些内容。在一些情况中，作为过滤/阻挡内容的取代或补充，内容过滤引擎412可以用实时内容(例如，实时摄像头馈送)替换由移动设备150渲染的虚拟内容，该实时内容可能不会妨碍乘员对车辆事件或车辆202外部的环境的查看。作为另一示例，内容过滤引擎412可以使用移动设备150的姿态和关于车辆202的状态的信息来渲染虚拟内容，该虚拟内容将乘员的注意力吸引到某个方向和/或某个位置，比如特定事件的方向/位置。
在一些情况中，内容过滤引擎412可以使用移动设备150相对于车辆202的坐标系的姿态来将来自车辆202和/或与车辆202相关联的信息与移动设备150的姿态进行相关。例如，车辆202的状态/状况可以指示由车辆计算系统210所报告的车辆事件的位置。车辆事件的位置可以相对于车辆的坐标系。因此，移动设备150的姿态可以与车辆事件的位置相关，因为两者相对于车辆的坐标系是已知的。内容过滤引擎412可以使用移动设备150相对于车辆202的坐标系的姿态来确定为乘员渲染的任何虚拟内容是否将阻碍乘员对车辆202相对于车辆202的坐标系所报告的事件的观看。如果内容过滤引擎412确定在相对于车辆202的坐标系的具体位置处阻止内容，则内容过滤引擎412可以使用移动设备150相对于车辆202的坐标系的姿态来过滤/阻止在具体位置处渲染任何内容。
在一些示例中，内容过滤引擎412可以过滤使乘员分心或被确定为使乘员分心的任何虚拟内容。例如，内容过滤引擎412可以确定视频游戏内容(或任何其他内容)可能使乘员分心，并且过滤任何视频游戏内容以防止在操作车辆202时为乘员渲染这样的内容。在其他示例中，内容过滤引擎412可以过滤被确定为阻挡/阻碍乘员对特定事件的查看/可见性的任何虚拟内容，比如，沿着车辆202的路径(或在路径附近)的障碍物、交通事件或本文所述的任何车辆事件。例如，内容过滤引擎412可以基于移动设备150相对于车辆202的坐标系的姿态和车辆事件相对于车辆202的坐标系的位置(例如，其可以在车辆数据408中指示)来确定乘员对在车辆数据408中标识的车辆事件的视图将被虚拟内容阻挡。然后，内容过滤引擎412可以过滤/阻止这样的虚拟内容以防止车辆事件的乘员的视野被阻挡和/或可以从渲染虚拟内容切换到提供实时馈送。在一些示例中，实时馈送可以描绘车辆事件或者可以不阻碍车辆事件。
车辆用户界面414可以为乘员渲染内容和/或用户界面元素。在一些示例中，车辆用户界面414可以基于车辆202的状态/状况来渲染或生成内容和/或用户界面元素。在一些示例中，车辆用户界面414可以使用损伤信息来确定是否为乘员渲染内容和/或渲染什么内容。例如，如果来自监测引擎410的损害信息指示乘员分心，则车辆用户界面414可以使用这样的信息来停止渲染可能使乘员分心(或继续使乘员分心)的内容或渲染被配置为将乘员的注意力吸引到具体位置和/或动作/操作(并且远离导致乘员分心的不同位置和/或动作/操作)的内容。
车辆用户界面414可以使用移动设备150相对于车辆202的坐标系的姿态来确定在何处(或是否)为乘员渲染内容。例如，为了在具体位置处渲染内容以将乘员的注意力吸引到相对于车辆202的坐标系的某物，车辆用户界面414可以使用移动设备150相对于车辆202的坐标系的姿态来在该具体位置处渲染内容。作为另一示例，如果车辆计算系统210报告与相对于车辆202的坐标系的具体位置相关联的某些数据，则车辆用户界面414可以使用移动设备150相对于车辆的坐标系的姿态来在相对于车辆202的坐标系的该具体位置处渲染数据或在相对于所述相对于车辆202的坐标系的该具体位置而被确定的不同位置处渲染数据。
在一些示例中，车辆用户界面414可以使用移动设备150相对于车辆202的坐标系的姿态来确定在何处为乘员渲染内容。例如，车辆用户界面414可以在与车辆事件相关联的具体位置渲染虚拟内容(例如，箭头、边界框、图像、脉冲光等)，以吸引乘员对车辆事件的注意力。作为另一示例，车辆用户界面414可以在与车辆事件的位置不同的位置渲染虚拟内容，以防止虚拟内容遮挡乘员对车辆事件的查看。在一些示例中，车辆用户界面414可以基于乘员的状态和/或车辆202的上下文来选择为乘员渲染的具体内容。例如，为了避免阻碍乘员对特定事件的查看，车辆用户界面414可以渲染实时内容(例如，实时摄像头馈送)而不是虚拟内容。作为另一示例，为了避免使乘员分心，车辆用户界面414可以渲染虚拟内容而不是实时内容。为了说明，如果车辆202的上下文指示另一车辆在道路的侧面上损坏或被警察靠边停车，则车辆用户界面414可以渲染虚拟内容(或没有内容)而不是实时内容，以防止乘员伸长脖子观看。替代地，内容过滤引擎412可以过滤掉实时内容以防止伸长脖子观看，并且车辆用户界面414可以替代地渲染虚拟内容或根本不渲染内容。在一些情况中，实时内容可以包括来自移动设备150上的一个或多个图像传感器104和/或车辆202的一个或多个图像传感器的实时馈送。
在一些情况中，AR应用310可以生成事件数据424。AR应用310还可以将事件数据424发送给车辆计算系统210。在一些情况中，AR应用310可以基于定位数据(例如，定位数据314)；跟踪数据(例如，跟踪数据422、设备跟踪数据440、手跟踪数据442、和/或眼睛跟踪数据444)；来自监测引擎410、内容过滤引擎412和/或车辆用户界面414的任何输出和/或数据；来自移动设备150的任何传感器(例如，图像传感器104、位置传感器106、IMU 108等)的数据；应用数据；用户输入；和/或任何其他数据，来生成事件数据424。在一些情况中，事件数据424可以包括定位数据(例如，定位数据314)；跟踪数据(例如，跟踪数据422、设备跟踪数据440、手跟踪数据442和/或眼睛跟踪数据444)；来自监测引擎410、内容过滤引擎412和/或车辆用户界面414的任何输出和/或数据；来自移动设备150的任何传感器(例如，图像传感器104、位置传感器106、IMU 108等)的数据；应用数据；用户输入；和/或任何其他数据。在一些情况中，事件数据424可以附加地或替代地包括从以下各项生成的事件和/或对以下各项的描述：定位数据(例如，定位数据314)；跟踪数据(例如，跟踪数据422、设备跟踪数据440、手跟踪数据442和/或眼睛跟踪数据444)；来自监测引擎410、内容过滤引擎412和/或车辆用户界面414的任何输出和/或数据；来自移动设备150的任何传感器(例如，图像传感器104、位置传感器106、IMU 108等)的数据；应用数据；用户输入；和/或任何其他数据。
在一些示例中，事件数据424可以包括、指示和/或描述由如上所述的监测引擎410确定的乘员的状态、来自AR应用310的内容、其任何组合、和/或任何其他乘员和/或设备信息。在一些示例中，乘员的状态可以包括由监测引擎410确定的乘员的损伤。在一些情况中，乘员的状态可以附加地或替代地包括乘员的姿态(例如，位置、取向、姿势等)、乘员的任何运动、乘员的任何活动、乘员的眼睛注视、乘员的头部姿态、关于乘员的任何信息、和/或指示乘员的注意力/焦点、乘员的活动、乘员的移动、乘员的能见度或视野(FOV)、乘员的行为、乘员的位置(例如，位置、取向、姿态等)、乘员的可到达范围(例如，可到达一个或多个车辆控件)、乘员的参与和/或乘员控制车辆202的操作和/或对与车辆202相关联的事件作出反应的能力(和/或可能性)的任何其他信息。
如前所述，AR应用310可以将事件数据424发送到车辆202。例如，AR应用310可以将事件数据424发送到车辆计算系统210。在一些情况中，车辆计算系统210可以接收事件数据424并将事件数据424提供给车辆应用302以进行处理/分析。在一些情况中，车辆应用302可以基于事件数据424和/或传感器数据406来控制车辆202的行为、操作、功能和/或状态。
例如，在一些情况中，车辆应用302的事件缓解引擎404可以基于事件数据424和/或传感器数据406来控制(例如，修改、实施、启用、禁用、管理等)车辆202的行为、操作、功能和/或状态。在一些示例中，事件缓解引擎404可以控制和/或参与一个或多个车辆功能、车辆系统、自主能力等。例如，事件缓解引擎404可以控制和/或接合自动驾驶功能、牵引控制功能、巡航控制功能、碰撞避免功能、车道偏离功能、车道居中功能、制动辅助功能、车道保持功能、高速公路辅助功能、车道变换辅助功能、速度适配功能、信令功能、交叉路口辅助功能、盲区监测系统、驾驶员监测系统(例如，监测引擎402和/或任何驾驶员监测系统)、制动系统、自主驾驶控制系统、驾驶员辅助系统、导航系统、转向控制系统、车辆通信系统、汽车平视显示器和/或任何其他车辆系统、功能和/或能力。
在一些情况中，事件缓解引擎404可以基于事件数据424来控制车辆202，以缓解由乘员的状态和/或在事件数据424中包括的关于乘员的其他信息所引起的任何事件和/或风险。在一些示例中，事件缓解引擎404可以基于事件数据424来激活车辆的一个或多个驾驶员辅助功能，诸如由一个或多个高级驾驶员辅助系统(ADAS)执行的功能和/或增加车辆的自主驾驶的策略/水平。为了说明，如果事件数据424指示车辆202的乘员受损(例如，分心、中毒等)，则事件缓解引擎404可以参与车辆202的自主能力和/或修改车辆202的自主驾驶策略/水平，以在乘员受损时至少部分地控制车辆202的操作。作为另一示例，如果事件数据424指示车辆202的乘员没有注意传感器数据406中标识的附近障碍物或不能看到附近障碍物(例如，因为乘员的眼睛注视在不同的方向上，因为乘员的视野被遮挡，因为较差的能见度条件等)，则事件缓解引擎404可以参与车辆202的自主能力和/或修改车辆202的自主驾驶策略/水平以至少部分地控制车辆202的操作，直到至少障碍物被避免或不再是潜在问题为止。
在一些示例中，事件缓解引擎404可以向其他外部设备通知/警告任何检测到的乘员损伤。例如，事件缓解引擎404可以通知其他车辆、与其他用户相关联的一个或多个远程计算设备(例如，行人、另一车辆的乘员、交通护栏/控制器等)、车辆基础设施(例如，交通灯、交通摄像头、路灯、标牌、停车计时器、车道标记等)、一个或多个紧急响应系统和/或人员等。
车辆应用302的监测引擎402可以使用传感器数据406来监测和/或检测车辆202的上下文(涉及、表征和/或影响乘员(安全地)操作车辆的能力)。如前所述，在一些示例中，车辆202的上下文可以包括车辆202的状态(例如，状况、操作、行为、轨迹、条件、配置、操作度量、环境、车辆参数、功能等)、车辆事件等。例如，车辆202的上下文可以指示特定车辆事件(影响车辆的安全操作，例如，特定的活动、状况、事件、环境、操作等)已经发生或预期发生。作为另一实例，车辆202的上下文可以指示车辆202的操作、行为和/或状态。在一些示例中，监测引擎402可以使用传感器数据406来确定车辆202的上下文的任何方面，例如，车辆202的状态、车辆事件等。
例如，监测引擎402可以通过检测、识别和/或定位在传感器数据406中的一个或多个图像(例如，由传感器系统220的一个或多个图像传感器捕获的车辆202外部环境的场景和/或一部分的一个或多个图像)上描绘的一个或多个物体(例如，对象、事件、人、动物、道路、车辆、场景、活动、交通控制、结构、障碍物、设备、手势等)，从传感器数据406确定包括一个或多个运动测量(例如，速度、角速率、取向、航向、加速度、减速度等)的惯性传感器数据，确定传感器数据406中的位置信息(例如，来自一个或多个位置设备，诸如全球定位系统(GPS)接收机或全球导航卫星系统(GNSS)接收机)，和/或确定传感器数据406中的指示/描述一个或多个物体(例如，对象、事件、人、动物、道路、树、车辆、场景、交通控制、活动、手势、设备、结构、障碍物等)相对于车辆202的位置和/或一个或多个物体到车辆202的接近度/距离等的附加位置信息(例如，来自一个或多个传感器，例如RADAR、LIDAR、图像传感器、基于RF的定位系统等)，来确定车辆202的上下文。
在一些情况中，监测引擎402还可以使用来自移动设备150的AR应用310的事件数据424来监测和/或检测车辆202的上下文。例如，当确定车辆202的上下文时，监测引擎402可以考虑在事件数据424中指示的乘员的状态(例如，损伤、眼睛注视、方位、活动等)。
图5是示出用于调制为车辆(例如，车辆202)的乘员502渲染的虚拟内容的示例用例500的图。如前所述，AR应用310可以调制/修改(例如，经由内容过滤引擎412和/或车辆用户界面414)由移动设备150渲染的虚拟内容。AR应用310可以基于由AR应用310的监测引擎410确定的乘员的状态和/或在车辆数据408中标识和/或由车辆应用302的监测引擎402确定的车辆202的上下文，来调制(例如，经由内容过滤引擎412和/或车辆用户界面414)虚拟内容。
在一些示例中，AR应用310可以通过禁用、变暗或调整虚拟内容的特性(例如，大小、亮度、透明度、位置、取向等)来调制虚拟内容。在一些情况中，AR应用310可以调制一段时间内的所有虚拟内容、车辆202的特定上下文期间的所有虚拟内容、乘员的状态期间的所有虚拟内容、除了被标记为异常或需要的虚拟内容的子集之外的所有虚拟内容(例如，HUD内容、车辆仪表内容、导航内容、紧急警报等)、乘员关注的虚拟内容的任何部分、遮挡车辆事件的任何虚拟内容等。
例如，AR应用310可以通过(例如，经由内容过滤引擎412)过滤/阻止由移动设备150渲染的一个或多个虚拟内容项(或所有虚拟内容)来调制虚拟内容。作为另一示例，AR应用310可以通过控制(例如，经由车辆用户界面414)呈现什么虚拟内容、何时呈现虚拟内容、何处呈现虚拟内容、呈现虚拟内容的一个或多个特性(例如，透明度、大小、亮度、位置、取向等)等，来调制虚拟内容。在一些示例中，AR应用310可以基于由AR应用310的监测引擎410确定的乘员的状态和/或在车辆数据408中标识和/或由车辆应用302的监测引擎402确定的车辆202的上下文，来过滤/阻止(例如，经由内容过滤引擎412)虚拟内容。在一些示例中，AR应用310可以基于由监测引擎410确定的乘员的状态和/或在车辆数据408中标识和/或由监测引擎402确定的车辆202的上下文来调制(例如，经由车辆用户界面414)由移动设备150呈现的虚拟内容。
在图5所示的示例用例500中，车辆202的乘员502正在佩戴移动设备150，比如HMD或智能眼镜，同时使用车辆202的方向盘505来驱动车辆202。在时间T1处，当乘员502正在驾驶车辆202时，移动设备150正在渲染虚拟内容510。然后，移动设备150确定(例如，基于车辆数据408或来自车辆应用302的监测引擎402的通知)需要乘员502的注意和/或交互的事件512正在发生或即将发生(例如，将在门限时间段内和/或在车辆202的门限行进距离量内发生)。在一些情况中，移动设备150可以确定事件512的位置(例如，基于车辆数据408或来自车辆应用302的监测引擎402的通知)。在该示例中，事件512的位置是车辆202外部的位置，并且事件512是穿过车辆202的路径的婴儿车。这里的事件512仅仅是出于解释目的而提供的一个解释性示例。因此，其他示例可以包括其他事件和/或事件类型。在一些示例中，事件可以被分类为需要由车辆应用302的监测引擎402和/或车辆用户界面414例如经由在肯定和否定示例上训练的机器学习分类器进行的乘员502的注意和/或交互。
虚拟内容510相对于移动设备150的坐标系的位置是与事件512相对于车辆202的坐标系的位置相关联的。在本示例中，虚拟内容510位于从移动设备150的位置到事件512的位置的视线内/沿着视线。因此，来自移动设备150的视线和/或来自移动设备150的事件512的视图/能见性被正在渲染的虚拟内容510阻挡/遮挡。
为了防止虚拟内容510遮挡/阻挡乘员502看到事件512的能力，移动设备150可以调整虚拟内容510的一个或多个特性。在该示例中，在时间T2，移动设备150增加虚拟内容510的透明度以使得能够透过虚拟内容510看到事件512。如图所示，在时间T2，事件512在其透明度已经增加之后透过虚拟内容510可见。这允许乘员502看到(并监测/跟踪)事件512，并且基于事件512对乘员502认为必要的车辆202的操作进行任何调整。例如，乘员502可以停止车辆202以允许与事件512相关联的婴儿车通过。一旦婴儿车已经通过，乘员502就可以驶离。作为另一示例，乘员502可以加速/减速车辆202和/或实施可以允许车辆202避开与事件512相关联的婴儿车的任何操纵。
另一方面，如果虚拟内容510未如上所述被调整以允许乘员502看到事件512，则乘员502可能潜在地错过/忽略事件512。在不看到事件512的情况下(或在没有及时看到事件512以作出反应的情况下)，乘员502可能在其它方面中未能避开与事件512相关联的婴儿车，或可能突然反应和/或从较近的距离反应，这可能已经产生危险或可能没有足够及时避开婴儿车。
图6A至图6E是示出用于调制虚拟内容的示例用例的图。参考图6A，在该示例中的移动设备150已经确定车辆202的乘员602分心，并且事件将在乘员602的视野(FOV)610内发生。在本公开内容中，乘员602的FOV 610可以由移动设备150修改或限定。更具体地，FOV610可以由在移动设备150的相应显示区域上或通过移动设备150的相应显示区域可见的视野来定义。举例来说，佩戴智能眼镜的乘员602的FOV 610可以由通过智能眼镜的FOV来定义，该FOV与乘员的肉眼的FOV相比通常减小。在另一示例中，可以通过在HMD的显示器上显示更大的FOV来放大乘员的生理/解剖FOV。在一些示例中，FOV 610可以是移动设备150可以在其上渲染虚拟内容的FOV。为了强调在FOV 610内的事件和/或吸引乘员602对FOV 610内的事件的注意力，移动设备150可以在FOV 610内渲染与事件相关的虚拟内容612。在本示例中，虚拟内容612包括FOV 610的边缘(或轮廓)的脉动。边缘的脉动可以强调在脉动边缘内的区域并且将乘员602的注意力吸引到该区域。
在图6B中，移动设备150已经例如基于车辆数据408检测到车辆事件625，其中，行人620已经从树615后面出现并且正在朝向(或进入)车辆202的路径进行移动。行人620先前被树615阻挡并且对乘员602或移动设备150或车辆202不可见，直到行人620移动经过树615并朝向(或进入)车辆202的路径。为了将乘员602的注意力吸引到车辆事件625(包括行人620)和/或强调车辆事件625(包括行人620)的位置，移动设备150在车辆事件625的位置周围并且更具体地在与车辆事件625相关联的行人620的位置周围已经渲染突出显示622。
在一些示例中，移动设备150可以在车辆事件625和/或其一部分(诸如行人620)周围渲染边界框(或任何其他形状/几何形状)。在一些情况中，移动设备150可以根据旨在吸引(或进一步吸引)乘员602的注意力的一个或多个特性来渲染突出部622。例如，移动设备150可以根据特定尺寸、颜色、图案、形状、透明度、亮度、厚度、动画和/或用于渲染突出部622的任何其他特性来渲染突出部622，以更好地吸引乘员602的注意力。
图6C示出了用于渲染内容以将乘员602的注意力吸引到车辆事件625(包括行人620)和/或强调车辆事件625(包括行人620)的另一示例。在该示例中，移动设备150在乘员602的FOV 610内已经渲染方向指示符630。方向指示器630在包括行人620的车辆事件625的方向上引导乘员602的头部和注视。方向指示器630在该示例中被示为头部锁定箭头。然而，其他示例可以包括其他类型和/或配置的方向指示符。
在一些情况中，移动设备150可以根据旨在吸引/捕获(或进一步吸引/捕获)乘员602的注意力的一个或多个特性来渲染方向指示符630。例如，移动设备150可以根据特定大小、颜色、图案、形状、透明度、亮度、厚度、动画和/或任何其他特性来渲染方向指示符630。在一些情况中，移动设备150可以使乘员602的视觉/视野的外围脉动，以进一步吸引/捕获乘员602的注意力。
图6D示出了与由移动设备150为车辆202的乘员602呈现的车辆事件相对应的实时内容的示例。该示例中的车辆事件包括行人620从树615后方穿过/经过，如前所述。然而，在这种情况下，取代为乘员602渲染虚拟内容，移动设备150已经呈现由移动设备150从车辆202的车辆摄像头(例如，倒车摄像头、侧视摄像头、前置摄像头等)获得的摄像头馈送640。摄像头馈送640可以描绘车辆事件，包括行人620，并且因此可以允许乘员602观察车辆事件。
例如，车辆摄像头可以将其馈送流式传输到移动设备150。然后，移动设备150可以呈现来自车辆摄像头的摄像头馈送640，以供乘员602消费。摄像头馈送640可以描绘车辆事件，包括行人620。因此，由移动设备150呈现的摄像头馈送640可以允许乘员602从由移动设备150呈现的摄像头馈送640查看车辆事件(包括行人620)。
图6E示出了由移动设备150渲染的车辆事件625的外部视图650。该示例中的外部视图650被锁定到(和/或投影到)车辆壁641。在一些示例中，车辆壁641可以基于本文先前描述的车辆模板。车辆壁641被示出为车辆202的乘客侧上的内壁。然而，外部视图650可以渲染在和/或锁定到车辆内部的任何壁、侧面或部分。
外部视图650可以描绘车辆事件625，包括行人620。在一些示例中，外部视图650可以包括车辆事件625的虚拟内容渲染。在其他示例中，外部视图650可以包括车辆事件625的实时内容渲染(例如，摄像头馈送)。可以渲染外部视图650，使得车辆壁641对于乘员602看起来是透明或半透明的，并且车辆事件625对于乘员602看起来是可见的(例如，如外部视图650所渲染的)。在一些情况中，可以基于移动设备150(以及因此佩戴移动设备150的乘员602)相对于车辆的坐标系的位置和/或车辆事件625相对于车辆的坐标系的位置来扭曲和/或视角校正外部视图650。
在一些情况中，由移动设备150渲染的内容可以包括车辆数据(例如，车辆数据408)或车辆数据的一部分。例如，在图6A至图6E所示的任何示例中渲染的内容可以包括车辆数据或车辆数据的一部分，例如，车辆状态信息、车辆仪表数据、车辆信息、来自车辆202的一个或多个传感器的数据等。为了说明，由移动设备150渲染的内容可以包括：对车辆202的速度、车辆202的方向、车辆202路线、车辆202的电池状态、车辆202的燃料状态、车辆的油状态、与车辆202相关联的里程、与车辆202相关联的导航数据、与车辆的一个或多个轮胎相关联的轮胎压力(和/或轮胎状态/状况)、对在车辆202处激活/开启/启用的控制信号的指示、关于车辆制动器的信息、车辆警告、车辆错误、关于一个或多个车辆灯(例如，前灯、尾灯、倒车灯、日间行车灯、雾灯、越野灯、信号灯、制动灯、应急灯等)的信息(例如，状态/状况、警告等)、关于转向系统的信息、关于一个或多个车辆系统和/或自主功能的信息，巡航控制状态信息、安全带信息、和/或任何其他车辆信息和/或仪器的指示。
在一些情况中，移动设备150可以渲染从车辆202流式传输的车辆信息(例如，车辆状态信息、仪表、导航信息等)。在一些示例中，移动设备150可以将车辆信息呈现为头部锁定HUD或世界锁定用户界面(UI)元素。在一些情况中，移动设备150可以渲染虚拟内容以替换可能使乘员分心的现实世界内容和/或事件，诸如广告牌、事故等。在一些方面中，移动设备150可以使用深度神经网络来渲染本文所述的任何虚拟内容，该深度神经网络被训练为从图像的数据库生成“深度伪造”(例如，合成)虚拟内容。在一些情况中，“深度伪造”虚拟内容可以以由移动设备150和/或车辆202观察到的样式进行渲染。
如前所述，移动设备150的AR应用310的监测引擎410可以监测和理解车辆202的一个或多个乘员的状态。在一些情况中，车辆计算系统210的车辆应用302的监测引擎402可以替代地或附加地(例如，与AR应用310的监测引擎410组合或单独地)监测和理解车辆202的一个或多个乘员的状态。在一些示例中，乘员的状态可以包括乘员的一个或多个特性，例如，检测到的损伤、眼睛注视、位置、乘员的姿态(例如，取向、位置等)、乘员的头部姿态、手势、面部表情、手势、活动、情绪、运动、执行动作的意图和/或乘员的其他特性。
例如，监测引擎410和/或监测引擎402(单独地或与来自移动设备150的数据(诸如监测引擎410)组合)可以检测和/或识别车辆的乘员的各种状态。图7A至图7I是示出由移动设备150的AR应用310的监测引擎410和/或车辆202的监测引擎402检测到的驾驶车辆202的乘员750的不同示例状态的图。图7A至图7I所示的示例中的乘员750是佩戴移动设备150的车辆202的驾驶员。
在图7A所示的示例中，乘员750正在佩戴移动设备150(比如智能眼镜)并且执行正常驾驶活动702。监测引擎410可以确定乘员750正在执行正常驾驶活动702。如图所示，在该示例中，正常驾驶活动702包括乘员750直接看向车辆202的挡风玻璃之外，并且双手在方向盘上。此外，在正常驾驶活动702期间，乘员750未受损(例如，分心等)。
图7B示出了乘员750在驾驶车辆202时的示例状态704。在该示例中，状态704包括乘员750通过在驾驶车辆202时将移动电话752保持到她的耳朵来使用移动电话752。在一些情况中，监测引擎410可以确定乘员750正在使用移动电话752，并且确定移动电话752的使用可能使乘员750损伤(例如，分心)。因此，在一些示例中，监测引擎410可以基于移动电话752的使用来确定乘员750的损伤。该示例中的损伤包括分心。监测引擎410还可以确定，如果乘员750需要使用握着移动电话752的手来控制方向盘和/或任何其他车辆控件，则使手被占用可能延迟(并且因此损害)乘员控制方向盘和/或任何其他车辆控件的能力，并且因此增加事故的风险。通常，监测引擎410可以基于乘员的一只或两只手的位置和/或活动(例如，基于确定至少一只手不在方向盘上)来检测损伤的状态。在一些示例中，监测引擎410可以基于乘员操作移动电话来检测损伤的状态。
图7C示出了驾驶车辆202的乘员750的另一示例状态706。在该示例中，乘员750的状态706包括乘员750饮用饮料。监测引擎410可以确定乘员750正在饮用饮料，如图7C所示。在一些情况中，监测引擎410可以确定饮用饮料损伤乘员750(例如，损伤乘员750驾驶车辆202的能力、损伤乘员750对车辆事件的反应和/或反应时间、增加驾驶车辆202的难度、增加事故的风险等)。例如，监测引擎410可以确定饮用饮料使乘员750分心和/或占用乘员750的至少一只手，并且因此阻止乘员750使用该手来操作车辆202和/或响应于车辆事件。监测引擎410还可以确定，如果乘员750需要使用该手来控制方向盘和/或任何其他车辆控件，则使该手被占用可能延迟(并且因此损伤)乘员控制方向盘和/或任何其他车辆控件的能力，并且因此增加事故的风险。通常，监测引擎410可以基于乘员的一只或两只手的位置和/或活动(例如，基于确定至少一只手不在方向盘上)来检测损伤的状态。
图7D示出了驾驶车辆202的乘员750的另一示例状态708。在该示例中，状态708包括乘员750调整她的头发。如图所示，乘员750在她调整她的头发时，使双手离开车辆202的方向盘。监测引擎410可以确定乘员750正在调整她的头发并且双手离开方向盘。在一些情况中，监测引擎410可以确定双手离开方向盘会损伤乘员750(例如，损伤乘员750驾驶车辆202的能力、损伤乘员750对车辆事件的反应和/或反应时间、增加驾驶车辆202的难度、增加事故的风险等)。例如，监测引擎410可以确定调整头发使乘员750分心和/或双手离开方向盘阻止了乘员750使用手来操作车辆202和/或对事件做出响应。监测引擎410还可以确定，如果乘员750需要控制方向盘(和/或任何其他车辆控件)，则使她的手离开方向盘以调整她的头发可能延迟(并且因此损伤)她控制方向盘(和/或任何其他车辆控件)的能力，并且因此增加事故的风险。通常，监测引擎410可以基于乘员的一只或两只手的位置和/或活动(例如，基于确定至少一只手不在方向盘上)来检测损伤的状态。
图7E示出了驾驶车辆202的乘员750的另一示例状态710。在该示例中，状态710包括将臂756延伸出车辆202的驾驶员侧窗。如图所示，乘员750有手臂756延伸到驾驶员侧窗之外，使手臂756的手离开方向盘和任何其他车辆控件。监测引擎410可以确定乘员750有手臂756延伸到驾驶员侧窗之外并且该手臂756的手离开方向盘和任何其他车辆控件。在一些情况中，监测引擎410可以确定使臂756离开驾驶员的侧窗并且使臂756的手离开方向盘和任何其他车辆控制损伤乘员750(例如，损伤乘员750驾驶车辆202的能力、损伤乘员750对车辆事件的反应和/或反应时间、增加驾驶车辆202的难度、增加事故的风险等)。例如，监测引擎410可以确定使臂756离开驾驶员的侧窗并且该手臂756的手离开方向盘，并且任何其他车辆控件防止乘员750快速使用该手来操作车辆202和/或对事件做出响应。在一些示例中，监测引擎410可以确定，如果乘员750需要使用手臂756的手来控制方向盘和/或任何其他车辆控件，则手臂756和该手臂756的手暂时不可用(例如，延伸到驾驶员侧窗之外)可能延迟(并且因此损伤)乘员控制方向盘和/或任何其他车辆控件的能力，并且因此增加事故的风险。通常，监测引擎410可以基于乘员的一只或两只手的位置和/或活动(例如，基于确定至少一只手不在方向盘上)来检测损伤的状态。
图7F示出了驾驶车辆202的乘员750的另一示例状态712。在该示例中，状态712包括当驾驶车辆202时的打哈欠。监测引擎410可以确定乘员750在驾驶车辆202时正在打哈欠。在一些情况中，监测引擎410可以确定打哈欠指示乘员750的损伤。例如，监测引擎410可以确定打哈欠指示瞌睡/困倦状态和/或有限关注/注意力，其可能负面影响乘员750驾驶车辆202和/或响应于车辆事件的能力。通常，监测引擎410可以基于指示乘员的具有有限/减少的关注/注意力的状态的面部表情(比如，打哈欠、闭合/下垂眼睛/眼睑等)和/或乘员的身体姿势来检测损伤的状态。
图7G示出了驾驶车辆202的乘员750的另一示例状态714。在该示例中，状态714包括乘员750在驾驶车辆202时向下看乘员750的膝盖。监测引擎410可以确定乘员750在驾驶车辆202时向下看乘员750的膝盖。在一些情况中，监测引擎410可以确定在驾驶时向下看乘员750的膝盖会损伤乘员750操作车辆202和/或响应于车辆事件的能力。例如，监测引擎410可以确定向下看乘员750的膝盖使乘员750分心并且阻止乘员750看道路和外部环境，以及快速地检测和响应于与车辆202的驾驶相关联的车辆事件。通常，监测引擎410可以基于指示乘员的具有有限/减少的关注/注意力的状态的面部表情(比如，打哈欠、闭合/下垂眼睛/眼睑等)和/或乘员的身体姿势来检测损伤的状态。
图7H示出了驾驶车辆202的乘员750的另一示例状态716。在该示例中，状态716包括乘员750在驾驶车辆202时看向她的车辆202的驾驶员侧窗的左侧和外部。监测引擎410可以确定乘员750在驾驶车辆202时正在看向她的车辆202的驾驶员侧窗的左侧和外部。在一些情况中，取决于车辆202的上下文，监测引擎410可以确定在驾驶时看向她的车辆202的驾驶员侧窗的左侧和外部会损伤乘员750操作车辆202和/或响应于车辆事件的能力。例如，取决于车辆202的上下文，监测引擎410可以确定看她的车辆202的驾驶员侧窗的左侧和外部会使乘员750分心，并且阻止乘员750看前方的道路和/或沿着车辆202的前方路径的任何东西，并且损伤乘员750检测和响应于沿着车辆202的前方路径的车辆事件的能力。通常，监测引擎410可以基于乘员的眼睛注视来检测损伤状态，比如，看向/关注于远离前方道路的方向。
在其他情况下，取决于车辆202的上下文，监测引擎410可以确定在驾驶时看她的车辆202的驾驶员侧窗的左侧和外部不会损伤乘员750操作车辆202和/或响应于车辆事件的能力。例如，如果车辆202的上下文指示车辆事件已经在驾驶员侧窗之外发生并且乘员750应当意识到和/或响应于该车辆事件，则监测引擎410可以确定看她的车辆202的驾驶员侧窗的左侧和外部允许乘员750看到车辆事件并确定如何(或是否)响应该车辆事件。相应地，监测引擎410可以确定在该示例上下文中，乘员750在驾驶时看向她的车辆202的驾驶员侧窗的左侧和外部是适当的，并且不应被分类或视为损伤。
图7I示出了驾驶车辆202的乘员750的另一示例状态718。在该示例中，状态718包括在驾驶车辆202时没有系安全带的乘员750。监测引擎410可以确定乘员750在驾驶车辆202时没有系安全带。在一些情况中，如果增加乘员750和其他人(例如，车辆202的任何其他乘客和车辆202的环境中的任何其他人，诸如其他车辆的乘员、行人等)的安全风险，则监测引擎410可以确定在驾驶车辆202时没有系安全带是损伤。在其他情况下，如果监测引擎410不损伤乘员750驾驶车辆202或响应于车辆事件的能力，则监测引擎410可以确定在驾驶车辆202时没有系安全带不是受损。
图8是示出包括乘员监测事件的V2X通信800的示例的图。在该示例中，移动设备150是由车辆202的乘员穿戴的可穿戴增强现实(AR)设备，诸如HMD或AR眼镜。车辆202的乘员还穿戴可穿戴设备802，诸如智能或连接的手表、健康跟踪器/监视器设备、智能或连接的手镯设备、可穿戴医疗设备或任何其他可穿戴设备。
移动设备150和车辆计算系统210可以交换如前所述的数据，比如，车辆数据(例如，车辆上下文信息、车辆模板、车辆传感器数据等)、事件数据和/或乘员数据(例如，乘员状态信息、乘员传感器测量、乘员健康测量等)。可穿戴设备802可以包括可穿戴应用804，其可以跟踪/测量关于乘坐者的信息，比如，健康指标、生物特征等。可穿戴设备802可以包括健康和其他传感器，例如但不限于，血氧计、皮肤传感器、光学心脏传感器、光敏烟雾传感器、电心脏传感器、加速度计、陀螺仪、心电图传感器、温度传感器、血压传感器、皮肤电反应传感器、脑电图传感器、和/或任何其他传感器。
在一些示例中，可穿戴设备802可以具有可以帮助乘员监测的附加和/或冗余传感器模态(例如，相对于移动设备150的传感器模态)。可穿戴设备802可将此类数据(或相关事件的摘要)发送到移动设备150以帮助其乘员监测过程。在一些示例中，可穿戴设备802可以向移动设备150发送传感器数据，诸如例如惯性传感器数据、心率测量、血压测量、皮肤电反应测量、ECG/EKG/EEG数据、温度数据、氧气水平、运动信息、睡眠跟踪信息等。在一些情况下，来自可穿戴设备802的数据可以指示和/或可以用于确定(例如，经由对积极和消极例子进行训练的机器学习分类器)损伤，例如嗜睡、醉酒、健康紧急情况、压力、增强的情绪状态、意识丧失等。
可穿戴设备802的可穿戴应用804可以从可穿戴设备802上的一个或多个传感器获得健康测量和任何其他测量。可穿戴设备802可以向移动设备150发送任何健康测量。移动设备150可以使用健康测量来监测乘员的状态。移动设备150可以单独使用健康测量或者与来自移动设备150的其他测量结合使用健康测量，比如，先前关于监测引擎410描述的任何测量。在一些示例中，移动设备150可以执行传感器数据融合，并且使用来自可穿戴设备802的健康测量值和来自移动设备150的任何乘员监测测量值和/或数据的组合来确定乘员的状态。如前所述，移动设备150可以使用监测引擎410来确定乘员的状态。监测引擎410可以使用来自移动设备150和/或可穿戴设备802的任何数据来确定乘员的状态。
在一些情况中，移动设备150可以将所确定的乘员的状态发送给车辆计算系统210。如前所述，移动设备150可以附加地或替代地将任何事件数据发送给车辆计算系统210。在一些情况中，移动设备150可以将乘员的所确定状态发送给其它设备，例如，车辆810(例如，车辆计算系统812)、基础设施820和/或任何其它设备。基础设施820可以包括任何基础设施系统、设备和/或组件，例如但不限于交通灯、交通摄像头、路灯、标牌、停车计时器、车道标记、一个或多个紧急响应系统、其组合、和/或任何其他基础设施系统、设备和/或组件。在一些情况中，车辆计算系统210可以将所确定的乘员状态发送/转发给其他设备，例如车辆810(例如，车辆计算系统812)、基础设施820和/或任何其他设备。
在一些情况中，车辆计算系统210还可以使用来自车辆202的一个或多个传感器(诸如一个或多个图像传感器、惯性传感器、重量传感器、压力传感器、音频传感器等)的数据和/或来自移动设备150的事件数据424，来确定(例如，经由监测引擎402)乘员的状态。例如，在一些情况中，除了由移动设备150确定乘员的状态以外，车辆计算系统210还可以确定乘员的状态。在一些示例中，车辆计算系统210可以使用来自移动设备150、可穿戴设备802和/或车辆202的一个或多个传感器的传感器数据来确定乘员的状态。例如，车辆计算系统210可以融合来自移动设备150、可穿戴设备802和/或车辆202的一个或多个传感器的传感器数据以确定乘员的状态。在一些情况中，车辆计算系统210可以使用从移动设备150接收的乘员的状态来帮助其自己确定乘员的状态。在其它情况下，车辆计算系统210可以在没有由移动设备150确定的乘员的状态和/或来自移动设备150的传感器数据的情况下单独地确定乘员的状态。
车辆202的车辆计算系统210可以将任何车辆和/或乘员数据传送给其它设备，例如，车辆810和/或基础设施820。例如，车辆计算系统210可以将乘员的确定状态发送到车辆810和/或基础设施820(例如，作为移动设备150将乘员的状态发送到车辆810和/或基础设施820的补充或代替)。车辆810和/或基础设施820可以使用从移动设备150和/或车辆202接收的乘员的任何状态信息来在状态信息指示乘员损伤的情况下向乘员寻求帮助和/或执行任何动作以防止在乘员损伤时与由乘员操作的车辆202发生任何事故或碰撞。
例如，车辆810的车辆计算系统812的车辆应用814可以使用来自车辆202和/或移动设备150的数据来调整车辆810的操作/行为，以避免与车辆202的任何事故或碰撞。在一些情况中，车辆810的车辆计算系统812的车辆应用814可以使用来自车辆202和/或移动设备150的数据来使车辆810改道以避开车辆202和/或与车辆202保持至少一定距离。车辆计算系统812可以被配置且包括与先前结合图2描述的车辆计算系统210相同或类似的组件。
作为另一示例，基础设施820的基础设施应用822可以使用来自车辆202和/或移动设备150的数据来调整基础设施820的操作/行为。为了说明，基础设施820的基础设施应用822可以使用来自车辆202和/或移动设备150的数据来基于车辆202的乘员的损伤来调整与基础设施820相关联的交通控制/信号，和/或向执法和/或其他紧急或辅助人员和/或系统报告车辆202的乘员的损伤。
在一些示例中，车辆计算系统210还可以向车辆810和/或基础设施820发送其他信息。例如，车辆计算系统210可以将来自车辆202的传感器数据和/或所确定的车辆202的上下文发送给车辆810和/或基础设施820。在一些情况中，除了关于车辆202的乘员的任何状态信息以外，车辆计算系统210还可以发送这种信息。
图9是示出基于由驾驶车辆202的乘员佩戴的移动设备150确定的乘员状态的示例性车辆缓解事件的图。在该示例中，移动设备150已经确定(例如，经由监测引擎410，并且可能基于来自可穿戴设备802的数据)乘员状态910，该乘员状态910指示驾驶车辆202的乘员受到健康紧急情况的损伤。移动设备150可以将乘员状态910发送到车辆202的车辆计算机系统(例如，车辆计算系统210)以向车辆202告知乘员受到健康紧急情况的损伤。
车辆202的车辆计算机系统(例如，车辆计算系统210)确定描述车辆202的状态(诸如车辆202的移动状态)的车辆上下文912。在该示例中，车辆上下文912指示车辆202正在以10英里每小时(mph)向西行驶并且已经遇到前方的车辆事件。该示例中的车辆事件是沿着车辆202的路线的障碍物902。
基于从移动设备150获得的乘员状态910和车辆上下文912，车辆202的车辆计算系统(例如，经由事件缓解引擎，比如，事件缓解引擎404)可以触发动作916。在该示例中，动作916包括参与车辆202的自主能力以在乘员受到健康紧急情况的损伤时控制车辆202。在一些示例中，车辆202可以使用自主能力来将乘员驾驶到目的地路线。在其他示例中，车辆202可以使用自主能力来使车辆202改道并将乘员驾驶到医院/诊所或者乘员可以获得针对健康紧急情况的治疗的位置。在一些情况中，车辆202还可以向远程系统(诸如健康紧急系统)发送指示乘员正在经历健康紧急情况和/或请求对健康紧急情况的帮助的消息/通知。
动作916还包括：执行操纵904以避开障碍物902。车辆202可以使用自主能力来执行操纵904以避开障碍物902。在该示例中，操纵904包括：在障碍物902之前在道路上左转。
图9中所示的障碍物902、操纵904、乘员状态910、车辆上下文912和动作916仅仅是出于解释目的而提供的说明性示例。其他示例可以包括相同或不同和/或附加的障碍物、操纵、乘员状态、车辆上下文、动作等。
在一些示例中，车辆上下文可以包括与车辆的操作/驾驶有关的信息；事件或车辆事件可以包括与车辆安全、车辆安全事件/状况等有关的信息；并且乘员的状态可以包括和/或涉及乘员的瞬时分心或健康状况。
图10是示出基于由驾驶车辆202的乘员佩戴的移动设备150确定的乘员状态的另一示例车辆缓解事件的图。在该示例中，移动设备150已经确定(例如，经由监测引擎410)指示驾驶车辆202的乘员分心的乘员状态1002。移动设备150可以将乘员状态1002发送到车辆202的车辆计算机系统(例如，车辆计算系统210)以向车辆202告知乘员分心。
车辆202可以检测到(例如，经由诸如监测引擎402之类的监测引擎)车辆202正在穿过车辆202正在行驶的道路1010的中心车道1012或车道分道线。基于乘员状态1002指示乘员分心并且确定车辆202正在穿过道路1010的中心车道1012，在时间T1处，车辆202可以触发(例如，经由诸如事件缓解引擎404之类的事件缓解引擎)动作1004以辅助分心的乘员。在该示例中，动作1004包括参与车辆202的车道保持辅助功能以采取校正动作来将车辆202保持在其车道1020中并且避免车辆202穿越到另一车道1022中。
在时间T2处，在车辆202已经参与车道保持辅助功能并采取校正动作之后，车辆202现在在其车道1020内行驶。如图10所示，乘员状态1006还指示车辆的乘员在时间T2处于正常状态(例如，未损伤)。车辆202可以允许乘员在有或没有自主辅助的情况下驾驶车辆202，可以继续实施一个或多个自主驾驶操作，或者可以向乘员提供选择是否(完全或部分)手动控制车辆202、允许车辆202自主操作等的选项。
图11是示出用于在车辆的操作期间控制虚拟内容的呈现的示例过程1100的流程图。在框1102处，过程1100可以包括：基于车辆(例如，车辆202)的内部部分的一个或多个图像来确定移动设备(例如，移动设备150)相对于车辆的坐标系的姿态。
在框1104处，过程1100可以包括：从车辆接收与车辆的一个或多个传感器相关联的数据。
在框1106处，过程1100可以包括：使用移动设备的显示设备，基于与一个或多个传感器相关联的数据和移动设备相对于车辆的坐标系的姿态来显示虚拟内容。
在一些方面中，过程1100可以包括：基于与一个或多个传感器相关联的数据来确定车辆的上下文。在一些示例中，上下文可以包括与车辆相关的事件。
在一些方面中，过程1100可以包括：将虚拟内容相对于移动设备的坐标系的位置与事件相对于车辆的坐标系的位置相关联；以及基于虚拟内容相对于移动设备的坐标系的位置与事件相对于车辆的坐标系的位置的关联性，显示来自移动设备的一个或多个视觉图像传感器的实时内容馈送。
在一些示例中，显示实时内容馈送可以包括：基于移动设备相对于车辆的坐标系的姿态和车辆相对于事件的姿态来确定移动设备相对于事件的姿态；以及基于移动设备相对于事件的姿态和虚拟内容相对于移动设备的坐标系的位置与事件相对于车辆的坐标系的位置的关联性，确定虚拟内容至少部分地遮挡车辆的乘员的视野中的事件。
在一些方面中，过程1100可以包括：将虚拟内容项相对于移动设备的坐标系的位置与事件相对于车辆的坐标系的位置相关联；以及，基于虚拟内容相对于移动设备的坐标系的位置与事件相对于车辆的坐标系的位置的关联性，来过滤或修改虚拟内容项。
在一些示例中，过滤或修改虚拟内容项可以包括：修改虚拟内容项的一个或多个特性。在一些情况中，一个或多个特性可以包括以下各项中的至少一项：虚拟内容项的透明度、大小、位置、以及虚拟内容项的亮度水平。
在一些示例中，过滤或修改虚拟内容项可以包括：确定车辆的乘员的眼睛注视，所述乘员与移动设备相关联；基于乘员的眼睛注视和事件的位置来确定事件对乘员的可见性；以及，进一步基于事件对乘员的可见性来过滤或修改虚拟内容项。
在一些示例中，事件可以包括以下各项中的至少一项：在车辆的路径或与车辆的路径的门限接近度内存在对象、与车辆的路径相关联的交通控制、以及车辆未能保持在速度限制和车道标记中的至少一项。在一些情况中，在车辆的路径或与车辆的路径的门限接近度内的对象包括以下各项中的至少一项：行人、动物和另一车辆。
在一些方面中，过程1100可以包括：确定车辆的乘员的眼睛注视，其中，乘员与移动设备相关联；以及，在车辆的乘员的眼睛注视的方向内渲染虚拟内容。
在一些情况中，在乘员的眼睛注视的方向内渲染虚拟内容可以包括渲染虚拟内容覆盖，所述虚拟内容覆盖包括关于事件、事件的位置和事件的方向中的至少一项的虚拟指示符。
在一些情况中，在乘员的眼睛注视的方向内渲染虚拟内容可以包括：修改虚拟内容的一个或多个特性。在一些情况中，一个或多个特性可以包括以下各项中的至少一项：虚拟内容的透明度、大小、位置和亮度水平。
在一些方面中，过程1100可以包括：基于车辆的上下文和移动设备的姿态来过滤虚拟内容的至少一部分。
在一些情况中，过滤虚拟内容的至少一部分可以包括：启用虚拟内容的子集的呈现。在一些示例中，虚拟内容的子集可以包括以下各项中的至少一项：关于车辆的状态的指示、以及车辆仪表信息。
在一些方面中，显示虚拟内容可以包括渲染与车辆相关联的虚拟内容项，所述虚拟内容项相对于车辆的表面被渲染。
在一些情况中，渲染的虚拟内容项可以包括括以下各项中的至少一项：关于在与一个或多个传感器相关联的数据中识别的事件的第一指示、关于车辆的上下文的第二指示、以及与车辆的上下文相关联的警报。
在一些方面中，渲染虚拟内容项可以包括：从车辆的摄像头设备接收摄像头馈送；以及，在移动设备的显示区域内显示摄像头馈送的至少一部分。
在一些情况中，确定移动设备的姿态可以包括：获得一个或多个射频(RF)信号；以及，基于与一个或多个RF信号相关联的往返时间、与一个或多个RF信号相关联的到达时间和与一个或多个RF信号相关联的接收信号强度指示符(RSSI)中的至少一项以及一个或多个图像，来确定移动设备的姿态。
在一些情况中，确定移动设备的姿态可以包括：从车辆接收包括与车辆相关联的一个或多个标记的车辆模板；以及，基于一个或多个图像和车辆模板来确定移动设备相对于车辆的坐标系的姿态。
在一些示例中，一个或多个标记可以包括以下各项中的至少一项：车辆的内部部分内的区域和附连到车辆的内部部分的物体中的至少一项上的视觉图案、车辆的内部部分的元件、车辆的内部部分内的表面、以及车辆内部的照明物体。
在一些情况中，确定移动设备的姿态可以包括：检测一个或多个图像中的一个或多个标记；以及，基于检测到的一个或多个标记和车辆模板来确定移动设备相对于车辆的坐标系的姿态。
在一些方面中，过程1100可以包括：使用移动设备的一个或多个图像传感器，车辆的内部部分的图像集合，所述图像集合描绘与车辆相关联的一个或多个标记；以及，基于所述图像集合来生成包括一个或多个标记的车辆模板。
图12是示出用于监测车辆的乘员的示例过程1200的流程图。在框1202处，过程1200可以包括：基于车辆的内部部分的一个或多个图像来确定移动设备相对于车辆的坐标系的姿态。在一些情况中，损伤可以包括以下各项中的至少一项：关于车辆的操作和与车辆相关联的事件中的至少一项的分心的状态、中毒状态、健康状况、清醒状态、检测到的情绪状态、控制车辆的受损位置、和受损视野。
在框1204处，过程1200可以包括：确定车辆的乘员的状态。在一些示例中，乘员的状态可以包括：乘员关于操作车辆的损伤。
在框1206处，过程1200可以包括：向车辆发送指示乘员的状态以及移动设备相对于车辆的坐标系的姿态的数据。
在一些示例中，确定乘员的状态可以包括从车辆接收与车辆的一个或多个传感器相关联的数据；以及，基于与车辆的一个或多个传感器相关联的数据和移动设备的姿态来确定乘员的状态。
在一些情况中，与车辆的一个或多个传感器相关联的数据指示以下各项中的至少一项：车辆的状态和与车辆相关联的事件。
在一些情况中，与车辆相关联的事件可以包括以下各项中的至少一项：在车辆的路径或与车辆的路径的门限接近度内存在对象、与车辆的路径相关联的交通控制、以及车辆未能保持在速度限制和车道标记中的至少一项。
在一些示例中，在车辆的路径或与车辆的路径的门限接近度内的对象可以包括行人、动物和另一车辆中的至少一项内。
在一些情况中，乘员的损害包括：将负面影响乘员安全地操作车辆的能力的任何事件、活动、分心、状态、属性、行为和/或状况。
在一些方面中，过程1200可以包括：确定车辆的乘员的眼睛注视。在一些情况中，乘员的状态可以包括：乘员的眼睛注视，并且乘员可以与移动设备相关联。例如，乘员可以是穿戴移动设备的用户。
在一些情况中，确定乘员的状态可以包括：从与乘员穿戴的移动设备和可穿戴设备中的至少一项相关联的一个或多个传感器接收与乘员相关联的一个或多个健康测量值；以及，基于一个或多个健康测量来确定乘员的状态。
在一些示例中，一个或多个健康测量可以包括以下各项中的至少一项：心率、血压、体温、皮肤电反应、来自乘员的心脏的电信号的测量值、乘员的大脑的电活动的测量值、眼睛发红的量、以及瞳孔大小。
在一些情况中，确定乘员的状态可以包括：确定乘员的眼睛注视聚焦远离车辆前方的道路一段时间；以及，基于乘员的眼睛注视聚焦远离车辆前方的道路一段时间并且确定这段时间超过门限时间段来确定乘员的损伤状态。
在一些示例中，确定乘员的眼睛注视聚焦远离车辆前方的道路一段时间可以包括：确定乘员的眼睛注视在这段时间的至少一部分内聚焦于由移动设备渲染的虚拟内容。
在一些情况中，确定乘员的眼睛注视聚焦远离车辆前方的道路一段时间可以包括：确定乘员的眼睛注视聚焦在与车辆的路径或与车辆的路径的门限接近度内的障碍物的方向不同的方向上。
在一些方面中，过程1200可以包括：向第二车辆、车辆基础设施系统、与第二车辆的第二乘员相关联的第一远程设备、以及与行人相关联的第二远程设备中的至少一项发送关于乘员的状态的指示。
在一些情况中，确定乘员的状态可以包括：确定佩戴移动设备的乘员的眼睛注视；以及，基于移动设备的姿态和乘员的眼睛注视来确定乘员的状态。
在一些情况中，确定移动设备的姿态可以包括：从车辆接收包括与车辆相关联的一个或多个标记的车辆模板；以及，基于一个或多个图像和车辆模板来确定移动设备相对于车辆的坐标系的姿态。
在一些情况中，一个或多个标记可以包括以下各项中的至少一项：车辆的内部部分内的区域和附连到车辆的内部部分的物体中的至少一项上的视觉图案、车辆的内部部分的元件、车辆的内部部分内的表面、以及车辆内部的照明物体。
在一些情况中，一个或多个图像描绘一个或多个标记，并且确定移动设备的姿态可以包括：检测一个或多个图像中的一个或多个标记；以及，基于检测到的一个或多个标记和车辆模板来确定移动设备相对于车辆的坐标系的姿态。
在一些方面中，过程1200可以包括：使用移动设备的一个或多个图像传感器获得车辆的内部部分的图像集合，所述图像集合描绘与车辆相关联的一个或多个视觉地标；以及，基于所述图像集合生成车辆模板，该车辆模板包括一个或多个视觉地标。
在一些情况中，确定移动设备的姿态可以包括：获得与移动设备相关联的惯性传感器数据；以及，基于一个或多个图像和惯性传感器数据确定移动设备的姿态。
图13是示出用于控制车辆的操作的示例过程1300的流程图。在框1302处，过程1300可以包括：从与车辆的乘员相关联的移动设备接收乘员相对于车辆的坐标系的姿态。在框1304处，过程1300可以包括：基于乘员相对于车辆的坐标系的姿态来控制车辆的一个或多个功能。
在一些示例中，控制车辆的一个或多个功能可以包括：参与车辆的一个或多个车辆功能。在一些示例中，一个或多个车辆功能可以包括以下各项中的至少一项：自动驾驶仪功能、牵引力控制功能、巡航控制功能、防撞功能、车道偏离功能、车道居中功能、制动辅助功能、车道保持功能、高速公路辅助功能、车道变换辅助功能、速度适配功能和交叉路口辅助功能。
在一些示例中，控制车辆的一个或多个功能可以包括：控制或参与车辆的一个或多个自主车辆系统。在一些示例中，一个或多个自主车辆系统可以包括以下各项中的至少一项：盲点监测系统、驾驶员监测系统、制动系统、自主驾驶控制系统、驾驶员辅助系统、导航系统、转向控制系统、车辆通信系统和车载抬头显示器。
在一些方面中，过程1300可以包括：将与车辆的一个或多个传感器相关联的数据发送到以下各项中的至少一项：移动设备、第二车辆、车辆基础设施系统、与第二车辆的第二乘员相关联的第一远程设备、以及与行人相关联的第二远程设备。
在一些方面中，过程1300可以包括：向第二车辆、车辆基础设施系统、与第二车辆的第二乘员相关联的第一远程设备、以及与行人相关联的第二远程设备中的至少一项发送指示乘员的状态的数据。
在一些方面中，过程1300可以包括：向移动设备发送用于确定乘员相对于车辆的坐标系的姿态的车辆模板，所述车辆模板包括与车辆相关联的一个或多个标记。
在一些示例中，一个或多个标记可以包括以下各项中的至少一项：车辆的内部部分内的区域和附连到车辆的内部部分的物体中的至少一项上的视觉图案、车辆的内部部分的元件、车辆的内部部分内的表面、以及车辆内部的照明物体。
在一些方面中，过程1300可以包括：至少部分地基于乘员相对于车辆的坐标系的姿态来生成输出。在一些示例中，输出可以包括以下各项中的至少一项：向移动设备的通信、修改车辆的一个或多个功能的指令、以及关于乘员的状态的指示。
在一些情况中，向移动设备的通信可以包括以下各项中的至少一项：虚拟内容项和显示虚拟内容项的请求。
在一些方面中，过程1300可以包括：从移动设备接收指示车辆的乘员的状态的数据。在一些情况中，数据可以包括以下各项中的至少一项：来自移动设备的一个或多个传感器的传感器数据、以及基于来自移动设备的一个或多个传感器的传感器数据而生成的经处理的数据。
在一些情况中，经处理的数据可以包括以下各项中的至少一项：乘员的状态的描述、以及标识乘员状态的分类输出。
在一些方面中，过程1300可以包括：从移动设备接收指示车辆的乘员的状态的数据。在一些情况中，数据可以包括以下各项中的至少一项：关于乘员的眼睛注视的指示、方法相对于车辆的坐标系的姿态、以及与乘员相关联的一个或多个健康测量值。
在一些情况中，一个或多个健康测量可以包括以下各项中的至少一项：心率、血压、体温、皮肤电反应、来自乘员的心脏的电信号的测量值、乘员的大脑的电活动的测量值、眼睛发红的量、以及瞳孔大小。
在一些方面中，过程1300可以包括：从车辆的一个或多个传感器获得传感器数据，所述传感器数据包括以下各项中的至少一项：关于与车辆的操作相关的事件的指示、在至少部分地由乘员控制的车辆的一个或多个操作期间的一个或多个驾驶模式的指示、以及车辆仪表数据。在一些情况中，过程1300可以包括：进一步基于传感器数据来控制车辆的一个或多个功能。
在一些方面中，过程1300可以包括确定乘员的状态。在一些情况中，确定乘员的状态可以包括：从与移动设备和可穿戴设备中的至少一项相关联的一个或多个健康传感器接收与乘员相关联的一个或多个健康测量值；以及，基于与乘员相关联的一个或多个健康测量值来确定乘员的状态。
在一些方面中，过程1300可以包括：获得乘员的状态。在一些示例中，乘员的状态可以包括：乘员关于操作车辆的损伤。在一些示例中，乘员的损伤可以包括乘员的暂时损伤。在一些情况中，损伤可以包括以下各项中的至少一项：关于车辆的操作和与车辆相关联的事件中的至少一项的分心的状态、中毒状态、健康状况、清醒状态、检测到的情绪状态、控制车辆的受损位置、和受损视野。在一些情况中，乘员的损害包括：将负面影响乘员安全地操作车辆的能力的任何事件、活动、分心、状态、属性、行为和/或状况。
在一些示例中，事件可以包括以下各项中的至少一项：在车辆的路径或与车辆的路径的门限接近度内存在对象、与车辆的路径相关联的交通控制、以及车辆未能保持在速度限制和车道标记中的至少一项。在一些示例中，对象可以包括行人、动物和另一车辆中的至少一个。
在一些方面中，过程1300可以包括获得车辆的内部部分的一个或多个图像，所述一个或多个图像描绘与车辆相关联的一个或多个视觉地标；以及，基于一个或多个图像来生成车辆模板，所述车辆模板描述一个或多个视觉地标。
在一些方面中，过程1300可以包括：将车辆模板发送给移动设备；以及，从移动设备接收乘员相对于在车辆模板中限定的一个或多个坐标的姿态。在一些示例中，一个或多个坐标相对于一个或多个视觉地标并且对应于车辆的坐标系。
在一些方面中，过程1300可以包括：从移动设备接收指示乘员状态的数据。在一些情况中，控制车辆的一个或多个功能可以包括：基于乘员的姿态和指示乘员状态的数据来控制车辆的一个或多个功能。
在一些方面中，过程1300可以包括：至少部分地基于乘员相对于车辆的坐标系的姿态来生成输出。在一些示例中，输出可以包括以下各项中的至少一项：修改车辆的一个或多个功能的指令和乘员的更新状态。
在一些示例中，可以经由车辆的计算机系统来控制车辆的一个或多个功能，所述车辆的计算机系统被配置为控制车辆的一个或多个功能和车辆的一个或多个自主车辆系统中的至少一项。
图14是示出用于将车辆与和车辆的乘员相关联的移动设备对接的示例过程1300的流程图。在框1402处，过程1400可以包括：从与车辆的计算机系统连接的增强现实(AR)设备接收请求。在一些示例中，所述请求可以请求由车辆生成和/或获得的数据，例如来自车辆的一个或多个传感器的数据。
在框1404处，过程1400可以包括：响应于请求，向AR设备发送与车辆的一个或多个传感器相关联的数据。在一些示例中，数据可以包括：指示车辆的上下文的车辆数据。在一些示例中，车辆的上下文可以包括以下各项中的至少一项：车辆的状态、以及车辆遇到的或被确定在车辆的一个或多个操作期间发生的一个或多个事件。
在一些示例中，一个或多个事件可以包括以下各项中的至少一项：在车辆的路径或与车辆的路径的门限接近度内存在对象、与车辆的路径相关联的交通控制、以及车辆未能保持在速度限制和车道标记中的至少一项。在一些情况中，在车辆的路径或与车辆的路径的门限接近度内的对象可以包括行人、动物和另一车辆中的至少一项。
在一些方面中，过程1400可以包括：向AR设备发送用于在相对于AR设备相对于车辆的坐标系的姿态和一个或多个事件的相应位置中的至少一项的位置处呈现的显示数据。在一些示例中，显示数据可以包括车辆数据的至少一部分。
在一些方面中，过程1400可以包括：向AR设备发送关于一个或多个事件的相应位置的指示。在一些方面中，过程1400可以包括：向AR设备发送用于确定AR设备相对于车辆的坐标系的姿态的车辆模板。在一些示例中，车辆模板可以描述在车辆内部部分中的一个或多个标记。
在一些示例中，一个或多个标记可以包括以下各项中的至少一项：车辆的内部部分内的区域和附连到车辆的内部部分的物体中的至少一项上的视觉图案、车辆的内部部分的元件、车辆的内部部分内的表面、以及车辆内部的照明物体。
在一些方面中，过程1400可以包括从AR设备接收AR设备相对于车辆的坐标系的姿态。
在一些方面中，过程1400可以包括：基于与一个或多个传感器相关联的数据和AR设备相对于车辆的坐标系的姿态中的至少一项来控制计算机系统对与车辆相关联的虚拟内容的呈现。在一些情况中，控制对虚拟内容的呈现可以包括：基于AR设备相对于车辆的坐标系的姿态，向AR设备提供来自车辆的一个或多个图像传感器的实时内容馈送。
在一些情况中，提供实时内容馈送可以包括：基于AR设备相对于车辆的坐标系的姿态和车辆相对于车辆事件的位置来确定AR设备相对于车辆事件的姿态；以及，基于AR设备相对于车辆事件的姿态，确定与计算机系统和AR设备中的至少一个相关联的虚拟内容至少部分地遮挡AR设备的视野中的车辆事件。
在一些示例中，控制虚拟内容的呈现可以包括：将由计算机系统所渲染的虚拟内容项的位置与车辆事件相对于车辆坐标系的位置进行相关联；以及，基于虚拟内容的位置与车辆事件相对于车辆坐标系的位置的关联性来过滤或修改虚拟内容项。
在一些情况中，过滤或修改虚拟内容项可以包括：修改虚拟内容项的一个或多个特性。在一些示例中，一个或多个特性可以包括：透明度、大小、虚拟内容项的位置和亮度水平中的至少一项。
在一些示例中，过滤或修改虚拟内容项可以包括：接收车辆的乘员的眼睛注视；基于乘员的眼睛注视和车辆事件的位置，来确定车辆事件对乘员的可见性；以及，进一步基于车辆事件对乘员的可见性来过滤或修改虚拟内容项。
在一些情况中，控制虚拟内容的呈现可以包括：接收车辆的乘员的眼睛注视；以及，在车辆的乘员的眼睛注视的方向内渲染虚拟内容。
在一些示例中，渲染虚拟内容可以包括：渲染虚拟内容覆盖，该虚拟内容覆盖包括车辆事件、车辆事件的位置和车辆事件的方向中的至少一项的虚拟指示符。
在一些情况中，渲染虚拟内容可以包括修改虚拟内容的一个或多个特性。在一些示例中，一个或多个特性可以包括透明度、大小、虚拟内容的位置和亮度水平中的至少一项。
在一些方面中，过程1400可以包括向一个或多个显示设备发送显示提供关于车辆的操作的信息的虚拟内容项的指令。在一些情况中，指令可以指示虚拟内容项相对于车辆中的位于乘员的视野内的位置的放置。
在一些示例中，虚拟内容项可以包括以下各项中的至少一项：关于由计算机系统所检测到的车辆事件的第一指示、关于车辆的上下文的第二指示、以及与车辆的上下文相关联的警报。
在一些方面中，过程1400可以包括：从车辆上的摄像头设备接收摄像头馈送；以及，向AR设备发送摄像头馈送的至少一部分以用于显示。
在一些方面中，过程1400可以包括：向AR设备发送关于乘员的状态的指示。在一些示例中，乘员的状态可以包括：乘员关于操作车辆的损伤。在一些示例中，损伤可以包括暂时损伤。在一些情况中，损害可以包括以下各项中的至少一项：关于车辆的操作和与车辆相关联的事件中的至少一项的分心的状态、中毒状态、健康状况、清醒状态、检测到的情绪状态、控制车辆的损伤位置、以及损伤视野。
在一些方面中，过程1400可以包括：基于乘员的损伤，来控制车辆的操作。在一些示例中，乘员的损害包括：将会负面影响乘员安全地操作车辆的能力的任何事件、活动、分心、状态、属性、行为和/或状况。
在一些方面中，过程1400可以包括：基于乘员的损伤来生成显示数据。在一些示例中，显示数据可以包括以下各项中的至少一项：车辆事件和车辆仪表数据。
在一些方面中，过程1400可以包括：基于乘员的损伤，向AR设备发送显示数据。在一些示例中，显示数据可以包括以下各项中的至少一项：车辆事件和车辆仪表数据。
在一些示例中，计算机系统被配置为控制车辆的一个或多个自主功能和车辆的一个或多个自主车辆系统中的至少一项。
在一些示例中，AR设备可以包括头戴式显示器。在一些示例中，AR设备可以包括可穿戴AR设备。
在一些示例中，过程1100、1200、1300和/或1400中的任一个可以由一个或多个计算设备或装置来执行。在一个示意性示例中，过程1100、1200、1300和/或1400中的任一个可以由图1所示的移动设备150和/或图2所示的车辆202(和/或车辆计算系统210)来执行。在一些示例中，过程1100、1200、1300和/或1400可以由具有图15所示的计算设备架构1500的一个或多个计算设备执行。在一些情况中，这样的计算设备或装置可以包括被配置为执行过程1100、1200、1300和/或1400的步骤的设备的处理器、微处理器、微型计算机或其它组件。在一些示例中，此类计算设备或装置可以包括：被配置为捕获图像数据和/或其它传感器测量值的一个或多个传感器。例如，计算设备可以包括智能电话、头戴式显示器、移动设备或其它合适的设备。在一些示例中，此类计算设备或装置可以包括：被配置为捕获一个或多个图像或视频的摄像头。在一些情况中，这样的计算设备可以包括用于显示图像的显示器。在一些示例中，一个或多个传感器和/或摄像头与计算设备分离，在这种情况下，计算设备接收感测数据。这样的计算设备可以进一步包括被配置为传送数据的网络接口。
计算设备的组件可以被实施在电路中。例如，组件可以包括电子电路或其它电子硬件，和/或者可以使用电子电路或其它电子硬件来实施，所述电子电路或其它电子硬件可以包括一个或多个可编程电子电路(例如，微处理器、图形处理单元(GPU)、数字信号处理器(DSP)、中央处理单元(CPU)、和/或其它合适的电子电路)，和/或者组件可以包括用于执行本文中描述的各种操作的计算机软件、固件或其组合和/或者可以使用用于执行本文中描述的各种操作的计算机软件、固件或其组合来实现。计算设备还可以包括显示器(作为输出设备的示例或除了输出设备之外)、被配置为通信和/或接收数据的网络接口、其任何组合和/或其它组件。网络接口可以被配置为传送和/或接收基于互联网协议(IP)的数据或其它类型的数据。
过程1100、1200、1300和1400被示为逻辑流程图，其操作表示可以用硬件、计算机指令或其组合来实现的一系列操作。在计算机指令的背景下，操作表示被存储在一个或多个计算机可读存储介质上的计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时执行所记载的操作。通常，计算机可执行指令包括执行特定功能或实施特定数据类型的例程、程序、对象、组件、数据结构、等等。操作以其描述的顺序不旨在被解释为限制，并且任何数量个所描述的操作可以以任何顺序和/或并行地组合以实施所述过程。
此外，本文所述的过程1100、1200、1300和/或1400中的任一过程可以在被配置有可执行指令的一个或多个计算机系统的控制下执行，并且可以通过硬件实现为在一个或多个处理器上共同执行的代码(例如，可执行指令、一个或多个计算机程序、或者一个或多个应用程序)、或其组合。如上面所指出的，代码可以例如以包括可由一个或多个处理器执行的多个指令的计算机程序的形式存储在计算机可读或机器可读存储介质上。计算机可读或机器可读存储介质可以是非暂时性的。
图15示出了示例计算设备的示例计算设备架构1500，其可以实现本文所述的各种技术。例如，计算设备架构1500可以实现图1所示的计算系统100或图2所示的计算系统210的至少一些部分。计算设备架构1500的组件被示出为使用连接1505(诸如总线)彼此电通信。示例计算设备架构1500包括处理单元(CPU或处理器)1510和将包括计算设备存储器1515(诸如只读存储器(ROM)1520和随机存取存储器(RAM)1525)的各种计算设备组件耦合到处理器1510的计算设备连接1505。
计算设备架构1500可以包括与处理器1510直接连接、紧邻处理器910或集成为处理器910的一部分的高速存储器的高速缓存。计算设备架构1500可以将数据从存储器1515和/或存储设备1530复制到高速缓存1512以供处理器1510快速访问。以这种方式，高速缓存可以提供避免处理器1510在等待数据时延迟的性能提升。这些模块和其它模块可以控制或被配置为控制处理器1510执行各种动作。其它计算设备存储器1515也可以用于使用。存储器1515可以包括具有不同性能特性的多种不同类型的存储器。处理器1510可以包括任何通用处理器和存储在存储设备1530中并被配置为控制处理器1510的硬件或软件服务，以及其中将软件指令并入处理器设计中的专用处理器。处理器1510可以是包含多个核或处理器、总线、存储器控制器、高速缓存等的自包含系统。多核处理器可以是对称的或不对称的。
为了实现与计算设备架构1500的用户交互，输入设备1545可以表示任意数量的输入机制，例如用于语音的麦克风、用于手势或图形输入的触敏屏幕、键盘、鼠标、运动输入、语音等等。输出设备1535也可以是本领域技术人员已知的多个输出机制中的一个或多个输出机制，例如显示器、投影仪、电视、扬声器设备。在一些情况下，多模式计算设备可以使用户能够提供多种类型的输入以与计算设备架构1500进行通信。通信接口1540一般可以控制和管理用户输入和计算设备输出。对在任何特定硬件布置上的操作没有限制，并且因此这里的基本特征可以很容易地替换为改进的硬件或固件布置(因为它们被开发)。
存储设备1530是非易失性存储器并且可以是硬盘或可以存储由计算机可访问的数据的其它类型的计算机可读介质，例如磁带、闪存卡、固态存储设备、数字通用盘、盒式磁带、随机存取存储器(RAM)1525、只读存储器(ROM)1520及其混合。存储设备1530可以包括用于控制处理器1510的软件、代码、固件等。其它硬件或软件模块是预期的。存储设备1530可以连接到计算设备连接1505。在一个方面中，执行特定功能的硬件模块可以包括存储在计算机可读介质中的软件组件，该软件组件与执行该功能所需的硬件组件(例如处理器1510、连接1505、输出设备1535等)相结合。
术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光学存储设备以及能够存储、包含或携带指令和/或数据的各种其它介质。计算机可读介质可以包括可存储数据的非暂时性介质，而不包括无线传输或通过有线连接传输的载波和/或暂时性电子信号。非暂时性介质的示例可以包括但不限于：磁盘或磁带、光盘存储介质(如，压缩光盘(CD)或数字多用途光盘(DVD))、闪存、存储器或存储设备。计算机可读介质可以存储代码和/或机器可执行指令，这些指令可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类、或指令、数据结构或程序语句的任何组合。通过传递和/或接收信息、数据、自变量、参数或存储器内容，代码段可以耦合到另一代码段或硬件电路。信息、自变量、参数、数据等等可以通过任何合适的方式传递、转发或传输，这些方式包括内存共享、消息传递、令牌传递、网络传输等。
在一些实施例中，计算机可读存储设备、介质和存储器可以包括包含比特流等等的电缆或无线信号。但是，当提及时，非暂时性计算机可读存储介质明确地排除诸如能量、载波信号、电磁波和信号本身之类的介质。
在上述描述中提供了特定的细节，以提供对本文所提供的实施例和示例的透彻理解。然而，本领域普通技术人员应当理解，可以在没有这些特定细节的情况下实施这些实施例。为了解释清楚，在一些情况下，本文的技术可以被呈现为包括单独的功能块，这些功能块包括设备、设备组件、以软件体现的方法中的步骤或例程、或者硬件和软件的组合。可以使用除了附图中所示和/或本文中所描述的那些之外的额外组件。例如，电路、系统、网络、过程和其它组件可以以框图形式被示为组件，以便不会在不必要的细节上模糊这些实施例。在其它情况下，公知的电路、过程、算法、结构和技术可以被示为不具有不必要的细节，以便避免模糊这些实施例。
上文可以将各个实施例描述为过程或方法，该过程或方法被描绘为流程图、流程示意图、数据流程图、结构图或框图。尽管使用流程图将操作描述成了一个顺序处理过程，但很多操作可以是并行或同时进行。附加地，可以对这些操作的顺序进行重新布置。当这些操作结束时，处理过程也就终结了，但其可以具有附图中没有包括的其它步骤。过程可以对应于方法、函数、过程、子程序、子程序等。当过程对应于函数时，它的终止可以对应于函数返回到调用函数或主函数。
根据上述示例的过程和方法可以使用被存储在计算机可读介质中或以其它方式可从计算机可读介质获取的计算机可执行指令来实施。这样的指令可以包括例如导致或以其它方式配置通用计算机、专用计算机或处理设备来执行特定功能或功能组的指令和数据。可以通过网络访问使用的计算机资源部分。计算机可执行指令可以是例如二进制、中间格式指令，诸如汇编语言、固件、源代码、等等。可用于存储指令、所使用的信息和/或在根据所描述的示例的方法期间创建的信息的计算机可读介质的示例包括磁盘或光盘、闪存、具有非易失性存储器的USB设备、联网存储设备、等等。
实现根据这些公开内容的过程和方法的设备可以包括硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合，以及可以采用多种形状因子中的任何一种。当实施在软件、固件、中间件或微代码中时，用于执行必要任务的程序代码或代码段(例如，计算机程序产品)可以被存储在计算机可读或机器可读介质中。一个(或多个)处理器可以执行必要的任务。形状因子的典型示例包括膝上型计算机、智能电话、移动电话、平板设备或其它小型形状因子的个人计算机、个人数字助理、机架式设备、独立设备等。本文所描述的功能还可以体现在外围设备或附加卡中。通过进一步的示例，这样的功能也可以被实施在电路板上在不同芯片或在单个设备中执行的不同过程之间。
指令、用于传送这样的指令的介质、用于执行它们的计算资源、以及用于支持这样的计算资源的其它结构，是用于提供本公开内容中描述的功能的示例性装置。
在前面的描述中，参考本申请的特定实施例描述了本申请的各方面，但是本领域普通技术人员应当认识到，本申请并不受此限制。因此，尽管在本文中已经详细描述了本申请的说明性实施例，但是应当理解，这些发明构思可以用其他方式被不同地体现和采用，并且所附权利要求旨在被解释为包括这样的变型，除了现有技术所限制的以外。上述应用的各种特征和方面可以单独地或联合地使用。此外，在不脱离本说明书的更宽范围的情况下，实施例可以在除了本文描述的环境和应用之外的任何数量的环境和应用中使用。因此，说明书和附图应被认为是说明性的而不是限制性的。为了说明起见，以特定顺序描述了方法。应当认识到的是，在替代实施例中，可以以与所描述的次序不同的次序来执行所述方法。
本领域普通技术人员将明白，在不脱离本说明书的范围的情况下，本文使用的小于(“<”)和大于(“>”)符号或术语可以分别被替换为小于或等于(“≤”)和大于或等于(“≥”)符号。
在组件被描述为“被配置为”执行某些操作的情况下，这样的配置可以例如通过以下各项来实现：设计电子电路或其它硬件以执行操作、通过编程可编程电子电路(例如，微处理器或其它合适的电子电路)以执行操作、或其任何组合。
短语“耦合到”指代直接或间接地物理连接到另一组件的任何组件、和/或直接或间接地与另一组件通信的任何组件(例如，通过有线或无线连接和/或其它适当的通信接口而连接到另一组件)。
本公开内容中记载集合“中的至少一个”和/或集合中的“一个或多个”的权利要求语言或其它语言指示集合中的一个成员或集合中的多个成员(以任何组合)满足权利要求。例如，引用“A和B中的至少一个”或“A或B中的至少一个”的权利要求语言指A、B、或者A和B。在另一示例中，记载“A、B和C中的至少一个”或“A、B或C中的至少一个”的权利要求语言表示A、B、C、或A和B、或A和C、或B和C、或A和B和C。例如，记载“A和B中的至少一个”或“A或B中的至少一个”的权利要求语言可以表示A、B、或A和B，并且可以另外包括在A和B的集合中未列出的项目。
结合本文中所公开的示例进行描述的各个说明性逻辑框、模块、电路和算法步骤可以被实现为电子硬件、计算机软件、固件或其组合。为了清楚地说明硬件和软件的这种可互换性，上文已经对各种说明性的组件、方块、模块、电路和步骤围绕其功能进行了总体描述。至于这样的功能性是实施为硬件还是软件，取决于特定的应用以及施加在整体系统上的设计约束。技术人员可以针对每个特定应用以不同的方式来实现所描述的功能，但是这样的实现决策不应当被解释为导致脱离本申请的范围。
本文中描述的技术还可以被实现在电子硬件、计算机软件、固件或其任何组合中。这样的技术可以被实现在多种设备中的任何设备中，多种设备诸如通用计算机、无线通信设备手持设备、或具有多种用途的集成电路设备，多种用途包括在无线通信设备手持设备和其它设备中的应用。描述为模块或组件的任何特征可以一起实现在集成逻辑器件中，或者单独实现为分立但可互操作的逻辑器件。如果被实现在软件中，则所述技术可以至少部分地由包括程序代码的计算机可读数据存储介质来实施，所述程序代码包括在被执行时执行上文所描述的方法、算法和/或操作中的一项或多项的指令。计算机可读数据存储介质可以形成计算机程序产品的一部分，该计算机程序产品可以包括封装材料。计算机可读介质可以包括存储器或数据存储介质，例如随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、FLASH存储器、磁或光数据存储介质、等等。附加地或替代地，技术可以至少部分地由计算机可读通信介质来实现，该计算机可读通信介质携带或传送指令或数据结构形式的且可由计算机存取、读取和/或执行的程序代码，诸如传播的信号或波。
程序代码可以由处理器执行，该处理器可以包括一个或多个处理器，例如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或者其它等效的集成逻辑电路或离散逻辑电路。这种处理器可以被配置为执行本公开内容中描述的任何技术。通用处理器可以是微处理器，但是在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、结合DSP核的一个或多个微处理器、或者任何其它这样的配置。因此，如本文中所使用的术语“处理器”可以指前述结构中的任何结构、前述结构的任何组合或适合于实施本文中所描述的技术的任何其它结构或装置。
本公开内容的说明性示例包括：
方面1、一种装置，包括：存储器；以及耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：确定所述装置相对于所述车辆的坐标系的姿态；从所述车辆接收与所述车辆的一个或多个传感器相关联的数据；以及使用所述装置的显示设备基于与所述一个或多个传感器相关联的所述数据和所述装置相对于所述车辆的所述坐标系的所述姿态，来显示虚拟内容。
方面2、根据方面1所述的装置，其中，为了确定所述装置的所述姿态，所述一个或多个处理器被配置为基于车辆的内部部分的一个或多个图像来确定所述装置的所述姿态。
方面3、根据方面1至2中任一项所述的装置，其中，所述一个或多个处理器被配置为：基于与所述一个或多个传感器相关联的所述数据来确定所述车辆的上下文，其中，所述上下文包括与所述车辆有关的事件。
方面4、根据方面3所述的装置，其中，所述一个或多个处理器还被配置为：过滤或修改虚拟内容项，所述虚拟内容项将使所述车辆的乘员从所述车辆的操作或车辆事件分心，或者将会阻碍所述乘员对所述车辆事件或所述车辆外部的被确定为不可覆盖的区域的视野。
方面5、根据方面3至4中任一项所述的装置，其中，所述一个或多个处理器被配置为：将所述虚拟内容相对于所述装置的坐标系的位置与所述事件相对于所述车辆的坐标系的位置进行关联；以及基于所述虚拟内容相对于所述装置的坐标系的位置与所述事件相对于所述车辆的坐标系的位置的关联性，显示来自所述装置的一个或多个视觉图像传感器的实时内容馈送。
方面6、根据方面5所述的装置，其中，为了显示所述实时内容馈送，所述一个或多个处理器被配置为：基于所述装置相对于所述车辆的所述坐标系的所述姿态和所述车辆相对于所述事件的姿态来确定所述装置相对于所述事件的姿态；以及基于所述装置相对于所述事件的所述姿态以及所述虚拟内容相对于所述装置的所述坐标系的位置与所述事件相对于所述车辆的所述坐标系的位置的所述关联性，确定所述虚拟内容在所述车辆的乘员的视野中至少部分地遮挡所述事件。
方面7、根据方面5所述的装置，其中，所述一个或多个处理器被配置为：进一步基于确定所述虚拟内容至少部分地阻碍所述装置的一个或多个图像传感器对所述事件的观看来显示所述实时内容。
方面8、根据方面3至7中任一项所述的装置，其中，所述一个或多个处理器被配置为：将虚拟内容项相对于所述装置的坐标系的位置与所述事件相对于所述车辆的坐标系的位置进行关联；以及基于所述虚拟内容相对于所述装置的坐标系的位置与所述事件相对于所述车辆的坐标系的位置的关联性，来过滤或修改所述虚拟内容项。
方面9、根据方面8所述的装置，其中，为了过滤或修改所述虚拟内容项，所述一个或多个处理器被配置为：修改所述虚拟内容项的一个或多个特性，所述一个或多个特性包括以下各项中的至少一项：透明度、大小、所述虚拟内容项的位置、以及所述虚拟内容项的亮度水平。
方面10、根据方面8至9中任一项所述的装置，其中，为了过滤或修改所述虚拟内容项，所述一个或多个处理器被配置为：确定所述车辆的乘员的眼睛注视，所述乘员与所述装置相关联；基于所述乘员的所述眼睛注视和所述事件的所述位置，来确定所述事件对所述乘员的可见性；以及进一步基于所述事件对所述乘员的所述可见性，来过滤或修改所述虚拟内容项。
方面11、根据方面3所述的装置，其中，所述事件包括以下各项中的至少一项：在所述车辆的路径或与所述车辆的路径的门限接近度内存在对象、与所述车辆的路径相关联的交通控制、以及所述车辆未能保持在速度限制和车道标记中的至少一项内。
方面12、根据方面11所述的设备，其中，在所述车辆的所述路径或与所述车辆的所述路径的所述门限接近度内的所述对象包括行人、动物和另一车辆中的至少一项。
方面13、根据方面3所述的装置，其中，所述一个或多个处理器被配置为：确定所述车辆的乘员的眼睛注视，其中，所述乘员与所述装置相关联；以及在所述车辆的所述乘员的所述眼睛注视的方向内渲染虚拟内容。
方面14、根据方面13所述的装置，其中，为了在乘员的眼睛注视的方向内渲染所述虚拟内容，所述一个或多个处理器被配置为：渲染包括事件、事件的位置和事件的方向中的至少一项的虚拟指示符的虚拟内容覆盖。
方面15、根据方面13至14中任一项所述的装置，其中，为了在乘员的眼睛注视的方向内渲染所述虚拟内容，所述一个或多个处理器被配置为：修改所述虚拟内容的一个或多个特性，所述一个或多个特性包括透明度、大小、所述虚拟内容的位置和亮度水平中的至少一个。
方面16、根据方面1至15中任一项所述的装置，其中，所述一个或多个处理器被配置为：基于所述车辆的上下文和所述装置的所述姿态，来过滤所述虚拟内容的至少一部分。
方面17、根据方面16所述的装置，其中，为了过滤所述虚拟内容的至少一部分，所述一个或多个处理器被配置为：实现对所述虚拟内容的子集的呈现，所述虚拟内容的子集包括以下各项中的至少一项：关于所述车辆的状态的指示、以及车辆仪表信息。
方面18、根据方面1至17中任一项所述的装置，其中，为了显示所述虚拟内容，所述一个或多个处理器被配置为：渲染与所述车辆相关联的虚拟内容项，所述虚拟内容项相对于所述车辆的表面被渲染。
方面19、根据方面18所述的装置，其中，所渲染的虚拟内容项包括以下各项中的至少一项：关于在与所述一个或多个传感器相关联的所述数据中标识的事件的第一指示、关于车辆的上下文的第二指示、以及与所述车辆的所述上下文相关联的警报。
方面20、根据方面18至19中任一项所述的装置，其中，为了渲染虚拟内容项，所述一个或多个处理器被配置为：从所述车辆的摄像头设备接收摄像头馈送；以及，在所述装置的显示区域内显示所述摄像头馈送的至少一部分。
方面21、根据方面1至20中任一项所述的装置，其中，为了确定所述装置的所述姿态，所述一个或多个处理器被配置为：获得一个或多个射频(RF)信号；以及基于所述车辆的内部部分的一个或多个图像、以及与所述一个或多个RF信号相关联的往返时间、与所述一个或多个RF信号相关联的到达时间和与所述一个或多个RF信号相关联的接收信号强度指示符(RSSI)中的至少一项，来确定所述装置的所述姿态。
方面22、根据方面1至21中任一项所述的装置，其中，为了确定所述装置的所述姿态，所述一个或多个处理器被配置为：从所述车辆接收包括与所述车辆相关联的一个或多个标记的车辆模板；以及基于所述车辆的内部部分的一个或多个图像和所述车辆模板，来确定所述装置相对于所述车辆的所述坐标系的所述姿态。
方面23、根据方面22所述的装置，其中，所述一个或多个标记包括以下各项中的至少一项：所述车辆的内部部分内的区域和附连到所述车辆的所述内部部分的对象中的至少一项上的视觉图案、所述车辆的所述内部部分的元件、在所述车辆的所述内部部分内的表面、以及所述车辆内部的被照明对象。
方面24、根据方面22至23中任一项所述的装置，其中，为了确定所述装置的所述姿态，所述一个或多个处理器被配置为：检测所述一个或多个图像中的所述一个或多个标记；以及基于检测到的所述一个或多个标记和所述车辆模板，来确定所述装置相对于所述车辆的所述坐标系的所述姿态。
方面25、根据方面1至24中任一项所述的装置，其中，所述一个或多个处理器被配置为：使用所述装置的一个或多个图像传感器来获得所述车辆的内部部分的图像集合，所述图像集合描绘与所述车辆相关联的一个或多个标记；以及基于所述图像集合来生成包括所述一个或多个标记的车辆模板。
方面26、根据方面1至25中任一项所述的装置，其中，所述装置包括头戴式显示器。
方面27、根据方面1至26中任一项所述的装置，还包括一个或多个图像传感器。
方面28、一种方法，包括：确定移动设备相对于车辆的坐标系的姿态；从所述车辆接收与所述车辆的一个或多个传感器相关联的数据；以及使用所述移动设备的显示设备，基于与所述一个或多个传感器相关联的所述数据和所述移动设备相对于所述车辆的坐标系的姿态，来显示虚拟内容。
方面29、根据方面28所述的方法，其中，确定所述移动设备的所述姿态包括：基于所述车辆的内部部分的一个或多个图像，来确定所述移动设备的所述姿态。
方面30、根据方面28至29中任一项所述的方法，还包括：基于与所述一个或多个传感器相关联的所述数据来确定所述车辆的上下文，其中，所述上下文包括与所述车辆相关的事件。
方面31、根据方面30所述的方法，还包括：过滤或修改虚拟内容项，所述虚拟内容项将会使所述车辆的乘员从所述车辆的操作或车辆事件分心，或者将会遮挡所述乘员对所述车辆事件或所述车辆外部的被确定为不可覆盖的区域的视野。
方面32、根据方面30至31中任一项所述的方法，还包括：将所述虚拟内容相对于所述移动设备的坐标系的位置与所述事件相对于所述车辆的坐标系的位置进行关联；以及基于所述虚拟内容相对于所述移动设备的坐标系的位置与所述事件相对于所述车辆的坐标系的位置的关联性，显示来自所述移动设备的一个或多个视觉图像传感器的实时内容馈送。
方面33、根据方面32所述的方法，其中，显示所述实时内容馈送包括：基于移动设备相对于车辆的坐标系的姿态和车辆相对于事件的姿态来确定移动设备相对于事件的姿态；以及基于移动设备相对于事件的姿态以及虚拟内容相对于移动设备的坐标系的位置与事件相对于车辆的坐标系的位置的关联性，确定虚拟内容至少部分地遮挡车辆乘员的视野中的事件。
方面34、根据方面32至33中任一项所述的方法，还包括：还基于确定所述虚拟内容至少部分地阻碍所述移动设备的一个或多个图像传感器对所述事件的观看来显示所述实时内容。
方面35、根据方面30所述的方法，还包括：将虚拟内容项相对于所述移动设备的坐标系的位置与所述事件相对于所述车辆的坐标系的位置进行关联；以及基于所述虚拟内容相对于所述移动设备的坐标系的位置与所述事件相对于所述车辆的坐标系的位置的关联性，来过滤或修改所述虚拟内容项。
方面36、根据方面35所述的方法，其中，为了过滤或修改所述虚拟内容项，所述一个或多个处理器被配置为：修改所述虚拟内容项的一个或多个特性，所述一个或多个特性包括以下各项中的至少一项：透明度、大小、所述虚拟内容项的位置、以及所述虚拟内容项的亮度水平。
方面37、根据方面35至36中任一项所述的方法，其中，为了过滤或修改所述虚拟内容项，所述一个或多个处理器被配置为：确定所述车辆的乘员的眼睛注视，所述乘员与所述移动设备相关联；基于所述乘员的所述眼睛注视和所述事件的所述位置，来确定所述事件对所述乘员的可见性；以及进一步基于所述事件对所述乘员的所述可见性，来过滤或修改所述虚拟内容项。
方面38、根据方面30所述的方法，其中，所述事件包括以下各项中的至少一项：在所述车辆的路径或与所述车辆的路径的门限接近度内存在对象、与所述车辆的路径相关联的交通控制、以及所述车辆未能保持在速度限制和车道标记中的至少一项内。
方面39、根据方面38所述的方法，其中，在所述车辆的所述路径或与所述车辆的所述路径的所述门限接近度内的所述对象包括行人、动物和另一车辆中的至少一项。
方面40、根据方面30所述的方法，还包括：确定车辆的乘员的眼睛注视，其中，乘员与移动设备相关联；以及，在车辆的乘员的眼睛注视的方向内渲染虚拟内容。
方面41、根据方面40所述的方法，其中，在乘员的眼睛注视的方向内渲染所述虚拟内容包括：渲染包括事件、事件的位置和事件的方向中的至少一项的虚拟指示符的虚拟内容覆盖。
方面42、根据方面40至41中任一项所述的方法，其中，为了在乘员的眼睛注视的方向内渲染所述虚拟内容，所述一个或多个处理器被配置为：修改所述虚拟内容的一个或多个特性，所述一个或多个特性包括透明度、大小、所述虚拟内容的位置和亮度水平中的至少一个。
方面43、根据方面28至42中任一项所述的方法，还包括：基于所述车辆的上下文和所述移动设备的所述姿态，来过滤所述虚拟内容的至少一部分。
方面44、根据方面43所述的方法，其中，过滤所述虚拟内容的至少一部分包括：启用所述虚拟内容的子集的呈现，所述虚拟内容的子集包括以下各项中的至少一项：关于所述车辆的状态的指示、以及车辆仪表信息。
方面45、根据方面28至44中任一项所述的方法，其中，显示所述虚拟内容包括：渲染与所述车辆相关联的虚拟内容项，所述虚拟内容项相对于所述车辆的表面被渲染。
方面46、根据方面45所述的方法，其中，所渲染的虚拟内容项包括以下各项中的至少一项：关于在与所述一个或多个传感器相关联的所述数据中标识的事件的第一指示、关于车辆的上下文的第二指示、以及与所述车辆的所述上下文相关联的警报。
方面47、根据方面45至46中任一项所述的方法，其中，渲染虚拟内容项包括：从所述车辆的摄像头设备接收摄像头馈送；以及在所述移动设备的显示区域内显示所述摄像头馈送的至少一部分。
方面48、根据方面28到47中任一者所述的方法，其中，确定所述移动设备的所述姿态包括：获得一个或多个射频(RF)信号；以及基于所述车辆的内部部分的一个或多个图像、以及与所述一个或多个RF信号相关联的往返时间、与所述一个或多个RF信号相关联的到达时间和与所述一个或多个RF信号相关联的接收信号强度指示符(RSSI)中的至少一项，来确定所述移动设备的所述姿态。
方面49、根据方面28到48中任一者所述的方法，其中，确定所述移动设备的所述姿态包括：从所述车辆接收包括与所述车辆相关联的一个或多个标记的车辆模板；以及基于所述车辆的内部部分的一个或多个图像和所述车辆模板，来确定所述移动设备相对于所述车辆的坐标系的姿态。
方面50、根据方面49所述的方法，其中，所述一个或多个标记包括以下各项中的至少一项：所述车辆的内部部分内的区域和附连到所述车辆的所述内部部分的对象中的至少一项上的视觉图案、所述车辆的所述内部部分的元件、在所述车辆的所述内部部分内的表面、以及所述车辆内部的被照明对象。
方面51、根据方面49到50中任一者所述的方法，其中，确定所述移动设备的所述姿态包括：检测所述一个或多个图像中的所述一个或多个标记；以及基于检测到的一个或多个标记和所述车辆模板，来确定所述移动设备相对于所述车辆的坐标系的姿态。
方面52、根据方面28至51中任一项所述的方法，还包括：使用所述移动设备的一个或多个图像传感器获得所述车辆的内部部分的图像集合，所述图像集合描绘与所述车辆相关联的一个或多个标记；以及基于所述图像集合，生成包括所述一个或多个标记的车辆模板。
方面53、一种非暂时性计算机可读介质，其上存储有指令，所述指令当由一个或多个处理器执行时使所述一个或多个处理器执行根据方面28至52中任一项所述的方法。
方面54、一种装置，包括用于执行根据方面28至52中任一项所述的方法的单元。
方面55、一种装置，包括：存储器；以及耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：基于车辆的内部部分的一个或多个图像，确定所述装置相对于所述车辆的坐标系的姿态；确定所述车辆的乘员的状态；以及向所述车辆发送指示所述乘员的所述状态和所述装置相对于所述车辆的坐标系的姿态的数据。
方面56、根据方面55所述的装置，其中，所述乘员的状态包括所述乘员关于操作所述车辆的损伤。
方面57、根据方面56所述的装置，其中，所述乘员的所述损伤包括：将会负面地影响所述乘员安全地操作所述车辆的能力的任何事件、活动、分心、状态、属性、行为和/或条件。
方面58、根据方面56至57中任一项所述的装置，其中，所述损伤包括以下各项中的至少一项：关于所述车辆的操作和与所述车辆相关联的事件中的至少一项的分心状态、中毒状态、健康状况、清醒状态、检测到的情绪状态、控制所述车辆的损伤方位、以及损伤视野。
方面59、根据方面56至58中任一项所述的装置，其中，为了确定所述乘员的所述状态，所述一个或多个处理器被配置为：从所述车辆接收与所述车辆的一个或多个传感器相关联的数据；以及，基于与所述车辆的所述一个或多个传感器相关联的所述数据和所述装置的所述姿态来确定所述乘员的所述状态。
方面60、根据方面59所述的装置，其中，与所述车辆的一个或多个传感器相关联的所述数据指示所述车辆的状态和与所述车辆相关联的事件中的至少一项。
方面61、根据方面60所述的装置，其中，与所述车辆相关联的所述事件包括以下各项中的至少一项：在所述车辆的路径或与所述车辆的所述路径的门限接近度内存在对象、与所述车辆的所述路径相关联的交通控制、以及所述车辆未能保持在速度限制和车道标记中的至少一项内。
方面62、根据方面61所述的设备，其中，在所述车辆的所述路径或与所述车辆的所述路径的所述门限接近度内的所述对象包括行人、动物和另一车辆中的至少一者。
方面63、根据方面56至62中任一项所述的装置，其中，所述乘员的所述损伤包括：将会负面地影响所述乘员安全地操作所述车辆的能力的任何事件、活动、分心、状态、属性、行为和/或条件。
方面64、根据方面55至63中任一项所述的装置，其中，所述一个或多个处理器被配置为：确定所述车辆的所述乘员的眼睛注视，其中，所述乘员的所述状态包括所述乘员的所述眼睛注视，其中，所述乘员与所述装置相关联。
方面65、根据方面55至64中任一项所述的装置，其中，为了确定所述乘员的所述状态，所述一个或多个处理器被配置为：从与所述装置和由所述乘员穿戴的可穿戴设备中的至少一项相关联的一个或多个传感器接收与所述乘员相关联的一个或多个健康测量值；以及基于所述一个或多个健康测量值，来确定所述乘员的所述状态。
方面66、根据方面65所述的装置，其中，所述一个或多个健康测量值包括以下各项中的至少一项：心率、血压、体温、皮肤电反应、来自所述乘员的心脏的电信号的测量值、所述乘员的大脑的电活动的测量值、眼睛发红的量、以及瞳孔大小。
方面67、根据方面55至66中任一项所述的装置，其中，为了确定所述乘员的所述状态，所述一个或多个处理器被配置为：确定所述乘员的眼睛注视在一段时间内聚焦远离所述车辆前方的道路；以及基于所述乘员的所述眼睛注视在所述一段时间内聚焦远离所述车辆前方的道路并且确定所述一段时间超过门限时间段，来确定所述乘员的损伤状态。
方面68、根据方面67所述的装置，其中，为了确定所述乘员的所述眼睛注视在一段时间内聚焦远离所述车辆前方的道路，所述一个或多个处理器被配置为：确定所述乘员的所述眼睛注视在一段时间的至少一部分内聚焦于由所述装置所渲染的虚拟内容。
方面69、根据方面67至68中任一项所述的装置，其中，为了确定所述乘员的所述眼睛注视聚焦远离所述车辆前方的所述道路达所述一段时间，所述一个或多个处理器被配置为：确定所述乘员的眼睛注视聚焦在与所述车辆的路径或在与所述车辆的所述路径的门限接近度内的障碍物的方向不同的方向上。
方面70、根据方面55至69中任一项所述的装置，其中，所述一个或多个处理器被配置为：向第二车辆、车辆基础设施系统、与所述第二车辆的第二乘员相关联的第一远程设备以及与行人相关联的第二远程设备中的至少一项发送关于所述乘员的状态的指示。
方面71、根据方面55至70中任一项所述的装置，其中，为了确定所述乘员的所述状态，所述一个或多个处理器被配置为：确定佩戴所述装置的所述乘员的眼睛注视；以及基于所述装置的所述姿态和所述乘员的所述眼睛注视，来确定所述乘员的所述状态。
方面72、根据方面55至71中任一项所述的装置，其中，为了确定装置的姿态，所述一个或多个处理器被配置为：从所述车辆接收包括与所述车辆相关联的一个或多个标记的车辆模板；以及基于所述一个或多个图像和所述车辆模板，来确定所述装置相对于所述车辆的坐标系的姿态。
方面73、根据方面72所述的方法，其中，所述一个或多个标记包括以下各项中的至少一项：在所述车辆的所述内部部分内的区域和附连到所述车辆的所述内部部分的对象中的至少一项上的视觉图案、所述车辆的所述内部部分的元件、在所述车辆的所述内部部分内的表面、以及在所述车辆内部的被照明对象。
方面74、根据方面72所述的装置，其中，所述一个或多个图像描绘所述一个或多个标记，并且其中，为了确定所述装置的姿态，所述一个或多个处理器被配置为：检测所述一个或多个图像中的所述一个或多个标记；以及基于检测到的所述一个或多个标记和所述车辆模板来确定所述装置相对于所述车辆的坐标系的姿态。
方面75、根据方面55至74中任一项所述的装置，其中，所述一个或多个处理器被配置为：使用所述装置的一个或多个图像传感器，获得所述车辆的所述内部部分的图像集合，所述图像集合描绘与所述车辆相关联的一个或多个视觉地标；以及基于所述图像集合来生成车辆模板，所述车辆模板包括所述一个或多个视觉地标。
方面76、根据方面55至75中任一项所述的装置，其中，为了确定所述装置的所述姿态，所述一个或多个处理器被配置为：获得与所述装置相关联的惯性传感器数据；以及基于所述一个或多个图像和所述惯性传感器数据，来确定所述装置的所述姿态。
方面77、根据方面55至76中任一项所述的装置，其中，所述装置包括头戴式显示器。
方面78、一种方法，包括：基于车辆的内部部分的一个或多个图像，确定移动设备相对于所述车辆的坐标系的姿态；确定所述车辆的乘员的状态；以及向所述车辆发送指示所述乘员的所述状态和所述移动设备相对于所述车辆的坐标系的姿态的数据。
方面79、根据方面78所述的方法，其中，所述乘员的状态包括：所述乘员关于操作所述车辆的损伤。
方面80、根据方面78至79中任一项所述的装置，其中，所述乘员的所述损伤包括：将会负面地影响所述乘员安全地操作所述车辆的能力的任何事件、活动、分心、状态、属性、行为和/或条件。
方面81、根据方面78至80中任一项所述的装置，其中，所述损伤包括以下各项中的至少一项：关于所述车辆的操作和与所述车辆相关联的事件中的至少一项的分心的状态、中毒状态、健康状况、清醒状态、检测到的情绪状态、控制所述车辆的损伤方位、以及损伤视野。
方面82、根据方面78至81中任一项所述的方法，其中，确定所述乘员的状态包括：从所述车辆接收与所述车辆的一个或多个传感器相关联的数据；以及基于与所述车辆的所述一个或多个传感器相关联的所述数据和所述移动设备的所述姿态，来确定所述乘员的所述状态。
方面83、根据方面82所述的方法，其中，与所述车辆的一个或多个传感器相关联的所述数据指示所述车辆的状态和与所述车辆相关联的事件中的至少一项。
方面84、根据方面83所述的方法，其中，与所述车辆相关联的所述事件包括以下各项中的至少一项：在所述车辆的路径或与所述车辆的所述路径的门限接近度内存在对象、与所述车辆的所述路径相关联的交通控制、以及所述车辆未能保持在速度限制和车道标记中的至少一项内。
方面85、根据方面84所述的方法，其中，在所述车辆的所述路径或与所述车辆的所述路径的所述门限接近度内的所述对象包括行人、动物和另一车辆中的至少一者。
方面86、根据方面78至85中任一项所述的方法，还包括：确定所述车辆的所述乘员的眼睛注视，其中，所述乘员的所述状态包括所述乘员的所述眼睛注视，其中，所述乘员与所述移动设备相关联。
方面87、根据方面78至86中任一项所述的方法，其中，确定所述乘员的状态包括：从与所述乘员穿戴的所述移动设备和可穿戴设备中的至少一项相关联的一个或多个传感器接收与所述乘员相关联的一个或多个健康测量值；以及，基于所述一个或多个健康测量来确定所述乘员的所述状态。
方面88、根据方面87所述的方法，其中，所述一个或多个健康测量值包括以下各项中的至少一项：心率、血压、体温、皮肤电反应、来自所述乘员的心脏的电信号的测量值、所述乘员的大脑的电活动的测量值、眼睛发红的量、以及瞳孔大小。
方面89、根据方面78至87中任一项所述的方法，其中，确定乘员的状态包括：确定乘员的眼睛注视聚焦远离车辆前方的道路一段时间；以及，基于乘员的眼睛注视聚焦远离车辆前方的道路一段时间并且确定这段时间超过门限时间段来确定乘员的损伤状态。
方面90、根据方面89所述的方法，其中，确定所述乘员的所述眼睛注视在一段时间内聚焦远离所述车辆前方的道路包括：确定所述乘员的所述眼睛注视在一段时间的至少一部分内聚焦于由所述移动设备所渲染的虚拟内容。
方面91、根据方面89所述的方法，其中，确定所述乘员的所述眼睛注视在所述时间段内远离所述车辆前方的所述道路聚焦包括：确定所述乘员的所述眼睛注视聚焦在与所述车辆的路径或与所述车辆的所述路径的门限接近度内的障碍物的方向不同的方向上。
方面92、根据方面78至91中任一项所述的方法，还包括：向第二车辆、车辆基础设施系统、与所述第二车辆的第二乘员相关联的第一远程设备和与行人相关联的第二远程设备中的至少一个发送关于所述乘员的所述状态的指示。
方面93、根据方面78至92中任一项所述的方法，其中，确定所述乘员的状态包括：确定佩戴所述移动设备的所述乘员的眼睛注视；以及，基于所述移动设备的姿态和所述乘员的眼睛注视来确定所述乘员的状态。
方面94、根据方面78到93中任一者所述的方法，其中，确定所述移动设备的所述姿态包括：从所述车辆接收包括与所述车辆相关联的一个或多个标记的车辆模板；以及基于所述一个或多个图像和所述车辆模板来确定所述移动设备相对于所述车辆的坐标系的姿态。
方面95、根据方面94所述的方法，其中，所述一个或多个标记包括以下各项中的至少一项：所述车辆的内部部分内的区域和附连到所述车辆的所述内部部分的对象中的至少一项上的视觉图案、所述车辆的所述内部部分的元件、在所述车辆的所述内部部分内的表面、以及所述车辆内部的被照明对象。
方面96、根据方面94所述的方法，其中，所述一个或多个图像描绘所述一个或多个标记，并且其中，确定所述移动设备的姿态包括：检测一个或多个图像中的一个或多个标记；以及，基于检测到的一个或多个标记和车辆模板来确定移动设备相对于车辆的坐标系的姿态。
方面97、根据方面78至96中任一项所述的方法，还包括：使用移动设备的一个或多个图像传感器获得车辆的内部部分的图像集合，所述图像集合描绘与车辆相关联的一个或多个视觉地标；以及，基于所述图像集合生成车辆模板，该车辆模板包括一个或多个视觉地标。
方面98、根据方面78到97中任一者所述的方法，其中，确定所述移动设备的所述姿态包括：获得与所述移动设备相关联的惯性传感器数据；以及基于所述一个或多个图像和所述惯性传感器数据，来确定所述移动设备的所述姿态。
方面99、根据方面78至98中任一项所述的方法，其中，所述乘员的所述损伤包括：将会负面地影响所述乘员安全地操作所述车辆的能力的任何事件、活动、分心、状态、属性、行为和/或条件。
方面100、一种非暂时性计算机可读介质，其上存储有指令，所述指令当由一个或多个处理器执行时使所述一个或多个处理器执行根据方面78至99中任一项所述的方法。
方面101、一种装置，包括用于执行根据方面78至99中任一项所述的方法的单元。
方面102、一种用于控制车辆的一个或多个操作的方法，所述方法包括：从与车辆的乘员相关联的移动设备接收所述乘员相对于所述车辆的坐标系的姿态；以及基于所述乘员相对于所述车辆的坐标系的姿态，控制所述车辆的一个或多个功能。
方面103、根据方面102所述的方法，其中，控制所述车辆的一个或多个功能包括：参与所述车辆的一个或多个车辆功能。
方面104、根据方面103所述的方法，其中，所述一个或多个车辆功能包括以下各项中的至少一项：自动驾驶仪功能、牵引力控制功能、巡航控制功能、防撞功能、车道偏离功能、车道居中功能、制动辅助功能、车道保持功能、高速公路辅助功能、车道变换辅助功能、速度适配功能和交叉路口辅助功能。
方面105、根据方面102至104中任一项所述的方法，其中，控制所述车辆的操作包括：控制或参与所述车辆的一个或多个自主车辆系统。
方面106、根据方面105所述的方法，其中，所述一个或多个自主车辆系统包括以下各项中的至少一项：盲点监测系统、驾驶员监测系统、制动系统、自主驾驶控制系统、驾驶员辅助系统、导航系统、转向控制系统、车辆通信系统、以及车载抬头显示器。
方面107、根据方面102至106中任一项所述的方法，还包括：将与车辆的一个或多个传感器相关联的数据发送到以下各项中的至少一项：移动设备、第二车辆、车辆基础设施系统、与第二车辆的第二乘员相关联的第一远程设备、以及与行人相关联的第二远程设备。
方面108、根据方面102至107中任一项所述的方法，还包括：向第二车辆、车辆基础设施系统、与所述第二车辆的第二乘员相关联的第一远程设备和与行人相关联的第二远程设备中的至少一项发送指示所述乘员的状态的数据。
方面109、根据方面102至108中任一项所述的方法，还包括：向所述移动设备发送用于确定所述乘员相对于所述车辆的所述坐标系的所述姿态的车辆模板，所述车辆模板包括与所述车辆相关联的一个或多个标记。
方面110、根据方面109所述的方法，其中，所述一个或多个标记包括以下各项中的至少一项：所述车辆的内部部分内的区域和附连到所述车辆的所述内部部分的对象中的至少一项上的视觉图案、所述车辆的所述内部部分的元件、在所述车辆的所述内部部分内的表面、以及所述车辆内部的被照明对象。
方面111、根据方面109所述的方法，还包括：至少部分地基于所述乘员相对于所述车辆的所述坐标系的所述姿态生成输出，所述输出包括以下各项中的至少一项：向所述移动设备的通信、修改所述车辆的所述一个或多个功能的指令、以及关于所述乘员的状态的指示。
方面112、根据方面111所述的方法，其中，向所述移动设备的所述通信包括以下各项中的至少一项：虚拟内容项、以及针对显示所述虚拟内容项的请求。
方面113、根据方面102到112中任一项所述的方法，还包括：从所述移动设备接收指示所述车辆的所述乘员的状态的数据，其中所述数据包括以下各项中的至少一项：来自所述移动设备的一个或多个传感器的传感器数据、以及基于来自所述移动设备的所述一个或多个传感器的所述传感器数据而生成的经处理数据。
方面114、根据方面113所述的方法，其中，经处理数据包括乘员状态的描述和标识所述乘员状态的分类输出中的至少一项。
方面115、根据方面102到114中任一项所述的方法，还包括：从所述移动设备接收指示所述车辆的所述乘员的状态的数据，其中，所述数据包括以下各项中的至少一项：关于所述乘员的眼睛注视的指示、所述移动设备相对于所述车辆的坐标系的姿态、以及与所述乘员相关联的一个或多个健康测量值。
方面116、根据方面115所述的方法，其中，所述一个或多个健康测量值包括以下各项中的至少一项：心率、血压、体温、皮肤电反应、来自所述乘员的心脏的电信号的测量值、所述乘员的大脑的电活动的测量值、眼睛发红的量、以及瞳孔大小。
方面117、根据方面102至116中任一项所述的方法，还包括：从所述车辆的一个或多个传感器获得传感器数据，所述传感器数据包括以下各项中的至少一项：关于与所述车辆的操作相关的事件的指示、关于在至少部分地由所述乘员所控制的所述车辆的一个或多个操作期间的一个或多个驾驶模式的指示、以及车辆仪表数据；以及还基于所述传感器数据来控制所述车辆的所述一个或多个功能。
方面118、根据方面117所述的方法，还包括确定所述乘员的状态，其中，确定所述乘员的状态包括：从与所述移动设备和可穿戴设备中的至少一项相关联的一个或多个健康传感器来接收与所述乘员相关联的一个或多个健康测量值；以及基于与所述乘员相关联的所述一个或多个健康测量值，来确定所述乘员的状态。
方面119、根据方面102至118中任一项所述的方法，还包括：获得乘员的状态，其中，乘员的状态包括关于操作所述车辆的乘员的损伤。
方面120、根据方面119所述的方法，其中，所述乘员的损伤包括所述乘员的损伤。在一些示例中，所述损伤可以包括暂时损伤。
方面121、根据方面119所述的方法，其中，所述损伤包括以下各项中的至少一项：关于所述车辆的操作和与所述车辆相关联的事件中的至少一项的分心状态、中毒状态、健康状况、清醒状态、检测到的情绪状态、控制所述车辆的损伤方位、以及损伤视野。
方面122、根据方面121所述的方法，其中，所述事件包括以下各项中的至少一项：在所述车辆的路径或与所述车辆的路径的门限接近度内存在对象、与所述车辆的路径相关联的交通控制、以及所述车辆未能保持在速度限制和车道标记中的至少一项内。
方面123、根据方面122所述的方法，其中，所述对象包括以下各项中的至少一项：行人、动物和另一车辆。
方面124、根据方面102至123中任一项所述的方法，还包括：获得车辆的内部部分的一个或多个图像，所述一个或多个图像描绘与车辆相关联的一个或多个视觉地标；以及，基于一个或多个图像来生成车辆模板，所述车辆模板描述一个或多个视觉地标。
方面125、根据方面124所述的方法，还包括将所述车辆模板发送给所述移动设备；以及从所述移动设备接收所述乘员相对于所述车辆模板中定义的一个或多个坐标的所述姿态，其中，所述一个或多个坐标相对于所述一个或多个视觉地标并且对应于所述车辆的所述坐标系。
方面126、根据方面125所述的方法，还包括：从所述移动设备接收指示所述乘员的状态的数据，其中，控制所述车辆的一个或多个功能包括：基于所述乘员的所述姿态和指示所述乘员的状态的所述数据，来控制所述车辆的所述一个或多个功能。
方面127、根据方面126所述的方法，还包括：至少部分地基于所述乘员相对于所述车辆的所述坐标系的所述姿态生成输出，所述输出包括以下各项中的至少一项：向所述移动设备的通信、修改所述车辆的所述一个或多个功能的指令、以及关于所述乘员的状态的指示。
方面128、根据方面102至128中任一项所述的方法，其中，所述车辆的一个或多个功能是经由所述车辆的计算机系统进行控制的，该计算机系统被配置为控制以下各项中的至少一项：所述车辆的所述一个或多个功能、以及所述车辆的一个或多个自主车辆系统。
方面129、根据方面102至128中任一项所述的方法，其中，所述移动设备包括可穿戴增强现实设备。
方面130、根据方面102至129中任一项所述的方法，其中，所述移动设备包括头戴式显示器。
方面131、根据方面119至121中任一项所述的方法，其中，所述乘员的所述损伤包括：将会负面地影响所述乘员安全地操作所述车辆的能力的任何事件、活动、分心、状态、属性、行为和/或条件。
方面132、一种装置，包括存储器和耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为执行根据方面102至131中任一项所述的方法。
方面133、一种装置，包括用于执行根据方面102至131中任一项所述的方法的单元。
方面134、一种非暂时性计算机可读介质，其上存储有指令，所述指令当由一个或多个处理器执行时使所述一个或多个处理器执行根据方面102至131中任一项所述的方法。
方面135、一种用于向与车辆的乘员相关联的设备提供车辆数据的方法，所述方法包括：从与车辆的计算机系统连接的增强现实(AR)设备接收请求；以及响应于所述请求，向所述AR设备发送与所述车辆的一个或多个传感器相关联的数据。
方面136、根据方面135所述的方法，其中，所述数据包括指示所述车辆的上下文的车辆数据，并且其中，所述车辆的上下文包括以下各项中的至少一项：所述车辆的状态、以及所述车辆遇到的或被确定为在所述车辆的一个或多个操作期间发生的一个或多个事件。
方面137、根据方面136所述的方法，其中，所述一个或多个事件包括以下各项中的至少一项：在所述车辆的路径或与所述车辆的路径的门限接近度内存在对象、与所述车辆的路径相关联的交通控制、以及所述车辆未能保持在速度限制和车道标记中的至少一项内。
方面138、根据方面137所述的方法，其中，在所述车辆的所述路径或与所述车辆的所述路径的所述门限接近度内的所述对象包括行人、动物和另一车辆中的至少一项。
方面139、根据方面136所述的方法，还包括：向所述AR设备发送用于在相对于所述AR设备相对于所述车辆的坐标系的姿态和所述一个或多个事件的相应位置中的至少一项的位置处呈现的显示数据，所述显示数据包括所述车辆数据的至少一部分。
方面140、根据方面139所述的方法，还包括：向所述AR设备发送关于所述一个或多个事件的所述相应位置的指示。
方面141、根据方面135至140中任一项所述的方法，还包括：向所述AR设备发送用于确定所述AR设备相对于所述车辆的坐标系的姿态的车辆模板，所述车辆模板描述所述车辆的内部部分中的一个或多个标记。
方面142、根据方面141所述的方法，其中，所述一个或多个标记包括以下各项中的至少一项：所述车辆的内部部分内的区域和附连到所述车辆的所述内部部分的对象中的至少一项上的视觉图案、所述车辆的所述内部部分的元件、在所述车辆的所述内部部分内的表面、以及所述车辆内部的被照明对象。
方面143、根据方面141所述的方法，还包括：从所述AR设备接收所述AR设备相对于所述车辆的坐标系的姿态。
方面144、根据方面143所述的方法，还包括：基于与所述一个或多个传感器相关联的所述数据和所述AR设备相对于所述车辆的坐标系的姿态中的至少一项，控制所述计算机系统对与所述车辆相关联的虚拟内容的呈现。
方面145、根据方面144所述的方法，其中，控制对虚拟内容的所述呈现包括：基于所述AR设备相对于所述车辆的坐标系的姿态，向所述AR设备提供来自所述车辆的一个或多个图像传感器的实时内容馈送。
方面146、根据方面145所述的方法，其中，提供所述实时内容馈送包括：基于所述AR设备相对于所述车辆的坐标系的姿态和所述车辆相对于所述车辆事件的位置，确定所述AR设备相对于所述车辆事件的姿态；以及基于所述AR设备相对于所述车辆事件的姿态，确定与所述计算机系统和所述AR设备中的至少一项相关联的虚拟内容至少部分地遮挡所述AR设备的视野中的所述车辆事件。
方面147、根据方面144所述的方法，其中，控制对虚拟内容的所述呈现包括：将由所述计算机系统所渲染的虚拟内容项的位置与所述车辆事件相对于所述车辆的坐标系的位置进行关联；以及基于所述虚拟内容的位置与所述车辆事件相对于所述车辆的坐标系的位置的关联性，来过滤或修改所述虚拟内容项。
方面148、根据方面147所述的方法，其中，过滤或修改所述虚拟内容项包括：修改所述虚拟内容项的一个或多个特性，所述一个或多个特性包括以下各项中的至少一项：透明度、大小、所述虚拟内容项的位置、以及亮度水平。
方面149、根据方面147所述的方法，其中，过滤或修改所述虚拟内容项包括：接收所述车辆的所述乘员的眼睛注视；基于所述乘员的所述眼睛注视和所述车辆事件的所述位置，来确定所述车辆事件对所述乘员的可见性；以及进一步基于所述车辆事件对所述乘员的所述可见性，来过滤或修改所述虚拟内容项。
方面150、根据方面144所述的方法，其中，控制对虚拟内容的所述呈现包括：接收所述车辆的乘员的眼睛注视；以及在所述车辆的乘员的眼睛注视的方向内呈现虚拟内容。
方面151、根据方面150所述的方法，其中，渲染所述虚拟内容包括：渲染虚拟内容覆盖，所述虚拟内容覆盖包括车辆事件、所述车辆事件的位置以及所述车辆事件的方向中的至少一项的虚拟指示符。
方面152、根据方面151所述的方法，其中，渲染所述虚拟内容包括：修改所述虚拟内容的一个或多个特性，所述一个或多个特性包括以下各项中的至少一项：透明度、大小、所述虚拟内容的位置、以及亮度水平。
方面153、根据方面135至152中任一项所述的方法，还包括：向一个或多个显示设备发送用于显示虚拟内容项的指令，所述虚拟内容项提供关于所述车辆的操作的信息，所述指令指示所述虚拟内容项相对于所述车辆中的在所述乘员的视野内的位置的放置。
方面154、根据方面153所述的方法，其中，所述虚拟内容项包括以下各项中的至少一项：关于由所述计算机系统所检测到的车辆事件的第一指示、关于所述车辆的上下文的第二指示、以及与所述车辆的上下文相关联的警报。
方面155、根据方面135至154中任一项所述的方法，还包括：从所述车辆上的摄像头设备接收摄像头馈送；以及向所述AR设备发送所述摄像头馈送的至少一部分以用于显示。
方面156、根据方面135至155中任一项所述的方法，还包括：向所述AR设备发送关于所述乘员的状态的指示。
方面157、根据方面156所述的方法，其中，所述乘员的状态包括：所述乘员关于操作所述车辆的损伤。
方面158、根据方面157所述的方法，其中，所述损伤包括以下各项中的至少一项：关于所述车辆的操作和与所述车辆相关联的事件中的至少一项的分心状态、中毒状态、健康状况、清醒状态、检测到的情绪状态、控制所述车辆的损伤方位、以及损伤视野。
方面159、根据方面157所述的方法，还包括：基于乘员的损伤，来控制所述车辆的操作。
方面160、根据方面157所述的方法，还包括：基于所述乘员的损伤来生成显示数据，所述显示数据包括车辆事件和车辆仪表数据中的至少一项。
方面161、根据方面157所述的方法，还包括：基于所述乘员的所述损伤向所述AR设备发送所述显示数据，所述显示数据包括车辆事件和车辆仪表数据中的至少一项。
方面162、根据方面135至161中任一项所述的方法，其中，所述计算机系统被配置为：控制所述车辆的一个或多个自主功能和所述车辆的一个或多个自主车辆系统中的至少一项。
方面163、根据方面135至162中任一项所述的方法，其中，所述AR设备包括头戴式显示器。
方面164、根据方面135至163中任一项所述的方法，其中，所述AR设备包括可穿戴AR设备。
方面165、根据方面157至158所述的方法，其中，所述乘员的损伤包括：将负面地影响乘员安全地操作所述车辆的能力的任何事件、活动、分心、状态、属性、行为和/或条件。
方面166、一种装置，包括存储器和耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为执行根据方面135至165中任一项所述的方法。
方面167、一种装置，包括用于执行根据方面135至165中任一项所述的方法的单元。
方面168、一种非暂时性计算机可读介质，其上存储有指令，所述指令当由一个或多个处理器执行时使所述一个或多个处理器执行根据方面135至165中任一项所述的方法。
方面169：一种方法，包括基于车辆的内部部分的一个或多个图像来确定移动设备相对于所述车辆的坐标系的位置。该方法还可以包括：从所述车辆接收与所述车辆的一个或多个传感器相关联的数据；以及使用所述装置的显示设备，基于与所述一个或多个传感器相关联的所述数据和所述装置相对于所述车辆的坐标系的位置，来显示虚拟内容。附加地或替代地，该方法还可以包括确定所述车辆的乘员的状态；以及，向所述车辆发送指示所述乘员的状态和所述移动设备相对于所述车辆的坐标系的位置的数据。
方面170、根据方面169所述的方法，还包括根据方面28至52和/或方面78至99中的任一项的方法。
方面171、一种装置，包括存储器和耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为执行根据方面169至170中任一项所述的方法。
方面172、一种装置，包括用于执行根据方面169至170中任一项所述的方法的单元。
方面173、一种非暂时性计算机可读介质，其上存储有指令，所述指令当由一个或多个处理器执行时使所述一个或多个处理器执行根据方面169至170中任一项所述的方法。
方面174、一种方法，包括基于车辆的内部部分的一个或多个图像来确定移动设备相对于所述车辆的坐标系的位置。该方法还可以包括：确定所述车辆的乘员的状态；以及，向所述车辆发送指示所述乘员的状态和所述移动设备相对于所述车辆的坐标系的位置的数据。附加地或替代地，该方法还可以包括：从所述车辆接收与所述车辆的一个或多个传感器相关联的数据；以及，使用所述装置的显示设备，基于与所述一个或多个传感器相关联的所述数据和所述装置相对于所述车辆的坐标系的位置，来显示虚拟内容。
方面175、根据方面174所述的方法，还包括根据方面28至52和/或方面78至99中的任一项的方法。
方面176、一种装置，包括存储器和耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为执行根据方面174至175中任一项所述的方法。
方面177、一种装置，包括用于执行根据方面174至175中任一项所述的方法的单元。
方面180、一种非暂时性计算机可读介质，其上存储有指令，所述指令当由一个或多个处理器执行时使所述一个或多个处理器执行根据方面174至175中任一项所述的方法。
方面181、一种方法，包括：从与车辆的乘员相关联的移动设备接收所述乘员相对于所述车辆的坐标系的姿态；以及，基于所述乘员相对于所述车辆的坐标系的姿态，控制所述车辆的一个或多个功能。附加地或替代地，该方法还可以包括：从与车辆的计算机系统相连接的增强现实(AR)设备接收请求；以及响应于所述请求，向所述AR设备发送与所述车辆的一个或多个传感器相关联的数据。
方面182、根据方面181所述的方法，还包括根据方面102至131和/或方面135至165中的任一项的方法。
方面183、一种装置，包括存储器和耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为执行根据方面181至182中任一项所述的方法。
方面184、一种装置，包括用于执行根据方面181至182中任一项所述的方法的单元。
方面185、一种非暂时性计算机可读介质，其上存储有指令，所述指令当由一个或多个处理器执行时使所述一个或多个处理器执行根据方面181至182中任一项所述的方法。
方面186、一种方法，包括：从与车辆的计算机系统相连接的增强现实(AR)设备接收请求；以及响应于所述请求，向所述AR设备发送与所述车辆的一个或多个传感器相关联的数据。附加地或替代地，该方法还可以包括：从与车辆的乘员相关联的移动设备接收乘员相对于所述车辆的坐标系的姿态；以及，基于所述乘员相对于所述车辆的坐标系的姿态，控制所述车辆的一个或多个功能。
方面187、根据方面186所述的方法，还包括根据方面102至131和/或方面135至165中的任一项的方法。
方面183、一种装置，包括存储器和耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为执行根据方面186至187中任一项所述的方法。
方面184、一种装置，包括用于执行根据方面186至187中任一项所述的方法的单元。
方面185、一种非暂时性计算机可读介质，其上存储有指令，所述指令当由一个或多个处理器执行时使所述一个或多个处理器执行根据方面186至187中任一项所述的方法。

Claims (41)

1.一种装置，包括：
存储器；以及
耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：
基于车辆的内部部分的一个或多个图像，确定所述装置相对于所述车辆的坐标系的姿态；
确定所述车辆的乘员的状态；以及
向所述车辆发送指示所述乘员的所述状态和所述装置相对于所述车辆的所述坐标系的所述姿态的数据。
2.根据权利要求1所述的装置，其中，所述乘员的所述状态包括：关于操作所述车辆的所述乘员的损伤。
3.根据权利要求2所述的装置，其中，所述损伤包括以下各项中的至少一项：关于所述车辆的操作和与所述车辆相关联的事件中的至少一项的分心状态、中毒状态、健康状况、清醒状态、检测到的情绪状态、控制所述车辆的损伤方位、以及损伤视野。
4.根据权利要求2所述的装置，其中，为了确定所述乘员的所述状态，所述一个或多个处理器被配置为：
从所述车辆接收与所述车辆的一个或多个传感器相关联的数据；以及
基于与所述车辆的所述一个或多个传感器相关联的所述数据和所述装置的所述姿态，来确定所述乘员的所述状态。
5.根据权利要求4所述的装置，其中，与所述车辆的所述一个或多个传感器相关联的所述数据指示所述车辆的状态和与所述车辆相关联的事件中的至少一项。
6.根据权利要求5所述的装置，其中，与所述车辆相关联的所述事件包括以下各项中的至少一项：在所述车辆的路径或与所述车辆的所述路径的门限接近度内存在对象、与所述车辆的所述路径相关联的交通控制、以及所述车辆未能保持在速度限制和车道标记中的至少一项内。
7.根据权利要求6所述的装置，其中，在所述车辆的所述路径或与所述车辆的所述路径的所述门限接近度内的所述对象包括行人、动物和另一车辆中的至少一项。
8.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
确定所述车辆的所述乘员的眼睛注视，其中，所述乘员的所述状态包括所述乘员的所述眼睛注视，其中，所述乘员与所述装置相关联。
9.根据权利要求1所述的装置，其中，为了确定所述装置的所述姿态，所述一个或多个处理器被配置为：
从与所述装置和由所述乘员穿戴的可穿戴设备中的至少一项相关联的一个或多个传感器接收与所述乘员相关联的一个或多个健康测量值；以及
基于所述一个或多个健康测量值，来确定所述乘员的所述状态。
10.根据权利要求9所述的装置，其中，所述一个或多个健康测量值包括以下各项中的至少一项：心率、血压、体温、皮肤电反应、来自所述乘员的心脏的电信号的测量值、所述乘员的大脑的电活动的测量值、眼睛发红的量、以及瞳孔大小。
11.根据权利要求1所述的装置，其中，为了确定所述乘员的所述状态，所述一个或多个处理器被配置为：
确定所述乘员的眼睛注视在一段时间内聚焦远离所述车辆前方的道路；以及
基于所述乘员的所述眼睛注视在所述一段时间内聚焦远离所述车辆前方的道路并且确定所述一段时间超过门限时间段，来确定所述乘员的损伤状态。
12.根据权利要求11所述的装置，其中，为了确定所述乘员的所述眼睛注视在所述一段时间内聚焦远离所述车辆前方的道路，所述一个或多个处理器被配置为：
确定所述乘员的所述眼睛注视在所述一段时间的至少一部分内聚焦于由所述装置所渲染的虚拟内容。
13.根据权利要求11所述的装置，其中，为了确定所述乘员的所述眼睛注视在所述一段时间内聚焦远离所述车辆前方的道路，所述一个或多个处理器被配置为：
确定所述乘员的所述眼睛注视聚焦在与所述车辆的路径或与所述车辆的所述路径的门限接近度内的障碍物的方向不同的方向上。
14.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
向第二车辆、车辆基础设施系统、与所述第二车辆的第二乘员相关联的第一远程设备、以及与行人相关联的第二远程设备中的至少一项发送关于所述乘员的所述状态的指示。
15.根据权利要求1所述的装置，其中，为了确定所述乘员的所述状态，所述一个或多个处理器被配置为：
确定佩戴所述装置的所述乘员的眼睛注视；以及
基于所述装置的所述姿态和所述乘员的所述眼睛注视，来确定所述乘员的所述状态。
16.根据权利要求1所述的装置，其中，为了确定所述装置的所述姿态，所述一个或多个处理器被配置为：
从所述车辆接收包括与所述车辆相关联的一个或多个标记的车辆模板；以及
基于所述一个或多个图像和所述车辆模板，来确定所述装置相对于所述车辆的所述坐标系的所述姿态。
17.根据权利要求16所述的装置，其中，所述一个或多个标记包括以下各项中的至少一项：所述车辆的所述内部部分内的区域和附连到所述车辆的所述内部部分的对象中的至少一项上的视觉图案、所述车辆的所述内部部分的元件、在所述车辆的所述内部部分内的表面、以及所述车辆内部的被照明对象。
18.根据权利要求16所述的装置，其中，所述一个或多个图像描绘所述一个或多个标记，并且其中，为了确定所述装置的所述姿态，所述一个或多个处理器被配置为：
检测所述一个或多个图像中的所述一个或多个标记；以及
基于所检测的一个或多个标记和所述车辆模板来确定所述装置相对于所述车辆的所述坐标系的所述姿态。
19.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：
使用所述装置的一个或多个图像传感器，获得所述车辆的所述内部部分的图像集合，所述图像集合描绘与所述车辆相关联的一个或多个视觉地标；以及
基于所述图像集合来生成车辆模板，所述车辆模板包括所述一个或多个视觉地标。
20.根据权利要求1所述的装置，其中，为了确定所述装置的所述姿态，所述一个或多个处理器被配置为：
获得与所述装置相关联的惯性传感器数据；以及
基于所述一个或多个图像和所述惯性传感器数据，来确定所述装置的所述姿态。
21.根据权利要求1所述的装置，其中，所述装置包括头戴式显示器。
22.一种方法，包括：
基于车辆的内部部分的一个或多个图像，确定移动设备相对于所述车辆的坐标系的姿态；
确定所述车辆的乘员的状态；以及
向所述车辆发送指示所述乘员的所述状态和所述移动设备相对于所述车辆的所述坐标系的所述姿态的数据。
23.根据权利要求22所述的方法，其中，所述乘员的所述状态包括关于操作所述车辆的所述乘员的损伤。
24.根据权利要求23所述的方法，其中，所述损伤包括以下各项中的至少一项：关于所述车辆的操作和与所述车辆相关联的事件中的至少一项的分心状态、中毒状态、健康状况、清醒状态、检测到的情绪状态、控制所述车辆的损伤方位、以及损伤视野。
25.根据权利要求23所述的方法，其中，确定所述乘员的所述状态包括：
从所述车辆接收与所述车辆的一个或多个传感器相关联的数据；以及
基于与所述车辆的所述一个或多个传感器相关联的所述数据和所述移动设备的所述姿态，来确定所述乘员的所述状态。
26.根据权利要求25所述的方法，其中，与所述车辆的所述一个或多个传感器相关联的所述数据指示所述车辆的状态和与所述车辆相关联的事件中的至少一项。
27.根据权利要求26所述的方法，其中，与所述车辆相关联的所述事件包括以下各项中的至少一项：在所述车辆的路径或与所述车辆的所述路径的门限接近度内存在对象、与所述车辆的所述路径相关联的交通控制、以及所述车辆未能保持在速度限制和车道标记中的至少一项内。
28.根据权利要求27所述的方法，其中，在所述车辆的所述路径或与所述车辆的所述路径的所述门限接近度内的所述对象包括行人、动物和另一车辆中的至少一项。
29.根据权利要求22所述的方法，还包括：
确定所述车辆的所述乘员的眼睛注视，其中，所述乘员的所述状态包括所述乘员的所述眼睛注视，其中，所述乘员与所述移动设备相关联。
30.根据权利要求22所述的方法，其中，确定所述乘员的所述状态包括：
从与由所述乘员穿戴的所述移动设备和可穿戴设备中的至少一项相关联的一个或多个传感器接收与所述乘员相关联的一个或多个健康测量值；以及
基于所述一个或多个健康测量值，来确定所述乘员的所述状态。
31.根据权利要求30所述的方法，其中，所述一个或多个健康测量值包括以下各项中的至少一项：心率、血压、体温、皮肤电反应、来自所述乘员的心脏的电信号的测量值、所述乘员的大脑的电活动的测量值、眼睛发红的量、以及瞳孔大小。
32.根据权利要求22所述的方法，其中，确定所述乘员的所述状态包括：
确定所述乘员的所述眼睛注视在一段时间内聚焦远离所述车辆前方的道路；以及
基于所述乘员的所述眼睛注视在所述一段时间内聚焦远离所述车辆前方的道路并且确定所述一段时间超过门限时间段，来确定所述乘员的损伤状态。
33.根据权利要求32所述的方法，其中，确定所述乘员的所述眼睛注视在所述一段时间内聚焦远离所述车辆前方的所述道路包括：
确定所述乘员的所述眼睛注视在所述一段时间的至少一部分内聚焦于由所述移动设备所渲染的虚拟内容。
34.根据权利要求32所述的方法，其中，确定所述乘员的所述眼睛注视在所述一段时间内聚焦远离所述车辆前方的所述道路包括：
确定所述乘员的所述眼睛注视聚焦在与所述车辆的路径或在与所述车辆的所述路径的门限接近度内的障碍物的方向不同的方向上。
35.根据权利要求22所述的方法，还包括：
向第二车辆、车辆基础设施系统、与所述第二车辆的第二乘员相关联的第一远程设备以及与行人相关联的第二远程设备中的至少一项发送关于所述乘员的所述状态的指示。
36.根据权利要求22所述的方法，其中，确定所述乘员的所述状态包括：
确定佩戴所述移动设备的所述乘员的眼睛注视；以及
基于所述移动设备的所述姿态和所述乘员的所述眼睛注视，来确定所述乘员的所述状态。
37.根据权利要求22所述的方法，其中，确定所述移动设备的所述姿态包括：
从所述车辆接收包括与所述车辆相关联的一个或多个标记的车辆模板；以及
基于所述一个或多个图像和所述车辆模板来确定所述移动设备相对于所述车辆的所述坐标系的所述姿态。
38.根据权利要求37所述的方法，其中，所述一个或多个标记包括以下各项中的至少一项：所述车辆的所述内部部分内的区域和附连到所述车辆的所述内部部分的对象中的至少一项上的视觉图案、所述车辆的所述内部部分的元件、在所述车辆的所述内部部分内的表面、以及所述车辆内部的被照明对象。
39.根据权利要求37所述的方法，其中，所述一个或多个图像描绘所述一个或多个标记，并且其中，确定所述移动设备的所述姿态包括：
检测所述一个或多个图像中的所述一个或多个标记；以及
基于所检测的一个或多个标记和所述车辆模板，来确定所述移动设备相对于所述车辆的所述坐标系的所述姿态。
40.根据权利要求22所述的方法，还包括：
使用所述移动设备的一个或多个图像传感器来获得所述车辆的所述内部部分的图像集合，所述图像集合描绘与所述车辆相关联的一个或多个视觉地标；以及
基于所述图像集合来生成车辆模板，所述车辆模板包括所述一个或多个视觉地标。
41.根据权利要求22所述的方法，其中，确定所述移动设备的所述姿态包括：
获得与所述移动设备相关联的惯性传感器数据；以及
基于所述一个或多个图像和所述惯性传感器数据，来确定所述移动设备的所述姿态。
CN202280066180.6A 2021-10-06 2022-10-03 用于车辆乘员辅助的车辆和移动设备接口 Pending CN118119523A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/495,748 2021-10-06
US17/495,748 US20230106673A1 (en) 2021-10-06 2021-10-06 Vehicle and mobile device interface for vehicle occupant assistance
PCT/US2022/077486 WO2023060049A1 (en) 2021-10-06 2022-10-03 Vehicle and mobile device interface for vehicle occupant assistance

Publications (1)

Publication Number Publication Date
CN118119523A true CN118119523A (zh) 2024-05-31

Family

ID=84330053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280066180.6A Pending CN118119523A (zh) 2021-10-06 2022-10-03 用于车辆乘员辅助的车辆和移动设备接口

Country Status (5)

Country Link
US (1) US20230106673A1 (zh)
KR (1) KR20240074777A (zh)
CN (1) CN118119523A (zh)
TW (1) TW202325049A (zh)
WO (1) WO2023060049A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018203287B4 (de) * 2018-03-06 2024-03-07 Audi Ag Verfahren und System zum Betreiben einer Spurhalteassistenzvorrichtung eines Kraftfahrzeugs
JP7279530B2 (ja) * 2019-06-07 2023-05-23 マツダ株式会社 映像処理方法、映像処理装置、映像処理プログラム及び映像処理プログラムを記録した記録媒体
EP4116738A4 (en) * 2020-03-31 2024-03-20 Bitsensing Inc. RADAR DEVICE AND METHOD FOR CLASSIFYING OBJECTS
DE112021004410T5 (de) * 2020-09-30 2023-07-13 Joyson Safety Systems Acquisition Llc Kraftmessende sicherheitsgurtanordnung
US11950582B2 (en) 2020-11-19 2024-04-09 Ford Global Technologies, Llc Pet bowl having integrated sensing
US11897334B2 (en) 2020-11-19 2024-02-13 Ford Global Technologies, Llc Vehicle having pet bowl communication
US11999232B2 (en) * 2020-12-17 2024-06-04 Ford Global Technologies, Llc Vehicle having pet monitoring and related controls
US11904794B2 (en) 2021-01-28 2024-02-20 Ford Global Technologies, Llc Pet restraint system for a vehicle
US11951878B2 (en) 2021-05-04 2024-04-09 Ford Global Technologies, Llc Vehicle having seat control based on monitored pet location
US11932156B2 (en) 2021-05-17 2024-03-19 Ford Global Technologies, Llc Vehicle having sliding console
US11900550B2 (en) * 2021-09-30 2024-02-13 Snap Inc. AR odometry using sensor data from a personal vehicle
US20230278593A1 (en) * 2022-03-01 2023-09-07 Mitsubishi Electric Research Laboratories, Inc. System and Method for Parking an Autonomous Ego-Vehicle in a Dynamic Environment of a Parking Area

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100131148A1 (en) * 2008-11-26 2010-05-27 Jaime Camhi System and method for estimated driver intention for driver assistance system control
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US9459692B1 (en) * 2016-03-29 2016-10-04 Ariadne's Thread (Usa), Inc. Virtual reality headset with relative motion head tracker
US10317900B2 (en) * 2016-05-13 2019-06-11 GM Global Technology Operations LLC Controlling autonomous-vehicle functions and output based on occupant position and attention
KR20180104235A (ko) * 2017-03-10 2018-09-20 만도헬라일렉트로닉스(주) 운전자 상태 모니터링 방법 및 장치
WO2020152678A1 (en) * 2019-01-22 2020-07-30 Adam Cogtech Ltd. Detection of cognitive state of a driver
JP2021064906A (ja) * 2019-10-16 2021-04-22 トヨタ自動車株式会社 画像表示システム
US11654921B2 (en) * 2020-11-10 2023-05-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for limiting driver distraction

Also Published As

Publication number Publication date
WO2023060049A1 (en) 2023-04-13
TW202325049A (zh) 2023-06-16
US20230106673A1 (en) 2023-04-06
KR20240074777A (ko) 2024-05-28

Similar Documents

Publication Publication Date Title
US20230106673A1 (en) Vehicle and mobile device interface for vehicle occupant assistance
US11562550B1 (en) Vehicle and mobile device interface for vehicle occupant assistance
US11659038B2 (en) Smart vehicle
US10882398B2 (en) System and method for correlating user attention direction and outside view
US10286905B2 (en) Driver assistance apparatus and control method for the same
KR102366723B1 (ko) 운송 수단으로 시야 확보 영상을 제공하는 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
KR101895485B1 (ko) 운전 보조 장치 및 그 제어 방법
KR101750178B1 (ko) 차량 외부 알람방법, 이를 실행하는 차량 운전 보조장치 및 이를 포함하는 차량
US20210089048A1 (en) Smart vehicle
US11526166B2 (en) Smart vehicle
CN110168581B (zh) 保持车内乘员的意识
US20180357493A1 (en) Information processing apparatus, information processing method, and program
CN107097793A (zh) 驾驶员辅助设备和具有该驾驶员辅助设备的车辆
US20220348217A1 (en) Electronic apparatus for vehicles and operation method thereof
US10810966B1 (en) Fusion of electronic mirror systems and driver monitoring for increased convenience and added safety
Akhlaq et al. Designing an integrated driver assistance system using image sensors
US9643493B2 (en) Display control apparatus
US11752940B2 (en) Display controller, display system, mobile object, image generation method, and carrier means
JP2023160924A (ja) 制御装置及び制御プログラム
JP2018097479A (ja) 運転支援装置、運転支援方法、運転支援プログラム、及び運転支援システム
KR101894636B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
US20230415652A1 (en) Camera module, information processing system, information processing method, and information processing apparatus
CN117916139A (zh) 车辆控制系统、车辆控制方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination