CN105404388A - 使用头戴式显示器执行头部姿势和动作的估计 - Google Patents

使用头戴式显示器执行头部姿势和动作的估计 Download PDF

Info

Publication number
CN105404388A
CN105404388A CN201510561288.4A CN201510561288A CN105404388A CN 105404388 A CN105404388 A CN 105404388A CN 201510561288 A CN201510561288 A CN 201510561288A CN 105404388 A CN105404388 A CN 105404388A
Authority
CN
China
Prior art keywords
driver
head
data
characteristic
head pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510561288.4A
Other languages
English (en)
Other versions
CN105404388B (zh
Inventor
杨行翔
夸库·O·普拉卡阿桑特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN105404388A publication Critical patent/CN105404388A/zh
Application granted granted Critical
Publication of CN105404388B publication Critical patent/CN105404388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B60W2050/0054—Cut-off filters, retarders, delaying means, dead zones, threshold values or cut-off frequency
    • B60W2050/0055—High-pass filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2422/00—Indexing codes relating to the special location or mounting of sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Dentistry (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Transportation (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明涉及使用头戴式显示器执行头部姿势和动作的估计。一种系统接收头部姿势指示，头部姿势指示根据运动数据被确定，运动数据来自车辆驾驶员穿戴的光学头戴式显示器的运动传感器，所述系统根据头部姿势指示确定驾驶员动作特性，驾驶员动作特性指示驾驶员头部的运动历史，所述系统将驾驶员动作特性发送至驾驶员可注意的车辆系统，所述车辆系统基于驾驶员动作特性调整驾驶员通知。所述系统还接收原始运动数据，原始运动数据来自穿戴在车辆驾驶员头部的光学头戴式显示器的运动传感器，所述系统基于原始运动数据计算头部速度数据，基于头部速度数据计算头部位移数据，当确定头部位移数据超过预定的阈值位移时，更新指示头部位置的头部姿势指示。

Description

使用头戴式显示器执行头部姿势和动作的估计
技术领域
本公开的各方面总体上涉及使用车辆驾驶员穿戴的头戴式显示装置来执行头部姿势和动作的估计。
背景技术
驾驶员可能需要将他或她的视线集中在道路上以及车辆的各种显示器和控制器上。例如，诸如信息娱乐、电话集成、安全警报、导航显示以及驾驶效率的内容可被显示在遍布于车厢的各种显示屏幕中。在一些情况下，驾驶员可能会变得疲劳，并且可能不会看着道路或车辆的显示器(所述显示器提供对驾驶员可能有用的信息)。
发明内容
在第一个示意性的实施例中，一种系统包括处理器，所述处理器被配置为：接收头部姿势指示，所述头部姿势指示根据运动数据被确定，所述运动数据来自车辆驾驶员穿戴的光学头戴式显示器的运动传感器；根据头部姿势指示，确定驾驶员动作特性，所述驾驶员动作特性指示驾驶员头部的运动的历史；以及将驾驶员动作特性发送至驾驶员可注意的车辆系统，所述驾驶员可注意的车辆系统被配置为基于驾驶员动作特性调整驾驶员通知。
在第二个示意性的实施例中，一种系统包括处理器，所述处理器被配置为：从穿戴在车辆驾驶员头部的光学头戴式显示器的运动传感器接收原始运动数据；基于原始运动数据计算头部速度数据；基于头部速度数据计算头部位移数据；以及当确定头部位移数据超过预定的阈值位移时，更新指示头部位置的头部姿势指示。
所述处理器还被配置为：根据头部姿势指示确定驾驶员动作特性，所述驾驶员动作特性指示驾驶员头部运动的历史。所述处理器还被配置为：在计算头部速度数据之前，对原始运动数据执行高通滤波，以调整数据偏差。所述处理器还被配置为：在更新头部姿势指示之前，对头部位移数据执行高通滤波，以调整数据偏差。所述原始数据包括头部位置的指示，并且头部位移数据包括沿着头部的x轴、头部的y轴以及头部的z轴的头部位移的指示。所述预定的阈值位移包括沿着头部的x轴的阈值位移、沿着头部的y轴的阈值位移、以及沿着头部的z轴的阈值位移中的至少一个。
在第三个示意性的实施例中，一种系统包括处理器，所述处理器被配置为：从穿戴在车辆驾驶员头部的光学头戴式显示器的运动传感器接收运动数据；根据运动数据确定头部姿势指示；根据头部姿势指示确定驾驶员动作特性，所述驾驶员动作特性指示头部运动的历史；以及根据驾驶员动作特性调整在光学头戴式显示器中提供的内容的显示。所述处理器被配置为：从穿戴在车辆驾驶员头部的光学头戴式显示器的运动传感器接收运动数据；根据运动数据确定头部姿势指示；基于头部姿势指示的观测历史确定可能的驾驶员动作特性；根据驾驶员动作特性调整在光学头戴式显示器中提供的内容的显示。
所述驾驶员动作特性指示驾驶员头部的运动频率和驾驶员头部的运动幅度中的至少一个。所述头部姿势指示还根据从监测驾驶员头部的车内摄像机接收的信息被确定。所述运动数据包括头部位置的指示，并且头部姿势指示包括沿着头部的x轴、头部的y轴以及头部的z轴的头部位置的指示。所述运动传感器包括加速度传感器和回转传感器中的至少一种。所述处理器被配置为：通过光学头戴式显示器和处理器之间的无线连接，从光学头戴式显示器的运动传感器接收运动数据。
附图说明
图1示出了基于车辆的车辆计算系统的示例性的方框拓扑图；
图2示出了用于头部姿势估计和动作跟踪的系统的示例性框图；
图3示出了可被光学头戴式显示器的运动传感器使用的坐标系和示例性的头部姿势；
图4示出了用于光学头戴式显示器的运动传感器的三轴加速度计原始运动数据的示例；
图5示出了用于穿戴光学头戴式显示器的驾驶员的头部姿势估计的示例性处理；
图6示出了示例性的x轴上的头部姿势估计；
图7示出了示例性的y轴上的头部姿势估计；
图8示出了示例性的z轴上的头部姿势估计；
图9示出了使用头部姿势估计将驾驶员的状态通知给车辆的系统的示例性程序，头部姿势估计根据光学头戴式显示器的运动传感器被确定。
具体实施方式
根据需要，在此公开本发明的实施例。然而，应理解的是，所公开的实施例仅为本发明的示例，并且可被体现为各种可替代形式。附图不必按比例绘制；可夸大或最小化一些特征以示出特定部件的细节。因此，在此公开的具体结构和功能细节不应被解释为限制，而仅为用于教导本领域技术人员以多种形式采用实施例的代表性基础。
由于驾驶员的头部姿势可被用于推断驾驶员的目光方向，因此驾驶员的头部位置可能是车辆驾驶员的视线和状态的有用的线索。因此，车辆系统可利用驾驶员的头部姿势作为驾驶员的注意力估计的测量。
车辆系统可被配置为以非侵扰方式或侵扰方式测量驾驶员头部姿势。非侵扰测量技术可包括例如内部摄像机以及基于捕获的驾驶员头部的图像执行的图像处理。侵扰方式可包括例如被配置为更直接地测量驾驶员的头部的方向或位置的头戴式装置。测量驾驶员的视线的侵扰方式通常可被认为是驾驶员不期望的。然而，对于利用引入的光学头戴式显示器(OHMD)的驾驶员，例如谷歌眼镜装置已经被驾驶员穿戴，车辆系统可利用OHMD以进行与车辆任务相关的头部姿势估计。
驾驶员头部执行的动作(例如点头、频繁地看肩膀等)可被测量，并被车辆利用作为诸如驾驶员状态和工作负荷估计系统的处理的输入。这些动作可被用于确定驾驶员的身体状态(例如困倦水平)或驾驶员的工作负荷和意图(例如变换车道)。作为另一示例，如在第14/263,197号美国专利申请(通过引用而将其全部内容并入于此)中所描述的，驾驶员头部执行的动作可被利用，以将向车辆通知何种内容提供给车辆显示。
OHMD可包括运动传感器(例如加速度计、陀螺仪)，车辆系统可利用运动传感器来提供信息，以用于估计头部姿势和驾驶员动作。在一个示例中，车辆系统可利用OHMD的三轴加速度计来监测安装在驾驶员头部上的OHMD的运动(例如，在谷歌眼镜的情况下，运动传感器位于装置的右侧拐角)。然后，测量的加速度可被转换为旋转运动并被用于估计驾驶员的头部姿势。在另一个例子中，车辆系统可利用OHMD的陀螺仪来更直接测量驾驶员头部的旋转运动。进一步的，驾驶员的头部姿势和方向估计可通过利用来自加速度计和回转传感器的软件传感器被确定。
车辆系统可被配置为通过与引入的驾驶员的OHMD进行交互来估计驾驶员的头部姿势和动作。因此，这将允许车辆系统在不要求车辆包括非侵扰的测量装置的情况下执行驾驶员估计，或允许车辆系统与其他非侵扰的测量装置组合作为补充的测量来执行驾驶员估计。
图1示出用于车辆31的基于车辆的计算系统(VCS)1的示例框式拓扑图。这种基于车辆的计算系统1的示例为由福特汽车公司制造的SYNC系统。设置有基于车辆的计算系统的车辆可包含位于车辆中的可视前端界面4。如果所述界面设置有例如触摸敏感屏幕，则用户可还能够与所述界面进行交互。在另一示意性实施例中，通过按钮按压、具有自动语音识别和语音合成的口语对话系统来进行交互。
在图1所示的示意性实施例1中，处理器3控制基于车辆的计算系统的至少一部分操作。设置在车辆内的处理器允许对命令和程序进行车载处理。另外，处理器连接到非持久性存储器5和持久性存储器7两者。在此示意性实施例中，非持久性存储器是随机存取存储器(RAM)，持久性存储器是硬盘驱动器(HDD)或闪存。一般说来，持久性(非暂时性)存储器可包括当计算机或其他装置掉电时保持数据的所有形式的存储器。这些存储器包括但不限于：HDD、CD、DVD、磁带、固态驱动器、便携式USB驱动器和任何其他适当形式的持久性存储器。
处理器还设置有允许用户与处理器进行交互的若干不同的输入。在此示意性实施例中，麦克风29、辅助输入25(用于输入33)、USB输入23、GPS输入24、屏幕4(可为触摸屏显示器)和蓝牙输入15全部被设置。还设置有输入选择器51，以允许用户在各种输入之间进行切换。对于麦克风和辅助连接器两者的输入在被传送到处理器之前，由转换器27对所述输入进行模数转换。尽管未示出，但是与VCS进行通信的众多车辆组件和辅助组件可使用车辆网络(诸如但不限于CAN总线)向VCS(或其组件)传送数据并传送来自VCS(或其组件)的数据。
系统的输出可包括但不限于可视显示器4以及扬声器13或立体声系统输出。扬声器连接到放大器11，并通过数模转换器9从处理器3接收其信号。还可分别沿19和21所示的双向数据流产生到远程蓝牙装置(诸如PND54)或USB装置(诸如车辆导航装置60)的输出。
在一示意性实施例中，系统1使用蓝牙收发器15与用户的移动装置53(例如，蜂窝电话、智能电话、PDA或具有无线远程网络连接能力的任何其他装置)进行通信(17)。移动装置53随后可用于通过例如与蜂窝塔57的通信(55)来与车辆31外部的网络61进行通信(59)。在一些实施例中，蜂窝塔57可以是WiFi接入点。
移动装置53与蓝牙收发器之间的示例性通信由信号14表示。
可通过按钮52或类似的输入来指示将移动装置53与蓝牙收发器15进行配对。相应地，指示CPU被指示车载蓝牙收发器将与移动装置中的蓝牙收发器进行配对。
可利用例如与移动装置53关联的数据计划、话上数据或DTMF音调在CPU3与网络61之间传送数据。可选地，可期望包括具有天线18的车载调制解调器63，以便在CPU3与网络61之间通过语音频带传送数据(16)。移动装置53随后可用于通过例如与蜂窝塔57的通信(55)来与车辆31外部的网络61进行通信(59)。在一些实施例中，调制解调器63可与蜂窝塔57建立通信(20)，以与网络61进行通信。作为非限制性示例，调制解调器63可以是USB蜂窝调制解调器，并且通信20可以是蜂窝通信。
在一示意性实施例中，处理器设置有包括用于与调制解调器应用软件进行通信的API的操作系统。调制解调器应用软件可访问蓝牙收发器上的嵌入式模块或固件，以完成与(诸如在移动装置中发现的)远程蓝牙收发器的无线通信。蓝牙是IEEE802PAN(个域网)协议的子集。IEEE802LAN(局域网)协议包括WiFi并与IEEE802PAN具有相当多的交叉功能。两者都适合于车辆内的无线通信。可在本领域使用的另一通信方式是自由空间光通信(诸如IrDA)和非标准化消费者IR协议。
在另一实施例中，移动装置53包括用于语音频带或宽带数据通信的调制解调器。在话上数据的实施例中，当移动装置的拥有者可在数据被传送的同时通过装置说话时，可实施已知为频分复用的技术。在其他时间，当拥有者没有在使用装置时，数据传送可使用整个带宽(在一示例中是300Hz至3.4kHz)。尽管频分复用对于车辆与互联网之间的模拟蜂窝通信而言会是常见的并仍在被使用，但其已经很大程度上被用于数字蜂窝通信的码域多址(CDMA)、时域多址(TDMA)、空域多址(SDMA)的混合体所替代。这些都是ITUIMT-2000(3G)兼容的标准，为静止或行走的用户提供高达2mbs的数据速率，并为在移动的车辆中的用户提供高达385kbs的数据速率。3G标准现在正被高级IMT(4G)所替代，其中，所述高级IMT(4G)为在车辆中的用户提供100mbs的数据速率，并为静止的用户提供1gbs的数据速率。如果用户具有与移动装置关联的数据计划，则所述数据计划可允许宽带传输且所述系统可使用宽得多的带宽(加速数据传送)。在另一实施例中，移动装置53被安装至车辆31的蜂窝通信装置(未示出)所替代。在另一实施例中，移动装置(ND)53可以是能够通过例如(而非限制)802.11g网络(即WiFi)或WiMax网络进行通信的无线局域网(LAN)装置。
在一实施例中，传入数据可经由话上数据或数据计划穿过移动装置、穿过车载蓝牙收发器，并进入车辆的内部处理器3。例如，在某些临时数据的情况下，数据可被存储在HDD或其他存储介质7上，直至不再需要所述数据时为止。
其它的可与车辆进行接口连接的源包括：具有例如USB连接56和/或天线58的个人导航装置54、具有USB62或其他连接的车辆导航装置60、车载GPS装置24、或与网络61连接的远程导航系统(未示出)。USB是一类串行联网协议中的一种。IEEE1394(火线TM(苹果)、i.LINKTM(索尼)和LynxTM(德州仪器))、EIA(电子工业协会)串行协议、IEEE1284(Centronics端口)、S/PDIF(索尼/飞利浦数字互连格式)和USB-IF(USB开发者论坛)形成了装置-装置串行标准的骨干。多数协议可针对电通信或光通信来实施。
此外，CPU可与各种其他的辅助装置65进行通信。这些装置可通过无线连接67或有线连接69来连接。辅助装置65可包括但不限于个人媒体播放器、无线保健装置、便携式计算机等。
此外或可选地，可使用例如WiFi(IEEE803.11)收发器71将CPU连接到基于车辆的无线路由器73。这可允许CPU在本地路由器73的范围中连接到远程网络。
除了由位于车辆中的车辆计算系统执行示例性处理之外，在某些实施例中，还可由与车辆计算系统通信的计算系统来执行示例性处理。这样的系统可包括但不限于：无线装置(例如但不限于移动电话)或通过无线装置连接的远程计算系统(例如但不限于服务器)。总体上，这样的系统可被称为与车辆关联的计算系统(VACS)。在某些实施例中，VACS的特定组件可根据系统的特定实施而执行处理的特定部分。通过示例而并非限制的方式，如果处理具有与配对的无线装置进行发送或者接收信息的步骤，则很可能由于无线装置不会与自身进行信息的“发送和接收”，因此无线装置不执行该处理。本领域的普通技术人员将理解何时不适合对给定解决方案应用特定的VACS。在所有解决方案中，预期至少位于车辆内的车辆计算系统(VCS)自身能够执行示例性处理。
图2示出了用于头部姿势估计和动作跟踪的系统的示例性框图200。示例性系统的模块可被一个或更多个车辆31的处理器或微处理器(例如VCS1的CPU3)实现，所述车辆31的处理器或微处理器被配置为执行存储在车辆31的一个或更多个存储装置(例如存储器5和7)中的固件或软件程序。如示出的，系统包括与跟踪模块210通信的OHMD202。OHMD202可包括一个或更多个用于为OHMD202的穿戴者提供信息的显示器204、以及一个或更多个用于跟踪穿戴者的运动的运动传感器206。跟踪模块210可包括被配置为将从运动传感器206捕获的原始运动数据208处理为已处理的运动数据214的信号处理模块212、被配置为接收已处理的运动数据214并确定头部姿势指示218的头部姿势估计器模块216、以及被配置为接收头部姿势指示218并跟踪驾驶员的视线以确定驾驶员动作特性222的头部动作跟踪模块220。系统可包括被配置为利用驾驶员动作特性222的一个或更多个附加的驾驶员可注意的车辆系统224，作为一些示例，例如自定义内容显示模块226、交通流量提醒模块228、工作负荷估计器模块230以及驾驶员困倦检测模块232。应注意的是，示图200中示出的模块化的描述是示例性的，并且包括更多、更少或不同的独立模块的元素的布置或组合可被使用。
OHMD202可以是各种类型的可穿戴装置的一种，OHMD202被配置为被用户穿戴，以提供增强的现实信息。在许多情况下，OHMD202可以是引入的装置，这意味着OHMD202被装置的穿戴者(车辆31的驾驶员)引入车辆。在示例中，OHMD202可以是被车辆31的驾驶员使用的谷歌眼镜装置。
OHMD202可包括一个或更多个显示器204，显示器204被配置为映出投射的图像并允许穿戴者观看所述图像。OHMD202还包括一个或更多个运动传感器206(例如，允许OHMD202在显示器204上提供信息，所述信息根据穿戴者的运动而调整)。运动传感器206可包括例如加速度传感器或回转传感器。在示例中，OHMD202可包括三轴加速度运动传感器206，以监测穿戴者的头部在三个维度中的运动。在另一个示例中，OHMD202可利用陀螺仪运动传感器206测量穿戴者的头部的旋转运动(比测量加速度更直接)。
原始运动数据208可包括从OHMD202的运动传感器206接收的信号。在一些示例中，原始运动数据208可以是被提供为米每秒的平方(m/s2)的加速度测量的形式，但是其他数据单位的格式也是可行的。由于穿戴者的微小运动，原始运动数据208可包括噪声。原始运动数据208也可包括显著的偏差(例如重力加速度在y轴的向下的偏差)。
跟踪模块210可被配置为从OHMD202接收原始运动数据208，并利用原始运动数据208，以进行头部姿势估计和动作跟踪。为了接收原始运动数据208，跟踪模块210可被配置为连接到OHMD202，并且一旦跟踪模块210连接上，则跟踪模块210通过连接轮询OHMD202的数据和/或从OHMD202接收周期性的更新。在示例中，跟踪模块210和OHMD202之间的连接可通过OHMD202和车辆31的VCS1的蓝牙收发器15之间的蓝牙连接，但是其他配置也是可行的。
跟踪模块210的信号处理模块212可被配置为处理从运动传感器206捕获的原始运动数据208，以被跟踪模块210用于头部姿势估计和动作跟踪。例如，信号处理模块212可被配置为对原始运动数据208进行滤波，以获得位移并去除漂移(drifting)。被信号处理模块212处理的原始运动数据208可被称为已处理的运动数据214。因此，已处理的运动数据214可包括与测量的穿戴者的头部运动有关的位移数据。
头部姿势估计器模块216可被配置为从信号处理模块212接收已处理的运动数据214，并基于接收的已处理的运动数据214确定关于穿戴者的信息。在示例中，头部姿势估计器模块216可因此利用已处理的运动数据214来估计穿戴者的头部的位置和运动，例如转头。
头部姿势估计器模块216可被配置为基于已处理的运动数据214确定头部姿势指示218。作为一个示例，头部姿势指示218可包括沿着x轴的头部位置的指示(例如，头部是否被定位为观看左侧、右侧或中间)。另外的或可选地，头部姿势指示218可包括沿着y轴的头部位置的指示(例如，头部是否位于向上、居中或向下的位置)。另外的或可选地，头部姿势指示218可包括沿着z轴的头部位置的指示(例如，头部是否位于向前、居中或向后的位置)。头部姿势估计器模块216还可被配置为利用阈值设置来定义阈值，以用于使头部姿势指示218可被识别(例如，驾驶员观看左侧、右侧、上侧或下侧的角度可被确定)。
在一些情况下，头部姿势估计器模块216还可考虑附加的数据，以用于确定头部姿势指示218。在示例中，头部姿势估计器模块216还可从非侵扰的测量技术(诸如内部摄像机和基于捕获的驾驶员的头部的图像执行的图像处理)接收数据。
头部动作跟踪模块220可被配置为接收头部姿势指示218并跟踪驾驶员的视线，以确定驾驶员动作特性222。驾驶员动作特性222可包括诸如驾驶员的头部运动的频率和/或幅度。由于驾驶员动作特性222可提供随着时间的驾驶员的头部的运动的指示，因此驾驶员动作特性222可被利用，以帮助驾驶员的身体状态或工作负荷的确定。
跟踪模块210可被配置为将头部姿势指示218和驾驶员动作特性222提供给多种驾驶员可注意的车辆系统224。驾驶员可注意的车辆系统224可包括车辆31的各种系统，所述车辆31的各种系统被配置为基于驾驶员动作特性调整它们的操作。作为一个示例，跟踪模块210可被配置为提供头部姿势指示218作为自定义内容显示模块226的输入，以通知驾驶员的视线确定(例如，推断驾驶员的目光方向)，用于识别车辆31的显示应该包括车辆31的什么内容。作为另一个示例，头部姿势指示218和驾驶员动作特性222可被利用作为交通流量提醒模块228的输入，以帮助驾驶员确定交通流量提醒。作为进一步的示例，头部姿势指示218和驾驶员动作特性222可被利用作为工作负荷估计器模块230的补充输入，以允许工作负荷估计器模块230考虑潜在增加的驾驶员工作负荷(潜在增加的驾驶员工作负荷可由增加的或特定的头部运动暗示)。作为进一步的示例，头部姿势指示218和驾驶员动作特性222可被利用作为驾驶员困倦检测模块232的补充输入，以允许考虑将驾驶员的头部的向上和向下的运动(例如打盹)的频率与预定的指示驾驶员可能困倦的阈值进行比较。
图3示出了可由OHMD202的运动传感器206使用的坐标系300和示例性的头部姿势。如所示出的，x轴可涉及穿戴者的头部转向两侧，y轴可涉及穿戴者的头部的向上和向下运动，z轴可涉及穿戴者的头部的向前和向后倾斜。应注意的是，示出的坐标系仅是示例，并且其他坐标系也可被使用。
图4示出了用于OHMD202的运动传感器206的三轴加速度计原始运动数据208的示例400。原始运动数据在以上讨论的头部姿势和坐标系300的数据的示例中被说明，所述原始运动数据包括x轴的图形数据402-A、y轴的图形数据402-A、z轴的图形数据402-C(总体为图形数据402)。关于图形数据402的内容，原始运动数据208示出了在坐标系300中的头部动作的顺序，包括向左侧看，随后向右下侧看，随后向右侧看。如图形数据402-C所示出的，由于重力的影响，原始运动数据208包括y轴的向下方向的相对显著的偏差。
图5示出了用于穿戴OHMD202的驾驶员的头部姿势估计的示例性处理500。处理500可被例如车辆31的跟踪模块210执行，跟踪模块210与车辆31的驾驶员引入和穿戴的OHMD202通信。
在操作502中，跟踪模块210接收原始运动数据208。例如，跟踪模块210可从OHMD202接收原始运动数据208。原始运动数据208的样本的说明在以上的图4的图形数据402中被示出。
在操作504中，跟踪模块210调整原始运动数据208的偏差。例如，跟踪模块210的信号处理模块212可接收原始运动数据208，并对原始运动数据208实施高通滤波。高通滤波可被执行，例如，以去除原始运动数据208由于重力的影响在y轴的向下方向的偏差。在示例中，高通滤波可根据yi＝α·(yi-1+xi-xi-1)形式的等式被建模，其中，x是原始运动数据208的输入，y是滤波输出，α是与积分的时间周期有关的可配置的时间常数。
在操作506中，跟踪模块210从已调整的原始运动数据208确定速度信息。例如，跟踪模块210可执行原始运动数据208随时间的积分，以确定与OHMD202的穿戴者的运动有关的速度信息。
在操作508中，跟踪模块210从在操作506确定的速度信息中确定位移信息。例如，跟踪模块210可执行在操作506中积分的原始运动数据208随时间的二次积分，以确定与OHMD202的穿戴者的运动有关的位移信息。
在操作510中，跟踪模块210调整位移信息以考虑漂移。例如，跟踪模块210可对原始运动数据208实施二次高通滤波(类似于在以上的操作504中所执行的)。因此，计算的位移信息可为跟踪模块210提供OHMD202的穿戴者的运动的近似值。
图6示出了示例性的x轴上的头部姿势估计600。估计600包括来自OHMD202的运动传感器206的原始运动数据208的x轴上的图形数据402-A，以及对应的x轴上的计算的位移信息602。显著地，在x轴上的计算的位移信息602示出了OHMD202的穿戴者的头部的偏转运动(向左和向右)。
图7示出了示例性的y轴上的头部姿势估计700。估计700包括来自OHMD202的运动传感器206的原始运动数据208的y轴上的图形数据402-B，以及对应的y轴上的计算的位移信息702。显著地，在y轴上的计算的位移信息702示出了OHMD202的穿戴者的头部的向下的运动。
图8示出了示例性的z轴上的头部姿势估计800。估计800包括来自OHMD202的运动传感器206的原始运动数据208的z轴上的图形数据402-C，以及对应的z轴上的计算的位移信息802。显著地，在z轴上的计算的位移信息602示出了OHMD202的穿戴者的头部的向前的运动。
返回到参照图5的处理500，在操作512中，跟踪模块210确定已滤波的位移信息是否超过预定的穿戴者的运动的阈值量。例如，头部姿势估计器模块216可接收在操作510中由信号处理模块212确定的位移，并可将位移与阈值进行比较(所述阈值指示OHMD202的穿戴者的当前头部的姿势的变化)。在示例中，头部姿势估计器模块216可将沿着x轴的位移与x轴阈值比较，将沿着y轴的位移与y轴阈值比较，将沿着z轴的位移与z轴阈值比较。如果头部姿势估计器模块216确定一个或更多个位移超过了对应的阈值，则控制进行至操作514。否则程序500结束。
在操作514中，跟踪模块210更新OHMD202的穿戴者的头部姿势指示218。作为示例，头部姿势估计器模块216可产生一个或更多个头部姿势指示218，所述一个或更多个头部姿势指示218指示一个或更多个位移超过了对应的阈值。例如，继续采用OHMD202的运动传感器206的三轴加速度计的原始数据208的示例400，头部姿势估计器模块216可产生头部姿势指示218，头部姿势指示218指示向左侧看，随后向右下侧看，随后向右侧看。因此，在操作510中确定的位移可被头部姿势估计器模块216使用，以确定头部姿势指示218(可被用于估计头部旋转运动)。在操作514之后，处理500结束。
处理500的变型是可能的。作为一个示例，头部姿势估计器模块216还可考虑用于提高头部姿势指示218的精度的附加数据。在示例中，头部姿势估计器模块216还可从非侵扰的测量技术(诸如内部摄像机和基于捕获的驾驶员的头部的图像执行的图像处理)接收数据，以增加从OHMD202中接收的信息。
图9示出了使用头部姿势估计将驾驶员的状态通知给车辆31的系统的示例性处理900，头部姿势估计根据OHMD202的运动传感器206被确定。处理900可被例如车辆31的跟踪模块210执行，跟踪模块210与车辆31的其他系统(诸如驾驶员可注意的车辆系统224)通信。
在操作902中，跟踪模块210接收头部姿势指示218(头部姿势指示218指示OHMD202的穿戴者的头部的运动)。在示例中，根据以上详细讨论的处理500，头部姿势指示218可被跟踪模块210确定。
在操作904中，跟踪模块210跟踪头部姿势指示218，以确定驾驶员动作特性222。例如，头部动作跟踪模块220可基于接收的头部姿势指示218的历史，来确定驾驶员动作特性222(诸如驾驶员头部运动的频率和/或幅度)。由于驾驶员动作特性222可提供驾驶员的头部随时间的运动的指示，因此驾驶员动作特性222可被利用，以帮助确定驾驶员的身体状态或工作负荷。
在操作906中，跟踪模块210将驾驶员动作特性222提供给驾驶员可注意的车辆系统224。作为一个示例，跟踪模块210可被配置为提供头部姿势指示218作为自定义内容显示模块226的输入，以通知驾驶员的视线确定(例如，推断驾驶员的目光方向)，用于识别车辆31的显示应该包括什么车辆31的内容。作为另一个示例，头部姿势指示218和驾驶员动作特性222可被利用作为交通流量提醒模块228的输入，以帮助驾驶员确定交通流量提醒。作为进一步的示例，头部姿势指示218和驾驶员动作特性222可被利用作为工作负荷估计器模块230的补充输入，以允许工作负荷估计器模块230考虑潜在增加的驾驶员工作负荷(潜在增加的驾驶员工作负荷可由增加的或特定的头部运动暗示)。作为进一步的示例，头部姿势指示218和驾驶员动作特性222可被利用作为驾驶员困倦检测模块232的补充输入，以允许考虑将驾驶员的头部的向上和向下的运动(例如打盹)的频率与预定的指示驾驶员可能困倦的阈值进行比较。
虽然以上描述了示例性实施例，但这些实施例并不意在描述本发明的所有可能形式。而是，说明书中所使用的词语是描述性词语而非限制，并且应理解的是，可在不脱离本公开的精神和范围的情况下做出各种改变。此外，可将各种实施例的特征进行组合以形成本发明的进一步的实施例。

Claims (6)

1.一种系统，包括：
处理器，被配置为：
接收头部姿势指示，所述头部姿势指示根据运动数据被确定，所述运动数据来自车辆驾驶员穿戴的光学头戴式显示器的运动传感器；
根据所述头部姿势指示确定驾驶员动作特性，所述驾驶员动作特性指示驾驶员头部的运动的历史；
将驾驶员动作特性发送至驾驶员可注意的车辆系统，所述驾驶员可注意的车辆系统被配置为基于与驾驶员动作特性有关的先前观测到的驾驶员动作来调整驾驶员通知。
2.如权利要求1所述的系统，其中，所述驾驶员动作特性指示驾驶员头部的运动频率和驾驶员头部的运动幅度中的至少一个。
3.如权利要求1所述的系统，其中，所述头部姿势指示还根据从监测驾驶员头部的车内摄像机接收的信息被确定。
4.如权利要求1所述的系统，其中，所述驾驶员可注意的车辆系统包括自定义内容显示系统，所述自定义内容显示系统被配置为根据所述驾驶员动作特性调整在光学头戴式显示器中提供的内容的显示。
5.如权利要求1所述的系统，其中，所述驾驶员可注意的车辆系统包括工作负荷估计器，所述工作负荷估计器被配置为基于驾驶员动作特性确定驾驶员的工作负荷。
6.如权利要求1所述的系统，其中，所述驾驶员可注意的车辆系统包括驾驶员困倦检测模块，所述驾驶员困倦检测模块被配置为基于驾驶员动作特性估计驾驶员的困倦。
CN201510561288.4A 2014-09-05 2015-09-06 使用头戴式显示器执行头部姿势和动作的估计 Active CN105404388B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/478,440 2014-09-05
US14/478,440 US9767373B2 (en) 2014-09-05 2014-09-05 Head-mounted display head pose and activity estimation

Publications (2)

Publication Number Publication Date
CN105404388A true CN105404388A (zh) 2016-03-16
CN105404388B CN105404388B (zh) 2020-07-31

Family

ID=55358619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510561288.4A Active CN105404388B (zh) 2014-09-05 2015-09-06 使用头戴式显示器执行头部姿势和动作的估计

Country Status (5)

Country Link
US (1) US9767373B2 (zh)
CN (1) CN105404388B (zh)
DE (1) DE102015114529B4 (zh)
MX (1) MX351802B (zh)
RU (1) RU2015137693A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105943052A (zh) * 2016-05-30 2016-09-21 深圳先进技术研究院 一种疲劳驾驶检测方法及装置
CN109696962A (zh) * 2019-01-15 2019-04-30 京东方科技集团股份有限公司 头戴式虚拟现实设备
CN110210426A (zh) * 2019-06-05 2019-09-06 中国人民解放军国防科技大学 基于注意力机制从单幅彩色图像进行手部姿态估计的方法
CN110603167A (zh) * 2017-05-05 2019-12-20 奥迪股份公司 用于可用在车辆中的头戴式视觉输出装置的移动式传感器设备和运行显示系统的方法
CN113335299A (zh) * 2017-10-03 2021-09-03 谷歌有限责任公司 使用基于传感器的验证的车辆功能控制
WO2022247515A1 (zh) * 2021-05-27 2022-12-01 中兴通讯股份有限公司 姿态检测方法、装置、无线耳机及存储介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10967882B2 (en) * 2018-01-09 2021-04-06 Motherson Innovations Company Limited Autonomous vehicles with control retaking systems and methods of using same
KR101612824B1 (ko) * 2014-11-20 2016-04-15 현대자동차주식회사 Hmd를 이용한 운전자 상태 모니터링 방법 및 장치
US10328852B2 (en) * 2015-05-12 2019-06-25 University Of North Dakota Systems and methods to provide feedback to pilot/operator by utilizing integration of navigation and physiological monitoring
US9727056B2 (en) * 2015-06-24 2017-08-08 Delphi Technologies, Inc. Automated vehicle control with time to take-over compensation
US9586524B2 (en) * 2015-07-31 2017-03-07 International Business Machines Corporation Personalized in-car variable message signs
EP3338166A1 (en) * 2015-12-22 2018-06-27 Google LLC System and method for performing electronic display stabilization via retained lightfield rendering
CN108475495B (zh) * 2016-02-12 2021-01-19 本田技研工业株式会社 图像显示装置及图像显示方法
CN105575048B (zh) * 2016-02-25 2018-10-02 京东方科技集团股份有限公司 低头转头提醒装置及其控制方法、头盔
US10579162B2 (en) 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
US20180031849A1 (en) * 2016-07-29 2018-02-01 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Augmented reality head-up display road correction
CN106599810B (zh) * 2016-12-05 2019-05-14 电子科技大学 一种基于栈式自编码的头部姿态估计方法
DE102016225261A1 (de) * 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
US10839576B2 (en) 2017-10-27 2020-11-17 Magic Leap, Inc. Virtual reticle for augmented reality systems
US10528802B2 (en) 2018-01-09 2020-01-07 Futurewei Technologies, Inc. Head pose and distraction estimation
US11422764B1 (en) 2018-06-03 2022-08-23 Epic Optix, Inc. Multi-platform integrated display
US10850746B2 (en) * 2018-07-24 2020-12-01 Harman International Industries, Incorporated Coordinating delivery of notifications to the driver of a vehicle to reduce distractions
CN110083245B (zh) * 2019-04-29 2023-11-03 西藏创煌信息科技有限公司 一种动态信息处理方法、设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050046953A1 (en) * 2003-08-29 2005-03-03 C.R.F. Societa Consortile Per Azioni Virtual display device for a vehicle instrument panel
US20070063854A1 (en) * 2005-08-02 2007-03-22 Jing Zhang Adaptive driver workload estimator
US20100033333A1 (en) * 2006-06-11 2010-02-11 Volva Technology Corp Method and apparatus for determining and analyzing a location of visual interest
CN101722907A (zh) * 2009-11-18 2010-06-09 大连海事大学 低视力驾驶员的视线跟踪校准系统
US20120139816A1 (en) * 2010-12-05 2012-06-07 Ford Global Technologies, Llc In-vehicle display management system
US20120299950A1 (en) * 2011-05-26 2012-11-29 Nokia Corporation Method and apparatus for providing input through an apparatus configured to provide for display of an image

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8604932B2 (en) * 1992-05-05 2013-12-10 American Vehicular Sciences, LLC Driver fatigue monitoring system and method
USRE39539E1 (en) * 1996-08-19 2007-04-03 Torch William C System and method for monitoring eye movement
US6091334A (en) * 1998-09-04 2000-07-18 Massachusetts Institute Of Technology Drowsiness/alertness monitor
US7920102B2 (en) * 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
US6724920B1 (en) * 2000-07-21 2004-04-20 Trw Inc. Application of human facial features recognition to automobile safety
US6496117B2 (en) * 2001-03-30 2002-12-17 Koninklijke Philips Electronics N.V. System for monitoring a driver's attention to driving
US20050156817A1 (en) * 2002-08-30 2005-07-21 Olympus Corporation Head-mounted display system and method for processing images
ATE454849T1 (de) * 2002-10-15 2010-01-15 Volvo Technology Corp Verfahren für die auswertung der kopf- und augenaktivität einer person
US7970175B2 (en) * 2007-04-30 2011-06-28 Delphi Technologies, Inc. Method and apparatus for assessing head pose of a vehicle driver
EP1990674A1 (en) * 2007-05-09 2008-11-12 Harman Becker Automotive Systems GmbH Head-mounted display system
EP2303627A4 (en) 2008-07-18 2015-07-29 Optalert Pty Ltd WACHSAMKEITSSENSORVORRICHTUNG
WO2011143655A1 (en) 2010-05-14 2011-11-17 Advitech, Inc. System and method for prevention and control of the effects of spatial disorientation
US9122307B2 (en) 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US8706170B2 (en) 2010-09-20 2014-04-22 Kopin Corporation Miniature communications gateway for head mounted display
US9013264B2 (en) 2011-03-12 2015-04-21 Perceptive Devices, Llc Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US8947219B2 (en) * 2011-04-22 2015-02-03 Honda Motors Co., Ltd. Warning system with heads up display
JP2013132371A (ja) * 2011-12-26 2013-07-08 Denso Corp 動作検出装置
US8952869B1 (en) * 2012-01-06 2015-02-10 Google Inc. Determining correlated movements associated with movements caused by driving a vehicle
US20140247286A1 (en) 2012-02-20 2014-09-04 Google Inc. Active Stabilization for Heads-Up Displays
KR101534700B1 (ko) * 2013-10-10 2015-07-07 현대자동차 주식회사 자동차의 경고 상황 알림 방법 및 시스템
EP2892036B1 (en) * 2014-01-06 2017-12-06 Harman International Industries, Incorporated Alert generation correlating between head mounted imaging data and external device
DE102014206626A1 (de) 2014-04-07 2015-10-08 Bayerische Motoren Werke Aktiengesellschaft Müdigkeitserkennung mithilfe von Datenbrillen (HMD)
EP2933707B1 (en) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Head mounted display presentation adjustment
KR102246553B1 (ko) * 2014-04-24 2021-04-30 엘지전자 주식회사 Hmd 및 그 제어 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050046953A1 (en) * 2003-08-29 2005-03-03 C.R.F. Societa Consortile Per Azioni Virtual display device for a vehicle instrument panel
US20070063854A1 (en) * 2005-08-02 2007-03-22 Jing Zhang Adaptive driver workload estimator
US7394393B2 (en) * 2005-08-02 2008-07-01 Gm Global Technology Operations, Inc. Adaptive driver workload estimator
US20100033333A1 (en) * 2006-06-11 2010-02-11 Volva Technology Corp Method and apparatus for determining and analyzing a location of visual interest
CN101722907A (zh) * 2009-11-18 2010-06-09 大连海事大学 低视力驾驶员的视线跟踪校准系统
US20120139816A1 (en) * 2010-12-05 2012-06-07 Ford Global Technologies, Llc In-vehicle display management system
US8605009B2 (en) * 2010-12-05 2013-12-10 Ford Global Technologies, Llc In-vehicle display management system
US20120299950A1 (en) * 2011-05-26 2012-11-29 Nokia Corporation Method and apparatus for providing input through an apparatus configured to provide for display of an image

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105943052A (zh) * 2016-05-30 2016-09-21 深圳先进技术研究院 一种疲劳驾驶检测方法及装置
CN110603167A (zh) * 2017-05-05 2019-12-20 奥迪股份公司 用于可用在车辆中的头戴式视觉输出装置的移动式传感器设备和运行显示系统的方法
CN113335299A (zh) * 2017-10-03 2021-09-03 谷歌有限责任公司 使用基于传感器的验证的车辆功能控制
CN109696962A (zh) * 2019-01-15 2019-04-30 京东方科技集团股份有限公司 头戴式虚拟现实设备
CN110210426A (zh) * 2019-06-05 2019-09-06 中国人民解放军国防科技大学 基于注意力机制从单幅彩色图像进行手部姿态估计的方法
WO2022247515A1 (zh) * 2021-05-27 2022-12-01 中兴通讯股份有限公司 姿态检测方法、装置、无线耳机及存储介质

Also Published As

Publication number Publication date
RU2015137693A (ru) 2017-03-06
CN105404388B (zh) 2020-07-31
US9767373B2 (en) 2017-09-19
DE102015114529A1 (de) 2016-03-10
US20160070966A1 (en) 2016-03-10
MX351802B (es) 2017-10-27
DE102015114529B4 (de) 2023-12-07
MX2015011665A (es) 2016-03-04

Similar Documents

Publication Publication Date Title
CN105404388A (zh) 使用头戴式显示器执行头部姿势和动作的估计
US10343682B2 (en) Vehicle operation based on activity tracking
US9763614B2 (en) Wearable device and system for monitoring physical behavior of a vehicle operator
US10399575B2 (en) Cognitive load driving assistant
CN107415938B (zh) 基于乘员位置和注意力控制自主车辆功能和输出
US9058735B2 (en) Method and system for detecting conditions of drivers, and electronic apparatus thereof
US20170082649A1 (en) Detecting controllers in vehicles using wearable devices
CN105172599B (zh) 集成可穿戴设备的主动式汽车仪表系统
US20180022359A1 (en) Control for an Electronic Multi-Function Apparatus
US20120150429A1 (en) Method and arrangement relating to navigation
CN106922198A (zh) 车辆控制
CN104890570B (zh) 佩戴式车辆信息指示器以及使用其指示车辆信息的方法
CN102652250A (zh) 导航装置
TW200949203A (en) Navigation apparatus and method that adapts to driver's workload
US9961613B2 (en) Distraction prevention system for mobile devices
JP2015122609A (ja) 電子機器
JP6760898B2 (ja) 情報処理装置及び情報処理システム
KR102578119B1 (ko) 모바일 디바이스와 연동하는 스마트 안경 작동 방법
US20200149907A1 (en) Vehicular apparatus, systems, and methods for detecting, identifying, imaging, and mapping noise sources
CN112513784A (zh) 自动隐藏显示内容的、用于车辆的数据眼镜
CN202841523U (zh) 一种提升手机导航能力的车载信息服务系统
US10876853B2 (en) Information presentation device, information presentation method, and storage medium
KR101236110B1 (ko) 모바일 기기를 이용한 내비게이션 정보 업데이트 방법 및 모바일 기기를 이용한 내비게이션 정보 업데이트 시스템
JP2021163988A (ja) 画像記録システム及び画像記録方法
WO2021084685A1 (ja) 車両揺れ予測システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant