DE102015114529B4 - Kopfhaltungs- und Aktivitätseinschätzung durch am Kopf angebrachte Anzeige - Google Patents

Kopfhaltungs- und Aktivitätseinschätzung durch am Kopf angebrachte Anzeige Download PDF

Info

Publication number
DE102015114529B4
DE102015114529B4 DE102015114529.4A DE102015114529A DE102015114529B4 DE 102015114529 B4 DE102015114529 B4 DE 102015114529B4 DE 102015114529 A DE102015114529 A DE 102015114529A DE 102015114529 B4 DE102015114529 B4 DE 102015114529B4
Authority
DE
Germany
Prior art keywords
head
data
driver
vehicle
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102015114529.4A
Other languages
English (en)
Other versions
DE102015114529A1 (de
Inventor
Hsin-Hsiang Yang
Kwaku O. Prakah-Asante
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102015114529A1 publication Critical patent/DE102015114529A1/de
Application granted granted Critical
Publication of DE102015114529B4 publication Critical patent/DE102015114529B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/01542Passenger detection systems detecting passenger motion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/01552Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052Filtering, filters
    • B60W2050/0054Cut-off filters, retarders, delaying means, dead zones, threshold values or cut-off frequency
    • B60W2050/0055High-pass filters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2422/00Indexing codes relating to the special location or mounting of sensors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Dentistry (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Transportation (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

System (1), das Folgendes umfasst:einen Prozessor (3), der zu Folgendem konfiguriert ist:Speichern von Kopfhaltungsangaben (218),Empfangen von rohen Bewegungsdaten (208) von einem Bewegungssensor (206) einer optischen, am Kopf angebrachten Anzeige (202), die an einem Kopf eines Fahrzeugführers getragen wird,Berechnen von Kopfgeschwindigkeitsdaten auf der Basis der rohen Bewegungsdaten (208),Berechnen von Kopfverlagerungsdaten auf der Basis der Kopfgeschwindigkeitsdaten undAktualisieren von Kopfhaltungsangaben (218), die eine Kopfpositionierung angeben, bei Bestimmen, dass die Kopfverlagerungsdaten eine vorherbestimmte Grenzverlagerung überschreiten,dadurch gekennzeichnet, dassder Prozessor (3) weiterhin dazu konfiguriert ist, Fahreraktivitätscharakteristika (222), die eine Historie der Bewegung des Kopfes des Fahrers angeben, gemäß den Kopfhaltungsangaben (218) zu bestimmen.

Description

  • TECHNISCHES GEBIET
  • Gesichtspunkte der Offenbarung betreffen allgemein eine Kopfhaltungs- und Aktivitätseinschätzung, die unter Verwendung eines am Kopf angebrachten Anzeigegeräts, das von einem Fahrzeugführer getragen wird, durchgeführt wird.
  • HINTERGRUND
  • Es kann von einem Fahrer erfordert werden, dass er seinen Blick auf die Straße und auf verschiedene Anzeigen oder Kontrollen des Fahrzeugs konzentriert. Inhalte wie Infotainment, Telefon-Integration, Sicherheitswarnungen, Navigationsanzeigen und Fahreffizienz können beispielsweise auf verschiedenen Anzeigebildschirmen überall im Innenraum angezeigt werden. In einigen Fällen kann der Fahrer müde werden und blickt möglicherweise nicht auf die Straße oder auf die Anzeigen des Fahrzeugs, die Informationen bereitstellen, die für den Fahrer nützlich sein würden.
  • In der Druckschrift DE 10 2014 206 626 A1 wird ein System zum Erfassen von Kopfhaltungsangaben eines Fahrers eines Fahrzeugs beschrieben, in dem Messungen von Bewegungssensoren einer Datenbrille erfasst werden. Auf der Basis der entsprechenden Daten werden Bewegungsmuster erkannt, die insbesondere Müdigkeit und Schlafen eines Fahrers repräsentieren.
  • Weitere Druckschriften zum Hintergrund der vorliegenden Erfindung sind die US 2014 / 0 247 286 A1 , US 2011 / 0 121 976 A1 und US 2012 / 0 139 816 A1 .
  • KURZDARSTELLUNG
  • Ein System beinhaltet einen Prozessor, der dazu konfiguriert ist, Kopfhaltungsangaben zu empfangen, die gemäß Bewegungsdaten von einem Bewegungssensor einer optischen, am Kopf angebrachten Anzeige, die von einem Fahrzeugführer getragen wird, bestimmt wurden, gemäß den Kopfhaltungsangaben Fahreraktivitätscharakteristika, die eine Historie der Bewegung des Kopfes des Fahrers angeben, zu bestimmen und die Fahreraktivitätscharakteristika an ein Fahreraufmerksamkeitsfahrzeugsystem zu senden, das dazu konfiguriert ist, eine Fahrerbenachrichtigung auf der Basis der Fahreraktivitätscharakteristika anzupassen.
  • Der Prozessor ist weiterhin dazu konfiguriert, rohe Bewegungsdaten von einem Bewegungssensor einer optischen, am Kopf angebrachten Anzeige, die an einem Kopf eines Fahrzeugführers getragen wird, zu empfangen, Kopfgeschwindigkeitsdaten auf der Basis der rohen Bewegungsdaten zu berechnen, Kopfverlagerungsdaten auf der Basis der Kopfgeschwindigkeitsdaten zu berechnen und Kopfhaltungsangaben, die eine Kopfpositionierung angeben, bei Bestimmen, dass die Kopfverlagerungsdaten eine vorherbestimmte Grenzverlagerung überschreiten, zu aktualisieren.
  • Der Prozessor ist weiterhin dazu konfiguriert, Bewegungsdaten von einem Bewegungssensor einer optischen, am Kopf angebrachten Anzeige, die an einem Kopf eines Fahrzeugführers getragen wird, zu empfangen, Kopfhaltungsangaben, die gemäß den Bewegungsdaten bestimmt werden, zu bestimmen, gemäß den Kopfhaltungsangaben Fahreraktivitätscharakteristika, die eine Historie der Bewegung des Kopfes angeben, zu bestimmen und eine Anzeige von Inhalten, die in der optischen, am Kopf angebrachten Anzeige bereitgestellt sind, gemäß den Fahreraktivitätscharakteristika anzupassen.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
    • 1 stellt eine beispielhafte Blocktopologie für ein fahrzeugbasiertes Datenverarbeitungssystem für ein Fahrzeug dar;
    • 2 stellt ein beispielhaftes Blockdiagramm eines Systems zur Kopfhaltungseinschätzung und Aktivitätsverfolgung dar;
    • 3 stellt ein beispielhaftes Kopfhaltungs- und Koordinatensystem dar, das von dem Bewegungssensor der optischen, am Kopf angebrachten Anzeige verwendet werden kann;
    • 4 stellt ein Beispiel von rohen Bewegungsdaten von einem dreiachsigen Beschleunigungsmesser für den Bewegungssensor der optischen, am Kopf angebrachten Anzeige dar;
    • 5 stellt einen beispielhaften Vorgang zur Kopfhaltungseinschätzung eines Fahrers dar, der die optische, am Kopf angebrachte Anzeige trägt;
    • 6 stellt eine beispielhafte Kopfhaltungseinschätzung in der X-Achse dar;
    • 7 stellt eine beispielhafte Kopfhaltungseinschätzung in der Y-Achse dar;
    • 8 stellt eine beispielhafte Kopfhaltungseinschätzung in der Z-Achse dar und
    • 9 stellt einen beispielhaften Vorgang zur Verwendung einer Kopfhaltungseinschätzung, die gemäß dem Bewegungssensor der optischen, am Kopf angebrachten Anzeige bestimmt wurde, dar, um Systeme des Fahrzeugs über den Status des Fahrers zu informieren.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Detaillierte Ausführungsformen der vorliegenden Erfindung sind erforderlichenfalls hierin offenbart; es versteht sich jedoch, dass die offenbarten Ausführungsformen lediglich beispielhaft für die Erfindung sind, die in verschiedenen und alternativen Formen verkörpert werden kann. Die Figuren sind nicht unbedingt maßstabsgetreu; einige Merkmale können übertrieben oder minimiert sein, um Einzelheiten bestimmter Komponenten zu zeigen. Folglich sollten hierin offenbarte spezifische strukturelle und funktionelle Einzelheiten nicht als einschränkend betrachtet werden, sondern lediglich als eine repräsentative Grundlage, um einem Fachmann das verschiedenartige Einsetzen der vorliegenden Erfindung zu lehren.
  • Die Kopfposition eines Fahrers kann ein nützlicher Hinweis auf den Blick und den Zustand des Fahrzeugführers sein, da die Kopfhaltung des Fahrers dazu verwendet werden kann, die Fahrerblickrichtung abzuleiten. Somit kann ein Fahrzeugsystem die Kopfhaltung eines Fahrers als einen Maßstab für die Fahreraufmerksamkeitseinschätzung nutzen.
  • Das Fahrzeugsystem kann dazu konfiguriert sein, die Fahrerkopfhaltung mit nicht-intrusiven oder intrusiven Verfahren zu messen. Zu nicht-intrusiven Messtechniken können beispielsweise Innenraumkameras und Bildverarbeitung, die auf der Basis erfasster Bilder des Kopfes des Fahrers durchgeführt wird, zählen. Zu intrusiven Verfahren können beispielsweise am Kopf angebrachte Geräte, die dazu konfiguriert sind, die Ausrichtung oder Position des Kopfes des Fahrers direkter zu messen, zählen. Intrusive Verfahren zum Messen des Fahrerblicks können im Allgemeinen von Fahrern als unerwünscht angesehen werden. Allerdings kann für Fahrer, die von einer hereingebrachten optischen, am Kopf angebrachten Anzeige (optical head-mounted display, OHMD), wie einem Google-Glass-Gerät, das bereits von dem Fahrer getragen wird, Gebrauch machen, die OHMD von den Fahrzeugsystemen zur Kopfhaltungseinschätzung in Bezug auf Fahrzeugaufgaben genutzt werden.
  • Aktivitäten, die von dem Kopf des Fahrers durchgeführt werden (z. B. Nicken, häufiges Blicken über die Schulter usw.), können gemessen und von dem Fahrzeug als Eingaben in Vorgänge, wie einem Fahrerzustands- und Belastungseinschätzungssystem, genutzt werden. Diese Aktivitäten können dazu verwendet werden, den körperlichen Zustand des Fahrers (z. B. Schläfrigkeitsgrad) oder die Fahrerbelastung und das Fahrervorhaben (z. B. Spurwechsel) zu bestimmen. Als ein anderes Beispiel, wie in der US-Patentanmeldung Nr. 14/263,197 beschrieben, die hiermit durch Bezugnahme in ihrer Gesamtheit aufgenommen ist, können Aktivitäten, die von dem Kopf des Fahrers durchgeführt werden, dazu genutzt werden, ein Fahrzeug zu informieren, welche Inhalte auf welchen Fahrzeuganzeigen bereitgestellt werden sollen.
  • Die OHMD kann Bewegungssensoren (z. B. Beschleunigungsmesser, Gyroskop) beinhalten, die das Fahrzeugsystem dazu nutzen kann, Informationen zum Einschätzen der Kopfhaltung und der Fahreraktivität bereitzustellen. In einem Beispiel kann das Fahrzeugsystem einen dreiachsigen Beschleunigungsmesser der OHMD dazu nutzen, die Bewegung der OHMD, die an dem Kopf des Fahrers angebracht ist, zu überwachen (im Fall von Google Glass z. B. befindet sich der Bewegungssensor an der rechten Ecke des Geräts). Die gemessene Beschleunigung kann dann in die Drehbewegung umgewandelt und dazu verwendet werden, die Fahrerkopfhaltung einzuschätzen. In einem anderen Beispiel kann das Fahrzeugsystem das Gyroskop der OHMD dazu nutzen, die Drehbewegung des Fahrerkopfes direkter zu messen. Des Weiteren kann die Fahrerkopfhaltungs- und - richtungseinschätzung bestimmt werden, indem Softwaresensoren genutzt werden, die von den Beschleunigungsmesser- und Gyroskopsensoren abgeleitet sind.
  • Das Fahrzeugsystem kann dazu konfiguriert sein, die Kopfhaltung und die Aktivität des Fahrers einzuschätzen, indem eine Verbindung mit einer hereingebrachten OHMD des Fahrers hergestellt wird. Dies kann dementsprechend dem Fahrzeugsystem ermöglichen, die Fahrereinschätzung durchzuführen, ohne dass erforderlich ist, dass das Fahrzeug nicht-intrusive Messgeräte einbindet, oder in Kombination mit anderen nicht-intrusiven Messgeräten als eine Zusatzmessung.
  • 1 stellt eine beispielhafte Blocktopologie für ein fahrzeugbasiertes Datenverarbeitungssystem 1 (vehicle-based computing system, VCS) für ein Fahrzeug 31 dar. Ein Beispiel eines derartigen fahrzeugbasierten Datenverarbeitungssystems 1 ist das von THE FORD MOTOR COMPANY hergestellte SYNC-System. Ein Fahrzeug, das mit einem fahrzeugbasierten Datenverarbeitungssystem ausgestattet ist, kann eine visuelle Front-End-Oberfläche 4 enthalten, die sich in dem Fahrzeug befindet. Der Benutzer kann auch dazu in der Lage sein, mit der Oberfläche zu interagieren, wenn sie beispielsweise mit einem Berührungsbildschirm versehen ist. In einer anderen veranschaulichenden Ausführungsform erfolgt die Interaktion durch Tastendrücke, ein natürlichsprachliches Dialogsystem mit automatischer Spracherkennung und Sprachsynthese.
  • In der in 1 gezeigten veranschaulichenden Ausführungsform steuert ein Prozessor 3 zumindest einen Teil des Betriebs des fahrzeugbasierten Datenverarbeitungssystems. Der in dem Fahrzeug vorgesehene Prozessor ermöglicht die Bordverarbeitung von Befehlen und Routinen. Des Weiteren ist der Prozessor mit sowohl einem nichtpermanenten Speicher 5 als auch einem permanenten Speicher 7 verbunden. In dieser veranschaulichenden Ausführungsform ist der nichtpermanente Speicher ein Direktzugriffsspeicher (random access memory, RAM) und der permanente Speicher ist ein Festplattenlaufwerk (hard disk drive, HDD) oder Flash-Speicher. Im Allgemeinen kann ein permanenter (nicht vergänglicher) Speicher alle Speicherformen beinhalten, die Daten pflegen, wenn ein Computer oder anderes Gerät abgeschaltet wird. Diese beinhalten HDD, CD, DVD, Magnetbänder, Halbleiterlaufwerke, tragbare USB-Laufwerke und eine beliebige andere geeignete Form eines permanenten Speichers, sind jedoch nicht darauf beschränkt.
  • Der Prozessor ist außerdem mit einer Reihe unterschiedlicher Eingänge versehen, die dem Benutzer ermöglichen, eine Verbindung mit dem Prozessor herzustellen. In dieser veranschaulichenden Ausführungsform sind ein Mikrofon 29, ein Hilfseingang 25 (für Eingang 33), ein USB-Eingang 23, ein GPS-Eingang 24, ein Bildschirm 4, bei dem es sich um eine Touchscreen-Anzeige handeln kann, und ein BLUETOOTH-Eingang 15 alle vorgesehen. Ein Eingangswähler 51 ist ebenfalls vorgesehen, um einem Benutzer zu ermöglichen, zwischen verschiedenen Eingängen zu wechseln. Eine Eingabe in sowohl das Mikrofon als auch den Hilfsanschluss wird durch einen Wandler 27 von analog in digital umgewandelt, bevor sie an den Prozessor geleitet wird. Obwohl nicht gezeigt, können zahlreiche der Fahrzeugkomponenten und Hilfskomponenten in Kommunikation mit dem VCS ein Fahrzeugnetz (wie einen CAN-BUS, jedoch nicht darauf beschränkt) dazu verwenden, Daten an das und von dem VCS (oder Komponenten davon) zu leiten.
  • Ausgänge zu dem System können eine optische Anzeige 4 und einen Lautsprecher 13 oder einen Stereosystemausgang beinhalten, sind jedoch nicht darauf beschränkt. Der Lautsprecher ist mit einem Verstärker 11 verbunden und empfängt sein Signal von dem Prozessor 3 durch einen Digital-Analog-Wandler 9. Eine Ausgabe kann auch zu einem entfernten BLUETOOTH-Gerät, wie einem PND 54, oder einem USB-Gerät, wie einem Fahrzeugnavigationsgerät 60, entlang der bidirektionalen Datenströme, die bei 19 bzw. 21 gezeigt sind, erfolgen.
  • In einer veranschaulichenden Ausführungsform verwendet das System 1 den BLUETOOTH-Transceiver 15, um mit einem nomadischen Gerät 53 des Benutzers (z. B. einem Mobiltelefon, Smartphone, PDA oder beliebigen anderen Gerät mit drahtloser Remote-Netzkonnektivität) zu kommunizieren 17. Das nomadische Gerät kann dann dazu verwendet werden, mit einem Netz 61 außerhalb des Fahrzeugs 31 durch beispielsweise eine Kommunikation 55 mit einem Mobilfunkmast 57 zu kommunizieren 59. In einigen Ausführungsformen kann der Mast 57 ein WiFi-Zugangspunkt sein.
  • Eine beispielhafte Kommunikation zwischen dem nomadischen Gerät und dem BLUETOOTH-Transceiver ist durch ein Signal 14 dargestellt.
  • Das Verbinden (Paaren) eines nomadischen Geräts 53 und des BLUETOOTH-Transceivers 15 kann durch eine Taste 52 oder eine ähnliche Eingabe angewiesen werden. Dementsprechend wird der CPU angewiesen, dass der Bord-BLUETOOTH-Transceiver mit einem BLUETOOTH-Transceiver in einem nomadischen Gerät verbunden wird.
  • Daten können zwischen dem CPU 3 und dem Netz 61 unter Nutzung von beispielsweise einem Datenplan, Data-over-Voice oder DTMF-Tönen, die mit dem nomadischen Gerät 53 assoziiert sind, übermittelt werden. Alternativ dazu kann es wünschenswert sein, ein Bordmodem 63 mit einer Antenne 18 zu integrieren, um Daten zwischen dem CPU 3 und dem Netz 61 über das Sprachband zu übermitteln 16. Das nomadische Gerät 53 kann dann dazu verwendet werden, mit einem Netz 61 außerhalb des Fahrzeugs 31 durch beispielsweise eine Kommunikation 55 mit einem Mobilfunkmast 57 zu kommunizieren 59. In einigen Ausführungsformen kann das Modem 63 eine Kommunikation 20 mit dem Mast 57 zum Kommunizieren mit dem Netz 61 herstellen. Als ein nicht einschränkendes Beispiel kann das Modem 63 ein USB-Mobilfunkmodem sein und die Kommunikation 20 kann eine Mobilfunkkommunikation sein.
  • In einer veranschaulichenden Ausführungsform ist der Prozessor mit einem Betriebssystem versehen, das eine API beinhaltet, um mit Modemanwendungssoftware zu kommunizieren. Die Modemanwendungssoftware kann auf ein eingebettetes Modul oder Firmware auf dem BLUETOOTH-Transceiver zugreifen, um eine drahtlose Kommunikation mit einem entfernten BLUETOOTH-Transceiver (wie dem in einem nomadischen Gerät vorgefundenen) abzuschließen. Bluetooth ist eine Untermenge der IEEE-802-PAN-Protokolle (PAN = personal area network, persönliches Netz). IEEE-802-LAN-Protokolle (LAN = local area network, lokales Netz) beinhalten WiFi und haben eine beträchtliche Kreuzfunktionalität mit IEEE 802 PAN. Beide sind für eine drahtlose Kommunikation innerhalb eines Fahrzeugs geeignet. Andere Kommunikationsmittel, die in diesem Gebiet verwendet werden können, sind eine optische Freiraumkommunikation (wie IrDA) und nicht standardisierte Verbraucher-IR-Protokolle.
  • In einer anderen Ausführungsform beinhaltet das nomadische Gerät 53 ein Modem für Sprachband- oder Breitbanddatenkommunikation. In der Data-over-Voice-Ausführungsform kann eine Technik, die als Frequenzmultiplexen bekannt ist, implementiert werden, wobei der Besitzer des nomadischen Geräts über das Gerät sprechen kann, während Daten übertragen werden. Zu anderen Zeitpunkten, wenn der Besitzer das Gerät nicht verwendet, kann der Datentransfer die gesamte Bandbreite (in einem Beispiel 300 Hz bis 3,4 kHz) verwenden. Obgleich Frequenzmultiplexen für analoge Mobilfunkkommunikation zwischen dem Fahrzeug und dem Internet üblich sein mag und immer noch verwendet wird, wurde es weitgehend durch Hybride von Mehrfachzugriff im Codebereich (Code Domain Multiple Access, CDMA), Mehrfachzugriff im Zeitbereich (Time Domain Multiple Access, TDMA), Mehrfachzugriff im Raumbereich (Space Domain Multiple Access, SDMA) für digitale Mobilfunkkommunikation ersetzt. Dies sind alles ITU-IMT-2000-konforme (3G-konforme) Standards und sie bieten Datenübertragungsgeschwindigkeiten von bis zu 2 MB/s für stationäre oder gehende Benutzer und 385 KB/s für Benutzer in einem sich bewegenden Fahrzeug. 3G-Standards werden jetzt durch IMT-Advanced (4G) ersetzt, das 100 MB/s für Benutzer in einem Fahrzeug und 1 GB/s für stationäre Benutzer bietet. Wenn der Benutzer einen Datenplan hat, der mit dem nomadischen Gerät assoziiert ist, ist es möglich, dass der Datenplan eine Breitbandübertragung zulässt, und das System könnte eine viel weitere Bandbreite verwenden (wodurch die Datenübertragung beschleunigt wird). In noch einer anderen Ausführungsform wird das nomadische Gerät 53 durch ein Mobilfunkkommunikationsgerät (nicht gezeigt) ersetzt, das an dem Fahrzeug 31 installiert ist. In noch einer anderen Ausführungsform kann das NG 53 ein drahtloses LAN-Gerät sein (LAN = local area network, lokales Netz), das zur Kommunikation über beispielsweise (und ohne Einschränkung) ein 802.11 g-Netz (d. h. WiFi) oder ein WiMax-Netz fähig ist.
  • In einer Ausführungsform können eingehende Daten durch das nomadische Gerät über eine Data-over-Voice-Verbindung oder einen Datenplan, durch den Bord-BLUETOOTH-Transceiver und in den internen Prozessor 3 des Fahrzeugs geleitet werden. Im Fall bestimmter temporärer Daten beispielsweise können die Daten auf dem HDD oder einem anderen Speichermedium 7 gespeichert werden, bis zu einem Zeitpunkt, zu dem die Daten nicht mehr benötigt werden.
  • Zu zusätzlichen Quellen, die eine Verbindung mit dem Fahrzeug herstellen können, zählen ein persönliches Navigationsgerät 54 mit beispielsweise einer USB-Verbindung 56 und/oder einer Antenne 58, ein Fahrzeugnavigationsgerät 60 mit einer USB-Verbindung 62 oder einer anderen Verbindung, ein Bord-GPS-Gerät 24 oder ein entferntes Navigationssystem (nicht gezeigt) mit Konnektivität zu dem Netz 61. USB ist eines einer Klasse von seriellen Vernetzungsprotokollen. IEEE 1394 (FireWireTM (Apple), i.LINKTM (Sony) und LynxTM (Texas Instruments)), serielle Protokolle der EIA (Electronics Industry Association), IEEE 1284 (Centronics-Port), S/PDIF (Sony/Philips Digital Interconnect Format) und USB-IF (USB Implementers Forum) bilden das Gerüst der seriellen Gerät-zu-Gerät-Standards. Die meisten der Protokolle können für entweder elektrische oder optische Kommunikation implementiert werden.
  • Des Weiteren könnte der CPU in Kommunikation mit einer Vielfalt von anderen Hilfsgeräten 65 stehen. Diese Geräte können durch eine drahtlose Verbindung 67 oder eine drahtgebundene Verbindung 69 verbunden werden. Das Hilfsgerät 65 kann persönliche Media-Player, drahtlose Gesundheitsgeräte, tragbare Computer und dergleichen beinhalten, ist jedoch nicht darauf beschränkt.
  • Zudem oder alternativ dazu könnte der CPU mit einem fahrzeugbasierten drahtlosen Router 73 unter Verwendung beispielsweise eines WiFi-Transceivers (IEEE-803.11-Transceivers) 71 verbunden sein. Dies könnte dem CPU ermöglichen, sich mit Remote-Netzen im Bereich des lokalen Routers 73 zu verbinden.
  • Zusätzlich zu beispielhaften Vorgängen, die von einem Fahrzeugdatenverarbeitungssystem ausgeführt werden, das sich in einem Fahrzeug befindet, können die beispielhaften Vorgänge in bestimmten Ausführungsformen von einem Datenverarbeitungssystem in Kommunikation mit einem Fahrzeugdatenverarbeitungssystem ausgeführt werden. Ein derartiges System kann ein drahtloses Gerät (z. B. und ohne Einschränkung ein Mobiltelefon) oder ein entferntes Datenverarbeitungssystem (z. B. und ohne Einschränkung ein Server), das durch das drahtlose Gerät verbunden ist, beinhalten, ist jedoch nicht darauf beschränkt. Zusammengefasst können derartige Systeme als mit einem Fahrzeug assoziierte Datenverarbeitungssysteme (vehicle-associated computing systems, VACS) bezeichnet werden. In bestimmten Ausführungsformen können bestimmte Komponenten des VACS bestimmte Teile eines Vorgangs in Abhängigkeit von der bestimmten Implementierung des Systems durchführen. Beispielhaft und nicht einschränkend, wenn ein Vorgang einen Schritt des Sendens oder Empfangens von Informationen mit einem verbundenen (gepaarten) drahtlosen Gerät aufweist, ist es wahrscheinlich, dass das drahtlose Gerät nicht den Vorgang durchführt, da das drahtlose Gerät Informationen nicht sich selbst bzw. von sich selbst „senden und empfangen“ würde. Ein Durchschnittsfachmann wird verstehen, wann es unangebracht ist, ein bestimmtes VACS für eine gegebene Lösung anzuwenden. In allen Lösungen wird in Erwägung gezogen, dass zumindest das Fahrzeugdatenverarbeitungssystem (vehicle computing system, VCS), das sich in dem Fahrzeug selbst befindet, die beispielhaften Vorgänge durchführen kann.
  • 2 stellt ein beispielhaftes Blockdiagramm 200 eines Systems zur Kopfhaltungseinschätzung und Aktivitätsverfolgung dar. Die Module des beispielhaften Systems können durch einen oder mehrere Prozessoren oder Mikroprozessoren des Fahrzeugs 31 (wie den CPU 3 des VCS 1) umgesetzt werden, die dazu konfiguriert sind, Firmware- oder Softwareprogramme auszuführen, die auf einem oder mehreren Speichergeräten des Fahrzeugs 31 (wie den Speichern 5 und 7) gespeichert sind. Wie dargestellt, beinhaltet das System eine OHMD 202 in Kommunikation mit einem Verfolgungsmodul 210. Die OHMD 202 kann eine oder mehrere Anzeigen 204 zum Bereitstellen von Informationen an einen Träger der OHMD 202 und einen oder mehrere Bewegungssensoren 206 zum Verfolgen von Bewegungen des Trägers beinhalten. Das Verfolgungsmodul 210 kann ein Signalverarbeitungsmodul 212, das dazu konfiguriert ist, rohe Bewegungsdaten 208, die von den Bewegungssensoren 206 erfasst wurden, zu verarbeiteten Bewegungsdaten 214 zu verarbeiten, ein Kopfhaltungseinschätzermodul 216, das dazu konfiguriert ist, die verarbeiteten Bewegungsdaten 214 zu empfangen und Kopfhaltungsangaben 218 zu bestimmen, und ein Kopfaktivitätsverfolgungsmodul 220 beinhalten, das dazu konfiguriert ist, die Kopfhaltungsangaben 218 zu empfangen und den Blick des Fahrers zu verfolgen, um Fahreraktivitätscharakteristika 222 zu bestimmen. Das System kann ein oder mehrere zusätzliche Fahreraufmerksamkeitsfahrzeugsysteme 224 beinhalten, die dazu konfiguriert sind, die Fahreraktivitätscharakteristika 222 zu nutzen, wie ein individuell angepasstes Inhaltanzeigemodul 226, ein Verkehrsflusserinnerungsmodul 228, ein Belastungseinschätzermodul 230 und ein Fahrerschläfrigkeitsmodul 232 als einige Beispiele. Es sollte beachtet werden, dass die in dem Diagramm 200 dargestellte Modularisierung beispielhaft ist und andere Anordnungen oder Kombinationen von Elementen, die mehr, weniger oder anders getrennte Module beinhalten, verwendet werden können.
  • Die OHMD 202 kann eines von verschiedenen Typen eines tragbaren Geräts sein, das dazu konfiguriert ist, von einem Benutzer getragen zu werden, um erweiterte Realitätsinformationen bereitzustellen. In vielen Fällen kann die OHMD 202 ein hereingebrachtes Gerät sein, was bedeutet, dass die OHMD 202 von dem Träger des Geräts (z. B. dem Fahrer des Fahrzeugs 31) in das Fahrzeug hereingebracht wird. In einem Beispiel kann die OHMD 202 ein Google-Glass-Gerät sein, das von dem Fahrer des Fahrzeugs 31 betätigt wird.
  • Die OHMD 202 kann eine oder mehrere Anzeigen 204 beinhalten, die dazu konfiguriert sind, projizierte Bilder wiederzugeben sowie dem Träger zu ermöglichen, durch sie hindurch zu sehen. Die OHMD 202 kann weiterhin einen oder mehrere Bewegungssensoren 206 beinhalten (z. B. um der OHMD 202 zu ermöglichen, Informationen in den Anzeigen 204 bereitzustellen, die sich gemäß den Bewegungen des Trägers anpassen). Die Bewegungssensoren 206 können beispielsweise Beschleunigungsmessersensoren oder Gyroskopsensoren beinhalten. In einem Beispiel kann die OHMD 202 einen dreiachsigen Beschleunigungsmesser-Bewegungssensor 206 beinhalten, um die Bewegung des Kopfes des Trägers in drei Dimensionen zu überwachen. In einem anderen Beispiel kann die OHMD 202 die Gyroskop-Bewegungssensoren 206 dazu nutzen, eine Drehbewegung des Kopfes des Trägers direkter als durch Messen der Beschleunigung zu messen.
  • Die rohen Bewegungsdaten 208 können Signale beinhalten, die von den Bewegungssensoren 206 der OHMD 202 empfangen wurden. In einigen Beispielen können die rohen Bewegungsdaten 208 in der Form von Beschleunigungsmessungen sein, die in Meter pro Sekundenquadrat (m/s2) bereitgestellt werden, obwohl andere Einheitsdatenformate möglich sind. Die rohen Bewegungsdaten 208 können Rauschen aufgrund kleiner Bewegungen des Trägers beinhalten. Die rohen Bewegungsdaten 208 können auch erhebliche Verzerrungen (z. B. eine Verzerrung der Fallbeschleunigung in der Y-Achse nach unten) beinhalten.
  • Das Verfolgungsmodul 210 kann dazu konfiguriert sein, die rohen Bewegungsdaten 208 von der OHMD 202 zu empfangen und die rohen Bewegungsdaten 208 zur Kopfhaltungseinschätzung und Aktivitätsverfolgung zu nutzen. Um die rohen Bewegungsdaten 208 zu empfangen, kann das Verfolgungsmodul 210 dazu konfiguriert sein, sich mit der OHMD 202 zu verbinden, und nach Herstellung der Verbindung die OHMD 202 nach Daten abzufragen und/oder periodische Aktualisierungen von der OHMD 202 über die Verbindung zu empfangen. In einem Beispiel kann die Verbindung zwischen dem Verfolgungsmodul 210 und der OHMD 202 über eine BLUETOOTH-Verbindung zwischen der OHMD 202 und dem BLUETOOTH-Transceiver 15 des VCS 1 des Fahrzeugs 31 sein, obwohl andere Konfigurationen möglich sind.
  • Das Signalverarbeitungsmodul 212 des Verfolgungsmoduls 210 kann dazu konfiguriert sein, die rohen Bewegungsdaten 208, die von den Bewegungssensoren 206 erfasst wurden, zur Verwendung durch das Verfolgungsmodul 210 bei der Kopfhaltungseinschätzung und Aktivitätsverfolgung zu verarbeiten. Das Signalverarbeitungsmodul 212 kann beispielsweise dazu konfiguriert sein, die rohen Bewegungsdaten 208 zu filtern, um Verlagerungen zu erhalten und ein Driften zu entfernen. Die rohen Bewegungsdaten 208, wie von dem Signalverarbeitungsmodul 212 verarbeitet, können als verarbeitete Bewegungsdaten 214 bezeichnet werden. Die verarbeiteten Bewegungsdaten 214 können dementsprechend Verlagerungsdaten in Bezug auf die gemessene Bewegung des Kopfes des Trägers beinhalten.
  • Das Kopfhaltungseinschätzermodul 216 kann dazu konfiguriert sein, die verarbeiteten Bewegungsdaten 214 von dem Signalverarbeitungsmodul 212 zu empfangen und Informationen in Bezug auf den Träger auf der Basis der empfangenen verarbeiteten Bewegungsdaten 214 zu bestimmen. In einem Beispiel kann das Kopfhaltungseinschätzermodul 216 dementsprechend die verarbeiteten Bewegungsdaten 214 dazu nutzen, die Position und die Bewegung des Kopfes des Trägers, wie Drehungen des Kopfes, einzuschätzen.
  • Auf der Basis der verarbeiteten Bewegungsdaten 214 kann das Kopfhaltungseinschätzermodul 216 dazu konfiguriert sein, eine Kopfhaltungsangabe 218 zu bestimmen. Als ein Beispiel kann die Kopfhaltungsangabe 218 eine Angabe der Kopfposition entlang der X-Achse beinhalten (z. B. ob der Kopf positioniert ist, um nach links, nach rechts oder in die Mitte zu sehen). Zusätzlich oder alternativ dazu kann die Kopfhaltungsangabe 218 eine Angabe der Kopfposition entlang der Y-Achse beinhalten (z. B. ob der Kopf nach oben, mittig oder nach unten positioniert ist). Zusätzlich oder alternativ dazu kann die Kopfhaltungsangabe 218 eine Angabe der Kopfposition entlang der Z-Achse beinhalten (z. B. ob der Kopf nach vorne, mittig oder nach hinten positioniert ist). Das Kopfhaltungseinschätzermodul 216 kann weiterhin dazu konfiguriert sein, Grenzwerte zu nutzen, die dazu eingestellt sind, die Grenzwerte zu definieren, für die die Kopfhaltungsangaben 218 identifiziert werden können (z. B. Winkel, bei denen von einem Fahrer bestimmt wird, dass er nach links, nach rechts, nach oben oder nach unten sieht).
  • In einigen Fällen kann das Kopfhaltungseinschätzermodul 216 weiterhin zusätzliche Daten zur Verwendung beim Bestimmen der Kopfhaltungsangaben 218 berücksichtigen. In einem Beispiel kann das Kopfhaltungseinschätzermodul 216 weiterhin Daten von nicht-intrusiven Messtechniken empfangen, wie Innenraumkameras und Bildverarbeitung, die auf der Basis erfasster Bilder des Kopfes des Fahrers durchgeführt wird.
  • Das Kopfaktivitätsverfolgungsmodul 220 kann dazu konfiguriert sein, die Kopfhaltungsangaben 218 zu empfangen und den Blick des Fahrers zu verfolgen, um Fahreraktivitätscharakteristika 222 zu bestimmen. Die Fahreraktivitätscharakteristika 222 können beispielsweise die Häufigkeit und/oder das Ausmaß der Fahrerkopfbewegungen beinhalten. Da die Fahreraktivitätscharakteristika 222 eine Angabe der Bewegungen des Kopfes des Fahrers im Zeitablauf bereitstellen können, können die Fahreraktivitätscharakteristika 222 dazu genutzt werden, eine Bestimmung des körperlichen Zustands oder der Belastung des Fahrers zu unterstützen.
  • Das Verfolgungsmodul 210 kann dazu konfiguriert sein, die Kopfhaltungsangaben 218 und die Fahreraktivitätscharakteristika 222 verschiedenen Fahreraufmerksamkeitsfahrzeugsystemen 224 bereitzustellen. Die Fahreraufmerksamkeitsfahrzeugsysteme 224 können verschiedene Systeme des Fahrzeugs 31 beinhalten, die dazu konfiguriert sind, ihren Betrieb auf der Basis der Fahreraktivitätscharakteristika anzupassen. Als ein Beispiel kann das Verfolgungsmodul 210 dazu konfiguriert sein, die Kopfhaltungsangaben 218 als eine Eingabe in ein individuell angepasstes Inhaltanzeigemodul 226 bereitzustellen, um eine Fahrerblickbestimmung zu informieren (z. B. eine Fahrerblickrichtung abzuleiten), um zu identifizieren, welche Anzeigen des Fahrzeugs 31 welche Inhalte des Fahrzeugs 31 beinhalten sollten. Als ein anderes Beispiel können die Kopfhaltungsangaben 218 und die Fahreraktivitätscharakteristika 222 als eine Eingabe in ein Verkehrsflusserinnerungsmodul 228 genutzt werden, um die Bestimmung von Verkehrsflusserinnerungen für einen Fahrer zu unterstützen. Als noch ein weiteres Beispiel können die Kopfhaltungsangaben 218 und die Fahreraktivitätscharakteristika 222 als eine zusätzliche Eingabe in ein Belastungseinschätzermodul 230 genutzt werden, um dem Belastungseinschätzermodul 230 zu ermöglichen, eine potentiell erhöhte Fahrerbelastung zu berücksichtigen, die durch vermehrte oder bestimmte Kopfbewegungen nahe gelegt werden kann. Als noch ein anderes Beispiel können die Kopfhaltungsangaben 218 und die Fahreraktivitätscharakteristika 222 als eine zusätzliche Eingabe in ein Fahrerschläfrigkeitsmodul 232 genutzt werden, um die Berücksichtigung der Häufigkeit einer Auf- und Abbewegung des Kopfes des Fahrers (z. B. Einnicken) im Vergleich zu einem vorherdefinierten Grenzwert, der eine wahrscheinliche Fahrerschläfrigkeit angibt, zu ermöglichen.
  • 3 stellt ein beispielhaftes Kopfhaltungs- und Koordinatensystem 300 dar, das von dem Bewegungssensor 206 der OHMD 202 verwendet werden kann. Wie dargestellt, kann die X-Achse sich auf das Drehen des Kopfes des Trägers von einer Seite zur anderen beziehen, die Y-Achse kann sich auf die Aufwärts- und Abwärtsbewegung des Kopfes des Trägers beziehen und die Z-Achse kann sich auf die Vorwärts- und Rückwärtsneigung des Kopfes des Trägers beziehen. Es sollte beachtet werden, dass das dargestellte Koordinatensystem lediglich ein Beispiel ist und andere Koordinatensysteme verwendet werden können.
  • 4 stellt ein Beispiel 400 von rohen Bewegungsdaten 208 von einem dreiachsigen Beschleunigungsmesser für den Bewegungssensor 206 der OHMD 202 dar. Die rohen Bewegungsdaten sind in den oben erörterten Daten des beispielhaften Kopfhaltungs- und Koordinatensystems 300 dargestellt, die grafisch dargestellte Daten 402-A in der X-Achse, grafisch dargestellte Daten 402-B in der Y-Achse und grafisch dargestellte Daten 402-C in der Z-Achse (zusammengenommen grafisch dargestellte Daten 402) beinhalten. In Bezug auf den Inhalt der grafisch dargestellten Daten 402 stellen die rohen Bewegungsdaten 208 eine Abfolge einer Kopfbewegung in dem Koordinatensystem 300 dar, die einen Blick nach links, gefolgt von einem Blick nach rechts unten, gefolgt von einem Blick nach rechts beinhaltet. Wie in den grafisch dargestellten Daten 402-C dargestellt, beinhalten die rohen Bewegungsdaten 208 eine verhältnismäßig erhebliche Verzerrung der Beschleunigung nach unten in der Y-Achse aufgrund der Einwirkung der Schwerkraft.
  • 5 stellt einen beispielhaften Vorgang 500 zur Kopfhaltungseinschätzung eines Fahrers dar, der die OHMD 202 trägt. Der Vorgang 500 kann beispielsweise durch das Verfolgungsmodul 210 eines Fahrzeugs 31 in Kommunikation mit einer OHMD 202, die von einem Fahrer des Fahrzeugs 31 hereingebracht wurde und getragen wird, durchgeführt werden.
  • In Arbeitsschritt 502 empfängt das Verfolgungsmodul 210 rohe Bewegungsdaten 208. Das Verfolgungsmodul 210 kann beispielsweise rohe Bewegungsdaten 208 von der OHMD 202 empfangen. Eine Darstellung von rohen Musterbewegungsdaten 208 ist oben in den grafisch dargestellten Daten 402 von 4 gezeigt.
  • In Arbeitsschritt 504 passt das Verfolgungsmodul 210 die rohe Bewegungsdaten 208 hinsichtlich der Verzerrung an. Das Signalverarbeitungsmodul 212 des Verfolgungsmoduls 210 kann beispielsweise die rohen Bewegungsdaten 208 empfangen und eine Hochpassfilterung an den rohen Bewegungsdaten 208 durchführen. Die Hochpassfilterung kann beispielsweise durchgeführt werden, um eine Verzerrung nach unten der rohen Bewegungsdaten 208 in der Y-Achse aufgrund der Einwirkung der Schwerkraft zu entfernen. In einem Beispiel kann die Hochpassfilterung gemäß der Gleichung der folgenden Form modelliert werden: yi = a · (yi-1 + xi - xi-1), wobei x die Eingabe der rohen Bewegungsdaten 208 ist, y die gefilterte Ausgabe ist und α eine konfigurierbare Zeitkonstante in Bezug auf den Zeitraum der Integration ist.
  • In Arbeitsschritt 506 bestimmt das Verfolgungsmodul 210 Geschwindigkeitsinformationen aus den angepassten rohen Bewegungsdaten 208. Das Verfolgungsmodul 210 kann beispielsweise eine Integration der rohen Bewegungsdaten 208 im Zeitablauf durchführen, um die Geschwindigkeitsinformationen in Bezug auf die Bewegung des Trägers der OHMD 202 zu bestimmen.
  • In Arbeitsschritt 508 bestimmt das Verfolgungsmodul 210 Verlagerungsinformationen aus den Geschwindigkeitsinformationen, die in Arbeitsschritt 506 bestimmt wurden. Das Verfolgungsmodul 210 kann beispielsweise eine zweite Integration von Bewegungsdaten 208, die in Arbeitsschritt 506 integriert wurden, im Zeitablauf durchführen, um die Verlagerungsinformationen in Bezug auf die Bewegung des Trägers der OHMD 202 zu bestimmen.
  • In Arbeitsschritt 510 passt das Verfolgungsmodul 210 die Verlagerungsinformationen an, um ein Driften zu berücksichtigen. Das Verfolgungsmodul 210 kann beispielsweise eine zweite Hochpassfilterung an den rohen Bewegungsdaten 208 durchführen, ähnlich der oben in Arbeitsschritt 504 durchgeführten. Dementsprechend können die berechneten Verlagerungsinformationen dem Verfolgungsmodul 210 eine Schätzung der Bewegung des Trägers der OHMD 202 bereitstellen.
  • 6 stellt eine beispielhafte Kopfhaltungseinschätzung 600 in der X-Achse dar. Die Einschätzung 600 beinhaltet die grafisch dargestellten Daten 402-A der rohen Bewegungsdaten 208 von dem Bewegungssensor 206 der OHMD 202 in der X-Achse, zusammen mit den entsprechenden berechneten X-Achsen-Verlagerungsinformationen 602. Beachtenswerterweise stellen die berechneten X-Achsen-Verlagerungsinformationen 602 eine Gierbewegung (links und rechts) des Kopfes des Trägers der OHMD 202 dar.
  • 7 stellt eine beispielhafte Kopfhaltungseinschätzung 700 in der Y-Achse dar. Die Einschätzung 700 beinhaltet die grafisch dargestellten Daten 402-B der rohen Bewegungsdaten 208 von dem Bewegungssensor 206 der OHMD 202 in der Y-Achse, zusammen mit den entsprechenden berechneten Y-Achsen-Verlagerungsinformationen 702. Beachtenswerterweise stellen die berechneten Y-Achsen-Verlagerungsinformationen 702 eine Abwärtsbewegung des Kopfes des Trägers der OHMD 202 dar.
  • 8 stellt eine beispielhafte Kopfhaltungseinschätzung 800 in der Z-Achse dar. Die Einschätzung 800 beinhaltet die grafisch dargestellten Daten 402-C der rohen Bewegungsdaten 208 von dem Bewegungssensor 206 der OHMD 202 in der Z-Achse, zusammen mit den entsprechenden berechneten Z-Achsen-Verlagerungsinformationen 802. Beachtenswerterweise stellen die berechneten Z-Achsen-Verlagerungsinformationen 802 eine Vorwärtsbewegung des Kopfes des Trägers der OHMD 202 dar.
  • Wieder unter Bezugnahme auf den Vorgang 500 von 5 bestimmt das Verfolgungsmodul 210 in Arbeitsschritt 512, ob die gefilterten Verlagerungsinformationen einen vorherbestimmten Grenzwertumfang der Bewegung des Trägers überschreiten. Das Kopfhaltungseinschätzermodul 216 kann beispielsweise die Verlagerungen, die in Arbeitsschritt 510 bestimmt wurden, von dem Signalverarbeitungsmodul 212 empfangen und kann die Verlagerungen mit Grenzwerten vergleichen, die Veränderungen der aktuellen Kopfhaltung des Trägers der OHMD 202 angeben. In einem Beispiel kann das Kopfhaltungseinschätzermodul 216 Verlagerungen entlang einer X-Achse mit X-Achsen-Grenzwerten, Verlagerungen entlang einer Y-Achse mit Y-Achsen-Grenzwerten und Verlagerungen entlang einer Z-Achse mit Z-Achsen-Grenzwerten vergleichen. Wenn das Kopfhaltungseinschätzermodul 216 bestimmt, dass eine oder mehrere der Verlagerungen einen entsprechenden Grenzwert überschreiten, geht die Steuerung zu Arbeitsschritt 514 über. Andernfalls endet der Vorgang 500.
  • In Arbeitsschritt 514 aktualisiert das Verfolgungsmodul 210 die Kopfhaltungsangaben 218 des Trägers der OHMD 202. Als ein Beispiel kann das Kopfhaltungseinschätzermodul 216 eine oder mehrere Kopfhaltungsangaben 218 erzeugen, die eine oder mehrere der Verlagerungen angeben, die einen entsprechenden Grenzwert überschreiten. Unter Fortführung des Beispiels 400 von rohen Bewegungsdaten 208 von einem dreiachsigen Beschleunigungsmesser für den Bewegungssensor 206 der OHMD 202 kann das Kopfhaltungseinschätzermodul 216 beispielsweise Kopfhaltungsangaben 218 erzeugen, die einen Blick nach links, gefolgt von einem Blick nach rechts unten, gefolgt von einem Blick nach rechts angeben. Dementsprechend können die Verlagerungen, die in Arbeitsschritt 510 bestimmt wurden, von dem Kopfhaltungseinschätzermodul 216 dazu verwendet werden, die Kopfhaltungsangaben 218 zu bestimmen, die dazu verwendet werden können, die Kopfdrehbewegung einzuschätzen. Nach Arbeitsschritt 514 endet der Vorgang 500.
  • Variationen an dem Vorgang 500 sind möglich. Als ein Beispiel kann das Kopfhaltungseinschätzermodul 216 weiterhin zusätzliche Daten zur Verwendung beim Verbessern der Genauigkeit der Kopfhaltungsangaben 218 berücksichtigen. In einem Beispiel kann das Kopfhaltungseinschätzermodul 216 weiterhin Daten von nicht-intrusiven Messtechniken empfangen, wie Innenraumkameras und Bildverarbeitung, die auf der Basis erfasster Bilder des Kopfes des Fahrers durchgeführt wird, um die von der OHMD 202 empfangenen Daten zu erweitern.
  • 9 stellt einen beispielhaften Vorgang 900 zur Verwendung einer Kopfhaltungseinschätzung, die gemäß dem Bewegungssensor 206 der OHMD 202 bestimmt wurde, dar, um Systeme des Fahrzeugs 31 über den Status des Fahrers zu informieren. Der Vorgang 900 kann beispielsweise durch das Verfolgungsmodul 210 eines Fahrzeugs 31 in Kommunikation mit einem anderen System des Fahrzeugs 31, wie den Fahreraufmerksamkeitsfahrzeugsystemen 224, durchgeführt werden.
  • In Arbeitsschritt 902 empfängt das Verfolgungsmodul 210 die Kopfhaltungsangaben 218, die Bewegungen des Kopfes des Trägers der OHMD 202 angeben. In einem Beispiel können die Kopfhaltungsangaben 218 von dem Verfolgungsmodul 210 gemäß dem oben ausführlich erörterten Vorgang 500 bestimmt werden.
  • In Arbeitsschritt 904 verfolgt das Verfolgungsmodul 210 die Kopfhaltungsangaben 218, um Fahreraktivitätscharakteristika 222 zu bestimmen. Das Kopfaktivitätsverfolgungsmodul 220 kann beispielsweise auf der Basis einer Historie der empfangenen Kopfhaltungsangaben 218 Fahreraktivitätscharakteristika 222, wie Häufigkeit und/oder Ausmaß von Fahrerkopfbewegungen, bestimmen. Da die Fahreraktivitätscharakteristika 222 eine Angabe der Bewegungen des Kopfes des Fahrers im Zeitablauf bereitstellen können, können die Fahreraktivitätscharakteristika 222 dazu genutzt werden, eine Bestimmung des körperlichen Zustands oder der Belastung des Fahrers zu unterstützen.
  • In Arbeitsschritt 906 stellt das Verfolgungsmodul 210 die Fahreraktivitätscharakteristika 222 Fahreraufmerksamkeitsfahrzeugsystemen 224 bereit. Als ein Beispiel kann das Verfolgungsmodul 210 dazu konfiguriert sein, die Kopfhaltungsangaben 218 als eine Eingabe in ein individuell angepasstes Inhaltanzeigemodul 226 bereitzustellen, um eine Fahrerblickbestimmung zu informieren (z. B. eine Fahrerblickrichtung abzuleiten), um zu identifizieren, welche Anzeigen des Fahrzeugs 31 welche Inhalte des Fahrzeugs 31 beinhalten sollten. Als ein anderes Beispiel können die Kopfhaltungsangaben 218 und die Fahreraktivitätscharakteristika 222 als eine Eingabe in ein Verkehrsflusserinnerungsmodul 228 genutzt werden, um die Bestimmung von Verkehrsflusserinnerungen für einen Fahrer zu unterstützen. Als noch ein weiteres Beispiel können die Kopfhaltungsangaben 218 und die Fahreraktivitätscharakteristika 222 als eine zusätzliche Eingabe in ein Belastungseinschätzermodul 230 genutzt werden, um dem Belastungseinschätzermodul 230 zu ermöglichen, eine potentiell erhöhte Fahrerbelastung zu berücksichtigen, die durch vermehrte oder bestimmte Kopfbewegungen nahe gelegt werden kann. Als noch ein anderes Beispiel können die Kopfhaltungsangaben 218 und die Fahreraktivitätscharakteristika 222 als eine zusätzliche Eingabe in ein Fahrerschläfrigkeitsmodul 232 genutzt werden, um die Berücksichtigung der Häufigkeit einer Auf- und Abbewegung des Kopfes des Fahrers (z. B. Einnicken) im Vergleich zu einem vorherdefinierten Grenzwert, der eine wahrscheinliche Fahrerschläfrigkeit angibt, zu ermöglichen.
  • Obwohl beispielhafte Ausführungsformen oben beschrieben sind, ist nicht beabsichtigt, dass diese Ausführungsformen alle möglichen Formen der Erfindung beschreiben. Vielmehr sind die in der Spezifikation verwendeten Wörter beschreibende und nicht einschränkende Wörter und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne vom Sinn und Schutzumfang der Erfindung abzuweichen. Darüber hinaus können die Merkmale verschiedener Umsetzungsausführungsformen kombiniert werden, um weitere Ausführungsformen der Erfindung zu bilden.

Claims (5)

  1. System (1), das Folgendes umfasst: einen Prozessor (3), der zu Folgendem konfiguriert ist: Speichern von Kopfhaltungsangaben (218), Empfangen von rohen Bewegungsdaten (208) von einem Bewegungssensor (206) einer optischen, am Kopf angebrachten Anzeige (202), die an einem Kopf eines Fahrzeugführers getragen wird, Berechnen von Kopfgeschwindigkeitsdaten auf der Basis der rohen Bewegungsdaten (208), Berechnen von Kopfverlagerungsdaten auf der Basis der Kopfgeschwindigkeitsdaten und Aktualisieren von Kopfhaltungsangaben (218), die eine Kopfpositionierung angeben, bei Bestimmen, dass die Kopfverlagerungsdaten eine vorherbestimmte Grenzverlagerung überschreiten, dadurch gekennzeichnet, dass der Prozessor (3) weiterhin dazu konfiguriert ist, Fahreraktivitätscharakteristika (222), die eine Historie der Bewegung des Kopfes des Fahrers angeben, gemäß den Kopfhaltungsangaben (218) zu bestimmen.
  2. System (1) nach Anspruch 1, wobei der Prozessor (3) weiterhin dazu konfiguriert ist, einen Hochpassfilter an den rohen Bewegungsdaten (208) durchzuführen, um in Bezug auf eine Datenverzerrung anzupassen, bevor die Kopfgeschwindigkeitsdaten berechnet werden.
  3. System (1) nach einem der Ansprüche 1 oder 2, wobei der Prozessor (3) weiterhin dazu konfiguriert ist, einen Hochpassfilter an den Kopfverlagerungsdaten durchzuführen, um in Bezug auf eine Datenverzerrung anzupassen, bevor die Kopfhaltungsangaben (218) aktualisiert werden.
  4. System (1) nach einem der Ansprüche 1 bis 3, wobei die rohen Bewegungsdaten (208) Angaben der Kopfposition beinhalten und die Kopfverlagerungsdaten Angaben der Kopfverlagerung entlang einer X-Achse des Kopfes, einer Y-Achse des Kopfes und einer Z-Achse des Kopfes beinhalten.
  5. System (1) nach Anspruch 4, wobei die vorherbestimmte Grenzverlagerung eine Grenzverlagerung entlang der X-Achse des Kopfes, eine Grenzverlagerung entlang der Y-Achse des Kopfes und/oder eine Grenzverlagerung entlang der Z-Achse des Kopfes beinhaltet.
DE102015114529.4A 2014-09-05 2015-08-31 Kopfhaltungs- und Aktivitätseinschätzung durch am Kopf angebrachte Anzeige Active DE102015114529B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/478,440 US9767373B2 (en) 2014-09-05 2014-09-05 Head-mounted display head pose and activity estimation
US14/478,440 2014-09-05

Publications (2)

Publication Number Publication Date
DE102015114529A1 DE102015114529A1 (de) 2016-03-10
DE102015114529B4 true DE102015114529B4 (de) 2023-12-07

Family

ID=55358619

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015114529.4A Active DE102015114529B4 (de) 2014-09-05 2015-08-31 Kopfhaltungs- und Aktivitätseinschätzung durch am Kopf angebrachte Anzeige

Country Status (5)

Country Link
US (1) US9767373B2 (de)
CN (1) CN105404388B (de)
DE (1) DE102015114529B4 (de)
MX (1) MX351802B (de)
RU (1) RU2015137693A (de)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10967882B2 (en) * 2018-01-09 2021-04-06 Motherson Innovations Company Limited Autonomous vehicles with control retaking systems and methods of using same
KR101612824B1 (ko) * 2014-11-20 2016-04-15 현대자동차주식회사 Hmd를 이용한 운전자 상태 모니터링 방법 및 장치
US10328852B2 (en) * 2015-05-12 2019-06-25 University Of North Dakota Systems and methods to provide feedback to pilot/operator by utilizing integration of navigation and physiological monitoring
US9727056B2 (en) * 2015-06-24 2017-08-08 Delphi Technologies, Inc. Automated vehicle control with time to take-over compensation
US9586524B2 (en) 2015-07-31 2017-03-07 International Business Machines Corporation Personalized in-car variable message signs
US10419747B2 (en) * 2015-12-22 2019-09-17 Google Llc System and methods for performing electronic display stabilization via retained lightfield rendering
US10642033B2 (en) * 2016-02-12 2020-05-05 Honda Motor Co., Ltd. Image display device and image display method
CN105575048B (zh) * 2016-02-25 2018-10-02 京东方科技集团股份有限公司 低头转头提醒装置及其控制方法、头盔
US10579162B2 (en) 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
CN105943052A (zh) * 2016-05-30 2016-09-21 深圳先进技术研究院 一种疲劳驾驶检测方法及装置
US20180031849A1 (en) * 2016-07-29 2018-02-01 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Augmented reality head-up display road correction
CN106599810B (zh) * 2016-12-05 2019-05-14 电子科技大学 一种基于栈式自编码的头部姿态估计方法
DE102016225261A1 (de) * 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102017208881A1 (de) * 2017-05-05 2018-11-08 Audi Ag Mobile Sensorvorrichtung für ein in einem Fahrzeug einsetzbares am Kopf tragbares visuelles Ausgabegerät und Verfahren zum Betreiben eines Anzeigesystems
IL310847A (en) * 2017-10-27 2024-04-01 Magic Leap Inc A virtual network for augmented reality systems
US10528802B2 (en) 2018-01-09 2020-01-07 Futurewei Technologies, Inc. Head pose and distraction estimation
US11422764B1 (en) 2018-06-03 2022-08-23 Epic Optix, Inc. Multi-platform integrated display
US10850746B2 (en) * 2018-07-24 2020-12-01 Harman International Industries, Incorporated Coordinating delivery of notifications to the driver of a vehicle to reduce distractions
CN109696962B (zh) * 2019-01-15 2021-01-26 京东方科技集团股份有限公司 头戴式虚拟现实设备
CN110083245B (zh) * 2019-04-29 2023-11-03 西藏创煌信息科技有限公司 一种动态信息处理方法、设备及计算机可读存储介质
CN110210426B (zh) * 2019-06-05 2021-06-08 中国人民解放军国防科技大学 基于注意力机制从单幅彩色图像进行手部姿态估计的方法
CN115412793A (zh) * 2021-05-27 2022-11-29 中兴通讯股份有限公司 姿态检测方法、装置、无线耳机及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110121976A1 (en) 2008-07-18 2011-05-26 Optalert Pty Ltd Alertness sensing device
US20120139816A1 (en) 2010-12-05 2012-06-07 Ford Global Technologies, Llc In-vehicle display management system
US20140247286A1 (en) 2012-02-20 2014-09-04 Google Inc. Active Stabilization for Heads-Up Displays
DE102014206626A1 (de) 2014-04-07 2015-10-08 Bayerische Motoren Werke Aktiengesellschaft Müdigkeitserkennung mithilfe von Datenbrillen (HMD)

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8604932B2 (en) * 1992-05-05 2013-12-10 American Vehicular Sciences, LLC Driver fatigue monitoring system and method
USRE39539E1 (en) * 1996-08-19 2007-04-03 Torch William C System and method for monitoring eye movement
US6091334A (en) * 1998-09-04 2000-07-18 Massachusetts Institute Of Technology Drowsiness/alertness monitor
US7920102B2 (en) * 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
US6724920B1 (en) * 2000-07-21 2004-04-20 Trw Inc. Application of human facial features recognition to automobile safety
US6496117B2 (en) * 2001-03-30 2002-12-17 Koninklijke Philips Electronics N.V. System for monitoring a driver's attention to driving
US20050156817A1 (en) * 2002-08-30 2005-07-21 Olympus Corporation Head-mounted display system and method for processing images
ATE454849T1 (de) * 2002-10-15 2010-01-15 Volvo Technology Corp Verfahren für die auswertung der kopf- und augenaktivität einer person
ITTO20030662A1 (it) * 2003-08-29 2005-02-28 Fiat Ricerche Disposizione di visualizzazione virtuale per un quadro
US7394393B2 (en) * 2005-08-02 2008-07-01 Gm Global Technology Operations, Inc. Adaptive driver workload estimator
BRPI0712837B8 (pt) * 2006-06-11 2021-06-22 Volvo Tech Corporation método para determinação e análise de uma localização de interesse visual
US7970175B2 (en) * 2007-04-30 2011-06-28 Delphi Technologies, Inc. Method and apparatus for assessing head pose of a vehicle driver
EP1990674A1 (de) * 2007-05-09 2008-11-12 Harman Becker Automotive Systems GmbH Am Kopf montierte Anzeigevorrichtung
CN101722907B (zh) * 2009-11-18 2011-09-28 大连海事大学 低视力驾驶员的视线跟踪校准系统
US8690750B2 (en) 2010-05-14 2014-04-08 Wesley W. O. Krueger System and method for measuring and minimizing the effects of vertigo, motion sickness, motion intolerance, and/or spatial disorientation
US8706170B2 (en) 2010-09-20 2014-04-22 Kopin Corporation Miniature communications gateway for head mounted display
US9122307B2 (en) 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
WO2012125596A2 (en) 2011-03-12 2012-09-20 Parshionikar Uday Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US8947219B2 (en) * 2011-04-22 2015-02-03 Honda Motors Co., Ltd. Warning system with heads up display
US8749573B2 (en) * 2011-05-26 2014-06-10 Nokia Corporation Method and apparatus for providing input through an apparatus configured to provide for display of an image
JP2013132371A (ja) * 2011-12-26 2013-07-08 Denso Corp 動作検出装置
US8952869B1 (en) * 2012-01-06 2015-02-10 Google Inc. Determining correlated movements associated with movements caused by driving a vehicle
KR101534700B1 (ko) * 2013-10-10 2015-07-07 현대자동차 주식회사 자동차의 경고 상황 알림 방법 및 시스템
EP2892036B1 (de) * 2014-01-06 2017-12-06 Harman International Industries, Incorporated Alarmauslösungskorrelation zwischen kopfmontierten Bilddaten und externer Vorrichtung
EP2933707B1 (de) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Darstellungseinstellung für kopfmontierte Anzeige
KR102246553B1 (ko) * 2014-04-24 2021-04-30 엘지전자 주식회사 Hmd 및 그 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110121976A1 (en) 2008-07-18 2011-05-26 Optalert Pty Ltd Alertness sensing device
US20120139816A1 (en) 2010-12-05 2012-06-07 Ford Global Technologies, Llc In-vehicle display management system
US20140247286A1 (en) 2012-02-20 2014-09-04 Google Inc. Active Stabilization for Heads-Up Displays
DE102014206626A1 (de) 2014-04-07 2015-10-08 Bayerische Motoren Werke Aktiengesellschaft Müdigkeitserkennung mithilfe von Datenbrillen (HMD)

Also Published As

Publication number Publication date
CN105404388B (zh) 2020-07-31
MX351802B (es) 2017-10-27
US9767373B2 (en) 2017-09-19
CN105404388A (zh) 2016-03-16
US20160070966A1 (en) 2016-03-10
RU2015137693A (ru) 2017-03-06
DE102015114529A1 (de) 2016-03-10
MX2015011665A (es) 2016-03-04

Similar Documents

Publication Publication Date Title
DE102015114529B4 (de) Kopfhaltungs- und Aktivitätseinschätzung durch am Kopf angebrachte Anzeige
DE102015117150A1 (de) Auf Aktivitätsverfolgung basierender Fahrzeugbetrieb
US10524716B2 (en) System for monitoring vehicle operator compliance with safe operating conditions
US9539999B2 (en) Vehicle operator monitoring and operations adjustments
DE102017110283A1 (de) Steuern von funktionen und ausgaben von autonomen fahrzeugen auf der grundlage einer position und aufmerksamkeit von insassen
DE102017111843A1 (de) Systeme, um einen Nutzer mittels Gehanweisungen in erweiterter Realität dynamisch zu einem Abholungsort eines autonom fahrenden Fahrzeugs zu führen
DE102020128536A1 (de) Tragbares system erweiterter realität für fahrzeuginsassen
DE102015105494A1 (de) Systeme und Verfahren zur Auslegung physiologischer Fahrerdaten basierend auf Fahrzeugereignissen
DE112017006567T5 (de) Autonomes fahrzeug mit fahrerausbildung
DE102015206600A1 (de) Fahrszenariovorhersage und automatischer fahrzeugein-stellungsausgleich
DE102018112234A1 (de) Verkehrssituationswahrnehmung für ein autonomes fahrzeug
DE102015207549A1 (de) Blickerfassung und arbeitslastschätzung bei personalisierter inhaltsanzeige
DE102016100210A1 (de) Haptische fahrzeughinweise auf der basis einer tragbaren vorrichtung
DE102014223258A1 (de) Tragbarer Computer in einem autonomen Fahrzeug
DE102015213289A1 (de) Vorrichtung und Verfahren zum Steuern eines Fahrzeugs unter Verwendung von Fahrzeugkommunikation
DE102012214390A1 (de) Verfahren und Vorrichtungen für ein Steuersystem von Fahrzeug zu Cloud zu Fahrzeug
DE102013217415A1 (de) Kontextadaptive inhaltsinteraktionsplattform zur verwendung mit einer nomadischen einrichtung
DE102015119827A1 (de) Verfahren und Vorrichtung zur Gewinnung und Verteilung biometrischer Daten
DE102016102352A1 (de) Verfahren und vorrichtung zum überwachen insassenangepasster wellness
DE102018201509A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102014206626A1 (de) Müdigkeitserkennung mithilfe von Datenbrillen (HMD)
DE102016117140A1 (de) Aktive Fahrzeugfederung
DE102020215630A1 (de) System und verfahren zur fahrzeugbewussten gestenerkennung in fahrzeugen mit smart-helmen
DE202015009131U1 (de) Navigationsanweisungen spezifisch für den Gerätezustand
DE112013002732T5 (de) Steuern einer Anzeige von Anwendungen ausgehend von einem mobilen Gerät, das kommunikativ mit einer fahrzeuginternen Vorrichtung verbunden ist, in Abhängigkeit von einer Geschwindigkeitsschwelle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division