DE102012112624A1 - Kopfbewegungs-Erfassungsvorrichtung - Google Patents

Kopfbewegungs-Erfassungsvorrichtung Download PDF

Info

Publication number
DE102012112624A1
DE102012112624A1 DE102012112624A DE102012112624A DE102012112624A1 DE 102012112624 A1 DE102012112624 A1 DE 102012112624A1 DE 102012112624 A DE102012112624 A DE 102012112624A DE 102012112624 A DE102012112624 A DE 102012112624A DE 102012112624 A1 DE102012112624 A1 DE 102012112624A1
Authority
DE
Germany
Prior art keywords
trajectory
subject
head movement
features
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102012112624A
Other languages
English (en)
Inventor
Atsushi Shimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of DE102012112624A1 publication Critical patent/DE102012112624A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Kopfbewegungs-Erfassungsvorrichtung (1), die in der Lage ist, eine Kopfbewegung eines Subjekts zuverlässiger zu erfassen. In der Vorrichtung (1) erfasst eine Bilderfassungseinheit (3) ein Gesichtsbild des Subjekts. Eine Bewegungsbahn-Beschaffungseinheit (111) beschafft eine Bewegungsbahn eines Gesichtsmerkmalspunkts des Subjekts über der Zeit aus einer Sequenz von Gesichtsbildern, welche durch die Bilderfassungseinheit (3) erfasst werden. Eine Speichereinheit (17) speichert einen Satz von Merkmalen einer Bewegungsbahn des Gesichtsmerkmalspunkts während einer bestimmten Kopfbewegung, welche durch Subjekt ausgeführt wird. Eine Kopfbewegungs-Erfassungseinheit (117) erfasst die bestimmte Kopfbewegung, welche durch das Subjekt ausgeführt wird, auf der Basis eines Übereinstimmungsgrades zwischen dem Satz von Merkmalen der Bewegungsbahn, der vorher in der Speichereinheit (17) gespeichert wird, und einem entsprechenden Satz von Merkmalen einer Bewegungsbahn, der durch die Bewegungsbahn-Beschaffungseinheit (111) beschafft wird,

Description

  • HINTERGRUND
  • (Technisches Gebiet)
  • Die vorliegende Erfindung bezieht sich auf eine Kopfbewegungs-Erfassungsvorrichtung zum Erfassen einer Kopfbewegung eines Subjekts bzw. einer Person.
  • (Stand der Technik)
  • Eine bekannte Kopfbewegungs-Erfassungsvorrichtung, wie sie in dem japanischen Patent Nr. 36 27 468 offenbart ist, erfasst bzw. fängt ein Gesichtsbild, d. h. ein Bild, welches ein Gesicht aufweist, eines Subjekts wiederholt jedes vorbestimmte Zeitintervall ein und erfasst eine Kopfbewegung des Subjekts auf der Basis einer Verschiebung bzw. Ausrückung aus einer Position eines bestimmten Gesichtsmerkmalspunkts, welcher in einem erfassten Gesichtsbild auftritt, zu einer Position des Gesichtsmerkmalspunkts, welcher in einem nachfolgend erfassten Gesichtsbild auftritt.
  • Die obenstehend offenbarte Vorrichtung vergleicht die Verschiebung des Gesichtsmerkmalspunkts mit einem feststehenden Grenzwert, und wenn bestimmt wird, dass eine vorbestimmte Beziehung (Ungleichheit) dazwischen erfüllt ist, bestimmt sie, dass eine Kopfbewegung durch das Subjekt ausgeführt wurde. Die Kopfbewegung kann sich jedoch von Person zu Person zu einem beträchtlichen Grad ändern. Der feststehende Grenzwert kann demnach zu einem Verpassen einer tatsächlichen Kopfbewegung oder zu einer unkorrekten Bestimmung, dass in Abwesenheit einer tatsächlichen Kopfbewegung eine Kopfbewegung durch das Subjekt ausgeführt wurde, führen.
  • Unter Berücksichtigung des Voranstehenden wäre es demnach wünschenswert, eine Kopfbewegungs-Erfassungsvorrichtung zu haben, welche in der Lage ist, eine Kopfbewegung eines Subjekts zuverlässiger zu erfassen.
  • KURZFASSUNG
  • In Übereinstimmung mit einer beispielhaften Ausführungsform der vorliegenden Erfindung ist eine Kopfbewegungs-Erfassungsvorrichtung vorgesehen, welche Folgendes aufweist: eine Bild-Erfassungsvorrichtung, welche ein Gesichtsbild eines Subjekts erfasst; eine Bewegungsbahn- bzw. Zustandsbahn-Beschaffungseinheit, welche eine Bewegungsbahn bzw. Zustandsbahn eines Gesichtsmerkmalspunkts des Subjekts über der Zeit aus einer Abfolge bzw. Sequenz von Gesichtsbildern, welche durch die Bild-Erfassungseinheit erfasst werden, beschafft; eine Speichereinheit, welche einen Satz von Merkmalen einer Bewegungsbahn des Gesichtsmerkmalspunkts des Subjekts während einer bestimmten Kopfbewegung, welche durch das Subjekt ausgeführt wird, speichert, wobei die Bewegungsbahn durch die Bewegungsbahn-Beschaffungseinheit aus einer Sequenz von Gesichtsbildern beschafft wird, welche durch die Bild-Erfassungseinheit während der bestimmten Kopfbewegung, welche durch das Subjekt ausgeführt wird, erfasst werden; und eine Kopfbewegungs-Erfassungseinheit, welche die bestimmte Kopfbewegung, welche durch das Subjekt ausgeführt wird, auf der Basis eines Übereinstimmungsgrades zwischen dem Satz von Merkmalen der Bewegungsbahn, welcher vorher in der Speichereinheit gespeichert wurde, und einem entsprechenden Satz von Merkmalen einer Bewegungsbahn, welcher durch die Bewegungsbahn-Beschaffungseinheit beschafft wurde, erfasst.
  • Mit dieser Konfiguration kann, auch wenn eine Kopfbewegung (beispielsweise ein Kopfnicken oder eine schüttelnde Bewegung) sich von Person zu Person ändern mag, zuverlässiger bestimmt werden, ob die bestimmte Kopfbewegung durch das Subjekt ausgeführt wurde, oder nicht.
  • Vorzugsweise ist, wenn die bestimmte Kopfbewegung eine hin- und hergehende Kopfbewegung ist, der Satz von Merkmalen der Bewegungsbahn des Gesichtsmerkmalspunkts des Subjekts während der hin- und hergehenden Kopfbewegung, welche durch das Subjekt ausgeführt wird, wenigstens eines einer vertikalen Amplitude, einer horizontalen Amplitude und einer Dauer der hin- und hergehenden Bewegung der Bewegungsbahn.
  • Dies führt zu einer zuverlässigeren Bestimmung, ob die bestimmte Kopfbewegung durch das Subjekt ausgeführt wurde oder nicht.
  • Vorzugsweise weist, wenn die Vorrichtung in einem Fahrzeug angebracht ist, und das Subjekt ein Fahrzeugführer des Fahrzeugs ist, die Vorrichtung weiterhin Folgendes auf: Eine Vibrationskomponenten- bzw. Vibrationsbestandteil-Abschätzeinheit, welche eine Vibrationskomponente bzw. einen Vibrationsbestandteil aufgrund eines Fahrzeugverhaltens abschätzt, welche in einer Bewegungsbahn des Gesichtsmerkmalspunkts des Fahrers enthalten ist, welche durch die Bewegungsbahn-Beschaffungseinheit beschafft wird; und eine Vibrationskomponenten-Entfernungseinheit, welche die Vibrationskomponente, welche durch die Vibrationskomponenten-Abschätzeinheit abgeschätzt wird, von der Bewegungsbahn des Gesichtsmerkmalspunktes des Fahrzeugführers, welche durch die Bewegungsbahn-Beschaffungseinheit beschafft wird, subtrahiert, um eine störungsfreie Bewegungsbahn des Gesichtsmerkmalspunkts des Fahrzeugführers zu beschaffen. In der Vorrichtung erfasst die Kopfbewegungs-Erfassungsvorrichtung die bestimmte Kopfbewegung, welche durch den Fahrzeugführer ausgeführt wird, auf der Basis eines Übereinstimmungsgrades zwischen dem Satz von Merkmalen der Bewegungsbahn, welcher vorher in der Speichereinheit gespeichert wurde, und einem entsprechenden Satz von Merkmalen der störungsfreien Bewegungsbahn des Gesichtsmerkmalspunkts des Fahrzeugführers, welcher durch die Vibrationskomponenten-Entfernungseinheit beschafft wird.
  • Dies kann Vibrationseffekte verringern, welche durch das Fahrzeugverhalten verursacht werden, und führt zu einer zuverlässigeren Bestimmung, ob die bestimmte Kopfbewegung durch den Fahrer ausgeführt wurde oder nicht.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • In den beigefügten Zeichnungen zeigt:
  • 1A ein schematisches Blockschaltbild einer Kopfbewegungs-Erfassungsvorrichtung in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung;
  • 1B ein schematisches Blockschaltbild eines Kopfbewegungs-Detektors der Kopfbewegungs-Erfassungsvorrichtung;
  • 1C ein schematisches Blockschaltbild eines Kopfbewegungs-Detektors einer Kopfbewegungs-Erfassungsvorrichtung in Übereinstimmung mit einer Abwandlung der Ausführungsform;
  • 2 eine beispielhafte Installation der Kopfbewegungs-Erfassungsvorrichtung in einem Fahrzeug-Passagierraum;
  • 3 ein Flussdiagramm für einen Erzeugungsvorgang einer persönlichen Datenbank;
  • 4 ein beispielhaftes Gesichtsbild eines Fahrzeugführers;
  • 5A eine vertikale Komponente bzw. einen vertikalen Bestandteil einer Bewegungsbahn eines Fahrzeugführer-Auges, welche aus Gesichtsbildern beschafft wird, welche während einer Kopf-Nickbewegung erfasst werden;
  • 5B eine horizontale Komponente der Bewegungsbahn des Fahrzeugführer-Auges, welche aus Gesichtsbildern beschafft wird, welche während der Kopf-Nickbewegung erfasst werden;
  • 5C eine vertikale Komponente einer Bewegungsbahn des Fahrzeugführer-Auges, welche aus Gesichtsbildern beschafft wird, welche während einer Kopf-Schüttelbewegung erfasst werden;
  • 5D eine horizontale Komponente der Bewegungsbahn des Fahrzeugführer-Auges, welche aus Gesichtsbildern beschafft wird, welche während der Kopf-Schüttelbewegung erfasst werden;
  • 6 ein Flussdiagramm für einen Kopfbewegungs-Erfassungsvorgang, welcher in der Kopfbewegungs-Erfassungsvorrichtung durchgeführt wird;
  • 7A eine Bewegungsbahn (in der vertikalen Richtung) des Fahrzeugführer-Auges über der Zeit, wobei die Bewegungsbahn eine Vibrationskomponente aufgrund eines Fahrzeugverhaltens und eine Komponente aufgrund einer Kopfbewegung des Fahzeugführers aufweist;
  • 7B die Vibrationskomponente aufgrund des Fahrzeugverhaltens, welche in der Bewegungsbahn der 7A enthalten ist;
  • 7C die Komponente aufgrund der Kopfbewegung des Fahrzeugführers, welche in der Bewegungsbahn der 7A enthalten ist; und
  • 8 ein beispielhaftes Anzeigebild.
  • BESCHREIBUNG VON BESTIMMTEN AUSFÜHRUNGSFORMEN
  • Die vorliegende Erfindung wird hierin nachstehend vollständiger unter Bezugnahme auf die beigefügten Zeichnungen beschrieben werden. Gleiche Bezugszeichen beziehen sich durchgehend auf gleiche Elemente.
  • 1. Hardware-Konfiguration
  • Es wird nun eine Kopfbewegungs-Erfassungsvorrichtung in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die 1A, 1B und 2 erklärt werden. 1A zeigt ein schematisches Blockschaltbild der Kopfbewegungs-Erfassungsvorrichtung 1. 1B zeigt ein schematischs Blockschaltbild eines Kopfbewegungs-Detektors der Kopfbewegungs-Erfassungsvorrichtung 1. 2 zeigt eine beispielhafte Installation der Kopfbewegungs-Erfassungsvorrichtung 1 in einem Fahrzeug-Passagierraum.
  • Die Kopfbewegungs-Erfassungsvorrichtung 1 ist in einem Fahrzeug angebracht und weist eine Kamera (als eine Bilderfassungseinheit) 3, einen A/D-Wandler (Analog-Digital-Wandler) 5, einen Bildspeicher 7, einen Merkmalspunkt-Detektor 9, einen Kopfbewegungs-Detektor 11, einen Informationsanzeige-Controller bzw. eine Informationsanzeige-Steuerung 13, eine Informationsanzeige 15, einen ersten Speicher (als eine Speichereinheit) 17 zum Speichern einer persönlichen Datenbank, einen zweiten Speicher 19 zum Speichern einer Informationsdatenbank, einen manuellen Schalter 21, einen Fahrzeug-Geschwindigkeitssensor 23, einen Beschleunigungsmesser 25, einen Gierraten- bzw. Giergeschwindigkeits-Sensor 27, einen Sitzdrucksensor 29, einen zentralen Controller bzw. eine zentrale Steuerung 31, einen Beleuchtungs-Controller bzw. eine Beleuchtungs-Steuerung 33 und eine Beleuchtungseinrichtung 35 auf.
  • Wie in 2 gezeigt ist, ist die Kamera 3 in dem Passagierraum des Fahrzeuges angeordnet, um ein Bild, welches ein Gesicht aufweist, d. h. ein Gesichtsbild eines Fahrzeugführers (als ein Subjekt) zu erfassen. Der A/D-Wandler 5 führt mit Daten des Gesichtsbildes, welches durch die Kamera 3 erfasst wird, eine Analog-Digital-Umwandlung durch, und speichert die umgewandelten Gesichtsbild-Daten in dem Bildspeicher 7. Der Merkmalspunkt-Detektor 9 erfasst ein linkes oder rechtes Auge (als einen Gesichtsmerkmalspunkt) des Fahrzeugführers aus den Gesichtsbild-Daten, welche in dem Bildspeicher 7 gespeichert sind, durch eine Verwendung einer von wohlbekannten Bild-Analysetechniken. Der Kopfbewegungs-Detektor 11 erfasst eine Kopfbewegung des Fahrers auf der Basis einer Bewegungsbahn des Fahrzeugführer-Auges, welche durch den Merkmalspunkt-Detektor 9 erfasst wird. Die Bewegungsbahn ist ein Pfad bzw. Weg, welcher eine Sequenz von Orten des Fahrzeugführer-Auges, welche in den jeweiligen Gesichtsbildern auftritt, welche zu vorbestimmten Zeitintervallen erfasst werden, verbindet. Dieser Kopfbewegungs-Erfassungsvorgang wird später im Detail beschrieben werden. Die Informationsanzeige-Steuerung 13 steuert die Informationsanzeige 15 in Antwort auf Erfassungen des Kopfbewegungs-Detektors 11. Die Informationsanzeige 15 kann ein rekonstruiertes Bild anzeigen und kann eine Anzeige 15a oder ein Headup-Display (HUD = Head-Up-Display) 15b des Navigationssystems 36 oder eine Kombination davon sein.
  • Der Speicher 17 speichert eine persönliche Datenbank (welche später beschrieben werden wird). Der Speicher 17 speichert ein Gesichtsmuster, d. h. ein Muster von Gesichtsmerkmalspunkten von jedem Verwender, welches für eine persönliche Authentifizierung (welche später beschrieben werden wird) verwendet wird. Der Speicher 19 speichert Informationen (Anzeigebilder, wie beispielsweise Icons), welche auf der Informationsanzeige 15 anzuzeigen sind.
  • Der manuelle Schalter 21 kann durch den Fahrzeugführer gehandhabt bzw. betätigt werden. Der Fahrzeuggeschwindigkeitssensor 23, der Beschleunigungsmesser 25, der Gierraten-Sensor 27 und der Sitzdrucksensor 29 erfassen jeweils eine Geschwindigkeit des Fahrzeugs, eine Beschleunigung des Fahrzeugs, eine Gierrate des Fahrzeugs und einen Druck, welcher durch den Fahrzeugführer auf einen Fahrzeugführersitz 38 ausgeübt wird,. Die zentrale Steuerung 31 führt verschiedene Steuervorgänge in Antwort auf Eingaben, welche für den manuellen Schalter 21 vorgesehen sind, und auf erfasste Werte des Fahrzeuggeschwindigkeitssensors 23, des Beschleunigungsmessers 25, des Gierraten-Sensors 27 und des Sitzdrucksensors 29 durch. Die Beleuchtungs-Steuerung 33 steuert die Helligkeit der Beleuchtungseinrichtung 35. Die Beleuchtungseinrichtung 35 ist, wie in 2 gezeigt ist, angeordnet, um das Gesicht des Fahrers zu beleuchten bzw. auszuleuchten.
  • Bezug nehmend auf 1B weist der Kopfbewegungs-Detektor 11 eine Bewegungsbahn-Beschaffungseinheit (als Bewegungsbahn-Beschaffungsmittel) 111, eine Vibrationskomponenten- bzw. Vibrationsbestandteil-Abschätzeinheit (als Vibrationskomponenten-Abschätzmittel) 113, eine Vibrationskomponenten-Entfernungseinheit (als Vibrationskomponenten-Entfernungsmittel) 115, eine Kopfbewegungs-Erfassungseinheit (als Kopfbewegungs-Erfassungsmittel) 117 und eine Wähleinheit bzw. Setzeinheit (als Wählmittel bzw. Setzmittel) 119 auf.
  • Die Bewegungsbahn-Beschaffungseinheit 111 beschafft eine Bewegungsbahn des Fahrzeugführer-Auges (Gesichtsmerkmalspunkt), welche durch den Merkmalspunkt-Detektor 9 über der Zeit aus einer Sequenz von Gesichtsbildern erfasst wird, welche zu vorbestimmten Zeitintervallen und unter Verwendung der Kamera 3 erfasst werden. Die Bewegungsbahn ist ein Weg, welcher eine Sequenz von Orten des Fahrzeugführer-Auges in den jeweiligen Gesichtsbildern verbindet.
  • Die Vibrationskomponenten-Bestimmungseinheit 113 berechnet oder schätzt eine Vibrationskomponente aufgrund eines Fahrzeugverhaltens ab, welche in einer Bewegungsbahn des Fahrzeugführer-Auges enthalten ist, welche durch die Bewegungsbahn-Beschaffungseinheit 111 beschafft wird.
  • Die Vibrationskomponenten-Entfernungseinheit 115 subtrahiert eine Vibrationskomponente (welche eine Störung ist) aufgrund eines Fahrzeugverhaltens, welche durch die Vibrationskomponenten-Abschätzeinheit 113 abgeschätzt wird, von der Bewegungsbahn, welche durch die Bewegungsbahn-Beschaffungseinheit 111 beschafft wird, um eine störungsfreie Bewegungsbahn zu berechnen. Das heißt, die störungsfreie Bewegungsbahn wird erhalten durch ein Subtrahieren der Vibrationskomponente von der Bewegungsbahn, welche durch die Bewegungsbahn-Beschaffungseinheit 111 beschafft wird.
  • Die Kopfbewegungs-Erfassungseinheit 117 erfasst eine bestimmte Kopfbewegung, wie beispielsweise eine Kopfnick-Bewegung oder eine Kopfschüttel-Bewegung oder dergleichen, welche durch den Fahrer (das Subjekt) ausgeführt wird, auf der Basis eines Übereinstimmungsgrades zwischen einem Satz von Merkmalen (welche später beschrieben werden werden) der Bewegungsbahn während der bestimmten Kopfbewegung, welche durch den Fahrer ausgeführt wird, welche vorher in dem ersten Speicher 17 gespeichert werden, und einen entsprechenden Satz von Merkmalen der störungsfreien Bewegungsbahn, welche durch die Vibrationskomponenten-Entfernungseinheit 115 berechnet wird. Wenn der Satz von Merkmalen der störungsfreien Bewegungsbahn innerhalb eines Bereiches von Bewegungsbahn-Merkmalen ist (welche ebenso später beschrieben werden werden), welche für den Fahrer spezifisch sind (was bedeutet, dass ein höherer Übereinstimmungsgrad existiert zwischen dem Satz von Merkmalen der Bewegungsbahn des Fahrzeugführer-Auges während der bestimmten Kopfbewegung, welcher vorher in dem ersten Speicher 17 gespeichert wird, und dem Satz von Merkmalen der störungsfreien Bewegungsbahn), dann bestimmt die Kopfbewegungs-Erfassungseinheit 117, dass die bestimmte Kopfbewegung durch den Fahrzeugführer ausgeführt wurde.
  • Die Setz- bzw. Wähleinheit 119 definiert den Bereich von Bewegungsbahn-Merkmalen, welche für den Fahrzeugführer spezifisch sind, zum Erfassen der bestimmten Kopfbewegung, welche durch den Fahrzeugführer ausgeführt wird, als eine Funktion des Satzes von Merkmalen der Bewegungsbahn des Gesichtsmerkmalspunktes während der bestimmten Kopfbewegung, welche durch den Fahrzeugführer ausgeführt wird, welcher vorher in dem ersten Speicher 17 gespeichert wird.
  • 2. Vorgang, der in der Kopfbewegungs-Erfassungsvorrichtung durchgeführt wird
  • (1) Erzeugung der persönlichen Datenbank
  • Ein Vorgang zur Erzeugung der persönlichen Datenbank wird nun unter Bezugnahme auf die 3, 4 und 5A bis 5D erklärt werden. 3 zeigt ein Flussdiagramm für den Erzeugungsvorgang für die persönliche Datenbank, welcher in der Kopfbewegungs-Erfassungsvorrichtung 1 durchgeführt wird. 4 zeigt ein beispielhaftes Gesichtsbild des Fahrzeugführers, welches zum Erklären des Erzeugungsvorgangs für die persönliche Datenbank verwendet wird. Die 5A und 5B zeigen vertikale und horizontale Komponenten der Bewegungsbahn des Fahrzeugführer-Auges jeweils über der Zeit, beschafft aus Gesichtsbildern, welche während einer Kopfnick-Bewegung erfasst wurden. Die 5C und 5D zeigen vertikale und horizontale Komponenten der Bewegungsbahn des Fahrzeugführer-Auges jeweils über der Zeit, beschafft aus Gesichtsbildern, welche während einer Kopfschüttel-Bewegung erfasst wurden.
  • Der Erzeugungsvorgang für die persönliche Datenbank wird unter Steuerung der zentralen Steuerung 31 durchgeführt, wenn das Fahrzeug stationär ist und die Maschine gestoppt ist. Wenn eine vorbestimmte Eingabe an den manuellen Schalter 21 durch den Fahrzeugführer vorgesehen ist oder wenn der Fahrzeugführers durch den Sitzdrucksensor 29 oder die Kamera 3 oder dergleichen sensiert bzw. erkannt wird, wird der Erzeugungsvorgang für die persönliche Datenbank gestartet.
  • Bezug nehmend auf 3 wird in Schritt S10 ein Gesichtsbild des Fahrzeugführers durch die Kamera 3 erfasst. Das Gesichtsbild des Fahrzeugführers weist, wie in 4 gezeigt ist, ein Gesicht 37 des Fahrzeugführers auf. Nachfolgend wird ein Muster von Gesichtsmerkmalspunkten (Augen 39, eine Nase 41, ein Mund 43 und dergleichen) aus dem erfassten Gesichtsbild des Fahrzeugführers durch den Merkmalspunkt-Detektor 9 beschafft. Das beschaffte Merkmalspunktmuster wird mit einem Merkmalspunktmuster jedes Verwenders, welches vorher in dem Speicher (persönliche Datenbank) 17 gespeichert ist, verglichen. Eines der vorher gespeicherten Merkmalspunktmuster, welches mit dem beschafften Merkmalspunktmuster übereinstimmt, wird ausgewählt. Der Fahrzeugführer kann als der Verwender, welcher das ausgewählte Merkmalspunktmuster hat, identifiziert werden.
  • In Schritt S20 wird eine Mitteilung wie beispielsweise „Möchten Sie eine persönliche Datenbank erzeugen?” auf der Anzeige 15a angezeigt. Wenn eine Eingabe, welche der Antwort „JA” entspricht, für den manuellen Schalter 21 innerhalb einer vorbestimmten Zeitdauer nach dem Anzeigen der obigen Mitteilung in Schritt S20 vorgesehen wird, dann schreitet der Vorgang zu Schritt S30 voran. Wenn eine Eingabe entsprechend der Antwort „NEIN” oder keine Eingabe für den manuellen Schalter 21 innerhalb der vorbestimmten Zeitdauer nach dem Anzeigen der obigen Mitteilung in Schritt S20 vorgesehen wird bzw. ist, dann wird der Vorgang beendet.
  • In Schritt S30 wird eine Mitteilung wie beispielsweise „Bitte nicken Sie mit dem Kopf.” auf der Anzeige 15a angezeigt.
  • In Schritt S40 wird ein Gesichtsbild des Fahrzeugführers wiederholt jedes erste vorbestimmte Zeitintervall durch ein Verwenden der Kamera 3 über eine erste vorbestimmte Zeitdauer nach dem Anzeigen der obigen Mitteilung in Schritt S30 erfasst. Das erste vorbestimmte Zeitintervall ist kurz genug gewählt, um eine Bildanalyse einer Bewegungsbahn des Fahrzeugführer-Auges über die erste vorbestimmte Zeitdauer zu ermöglichen (was später beschrieben werden wird).
  • In Schritt S50 wird eine Mitteilung wie beispielsweise „Bitte schütteln Sie Ihren Kopf.” auf der Anzeige 15a angezeigt.
  • In Schritt S60 wird ein Gesichtsbild des Fahrzeugführers wiederholt jedes zweite vorbestimmte Zeitintervall durch ein Verwenden der Kamera 3 über eine zweite vorbestimmte Zeitdauer nach dem Anzeigen der Mitteilung in Schritt S50 erfasst. Jedes zweite vorbestimmte Zeitintervall ist kurz genug gewählt, um eine Bildanalyse einer Bewegungsbahn des Fahrzeugführer-Auges über die zweite vorbestimmte Zeitdauer zu ermöglichen (was später beschrieben werden wird)..
  • Das erste und das zweite Zeitintervall können gleich zueinander sein oder sie können unterschiedlich voneinander sein. Die erste und die zweite Zeitdauer können gleich zueinander sein oder sie können unterschiedlich voneinander sein.
  • In Schritt S70 wird die Bewegungsbahn des Fahrzeugführer-Auges über die erste vorbestimmte Zeitdauer beschafft, welche ein Weg ist, welcher eine Sequenz von Orten des Fahrzeugführer-Auges verbindet, welche in den jeweiligen Gesichtsbildern auftreten, welche in Schritt S40 erfasst werden. Die 5A und 5B zeigen vertikale und horizontale Komponenten der Bewegungsbahn des Fahrzeugführer-Auges jeweils während der Kopfnick-Bewegung. Die vertikale Achse in 5A repräsentiert vertikale Positionen und die horizontale Achse in 5A repräsentiert die Zeit. Die vertikale Achse in 5B repräsentiert horizontale Positionen und die horizontale Achse in 5B repräsentiert die Zeit.
  • Wie in 5A gezeigt ist, bewegt sich die vertikale Position (in Y-Richtung) des Fahrzeugführer-Auges mit einer großen Amplitude über der Zeit t hin und her. Wie in 5B gezeigt ist, bewegt sich die horizontale Position (in X-Richtung) des Fahrzeugführer-Auges mit einer kleinen Amplitude über der Zeit t hin und her. In Schritt S70 werden zusätzlich zu der Bewegungsbahn des Fahrzeugführer-Auges über der Zeit eine vertikale Amplitude ΔY1, eine horizontale Amplitude ΔX1 und eine Zeitdauer der vertikalen hin- und hergehenden Bewegung ΔT1 der Bewegungsbahn beschafft.
  • In Schritt S80 wird die Bewegungsbahn des Fahrzeugführer-Auges über die zweite vorbestimmte Zeitdauer beschafft, welche ein Weg ist, welcher eine Sequenz von Orten des Fahrzeugführer-Auges verbindet, welche in den jeweiligen Gesichtsbildern, welche in Schritt S60 erfasst werden, auftreten. Die 5C und 5D zeigen vertikale und horizontale Komponenten der Bewegungsbahn des Fahrzeugführer-Auges jeweils während der Kopfschüttel-Bewegung. Die vertikale Achse in 5C repräsentiert vertikale Positionen und die horizontale Achse in 5C repräsentiert die Zeit. Die vertikale Achse in 5D repräsentiert horizontale Positionen und die horizontale Achse in 5D repräsentiert die Zeit.
  • Wie in 5D gezeigt ist, bewegt sich die horizontale Position (in X-Richtung) des Fahrzeugführer-Auges mit einer großen Amplitude über der Zeit t hin und her. Wie in 5C gezeigt ist, bewegt sich die vertikale Position (in Y-Richtung) des Fahrzeugführer-Auges mit einer kleinen Amplitude über der Zeit t hin und her. In Schritt S80 werden zusätzlich zu der Bewegungsbahn des Fahrzeugführer-Auges über der Zeit einer vertikale Amplitude ΔY2, eine horizontale Amplitude ΔX2 und eine Zeitdauer der horizontalen hin- und hergehenden Bewegung ΔT2 der Bewegungsbahn beschafft.
  • In Schritt S90 werden die Bewegungsbahn des Fahrzeugführer-Auges, die vertikale Amplitude ΔY1, die horizontale Amplitude ΔX1 und die Zeitdauer der vertikalen hin- und hergehenden Bewegung ΔT1 für die Kopfnick-Bewegung, welche in Schritt S70 beschafft werden, in dem Speicher 17 in Verbindung mit dem Personenkreis, der in Schritt S10 authorisiert wird, gespeichert. Die Bewegungsbahn des Fahrzeugführer-Auges, die vertikale Amplitude ΔY2, die horizontale Amplitude ΔX2 und die Zeitdauer der horizontalen hin- und hergehenden Bewegung ΔT2 für die Kopfschüttel-Bewegung, welche in Schritt S80 beschafft werden, werden ebenso in dem Speicher 17 in Verbindung mit dem Personenkreis, der in Schritt S10 authorisiert wird, gespeichert.
  • (2) Kopfbewegungs-Erfassung
  • Es wird nun ein Kopfbewegungs-Erfassungsvorgang, welcher in der Kopfbewegungs-Erfassungsvorrichtung 1 durchgeführt wird, unter Bezugnahme auf die 6 bis 8 erklärt werden. 6 zeigt ein Flussdiagramm für den Kopfbewegungs-Erfassungsvorgang. Die 7A bis 7C zeigen, wie ein Vibrationskomponenten-Entfernungsvorgang (welcher später erklärt werden wird) durchgeführt wird. 8 zeigt ein beispielhaftes Anzeigebild. Der Kopfbewegungs-Erfassungsvorgang wird ebenso unter der Steuerung der zentralen Steuerung 31 durchgeführt.
  • Bezug nehmend auf 6 wird in Schritt S110 ein Gesichtsbild des Fahrzeugführers wiederholt jedes dritte vorbestimmte Zeitintervall durch ein Verwenden der Kamera 3 über eine dritte vorbestimmte Zeitdauer hin erfasst, wie in Schritt S40 oder S60. Das dritte vorbestimmte Zeitintervall kann gleich zu dem ersten oder zweiten vorbestimmten Zeitintervall sein, oder es kann unterschiedlich davon sein. Die dritte vorbestimmte Zeitdauer kann gleich zu der ersten oder zweiten vorbestimmten Zeitdauer sein, oder sie kann unterschiedlich davon sein.
  • In Schritt S120 wird eine Bewegungsbahn des Fahrzeugführer-Auges über die dritte vorbestimmte Zeitdauer beschafft, welche ein Weg ist, welcher eine Sequenz von Orten des Fahrzeugführer-Auges verbindet, welche in den jeweiligen Gesichtsbildern, welche in Schritt S110 erfasst werden, auftreten.
  • In Schritt S130 wird eine Vibrationskomponente aufgrund eines Fahrzeugverhaltens während der dritten vorbestimmten Zeit abgeschätzt, beispielsweise durch eine Verwendung von erfassten Werten des Beschleunigungsmessers 25 und des Sitzdrucksensors 29. Alternativ kann die Vibrationskomponente abgeschätzt werden durch ein Verwenden einer Unschärfebreite (blur width) und einer Geschwindigkeit des Fahrzeugführer-Auges, welche erfasst werden, wenn durch den Fahrzeugführer keine Kopfbewegung ausgeführt wird.
  • In Schritt S140 wird die Vibrationskomponente, welche in Schritt S130 abgeschätzt wird, von der Bewegungsbahn, welche in Schritt S120 beschafft wird, subtrahiert. Im Allgemeinen weist die Bewegungsbahn, welche in Schritt S120 beschafft wird, wie in 7A gezeigt ist, eine Komponente aufgrund nur einer Kopfbewegung des Fahrzeugführers, wie in 7C gezeigt ist, und eine Vibrationskomponente aufgrund eines Fahrzeugverhaltens (was eine Störung ist), wie in 7B gezeigt ist, auf. Demnach kann die Komponente aufgrund der Kopfbewegung des Fahrzeugführers (hierauf wird hierin nachstehend auch Bezug genommen als störungsfreie Bewegungsbahn) durch ein Subtrahieren der Vibrationskomponente aufgrund des Fahrzeugverhaltens von der Bewegungsbahn, welche in Schritt S120 beschafft wird, erhalten werden.
  • In Schritt S150 wird auf der Basis der störungsfreien Bewegungsbahn, welche in Schritt S140 beschafft wird, bestimmt, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine derselben durch den Fahrzeugführer ausgeführt wurde.
  • Zu diesem Zweck wird zuerst die persönliche Datenbank des Fahrzeugführers aus dem Speicher 17 ausgelesen. Wie obenstehend beschrieben ist, weist die persönliche Datenbank die vertikale Amplitude ΔY1, die horizontale Amplitude ΔX1 und die Zeitdauer der vertikalen hin- und hergehenden Bewegung ΔT1 der Bewegungsbahn des Fahrzeugführer-Auges während der Kopfnick-Bewegung auf. Die persönliche Datenbank weist weiterhin die vertikale Amplitude ΔY2, die horizontale Amplitude ΔX2 und die Zeitdauer der horizontalen hin- und hergehenden Bewegung ΔT2 der Bewegungsbahn des Fahrzeugführer-Auges während der Kopfschüttel-Bewegung auf.
  • Grenzwerte TY1, TX1, TT1, TY2, TX2 und TT2, auf der Basis von welchen bestimmt wird, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine derselben ausgeführt wurde, werden wie folgt durch Verwendung der vertikalen Amplitude ΔY1, der horizontalen Amplitude ΔX1, der Zeitdauer der vertikalen hin- und hergehenden Bewegung ΔT1, der vertikalen Amplitude ΔY2, der horizontalen Amplitude ΔX2 und der Zeitdauer der horizontalen hin- und hergehenden Bewegung ΔT2, welche in dem Speicher 17 gespeichert sind, bestimmt. TY1 = (ΔY1) × α, TX1 = (ΔX1) × β TT1 = (ΔT1) × γ, TY2 = (ΔY2) × β, TX2 = (ΔX2) × α, TT2 = (ΔT2) × γ, wobei α (Alpha) = 0,5, β (Beta) = 2 und γ (Gamma) = 1,5.
  • Nachfolgend werden eine vertikale Amplitude ΔY, eine horizontale Amplitude ΔX und eine Zeitdauer der hin- und hergehenden Bewegung ΔT (d. h. ein Satz von Merkmalen der störungsfreien Bewegungsbahn) aus der störungsfreien Bewegungsbahn, welche in Schritt S140 beschafft wird, berechnet, d. h. die Komponente aufgrund der Kopfbewegung des Fahrzeugführers, welche erhalten wird durch ein Subtrahieren der Vibrationskomponente aufgrund des Fahrzeugverhaltens von der Bewegungsbahn, welche in Schritt S120 beschafft wird.
  • Wenn die folgenden Ungleichungen (1) bis (3) alle erfüllt sind, d. h. wenn die vertikale Amplitude ΔY, die horizontale Amplitude ΔX und die Zeitdauer der hin- und hergehenden Bewegung ΔT der störungsfreien Bewegungsbahn, welche in Schritt S140 beschafft wird, innerhalb eines ersten Bereiches von Bewegungsbahn-Merkmalen sind, welcher durch die Ungleichungen (1) bis (3) definiert bzw. begrenzt ist, was ein dreidimensionaler Bereich ist (was bedeutet, dass ein höherer Übereinstimmungsgrad zwischen dem Satz von Merkmalen der Bewegungsbahn des Fahrzeugführer-Auges während der Kopfnick-Bewegung, welche vorher in dem ersten Speicher 17 gespeichert werden, und dem Satz von Merkmalen der störungsfreien Bewegungsbahn existiert), dann wird bestimmt, dass die Kopfnick-Bewegung durch den Fahrzeugführer ausgeführt wurde. Wenn die folgenden Ungleichungen (4) bis (6) erfüllt sind, d. h. wenn die vertikale Amplitude ΔY, die horizontale Amplitude ΔX und die Zeitdauer der hin- und hergehenden Bewegung ΔT der störungsfreien Bewegungsbahn, welche in Schritt S140 beschafft wird, innerhalb eines zweiten Bereiches von Bewegungsbahn-Merkmalen sind, welcher durch die Ungleichungen (4) bis (6) definiert bzw. begrenzt ist, welcher ebenso ein dreidimensionaler Bereich ist (was bedeutet, dass ein höherer Übereinstimmungsgrad zwischen dem Satz von Merkmalen der Bewegungsbahn des Fahrzeugführer-Auges während der Kopfschüttel-Bewegung, welche vorher in dem ersten Speicher 17 gespeichert werden, und dem Satz von Merkmalen der störungsfreien Bewegungsbahn existiert), dann wird bestimmt, dass die Kopfschüttel-Bewegung durch den Fahrzeugführer ausgeführt wurde. Falls nichts des Obigen gilt, dann wird bestimmt, dass weder die Kopfnick-Bewegung noch die Kopfschüttel-Bewegung durch den Fahrzeugführer ausgeführt wurde. ΔY > TY1 (1), ΔX < TX1 (2), ΔT < TT1 (3), ΔY < TY2 (4), ΔX > TX2 (5), ΔT < TT2 (6).
  • Wenn in Schritt S150 bestimmt wird, dass die Kopfnick-Bewegung durch den Fahrzeugführer ausgeführt wurde, dann wird der Gegenstand bzw. Punkt, welcher durch den Cursor oder dergleichen auf der Anzeige 15a des Navigationssystems 36 bereits ausgewählt wurde, durchgeführt werden. Beispielsweise wurde, wie in 8 gezeigt ist, der Punkt „NAVIGATION” durch den Cursor bereits ausgewählt, und dieser Punkt wird dann durchgeführt werden. Wenn in Schritt S150 bestimmt wird, dass die Kopfschüttel-Bewegung durch den Fahrzeugführer ausgeführt wurde, dann wird sich der Cursor oder dergleichen von einem Punkt zu dem nächsten Punkt auf der Anzeige 15a des Navigationssystems 36 bewegen, und der nächste Punkt wird ausgewählt werden. Beispielsweise wird, wie in 8 gezeigt ist, der Cursor sich von dem Punkt „NAVIGATION” zu dem Punkt „MUSIC” bewegen und der Punkt „MUSIC” wird ausgewählt werden. Wenn in Schritt S150 bestimmt wird, dass weder die Kopfnick-Bewegung noch die Kopfschüttel-Bewegung durch den Fahrzeugführer ausgeführt wurde, dann wird nichts geschehen.
  • 3. Einige Vorzüge
    • (i) In der Kopfbewegungs-Erfassungsvorrichtung 1 werden die Grenzwerte TY1, TX1, TT1, TY2, TX2, TT2, auf Basis derer bestimmt wird, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine der beiden durch den Fahrzeugführer ausgeführt wurde, aus der tatsächlichen bzw. aktuellen Bewegungsbahn des Fahrzeugführer-Auges über der Zeit berechnet. Demnach kann, auch wenn die Kopfbewegung sich von Person zu Person ändern kann, zuverlässig bestimmt werden, ob die Kopfschüttel-Bewegung, die Kopfnick-Bewegung oder keine derselben durch den Fahrzeugführer ausgeführt wurde.
    • (ii) In der Kopfbewegungs-Erfassungsvorrichtung 1 wird bestimmt, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine derselben durch den Fahrzeugführer ausgeführt wurde, und zwar auf Basis der störungsfreien Bewegungsbahn, d. h. der Komponente aufgrund der Kopfbewegung, welche durch ein Subtrahieren der Vibrationskomponente aufgrund des Fahrzeugverhaltens von der Bewegungsbahn des Fahrzeugführer-Auges über der Zeit erhalten wird. Dies führt zu einer zuverlässigeren Bestimmung, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine derselben durch den Fahrzeugführer ausgeführt wurde.
  • 4. Einige Abwandlungen
  • Es werden nun einige Abwandlungen der oben beschriebenen Ausführungsform erklärt werden, welche ohne ein Abweichen vom Gedanken und dem Umfang der vorliegenden Erfindung ausgearbeitet bzw. konzipiert werden können.
  • In der Kopfbewegungs-Erfassungsvorrichtung 1 der obigen Ausführungsform wird die Bewegungsbahn des Fahrzeugführer-Auges über der Zeit beschafft, um eine Kopfbewegung des Fahrzeugführers zu bestimmen. Alternativ kann eine Bewegungsbahn eines anderen Gesichtsmerkmalspunkts (beispielsweise einer Nase, eines Mundes, eines linken oder rechten Ohrs oder dergleichen) über der Zeit beschafft werden, um eine Kopfbewegung des Fahrzeugführers zu bestimmen.
  • In der Kopfbewegungs-Erfassungsvorrichtung 1 der obigen Ausführungsform wird bestimmt, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine derselben durch den Fahrzeugführer ausgeführt wurde. Alternativ kann lediglich bestimmt werden, ob die Kopfnick-Bewegung durch den Fahrzeugführer ausgeführt wurde, oder nicht, oder es kann lediglich bestimmt werden, ob die Kopfschüttel-Bewegung durch den Fahrzeugführer ausgeführt wurde, oder nicht.
  • Zusätzlich wird in der Kopfbewegungs-Erfassungsvorrichtung 1 der obigen Ausführungsform das Navigationssystem 36 in Antwort auf eine Bestimmung gesteuert, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine derselben durch den Fahrzeugführer ausgeführt wurde. Alternativ können eine Vorrichtung oder Vorrichtungen anders als das Navigationssystem 36 in Antwort auf eine Bestimmung, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine derselben durch den Fahrzeugführer ausgeführt wurde, gesteuert werden.
  • In der Kopfbewegungs-Erfassungsvorrichtung 1 der obigen Ausführungsform ist der Koeffizient α, welcher verwendet wird, um die Grenzwerte TY1 und TX2 zu berechnen 0,5, der Koeffizient β, welcher verwendet wird, um die Grenzwerte TX1 und TY2 zu berechnen 2, und der Koeffizient γ, welcher verwendet wird, um die Grenzwerte TT1 und TT2 zu berechnen 1,5. Alternativ können die Koeffizienten α, β und γ jeweils auf einen Wert anders als 0,5, einen Wert anders als 2 und einen Wert anders als 1,5 gesetzt werden.
  • In der Kopfbewegungs-Erfassungsvorrichtung 1 der vorliegenden Ausführungsform weist die persönliche Datenbank die vertikale Amplitude ΔY1, die horizontale Amplitude ΔX1 und die Zeitdauer der vertikalen hin- und hergehenden Bewegung ΔT1 der Bewegungsbahn des Fahrzeugführer-Auges während der Kopfnick-Bewegung auf. Die persönliche Datenbank weist weiterhin die vertikale Amplitude ΔY2, die horizontale Amplitude ΔX2 und die Zeitdauer der horizontalen hin- und hergehenden Bewegung ΔT2 der Bewegungsbahn des Fahrzeugführer-Auges während der Kopfschüttel-Bewegung auf. Alternativ kann die persönliche Datenbank die Bewegungsbahn des Fahrzeugführer-Auges während der Kopfnick-Bewegung und die Bewegungsbahn des Fahrzeugführer-Auges während der Kopfschüttel-Bewegung aufweisen. In einer solchen alternativen Ausführungsform kann bestimmt werden, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine derselben durch den Fahrzeugführer ausgeführt wurde, und zwar durch ein Vergleichen der Bewegungsbahn, welche in Schritt S140 beschafft wird, mit jeder der Bewegungsbahn für die Kopfnick-Bewegung und der Bewegungsbahn für die Kopfschüttel-Bewegung jedes Verwenders, welche vorher in der persönlichen Datenbank gespeichert werden.
  • In der Kopfbewegungs-Erfassungsvorrichtung 1 der obigen Ausführungsform weist der Kopfbewegungs-Detektor 11, wie obenstehend unter Bezugnahme auf die 1B beschrieben ist, die Bewegungsbahn-Beschaffungseinheit 111, die Vibrationskomponenten-Abschätzeinheit 113, die Vibrationskomponenten-Entfernungseinheit 115, die Kopfbewegungs-Erfassungseinheit 117 und die Setz- bzw. Wähleinheit 119 auf. Alternativ kann, beispielsweise, wenn die Vibrationskomponente aufgrund des Fahrzeugverhaltens ignoriert werden kann, oder nicht verhindern kann, dass die Kopfbewegungs-Erfassungseinheit 117 die bestimmte Kopfbewegung (wie beispielsweise eine Kopfnick- oder -schüttel-Bewegung) erfasst, welche durch den Fahrzeugführer ausgeführt wird, die die Vibrationskomponenten-Entfernungseinheit 115 entfernt bzw. ausgelassen werden. In einer solchen Ausführungsform kann, wie in 1C gezeigt ist, der Kopfbewegungs-Detektor 11 lediglich die Bewegungsbahn-Beschaffungseinheit 111, die Kopfbewegungs-Erfassungseinheit 117 und die Setz- bzw. Wähleinheit (als Setzmittel bzw. Wählmittel) 119 aufweisen.
  • Viele Abwandlungen und andere Ausführungsformen der Erfindung werden Fachleuten, in deren Gebiet sich diese Erfindung erstreckt, einfallen, welche den Vorzug der Lehre, welche in der vorangehenden Beschreibung und den beigefügten Zeichnungen präsentiert wird, haben. Demnach muss verstanden werden, dass die Erfindung nicht auf die bestimmten Ausfühungsformen, welche offenbart sind, beschränkt ist, und dass Abwandlungen und andere Ausführungsformen innerhalb des Umfangs der beigefügten Ansprüche eingeschlossen sein sollen. Obwohl bestimmte Wortlaute hierin angewandt werden, werden sie nur in einem generischen und beschreibenden Sinn verwendet und nicht zum Zweck der Beschränkung.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 3627468 [0002]

Claims (12)

  1. Kopfbewegungs-Erfassungsvorrichtung (1), die Folgendes aufweist: eine Bilderfassungseinheit (3), welche ein Gesichtsbild eines Subjekts erfasst; eine Bewegungsbahn-Beschaffungseinheit (111), welche eine Bewegungsbahn eines Gesichtsmerkmalspunkts des Subjekts über der Zeit aus einer Sequenz von Gesichtsbildern, welche durch die Bilderfassungseinheit (3) erfasst werden, beschafft; eine Speichereinheit (17), welche einen Satz von Merkmalen einer Bewegungsbahn des Gesichtsmerkmalspunkts des Subjekts während einer bestimmten Kopfbewegung, welche durch Subjekt ausgeführt wird, speichert, wobei die Bewegungsbahn durch die Bewegungsbahn-Beschaffungseinheit (111) aus einer Sequenz von Gesichtsbildern beschafft wird, welche durch die Bilderfassungseinheit (3) während der bestimmten Kopfbewegung, welche durch Subjekt ausgeführt wird, erfasst werden; und eine Kopfbewegungs-Erfassungseinheit (117), welche die bestimmte Kopfbewegung, welche durch das Subjekt ausgeführt wird, auf der Basis eines Übereinstimmungsgrades zwischen dem Satz von Merkmalen der Bewegungsbahn, der vorher in der Speichereinheit (17) gespeichert wird, und einem entsprechenden Satz von Merkmalen einer Bewegungsbahn, der durch die Bewegungsbahn-Beschaffungseinheit (111) beschafft wird, erfasst.
  2. Vorrichtung (1) nach Anspruch 1, die weiterhin Folgendes aufweist: eine Wähleinheit (119), welche einen Bereich von Bewegungsbahn-Merkmalen definiert, welche für das Subjekt spezifisch sind, um die bestimmte Kopfbewegung, welche durch das Subjekt ausgeführt wird, als eine Funktion des Satzes von Merkmalen der Bewegungsbahn des Gesichtsmerkmalspunkts des Subjekts, welcher vorher in der Speichereinheit (17) gespeichert wird, zu erfassen, wobei die Kopfbewegungs-Erfassungseinheit (117) bestimmt, ob ein entsprechender Satz von Merkmalen einer Bewegungsbahn des Gesichtsmerkmalspunkts des Subjekts, welcher durch die Bewegungsbahn-Beschaffungseinheit (111) beschafft wird, innerhalb des Bereiches von Bewegungsbahn-Merkmalen ist, welche durch die Wähleinheit (119) definiert sind, und wenn bestimmt wird, dass der entsprechende Satz von Merkmalen der Bewegungsbahn innerhalb des Bereiches von Bewegungsbahn-Merkmalen ist, welche durch die Wähleinheit (119) definiert sind, dann bestimmt, dass die bestimmte Kopfbewegung durch das Subjekt ausgeführt worden ist.
  3. Vorrichtung (1) nach Anspruch 1 oder 2, wobei der Gesichtsmerkmalspunkt des Subjekts aus einer Gruppe ausgewählt ist, welche aus einem linken Auge, einem rechten Auge, einem linken Ohr, einem rechten Ohr, einer Nase und einem Mund des Gesichts des Subjekts besteht.
  4. Vorrichtung (1) nach einem der Ansprüche 1 bis 3, wobei die bestimmte Kopfbewegung eine hin- und hergehende Kopfbewegung ist, und der Satz von Merkmalen der Bewegungsbahn des Gesichtsmerkmalspunkts des Subjekts während der hin- und hergehenden Kopfbewegung, welche von dem Subjekt ausgeführt wird, wenigstens eines einer vertikalen Amplitude (ΔY), einer horizontalen Amplitude (ΔX) und einer Zeitdauer der hin- und hergehenden Bewegung (ΔT) der Bewegungsbahn ist.
  5. Vorrichtung (1) nach Anspruch 4, wobei die bestimmte Kopfbewegung eine Kopfnick-Bewegung ist, und der Satz von Merkmalen der Bewegungsbahn des Gesichtsmerkmalspunkts während der Kopfnick-Bewegung, welche von dem Subjekt ausgeführt wird, die vertikale Amplitude (ΔY1), die horizontalen Amplitude (ΔX1) und die Zeitdauer der vertikalen hin- und hergehenden Bewegung (ΔT1) der Bewegungsbahn ist.
  6. Vorrichtung (1) nach Anspruch 4, wobei die bestimmte Kopfbewegung eine Kopfschüttel-Bewegung ist, und der Satz von Merkmalen der Bewegungsbahn des Gesichtsmerkmalspunkts während der Kopfschüttel-Bewegung, welche von dem Subjekt ausgeführt wird, die vertikale Amplitude (ΔY2), die horizontalen Amplitude (ΔX2) und die Zeitdauer der horizontalen hin- und hergehenden Bewegung (ΔT1) der Bewegungsbahn ist.
  7. Vorrichtung (1) nach einem der Ansprüche 1 bis 6, wobei die Vorrichtung in einem Fahrzeug angebracht ist, das Subjekt ein Fahrzeugführer des Fahrzeugs ist, und die Vorrichtung weiterhin Folgendes aufweist: eine Vibrationskomponenten-Abschätzeinheit (113), welche eine Vibrationskomponente aufgrund eines Fahrzeugverhaltens abschätzt, welche in einer Bewegungsbahn des Gesichtsmerkmalspunkts des Fahrzeugführers enthalten ist, welche durch die Bewegungsbahn-Beschaffungseinheit (111) beschafft wird; und eine Vibrationskomponenten-Entfernungseinheit (115), welche die Vibrationskomponente, welche durch die Vibrationskomponenten-Abschätzeinheit (113) abgeschätzt wird, von der Bewegungsbahn des Gesichtsmerkmalspunkts des Fahrzeugführers, welche durch die Bewegungsbahn-Beschaffungseinheit (111) beschafft wird, subtrahiert, um eine störungsfreie Bewegungsbahn des Gesichtsmerkmalspunkts des Fahrzeugführers zu beschaffen, wobei die Kopfbewegungs-Erfassungseinheit (117) die bestimmte Kopfbewegung, welche durch den Fahrzeugführer ausgeführt wird, auf der Basis eines Übereinstimmungsgrades zwischen dem Satz von Merkmalen der Bewegungsbahn, welcher vorher in der Speichereinheit (17) gespeichert wird, und einen entsprechenden Satz von Merkmalen der störungsfreien Bewegungsbahn des Gesichtsmerkmalspunkts des Fahrzeugführers, welcher durch die Vibrationskomponenten-Entfernungseinheit (115) beschafft wird, erfasst.
  8. Vorrichtung (1) nach einem der Ansprüche 1 bis 7, wobei die Speichereinheit (17) für jedes einer Mehrzahl von Subjekten den Satz von Merkmalen der Bewegungsbahn des Gesichtsmerkmalspunkts des Subjekts während der bestimmten Kopfbewegung, welche durch das Subjekt ausgeführt wird, speichert, und die Kopfbewegungs-Erfassungseinheit (117) eines der Mehrzahl von Subjekten identifiziert und für jedes der Mehrzahl von Subjekten die bestimmte Kopfbewegung, welche durch das Subjekt ausgeführt wird, auf Basis eines Übereinstimmungsgrades zwischen dem Satz von Merkmalen der Bewegungsbahn des Gesichtsmerkmalspunkts während der bestimmten Kopfbewegung, welche durch dasselbe Subjekt ausgeführt wird, der vorher in der Speichereinheit (17) gespeichert wird, und einem entsprechenden Satz von Merkmalen einer Bewegungsbahn des Gesichtsmerkmalspunkts des Subjekts, der durch die Bewegungsbahn-Beschaffungseinheit (111) beschafft wird, erfasst.
  9. Vorrichtung (1) nach einem der Ansprüche 1 bis 8, wobei die bestimmte Kopfbewegung eine erste bestimmte Kopfbewegung ist, die Speichereinheit (17) einen Satz von Merkmalen einer ersten Bewegungsbahn des Gesichtsmerkmalspunkts des Subjekts während der ersten bestimmten Kopfbewegung, welche durch das Subjekt ausgeführt wird, und einen Satz von Merkmalen einer zweiten Bewegungsbahn des Gesichtsmerkmalspunkts des Subjekts während einer zweiten bestimmten Kopfbewegung, welche durch das Subjekt ausgeführt wird, speichert, und die Kopfbewegungs-Erfassungseinheit (117) bestimmt, ob die erste Kopfbewegung, die zweite Kopfbewegung oder keine derselben durch das Subjekt ausgeführt wurde, und zwar auf Basis eines Übereinstimmungsgrades zwischen dem Satz von Merkmalen der ersten Bewegungsbahn, der vorher in der Speichereinheit (17) gespeichert wird, und einem entsprechenden Satz von Merkmalen einer Bewegungsbahn, der durch die Bewegungsbahn-Beschaffungseinheit (111) beschafft wird, und einem Übereinstimmungsgrad zwischen dem Satz von Merkmalen der zweiten Bewegungsbahn, der vorher in der Speichereinheit (17) gespeichert wird, und dem entsprechenden Satz von Merkmalen der Bewegungsbahn, der durch die Bewegungsbahn-Beschaffungseinheit (111) beschafft wird.
  10. Vorrichtung (1) nach Anspruch 9, wobei die erste bestimmte Kopfbewegung eine Kopfnick-Bewegung ist, und die zweite bestimmte Kopfbewegung eine Kopfschüttel-Bewegung ist.
  11. Vorrichtung (1) nach einem der Ansprüche 1 bis 10, weiterhin einen Merkmalspunkt-Detektor (9) aufweisend, welcher den Gesichtsmerkmalspunkt des Subjekts in jedem Gesichtsbild, welches durch die Bilderfassungseinheit (3) erfasst wird, erfasst.
  12. Vorrichtung (1) nach Anspruch 1, wobei der Satz von Merkmalen der Bewegungsbahn des Gesichtsmerkmalspunkts die Bewegungsbahn selbst aufweist.
DE102012112624A 2011-12-26 2012-12-19 Kopfbewegungs-Erfassungsvorrichtung Withdrawn DE102012112624A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011283892A JP2013132371A (ja) 2011-12-26 2011-12-26 動作検出装置
JP2011-283892 2011-12-26

Publications (1)

Publication Number Publication Date
DE102012112624A1 true DE102012112624A1 (de) 2013-06-27

Family

ID=48575757

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012112624A Withdrawn DE102012112624A1 (de) 2011-12-26 2012-12-19 Kopfbewegungs-Erfassungsvorrichtung

Country Status (4)

Country Link
US (1) US20130163825A1 (de)
JP (1) JP2013132371A (de)
KR (1) KR101438288B1 (de)
DE (1) DE102012112624A1 (de)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9595083B1 (en) * 2013-04-16 2017-03-14 Lockheed Martin Corporation Method and apparatus for image producing with predictions of future positions
KR101518904B1 (ko) * 2013-09-23 2015-05-11 현대자동차 주식회사 차량용 조작 장치
US9714037B2 (en) 2014-08-18 2017-07-25 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods
US9767373B2 (en) * 2014-09-05 2017-09-19 Ford Global Technologies, Llc Head-mounted display head pose and activity estimation
KR101766729B1 (ko) * 2016-04-04 2017-08-23 주식회사 서연전자 생체신호 획득 장치
US20180031849A1 (en) * 2016-07-29 2018-02-01 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Augmented reality head-up display road correction
JP7020264B2 (ja) * 2018-04-18 2022-02-16 富士通株式会社 動作判定プログラム、動作判定装置及び動作判定方法
CN112270299A (zh) 2018-04-25 2021-01-26 北京嘀嘀无限科技发展有限公司 一种识别头部运动的系统和方法
CN112819863B (zh) * 2021-04-16 2021-08-03 北京万里红科技股份有限公司 一种远距离虹膜识别中的抓拍目标跟踪方法及计算设备
EP4372700A1 (de) * 2022-11-18 2024-05-22 Aptiv Technologies AG System und verfahren zur innenraumerfassung in einem fahrzeug

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5829782A (en) * 1993-03-31 1998-11-03 Automotive Technologies International, Inc. Vehicle interior identification and monitoring system
JPH07117593A (ja) * 1993-10-21 1995-05-09 Mitsubishi Electric Corp 車両用警報装置
JP3627468B2 (ja) * 1997-09-08 2005-03-09 日産自動車株式会社 動作検出装置
US20060061551A1 (en) * 1999-02-12 2006-03-23 Vega Vista, Inc. Motion detection and tracking system to control navigation and display of portable displays including on-chip gesture detection
US8686922B2 (en) * 1999-12-15 2014-04-01 American Vehicular Sciences Llc Eye-location dependent vehicular heads-up display system
JP2007094935A (ja) * 2005-09-30 2007-04-12 Omron Corp 情報処理装置および情報処理方法、情報処理システム、プログラム、並びに、記録媒体
US7412077B2 (en) * 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8732623B2 (en) * 2009-02-17 2014-05-20 Microsoft Corporation Web cam based user interaction
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
IL204436A (en) * 2010-03-11 2016-03-31 Deutsche Telekom Ag A system and method for remote control of online TV by waving hands
US8817087B2 (en) * 2010-11-01 2014-08-26 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8306267B1 (en) * 2011-05-09 2012-11-06 Google Inc. Object tracking

Also Published As

Publication number Publication date
KR20130079229A (ko) 2013-07-10
US20130163825A1 (en) 2013-06-27
KR101438288B1 (ko) 2014-09-04
JP2013132371A (ja) 2013-07-08

Similar Documents

Publication Publication Date Title
DE102012112624A1 (de) Kopfbewegungs-Erfassungsvorrichtung
DE102017007942B4 (de) Vorrichtung und Verfahren zum Erfassen des physischen Zustands eines Fahrers
DE112015006160T5 (de) Emotionsschätzvorrichtung und Emotionsschätzverfahren
DE102004044771B4 (de) Verfahren zur bildbasierten Fahreridentifikation in einem Kraftfahrzeug
DE112017002765T5 (de) Zustandsabschätzungsvorrichtung, Zustandsabschätzungsverfahren und Zustandsabschätzungsprogramm
DE102018208920A1 (de) Informationsverarbeitungsvorrichtung und Abschätzungsverfahren für ein Abschätzen einer Blickrichtung einer Person und eine Lernvorrichtung und ein Lernverfahren
DE102009001921A1 (de) Vorrichtung und Verfahren zur Feststellung einer Sichtlinie
DE112017007011B4 (de) Gesichtsrichtungsschätzvorrichtung und Gesichtsrichtungsschätzverfahren
WO2009062775A1 (de) Überwachungssystem mit zustandserfassungsmodul, verfahren zur selbstüberwachung eines beobachters sowie computerprogramm
EP3221818A1 (de) Kamera in einem fahrzeug
DE112017007303B4 (de) Gesichtserkennungsvorrichtung
DE102006039946A1 (de) Verfahren und System zum Bestimmen der Bewegung eines Bilderfassungsgeräts
DE102012223481A1 (de) Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs
DE102007058959A1 (de) Konfigurationsmodul für ein Überwachungssystem, Überwachungssystem, Verfahren zur Konfiguration des Überwachungssystems sowie Computerprogramm
DE112018008131T5 (de) Zustandsbestimmungseinrichtung, zustandsbestimmungsverfahren und zustandsbestimmungsprogramm
DE102019103963A1 (de) Ildgebungsvorrichtung
DE102018127880A1 (de) Gestenbestimmungsvorrichtung und Programm
DE112018007360T5 (de) Bildverarbeitungsvorrichtung, Bildanzeigesystem und Bildverarbeitungsverfahren
DE112015003148T5 (de) Sichtlinieneingabeparameterkorrekturvorrichtung und Sichtlinieneingabevorrichtung
DE112019003500T5 (de) Abnormalitätsbestimmungsvorrichtung
DE102017124514B4 (de) Fahrzeughinterseitenbereichbildanzeigevorrichtung und fahrzeughinterseitenbereichbildanzeigeprogramm
DE102016106293A1 (de) Dynamische Stixel-Abschätzung unter Verwenden einer einzigen bewegten Kamera
DE102016205425A1 (de) Verfahren, Vorrichtung und System zum Überwachen eines Kindes
DE102017205386A1 (de) Fahrerbeobachtungsvorrichtung und Verfahren zum Beobachten eines Fahrers in einem Fahrzeug zum Bestimmen zumindest einer Position des Fahrers in dem Fahrzeug
DE102016210056A1 (de) Kameraanordnung zur Bestimmung des optischen Flusses, Fahrassistenzsystem und Überwachungskamera mit der Kameraanordnung

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee