-
HINTERGRUND
-
(Technisches Gebiet)
-
Die vorliegende Erfindung bezieht sich auf eine Kopfbewegungs-Erfassungsvorrichtung zum Erfassen einer Kopfbewegung eines Subjekts bzw. einer Person.
-
(Stand der Technik)
-
Eine bekannte Kopfbewegungs-Erfassungsvorrichtung, wie sie in dem
japanischen Patent Nr. 36 27 468 offenbart ist, erfasst bzw. fängt ein Gesichtsbild, d. h. ein Bild, welches ein Gesicht aufweist, eines Subjekts wiederholt jedes vorbestimmte Zeitintervall ein und erfasst eine Kopfbewegung des Subjekts auf der Basis einer Verschiebung bzw. Ausrückung aus einer Position eines bestimmten Gesichtsmerkmalspunkts, welcher in einem erfassten Gesichtsbild auftritt, zu einer Position des Gesichtsmerkmalspunkts, welcher in einem nachfolgend erfassten Gesichtsbild auftritt.
-
Die obenstehend offenbarte Vorrichtung vergleicht die Verschiebung des Gesichtsmerkmalspunkts mit einem feststehenden Grenzwert, und wenn bestimmt wird, dass eine vorbestimmte Beziehung (Ungleichheit) dazwischen erfüllt ist, bestimmt sie, dass eine Kopfbewegung durch das Subjekt ausgeführt wurde. Die Kopfbewegung kann sich jedoch von Person zu Person zu einem beträchtlichen Grad ändern. Der feststehende Grenzwert kann demnach zu einem Verpassen einer tatsächlichen Kopfbewegung oder zu einer unkorrekten Bestimmung, dass in Abwesenheit einer tatsächlichen Kopfbewegung eine Kopfbewegung durch das Subjekt ausgeführt wurde, führen.
-
Unter Berücksichtigung des Voranstehenden wäre es demnach wünschenswert, eine Kopfbewegungs-Erfassungsvorrichtung zu haben, welche in der Lage ist, eine Kopfbewegung eines Subjekts zuverlässiger zu erfassen.
-
KURZFASSUNG
-
In Übereinstimmung mit einer beispielhaften Ausführungsform der vorliegenden Erfindung ist eine Kopfbewegungs-Erfassungsvorrichtung vorgesehen, welche Folgendes aufweist: eine Bild-Erfassungsvorrichtung, welche ein Gesichtsbild eines Subjekts erfasst; eine Bewegungsbahn- bzw. Zustandsbahn-Beschaffungseinheit, welche eine Bewegungsbahn bzw. Zustandsbahn eines Gesichtsmerkmalspunkts des Subjekts über der Zeit aus einer Abfolge bzw. Sequenz von Gesichtsbildern, welche durch die Bild-Erfassungseinheit erfasst werden, beschafft; eine Speichereinheit, welche einen Satz von Merkmalen einer Bewegungsbahn des Gesichtsmerkmalspunkts des Subjekts während einer bestimmten Kopfbewegung, welche durch das Subjekt ausgeführt wird, speichert, wobei die Bewegungsbahn durch die Bewegungsbahn-Beschaffungseinheit aus einer Sequenz von Gesichtsbildern beschafft wird, welche durch die Bild-Erfassungseinheit während der bestimmten Kopfbewegung, welche durch das Subjekt ausgeführt wird, erfasst werden; und eine Kopfbewegungs-Erfassungseinheit, welche die bestimmte Kopfbewegung, welche durch das Subjekt ausgeführt wird, auf der Basis eines Übereinstimmungsgrades zwischen dem Satz von Merkmalen der Bewegungsbahn, welcher vorher in der Speichereinheit gespeichert wurde, und einem entsprechenden Satz von Merkmalen einer Bewegungsbahn, welcher durch die Bewegungsbahn-Beschaffungseinheit beschafft wurde, erfasst.
-
Mit dieser Konfiguration kann, auch wenn eine Kopfbewegung (beispielsweise ein Kopfnicken oder eine schüttelnde Bewegung) sich von Person zu Person ändern mag, zuverlässiger bestimmt werden, ob die bestimmte Kopfbewegung durch das Subjekt ausgeführt wurde, oder nicht.
-
Vorzugsweise ist, wenn die bestimmte Kopfbewegung eine hin- und hergehende Kopfbewegung ist, der Satz von Merkmalen der Bewegungsbahn des Gesichtsmerkmalspunkts des Subjekts während der hin- und hergehenden Kopfbewegung, welche durch das Subjekt ausgeführt wird, wenigstens eines einer vertikalen Amplitude, einer horizontalen Amplitude und einer Dauer der hin- und hergehenden Bewegung der Bewegungsbahn.
-
Dies führt zu einer zuverlässigeren Bestimmung, ob die bestimmte Kopfbewegung durch das Subjekt ausgeführt wurde oder nicht.
-
Vorzugsweise weist, wenn die Vorrichtung in einem Fahrzeug angebracht ist, und das Subjekt ein Fahrzeugführer des Fahrzeugs ist, die Vorrichtung weiterhin Folgendes auf: Eine Vibrationskomponenten- bzw. Vibrationsbestandteil-Abschätzeinheit, welche eine Vibrationskomponente bzw. einen Vibrationsbestandteil aufgrund eines Fahrzeugverhaltens abschätzt, welche in einer Bewegungsbahn des Gesichtsmerkmalspunkts des Fahrers enthalten ist, welche durch die Bewegungsbahn-Beschaffungseinheit beschafft wird; und eine Vibrationskomponenten-Entfernungseinheit, welche die Vibrationskomponente, welche durch die Vibrationskomponenten-Abschätzeinheit abgeschätzt wird, von der Bewegungsbahn des Gesichtsmerkmalspunktes des Fahrzeugführers, welche durch die Bewegungsbahn-Beschaffungseinheit beschafft wird, subtrahiert, um eine störungsfreie Bewegungsbahn des Gesichtsmerkmalspunkts des Fahrzeugführers zu beschaffen. In der Vorrichtung erfasst die Kopfbewegungs-Erfassungsvorrichtung die bestimmte Kopfbewegung, welche durch den Fahrzeugführer ausgeführt wird, auf der Basis eines Übereinstimmungsgrades zwischen dem Satz von Merkmalen der Bewegungsbahn, welcher vorher in der Speichereinheit gespeichert wurde, und einem entsprechenden Satz von Merkmalen der störungsfreien Bewegungsbahn des Gesichtsmerkmalspunkts des Fahrzeugführers, welcher durch die Vibrationskomponenten-Entfernungseinheit beschafft wird.
-
Dies kann Vibrationseffekte verringern, welche durch das Fahrzeugverhalten verursacht werden, und führt zu einer zuverlässigeren Bestimmung, ob die bestimmte Kopfbewegung durch den Fahrer ausgeführt wurde oder nicht.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
In den beigefügten Zeichnungen zeigt:
-
1A ein schematisches Blockschaltbild einer Kopfbewegungs-Erfassungsvorrichtung in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung;
-
1B ein schematisches Blockschaltbild eines Kopfbewegungs-Detektors der Kopfbewegungs-Erfassungsvorrichtung;
-
1C ein schematisches Blockschaltbild eines Kopfbewegungs-Detektors einer Kopfbewegungs-Erfassungsvorrichtung in Übereinstimmung mit einer Abwandlung der Ausführungsform;
-
2 eine beispielhafte Installation der Kopfbewegungs-Erfassungsvorrichtung in einem Fahrzeug-Passagierraum;
-
3 ein Flussdiagramm für einen Erzeugungsvorgang einer persönlichen Datenbank;
-
4 ein beispielhaftes Gesichtsbild eines Fahrzeugführers;
-
5A eine vertikale Komponente bzw. einen vertikalen Bestandteil einer Bewegungsbahn eines Fahrzeugführer-Auges, welche aus Gesichtsbildern beschafft wird, welche während einer Kopf-Nickbewegung erfasst werden;
-
5B eine horizontale Komponente der Bewegungsbahn des Fahrzeugführer-Auges, welche aus Gesichtsbildern beschafft wird, welche während der Kopf-Nickbewegung erfasst werden;
-
5C eine vertikale Komponente einer Bewegungsbahn des Fahrzeugführer-Auges, welche aus Gesichtsbildern beschafft wird, welche während einer Kopf-Schüttelbewegung erfasst werden;
-
5D eine horizontale Komponente der Bewegungsbahn des Fahrzeugführer-Auges, welche aus Gesichtsbildern beschafft wird, welche während der Kopf-Schüttelbewegung erfasst werden;
-
6 ein Flussdiagramm für einen Kopfbewegungs-Erfassungsvorgang, welcher in der Kopfbewegungs-Erfassungsvorrichtung durchgeführt wird;
-
7A eine Bewegungsbahn (in der vertikalen Richtung) des Fahrzeugführer-Auges über der Zeit, wobei die Bewegungsbahn eine Vibrationskomponente aufgrund eines Fahrzeugverhaltens und eine Komponente aufgrund einer Kopfbewegung des Fahzeugführers aufweist;
-
7B die Vibrationskomponente aufgrund des Fahrzeugverhaltens, welche in der Bewegungsbahn der 7A enthalten ist;
-
7C die Komponente aufgrund der Kopfbewegung des Fahrzeugführers, welche in der Bewegungsbahn der 7A enthalten ist; und
-
8 ein beispielhaftes Anzeigebild.
-
BESCHREIBUNG VON BESTIMMTEN AUSFÜHRUNGSFORMEN
-
Die vorliegende Erfindung wird hierin nachstehend vollständiger unter Bezugnahme auf die beigefügten Zeichnungen beschrieben werden. Gleiche Bezugszeichen beziehen sich durchgehend auf gleiche Elemente.
-
1. Hardware-Konfiguration
-
Es wird nun eine Kopfbewegungs-Erfassungsvorrichtung in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die 1A, 1B und 2 erklärt werden. 1A zeigt ein schematisches Blockschaltbild der Kopfbewegungs-Erfassungsvorrichtung 1. 1B zeigt ein schematischs Blockschaltbild eines Kopfbewegungs-Detektors der Kopfbewegungs-Erfassungsvorrichtung 1. 2 zeigt eine beispielhafte Installation der Kopfbewegungs-Erfassungsvorrichtung 1 in einem Fahrzeug-Passagierraum.
-
Die Kopfbewegungs-Erfassungsvorrichtung 1 ist in einem Fahrzeug angebracht und weist eine Kamera (als eine Bilderfassungseinheit) 3, einen A/D-Wandler (Analog-Digital-Wandler) 5, einen Bildspeicher 7, einen Merkmalspunkt-Detektor 9, einen Kopfbewegungs-Detektor 11, einen Informationsanzeige-Controller bzw. eine Informationsanzeige-Steuerung 13, eine Informationsanzeige 15, einen ersten Speicher (als eine Speichereinheit) 17 zum Speichern einer persönlichen Datenbank, einen zweiten Speicher 19 zum Speichern einer Informationsdatenbank, einen manuellen Schalter 21, einen Fahrzeug-Geschwindigkeitssensor 23, einen Beschleunigungsmesser 25, einen Gierraten- bzw. Giergeschwindigkeits-Sensor 27, einen Sitzdrucksensor 29, einen zentralen Controller bzw. eine zentrale Steuerung 31, einen Beleuchtungs-Controller bzw. eine Beleuchtungs-Steuerung 33 und eine Beleuchtungseinrichtung 35 auf.
-
Wie in 2 gezeigt ist, ist die Kamera 3 in dem Passagierraum des Fahrzeuges angeordnet, um ein Bild, welches ein Gesicht aufweist, d. h. ein Gesichtsbild eines Fahrzeugführers (als ein Subjekt) zu erfassen. Der A/D-Wandler 5 führt mit Daten des Gesichtsbildes, welches durch die Kamera 3 erfasst wird, eine Analog-Digital-Umwandlung durch, und speichert die umgewandelten Gesichtsbild-Daten in dem Bildspeicher 7. Der Merkmalspunkt-Detektor 9 erfasst ein linkes oder rechtes Auge (als einen Gesichtsmerkmalspunkt) des Fahrzeugführers aus den Gesichtsbild-Daten, welche in dem Bildspeicher 7 gespeichert sind, durch eine Verwendung einer von wohlbekannten Bild-Analysetechniken. Der Kopfbewegungs-Detektor 11 erfasst eine Kopfbewegung des Fahrers auf der Basis einer Bewegungsbahn des Fahrzeugführer-Auges, welche durch den Merkmalspunkt-Detektor 9 erfasst wird. Die Bewegungsbahn ist ein Pfad bzw. Weg, welcher eine Sequenz von Orten des Fahrzeugführer-Auges, welche in den jeweiligen Gesichtsbildern auftritt, welche zu vorbestimmten Zeitintervallen erfasst werden, verbindet. Dieser Kopfbewegungs-Erfassungsvorgang wird später im Detail beschrieben werden. Die Informationsanzeige-Steuerung 13 steuert die Informationsanzeige 15 in Antwort auf Erfassungen des Kopfbewegungs-Detektors 11. Die Informationsanzeige 15 kann ein rekonstruiertes Bild anzeigen und kann eine Anzeige 15a oder ein Headup-Display (HUD = Head-Up-Display) 15b des Navigationssystems 36 oder eine Kombination davon sein.
-
Der Speicher 17 speichert eine persönliche Datenbank (welche später beschrieben werden wird). Der Speicher 17 speichert ein Gesichtsmuster, d. h. ein Muster von Gesichtsmerkmalspunkten von jedem Verwender, welches für eine persönliche Authentifizierung (welche später beschrieben werden wird) verwendet wird. Der Speicher 19 speichert Informationen (Anzeigebilder, wie beispielsweise Icons), welche auf der Informationsanzeige 15 anzuzeigen sind.
-
Der manuelle Schalter 21 kann durch den Fahrzeugführer gehandhabt bzw. betätigt werden. Der Fahrzeuggeschwindigkeitssensor 23, der Beschleunigungsmesser 25, der Gierraten-Sensor 27 und der Sitzdrucksensor 29 erfassen jeweils eine Geschwindigkeit des Fahrzeugs, eine Beschleunigung des Fahrzeugs, eine Gierrate des Fahrzeugs und einen Druck, welcher durch den Fahrzeugführer auf einen Fahrzeugführersitz 38 ausgeübt wird,. Die zentrale Steuerung 31 führt verschiedene Steuervorgänge in Antwort auf Eingaben, welche für den manuellen Schalter 21 vorgesehen sind, und auf erfasste Werte des Fahrzeuggeschwindigkeitssensors 23, des Beschleunigungsmessers 25, des Gierraten-Sensors 27 und des Sitzdrucksensors 29 durch. Die Beleuchtungs-Steuerung 33 steuert die Helligkeit der Beleuchtungseinrichtung 35. Die Beleuchtungseinrichtung 35 ist, wie in 2 gezeigt ist, angeordnet, um das Gesicht des Fahrers zu beleuchten bzw. auszuleuchten.
-
Bezug nehmend auf 1B weist der Kopfbewegungs-Detektor 11 eine Bewegungsbahn-Beschaffungseinheit (als Bewegungsbahn-Beschaffungsmittel) 111, eine Vibrationskomponenten- bzw. Vibrationsbestandteil-Abschätzeinheit (als Vibrationskomponenten-Abschätzmittel) 113, eine Vibrationskomponenten-Entfernungseinheit (als Vibrationskomponenten-Entfernungsmittel) 115, eine Kopfbewegungs-Erfassungseinheit (als Kopfbewegungs-Erfassungsmittel) 117 und eine Wähleinheit bzw. Setzeinheit (als Wählmittel bzw. Setzmittel) 119 auf.
-
Die Bewegungsbahn-Beschaffungseinheit 111 beschafft eine Bewegungsbahn des Fahrzeugführer-Auges (Gesichtsmerkmalspunkt), welche durch den Merkmalspunkt-Detektor 9 über der Zeit aus einer Sequenz von Gesichtsbildern erfasst wird, welche zu vorbestimmten Zeitintervallen und unter Verwendung der Kamera 3 erfasst werden. Die Bewegungsbahn ist ein Weg, welcher eine Sequenz von Orten des Fahrzeugführer-Auges in den jeweiligen Gesichtsbildern verbindet.
-
Die Vibrationskomponenten-Bestimmungseinheit 113 berechnet oder schätzt eine Vibrationskomponente aufgrund eines Fahrzeugverhaltens ab, welche in einer Bewegungsbahn des Fahrzeugführer-Auges enthalten ist, welche durch die Bewegungsbahn-Beschaffungseinheit 111 beschafft wird.
-
Die Vibrationskomponenten-Entfernungseinheit 115 subtrahiert eine Vibrationskomponente (welche eine Störung ist) aufgrund eines Fahrzeugverhaltens, welche durch die Vibrationskomponenten-Abschätzeinheit 113 abgeschätzt wird, von der Bewegungsbahn, welche durch die Bewegungsbahn-Beschaffungseinheit 111 beschafft wird, um eine störungsfreie Bewegungsbahn zu berechnen. Das heißt, die störungsfreie Bewegungsbahn wird erhalten durch ein Subtrahieren der Vibrationskomponente von der Bewegungsbahn, welche durch die Bewegungsbahn-Beschaffungseinheit 111 beschafft wird.
-
Die Kopfbewegungs-Erfassungseinheit 117 erfasst eine bestimmte Kopfbewegung, wie beispielsweise eine Kopfnick-Bewegung oder eine Kopfschüttel-Bewegung oder dergleichen, welche durch den Fahrer (das Subjekt) ausgeführt wird, auf der Basis eines Übereinstimmungsgrades zwischen einem Satz von Merkmalen (welche später beschrieben werden werden) der Bewegungsbahn während der bestimmten Kopfbewegung, welche durch den Fahrer ausgeführt wird, welche vorher in dem ersten Speicher 17 gespeichert werden, und einen entsprechenden Satz von Merkmalen der störungsfreien Bewegungsbahn, welche durch die Vibrationskomponenten-Entfernungseinheit 115 berechnet wird. Wenn der Satz von Merkmalen der störungsfreien Bewegungsbahn innerhalb eines Bereiches von Bewegungsbahn-Merkmalen ist (welche ebenso später beschrieben werden werden), welche für den Fahrer spezifisch sind (was bedeutet, dass ein höherer Übereinstimmungsgrad existiert zwischen dem Satz von Merkmalen der Bewegungsbahn des Fahrzeugführer-Auges während der bestimmten Kopfbewegung, welcher vorher in dem ersten Speicher 17 gespeichert wird, und dem Satz von Merkmalen der störungsfreien Bewegungsbahn), dann bestimmt die Kopfbewegungs-Erfassungseinheit 117, dass die bestimmte Kopfbewegung durch den Fahrzeugführer ausgeführt wurde.
-
Die Setz- bzw. Wähleinheit 119 definiert den Bereich von Bewegungsbahn-Merkmalen, welche für den Fahrzeugführer spezifisch sind, zum Erfassen der bestimmten Kopfbewegung, welche durch den Fahrzeugführer ausgeführt wird, als eine Funktion des Satzes von Merkmalen der Bewegungsbahn des Gesichtsmerkmalspunktes während der bestimmten Kopfbewegung, welche durch den Fahrzeugführer ausgeführt wird, welcher vorher in dem ersten Speicher 17 gespeichert wird.
-
2. Vorgang, der in der Kopfbewegungs-Erfassungsvorrichtung durchgeführt wird
-
(1) Erzeugung der persönlichen Datenbank
-
Ein Vorgang zur Erzeugung der persönlichen Datenbank wird nun unter Bezugnahme auf die 3, 4 und 5A bis 5D erklärt werden. 3 zeigt ein Flussdiagramm für den Erzeugungsvorgang für die persönliche Datenbank, welcher in der Kopfbewegungs-Erfassungsvorrichtung 1 durchgeführt wird. 4 zeigt ein beispielhaftes Gesichtsbild des Fahrzeugführers, welches zum Erklären des Erzeugungsvorgangs für die persönliche Datenbank verwendet wird. Die 5A und 5B zeigen vertikale und horizontale Komponenten der Bewegungsbahn des Fahrzeugführer-Auges jeweils über der Zeit, beschafft aus Gesichtsbildern, welche während einer Kopfnick-Bewegung erfasst wurden. Die 5C und 5D zeigen vertikale und horizontale Komponenten der Bewegungsbahn des Fahrzeugführer-Auges jeweils über der Zeit, beschafft aus Gesichtsbildern, welche während einer Kopfschüttel-Bewegung erfasst wurden.
-
Der Erzeugungsvorgang für die persönliche Datenbank wird unter Steuerung der zentralen Steuerung 31 durchgeführt, wenn das Fahrzeug stationär ist und die Maschine gestoppt ist. Wenn eine vorbestimmte Eingabe an den manuellen Schalter 21 durch den Fahrzeugführer vorgesehen ist oder wenn der Fahrzeugführers durch den Sitzdrucksensor 29 oder die Kamera 3 oder dergleichen sensiert bzw. erkannt wird, wird der Erzeugungsvorgang für die persönliche Datenbank gestartet.
-
Bezug nehmend auf 3 wird in Schritt S10 ein Gesichtsbild des Fahrzeugführers durch die Kamera 3 erfasst. Das Gesichtsbild des Fahrzeugführers weist, wie in 4 gezeigt ist, ein Gesicht 37 des Fahrzeugführers auf. Nachfolgend wird ein Muster von Gesichtsmerkmalspunkten (Augen 39, eine Nase 41, ein Mund 43 und dergleichen) aus dem erfassten Gesichtsbild des Fahrzeugführers durch den Merkmalspunkt-Detektor 9 beschafft. Das beschaffte Merkmalspunktmuster wird mit einem Merkmalspunktmuster jedes Verwenders, welches vorher in dem Speicher (persönliche Datenbank) 17 gespeichert ist, verglichen. Eines der vorher gespeicherten Merkmalspunktmuster, welches mit dem beschafften Merkmalspunktmuster übereinstimmt, wird ausgewählt. Der Fahrzeugführer kann als der Verwender, welcher das ausgewählte Merkmalspunktmuster hat, identifiziert werden.
-
In Schritt S20 wird eine Mitteilung wie beispielsweise „Möchten Sie eine persönliche Datenbank erzeugen?” auf der Anzeige 15a angezeigt. Wenn eine Eingabe, welche der Antwort „JA” entspricht, für den manuellen Schalter 21 innerhalb einer vorbestimmten Zeitdauer nach dem Anzeigen der obigen Mitteilung in Schritt S20 vorgesehen wird, dann schreitet der Vorgang zu Schritt S30 voran. Wenn eine Eingabe entsprechend der Antwort „NEIN” oder keine Eingabe für den manuellen Schalter 21 innerhalb der vorbestimmten Zeitdauer nach dem Anzeigen der obigen Mitteilung in Schritt S20 vorgesehen wird bzw. ist, dann wird der Vorgang beendet.
-
In Schritt S30 wird eine Mitteilung wie beispielsweise „Bitte nicken Sie mit dem Kopf.” auf der Anzeige 15a angezeigt.
-
In Schritt S40 wird ein Gesichtsbild des Fahrzeugführers wiederholt jedes erste vorbestimmte Zeitintervall durch ein Verwenden der Kamera 3 über eine erste vorbestimmte Zeitdauer nach dem Anzeigen der obigen Mitteilung in Schritt S30 erfasst. Das erste vorbestimmte Zeitintervall ist kurz genug gewählt, um eine Bildanalyse einer Bewegungsbahn des Fahrzeugführer-Auges über die erste vorbestimmte Zeitdauer zu ermöglichen (was später beschrieben werden wird).
-
In Schritt S50 wird eine Mitteilung wie beispielsweise „Bitte schütteln Sie Ihren Kopf.” auf der Anzeige 15a angezeigt.
-
In Schritt S60 wird ein Gesichtsbild des Fahrzeugführers wiederholt jedes zweite vorbestimmte Zeitintervall durch ein Verwenden der Kamera 3 über eine zweite vorbestimmte Zeitdauer nach dem Anzeigen der Mitteilung in Schritt S50 erfasst. Jedes zweite vorbestimmte Zeitintervall ist kurz genug gewählt, um eine Bildanalyse einer Bewegungsbahn des Fahrzeugführer-Auges über die zweite vorbestimmte Zeitdauer zu ermöglichen (was später beschrieben werden wird)..
-
Das erste und das zweite Zeitintervall können gleich zueinander sein oder sie können unterschiedlich voneinander sein. Die erste und die zweite Zeitdauer können gleich zueinander sein oder sie können unterschiedlich voneinander sein.
-
In Schritt S70 wird die Bewegungsbahn des Fahrzeugführer-Auges über die erste vorbestimmte Zeitdauer beschafft, welche ein Weg ist, welcher eine Sequenz von Orten des Fahrzeugführer-Auges verbindet, welche in den jeweiligen Gesichtsbildern auftreten, welche in Schritt S40 erfasst werden. Die 5A und 5B zeigen vertikale und horizontale Komponenten der Bewegungsbahn des Fahrzeugführer-Auges jeweils während der Kopfnick-Bewegung. Die vertikale Achse in 5A repräsentiert vertikale Positionen und die horizontale Achse in 5A repräsentiert die Zeit. Die vertikale Achse in 5B repräsentiert horizontale Positionen und die horizontale Achse in 5B repräsentiert die Zeit.
-
Wie in 5A gezeigt ist, bewegt sich die vertikale Position (in Y-Richtung) des Fahrzeugführer-Auges mit einer großen Amplitude über der Zeit t hin und her. Wie in 5B gezeigt ist, bewegt sich die horizontale Position (in X-Richtung) des Fahrzeugführer-Auges mit einer kleinen Amplitude über der Zeit t hin und her. In Schritt S70 werden zusätzlich zu der Bewegungsbahn des Fahrzeugführer-Auges über der Zeit eine vertikale Amplitude ΔY1, eine horizontale Amplitude ΔX1 und eine Zeitdauer der vertikalen hin- und hergehenden Bewegung ΔT1 der Bewegungsbahn beschafft.
-
In Schritt S80 wird die Bewegungsbahn des Fahrzeugführer-Auges über die zweite vorbestimmte Zeitdauer beschafft, welche ein Weg ist, welcher eine Sequenz von Orten des Fahrzeugführer-Auges verbindet, welche in den jeweiligen Gesichtsbildern, welche in Schritt S60 erfasst werden, auftreten. Die 5C und 5D zeigen vertikale und horizontale Komponenten der Bewegungsbahn des Fahrzeugführer-Auges jeweils während der Kopfschüttel-Bewegung. Die vertikale Achse in 5C repräsentiert vertikale Positionen und die horizontale Achse in 5C repräsentiert die Zeit. Die vertikale Achse in 5D repräsentiert horizontale Positionen und die horizontale Achse in 5D repräsentiert die Zeit.
-
Wie in 5D gezeigt ist, bewegt sich die horizontale Position (in X-Richtung) des Fahrzeugführer-Auges mit einer großen Amplitude über der Zeit t hin und her. Wie in 5C gezeigt ist, bewegt sich die vertikale Position (in Y-Richtung) des Fahrzeugführer-Auges mit einer kleinen Amplitude über der Zeit t hin und her. In Schritt S80 werden zusätzlich zu der Bewegungsbahn des Fahrzeugführer-Auges über der Zeit einer vertikale Amplitude ΔY2, eine horizontale Amplitude ΔX2 und eine Zeitdauer der horizontalen hin- und hergehenden Bewegung ΔT2 der Bewegungsbahn beschafft.
-
In Schritt S90 werden die Bewegungsbahn des Fahrzeugführer-Auges, die vertikale Amplitude ΔY1, die horizontale Amplitude ΔX1 und die Zeitdauer der vertikalen hin- und hergehenden Bewegung ΔT1 für die Kopfnick-Bewegung, welche in Schritt S70 beschafft werden, in dem Speicher 17 in Verbindung mit dem Personenkreis, der in Schritt S10 authorisiert wird, gespeichert. Die Bewegungsbahn des Fahrzeugführer-Auges, die vertikale Amplitude ΔY2, die horizontale Amplitude ΔX2 und die Zeitdauer der horizontalen hin- und hergehenden Bewegung ΔT2 für die Kopfschüttel-Bewegung, welche in Schritt S80 beschafft werden, werden ebenso in dem Speicher 17 in Verbindung mit dem Personenkreis, der in Schritt S10 authorisiert wird, gespeichert.
-
(2) Kopfbewegungs-Erfassung
-
Es wird nun ein Kopfbewegungs-Erfassungsvorgang, welcher in der Kopfbewegungs-Erfassungsvorrichtung 1 durchgeführt wird, unter Bezugnahme auf die 6 bis 8 erklärt werden. 6 zeigt ein Flussdiagramm für den Kopfbewegungs-Erfassungsvorgang. Die 7A bis 7C zeigen, wie ein Vibrationskomponenten-Entfernungsvorgang (welcher später erklärt werden wird) durchgeführt wird. 8 zeigt ein beispielhaftes Anzeigebild. Der Kopfbewegungs-Erfassungsvorgang wird ebenso unter der Steuerung der zentralen Steuerung 31 durchgeführt.
-
Bezug nehmend auf 6 wird in Schritt S110 ein Gesichtsbild des Fahrzeugführers wiederholt jedes dritte vorbestimmte Zeitintervall durch ein Verwenden der Kamera 3 über eine dritte vorbestimmte Zeitdauer hin erfasst, wie in Schritt S40 oder S60. Das dritte vorbestimmte Zeitintervall kann gleich zu dem ersten oder zweiten vorbestimmten Zeitintervall sein, oder es kann unterschiedlich davon sein. Die dritte vorbestimmte Zeitdauer kann gleich zu der ersten oder zweiten vorbestimmten Zeitdauer sein, oder sie kann unterschiedlich davon sein.
-
In Schritt S120 wird eine Bewegungsbahn des Fahrzeugführer-Auges über die dritte vorbestimmte Zeitdauer beschafft, welche ein Weg ist, welcher eine Sequenz von Orten des Fahrzeugführer-Auges verbindet, welche in den jeweiligen Gesichtsbildern, welche in Schritt S110 erfasst werden, auftreten.
-
In Schritt S130 wird eine Vibrationskomponente aufgrund eines Fahrzeugverhaltens während der dritten vorbestimmten Zeit abgeschätzt, beispielsweise durch eine Verwendung von erfassten Werten des Beschleunigungsmessers 25 und des Sitzdrucksensors 29. Alternativ kann die Vibrationskomponente abgeschätzt werden durch ein Verwenden einer Unschärfebreite (blur width) und einer Geschwindigkeit des Fahrzeugführer-Auges, welche erfasst werden, wenn durch den Fahrzeugführer keine Kopfbewegung ausgeführt wird.
-
In Schritt S140 wird die Vibrationskomponente, welche in Schritt S130 abgeschätzt wird, von der Bewegungsbahn, welche in Schritt S120 beschafft wird, subtrahiert. Im Allgemeinen weist die Bewegungsbahn, welche in Schritt S120 beschafft wird, wie in 7A gezeigt ist, eine Komponente aufgrund nur einer Kopfbewegung des Fahrzeugführers, wie in 7C gezeigt ist, und eine Vibrationskomponente aufgrund eines Fahrzeugverhaltens (was eine Störung ist), wie in 7B gezeigt ist, auf. Demnach kann die Komponente aufgrund der Kopfbewegung des Fahrzeugführers (hierauf wird hierin nachstehend auch Bezug genommen als störungsfreie Bewegungsbahn) durch ein Subtrahieren der Vibrationskomponente aufgrund des Fahrzeugverhaltens von der Bewegungsbahn, welche in Schritt S120 beschafft wird, erhalten werden.
-
In Schritt S150 wird auf der Basis der störungsfreien Bewegungsbahn, welche in Schritt S140 beschafft wird, bestimmt, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine derselben durch den Fahrzeugführer ausgeführt wurde.
-
Zu diesem Zweck wird zuerst die persönliche Datenbank des Fahrzeugführers aus dem Speicher 17 ausgelesen. Wie obenstehend beschrieben ist, weist die persönliche Datenbank die vertikale Amplitude ΔY1, die horizontale Amplitude ΔX1 und die Zeitdauer der vertikalen hin- und hergehenden Bewegung ΔT1 der Bewegungsbahn des Fahrzeugführer-Auges während der Kopfnick-Bewegung auf. Die persönliche Datenbank weist weiterhin die vertikale Amplitude ΔY2, die horizontale Amplitude ΔX2 und die Zeitdauer der horizontalen hin- und hergehenden Bewegung ΔT2 der Bewegungsbahn des Fahrzeugführer-Auges während der Kopfschüttel-Bewegung auf.
-
Grenzwerte TY1, TX1, TT1, TY2, TX2 und TT2, auf der Basis von welchen bestimmt wird, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine derselben ausgeführt wurde, werden wie folgt durch Verwendung der vertikalen Amplitude ΔY1, der horizontalen Amplitude ΔX1, der Zeitdauer der vertikalen hin- und hergehenden Bewegung ΔT1, der vertikalen Amplitude ΔY2, der horizontalen Amplitude ΔX2 und der Zeitdauer der horizontalen hin- und hergehenden Bewegung ΔT2, welche in dem Speicher 17 gespeichert sind, bestimmt. TY1 = (ΔY1) × α, TX1 = (ΔX1) × β TT1 = (ΔT1) × γ, TY2 = (ΔY2) × β, TX2 = (ΔX2) × α, TT2 = (ΔT2) × γ, wobei α (Alpha) = 0,5, β (Beta) = 2 und γ (Gamma) = 1,5.
-
Nachfolgend werden eine vertikale Amplitude ΔY, eine horizontale Amplitude ΔX und eine Zeitdauer der hin- und hergehenden Bewegung ΔT (d. h. ein Satz von Merkmalen der störungsfreien Bewegungsbahn) aus der störungsfreien Bewegungsbahn, welche in Schritt S140 beschafft wird, berechnet, d. h. die Komponente aufgrund der Kopfbewegung des Fahrzeugführers, welche erhalten wird durch ein Subtrahieren der Vibrationskomponente aufgrund des Fahrzeugverhaltens von der Bewegungsbahn, welche in Schritt S120 beschafft wird.
-
Wenn die folgenden Ungleichungen (1) bis (3) alle erfüllt sind, d. h. wenn die vertikale Amplitude ΔY, die horizontale Amplitude ΔX und die Zeitdauer der hin- und hergehenden Bewegung ΔT der störungsfreien Bewegungsbahn, welche in Schritt S140 beschafft wird, innerhalb eines ersten Bereiches von Bewegungsbahn-Merkmalen sind, welcher durch die Ungleichungen (1) bis (3) definiert bzw. begrenzt ist, was ein dreidimensionaler Bereich ist (was bedeutet, dass ein höherer Übereinstimmungsgrad zwischen dem Satz von Merkmalen der Bewegungsbahn des Fahrzeugführer-Auges während der Kopfnick-Bewegung, welche vorher in dem ersten Speicher 17 gespeichert werden, und dem Satz von Merkmalen der störungsfreien Bewegungsbahn existiert), dann wird bestimmt, dass die Kopfnick-Bewegung durch den Fahrzeugführer ausgeführt wurde. Wenn die folgenden Ungleichungen (4) bis (6) erfüllt sind, d. h. wenn die vertikale Amplitude ΔY, die horizontale Amplitude ΔX und die Zeitdauer der hin- und hergehenden Bewegung ΔT der störungsfreien Bewegungsbahn, welche in Schritt S140 beschafft wird, innerhalb eines zweiten Bereiches von Bewegungsbahn-Merkmalen sind, welcher durch die Ungleichungen (4) bis (6) definiert bzw. begrenzt ist, welcher ebenso ein dreidimensionaler Bereich ist (was bedeutet, dass ein höherer Übereinstimmungsgrad zwischen dem Satz von Merkmalen der Bewegungsbahn des Fahrzeugführer-Auges während der Kopfschüttel-Bewegung, welche vorher in dem ersten Speicher 17 gespeichert werden, und dem Satz von Merkmalen der störungsfreien Bewegungsbahn existiert), dann wird bestimmt, dass die Kopfschüttel-Bewegung durch den Fahrzeugführer ausgeführt wurde. Falls nichts des Obigen gilt, dann wird bestimmt, dass weder die Kopfnick-Bewegung noch die Kopfschüttel-Bewegung durch den Fahrzeugführer ausgeführt wurde. ΔY > TY1 (1), ΔX < TX1 (2), ΔT < TT1 (3), ΔY < TY2 (4), ΔX > TX2 (5), ΔT < TT2 (6).
-
Wenn in Schritt S150 bestimmt wird, dass die Kopfnick-Bewegung durch den Fahrzeugführer ausgeführt wurde, dann wird der Gegenstand bzw. Punkt, welcher durch den Cursor oder dergleichen auf der Anzeige 15a des Navigationssystems 36 bereits ausgewählt wurde, durchgeführt werden. Beispielsweise wurde, wie in 8 gezeigt ist, der Punkt „NAVIGATION” durch den Cursor bereits ausgewählt, und dieser Punkt wird dann durchgeführt werden. Wenn in Schritt S150 bestimmt wird, dass die Kopfschüttel-Bewegung durch den Fahrzeugführer ausgeführt wurde, dann wird sich der Cursor oder dergleichen von einem Punkt zu dem nächsten Punkt auf der Anzeige 15a des Navigationssystems 36 bewegen, und der nächste Punkt wird ausgewählt werden. Beispielsweise wird, wie in 8 gezeigt ist, der Cursor sich von dem Punkt „NAVIGATION” zu dem Punkt „MUSIC” bewegen und der Punkt „MUSIC” wird ausgewählt werden. Wenn in Schritt S150 bestimmt wird, dass weder die Kopfnick-Bewegung noch die Kopfschüttel-Bewegung durch den Fahrzeugführer ausgeführt wurde, dann wird nichts geschehen.
-
3. Einige Vorzüge
-
- (i) In der Kopfbewegungs-Erfassungsvorrichtung 1 werden die Grenzwerte TY1, TX1, TT1, TY2, TX2, TT2, auf Basis derer bestimmt wird, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine der beiden durch den Fahrzeugführer ausgeführt wurde, aus der tatsächlichen bzw. aktuellen Bewegungsbahn des Fahrzeugführer-Auges über der Zeit berechnet. Demnach kann, auch wenn die Kopfbewegung sich von Person zu Person ändern kann, zuverlässig bestimmt werden, ob die Kopfschüttel-Bewegung, die Kopfnick-Bewegung oder keine derselben durch den Fahrzeugführer ausgeführt wurde.
- (ii) In der Kopfbewegungs-Erfassungsvorrichtung 1 wird bestimmt, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine derselben durch den Fahrzeugführer ausgeführt wurde, und zwar auf Basis der störungsfreien Bewegungsbahn, d. h. der Komponente aufgrund der Kopfbewegung, welche durch ein Subtrahieren der Vibrationskomponente aufgrund des Fahrzeugverhaltens von der Bewegungsbahn des Fahrzeugführer-Auges über der Zeit erhalten wird. Dies führt zu einer zuverlässigeren Bestimmung, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine derselben durch den Fahrzeugführer ausgeführt wurde.
-
4. Einige Abwandlungen
-
Es werden nun einige Abwandlungen der oben beschriebenen Ausführungsform erklärt werden, welche ohne ein Abweichen vom Gedanken und dem Umfang der vorliegenden Erfindung ausgearbeitet bzw. konzipiert werden können.
-
In der Kopfbewegungs-Erfassungsvorrichtung 1 der obigen Ausführungsform wird die Bewegungsbahn des Fahrzeugführer-Auges über der Zeit beschafft, um eine Kopfbewegung des Fahrzeugführers zu bestimmen. Alternativ kann eine Bewegungsbahn eines anderen Gesichtsmerkmalspunkts (beispielsweise einer Nase, eines Mundes, eines linken oder rechten Ohrs oder dergleichen) über der Zeit beschafft werden, um eine Kopfbewegung des Fahrzeugführers zu bestimmen.
-
In der Kopfbewegungs-Erfassungsvorrichtung 1 der obigen Ausführungsform wird bestimmt, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine derselben durch den Fahrzeugführer ausgeführt wurde. Alternativ kann lediglich bestimmt werden, ob die Kopfnick-Bewegung durch den Fahrzeugführer ausgeführt wurde, oder nicht, oder es kann lediglich bestimmt werden, ob die Kopfschüttel-Bewegung durch den Fahrzeugführer ausgeführt wurde, oder nicht.
-
Zusätzlich wird in der Kopfbewegungs-Erfassungsvorrichtung 1 der obigen Ausführungsform das Navigationssystem 36 in Antwort auf eine Bestimmung gesteuert, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine derselben durch den Fahrzeugführer ausgeführt wurde. Alternativ können eine Vorrichtung oder Vorrichtungen anders als das Navigationssystem 36 in Antwort auf eine Bestimmung, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine derselben durch den Fahrzeugführer ausgeführt wurde, gesteuert werden.
-
In der Kopfbewegungs-Erfassungsvorrichtung 1 der obigen Ausführungsform ist der Koeffizient α, welcher verwendet wird, um die Grenzwerte TY1 und TX2 zu berechnen 0,5, der Koeffizient β, welcher verwendet wird, um die Grenzwerte TX1 und TY2 zu berechnen 2, und der Koeffizient γ, welcher verwendet wird, um die Grenzwerte TT1 und TT2 zu berechnen 1,5. Alternativ können die Koeffizienten α, β und γ jeweils auf einen Wert anders als 0,5, einen Wert anders als 2 und einen Wert anders als 1,5 gesetzt werden.
-
In der Kopfbewegungs-Erfassungsvorrichtung 1 der vorliegenden Ausführungsform weist die persönliche Datenbank die vertikale Amplitude ΔY1, die horizontale Amplitude ΔX1 und die Zeitdauer der vertikalen hin- und hergehenden Bewegung ΔT1 der Bewegungsbahn des Fahrzeugführer-Auges während der Kopfnick-Bewegung auf. Die persönliche Datenbank weist weiterhin die vertikale Amplitude ΔY2, die horizontale Amplitude ΔX2 und die Zeitdauer der horizontalen hin- und hergehenden Bewegung ΔT2 der Bewegungsbahn des Fahrzeugführer-Auges während der Kopfschüttel-Bewegung auf. Alternativ kann die persönliche Datenbank die Bewegungsbahn des Fahrzeugführer-Auges während der Kopfnick-Bewegung und die Bewegungsbahn des Fahrzeugführer-Auges während der Kopfschüttel-Bewegung aufweisen. In einer solchen alternativen Ausführungsform kann bestimmt werden, ob die Kopfnick-Bewegung, die Kopfschüttel-Bewegung oder keine derselben durch den Fahrzeugführer ausgeführt wurde, und zwar durch ein Vergleichen der Bewegungsbahn, welche in Schritt S140 beschafft wird, mit jeder der Bewegungsbahn für die Kopfnick-Bewegung und der Bewegungsbahn für die Kopfschüttel-Bewegung jedes Verwenders, welche vorher in der persönlichen Datenbank gespeichert werden.
-
In der Kopfbewegungs-Erfassungsvorrichtung 1 der obigen Ausführungsform weist der Kopfbewegungs-Detektor 11, wie obenstehend unter Bezugnahme auf die 1B beschrieben ist, die Bewegungsbahn-Beschaffungseinheit 111, die Vibrationskomponenten-Abschätzeinheit 113, die Vibrationskomponenten-Entfernungseinheit 115, die Kopfbewegungs-Erfassungseinheit 117 und die Setz- bzw. Wähleinheit 119 auf. Alternativ kann, beispielsweise, wenn die Vibrationskomponente aufgrund des Fahrzeugverhaltens ignoriert werden kann, oder nicht verhindern kann, dass die Kopfbewegungs-Erfassungseinheit 117 die bestimmte Kopfbewegung (wie beispielsweise eine Kopfnick- oder -schüttel-Bewegung) erfasst, welche durch den Fahrzeugführer ausgeführt wird, die die Vibrationskomponenten-Entfernungseinheit 115 entfernt bzw. ausgelassen werden. In einer solchen Ausführungsform kann, wie in 1C gezeigt ist, der Kopfbewegungs-Detektor 11 lediglich die Bewegungsbahn-Beschaffungseinheit 111, die Kopfbewegungs-Erfassungseinheit 117 und die Setz- bzw. Wähleinheit (als Setzmittel bzw. Wählmittel) 119 aufweisen.
-
Viele Abwandlungen und andere Ausführungsformen der Erfindung werden Fachleuten, in deren Gebiet sich diese Erfindung erstreckt, einfallen, welche den Vorzug der Lehre, welche in der vorangehenden Beschreibung und den beigefügten Zeichnungen präsentiert wird, haben. Demnach muss verstanden werden, dass die Erfindung nicht auf die bestimmten Ausfühungsformen, welche offenbart sind, beschränkt ist, und dass Abwandlungen und andere Ausführungsformen innerhalb des Umfangs der beigefügten Ansprüche eingeschlossen sein sollen. Obwohl bestimmte Wortlaute hierin angewandt werden, werden sie nur in einem generischen und beschreibenden Sinn verwendet und nicht zum Zweck der Beschränkung.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-