DE102007013977B4

DE102007013977B4 - Blickrichtungserfassungsvorrichtung

Info

Publication number: DE102007013977B4
Application number: DE200710013977
Authority: DE
Inventors: Akihito Wako Kimata; Akio Wako Takahashi
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2006-03-27
Filing date: 2007-03-23
Publication date: 2009-04-16
Anticipated expiration: 2027-03-24
Also published as: JP2007259931A; DE102007013977A1; US20070222947A1; US7643737B2

Abstract

Blickrichtungserfassungsvorrichtung (10), umfassend:
eine Blickrichtungserfassungseinrichtung (11), welche die Blickrichtung eines Insassen erfasst;
eine Betätigungserfassungseinrichtung (22), welche die Betätigung von Bordausrüstung (12) durch den Insassen erfasst, und
eine Kalibrierungseinrichtung (23), welche einen Erfassungswert der Blickrichtungserfassungseinrichtung (11) auf Grundlage der durch die Betätigungserfassungseinrichtung (22) erfassten Betätigung der Bordausrüstung (12) durch den Insassen und auf Grundlage von Positionsdaten der Bordausrüstung (12) kalibriert.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die Erfindung betrifft eine Blickrichtungserfassungsvorrichtung.
Die Priorität der japanischen Patentanmeldung Nr. 2006-085905 , eingereicht am 27.03.2006, wird beansprucht, deren Inhalt hierin durch Bezugnahme eingeschlossen ist.
Beschreibung des zugehörigen Fachgebiets
Es ist eine herkömmliche Vorrichtung bekannt, welche eine Blickrichtung eines Fahrzeugführers beispielsweise auf Grundlage eines Netzhautreflexionsbilds, eines Homhautreaktionsbilds und eines bildlichen Abbilds des Gesichts des Fahrzeugführers erfasst (zum Beispiel siehe japanische ungeprüfte Patentanmeldung, erste Veröffentlichung Nr. H08-297019 ).
In der oben erwähnten Vorrichtung gemäß einem Beispiel des Stands der Technik sind einige Kalibrierungsverfahren zum Kalibrieren der erfassten Blickrichtung bekannt. Beispielsweise wird die Kalibrierung ausgeführt, indem die Blickrichtung in einem Zustand erfasst wird, in welchem ein Fahrer zu einer vorbestimmten festgelegten Position blickt, oder unter Verwendung eines Kalibrierungswerts, welcher im Vorfeld aus einer Mehrzahl von Körperformen statistisch berechnet wurde.
Jedoch sind für jeden neuen Fahrer bestimmte Eingabeoperationen oder Bewegungen der Blickrichtung nur zur Kalibrierung notwendig, um eine Blickrichtungserfassungsvorrichtung durch den Blick des Fahrers zu der festgelegten Position zu kalibrieren. Wechseln sich daher eine Mehrzahl von Fahrern ab, so wären komplizierte Verfahren notwendig, da für jeden Wechsel der Kalibriervorgang notwendig ist.
Ferner können Fehler, die bei jedem Fahrer auftreten, nicht reduziert werden, wenn durch den statistisch berechneten Kalibrierungswert kalibriert wird.
Die DE 102 17 822 C1 offenbart eine Blickrichtungserfassungsvorrichtung für ein Fahrzeug, umfassend eine Blickrichtungserfassungseinrichtung, welche die Blickrichtung eines Insassen erfasst. Unter der Annahme, dass die Blickrichtung des Fahrers in den meisten Situationen auch mit der Sprechrichtung des Fahrers übereinstimmt, schließt die bekannte Blickrichtungserfassungseinrichtung aus der über eine Mehrzahl von richtungsempfindlichen Mikrophonen erfassten Sprechrichtung des Fahrers auf seine jeweilige Blickrichtung. Mit der bekannten Blickrichtungserfassungsvorrichtung ist eine Warneinrichtung zur Ausgabe eines Warnsignals in Abhänigkeit von der erfassten Blickrichtung verbunden.
Eine weitere bekannte Blickrichtungserfassungsvorrichtung offenbart die DE 100 39 795 A1 , welche im Innenraum eines Kraftfahrzeugs zusammen mit einer Reihe weiterer Erfassungsvorrichtungen zur Erfassung der Pulsfrequenz oder der Körpertemperatur oder dergleichen angeordnet ist. Die bekannte Blickrichtungserfassungsvorrichtung umfasst mindestens eine Kamera und eine Recheneinheit, welche aus den von der Kamera aufgenommenen Bildern eine Lidschlagfrequenz sowie eine Kopfneigung des Fahrers ermittelt, um auf einen Grad der Aufmerksamkeit des Fahrers zu schließen. Die Ausgabe von Warnmeldungen erfolgt dann mit einer von der Aufmerksamkeit des Fahrers abhängigen Intensität.
Ferner offenbart die EP 1 405 157 B1 eine Vorrichtung zur Blickrichtungserfassung zur Schaffung einer Schnittstelle zwischen Mensch und Maschine. Die Vorrichtung umfasst eine Blickrichtungserfassungseinrichtung zur Erfassung von Elektrookulogrammen, um die Blickrichtung eines Benutzers relativ zum Kopf zu erfassen, sowie ein Trägheitsnavigationssystem zur Erfassung der Position des Kopfes des Benutzers relativ zu einem festen Referenzkoordina tensystem. Die Vorrichtung wird in Form einer Brille von Benutzer getragen und weist Kommunikationsmittel zur Übertragung der erfassten Blickrichtungsdaten an die zu bedienende Maschine auf.
ÜBERBLICK ÜBER DIE ERFINDUNG
Die vorliegende Erfindung wurde in Anbetracht der oben beschriebenen Situation realisiert und hat zur Aufgabe, eine Blickrichtungserfassungsvorrichtung bereitzustellen, welche die Erfassung der Blickrichtung eines Bedieners einfach kalibrieren kann.
Um dieses Problem zu bewältigen und die Aufgabe zu lösen, umfasst eine Blickrichtungserfassungsvorrichtung der vorliegenden Erfindung: eine Blickrichtungserfassungseinrichtung, welche eine Blickrichtung eines Insassen erfasst, eine Betätigungserfassungseinrichtung, welche die Betätigung von Bordausrüstung durch den Insassen erfasst, und eine Kalibrierungseinrichtung, welche den Erfassungswert der Blickrichtungserfassungseinrichtung auf Grundlage der Betätigung der Bordausrüstung durch den Insassen, die durch die Betätigungserfassungseinrichtung erfasst wird, und auf Grundlage von Positionsdaten der Bordausrüstung kalibriert.
Gemäß der obigen Blickrichtungserfassungsvorrichtung sind beispielsweise bestimmte Betätigungen des Fahrers zum Kalibrieren der Blickrichtungserfassungseinrichtung nicht notwendig und eine präzise Kalibrierung kann nach Maßgabe der Reihe von Fahrbetätigungen durch den Fahrer auf einfache und effiziente Weise durchgeführt werden. Somit kann verhindert werden, dass der Fahrer durch die Kalibrierung abgelenkt wird.
Gemäß der Blickrichtungserfassungsvorrichtung der vorliegenden Erfindung kann zusätzlich die Kalibrierungseinrichtung eine Kalibrierung des Erfassungswerts verhindern, wenn der Unterschied zwischen den Positionsdaten der Bordausrüstung, welche Gegenstand der Betätigung durch den Insassen ist und welche durch die Betätigungserfassungseinrichtung erfasst wird, und Blickpositionsdaten nach Maßgabe des Erfassungswerts von der Blickrichtungserfassungseinrichtung größer ist als ein vorbestimmter Wert.
Gemäß der obigen Blickrichtungserfassungsvorrichtung kann die Zuverlässigkeit der Kalibrierung verbessert werden.
Wie vorstehend erläutert, kann gemäß der Blickrichtungserfassungsvorrichtung der vorliegenden Erfindung die präzise Kalibrierung nach Maßgabe von Reihen von Fahrbetätigungen durch den Fahrer einfach und effizient durchgeführt werden. Daher kann verhindert werden, dass der Fahrer durch die Kalibrierung abgelenkt wird.
Zusätzlich kann gemäß der Blickrichtungserfassungsvorrichtung der vorliegenden Erfindung die Zuverlässigkeit der Kalibrierung verbessert werden.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist eine schematische Ansicht, welche eine Blickrichtungserfassungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt.
2 ist eine Ansicht, welche ein Beispiel der in 1 gezeigten Bordausrüstung zeigt.
3 ist ein Flussdiagramm, welches einen Betrieb der Blickrichtungserfassungsvorrichtung gemäß der Ausführungsform der vorliegenden Erfindung zeigt.

10: Blickrichtungserfassungsvorrichtung
11: Augapfelsensor (Blickrichtungserfassungseinrichtung)
12: Bordausrüstung
21: Blickrichtungserfassungsabschnitt (Blickrichtungserfassungseinrichtung)
22: Betätigungserfassungsabschnitt (Betätigungserfassungseinrichtung)
23: Kalibrierungsbetätigungsabschnitt (Kalibrierungseinrichtung)

DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
Nachfolgend wird eine Blickrichtungserfassungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Zeichnungen erläutert.
Eine Blickrichtungserfassungsvorrichtung 10 der vorliegenden Ausführungsform ist, wie beispielsweise in 1 gezeigt, aus einem Augapfelsensor 11, Bordausrüstung 12 und einer Steuer-/Regeleinrichtung 13 aufgebaut.
Der Augapfelsensor 11 ist, wie beispielsweise in 2 gezeigt, an einer dem Rückspiegel nahe liegenden Position in einer Kabine zur Seite des Fahrers hin oder dergleichen vorgesehen, das heißt an einer Position, an welcher zumindest ein Bild des Augapfels des Fahrers aufnehmbar ist. Der Augapfelsensor 11 ist aus beispielsweise einer Augapfelkamera (Blickrichtungskamera) 11a, einschließlich einer CCD-Kamera, einer CMOS-Kamera oder dergleichen, welche im Bereich sichtbarer Lichtstrahlung sowie Infrarotstrahlung aufnehmen kann, sowie einem Augapfel-Bildverarbeitungsabschnitt 11b gebildet.
Die Augapfelkamera 11a nimmt eine Strahlung sichtbaren Lichts auf, welche von dem Gesicht oder dem Augapfel des Insassen reflektiert wird, sofern die Kamera für eine Aufnahme von Strahlung im Bereich des sichtbaren Lichts ausgelegt ist, oder sie nimmt eine Reflexion von Infrarotstrahlung auf, welche auf den Augapfel des Fahrers von einem geeigneten Scheinwerfer (nicht gezeigt) gestrahlt wird, sofern die Kamera für eine Aufnahme im Bereich von Infrarotstrahlung eingerichtet ist.
Der Augapfel-Bildverarbeitungsabschnitt 11b erzeugt Bilddaten mit zweidimensional angeordneten Bildelementen durch eine vorbestimmte Bildverarbeitung, wie etwa Filterung, Binärverarbeitung oder dergleichen bezüglich eines Bildes aus sichtbarer Lichtstrahlung oder eines Bildes aus Infrarotstrahlung, welches aus der Aufnahme der Augapfelkamera 11a erhalten wird. Die Bilddaten werden der Steuer-/Regeleinrichtung 13 ausgegeben.
Die Bordausrüstung 12 sind Geräte, für welche die Wahrscheinlichkeit, dass die Blickrichtung des Fahrers auf eine vorbestimmte Position fällt, relativ hoch ist, wenn sie der Fahrer betätigt, wie etwa ein Navigationsgerät 12a, ein Rückspiegel 12b, motorbetriebene Seitenspiegel 12c und dergleichen, wie sie in 2 gezeigt sind.
Die Steuer-/Regeleinrichtung 13 ist beispielsweise aus einem Blickrichtungserfassungsabschnitt 21, einem Betätigungserfassungsabschnitt 22 und einem Kalibrierungsbetriebsabschnitt 23 gebildet.
Der Blickrichtungserfassungsabschnitt 21 führt vorbestimmte Erkennungen des Gesichts oder des Augapfels des Fahrers als Erfassungsobjekte in Bezug auf von dem Augapfelsensor 11 eingegebene Bilddaten aus. Als nächstes erfasst der Blickrichtungserfassungsabschnitt 21 die Position des Augapfels des Fahrers, einen Blickrichtungsvektor (eine Blickrichtung) des Fahrers und eine Zielposition der Blickrichtung (Blickpositionsdaten) auf Grundlage des Erfassungsergebnisses.
Der Betätigungserfassungsabschnitt 22 erfasst das Vorhandensein einer Betätigung durch den Fahrer in Bezug auf die Bordausrüstung 12 und den Inhalt der Betätigung.
Der Kalibrierungsbetriebsabschnitt 23 kalibriert den Erfassungswert des Augapfelsensors 11 auf Grundlage des Blickrichtungsvektors (Blickrichtung) des Fahrers und der Zielposition der Blickrichtung, welche durch den Blickrichtungserfassungsabschnitt 21 erfasst wurden, sowie des Erfassungsergebnisses des Betätigungserfassungsabschnitts 22.
Beispielsweise erhält der Kalibrierungsbetätigungsabschnitt 23 das Erfassungsergebnis des Betätigungserfassungsabschnitts 22, das heißt vorbestimmte Positionsdaten, welche zuvor entsprechend dem Betätigungsinhalt eingestellt wurden, nach Maßgabe des Vorhandenseins der Betätigung und des Betätigungsinhalts des Fahrers an der Bordausrüstung 12 (das heißt die Position der Betätigungsteile, die mit dem Navigationsgerät 12a bereitgestellt werden, wie etwa ein Betätigungsknopf oder dergleichen, oder die Positionen des Rückspiegels 12b oder der motorbetriebenen Seitenspiegel 12c, welche in 2 gezeigt sind). Danach entscheidet der Kalibrierungsbetriebsabschnitt 23, ob die Differenz zwischen den erhaltenen Positionsdaten und den Blickpositionsdaten (zum Beispiel die Zielposition der Blickrichtung), welche durch den Blickrichtungserfassungsabschnitt 21 zum Zeitpunkt der Erfassung der Eingabe an der Bordausrüstung 12 durch den Fahrer erfasst worden sind, geringer ist als ein vorbestimmter Wert oder nicht. Zusätzlich kann entschieden werden, ob die Differenz zwischen dem Blickrichtungsvektor (der Blickrichtung) f(a), welcher durch den Blickrichtungserfassungsabschnitt 21 erfasst wurde, und einer vorbestimmten Richtung G, welche entsprechend den Betätigungsinhalten im Vorfeld gesetzt worden ist, kleiner ist als ein vorbestimmter Wert β oder nicht.
Wenn dann das Entscheidungsergebnis „JA" lautet, so wird der Erfassungswert des Augapfelsensors 11 entsprechend der Differenz kalibriert.
Wenn andererseits das Entscheidungsergebnis „NEIN" lautet, so wird entschieden, dass die Blickrichtung des Fahrers unabhängig von der Betätigung des Fahrers bezüglich der Bordausrüstung 12 ist und die Ausführung der Kalibrierung wird verhindert.
Ein vorbestimmter Parameter „a" (zum Beispiel ein Radius des Augapfels) in Bezug auf die Blickrichtung f(a), welcher das Erfassungsergebnis des Blickrichtungserfassungsabschnitts 21 ist, wird auf Grundlage einer nachfolgenden Formel (1) korrigiert, wenn die Differenz (|G – f(a)|) zwischen der Blickrichtung f(a) und der vorbestimmten Richtung G nicht größer ist als der vorbestimmte Wert β. In der nachfolgenden Formel (1) wird ein Korrekturparameter a₍ _k+ ₁ ₎ auf Grundlage eines geeigneten Koeffizienten α, einer beliebigen natürlichen Zahl „k" und eines unkorrigierten Parameters a₍ _k ₎ = a berechnet.
[Formel (1)]
Wenn beispielsweise das in 2 gezeigte Navigationsgerät 12a als Bordausrüstung 12 festgelegt ist, so werden zuerst Ausgangssignale von den verschiedenen Betätigungsknöpfen oder dergleichen des Navigationsgeräts 12a, welche die Betätigungseingabe des Fahrers erfassen, durch den Betätigungserfassungsabschnitt 22 erfasst. Als zweites erhält der Kalibrierungsbetriebsabschnitt 23 die vorbestimmten Positionsdaten, welche im Vorfeld nach Maßgabe des Erfassungsergebnisses des Betätigungserfassungsabschnitts 22 festgelegt wurden. Eine präzise Kalibrierung ist möglich, wenn das Navigationsgerät 12a betätigt wird, da die Wahrscheinlichkeit, dass der Fahrer zu der vorbestimmten Position oder dergleichen an einem Anzeigeschirm des Navigationsgeräts 12a schaut, relativ hoch ist.
Wenn beispielsweise der in 2 gezeigte, motorbetriebene Seitenspiegel 12c als Bordausrüstung 12 festgelegt wird, so werden Ausgangssignale von den verschiedenen Betätigungsknöpfen oder dergleichen des motorbetriebenen Seitenspiegels 12c, welche die Betätigungseingabe des Fahrers erfassen, durch den Betätigungserfassungsabschnitt 22 erfasst. Als zweites erhält der Kalibrierungsbetriebsabschnitt 23 die vorbestimmten Positionsdaten, welche im Vorfeld nach Maßgabe des Erfassungsergebnisses des Betätigungserfassungsabschnitts 22 festgelegt wurden. Eine genaue Kalibrierung ist möglich, da die Wahrscheinlichkeit, dass der Fahrer nicht in die Seitenspiegel blickt, wenn der Winkel des linken oder rechten Seitenspiegels eingestellt wird, sehr gering ist, und da ferner Daten an zwei Punkten in Bezug auf jeweils den linken und den rechten Seitenspiegel, welche sich in Bezug auf ihre Koordinatenposition erheblich voneinander unterscheiden, verwendet werden.
Wenn beispielsweise der in 2 gezeigte Rückspiegel 12b als Bordausrüstung 12 festgelegt wird, so wird durch den Betätigungserfassungsabschnitt 22 ein Erfassungssignal von einem geeigneten Sensor (nicht illustriert) erfasst, welcher mit dem Rückspiegel 12b bereitgestellt wird und welcher die Betätigung des Fahrers (zum Beispiel Kontakte mit dem Rückspiegel 12b durch den Fahrer, Verstellungen des Rückspiegels 12b oder dergleichen) erfasst. Als zweites erhält der Kalibrierungsbetriebsabschnitt 23 die vorbestimmten Positionsdaten, welche im Vorfeld nach Maßgabe des Erfassungsergebnisses des Betätigungserfassungsabschnitts 22 festgelegt wurden. Eine genaue Kalibrierung ist möglich, da die Wahrscheinlichkeit, dass der Fahrer nicht in den Rückspiegel 12b schaut, wenn er den Winkel des Rückspiegels 12b einstellt, sehr gering ist.
Die Blickrichtungserfassungsvorrichtung 10 der vorliegenden Ausführungsform ist mit der oben erwähnten Konstruktion ausgestattet. Nachfolgend wird ein Betrieb der Blickrichtungserfassungsvorrichtung 10 erläutert.
Zuerst werden von dem Augapfelsensor 11 ausgegebene Bilddaten in dem in 3 gezeigten Schritt S01 erhalten.
Als nächstes wird auf Grundlage der erhaltenen Bilddaten in Schritt S02 die Blickrichtung erfasst.
Als Nächstes wird in Schritt S03 entschieden, ob der Fahrer das vorbestimmte Gerät betätigt, auf welches der Fahrer schaut (zum Beispiel das Navigationsgerät 12a, den Rückspiegel 12b, den motorbetriebenen Seitenspiegel 12c oder dergleichen) oder nicht, das heißt, ob der Fahrer das vorbestimmte Gerät betätigt, welches einen vorbestimmten Abschnitt enthält, für welchen die Wahrscheinlichkeit relativ hoch ist, dass er durch den Fahrer angeschaut wird, während er durch den Fahrer betätigt wird, oder nicht.
Wenn das Entscheidungsergebnis „NEIN" lautet, so wird die Reihe von Prozessen beendet.
Andernfalls lautet das Entscheidungsergebnis „JA" und der Prozess schreitet weiter zum Schritt S04.
In Schritt S04 wird entschieden, ob der Unterschied zwischen dem Blickrichtungsvektor (der Blickrichtung) f(a), welcher durch den Blickrichtungserfassungsabschnitt 21 erfasst wird, und der vorbestimmten Richtung G, welche im Vorfeld entsprechend den Betätigungsinhalten festgelegt wurde, kleiner ist als der vorbestimmte Wert β.
Wenn das Entscheidungsergebnis „NEIN" lautet, so wird der Prozessablauf beendet.
Andernfalls lautet das Entscheidungsergebnis „JA" und der Prozess schreitet weiter zum Schritt S05.
Im Schritt S05 wird das Erfassungsergebnis des Blickrichtungserfassungsabschnitts 21 (zum Beispiel die Blickrichtung f(a)) auf Grundlage der obigen Formel (1) nach Maßgabe der Differenz (|G – f(a)|) zwischen dem Blickrichtungsvektor (der Blickrichtung) f(a) und der vorbestimmten Richtung G, die im Vorfeld entsprechend den Inhalten der Betätigungsinhalte festgelegt wurde, kalibriert und der Prozessablauf wird beendet.
Wie oben beschrieben wurde, kann gemäß der Blickrichtungserfassungsvorrichtung 10 der vorliegenden Ausführungsform eine präzise Kalibrierung nach Maßgabe der Abfolge von Fahrbetätigungen durch den Fahrer einfach und effizient durchgeführt werden. Somit kann vermieden werden, dass der Fahrer durch die Kalibrierung abgelenkt wird. Darüber hinaus kann die Zuverlässigkeit der Kalibrierung verbessert werden.
Wenngleich eine bevorzugte Ausführungsform der Erfindung vorstehend beschrieben und illustriert worden ist, so sollte verständlich sein, dass diese ein Beispiel für die Erfindung darstellt und nicht als beschränkend anzusehen ist. Hinzufügungen, Weglassungen, Ersetzungen und andere Modifikationen können durchgeführt werden, ohne die Idee oder den Rahmen der vorliegenden Erfindung zu verlassen. somit ist die Erfindung nicht als durch die vorstehende Beschreibung beschränkt anzusehen, sondern ist lediglich durch den Inhalt der beigefügten Ansprüche beschränkt.
Eine Blickrichtungserfassungsvorrichtung umfasst: eine Blickrichtungserfassungseinrichtung, welche eine Blickrichtung eines Insassen erfasst, eine Betätigungserfassungseinrichtung, welche die Betätigung von Bordausrüstung durch den Insassen erfasst, und eine Kalibrierungseinrichtung, welche einen Erfassungswert der Blickrichtungserfassungseinrichtung auf Grundlage der durch die Betätigungserfassungseinrichtung erfassten Betätigung der Bordausrüstung durch den Insassen sowie der Positionsdaten der Bordausrüstung kalibriert.

Claims

Blickrichtungserfassungsvorrichtung (10), umfassend: eine Blickrichtungserfassungseinrichtung (11), welche die Blickrichtung eines Insassen erfasst; eine Betätigungserfassungseinrichtung (22), welche die Betätigung von Bordausrüstung (12) durch den Insassen erfasst, und eine Kalibrierungseinrichtung (23), welche einen Erfassungswert der Blickrichtungserfassungseinrichtung (11) auf Grundlage der durch die Betätigungserfassungseinrichtung (22) erfassten Betätigung der Bordausrüstung (12) durch den Insassen und auf Grundlage von Positionsdaten der Bordausrüstung (12) kalibriert.
Blickrichtungserfassungsvorrichtung (10) gemäß Anspruch 1, dadurch gekennzeichnet, dass die Kalibrierungseinrichtung (23) die Kalibrierung des Erfassungswerts verhindert, wenn die Differenz zwischen den Positionsdaten der Bordausrüstung (12), welche Ziel der Betätigung durch den Insassen ist und welche durch die Betätigungserfassungseinrichtung (22) erfasst wird, und Blickpositionsdaten gemäß dem Erfassungswert von der Blickrichtungserfassungseinrichtung (11) größer ist als ein vorbestimmter Wert.