DE102018127605A1

DE102018127605A1 - Informationsverarbeitungsvorrichtung, fahrerüberwachungssystem, informationsverarbeitungsverfahren und informationsverarbeitungsprogramm

Info

Publication number: DE102018127605A1
Application number: DE102018127605.2A
Authority: DE
Inventors: Hatsumi AOI; Tomoyoshi Aizawa; Tadashi Hyuga; Yoshio Matsuura; Masato Tanaka; Keisuke Yokota; Hisashi Saito
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2017-11-15
Filing date: 2018-11-06
Publication date: 2019-05-16
Also published as: JP2019091255A; JP6693489B2; US20190147270A1; CN109774722A

Abstract

Eine Informationsverarbeitungsvorrichtung, durch die die Ermittlungsgenauigkeit einer Sichtlinienrichtung eines Fahrers verbessert werden kann, umfasst einen Bilderfassungsteil zum Erfassen eines Bilds, das ein Gesicht eines Fahrers eines Fahrzeugs enthält, einen Ermittlungsteil zum Ermitteln einer Sichtlinienrichtung des Fahrers in dem durch den Bilderfassungsteil erfassten Bild, einen Sammlungsteil zum Sammeln von Ermittlungsergebnissen vom Ermittlungsteil und einen Referenzbestimmungsteil zum Bestimmen einer Referenz der Sichtlinienrichtung für den Fahrer unter Einsatz der im Sammlungsteil gesammelten Ermittlungsergebnisse.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich auf eine Informationsverarbeitungsvorrichtung, ein Fahrerüberwachungssystem, ein Informationsverarbeitungsverfahren und ein Informationsverarbeitungsprogramm.
STAND DER TECHNIK
In den letzten Jahren sind Techniken zum Ermitteln der Richtung des Gesichts eines Fahrers oder der Sichtlinie in einem durch eine Kamera aufgenommenen Gesichtsbild des Fahrers sowie zum Entscheiden des Fahrerzustands im gefahrenen Fahrzeug auf der Grundlage der ermittelten Richtung des Gesichts des Fahrers oder der Sichtlinie vorgeschlagen worden.
In Patentdokument 1 zum Beispiel wird eine Technik offenbart, bei der die Richtung einer Sichtlinie eines Fahrers auf der Grundlage der Mittelposition eines Augapfels und der Mittelposition einer Pupille des Auges, erhalten aus einem von einer Kamera aufgenommenen Gesichtsbild des Fahrers, ermittelt wird. In Patentdokument 2 wird eine Technik offenbart, bei der die Mittellinie des Gesichts eines Fahrers unter Einsatz eines von einer Kamera aufgenommenem Gesichtsbilds des Fahrers bestimmt wird und bei der auf der Grundlage des Abstands von der Mittellinie zu der Umrissposition des Gesichts der Grad der Gesichtsrichtung von links nach rechts, wenn die Geradeausrichtung als 0° angenommen wird, ermittelt wird.
Durch die Erfindung zu lösende Probleme
In den Techniken zum Ermitteln der Richtung des Gesichts des Fahrers oder der Sichtlinie, die in den obigen Patentdokumenten 1 und 2 offenbart werden, wird die Richtung des Gesichts des Tauchers oder der Sichtlinie, mit Bezug auf die zuvor geräteseitig ausgewählte Geradeausrichtung, abgeschätzt. Aber selbst wenn der Fahrer geradeaus in die Fahrtrichtung des Fahrzeugs blickt, fällt die Sichtlinie des Fahrers, zum Beispiel die Sichtlinie in der Tiefenrichtung (die Richtung nach oben und nach unten) bei verschiedenen Individuen unterschiedlich aus. Selbst beim gleichen Fahrer fällt die Sichtlinienrichtung beim Schauen geradeaus in die Fahrtrichtung des Fahrzeugs manchmal je nach den Fahrbedingungen unterschiedlich aus.
Da die Unterschiede zwischen Individuen in der Sichtlinienrichtung des Fahrers in Bezug auf die Vorwärtsrichtung in der Fahrtrichtung des Fahrzeugs in den obigen Patentdokumenten 1 und 2 offenbarten herkömmlichen Techniken nicht in Betracht gezogen werden, kann die Sichtlinienrichtung des Fahrers nicht genau erkannt werden.
Dokument nach dem Stand der Technik
Patentdokument

Patentdokument 1: Japanische offenbarte Patentanmeldung, Veröffentlichungsnr. 2007-68917
Patentdokument 2: Japanische offenbarte Patentanmeldung, Veröffentlichungsnr. 2009-232945

KURZDARSTELLUNG DER ERFINDUNG
Die vorliegende Erfindung wurde entwickelt, um das obige Problem zu lösen und es ist eine Aufgabe der vorliegenden Erfindung, eine Informationsverarbeitungsvorrichtung, ein Fahrerüberwachungssystem, ein Informationsverarbeitungsverfahren und ein Informationsverarbeitungsprogramm bereitzustellen, durch die die Ermittlungsgenauigkeit einer Sichtlinienrichtung eines Fahrers verbessert werden kann.
Um das obige Ziel zu erfüllen, ist eine Informationsverarbeitungsvorrichtung nach einem ersten erfindungsgemäßen Aspekt dadurch gekennzeichnet, dass sie umfasst:

einen Bilderfassungsteil zum Erfassen eines Bilds, das ein Gesicht eines Fahrers eines Fahrzeugs enthält;
einen Ermittlungsteil zum Ermitteln einer Sichtlinienrichtung des Fahrers in dem durch den Bilderfassungsteil erfassten Bild;
einen Sammlungsteil zum Sammeln von Ermittlungsergebnissen vom Ermittlungsteil; und
einen Referenzbestimmungsteil zum Bestimmen einer Referenz der Sichtlinienrichtung für den Fahrer unter Einsatz der im Sammlungsteil gesammelten Ermittlungsergebnisse.

Unter Einsatz der Informationsverarbeitungsvorrichtung nach dem ersten erfindungsgemäßen Aspekt wird die Sichtlinienrichtung des Fahrers in dem Bild mithilfe des Ermittlungsteils ermittelt, die Ermittlungsergebnisse werden in dem Sammlungsteil gesammelt und unter Einsatz der Ermittlungsergebnisse wird die Referenz der Sichtlinienrichtung für den Fahrer mithilfe des Referenzbestimmungsteils bestimmt. Demnach ist es möglich, die Referenz anhand der individuellen Differenz der Sichtlinienrichtung des Fahrers zu bestimmen und durch Einsatz der Referenz wird es möglich, die Ermittlungsgenauigkeit der Sichtlinienrichtung des Fahrers zu verbessern.
Die Informationsverarbeitungsvorrichtung nach dem zweiten erfindungsgemäßen Aspekt ist durch den Referenzbestimmungsteil gekennzeichnet, der den häufigsten Wert der Sichtlinienrichtung, erhalten von den in dem Sammlungsteil gesammelten Ermittlungsergebnissen, als Referenz in der Informationsverarbeitungsvorrichtung nach dem ersten erfindungsgemäßen Aspekt bestimmt.
Unter Einsatz der Informationsverarbeitungsvorrichtung nach dem zweiten erfindungsgemäßen Aspekt wird der häufigste Wert der Sichtlinienrichtung, erhalten von den Ermittlungsergebnissen, durch den Referenzbestimmungsteil als Referenz bestimmt. Demnach ist es möglich, die Richtung, in die geschätzt wird, dass der Fahrer am häufigsten blickt, als Referenz zu bestimmen und es wird möglich, die Ermittlungsgenauigkeit der Sichtlinienrichtung des Fahrers zu verbessern.
Die Informationsverarbeitungsvorrichtung nach einem dritten erfindungsgemäßen Aspekt ist dadurch gekennzeichnet, dass sie ferner einen Berechnungsteil zum Berechnen der Sichtlinienrichtung des Fahrers in Bezug auf die Referenz aus dem Bild unter Einsatz der durch den Referenzbestimmungsteil in der Informationsverarbeitungsvorrichtung nach dem ersten oder dem zweiten erfindungsgemäßen Aspekt bestimmten Referenz umfasst.
Unter Einsatz der Informationsverarbeitungsvorrichtung nach dem dritten erfindungsgemäßen Aspekt kann die Sichtlinienrichtung des Fahrers, zum Beispiel eine Differenz von der Referenz unter Einsatz der durch den Referenzbestimmungsteil bestimmten Referenz berechnet werden, was zu einer Verbesserung der Ermittlungsgenauigkeit der Sichtlinienrichtung des Fahrers führt.
Die Informationsverarbeitungsvorrichtung nach einem vierten erfindungsgemäßen Aspekt ist dadurch gekennzeichnet, dass sie ferner einen Verarbeitungsteil zum Ausführen von vorgegebenem Verarbeiten auf der Grundlage der Sichtlinienrichtung des Fahrers in Bezug auf die durch den Berechnungsteil berechnete Referenz in der Informationsverarbeitungsvorrichtung nach dem dritten erfindungsgemäßen Aspekt umfasst.
Unter Einsatz der Informationsverarbeitungsvorrichtung nach dem vierten erfindungsgemäßen Aspekt wird es möglich, vorgegebenes Verarbeiten durch den Verarbeitungsteil auf der Grundlage der Sichtlinienrichtung des Fahrers in Bezug auf die durch den Berechnungsteil berechnete Referenz auszuführen. Das vorgegebene Verarbeiten kann zum Beispiel das Entscheiden des Zur-Seite-Blickens des Fahrers oder das Entscheiden des Bewusstseinszustands des Fahrers sein, wie etwa Konzentrationsgrad oder Müdigkeit. Oder, wenn ein automatisches Betriebssystem am Fahrzeug angebracht wird, kann die vorgegebene Verarbeitung eine Entscheidung sein, das Umschalten von dem automatischen Betrieb in den manuellen Betrieb zu ermöglichen.
Die Informationsverarbeitungsvorrichtung nach einem fünften erfindungsgemäßen Aspekt ist dadurch gekennzeichnet, dass sie ferner einen Benachrichtigungsteil zum Benachrichtigen des Fahrers über ein durch den Verarbeitungsteil verarbeitetes Ergebnis in der Informationsverarbeitungsvorrichtung nach dem vierten erfindungsgemäßen Aspekt umfasst.
Unter Einsatz der Informationsverarbeitungsvorrichtung nach dem fünften erfindungsgemäßen Aspekt wird es möglich, es dem Benachrichtigungsteil zu ermöglichen, den Fahrer über das durch den Verarbeitungsteil verarbeiteten Ergebnis zu benachrichtigen.
Die Informationsverarbeitungsvorrichtung nach einem sechsten erfindungsgemäßen Aspekt ist dadurch gekennzeichnet, dass sie ferner einen Referenzspeicherungsteil zum Speichern der durch den Referenzbestimmungsteil bestimmten Referenz umfasst, wobei
der Berechnungsteil die Sichtlinienrichtung des Fahrers in Bezug auf die Referenz aus dem Bild unter Einsatz der aus dem Referenzspeicherungsteil ausgelesenen Referenz in der Informationsverarbeitungsvorrichtung nach einem vom dritten bis zum fünften erfindungsgemäßen Aspekt berechnet.
Unter Einsatz der Informationsverarbeitungsvorrichtung nach dem sechsten erfindungsgemäßen Aspekt wird die Referenz aus dem Referenzspeicherungsteil ausgelesen und die Sichtlinienrichtung des Fahrers kann damit berechnet werden. Demnach ist es möglich, die Verarbeitungslast zum Bestimmen der Referenz mithilfe des Referenzbestimmungsteil zu verringern.
Die Informationsverarbeitungsvorrichtung nach einem siebten erfindungsgemäßen Aspekt ist dadurch gekennzeichnet, dass sie ferner einen Referenzänderungsteil zum Ändern der durch den Referenzbestimmungsteil bestimmten Referenz in der Informationsverarbeitungsvorrichtung nach einem vom dritten bis zum sechsten erfindungsgemäßen Aspekt umfasst.
Unter Einsatz der Informationsverarbeitungsvorrichtung nach dem siebten erfindungsgemäßen Aspekt wird es möglich, die Referenz mit dem Referenzänderungsteil zu ändern. Demnach kann die Referenz angemessen gehalten werden und die Sichtlinienrichtung kann mit hoher Genauigkeit kontinuierlich erfasst werden.
Die Informationsverarbeitungsvorrichtung ist nach einem achten erfindungsgemäßen Aspekt durch den Referenzänderungsteil gekennzeichnet, der die Referenz korrigiert, um eine Differenz zwischen der Sichtlinienrichtung des Fahrers in Bezug auf die durch den Berechnungsteil berechnete Referenz und der Referenz zu verringern, wenn die Differenz in einem vorgegebenen Bereich gehalten worden ist, in der Informationsverarbeitungsvorrichtung nach dem siebten erfindungsgemäßen Aspekt.
Unter Einsatz der Informationsverarbeitungsvorrichtung nach dem achten erfindungsgemäßen Aspekt kann die Referenz angemessen korrigiert werden, selbst wenn die Sichtlinienrichtung des Fahrers aufgrund von langzeitigem Fahren oder von Änderungen der Fahrbedingungen unbewusst nach und nach geändert wird. Demnach kann die Sichtlinienrichtung davon mit hoher Genauigkeit kontinuierlich erfasst werden.
Die Informationsverarbeitungsvorrichtung nach einem neunten erfindungsgemäßen Aspekt ist dadurch gekennzeichnet, dass sie ferner Folgendes umfasst:

einen Informationserfassungsteil zum Erfassen von Informationen in Bezug auf einen Fahrzustand des Fahrzeugs; und
einen Entscheidungsteil zum Entscheiden, auf der Grundlage der durch den Informationserfassungsteil erfassten Informationen, ob sich das Fahrzeug in einem angegebenen Fahrzustand befindet, wobei
der Referenzbestimmungsteil die Referenz auf der Grundlage der Sichtlinienrichtung bestimmt, während durch den Entscheidungsteil entschieden wird, dass das Fahrzeug sich in dem angegebenen Fahrzustand befindet, in der Informationsverarbeitungsvorrichtung nach einem vom ersten bis zum achten erfindungsgemäßen Aspekt.

Unter Einsatz der Informationsverarbeitungsvorrichtung nach dem neunten erfindungsgemäßen Aspekt wird auf der Grundlage der Sichtlinienrichtung des Fahrers im angegebenen Fahrzustand des Fahrzeugs die Referenz bestimmt. Demnach ist es möglich, die Referenz im Einklang mit dem angegebenen Fahrzustand zu bestimmen, und die Referenz zu bestimmen, die für den Betrieb des Fahrzeug geeignet ist.
Die Informationsverarbeitungsvorrichtung nach einem zehnten erfindungsgemäßen Aspekt ist durch den angegebenen Fahrzustand gekennzeichnet, der ein Fahrzustand ist, bei dem das Fahrzeug in der Informationsverarbeitungsvorrichtung nach dem neunten erfindungsgemäßen Aspekt geradeaus gefahren wird.
Unter Einsatz der Informationsverarbeitungsvorrichtung nach dem zehnten erfindungsgemäßen Aspekt wird auf der Grundlage der Sichtlinienrichtung des Fahrers im Fahrzustand, in dem das Fahrzeug geradeaus gefahren wird, die Referenz bestimmt. Demnach kann die Sichtlinienrichtung des Fahrers in einem Zustand, in dem abgeschätzt wird, dass der Fahrer im Fahrzeug geradeaus schaut, als Referenz verwendet werden.
Die Informationsverarbeitungsvorrichtung nach einem elften erfindungsgemäßen Aspekt ist durch den Informationserfassungsteil, der wenigstens Geschwindigkeitsinformationen des Fahrzeugs und Lenkinformationen des Fahrzeugs erfasst, und
durch den Entscheidungsteil gekennzeichnet, der entscheidet, dass das Fahrzeug sich im angegebenen Fahrzustand befindet, wenn die Geschwindigkeit des Fahrzeugs in einem vorgegebenen Geschwindigkeitsbereich liegt und das Fahrzeug sich in einem vorgegebenen Nichtlenkungszustand in der Informationsverarbeitungsvorrichtung nach dem neunten erfindungsgemäßen Aspekt befindet.
Unter Einsatz der Informationsverarbeitungsvorrichtung nach dem elften erfindungsgemäßen Aspekt wird, wenn die Geschwindigkeit des Fahrzeugs im vorgegebenen Geschwindigkeitsbereich liegt und das Fahrzeug sich im vorgegebenen Nichtlenkungszustand befindet, entschieden, dass das Fahrzeug im angegebenen Fahrzustand ist. Demnach kann auf der Grundlage der Sichtlinienrichtung des Fahrers in einem Zustand, in dem abgeschätzt wird, dass der Fahrer im Fahrzeug geradeaus schaut, die Referenz bestimmt werden.
Die Informationsverarbeitungsvorrichtung nach einem zwölften erfindungsgemäßen Aspekt ist durch den Informationserfassungsteil, der Beschleunigungs-/Verlangsamungsinformationen des Fahrzeugs und/oder Neigungsinformationen des Fahrzeugs erfasst, und und durch den Entscheidungsteil gekennzeichnet, der einen Fall ausnimmt, in dem das Fahrzeug in einem vorgegebenen Beschleunigungs- oder Verlangsamungszustand ist, oder einen Fall, in dem das Fahrzeug in der Informationsverarbeitungsvorrichtung nach dem neunten erfindungsgemäßen Aspekt in einer vorgegebenen von dem angegebenen Fahrzustand des Fahrzeugs geneigten Position ist.
In dem Fall, in dem das Fahrzeug im vorgegebenen Beschleunigungs- oder Verlangsamungszustand ist, oder im Fall, in dem das Fahrzeug in der vorgegebenen geneigten Position ist, liegen Möglichkeiten vor, dass die Sichtlinie des Fahrers weitgehend schwenken könnte, was zu einer Änderung der Sichtlinienrichtung davon führt. Unter Einsatz der Informationsverarbeitungsvorrichtung nach dem zwölften erfindungsgemäßen Aspekt ist es möglich, zu verhindern, dass die Referenz unter diesen Umständen bestimmt wird.
Die Informationsverarbeitungsvorrichtung nach einem dreizehnten erfindungsgemäßen Aspekt ist durch den Informationserfassungsteil gekennzeichnet, der Standortinformationen des Fahrzeugs und Karteninformationen der Umgebung des Fahrzeugs erfasst, und durch den Entscheidungsteil, der entscheidet, dass das Fahrzeug sich im angegebenen Fahrzustand befindet, wenn das Fahrzeug auf einer geraden Straße in der Informationsverarbeitungsvorrichtung nach dem neunten erfindungsgemäßen Aspekt gefahren wird.
Unter Einsatz der Informationsverarbeitungsvorrichtung nach dem dreizehnten erfindungsgemäßen Aspekt wird, wenn entschieden wird, dass das Fahrzeug auf einer geraden Straße gefahren wird, auf der Grundlage der Standortinformationen des Fahrzeugs und der Karteninformationen der Umgebung des Fahrzeugs, entschieden, dass das Fahrzeug im angegebenen Fahrzustand ist. Demnach kann auf der Grundlage der Sichtlinienrichtung des Fahrers in einem Zustand, in dem abgeschätzt wird, dass der Fahrer im Fahrzeug geradeaus schaut, die Referenz bestimmt werden.
Die Informationsverarbeitungsvorrichtung nach einem vierzehnten erfindungsgemäßen Aspekt ist dadurch gekennzeichnet, dass sie ferner einen Identifizierungsteil zum Identifizieren des Fahrers umfasst, wobei der Referenzbestimmungsteil die Referenz für jeden durch den Identifizierungsteil identifizierten Fahrer bestimmt, in der Informationsverarbeitungsvorrichtung nach einem vom ersten bis zum dreizehnten erfindungsgemäßen Aspekt.
Unter Einsatz der Informationsverarbeitungsvorrichtung nach dem vierzehnten erfindungsgemäßen Aspekt wird der Fahrer durch den Identifizierungsteil identifiziert und für jeden der identifizierten Fahrer kann die Referenz bestimmt werden. Demnach wird es selbst dann, wenn ein anderer Fahrer das Fahrzeug bedient, möglich, die Sichtlinienrichtung eines jeden Fahrers mit hoher Genauigkeit zu ermitteln.
Ein erfindungsgemäßes Fahrerüberwachungssystem wird dadurch gekennzeichnet, dass es die Informationsverarbeitungsvorrichtung nach einem vom ersten bis zum vierzehnten erfindungsgemäßen Aspekt sowie wenigstens eine Kamera zum Aufnehmen eines Bilds, das das Gesicht des Fahrers enthält, erfasst vom Bilderfassungsteil, umfasst.
Unter Einsatz des Fahrerüberwachungssystems ist es möglich, mit geringen Kosten ein Fahrerüberwachungssystem zu realisieren, durch das Effekte einer beliebigen der obigen Informationsverarbeitungsvorrichtungen erhalten werden können.
Ein erfindungsgemäßes Informationsverarbeitungsverfahren ist dadurch gekennzeichnet, dass es die folgenden Schritte umfasst:

Erfassen eines Bilds, das ein Gesicht eines Fahrers eines Fahrzeugs enthält;
Ermitteln einer Sichtlinienrichtung des Fahrers in dem Bild, das in dem Bilderfassungsschritt erfasst wurde;
Sammeln von im Ermittlungsschritt erhaltenen Ermittlungsergebnissen in einem Sammlungsteil; und
Bestimmen einer Referenz der Sichtlinienrichtung für den Fahrer unter Einsatz der im Sammlungsteil gesammelten Ermittlungsergebnisse.

Unter Einsatz des Informationsverarbeitungsverfahrens wird die Sichtlinienrichtung des Fahrers in dem Bild im Ermittlungsschritt ermittelt, die Ermittlungsergebnisse werden im Sammlungsschritt in dem Sammlungsteil gesammelt und unter Einsatz der Ermittlungsergebnisse wird die Referenz der Sichtlinienrichtung für den Fahrer im Referenzbestimmungsschritt bestimmt. Demnach ist es möglich, die Referenz anhand der individuellen Differenz der Sichtlinienrichtung des Fahrers zu bestimmen und durch Einsatz der Referenz wird es möglich, die Ermittlungsgenauigkeit der Sichtlinienrichtung des Fahrers zu verbessern.
Ein erfindungsgemäßes Informationsverarbeitungsprogramm ist gekennzeichnet durch das Ermöglichen, dass wenigstens ein Computer die folgenden Schritte ausführt:

Unter Einsatz des Informationsverarbeitungsprogramms kann durch Ermöglichen, dass der wenigstens eine Computer jeden der obigen Schritte ausführt, die Referenz nach der individuellen Differenz der Sichtlinienrichtung des Fahrers bestimmt werden. Und unter Einsatz der Referenz kann eine Informationsverarbeitungsvorrichtung, die die Ermittlungsgenauigkeit der Sichtlinienrichtung des Fahrers verbessern kann, realisiert werden.
Figurenliste

1 ist eine Diagrammdarstellung eines Beispiels, in dem ein Fahrerüberwachungssystem einschließlich einer Informationsverarbeitungsvorrichtung nach einer Ausführungsform in einem Fahrzeug angewandt wird;
2 ist ein Blockdiagramm, das ein Beispiel einer Ausführung eines fahrzeuginternen Systems mit einem Fahrerüberwachungssystem nach einer Ausführungsform (1) zeigt;
3 ist ein Blockdiagramm, das ein Beispiel einer Hardwareausführung einer Informationsverarbeitungsvorrichtung nach der Ausführungsform (1) zeigt;
4 ist ein Flussdiagramm, das ein Beispiel für Verarbeitungsvorgänge der Referenzbestimmung, ausgeführt durch eine Steuereinheit, in der Informationsverarbeitungsvorrichtung nach der Ausführungsform (1) zeigt;
5 ist ein Flussdiagramm, das ein Beispiel für Verarbeitungsvorgänge der Sichtlinienrichtungsermittlung, ausgeführt durch die Steuereinheit, in der Informationsverarbeitungsvorrichtung nach der Ausführungsform (1) zeigt;
6 ist ein Flussdiagramm, das ein Beispiel für Verarbeitungsvorgänge der Überwachung, ausgeführt durch die Steuereinheit, in der Informationsverarbeitungsvorrichtung nach der Ausführungsform (1) zeigt;
7 ist ein Blockdiagramm, das ein Beispiel einer Hardwareausführung einer Informationsverarbeitungsvorrichtung nach einer Ausführungsform (2) zeigt;
8 ist ein Flussdiagramm, das ein Beispiel für Verarbeitungsvorgänge der Referenzbestimmung, ausgeführt durch eine Steuereinheit in der Informationsverarbeitungsvorrichtung nach der Ausführungsform (2) zeigt;
9 ist ein Flussdiagramm, das ein Beispiel für Verarbeitungsvorgänge der Überwachung, ausgeführt durch die Steuereinheit in der Informationsverarbeitungsvorrichtung nach der Ausführungsform (2) zeigt; und
10 ist ein Flussdiagramm, das ein Beispiel für Verarbeitungsvorgänge der Referenzänderung, ausgeführt durch die Steuereinheit, in der Informationsverarbeitungsvorrichtung nach der Ausführungsform (2) zeigt.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Die Ausführungsformen der Informationsverarbeitungsvorrichtung, des Fahrerüberwachungssystems, des Informationsverarbeitungsverfahrens und des Informationsverarbeitungsprogramms nach der vorliegenden Erfindung werden nachfolgend unter Bezugnahme auf die Figuren beschrieben.
[Anwendungsbeispiel]
1 ist eine Diagrammdarstellung eines Beispiels, in dem ein Fahrerüberwachungssystem einschließlich einer Informationsverarbeitungsvorrichtung nach einer Ausführungsform in einem Fahrzeug angewandt wird.
Ein Fahrerüberwachungssystem 1 umfasst eine Informationsverarbeitungsvorrichtung 10 zum Ausführen von Informationsverarbeitung zum Erfassen des Zustands eines Tauchers D eines Fahrzeugs 2, und eine Kamera 20 zum Aufnehmen eines Bilds, das ein Gesicht des Fahrers D enthält.
Die Informationsverarbeitungsvorrichtung 10 ist mit fahrzeuginterner Ausrüstung 3 verbunden, die im Fahrzeug 2 eingebaut ist. Sie kann Informationen verschiedener Arten in Bezug auf einen Fahrzustand des Fahrzeugs 2 von der fahrzeuginternen Ausrüstung 3 erfassen, während sie Steuersignale und Ähnliches an die fahrzeuginterne Ausrüstung 3 ausgibt. Die Informationsverarbeitungsvorrichtung 10 wird durch elektrisches Verbinden einer Steuereinheit, einer Speichereinheit, einer Eingabe-Ausgabe-Schnittstelle und ähnlicher Komponenten ausgeführt.
Die fahrzeuginterne Ausrüstung 3 kann neben Steuervorrichtungen jeglicher Art zum Steuern einer Energiequelle, eines Lenkmechanismus, eines Bremsmechanismus und ähnlicher Komponenten des Fahrzeugs 2, Folgendes enthalten: eine Darstellungsvorrichtung zum Darstellen von Informationen jeglicher Art über das Fahrzeug 2, ein Kommunikationsgerät zum Kommunizieren mit dem Äußeren des Fahrzeugs 2 und verschiedene Arten von Sensoren zum Erfassen des Zustands des Fahrzeugs 2 oder der Situation des Äußeren des Fahrzeugs 2. Und die fahrzeuginterne Ausrüstung 3 kann derart ausgeführt sein, dass alle Vorrichtungen über ein fahrzeuginternes Netz, wie etwa CAN (Controller Area Network), miteinander kommunizieren können.
Die Steuervorrichtungen können eine Fahrunterstützungsvorrichtung zum automatischen Steuern eines der Fahrbetriebsvorgänge Beschleunigen/Verlangsamen, Lenken und Bremsen des Fahrzeugs 2 enthalten, um die Fahrbetriebsvorgänge des Fahrers zu unterstützen. Oder die Steuervorrichtungen können eine Automatikbetrieb-Steuervorrichtung zum automatischen Steuern von zwei oder allen der Fahrbetriebsvorgänge Beschleunigen/Verlangsamen, Lenken und Bremsen des Fahrzeugs 2 enthalten. Die Darstellungsvorrichtung kann eine Navigationsvorrichtung, eine Benachrichtigungsvorrichtung und eine Benutzerschnittstelle beliebiger Art enthalten. Oder die Informationsverarbeitungsvorrichtung 10 kann in die fahrzeuginterne Ausrüstung 3 eingebunden sein.
Die Kamera 20, die eine Vorrichtung zum Abbilden des Fahrers D ist, umfasst zum Beispiel einen Objektivteil, einen Bilderfassungselementteil, einen Lichtbestrahlungsteil, einen Schnittstellenteil und einen Steuerteil zum Steuern eines jeden dieser Teile, die alle nicht abgebildet sind. Das Bilderfassungselement umfasst ein Bilderfassungselement, wie etwa eine CCD (ladungsgekoppelte Einrichtung - Charge Coupled Device) oder einen CMOS (komplementären Metalloxidhalbleiter - Complementary Metal Oxide Semiconductor), einen Filter, eine Mikrolinse oder Ähnliches. Das Bilderfassungselement enthält etwas, das ein aufgenommenes Bild mit Licht im sichtbaren Bereich ausbilden kann, und es kann ferner eine CCD oder einen CMOS enthalten, die ein aufgenommenes Bild mit ultravioletten Strahlen oder infraroten Strahlen ausbilden kann, oder einen Infrarotsensor, wie etwa eine Fotodiode. Der Lichtbestrahlungsteil enthält ein Licht-ausstrahlendes Element, wie etwa eine LED (Light Emitting Diode), oder es kann eine Infrarot-LED eingesetzt werden, um den Fahrerzustand bei Tag und bei Nacht fotografieren zu können. Der Steuerteil umfasst zum Beispiel eine CPU (Central Processing Unit), einen Speicher und einen Bildverarbeitungsschaltkreis. Der Steuerteil steuert den Bilderfassungselementteil und den Lichtbestrahlungsteil, um die Steuerung auszuführen, bei der Licht (z. B. Nahinfrarotstrahlen) von dem Lichtbestrahlungsteil aus ausgestrahlt wird und das davon reflektierte Licht durch den Bilderfassungselementteil aufgenommen wird. Die Kamera 20 nimmt ein Bild mit einer vorgegebenen Bildrate auf (z. B. 30-60 Bilder pro Sekunde) und Daten des mit der Kamera 20 aufgenommenen Bilds werden an die Informationsverarbeitungsvorrichtung 10 ausgegeben.
Eine Kamera 20 oder zwei oder mehr Kameras 20 können eingesetzt werden. Die Kamera 20 kann getrennt von der Informationsverarbeitungsvorrichtung 10 (als separates Gehäuse) ausgeführt sein oder sie kann mit der Informationsverarbeitungsvorrichtung 10 (in einem Gehäuse) integriert sein. Die Kamera 20 kann eine monokulare Kamera oder eine Stereokamera sein.
Die Befestigungsposition der Kamera 20 im Innenraum ist nicht besonders eingeschränkt, sofern das Sichtfeld, einschließlich wenigstens des Gesichts des Fahrers D, von der Position aus abgebildet werden kann. So kann sie zum Beispiel abgesehen von der Mitte eines Armaturenbretts des Fahrzeugs 2 an einem Lenkradabschnitt, an einem Lenksäulenabschnitt, an einem Schalttafelabschnitt, in der Nähe eines Innenraumspiegels, an einem A-Säulen-Abschnitt oder an einer Navigationsvorrichtung befestigt sein. Und Informationen, die die Spezifikation enthalten (wie etwa einen Blickwinkel und die Anzahl der Pixel (Länge×Breite)) und die Positionshaltung (wie etwa der Befestigungswinkel und der Abstand von einem vorgegebenen Ausgangspunkt (z. B. eine Mittelposition des Lenkrads)) der Kamera 20, können in der Kamera 20 oder in der Informationsverarbeitungsvorrichtung 10 gespeichert sein.
Die Informationsverarbeitungsvorrichtung 10 führt das Verarbeiten des Erfassens der Sichtlinienrichtung des Fahrers D als Informationsverarbeitung zum Erfassen des Zustands des Fahrers D des Fahrzeugs 2 aus. Und eines der Charakteristika der Informationsverarbeitungsvorrichtung 10 ist das Verarbeiten des Bestimmens einer Referenz der Sichtlinienrichtung des Fahrers D, die beim Verarbeiten des Erfassens der Sichtlinienrichtung des Fahrers D eingesetzt wird.
Wie in dem Abschnitt zum Stand der Technik erwähnt, fällt selbst wenn der Fahrer in der Fahrtrichtung des Fahrzeugs geradeaus blickt, die Sichtlinienrichtung des Fahrers, zum Beispiel die Sichtlinienrichtung in der Tiefenrichtung, bei verschiedenen Individuen unterschiedlich aus. Selbst beim gleichen Fahrer fällt die Sichtlinienrichtung im Zustand des Schauens geradeau in die Fahrtrichtung des Fahrzeugs manchmal je nach den Fahrbedingungen unterschiedlich aus.
Demnach bestimmt beim Ausführen des Verarbeitens des Erfassens der Sichtlinienrichtung des Fahrers die Informationsverarbeitungsvorrichtung 10 eine Referenz der Sichtlinienrichtung des Fahrers D, sodass die Sichtlinienrichtung selbst dann mit hoher Genauigkeit erfasst werden kann, wenn die Sichtlinienrichtung zwischen verschiedenen Individuen unterschiedlich ausfällt. Die Informationsverarbeitungsvorrichtung 10 versucht, die Ermittlungsgenauigkeit der Sichtlinienrichtung des Fahrers unter Einsatz der Referenz der Sichtlinienrichtung des Fahrers D zu verbessern.
Insbesondere erfasst die Informationsverarbeitungsvorrichtung 10 ein von der Kamera 20 aufgenommenes Bild und ermittelt die Sichtlinienrichtung des Fahrers D in dem erfassten Bild und sammelt die Ermittlungsergebnisse.
In einer weiteren Ausführungsform kann die Informationsverarbeitungsvorrichtung 10 ein von der Kamera 20 aufgenommenes Bild erfassen und kann ferner Informationen in Bezug auf eine Fahrtrichtung des Fahrzeugs 2 von der fahrzeuginternen Ausrüstung 3 erfassen, entscheiden, ob das Fahrzeug 2 in einem angegebenen Fahrzustand ist, die Sichtlinienrichtung des Fahrers D im angegebenen Fahrzustand des Fahrzeugs 2 ermitteln und die Ermittlungsergebnisse akkumulieren (speichern). Als Informationen in Bezug auf den Fahrzustand des Fahrzeugs 2 können zum Beispiel Geschwindigkeitsinformationen und Lenkinformationen des Fahrzeugs 2 erfasst werden. Diese Informationen sind Beispiele für die folgenden „Fahrzeuginformationen“. Die Fahrzeuginformationen können zum Beispiel Daten sein, die von der über CAN verbundenen fahrzeuginternen Ausrüstung 3 erfasst worden ist. Der angegebene Fahrzustand kann zum Beispiel ein Fahrzustand sein, in dem die Geschwindigkeit des Fahrzeugs 2 in einem vorgegebenen Geschwindigkeitsbereich ist und das Fahrzeug 2 im nicht gelenkten Zustand ist, anders ausgedrückt, ein Fahrzustand, in dem das Fahrzeug 2 geradeaus gefahren wird.
Unter Einsatz der akkumulierten Ermittlungsergebnisse wird der Vorgang des Bestimmens einer Referenz der Sichtlinienrichtung für den Fahrer ausgeführt. So können zum Beispiel die gesammelten Ermittlungsergebnisse derart analysiert werden, dass der häufigste Wert als eine Referenz der Sichtlinienrichtung bestimmt wird, der die Sichtlinienrichtung anzeigt, die mit der höchsten Häufigkeit ermittelt wird.
Die Sichtlinienrichtung des Fahrers D kann eine Gesichtsrichtung enthalten, die aus dem Verhältnis zwischen einer Gesichtsrichtung des Fahrers und Informationen in Bezug auf einen Augenbereich (wie etwa die Positionen des Innenwinkels des Auges, des Außenwinkels des Auges und der Pupille) abgeschätzt werden kann. Die Sichtlinienrichtung des Fahrers D kann zum Beispiel mit einem Sichtlinienvektor V (einem 3D-Vektor) in den 3D-Koordinaten dargestellt werden, wie in einem Bildbeispiel 21 gezeigt. Der Sichtlinienvektor V kann zum Beispiel das sein, was aus einem Nickwinkel des Gesichts des Fahrers D, der ein Drehwinkel um die X-Achse (die Querachse) (eine Richtung von oben nach unten) ist, einem Gierwinkel seines Gesichts, der ein Drehwinkel um die Y-Achse (die vertikale Achse) (eine Richtung von links nach rechts) ist, und/oder einem Rollwinkel seines Gesichts, der ein Drehwinkel um die Z-Achse (die Längsachse) (eine Neigung nach links oder nach rechts) ist, mit den Augenbereichsinformationen abgeschätzt wird. Oder der Sichtlinienvektor V kann derart dargestellt werden, dass ein Teil der Werte des 3D-Vektors mit einem Teil derer eines Gesichtsrichtungsvektors (z. B. dem Ursprungspunkt der gemeinsamen 3D-Koordinaten) übereinstimmt, oder er kann durch einen relativen Winkel in Bezug auf den Gesichtsrichtungsvektor (einen relativen Wert oder den Gesichtsrichtungsvektor) dargestellt werden.
In dieser Ausführungsform erfasst die Informationsverarbeitungsvorrichtung 10 ein Bild des Fahrers D von der Kamera 20 und ermittelt die Sichtlinienrichtung des Fahrers D in dem erfassten Bild und sammelt die Ermittlungsergebnisse. Und die Informationsverarbeitungsvorrichtung 10 bestimmt eine Referenz der Sichtlinienrichtung des Fahrers D unter Einsatz der gesammelten Ermittlungsergebnisse der Sichtlinienrichtung. Demnach ist es möglich, die Referenz der Sichtlinienrichtung zum Beispiel entsprechend der individuellen Differenz der Sichtlinienrichtung des Fahrers D in Bezug auf die Vorwärtsrichtung zu bestimmen und unter Einsatz der bestimmten Referenz der Sichtlinienrichtung kann die Ermittlungsgenauigkeit der Sichtlinienrichtung des Fahrers D ohne Auswirkungen der Differenzen bei der Sichtlinienrichtung zwischen Individuen, die je nach Fahrer verschieden ausfallen, verbessert werden.
In einem allgemeinen Verfahren der Kamerakalibrierung, üblicherweise dadurch ausgeführt, dass der Fahrer auf einen bestimmten Schalter oder etwas ähnliches schaut, wird das Positionsverhältnis zwischen dem Schalter und dem Fahrer erfasst und die Kalibrierung wird unter Einsatz des erfassten Positionsverhältnisses ausgeführt. Demnach muss der Fahrer bewusst einen bestimmten Vorgang oder einen Blick ausführen, was Aufwand und Unbequemlichkeit mit sich bringt. Da in dieser Ausführungsform aber die Sichtlinienrichtung bestimmt wird, ohne dass dies dem Fahrer bewusst ist, kann der Bedienkomfort verbessert werden.
[Ausführungsbeispiel 1]
2 ist ein Blockdiagramm, das ein Beispiel eines fahrzeuginternen Systems mit einem darauf befestigten Fahrerüberwachungssystem nach einer Ausführungsform (1) zeigt.
Ein fahrzeuginternes System 4 umfasst ein Fahrerüberwachungssystem 1 und eine Automatikbetrieb-Steuervorrichtung 30. Das Fahrerüberwachungssystem 1 umfasst eine Informationsverarbeitungsvorrichtung 10 und eine Kamera 20 wie zuvor beschrieben. Die Hardwarekonstruktion der Informationsverarbeitungsvorrichtung 10 wird nachfolgend beschrieben. In dieser Ausführungsform wird ein Beispiel einer Anwendung eines automatischen Betriebssystems in dem fahrzeuginternen System 4 beschrieben, aber Anwendungssysteme sind nicht hierauf beschränkt.
Die Automatikbetrieb-Steuervorrichtung 30 kann eine Ausführung aufweisen, in der sie zwischen einem automatischen Betriebsmodus, in dem wenigstens ein Teil oder alle der Fahrbetriebsvorgänge bei der Fahrtsteuerung, einschließlich Beschleunigung/Verlangsamung, Lenken und Bremsen des Fahrzeugs 2 hauptsächlich durch das System automatisch ausgeführt werden, und einem manuellen Betriebsmodus, in dem ein Fahrer die Fahrbetriebsvorgänge ausführt. Der Automatikbetrieb, zum Beispiel, bedeutet, dass ohne die Fahrbetriebsvorgänge des Fahrers das Fahrzeug 2 automatisch durch Steuerungsvorgänge gefahren wird, die durch die Automatikbetrieb-Steuervorrichtung 30 ausgeführt werden. Der Automatikbetrieb kann in einem beliebigen der Automatisierungsstufen vorliegen, die durch die Society of Automotive Engineers, Inc. (SAE) vorgestellt werden: Stufe 1 (Fahrerunterstützung), Stufe 2 (teilweise Automatisierung), Stufe 3 (bedingte Automatisierung), Stufe 4 (hohe Automatisierung) und Stufe 5 (volle Automatisierung). Der manuelle Betrieb bedeutet, dass hauptsächlich der Fahrer Fahrbetriebsvorgänge ausführt, um zu ermöglichen, dass das Fahrzeug 2 gefahren wird.
Das fahrzeuginterne System 4 umfasst, neben dem Fahrerüberwachungssystem 1 und der Automatikbetrieb-Steuervorrichtung 30, Sensoren und Steuervorrichtungen, die für verschiedene Arten von Steuervorgängen im Automatikbetrieb und im manuellen Betrieb erforderlich sind. Es umfasst zum Beispiel einen Lenkungssensor 31, einen Fahrpedalsensor 32, einen Bremspedalsensor 33, eine Lenkungssteuervorrichtung 34, eine Antriebseinheitssteuervorrichtung 35, eine Bremssteuervorrichtung 36, eine Benachrichtigungsvorrichtung 37, einen Anlasserschalter 38, einen Peripherieüberwachungssensor 39, einen GPS-Empfänger 40, einen Gyrosensor 41, einen Geschwindigkeitssensor 42, eine Navigationsvorrichtung 43 und ein Kommunikationsgerät 44. Diese Sensoren und Steuervorrichtungen verschiedener Arten sind elektrisch über eine Kommunikationsleitung 50 verbunden.
Das Fahrzeug 2 weist eine Antriebseinheit 51 auf, bei der es sich um eine Antriebseinheit davon handelt, wie etwa einen Motor oder einen Elektromotor, und eine Lenkvorrichtung 53 mit einem Lenkrad 52 für das Lenken durch den Fahrer.
Die Automatikbetrieb-Steuervorrichtung 30 ist eine Vorrichtung, die verschiedene Arten von Steuerungsvorgängen in Bezug auf den Automatikbetrieb des Fahrzeugs 2 ausführt, bestehend aus einer elektronischen Steuervorrichtung mit einem Steuerteil, einem Speicherungsteil, einem Eingabe-/Ausgabeteil und Ähnlichem, die alle nicht abgebildet werden. Der Steuerteil, der einen oder mehrere Hardwareprozessoren umfasst, liest Programme aus, die in dem Speicherungsteil gespeichert sind, und führt verschiedene Arten von Fahrzeugsteuerung aus.
Die Automatikbetrieb-Steuervorrichtung 30 ist neben der Informationsverarbeitungsvorrichtung 10 mit dem Lenkungssensor 31, dem Fahrpedalsensor 32, dem Bremspedalsensor 33, der Lenkungssteuervorrichtung 34, der Antriebseinheitssteuervorrichtung 35, der Bremssteuervorrichtung 36, dem Peripherieüberwachungssensor 39, dem GPS (global positioning system - globales Positionsbestimmungssystem)-Empfänger 40, dem Gyrosensor 41, dem Geschwindigkeitssensor 42, der Navigationsvorrichtung 43 und dem Kommunikationsgerät 44 und Ähnlichem verbunden. Auf der Grundlage der von jeder dieser Vorrichtungen erfassten Informationen gibt die Automatikbetrieb-Steuervorrichtung 30 Steuersignale zum Ausführen von dem Automatikbetrieb an jede der Steuervorrichtungen aus, um den Automatikbetrieb auszuführen, wie etwa automatische Lenkung, automatische Geschwindigkeitsregelung und automatisches Bremsen des Fahrzeugs 2.
Die Automatikbetrieb-Steuervorrichtung 30 kann den Automatikbetrieb beenden, falls eine zuvor ausgewählte Bedingung erfüllt worden ist. Die Automatikbetrieb-Steuervorrichtung 30 kann den Automatikbetrieb zum Beispiel beenden, wenn entschieden wird, dass das Fahrzeug 2 im Automatikbetrieb einen zuvor ausgewählten Endpunkt des Automatikbetriebs erreicht hat und es entschieden wird, dass das Verhalten des Fahrers zu einem Verhalten geworden ist, das es dem Fahrer ermöglicht, den manuellen Betrieb auszuführen. Oder die Automatikbetrieb-Steuervorrichtung 30 kann Steuerungsvorgänge zum Beenden des Automatikbetriebs ausführen, wenn der Fahrer einen Automatikbetriebs-Freigabebetrieb ausgelöst hat (z. B. einen Betrieb eines Automatikbetriebs-Freigabeknopfes, Bedienung des Lenkrads 52, des Fahrpedals oder der Bremse durch den Fahrer).
Der Lenkungssensor 31 ist ein Sensor, der einen Lenkungsumfang des Lenkrads 52 ermittelt. Er befindet sich zum Beispiel an einer Lenkachse des Fahrzeugs 2 und ermittelt ein durch den Fahrer auf das Lenkrad 52 aufgebrachtes Lenkdrehmoment oder einen Lenkwinkel des Lenkrads 52. Ein Signal entsprechend eines Betriebs des Lenkrads durch den Fahrer, ermittelt durch den Lenksensor 31, wird wenigstens entweder an die Automatikbetrieb-Steuervorrichtung 30 oder an die Lenkungssteuervorrichtung 34 ausgegeben.
Der Fahrpedalsensor 32 ist ein Sensor, der einen Schrittumfang des Fahrpedals (die Position des Fahrpedals) ermittelt, und er befindet sich zum Beispiel am Achsenabschnitt des Fahrpedals. Ein Signal entsprechend dem Schrittumfang des Fahrpedals, ermittelt durch den Fahrpedalsensor 32, wird entweder an die Automatikbetrieb-Steuervorrichtung 30 oder an die Antriebseinheitssteuervorrichtung 35 ausgegeben.
Der Bremspedalsensor 33 ist ein Sensor, der einen Schrittumfang des Bremspedals (die Position des Bremspedals) oder eine Betriebskraft (wie etwa eine Trittkraft) darauf ermittelt. Ein Signal entsprechend dem Schrittumfang oder der Betriebskraft des Bremspedals, ermittelt durch den Bremspedalsensor 33, wird wenigstens entweder an die Automatikbetrieb-Steuervorrichtung 30 oder an die Bremssteuervorrichtung 36 ausgegeben.
Die Lenkungssteuervorrichtung 34 ist eine elektronische Steuervorrichtung, die die Lenkvorrichtung (z. B. eine elektrische Servolenkungsvorrichtung) 53 des Fahrzeugs 2 steuert. Die Lenkungssteuervorrichtung 34 steuert das Lenkungsdrehmoment des Fahrzeugs 2 durch Antreiben des Elektromotors, der das Lenkungsdrehmoment des Fahrzeugs 2 steuert. Im Automatikbetriebsmodus steuert die Lenkungssteuervorrichtung 34 das Lenkungsdrehmoment nach einem Steuersignal von der Automatikbetrieb-Steuervorrichtung 30.
Die Antriebseinheitssteuervorrichtung 35 ist eine elektronische Steuervorrichtung, die die Antriebseinheit 51 steuert. Die Antriebseinheitssteuervorrichtung 35 steuert die Antriebskraft des Fahrzeugs 2, zum Beispiel durch Steuern der Kraftstoffzufuhr und der Luftzufuhr zum Motor oder der Energiezufuhr an den Elektromotor. Im Automatikbetriebsmodus steuert die Antriebseinheitssteuervorrichtung 35 die Antriebskraft des Fahrzeugs 2 nach einem Steuersignal von der Automatikbetrieb-Steuervorrichtung 30.
Die Bremssteuervorrichtung 36 ist eine elektronische Steuervorrichtung, die das Bremssystem des Fahrzeugs 2 steuert. Die Bremssteuervorrichtung 36 steuert die auf die Räder des Fahrzeugs 2 aufgebrachte Bremskraft, zum Beispiel durch Regeln des auf das hydraulische Bremssystem aufgebrachten Flüssigkeitsdrucks. Im Automatikbetriebsmodus steuert die Bremssteuervorrichtung 36 die Bremskraft an den Rädern nach einem Steuersignal von der Automatikbetrieb-Steuervorrichtung 30.
Die Benachrichtigungsvorrichtung 37 ist eine Vorrichtung zum Übermitteln oder zum Melden von vorgegebenen Informationen an den Fahrer. Die Benachrichtigungsvorrichtung 37 kann zum Beispiel Folgendes umfassen: einen Sprachausgabeteil, der Meldungen beliebiger Art über Ton oder Sprache ausgibt, einen Anzeigeausgabeteil, der Meldungen beliebiger Art oder einen Alarm über Text oder Grafik ausgibt, oder der ermöglicht, dass eine Lampe aufleuchtet, oder einen Vibrationsbenachrichtigungsteil, der den Fahrersitz oder das Lenkrad vibriert (alle nicht abgebildet). Die Benachrichtigungsvorrichtung 37 funktioniert zum Beispiel auf der Grundlage einer Steuersignalausgabe von der Informationsverarbeitungsvorrichtung 10 oder der Automatikbetrieb-Steuervorrichtung 30.
Der Anlasserschalter 38 ist ein Schalter zum Anlassen und Anhalten der Antriebseinheit 51. Er besteht aus einem Zündschalter zum Anlassen des Motors, einem Einschalter zum Einschalten des Elektromotors zum Fahren oder aus Ähnlichem. Das Betriebssignal des Anlasserschalters 38 kann in die Informationsverarbeitungsvorrichtung 10 oder in die Automatikbetrieb-Steuervorrichtung 30 eingegeben werden.
Der Peripherieüberwachungssensor 39 ist ein Sensor, der ermittelt, dass ein Objekt in der Peripherie des Fahrzeugs 2 vorliegt. Das Objekt kann ein bewegliches Objekt enthalten, wie etwa ein Auto, ein Fahrrad oder eine Person, Verkehrszeichen (wie etwa weiße Linien), ein Geländer, einen Metallstreifen, eine Struktur, die sich auf das Fahren des Fahrzeugs auswirkt, oder Ähnliches. Der Peripherieüberwachungssensor 39 kann wenigstens einen, ausgewählt aus der Gruppe bestehend aus einer vorderen Überwachungskamera, einer hinteren Überwachungskamera, einer Radarvorrichtung, einer Vorrichtung für LIDER, d. h. Light Detection and Ranging oder Laser Imaging Detection and Ranging, und einem Ultraschallsensor umfassen. Die Ermittlungsdaten des mit dem Peripherieüberwachungssensor 39 erfassten Objekts werden an die Automatikbetrieb-Steuervorrichtung 30 oder an Ähnliches ausgegeben. Als vordere Überwachungskamera oder hintere Überwachungskamera kann eine Stereokamera oder eine monokulare Kamera eingesetzt werden. Die Radarvorrichtung sendet Funkwellen, wie etwa Millimeterwellen, in die Umgebung des Fahrzeugs und empfängt die von dem Objekt in der Umgebung des Fahrzeugs reflektierten Funkwellen, um die Position, die Richtung, den Abstand und ähnliche Angaben zu dem Objekt zu ermitteln. Die LIDER-Vorrichtung sendet ein Laserlicht in die Umgebung des Fahrzeugs und empfängt das von dem Objekt in der Umgebung des Fahrzeugs reflektierte Licht, um die Position, die Richtung, den Abstand und ähnliche Angaben zu dem Objekt zu ermitteln.
Der GPS-Empfänger 40 ist eine Vorrichtung, die ein GPS-Signal vom künstlichen Satelliten durch eine nicht abgebildete Antenne empfängt und einen Vorgang des Berechnens des Standorts des eigenen Fahrzeugs auf der Grundlage des empfangenen GPS-Signals ausführt (GPS-Navigierung). Die Standortinformationen, die den Standort des eigenen Fahrzeugs zeigen, berechnet durch den GPS-Empfänger 40, werden wenigstens entweder an die Automatikbetrieb-Steuervorrichtung 30 oder an die Navigationsvorrichtung 43 ausgegeben. Die Vorrichtung zum Ermitteln der eigenen Position des Fahrzeugs 2 ist, ohne darauf beschränkt zu sein, der GPS-Empfänger 40. Neben GPS können zum Beispiel Vorrichtungen eingesetzt werden, die an Quasi-Zenith-Satelliten aus Japan, GLONASS aus Russland, Galileo aus Europa, Compass aus China oder andere Navigationssatellitensysteme angepasst sind.
Der Gyrosensor 41 ist ein Sensor, der die Gierrate des Fahrzeugs 2 ermittelt. Das durch den Gyrosensor 41 ermittelte Gierratensignal wird wenigstens entweder an die Automatikbetrieb-Steuervorrichtung 30 oder an die Navigationsvorrichtung 43 ausgegeben.
Der Geschwindigkeitssensor 42 ist ein Sensor, der die Geschwindigkeit des Fahrzeugs 2 ermittelt, bestehend aus, zum Beispiel, einem Raddrehzahlsensor zum Ermitteln der Drehzahl eines Rads davon, eingebaut am Rad oder an einer Antriebswelle davon. Die Geschwindigkeitsinformationen, die die durch den Geschwindigkeitssensor 42 ermittelte Geschwindigkeit anzeigen, wie zum Beispiel ein Impulssignal zum Berechnen der Geschwindigkeit, wird wenigstens entweder an die Automatikbetrieb-Steuervorrichtung 30 oder an die Navigationsvorrichtung 43 ausgegeben.
Auf der Grundlage der Tatsache, dass die Standortinformationen des Fahrzeugs 2, gemessen durch den GPS-Empfänger 40, sowie von Karteninformationen in der Kartendatenbank (nicht dargestellt), berechnet die Navigationsvorrichtung 43 den Pfad und die Spur, auf der das Fahrzeug 2 gefahren wird, berechnet eine Route vom gegenwärtigen Standort des Fahrzeugs 2 zu einem Ziel oder Ähnlichem, zeigt die Route auf einem Anzeigeteil (nicht dargestellt) an und führt eine Sprachausgabe der Routenführung oder von Ähnlichem über einen Sprachausgabeteil (nicht dargestellt) aus. Die Standortinformationen des Fahrzeugs 2, Informationen zum Pfad und Informationen zur geplanten Fahrtroute usw., erhalten aus der Navigationsvorrichtung 43, können an die Automatikbetrieb-Steuervorrichtung 30 ausgegeben werden. Die Informationen der geplanten Fahrtroute können Informationen in Bezug auf Schaltersteuerung des Automatikbetriebs enthalten, wie etwa einen Startpunkt und einen Endpunkt eines Automatikbetriebabschnitts oder einen fortgeschrittenen Startpunkt und einen fortgeschrittenen Endpunkt des Automatikbetriebs. Die Navigationsvorrichtung 43 umfasst einen Steuerteil, den Anzeigeteil, den Sprachausgabeteil, einen Betriebsteil und einen Kartendatenspeicherungsteil, die alle nicht abgebildet sind.
Das Kommunikationsgerät 44 ist eine Vorrichtung, die Informationen jeglicher Art durch ein Funkkommunikationsnetz erfasst, zum Beispiel ein Kommunikationsnetz, wie etwa ein Mobiltelefonnetz, VICS (Vehicle Information and Communication System) (eingetragene Marke) oder DSRC (Dedicated Short Range Communications) (eingetragene Marke). Das Kommunikationsgerät 44 kann eine Funktion zur Kommunikation zwischen Fahrzeugen oder eine Funktion zur Kommunikation zwischen Fahrzeug und Infrastruktur aufweisen. So können zum Beispiel durch die Infrastruktur-Fahrzeug-Kommunikation mit einem Sendeempfänger am Straßenrand, wie etwa mit einem Lichtsignal oder einem ITS (Intelligent Transport Systems)-Punkt (eingetragene Marke), Straßenumgebungsinformationen (wie etwa Spurbeschränkungsinformationen) zum Pfad des Fahrzeugs 2 erfasst werden. Oder es können durch die Kommunikation zwischen Fahrzeugen Informationen zu anderen Fahrzeugen (wie etwa Standortinformationen zur Fahrtsteuerung) oder durch die anderen Fahrzeuge erfasste Informationen zur Straßenumgebung erfasst werden.
3 ist ein Blockdiagramm, das ein Beispiel einer Hardwareausführung der Informationsverarbeitungsvorrichtung 10 nach der Ausführungsform (1) zeigt.
Die Informationsverarbeitungsvorrichtung 10 umfasst eine Eingabe-Ausgabe-Schnittstelleneinheit (I/F) 11, eine Steuereinheit 12 und eine Speichereinheit 13.
Die Eingabe-Ausgabe-Schnittstelle 11 ist verbunden mit der Kamera 20, der Automatikbetrieb-Steuervorrichtung 30, der Benachrichtigungsvorrichtung 37 und Ähnlichem, umfassend einen Schnittstellenschaltkreis und einen Verbinder zum Ausgeben und zum Empfangen von Signalen an diese / von diesen externen Vorrichtungen.
Die Steuereinheit 12 umfasst einen Bilderfassungsteil 12a, einen Ermittlungsteil 12b und einen Referenzbestimmungsteil 12c. Und sie kann ferner einen Berechnungsteil 12d und einen Verarbeitungsteil 12e umfassen. Die Steuereinheit 12 umfasst einen oder mehrere Hardwareprozessoren, wie etwa eine CPU (Central Processing Unit - Zentrale Prozessoreinheit) oder eine GPU (Graphics Processing Unit - Grafikprozessoreinheit).
Die Speichereinheit 13 umfasst einen Bildspeicherungsteil 13a, einen Sammlungsteil 13b, einen Referenzspeicherungsteil 13c und einen Programmspeicherungsteil 13d. Die Speichereinheit 13 besteht aus einer oder mehreren Speichereinheiten, die Daten mit Halbleiterelementen speichern können, wie etwa ein Direktzugriffsspeicher (RAM), ein Nurlesespeicher (ROM), eine Festplatte (HDD), ein Solid-State-Laufwerk (SSD), ein Flash-Speicher oder andere nichtflüchtige Speicher, oder flüchtige Speicher. Sie kann mit dem in der Steuereinheit 12 enthaltenen RAM und ROM ausgeführt sein.
Im Bildspeicherungsteil 13a ist ein Bild des Fahrers gespeichert, erfasst von der Kamera 20 durch das Bilderfassungsteil 12a. Im Sammlungsteil 13b werden Informationen in Bezug auf die Sichtlinienrichtung des Fahrers in jedem Bild, ermittelt durch den Ermittlungsteil 12b, mit jedem im Bildspeicherungsteil 13a gespeicherten Bild verknüpft und gespeichert. Im Referenzspeicherungsteil 13c werden Informationen in Bezug auf die Referenz der Sichtlinienrichtung des Fahrers, bestimmt mithilfe des Referenzbestimmungsteils 12c gespeichert, wie etwa ein Wert, der die Referenz darstellt (ein Referenzwert). Im Programmspeicherungsteil 13d wurden Informationsverarbeitungsprogramme, die in jedem Teil der Steuereinheit 12 ausgeführt werden, sowie Daten, die zum Ausführen der Programme erforderlich sind, gespeichert.
Die Steuereinheit 12 speichert verschiedene Arten von Daten in der Speichereinheit 13. Und die Steuereinheit 12 liest verschiedene Arten von Daten und verschiedene Daten von Programmen, die in der Speichereinheit 13 gespeichert sind, und führt diese Programme aus. Durch Zusammenwirken der Steuereinheit 12 mit der Speichereinheit 13 werden die Betriebsvorgänge des Bilderfassungsteils 12a, des Ermittlungsteils 12b und des Referenzbestimmungsteils 12c und ferner die Betriebsvorgänge des Berechnungsteils 12d und des Verarbeitungsteils 12e implementiert.
Der Bildspeicherungsteil 12a erfasst ein Bild eines Fahrers, aufgenommen mit einer vorgegebenen Bildrate mit der Kamera 20 und er speichert das von der Kamera 20 erfasste Bild im Bildspeicherungsteil 13a.
Der Ermittlungsteil 12b liest jedes Einzelbild der in dem Bildspeicherungsteil 13a gespeicherten Bilder oder jedes Einzelbild in vorgegebenen Intervallen aus, ermittelt die Sichtlinienrichtung des Fahrers in dem Bild und verknüpft die Informationen in Verbindung mit der ermittelten Sichtlinienrichtung des Fahrers mit dem betreffenden Bild, um sie im Sammlungsteil 13b zu speichern.
Die Informationen in Bezug auf die Sichtlinienrichtung des Fahrers können Informationen eines Vektors oder eines Winkels der 3D-Koordinaten enthalten, der die Sichtlinienrichtung des Fahrers anzeigt, erfasst durch Bildverarbeitung. Andererseits können die Informationen zu der Sichtlinienrichtung des Fahrers die Gesichtsrichtung und Informationen zu der Position des Augenbereichs, wie etwa den Innenwinkel des Auges, den Außenwinkel des Auges und die Pupille enthalten, wie zum Beispiel Informationen in Bezug auf Kennpunkte, die typische oder charakteristische Positionen im Augenbereich anzeigen.
Der Referenzbestimmungsteil 12c bestimmt die Referenz der Sichtlinienrichtung des Fahrers unter Einsatz der Ermittlungsergebnisse der Sichtlinienrichtung, gesammelt im Sammlungsteil 13b, und er speichert Informationen in Bezug auf die bestimmte Referenz der Sichtlinienrichtung im Referenzspeicherungsteil 13c.
Insbesondere wird ausgewertet, ob die Ermittlungsergebnisse der Sichtlinienrichtung in einer vorgegebenen Anzahl von Einzelbildern im Sammlungsteil 13b gesammelt worden sind. Wenn auf der Grundlage der Ermittlungsergebnisse der Sichtlinienrichtung in diesen Bildern entschieden wird, dass sie gesammelt worden sind, wird die Referenz der Sichtlinienrichtung bestimmt. Um die Referenz der Sichtlinienrichtung mit statistischer Verarbeitung zu bestimmen, kann die am häufigsten erfasste Sichtlinienrichtung als Referenzwert bestimmt werden. In diesem Fall kann der Referenzwert mit Ausnahme der Ermittlungsergebnisse außerhalb eines vorgegebenen Bereichs, der die Richtung nach vorne anzeigt, ermittelt werden. Der Referenzwert kann mit einem Vektor oder mit einem Winkel in den 3D-Koordinaten angegeben werden.
Der obige Ermittlungsteil 12b, der Referenzbestimmungsteil 12c und der Sammlungsteil 13b führen gemeinsam das Verarbeiten des Bestimmens der Referenz der Sichtlinienrichtung des Fahrers aus.
Und der Berechnungsteil 12d, der Verarbeitungsteil 12e und der Referenzspeicherungsteil 13c führen gemeinsam das Verarbeiten des Erfassens (des Überwachens) des Zustands des Fahrers aus.
Der Berechnungsteil 12d liest die Referenz der Sichtlinienrichtung, bestimmt mithilfe des Referenzbestimmungsteils 12c aus dem Referenzspeicherungsteil 13c aus. Unter Einsatz der ausgelesenen Referenz der Sichtlinienrichtung berechnet er die Sichtlinienrichtung des Fahrers in Bezug auf die Referenz der Sichtlinienrichtung (z. B. eine Abweichungsquantität vom Referenzwert) aus dem durch den Bilderfassungsteil 12a erfassten Bild und gibt das Berechnungsergebnis an den Verarbeitungsteil 12e aus. Die Abweichungsquantität vom Referenzwert kann zum Beispiel als eine Änderungsquantität eines Vektors oder eines Winkels in den 3D-Koordinaten angegeben werden.
Der Verarbeitungsteil 12e führt das vorgegebene Verarbeiten auf der Grundlage der Sichtlinienrichtung des Fahrers in Bezug auf die Referenz der Sichtlinienrichtung (z. B. die Abweichungsquantität vom Referenzwert), berechnet durch den Berechnungsteil 12d, aus. Die vorgegebene Verarbeitung kann zum Beispiel das Verarbeiten sein, ob der Fahrer im Zustand des Blickens zur Seite ist, und im Fall des Blickens zur Seite (z. B. in einem Zustand, in dem die Sichtlinienrichtung in Richtung von links nach rechts um wenigstens einen vorgegebenen Wert vom Referenzwert abweicht) weist es die Benachrichtigungsvorrichtung 37 an, das Benachrichtigen auszuführen, oder das Verarbeiten, ob die Information der Sichtlinienrichtung im Zustand des Blickens zur Seite in der Speichereinheit 13 gespeichert ist, oder das Ausgeben der Automatikbetrieb-Steuervorrichtung 30 ohne Benachrichtigung.
Oder der Verarbeitungsteil 12e kann den Grad der Konzentration oder der Ermüdung entscheiden (einschließlich Schläfrigkeit usw.) und falls ein verringerter Grad der Konzentration oder ein hoher Grad der Ermüdung festgestellt wird (z. B. in einem Fall, in dem die Sichtlinienrichtung in Richtung nach unten um einen vorgegebenen Wert von dem Referenzwert abweicht), die Benachrichtigungsvorrichtung 37 anweisen, eine Benachrichtigung auszuführen. Oder der Verarbeitungsteil 12e kann die Informationen der Sichtlinienrichtung im Zustand der verringerten Konzentration oder der hohen Ermüdung in der Speichereinheit 13 anstelle einer Benachrichtigung oder mit einer Benachrichtigung speichern. Oder der Verarbeitungsteil 12e kann die Informationen der Sichtlinienrichtung, berechnet durch den Berechnungsteil 12d in der Speichereinheit 13 ohne das Entscheiden des Zustands des Blickens zur Seite speichern.
Oder das vorgegebene Verarbeiten kann Verarbeiten sein, wobei beim Umschalten von einem Automatikbetriebsmodus zu einem manuellen Betriebsmodus, entschieden wird, ob der Fahrer in einem Zustand ist, in dem er den Übergang zum manuellen Betrieb handhaben kann, und wenn entschieden wird, dass der Fahrer den Übergang handhaben kann (z. B., wenn die Abweichung der Sichtlinienrichtung von dem Referenzwert in einem vorgegebenen Bereich ist, der für manuellen Betrieb geeignet ist), wird ein Signal, das das Umschalten zum manuellen Betrieb zulässt, an die Automatikbetrieb-Steuervorrichtung 30 ausgegeben.
[Betriebsbeispiel 1]
4 ist ein Flussdiagramm, das ein Beispiel für Verarbeitungsvorgänge der Referenzbestimmung, ausgeführt durch die Steuereinheit 12 in der Informationsverarbeitungsvorrichtung 10 nach der Ausführungsform (1) zeigt. Diese Verarbeitungsvorgänge können zum Beispiel nur über einen festen Zeitraum ausgeführt werden, nachdem der Anlasserschalter 38 des Fahrzeugs 2 EINGESCHALTET worden ist, während die Kamera 20 im Betrieb ist.
In Schritt S1 ermittelt die Steuereinheit 12 eine Sichtlinienrichtung eines Fahrers. Mit der Kamera 20 wird jede Sekunde eine vorgegebene Anzahl von Einzelbildern aufgenommen. Die Steuereinheit 12 erfasst diese aufgenommenen Bilder chronologisch und kann diese Verarbeitung an jedem Einzelbild oder an jedem Einzelbild in vorgegebenen Intervallen ausführen.
5 ist ein Flussdiagramm, das ein Beispiel für Verarbeitungsvorgänge der Ermittlung der Sichtlinienrichtung des Fahrers in Schritt S1, ausgeführt durch die Steuereinheit 12, zeigt. In Schritt S11 erfasst die Steuereinheit 12 ein von der Kamera 20 aufgenommenes Bild und in Schritt S12 ermittelt die Steuereinheit 12 ein Gesicht (z. B. eine Gesichtsrichtung) eines Fahrers in dem erfassten Bild. Dann fährt der Vorgang mit Schritt S13 fort.
Das Verfahren zum Ermitteln eines Gesichts in einem Bild, ausgeführt durch die Steuereinheit 12, ist nicht besonders eingeschränkt, sondern vorzugsweise wird ein Verfahren zum Ermitteln eines Gesichts in einer hohen Geschwindigkeit und mit hoher Genauigkeit angenommen. So wird es zum Beispiel durch Betrachten einer Kontrastdifferenz (einer Luminanzdifferenz) oder einer Kantenintensität lokaler Regionen des Gesichts und der Relevanz (des Auftretens) zwischen diesen lokalen Regionen als Merkmalquantitäten, sowie durch Verwenden eines hierarchischen Detektors, in dem ein Identifizierungsabschnitt, der grob das Gesicht erfasst, am ersten Teil der hierarchischen Struktur angeordnet ist, und ein Identifizierungsabschnitt, der die kleinen Abschnitte des Gesichts erfasst, an einem tiefen Teil der hierarchischen Struktur angeordnet ist, möglich, mit hoher Geschwindigkeit in dem Bild nach dem Gesichtsbereich zu suchen.
In Schritt S13 ermittelt die Steuereinheit 12 die Positionen und die Formen der Gesichtsorgane, wie etwa Augen, Nase, Mund und Augenbrauen in dem in Schritt S12 ermittelten Gesichtsbereich. Das Verfahren zum Ermitteln der Gesichtsorgane aus dem Gesichtsbereich in dem Bild ist nicht besonders eingeschränkt, sondern vorzugsweise wird ein Verfahren zum Ermitteln der Gesichtsorgane in einer hohen Geschwindigkeit und mit hoher Genauigkeit angenommen. So kann zum Beispiel ein Verfahren angenommen werden, in dem ein dreidimensionales Gesichtsformmodell erzeugt wird, und in einen Gesichtsbereich auf einem zweidimensionalen Bild eingepasst wird, um die Position und die Form eines jedes Organs des Gesichts zu ermitteln. Das dreidimensionale Gesichtsformmodell besteht aus Knoten, die Merkmalpunkten eines jeden Organs des Gesichts entsprechen. Unter Einsatz dieses Verfahrens wird es möglich, unabhängig von der Befestigungsposition der Kamera 20 oder der Gesichtsrichtung in dem Bild die Position und die Form eines jeden Gesichtsorgans zu ermitteln. Als eine Technik des Einpassen eines dreidimensionalen Gesichtsformmodells auf ein Gesicht einer Person kann zum Beispiel die in der japanischen Patentanmeldung mit der Offenlegungsnummer 2007-249280 beschrieben ist, ist aber nicht auf diese Technik beschränkt.
Ein Beispiel des Einpassens eines dreidimensionalen Gesichtsformmodells auf ein Gesicht eines Fahrers in einem Bild, ausgeführt durch die Steuereinheit 12, ist nachfolgend beschrieben. In Fällen, in denen eine horizontale Achse durch eine X-Achse dargestellt wird, eine vertikale Achse durch eine Y-Achse dargestellt wird und eine Tiefen-(Längs)-Achse durch eine Z-Achse dargestellt wird, wenn das Gesicht von vorn betrachtet wird, weist das dreidimensionale Gesichtsformmodell mehrere Parameter auf, wie etwa ein Drehen um die X-Achse (Nicken), ein Drehen um die Y-Achse (Gieren), ein Drehen um die Z-Achse (Rollen) und Skalieren. Unter Einsatz dieser Parameter kann die Form des dreidimensionalen Gesichtsformmodells verformt werden.
Durch zuvor ausgeführtes Fehlerkorrelationslernen kann eine Fehlerabschätzungsmatrix (Umformungsmatrix) erfasst werden. Die Fehlerabschätzungsmatrix ist ein Lernergebnis zur Korrelation, die zeigt, in welche Richtung die Position des Merkmalpunkts eines jeden Organs des dreidimensionalen Gesichtsformmodells, das sich an einer falschen Position befindet (einer anderen Position als der Position des Merkmalpunkts eines jeden zu ermittelnden Organs), korrigiert werden sollte, und eine Matrix zum Umwandeln der Merkmalquantität am Merkmalpunkt in eine Änderungsquantität unter Verwendung einer multivariaten Regression.
Auf der Grundlage des Ermittlungsergebnisses des Gesichts platziert die Steuereinheit 12 anfänglich das dreidimensionale Gesichtsformmodell an einer angemessenen Position, Richtung und Größe des Gesichts. Die Position eines jeden Merkmalpunkts an dessen anfänglicher Position wird erhalten und eine Merkmalquantität eines jedem Merkmalpunkts wird berechnet. Die Merkmalquantität eines jeden Merkmalpunkts wird in die Fehlerabschätzungsmatrix eingegeben und eine Änderungsquantität eines Verformungsparameters in die Umgebung der korrekten Position (eine Fehlerabschätzungsquantität) wird erhalten. Zu dem Verformungsparameter des dreidimensionalen Gesichtsformmodells an der gegenwärtigen Position wird die Fehlerabschätzungsquantität hinzugefügt, um einen abgeschätzten Wert des korrekten Modellparameters zu erhalten. Dann wird beurteilt, ob der erhaltene korrekte Modellparameter in einem normalen Bereich liegt und ob die Verarbeitung zusammenläuft. Wenn beurteilt wird, dass die Verarbeitung nicht zusammengelaufen ist, wird die Merkmalquantität eines jeden Merkmalpunkts eines neuen dreidimensionalen Gesichtsformmodells, erzeugt auf der Grundlage des erhaltenen korrekten Modellparameters, erhalten und die Verarbeitung wird wiederholt. Andererseits wird, wenn beurteilt wird, dass die Verarbeitung zusammengelaufen ist, die Platzierung des dreidimensionalen Gesichtsformmodells in der Umgebung der korrekten Position abgeschlossen. Durch diese Verarbeitungsvorgänge, ausgeführt mithilfe der Steuereinheit 12, wird das dreidimensionale Gesichtsformmodell mit einer hohen Geschwindigkeit in die Umgebung der korrekten Position in das Bild eingepasst. Und aus dem dreidimensionalen Gesichtsformmodell, eingepasst in die korrekte Position, werden die Position und die Form eines jeden Gesichtsorgans berechnet.
In Schritt S14 erfasst die Steuereinheit 12 die Gesichtsrichtung des Fahrers auf der Grundlage der in Schritt S13 erhaltenen Daten zu der Position und der Form eines jeden Gesichtsorgans. So können zum Beispiel der Nickwinkel der vertikalen Drehung (in der X-Achse), der Gierwinkel der horizontalen Drehung (in der Y-Achse) und/oder der Rollwinkel der Gesamtdrehung (in der Z-Achse), enthalten in Parametern des dreidimensionalen Gesichtsformmodells, angeordnet in der Umgebung der korrekten Position, als Informationen zu der Gesichtsrichtung des Fahrers ermittelt werden.
In Schritt S15 ermittelt die Steuereinheit 12 die Sichtlinienrichtung auf der Grundlage der in Schritt S14 ermittelten Gesichtsrichtung des Fahrers sowie der in Schritt S13 erhaltenen Positionen und Formen der Gesichtsorgane des Fahrers, insbesondere der Positionen und Formen der Merkmalpunkte des Auges (Innenwinkel des Auges, Außenwinkel des Auges und Pupille) und der Vorgang fährt mit Schritt S16 fort.
Die Sichtlinienrichtung kann durch vorheriges Lernen von Merkmalquantitäten (z. B. der relativen Positionen des Außenwinkels des Auges, des Innenwinkels des Auges und der Pupille, oder der relativen Positionen des weißen Bereichs und des schwarzen Bereichs, des Kontrasts und der Textur) in Bildern der Augen mit verschiedenen Gesichtsrichtungen und Sichtlinienrichtungen unter Einsatz einer Lerneinheit ermittelt werden, um den Grad der Ähnlichkeit zu diesen gelernten Merkmalquantitätendaten auszuwerten. Oder es können unter Einsatz des Einpassungsergebnisses eines dreidimensionalen Gesichtsformmodells die Größe und die Mittelposition des Augapfels aus der Größe und der Richtung des Gesichts und der Position des Auges und der Position der Pupille (des schwarzen Teils) ebenfalls ermittelt werden, um einen Vektor als die Sichtlinienrichtung zu ermitteln, der die Mitte des Augapfels und die Mitte der Pupille verbindet.
In Schritt S16 verknüpft die Steuereinheit 12 die Informationen in Verbindung mit der in Schritt S15 ermittelten Sichtlinienrichtung des Fahrers mit dem betreffenden Bild und speichert sie im Sammlungsteil 13b und die Verarbeitung fährt mit Schritt S17 fort. In Schritt S17 addiert die Steuereinheit 12 eins zu einem Zähler K hinzu, der Bilder zählt, in denen die Sichtlinienrichtung erfasst worden ist, und die Verarbeitung wird abgeschlossen. Das Ermittlungsverarbeiten der Sichtlinienrichtung wird auf dem nächsten Bild wiederholt.
Nach dem Ausführen der Erfassungsverarbeitung der Sichtlinienrichtung des Fahrers in Schritt S1 fährt der Vorgang mit Schritt S2 fort, dargestellt in 4. In Schritt S2 wertet die Steuereinheit 12 aus, ob der Zähler K einen vorgegebenen Wert N ausgelesen hat, also ob die Ermittlungsergebnisse der Sichtlinienrichtung in einer vorgegebenen Anzahl von Einzelbildern von Bildern gesammelt worden sind. Wenn entschieden wird, dass der Zähler K weniger als den vorgegebenen Wert N angibt (sie wurden nicht akkumuliert), wird die Verarbeitung abgeschlossen. Anderseits fährt, wenn ausgewertet wird, dass der Zähler K den vorgegebenen Wert N oder einen höheren Wert ausgelesen hat (sie sind akkumuliert worden), der Vorgang mit Schritt S3 fort.
In Schritt S3 bestimmt die Steuereinheit 12 eine Referenz der Sichtlinienrichtung des Fahrers, und der Vorgang fährt mit Schritt S4 fort. Insbesondere liest sie die Ermittlungsergebnisse der Sichtlinienrichtung in der vorgegebenen Anzahl von Einzelbildern der Bilder vom Sammlungsteil 13b aus und unter Einsatz der Informationen in Bezug auf die Sichtlinienrichtung des Fahrers in jedem der Bilder bestimmt sie die Referenz der Sichtlinienrichtung. In den Sichtlinienrichtungen der vorgegebenen Anzahl von Einzelbildern der Bilder, kann die am häufigsten ermittelte Sichtlinienrichtung, also der häufigste Wert der Sichtlinienrichtung, als der Referenzwert eingesetzt werden. Der Referenzwert der Sichtlinienrichtung kann mit einem Vektor in den 3D-Koordinaten oder mit einem Winkel darauf angegeben werden. Oder er kann Informationen in Bezug auf die Gesichtsrichtung und die Positionen der Augen (Merkmalpunkte, wie etwa Innen- und Außenwinkel des Auges und Pupille) enthalten.
In Schritt S4 speichert die Steuereinheit 12 Informationen in Bezug auf die in Schritt S3 bestimmte im Referenzspeicherungsteil 13c gespeicherten Referenz der Sichtlinienrichtung und die Verarbeitung wird abgeschlossen. Im Referenzspeicherungsteil 13c können neben der Referenz (dem Referenzwert) der Sichtlinienrichtung zusätzliche Informationen, wie etwa Datum- und Zeitdaten, sowie Umstandsdaten (wie etwa Daten zur externen Beleuchtungsstärke) gespeichert werden.
In einer anderen Ausführungsform kann es der Steuereinheit 12 ermöglicht werden, einen Identifizierungsteil (nicht dargestellt) zum Identifizieren eines Fahrers aufzuweisen, um die Referenz der Sichtlinienrichtung eines jeden durch den Identifizierungsteil identifizierten Fahrers zu bestimmen. Der Identifizierungsteil kann den Fahrer unter Einsatz einer Identifizierungsverarbeitung eines Bilds identifizieren oder den Fahrer durch einen Bedienteil, wie etwa durch einen Schalter, einstellen oder auswählen.
Zum Beispiel ermittelt beim Ermitteln der Sichtlinienrichtung im obigen Schritt S1 die Steuereinheit 12 ein Gesicht eines Fahrers in einem Bild (Schritt S12) und sie führt danach eine Gesichtsidentifizierungsverarbeitung des Fahrers aus, um auszuwerten, ob es sich um einen neuen Fahrer oder um einen bereits registrierten Fahrer handelt. Die Technik der Gesichtsidentifizierungsverarbeitung ist nicht besonders eingeschränkt. Der allgemein bekannte Gesichtsidentifizierungsalgorithmus kann eingesetzt werden. Falls als ein Ergebnis der Gesichtsidentifizierungsauswertung ausgewertet wird, dass es sich um einen neuen Fahrer handelt, wird der Vorgang in den Schritten S2 und S3 ausgeführt und in Schritt S4 werden Informationen in Bezug auf die Referenz der Sichtlinienrichtung sowie die Gesichtsidentifizierungsinformationen des Fahrers (wie etwa Merkmalquantitäten des Gesichts) in dem Referenzspeicherungsteil 13c gespeichert. Andererseits kann im Falle eines bereits registrierten Fahrers die Verarbeitung abgeschlossen sein, da die dem Fahrer entsprechende Referenz der Sichtlinienrichtung in dem Referenzspeicherungsteil 13c gespeichert worden ist.
Der Vorgang des Erfassens (Überwachens) des Fahrerzustands, ausgeführt durch die Steuereinheit 12 in der Informationsverarbeitungsvorrichtung 10, wird nachfolgend beschrieben.
6 ist ein Flussdiagramm, das ein Beispiel für Verarbeitungsvorgänge der Fahrerüberwachung, ausgeführt durch die Steuereinheit 12 in der Informationsverarbeitungsvorrichtung 10 nach der Ausführungsform (1) zeigt. Mit der Kamera 20 wird jede Sekunde eine vorgegebene Anzahl von Einzelbildern aufgenommen. Die Steuereinheit 12 erfasst diese aufgenommenen Bilder chronologisch und kann diese Verarbeitung an jedem Einzelbild oder an jedem Einzelbild in vorgegebenen Intervallen ausführen.
In Schritt S21 ermittelt die Steuereinheit 12 die Sichtlinienrichtung eines Fahrers. Das Ermitteln der Sichtlinienrichtung des Fahrers kann ähnlich sein wie das in den Schritten S11-S16, dargestellt in 5, und wird hier nicht näher erörtert.
Nach dem Ermitteln der Sichtlinienrichtung des Fahrers in Schritt S21 fährt der Vorgang mit Schritt S22 fort. In Schritt S22 liest die Steuereinheit 12 die Referenz der aus dem Referenzspeicherungsteil 13c aus und berechnet die Differenz zwischen der in Schritt S21 ermittelten Sichtlinienrichtung des Fahrers und der Referenz der Sichtlinienrichtung (z. B. einer Abweichung vom Referenzwert). Dann fährt der Vorgang mit Schritt S23 fort.
In der Referenz der Sichtlinienrichtung sind zum Beispiel Informationen als Referenzwerte enthalten, die einen Referenzvektor oder einen Referenzwinkel der Sichtlinienrichtung der 3D-Koordinaten zeigen. Die Winkeldifferenz zwischen diesen Referenzwerten und der in Schritt S21 ermittelten Sichtlinienrichtung des Fahrers können berechnet werden und die berechneten Winkeldifferenzen können als Abweichung von den Referenzwerten erachtet werden.
In Schritt S23 entscheidet die Steuereinheit 12, ob die Abweichung vom Referenzwert (z. B. die Winkeldifferenz in der vertikalen Richtung und/oder in der horizontalen Richtung), berechnet in Schritt S22, über einem ersten Bereich (wie etwa einer vorgegebenen Winkeldifferenz) liegt.
Der erste Bereich kann verschieden je nach dem Ziel der Überwachung ausgewählt werden. So kann zum Beispiel im Falle des Entscheidens über den Zustand des Blickens zur Seite als erster Bereich (Winkel zum Entscheiden über das Blicken zur Seite) ein vorgegebener Winkelbereich einschließlich, wenigstens, der horizontalen Richtung ausgewählt werden.
Im Falle des Entscheidens über den Grad der Konzentration auf das Fahrens oder über Müdigkeit (einschließlich Schläfrigkeit usw.) kann als der erster Bereich (Winkel zum Entscheiden über Konzentration/Müdigkeit) ein vorgegebener Winkelbereich einschließlich, wenigstens, der vertikalen Richtung ausgewählt werden.
Im Falle des Entscheidens, ob die Einstellung des Fahrers das Umschalten vom Automatikbetriebsmodus in den manuellen Betriebsmodus als erster Bereich (Winkel zum Entscheiden über den Übergang) ein vorgegebener Winkelbereich einschließlich, wenigstens, der horizontalen Richtung und der vertikalen Richtung ausgewählt werden.
Wenn in Schritt S23 entschieden wird, dass der Referenzwert nicht über dem ersten Bereich liegt, also dass die Sichtlinienrichtung des Fahrers in einem angemessenen Bereich liegt, wird die Verarbeitung abgeschlossen. Andererseits fährt der Vorgang mit Schritt S24 fort, wenn entschieden wird, dass der Referenzwert über dem ersten Bereich liegt, also dass die Sichtlinienrichtung des Fahrers außerhalb des angemessenen Bereichs liegt. In Schritt S24 entscheidet die Steuereinheit 12, ob das Vorliegen des Zustands über dem ersten Bereich über einen vorgegebenen Zeitraum fortgeführt worden ist. Als der vorgegebene Zeitraum kann ein angemessener Zeitraum (Zeit oder die Anzahl von Einzelbildern der Bilder kann gezählt werden) nach dem Ziel der Überwachung ausgewählt werden.
Falls in Schritt S24 entschieden wird, dass das Vorliegen des Zustands über dem ersten Bereich nicht über den vorgegebenen Zeitraum fortgeführt worden ist, ist die Verarbeitung abgeschlossen. Anderseits fährt der Vorgang mit Schritt S25 fort, wenn entschieden wird, dass der Zustand über den vorgegebenen Zeitraum fortgeführt worden ist.
In Schritt S25 gibt die Steuereinheit 12 ein Benachrichtigungssignal an die Benachrichtigungsvorrichtung 37 und danach ist die Verarbeitung abgeschlossen. Das Benachrichtigungssignal ist ein Signal, um zu ermöglichen, dass die Benachrichtigungsvorrichtung 37 zum Zweck der Überwachung einen Benachrichtigungsvorgang durchführt.
Die Benachrichtigungsvorrichtung 37 führt vorgegebene Benachrichtigungsverarbeitung auf der Grundlage des Benachrichtigungssignals von der Informationsverarbeitungsvorrichtung 10 aus. Der Benachrichtigungsvorgang kann mithilfe von Ton oder Stimme, mit Licht, mit Anzeige oder durch Vibration des Lenkrads 52 oder des Sitzes ausgeführt werden. Verschiedene Benachrichtigungsmodi sind anwendbar.
Wenn es das Ziel der Überwachung ist, über den Zustand des Blickens zur Seite zu entscheiden, kann ein Benachrichtigen ausgeführt werden, um den Fahrer darüber zu informieren, dass er im Zustand des Blickens zur Seite ist, oder zum Drängen des Fahrers dazu, nicht länger zur Seite zu blicken und das Gesicht nach vorn zu wenden. Oder wenn es das Ziel des Überwachens ist, den Grad der Konzentration auf das Fahren oder der Ermüdung zu bestimmen, kann der Fahrer zum Beispiel über den verringerten Grad der Konzentration oder den Zustand der starken Ermüdung benachrichtigt werden. Oder wenn das Ziel der Überwachung eine Entscheidung darüber ist, das Umschalten vom Automatikbetriebsmodus in den manuellen Betriebsmodus zu ermöglichen, kann zum Beispiel ein Benachrichtigen ausgeführt werden, um den Fahrer dazu zu drängen, eine angemessene Fahreinstellung einzunehmen.
Die Verarbeitungsvorgänge in den Schritten S23, S24 und S25 sind nicht entscheidend, und das Verarbeiten des Speicherns der Informationen in Bezug auf die Abweichung vom Referenzwert in Schritt S22 in der Speichereinheit 13 kann ersetzen.
Anstelle der Verarbeitung in Schritt S25 kann das Verarbeiten der Entscheidungsinformationen in den Schritten S23 und S24 (der Informationen, die zeigen, dass die Abweichung außerhalb des ersten Bereichs liegt und dass der Zustand über den vorgegebenen Zeitraum fortgeführt worden ist, sowie der Informationen in Bezug auf die Sichtlinienrichtung zu diesem Zeitpunkt) in der Speichereinheit 13 ausgeführt werden. Oder anstelle der Verarbeitung in Schritt S25 können die Entscheidungsinformationen in den Schritten S23 und S24 an die Automatikbetrieb-Steuervorrichtung 30 ausgegeben werden.
[Betrieb/Auswirkungen]
Unter Einsatz der Informationsverarbeitungsvorrichtung 10 nach der obigen Ausführungsform (1) wird die Sichtlinienrichtung des Fahrers mit dem Ermittlungsteil 12b in dem Bild durch den Bilderfassungsteil 12a ermittelt und die Ermittlungsergebnisse werden im Sammlungsteil 13b gesammelt. Unter Einsatz der Ermittlungsergebnisse wird die Referenz der Sichtlinienrichtung für den Fahrer durch den Referenzbestimmungsteil 12c bestimmt. Und unter Einsatz der Referenz der Sichtlinienrichtung wird die Sichtlinienrichtung in Bezug auf die Vorwärtsrichtung des Fahrers mithilfe des Berechnungsteils 12d berechnet. Demnach ist es möglich, die Referenz der Sichtlinienrichtung entsprechend der individuellen Differenz der Sichtlinienrichtung des Fahrers zu bestimmen und unter Einsatz der Referenz der Sichtlinienrichtung kann die Ermittlungsgenauigkeit der Sichtlinienrichtung des Fahrers ohne eine Verarbeitungslast auf der Steuereinheit 12 verbessert werden.
Da durch Auslesen der Referenz der Sichtlinienrichtung aus dem Referenzspeicherungsteil 13c die Sichtlinienrichtung in Bezug auf die Vorwärtsrichtung für den Fahrer berechnet werden kann, kann die Verarbeitungslast zum Bestimmen der Referenz der Sichtlinienrichtung durch den Referenzbestimmungsteil 12c verringert werden.
Auf der Grundlage der Sichtlinienrichtung in Bezug auf die Vorwärtsrichtung für den Fahrer, berechnet durch den Berechnungsteil 12d, kann der Verarbeitungsteil 12e verschiedene Arten von Verarbeitung, wie etwa die Benachrichtigungsverarbeitung an den Fahrer, mit hoher Genauigkeit ausführen, was zu einer Verbesserung der Sicherheit beim Fahren des Fahrzeugs führt.
Unter Einsatz des Fahrerüberwachungssystems 1 nach der obigen Ausführungsform (1) mit der Informationsverarbeitungsvorrichtung 10 und der Kamera 20 ist es möglich, mit geringen Kosten ein Fahrerüberwachungssystem zu realisieren, durch das verschiedene Arten von Effekten der Informationsverarbeitungsvorrichtung 10 erhalten werden können.
[Ausführungsbeispiel 2]
7 ist ein Blockdiagramm, das ein Beispiel einer Hardwareausführung einer Informationsverarbeitungsvorrichtung 10A nach einer Ausführungsform (2) zeigt. Die Komponenten mit den Funktionen wie die der Informationsverarbeitungsvorrichtung 10, die in 3 dargestellt sind, weisen dieselben Bezugszeichen auf und werden hier nicht näher erklärt.
In der Informationsverarbeitungsvorrichtung 10A nach der Ausführungsform (2) umfasst eine Steuereinheit 12A ferner einen Informationserfassungsteil 12f zum Erfassen von Informationen in Bezug auf einen Fahrzustand eines Fahrzeugs 2 und einen Entscheidungsteil 12g zum Entscheiden, auf der Grundlage der durch den Informationserfassungsteil 12f erfassten Informationen, ob sich das Fahrzeug 2 in einem angegebenen Fahrzustand befindet. Und ein Ermittlungsteil 12b ermittelt die Sichtlinienrichtung eines Fahrers, während das Fahrzeug 2 im angegebenen Fahrzustand ist.
In der Informationsverarbeitungsvorrichtung 10A nach der Ausführungsform (2) umfassen die Innenbilddaten 12A ferner einen Referenzänderungsteil 12h zum Ändern einer Referenz der Sichtlinienrichtung, bestimmt durch einen Referenzbestimmungsteil 12c.
Eine Speichereinheit 13A umfasst einen Bildspeicherungsteil 13a, einen Sammlungsteil 13e, einen Referenzspeicherungsteil 13c und einen Programmspeicherungsteil 13f. Im Programmspeicherungsteil 13f wurden Informationsverarbeitungsprogramme, die in jedem Teil der Steuereinheit 12A ausgeführt werden, und andere Daten, die zum Ausführen der Programme erforderlich sind, gespeichert.
Die zuvor beschriebene Ausführung gibt Hauptdifferenzpunkte von der Informationsverarbeitungsvorrichtung 10 nach der Ausführungsform (1) an. Und ein Fahrerüberwachungssystem 1A umfasst die Informationsverarbeitungsvorrichtung 10A und eine Kamera 20.
Der Informationserfassungsteil 12f erfasst Informationen in Bezug auf einen Fahrzustand des Fahrzeugs 2 durch eine Automatikbetrieb-Steuervorrichtung 30 und gibt die erfassten Informationen an den ersten Entscheidungsteil 12g aus. Die Reihenfolge des Verarbeitens des Informationserfassungsteils 12f und des Verarbeitens durch einen Bilderfassungsteil 12a kann umgekehrt sein, oder diese Vorgänge können gleichzeitig ausgeführt werden. Der Informationserfassungsteil 12f kann die Informationen von jedem Teil eines fahrzeuginternen Systems 4 erhalten, und nicht durch die Automatikbetrieb-Steuervorrichtung 30.
In den Informationen in Bezug auf den Fahrzustand sind wenigstens Geschwindigkeitsinformationen des Fahrzeugs 2 und Lenkinformationen dazu enthalten. Die Geschwindigkeitsinformationen enthalten von einem Geschwindigkeitssensor 42 und von Ähnlichem ermittelten Geschwindigkeitsinformationen. Die Lenkinformationen enthalten einen Lenkwinkel oder ein durch den Lenksensor 31 ermitteltes Lenkdrehmoment oder eine durch einen Gyrosensor 41 und Ähnliches ermittelte Gierrate.
Der Informationserfassungsteil 12f kann Beschleunigungs-/Verlangsamungsinformationen des Fahrzeugs 2 oder Neigungsinformationen davon erfassen. Die Beschleunigungs-/Verlangsamungsinformationen enthalten zum Beispiel Informationen zu einem Schrittumfang eines Pedals, ermittelt durch einen Fahrpedalsensor 32 oder durch einen Bremspedalsensor 33, ein Fahrsteuerungssignal, ausgegeben von einer Antriebseinheitssteuervorrichtung 35, oder ein Bremssteuerungssignal, ausgegeben von einer Bremssteuervorrichtung 36. Die Neigungsinformationen des Fahrzeugs 2 enthalten Informationen, erfasst durch einen Neigungssensor (nicht dargestellt), befestigt am Fahrzeug 2, oder Neigungsinformationen zu der Straße, auf der der Standort des eigenen Fahrzeugs, berechnet durch eine Navigationsvorrichtung 43, vorliegt.
Der Informationserfassungsteil 12f kann Standortinformationen des Fahrzeugs 2 und Karteninformationen der Umgebung des Fahrzeugs 2 erfassen. In diesen Informationen sind zum Beispiel der Standort des eigenen Fahrzeugs, berechnet durch die Navigationsvorrichtung 43, und Karteninformationen der Peripherie der Position des eigenen Fahrzeugs enthalten.
Ferner kann der Informationserfassungsteil 12f Informationen in Bezug auf ein zu überwachendes Objekt erfassen, wie etwa ein anderes Fahrzeug oder eine Person in der Peripherie des Fahrzeugs 2, insbesondere in dessen Fahrtrichtung. In diesen Informationen sind zum Beispiel Informationen in Bezug auf die Art des Objekts und den Abstand dazu, erfasst durch einen Peripherieüberwachungssensor 39, enthalten.
Der Entscheidungsteil 12g entscheidet auf der Grundlage der Informationen in Bezug auf den Fahrzustand, erfasst durch den Informationserfassungsteil 12f, ob das Fahrzeug 2 in einem angegebenen Fahrzustand ist, und gibt das Entscheidungsergebnis an den Ermittlungsteil 12b aus. Der angegebene Fahrzustand enthält einen Fahrzustand, bei dem die Änderung der Gesichtsrichtung des Fahrers gering ist, das heißt, es wird abgeschätzt, dass seine Gesichtshaltung stabil ist, wie zum Beispiel ein Fahrzustand, in dem das Fahrzeug 2 geradeaus gefahren wird.
Insbesondere enthält der Fall, in dem das Fahrzeug 2 im angegebenen Fahrzustand ist, einen Fall, in dem die Geschwindigkeit des Fahrzeugs 2 in einem vorgegebenen Geschwindigkeitsbereich ist und das Fahrzeug 2 sich im nicht gelenkten Zustand befindet. Der nicht gelenkte Zustand enthält einen Zustand, in dem das Lenken des Lenkrads 52 im Wesentlichen nicht ausgeführt wird. So liegt zum Beispiel ein Fall vor, in dem der durch den Lenkungssensor 31 ermittelte Lenkwinkel in einem kleinen Bereich um 0° liegt oder ein Fall, in dem das Lenkungsdrehmoment in einem kleinen Bereich um 0 N·m liegt. Und der vorgegebene Geschwindigkeitsbereich ist nicht besonders eingeschränkt, sondern ist vielmehr mindestens eine mittelhohe Geschwindigkeit (40 km/h). Dies liegt daran, dass im Falle einer niedrigen Geschwindigkeit eine Situation, in der die Gesichtshaltung des Fahrers nicht stabil ist, ein geringer Abstand vor dem Fahrzeug oder ein schmaler Pfad angenommen wird.
Der Entscheidungsteil 12g kann entscheiden, dass das Fahrzeug 2 im angegebenen Fahrzustand ist, wenn das Fahrzeug 2 auf einer geraden Straße gefahren wird, auf der Grundlage der Standortinformationen des Fahrzeugs 2 und der Karteninformationen der Peripherie des Fahrzeugs 2. Die gerade Straße ist zum Beispiel eine flache gerade Straße. Ob sie flach ist, kann auf der Grundlage der Neigungsinformationen der Straße aus den Karteninformationen entschieden werden.
Der Entscheidungsteil 12g kann einen Fall ausnehmen, in dem das Fahrzeug 2 in einem vorgegebenen Beschleunigungs- oder Verlangsamungszustand ist, oder einen Fall, in dem das Fahrzeug 2 in einer vorgegebenen von dem angegebenen Fahrzustand geneigten Position ist. Der vorgegebene Zustand der Beschleunigung oder Verlangsamung enthält einen Zustand der plötzlichen Beschleunigung oder der plötzlichen Verlangsamung. Die vorgegebene geneigte Position enthält die geneigte Position beim Fahren auf einem Hang mit wenigstens einer vorgegebenen Neigung. Der Grund, warum diese Fälle aus dem angegebenen Fahrzustand ausgenommen sind, ist, weil eine Situation angenommen wird, in der die Gesichtshaltung des Fahrers nicht stabil ist, sodass dessen Gesichtsrichtung sich leicht ändert.
Der Entscheidungsteil 12g kann entscheiden, dass das Fahrzeug 2 sich nicht im angegebenen Fahrzustand befindet, wenn der Abstand zu einem anderen Fahrzeug, erfasst durch den Peripherieüberwachungssensor 39, nicht einen vorgegebenen Wert übersteigt, der angibt, dass der Abstand zwischen zwei Fahrzeugen gering ist. Dies liegt daran, dass in einem Zustand eines geringen Abstands zwischen zwei Fahrzeugen eine Situation angenommen wird, in der die Gesichtshaltung des Fahrers nicht stabil ist.
Wenn der Ermittlungsteil 12b vom Entscheidungsteil 12g das Entscheidungsergebnis erfasst, das zeigt, dass das Fahrzeug 2 im angegebenen Fahrzustand ist, wird ein Verarbeiten des Erfassens der Sichtlinienrichtung des Fahrers in dem im angegebenen Fahrzustand des Fahrzeugs 2 erfassten Bild ausgeführt. Dann verknüpft der Ermittlungsteil 12b Informationen in Bezug auf die erfasste Sichtlinienrichtung des Fahrers mit dem betreffenden Bild und speichert sie im Sammlungsteil 13e. Zu diesem Zeitpunkt können auch Informationen in Bezug auf den angegebenen Fahrzustand verknüpft und darin gespeichert werden.
Der Referenzänderungsteil 12h ändert die Referenz der Sichtlinienrichtung, bestimmt durch den Referenzbestimmungsteil 12c, wie zum Beispiel den Referenzwert, der die Referenz darstellt, und speichert diesen geänderten Referenzwert in dem Referenzspeicherungsteil 13c.
Zum Beispiel im Falle eines angegebenen Fahrzustands (z.B. eines Fahrzustands geradeaus), wenn eine Situation, in der die Differenz zwischen der Sichtlinienrichtung des Fahrers, berechnet durch einen Berechnungsteil 12d, und der Referenz der Sichtlinienrichtung in einem vorgegebenen Bereich liegt (z. B. ein Zustand, in dem die Sichtlinienrichtung in einer festen Richtung vom Referenzwert abweicht, aber nicht so weit, dass dies Blicken zur Seite ist) über einen festen Zeitraum oder unterbrochen fortgeführt worden ist, kann die Referenz der Sichtlinienrichtung geändert, zum Beispiel korrigiert, werden, um die Differenz dazwischen zu verringern. Das durch den Referenzänderungsteil 12h ausgeführte Verarbeiten enthält das Ändern der Referenz der Sichtlinienrichtung beim Ändern durch den Fahrer.
Der obige Informationserfassungsteil 12f, der Entscheidungsteil 12g, der Ermittlungsteil 12b, der Referenzbestimmungsteil 12c und der Sammlungsteil 13e führen gemeinsam das Verarbeiten des Bestimmens der Referenz der Sichtlinienrichtung des Fahrers im angegebenen Fahrzustand des Fahrzeugs 2 aus.
Der Berechnungsteil 12d, der Verarbeitungsteil 12e und der Referenzspeicherungsteil 13c führen gemeinsam das Verarbeiten des Erfassens (des Überwachens) des Zustands des Fahrers aus und der Berechnungsteil 12d, der Referenzänderungsteil 12h und der Referenzspeicherungsteil 13c führen gemeinsam das Verarbeiten des Ändern der Referenz der Sichtlinienrichtung aus.
[Betriebsbeispiel 2]
8 ist ein Flussdiagramm, das ein Beispiel für Verarbeitungsvorgänge der Referenzbestimmung, ausgeführt durch die Steuereinheit 12A in der Informationsverarbeitungsvorrichtung 10A nach der Ausführungsform (2) zeigt. Diese Verarbeitungsvorgänge können zum Beispiel nur über einen festen Zeitraum ausgeführt werden, nachdem ein Anlasserschalter 38 des Fahrzeugs 2 EINGESCHALTET worden ist, während die Kamera 20 im Betrieb ist.
In Schritt S31 erfasst die Steuereinheit 12A Informationen in Bezug auf einen Fahrzustand des Fahrzeugs 2 (hiernach auch als die Fahrzeuginformationen bezeichnet). Die Reihenfolge der Verarbeitung in Schritt S31 und der Verarbeitung des Erfassens eines Bildes von der Kamera 20 kann gleichzeitig ausgeführt werden.
Die Fahrzeuginformationen enthalten zum Beispiel wenigstens Geschwindigkeitsinformationen und Lenkinformationen des Fahrzeugs 2. Und als die Fahrzeuginformationen können Beschleunigungs-/Verlangsamungsinformationen des Fahrzeugs 2 oder Neigungsinformationen des Fahrzeugs 2 erfasst werden. Und Standortinformationen des Fahrzeugs 2 oder Karteninformationen der Umgebung des Fahrzeugs 2 können erfasst werden. Ferner können Informationen in Bezug auf ein zu überwachendes Objekt, wie etwa ein anderes Fahrzeug oder eine Person in der Peripherie des Fahrzeugs 2, insbesondere in dessen Fahrtrichtung, erfasst werden. Die Fahrzeuginformationen können durch die Automatikbetrieb-Steuervorrichtung 30 erfasst werden, oder sie können direkt von jedem Teil des fahrzeuginternen Systems 4 erfasst werden.
In Schritt S32 entscheidet die Steuereinheit 12A auf der Grundlage der in Schritt S31 erfassten Fahrzeuginformationen, ob das Fahrzeug 2 in einem angegebenen Fahrzustand ist. Der angegebene Fahrzustand enthält zum Beispiel einen Fahrzustand, in dem das Fahrzeug 2 geradeaus gefahren wird.
In Schritt S32, in dem die Steuereinheit 12A entscheidet, dass das Fahrzeug 2 in dem angegebenen Fahrzustand ist, zum Beispiel, wenn sie auf der Grundlage der Geschwindigkeitsinformationen und Lenkinformationen des Fahrzeugs 2 entscheidet, dass die Geschwindigkeit des Fahrzeugs 2 in einem vorgegebenen Geschwindigkeitsbereich ist (z. B. eine mittelhohe Geschwindigkeit oder schneller), und dass das Fahrzeug 2 in dem nicht gelenkten Zustand (dem Zustand, in dem es im Wesentlichen nicht gelenkt wird) ist, oder wenn sie auf der Grundlage der Standortinformationen des Fahrzeugs 2 und der Karteninformationen der Umgebung des Fahrzeugs 2 entscheidet, dass das Fahrzeug 2 auf einer flachen geradlinigen Straße (geradeaus) gefahren wird, fährt der Vorgang mit Schritt S33 fort.
Andererseits wird die Verarbeitung in Schritt S32 abgeschlossen, wenn die Steuereinheit 12A entscheidet, dass das Fahrzeug 2 nicht im angegebenen Fahrzustand ist, zum Beispiel, wenn sie entscheidet, dass die Geschwindigkeit des Fahrzeugs 2 nicht im vorgegebenen Geschwindigkeitsbereich ist (z. B., wenn es in einem niedrigen Geschwindigkeitsbereich ist), oder dass das Fahrzeug 2 im gelenkten Zustand ist, wenn sie entscheidet, dass das Fahrzeug 2 im Zustand des plötzlichen Beschleunigens oder des plötzlichen Verlangsamens ist, wenn sie entscheidet, dass das Fahrzeug 2 an einem Hang mit wenigstens einer vorgegebenen Neigung gefahren wird, oder wenn sie entscheidet, dass der Abstand zu einem anderen Fahrzeug auf einen vorgegebenen Wert oder darunter verringert wird, was zu einem kurzen Abstand zwischen zwei Fahrzeugen führt.
In Schritt S33 ermittelt die Steuereinheit 12A die Sichtlinienrichtung des Fahrers, während das Fahrzeug 2 im angegebenen Fahrzustand ist und der Vorgang fährt mit Schritt S34 fort. Während der Ermittlungsvorgang der Sichtlinienrichtung des Fahrers fortfährt, können dieselben Verarbeitungsvorgänge wie in den Schritten S11-S17, dargestellt in 5, ausgeführt werden, und sie werden hier nicht näher erörtert.
In Schritt S34 wertet die Steuereinheit 12A aus, ob ein Zähler K einen vorgegebenen Wert N ausgelesen hat, also ob die Ermittlungsergebnisse der Sichtlinienrichtung in einer vorgegebenen Anzahl von Einzelbildern der Bilder im angegebenen Fahrzustand des Fahrzeugs 2 gesammelt worden sind. Wenn entschieden wird, dass der Zähler K den vorgegebenen Wert N (sie werden nicht akkumuliert) ausliest, wird die Verarbeitung abgeschlossen. Anderseits fährt, wenn entschieden wird, dass der Zähler K den vorgegebenen Wert N oder einen höheren Wert ausliest (sie wurden akkumuliert), der Vorgang mit Schritt S35 fort.
In Schritt S35 ermittelt die Steuereinheit 12A eine Referenz der Sichtlinienrichtung des Fahrers im angegebenen Fahrzustand des Fahrzeugs 2 und dann fährt der Vorgang mit Schritt S36 fort. Insbesondere werden die Ermittlungsergebnisse der Sichtlinienrichtung des Fahrers in der vorgegebenen Anzahl von Einzelbildern der Bilder im angegebenen Fahrzustand des Fahrzeugs 2 vom Sammlungsteil 13e ausgelesen und unter Einsatz der Informationen in Bezug auf die Sichtlinienrichtung des Fahrers in jedem Bild wird die Referenz der Sichtlinienrichtung, zum Beispiel der Referenzwert, der die Referenz darstellt, bestimmt. Die am häufigsten ermittelte Sichtlinienrichtung aus den Sichtlinienrichtungen in der vorgegebenen Anzahl von Einzelbildern der Bilder, also der häufigste Wert der Sichtlinienrichtung kann als der Referenzwert eingesetzt werden. Der Referenzwert kann mit einem Vektor oder mit einem Winkel in den 3D-Koordinaten angegeben werden.
In Schritt S36 wird die Referenz (der Referenzwert) der in Schritt S35 bestimmten Referenz im Referenzspeicherungsteil 13c gespeichert und dann wird die Verarbeitung abgeschlossen. Im Referenzspeicherungsteil 13c können neben der Referenz (dem Referenzwert) der Sichtlinienrichtung die Informationen in Bezug auf den angegebenen Fahrzustand und zusätzliche Informationen, wie etwa Datum- und Zeitdaten, sowie Umstandsdaten (wie etwa Daten zur externen Beleuchtungsstärke) gespeichert werden.
Im Referenzspeicherungsteil 13c kann eine Referenz der Sichtlinienrichtung oder können mehrere Referenzen der Sichtlinienrichtung für einen Fahrer gespeichert werden. So kann zum Beispiel im Einklang mit dem Fahrgeschwindigkeitsbereich (einem mittelhohen Geschwindigkeitsbereich, einem hohen Geschwindigkeitsbereich) des Fahrzeugs 2 die Referenz der Sichtlinienrichtung in jedem Geschwindigkeitsbereich bestimmt und gespeichert werden. Oder es kann nach dem Ein-/Ausschalten der Scheinwerfer des Fahrzeugs 2 (Tag und Nacht) die Referenz der Sichtlinienrichtung in jedem Fall bestimmt und gespeichert werden. Im Einklang mit dem Fahrzustand des Fahrers 2, in dem die Sichtlinienrichtung des Fahrers, der nach vorn blickt, als hiermit leicht veränderlich abgeschätzt wird, kann die Referenz der Sichtlinienrichtung bestimmt und gespeichert werden.
Der Vorgang des Erfassens (Überwachens) des Fahrerzustands und der des Änderns der Referenz (des Referenzwerts), ausgeführt durch die Steuereinheit 12A in der Informationsverarbeitungsvorrichtung 10A, wird nachfolgend beschrieben.
9 ist ein Flussdiagramm, das ein Beispiel für Verarbeitungsvorgänge des Erfassens (Überwachens) des Fahrerzustands, ausgeführt durch die Steuereinheit 12A in der Informationsverarbeitungsvorrichtung 10A nach der Ausführungsform (2) zeigt. Mit der Kamera 20 wird jede Sekunde eine vorgegebene Anzahl von Einzelbildern aufgenommen. Die Steuereinheit 12A erfasst diese aufgenommenen Bilder chronologisch und kann diese Verarbeitung an jedem Einzelbild oder an jedem Einzelbild in vorgegebenen Intervallen ausführen.
Das in Schritt S21-S25 ausgeführte Verarbeiten ähnelt dem in den Schritten S21-S25, erläutert in 6, und wird hier nicht näher erörtert. Wenn mehrere Referenzen der Sichtlinienrichtung im Einklang mit dem Fahrzustand des Fahrzeugs 2 im Referenzspeicherungsteil 13c gespeichert sind, kann nach Ausführen des Ermittelns der Sichtlinienrichtung in Schritt S21 der nächste Verarbeitungsvorgang in Schritt S22 ausgeführt werden. Dies bedeutet, der Verarbeitungsvorgang wird ausgeführt, in dem Fahrzeuginformationen erfasst werden, der Fahrzustand des Fahrzeugs 2 entschieden wird, die Referenz der Sichtlinienrichtung in Bezug auf den entschiedenen Fahrtzustand aus dem Referenzspeicherungsteil 13c ausgelesen wird und die Abweichung von der Referenz der Sichtlinienrichtung berechnet wird.
Wenn die Steuereinheit 12A in Schritt S23 entscheidet, dass die Abweichung vom Referenzwert nicht über einem ersten Bereich liegt, fährt der Vorgang mit dem Ändern der Referenz in Schritt S26 fort. Das Ändern der Referenz in Schritt S26 wird nachfolgend unter Bezugnahme auf ein in 10 gezeigtes Flussdiagramm unter Bezugnahme auf ein Flussdiagramm erläutert.
10 ist ein Flussdiagramm, das ein Beispiel für Verarbeitungsvorgänge der Referenzänderung, ausgeführt durch die Steuereinheit 12A, in der Informationsverarbeitungsvorrichtung 10A nach der Ausführungsform (2) zeigt.
In Schritt S41 wertet die Steuereinheit 12A aus, ob die Abweichung von der in Schritt S22 berechneten Referenz (vom Referenzwert) der Sichtlinienrichtung über einem zweiten Bereich (einem Winkelbereich der Sichtlinie) liegt, in dem der Blick als in der durch den Referenzwert dargestellten Richtung (nach vorn) erachtet wird (ob er außerhalb des zweiten Bereichs liegt). Der zweite Bereich ist ein kleinerer Winkelbereich als der erste Bereich und er kann zum Beispiel als der Winkelbereich von etwa ± 5° nach oben oder nach unten oder nach links oder nach rechts um die Referenz der Sichtlinienrichtung eingestellt sein.
Wenn in Schritt S41 beurteilt wird, dass die Abweichung von der Referenz (vom Referenzwert) der Sichtlinienrichtung nicht über dem zweiten Bereich liegt, wenn also das Gesicht des Fahrers in der durch den Referenzwert dargestellten Richtung (der als vorn erachteten Richtung) liegt, wird die Verarbeitung abgeschlossen. Wenn andererseits in Schritt S41 beurteilt wird, dass die Abweichung von der Referenz (vom Referenzwert) der Sichtlinienrichtung über dem zweiten Bereich liegt (wenn also die Sichtlinienrichtung ein wenig von der als vorn erachteten Sichtlinienrichtung abweicht), fährt der Vorgang mit Schritt S42 fort.
In Schritt S42 verknüpft die Steuereinheit 12A die Informationen, die die in Schritt S23 berechnete Abweichung von dem Referenzwert zeigen (d. h., Informationen der Abweichung im ersten Bereich und über dem zweiten Bereich) mit den Ermittlungsinformationen der Sichtlinienrichtung in dem betroffenen Bild und speichert diese in dem Sammlungsteil 13e. Dann fährt der Vorgang mit Schritt S43 fort. In einer anderen Ausführungsform vor Schritt S42 kann ausgewertet werden, ob das Fahrzeug 2 in einem angegebenen Fahrzustand ist (dieselbe Verarbeitung kann ausgeführt werden wie in Schritt S32 in 8), und wenn es im angegebenen Fahrzustand ist, kann der Vorgang mit Schritt S42 fortfahren. Durch diese Ausführung wird es möglich, die Bedingung zum Ändern des Referenzwerts festzulegen.
In Schritt S43 liest die Steuereinheit 12A die Ermittlungsinformationen der Sichtlinienrichtung in dem Bild in Verbindung mit der Abweichungsinformationen aus dem Sammlungsteil 13e aus und entscheidet, ob das Bild, das eine Richtung mit einer festen Abweichung von dem Referenzwert (nahezu dieselbe Richtung) zeigt, mit einer vorgegebenen Häufigkeit (oder einer vorgegebenen Rate) ermittelt worden ist. Dies bedeutet, es wird entschieden, ob der Zustand, in dem die Sichtlinienrichtung des Fahrers nur leicht in einer festen Richtung von vorn abweicht, dargestellt durch den Referenzwert (der Zustand, in dem er so wenig abweicht, dass er als Zustand des Blickens nach vorn erachtet wird), häufig aufgetreten ist.
Falls in Schritt S43 entschieden wird, dass das Bild, das die Richtung mit der festen Abweichung vom Referenzwert nicht mit der vorgegebenen Häufigkeit ermittelt worden ist, wird die Verarbeitung abgeschlossen. Anderseits fährt der Vorgang mit Schritt S44 fort, wenn entschieden wird, dass er mit der vorgegebenen Häufigkeit ermittelt worden ist.
In Schritt S44 ändert die Steuereinheit 12A die Referenz der Sichtlinienrichtung. So wird zum Beispiel der Referenzwert geändert, um es einfacher zu machen, auszuwerten, dass der Zustand der Sichtlinienrichtung, der sich in der festen Richtung unterscheidet, die Vorwärtsrichtung der Sichtlinienrichtung des Fahrers ist, und der Vorgang fährt mit Schritt S45 fort. Insbesondere wird, wenn die Abweichung der Sichtlinienrichtung von dem Referenzwert etwa 3° nach unten beträgt, der Referenzwert um 3° nach unten korrigiert, oder wird derart geändert, dass er 3° näher wird (also dass die Abweichung verkleinert wird).
In Schritt S45 speichert die Steuereinheit 12A den in Schritt S44 geänderten Referenzwert im Referenzspeicherungsteil 13c und die Verarbeitung wird abgeschlossen. Durch Ausführen dieses Änderns des Referenzwerts, zum Beispiel selbst wenn sich die Einstellung des Fahrers aufgrund von langzeitigem Fahren, Änderungen der Fahrumstände (Änderungen von Wetter oder Zeitzone) und Ähnlichem geändert hat, sodass die Sichtlinienrichtung des Fahrers sich unbewusst nach und nach geändert hat, wird es möglich, die Sichtlinienrichtung, die die Vorwärtsrichtung des Fahrers angibt, in diesem geänderten Zustand als die Referenz der Sichtlinienrichtung einzustellen, was zu einer Verbesserung der Ermittlungsgenauigkeit der Sichtlinienrichtung führt.
[Betrieb/Auswirkungen]
Unter Einsatz der Informationsverarbeitungsvorrichtung 10A nach der obigen Ausführungsform (2) wird durch den Entscheidungsteil 12g entschieden, ob das Fahrzeug 2 in einem angegebenen Fahrzustand ist, die Sichtlinienrichtung des Fahrers im angegebenen Fahrzustand des Fahrzeugs 2 wird durch den Ermittlungsteil 12b ermittelt und die Informationen zur Sichtlinienrichtung des Fahrers werden im Sammlungsteil 13e gesammelt. Und auf der Grundlage der gesammelten Sichtlinienrichtungen des Fahrers im angegebenen Fahrzustand des Fahrzeugs 2, wird die Referenz der Sichtlinienrichtung des Fahrers durch den Referenzbestimmungsteil 12c ermittelt und unter Einsatz der Referenz der Sichtlinienrichtung wird die Sichtlinienrichtung des Fahrers durch den Berechnungsteil 12d berechnet.
Demnach ist es möglich, die Referenz der Sichtlinienrichtung entsprechend dem angegebenen Fahrzustand und der individuellen Differenz der Sichtlinienrichtung des Fahrers zu bestimmen und unter Einsatz der Referenz der Sichtlinienrichtung kann die Ermittlungsgenauigkeit der Sichtlinienrichtung des Fahrers ohne eine Verarbeitungslast auf der Steuereinheit 12A verbessert werden. Und da die Referenz der Sichtlinienrichtung, bestimmt durch den Referenzbestimmungsteil 12c, durch den Referenzänderungsteil 12h geändert werden kann, kann die Sichtlinienrichtung stets mit hoher Genauigkeit ermittelt werden.
Unter Einsatz des Fahrerüberwachungssystems 1A nach der obigen Ausführungsform (2) mit der Informationsverarbeitungsvorrichtung 10A und der Kamera 20 ist es möglich, mit geringen Kosten ein Fahrerüberwachungssystem zu realisieren, durch das verschiedene Arten von Effekten der Informationsverarbeitungsvorrichtung 10A erhalten werden können. In den obigen Ausführungsformen wurden die Fälle erörtert, in denen das Fahrerüberwachungssystem 1 oder 1A auf das Fahrzeug 2 angewandt wurde, es kann aber auch auf andere Transportmittel angewandt werden als auf das Fahrzeug.
Die Ausführungsformen der vorliegenden Erfindung wurden zuvor im Detail erörtert, diese obigen Erörterungen sind aber in allen Details lediglich Beispiele der vorliegenden Erfindung. Selbstverständlich können verschiedene Arten von Modifizierungen oder Änderungen vorgenommen werden, ohne aus dem Umfang der vorliegenden Erfindung zu fallen.
So wird zum Beispiel in den obigen Ausführungsformen die Gesichtsrichtung des Fahrers erfasst, aber die Informationsverarbeitungsvorrichtung kann eine Gesichtsrichtung des Fahrers anstelle dessen Sichtlinienrichtung oder zusätzlich zu dessen Sichtlinienrichtung ermitteln, kann eine Referenz der Gesichtsrichtung ermitteln und kann die Gesichtsrichtung des Fahrers unter Einsatz dessen Referenz berechnen.
[Ergänzungen]
Die erfindungsgemäße Ausführungsform kann auch als die folgenden Ergänzungen beschrieben werden, ist aber nicht darauf beschränkt.
(Ergänzung 1)
Eine Informationsverarbeitungsvorrichtung (10), umfassend:

einen Bilderfassungsteil (12a) zum Erfassen eines Bilds (21), das ein Gesicht eines Fahrers (D) eines Fahrzeugs (2) enthält;
einen Ermittlungsteil (12b) zum Ermitteln einer Sichtlinienrichtung (V) des Fahrers (D) in dem durch den Bilderfassungsteil (12a) erfassten Bild (21);
einen Sammlungsteil (13b) zum Sammeln von Ermittlungsergebnissen vom Ermittlungsteil (12b); und
einen Referenzbestimmungsteil (12c) zum Bestimmen einer Referenz der Sichtlinienrichtung für den Fahrer (D) unter Einsatz der im Sammlungsteil (13b) gesammelten Ermittlungsergebnisse.

(Ergänzung 2)
Ein Fahrerüberwachungssystem (1), umfassend:

eine Informationsverarbeitungsvorrichtung (10); und
wenigstens eine Kamera (20) zum Aufnehmen eines Bilds (21), das ein Gesicht eines Fahrers (D) enthält, erfasst durch den Bilderfassungsteil (12a).

(Ergänzung 3)
Ein Informationsverarbeitungsverfahren, das die Schritte ausführt:

Bilderfassung (S11) zum Erfassen eines Bilds (21), das ein Gesicht eines Fahrers (D) eines Fahrzeugs (2) enthält;
Ermitteln (S15) zum Ermitteln einer Sichtlinienrichtung (V) des Fahrers (D) in dem Bild (21), das in dem Bilderfassungsschritt (S11) erfasst wurde;
Sammeln (S16) zum Sammeln von im Ermittlungsschritt (S15) erhaltenen Ermittlungsergebnissen in einem Sammlungsteil (13b); und
Referenzbestimmen (S3) zum Bestimmen einer Referenz der Sichtlinienrichtung für den Fahrer (D) unter Einsatz der im Sammlungsteil (13b) gesammelten Ermittlungsergebnisse.

(Ergänzung 4)
Ein Informationsverarbeitungsprogramm zum Ermöglichen, dass wenigstens ein Computer (12) die Schritte ausführt:

Bilderfassung (S11) zum Erfassen eines Bilds (21), das ein Gesicht eines Fahrers (D) eines Fahrzeugs (2) enthält;
Ermitteln (S15) zum Ermitteln einer Sichtlinienrichtung des Fahrers (D) in dem Bild (21), das in dem Bilderfassungsschritt (S11) erfasst wurde;
Sammeln (S16) zum Sammeln von im Ermittlungsschritt (S15) erhaltenen Ermittlungsergebnissen in einem Sammlungsteil (13b); und
Referenzbestimmen (S3) zum Bestimmen einer Referenz der Sichtlinienrichtung für den Fahrer (D) unter Einsatz der im Sammlungsteil (13b) gesammelten Ermittlungsergebnisse.

Bezugszeichenliste

1, 1A:: Fahrerüberwachungssystem
2:: Fahrzeug
3:: Fahrzeuginterne Ausrüstung
4:: Fahrzeuginternes System
10, 10A:: Informationsverarbeitungsvorrichtung
11:: Eingabe-Ausgabe-Schnittstelle
12, 12A:: Steuereinheit
12a:: Bilderfassungsteil
12b:: Ermittlungsteil
12c:: Referenzbestimmungsteil
12d:: Berechnungsteil
12e:: Verarbeitungsteil
12f:: Informationserfassungsteil
12g:: Entscheidungsteil
12h:: Referenzänderungsteil
13, 13A:: Speichereinheit
13a:: Bildspeicherungsteil
13b, 13e:: Sammlungsteil
13c:: Referenzspeicherungsteil
13d, 13f:: Programmspeicherungsteil
20:: Kamera
30:: Automatikbetrieb-Steuervorrichtung
31:: Lenksensor
32:: Fahrpedalsensor
33:: Bremspedalsensor
34:: Lenkungssteuervorrichtung
35:: Antriebseinheitssteuervorrichtung
36:: Bremssteuervorrichtung
37:: Benachrichtigungsvorrichtung
38:: Anlasserschalter
39:: Peripherieüberwachungssensor
40:: GPS-Empfänger
41:: Gyrosensor
42:: Geschwindigkeitssensor
43:: Navigationsvorrichtung
44:: Kommunikationsvorrichtung
50:: Kommunikationsleitung
51:: Antriebseinheit
52:: Lenkrad
53:: Lenkvorrichtung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2007249280 [0102]

Claims

Informationsverarbeitungsvorrichtung, umfassend: einen Bilderfassungsteil zum Erfassen eines Bilds, das ein Gesicht eines Fahrers eines Fahrzeugs enthält; einen Ermittlungsteil zum Ermitteln einer Sichtlinienrichtung des Fahrers in dem durch den Bilderfassungsteil erfassten Bild; einen Sammlungsteil zum Sammeln von Ermittlungsergebnissen vom Ermittlungsteil; und einen Referenzbestimmungsteil zum Bestimmen einer Referenz der Sichtlinienrichtung für den Fahrer unter Einsatz der im Sammlungsteil gesammelten Ermittlungsergebnisse.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei der Referenzbestimmungsteil den häufigsten Wert der Sichtlinienrichtung, erhalten von den in dem Sammlungsteil gesammelten Ermittlungsergebnissen, als die Referenz bestimmt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, ferner umfassend einen Berechnungsteil zum Berechnen der Sichtlinienrichtung des Fahrers in Bezug auf die Referenz aus dem Bild unter Einsatz der durch den Referenzbestimmungsteil bestimmten Referenz.
Informationsverarbeitungsvorrichtung nach Anspruch 3, ferner umfassend einen Verarbeitungsteil zum Ausführen von vorgegebenem Verarbeiten auf der Grundlage der Sichtlinienrichtung des Fahrers in Bezug auf die durch den Berechnungsteil berechnete Referenz.
Informationsverarbeitungsvorrichtung nach Anspruch 4, ferner umfassend einen Benachrichtigungsteil zum Benachrichtigen des Fahrers über ein vom Verarbeitungsteil verarbeitetes Ergebnis.
Informationsverarbeitungsvorrichtung nach Anspruch 3, ferner umfassend einen Referenzspeicherungsteil zum Speichern der durch den Referenzbestimmungsteil bestimmten Referenz, wobei der Berechnungsteil die Sichtlinienrichtung des Fahrers in Bezug auf die Referenz aus dem Bild unter Einsatz der aus dem Referenzspeicherungsteil ausgelesenen Referenz berechnet.
Informationsverarbeitungsvorrichtung nach Anspruch 3, ferner umfassend einen Referenzänderungsteil zum Ändern der durch den Referenzbestimmungsteil bestimmten Referenz.
Informationsverarbeitungsvorrichtung nach Anspruch 7, wobei der Referenzänderungsteil die Referenz korrigiert, um eine Differenz zwischen der Sichtlinienrichtung des Fahrers in Bezug auf die durch den Berechnungsteil berechnete Referenz und der Referenz zu verringern, wenn die Differenz dazwischen in einem vorgegebenen Bereich gehalten worden ist.
Informationsverarbeitungsvorrichtung nach Anspruch 1, ferner umfassend: einen Informationserfassungsteil zum Erfassen von Informationen in Bezug auf einen Fahrzustand des Fahrzeugs; und einen Entscheidungsteil zum Entscheiden, auf der Grundlage der durch den Informationserfassungsteil erfassten Informationen, ob sich das Fahrzeug in einem angegebenen Fahrzustand befindet, wobei der Referenzbestimmungsteil die Referenz auf der Grundlage der Sichtlinienrichtung bestimmt, während durch den Entscheidungsteil entschieden wird, dass das Fahrzeug sich in dem angegebenen Fahrzustand befindet.
Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei der angegebene Fahrzustand ein Fahrzustand ist, in dem das Fahrzeug geradeaus gefahren wird.
Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei der Informationserfassungsteil wenigstens Geschwindigkeitsinformationen des Fahrzeugs und Lenkinformationen des Fahrzeugs erfasst, und der Entscheidungsteil entscheidet, dass das Fahrzeug sich im angegebenen Fahrzustand befindet, wenn die Geschwindigkeit des Fahrzeugs in einem vorgegebenen Geschwindigkeitsbereich liegt und das Fahrzeug sich in einem vorgegebenen Nichtlenkungszustand befindet.
Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei der Informationserfassungsteil Beschleunigungs-/Verlangsamungsinformationen des Fahrzeugs und/oder Neigungsinformationen des Fahrzeugs erfasst, und der Entscheidungsteil einen Fall ausnimmt, in dem das Fahrzeug in einem vorgegebenen Beschleunigungs- oder Verlangsamungszustand ist, oder einen Fall, in dem das Fahrzeug in einer vorgegebenen von dem angegebenen Fahrzustand des Fahrzeugs geneigten Position ist.
Informationsverarbeitungsvorrichtung nach Anspruch 9, wobei der Informationserfassungsteil Standortinformationen des Fahrzeugs und Karteninformationen der Umgebung des Fahrzeugs erfasst, und der Entscheidungsteil entscheidet, dass das Fahrzeug sich im angegebenen Fahrzustand befindet, wenn das Fahrzeug auf einer geraden Straße gefahren wird.
Informationsverarbeitungsvorrichtung nach Anspruch 1, ferner umfassend einen Identifizierungsteil zum Identifizieren des Fahrers, wobei der Referenzbestimmungsteil die Referenz für jeden durch den Identifizierungsteil identifizierten Fahrer bestimmt.
Fahrerüberwachungssystem, umfassend: die Informationsverarbeitungsvorrichtung nach Anspruch 1; und wenigstens eine Kamera zum Aufnehmen eines Bilds, das das Gesicht des Fahrers enthält, erfasst vom Bilderfassungsteil.
Informationsverarbeitungsverfahren, umfassend die Schritte: Erfassen eines Bilds, das ein Gesicht eines Fahrers eines Fahrzeugs enthält; Ermitteln einer Sichtlinienrichtung des Fahrers in dem Bild, das in dem Bilderfassungsschritt erfasst wurde; Sammeln von im Ermittlungsschritt erhaltenen Ermittlungsergebnissen in einem Sammlungsteil; und Bestimmen einer Referenz der Sichtlinienrichtung für den Fahrer unter Einsatz der im Sammlungsteil gesammelten Ermittlungsergebnisse.
Informationsverarbeitungsprogramm zum Ermöglichen, dass wenigstens ein Computer die Schritte ausführt: Erfassen eines Bilds, das ein Gesicht eines Fahrers eines Fahrzeugs enthält; Ermitteln einer Sichtlinienrichtung des Fahrers in dem Bild, das in dem Bilderfassungsschritt erfasst wurde; Sammeln von im Ermittlungsschritt erhaltenen Ermittlungsergebnissen in einem Sammlungsteil; und Bestimmen einer Referenz der Sichtlinienrichtung für den Fahrer unter Einsatz der im Sammlungsteil gesammelten Ermittlungsergebnisse.