DE112017007073T5

DE112017007073T5 - Fahrzustandsbestimmungsvorrichtung und Fahrzustandsbestimmungsverfahren

Info

Publication number: DE112017007073T5
Application number: DE112017007073.2T
Authority: DE
Inventors: Hisashi Sugawara; Ryosuke Torama; Yudai Nakamura
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2017-02-15
Filing date: 2017-02-15
Publication date: 2019-11-14
Anticipated expiration: 2037-02-16
Also published as: JPWO2018150485A1; US10949690B2; CN110268455B; CN110268455A; WO2018150485A1; DE112017007073B4; US20190370579A1; JP6811834B2

Abstract

Es sind umfasst: eine Frequenzverteilungserzeugungseinheit (105) zum Bezugnehmen auf die durch die Gesichtsinformationsdetektionseinheit (103) detektierte Gesichtsinformation und, wenn eine voreingestellte Veränderung in dem Gesicht des Fahrers auftritt, erzeugen einer Frequenzverteilung einer Gesichtsinformation in einem voreingestellten Zeitabschnitt aus der durch eine Gesichtsinformation-Detektionseinheit (103) detektierten Gesichtsinformation; eine Moduswertberechnungseinheit (106) zum Berechnen eines Moduswerts der Gesichtsinformation aus der erzeugten Frequenzverteilung; und eine Referenzwertberechnungseinheit (107) zum Berechnen eines Referenzwerts, welche einen stationären Zustand des Fahrers angibt, aus dem Moduswert der Gesichtsinformation.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft eine Technik zum Bestimmen eines Zustands eines Fahrers, welcher ein Fahrzeug fährt.
Stand der Technik
Als eine konventionelle Technik zum Bestimmen eines Zustands eines Fahrers, welcher ein Fahrzeug fährt, gibt es eine Technik, bei der eine Gesichtsorientierung oder eine Blickrichtung eines Fahrers detektiert wird und, wenn eine Richtung der detektierten Blickrichtung von einem eingestellten normalen Bereich abweicht, bestimmt wird, dass der Fahrer zur Seite blickt, während er fährt. Allerdings gibt es individuelle Unterschiede in einem Blickfeldbereich und einem normalen Bereich in dem Blickfeldbereich eines Fahrers. Zusätzlich kann der normale Bereich in Abhängigkeit von einer Stellung des Fahrers und etwas Ähnlichem schwanken. Aus diesem Grund wird bevorzugt, dass der Blickfeldbereich und der normale Bereich in dem Blickfeldbereich eines Fahrers für jeden Fahrer eingestellt werden, oder in Abhängigkeit von der Stellung (Haltung) des Fahrers und etwas Ähnlichem eingestellt wird. Beispielsweise beschreibt Patentliteratur 1 eine Ablenkungsbestimmungsvorrichtung, welche eine Mittelposition eines zulässigen Ablenkungsbestimmungsbereichs auf der Basis einer Gesichtsorientierung oder einer Richtung einer Blickrichtung, welche durch ein Richtungsdetektionsmittel detektiert sind, einstellt, wenn eine durch das Handformdetektionsmittel detektierte Form einer Hand, eine vorab eingestellte Startform ist.
Zusammenfassung der Erfindung
Technische Aufgabe
Gemäß der in Patentliteratur 1 beschriebenen obigen Ablenkungsbestimmungsvorrichtung ist es zum Einstellen der Mittelposition des zulässigen Ablenkungsbestimmungsbereichs notwendig, dass der Fahrer eine Form der Hand erfasst, welche die vorab eingestellte Startform ist. Aus diesem Grund, obwohl es möglich ist, den zulässigen Ablenkungsbestimmungsbereich für jeden Fahrer einzustellen, gab es ein Problem darin, dass der Fahrer eine vorab eingestellte Operation für die Einstellung ausführen muss.
Die vorliegende Erfindung wurde gemacht, um das obige Problem zu lösen und es ist eine Aufgabe einen stationären Zustand des Fahrers zum Bestimmen eines Fahrzustands für jeden Fahrer einzustellen, ohne eine durch den Fahrer ausgeführte vorab eingestellte Operation.
Lösung der Aufgabe
Eine Fahrzustandsbestimmungsvorrichtung gemäß der vorliegenden Erfindung umfasst: eine Gesichtsmerkmalspunkt-Detektionseinheit zum Detektieren, aus einem Gesichtsbild eines Fahrers, einer Positionsinformation über Merkmalspunkte des Gesichts des Fahrers als Gesichtsmerkmalspunkte; eine Gesichtsinformation-Detektionseinheit zum Detektieren einer Gesichtsinformation, welche einen Zustand des Gesichts des Fahrers angibt, aus dem durch die Gesichtsmerkmalspunkt-Detektionseinheit detektierten Gesichtsmerkmalspunkten; eine Frequenzverteilungserzeugungseinheit zum Erzeugen einer Frequenzverteilung der Gesichtsinformation in einem vorab eingestellten Zeitabschnitt aus der durch die Gesichtsinformation-Detektionseinheit detektierten Gesichtsinformation, wenn auf die durch die Gesichtsinformation-Detektionseinheit detektierte Gesichtsinformation Bezug genommen wird und eine voreingestellte Veränderung in dem Gesicht des Fahrers auftritt; eine Moduswertberechnungseinheit zum Berechnen eines Moduswerts der Gesichtsinformation aus der durch die Frequenzverteilungserzeugungseinheit erzeugten Frequenzverteilung; eine Referenzwertberechnungseinheit zum Berechnen eines einen stationären Zustand des Fahrers angebenden Referenzwerts aus dem durch die Moduswertberechnungseinheit berechneten Moduswert der Gesichtsinformation; und eine Fahrzustandsbestimmungseinheit zum Bestimmen eines Fahrzustands des Fahrers durch Vergleichen des durch die Referenzwertberechnungseinheit berechneten Referenzwerts mit der durch die Gesichtsinformation-Detektionseinheit detektierten Gesichtsinformation.
Vorteilhafte Effekte der Erfindung
Gemäß der vorliegenden Erfindung kann der stationäre Zustand des Fahrers zum Bestimmen des Fahrzustands für jeden Fahrer eingestellt werden, ohne den Fahrer zum Ausführen der voreingestellten Operation aufzufordern.
Figurenliste

1 ist ein Blockdiagramm, welches eine Konfiguration einer Fahrzustandsbestimmungsvorrichtung gemäß einer ersten Ausführungsform darstellt.
2A und 2B sind Diagramme, welche ein Hardwarekonfigurationsbeispiel der Fahrzustandsbestimmungsvorrichtung gemäß der ersten Ausführungsform darstellen.
3A, 3B und 3C sind Diagramme, welche eine Detektionsverarbeitung in einer Gesichtsmerkmalspunkt-Detektionseinheit der Fahrzustandsbestimmungsvorrichtung gemäß der ersten Ausführungsform darstellen.
4A und 4B sind Diagramme, welche eine Detektion eines Öffnungs/Schließzustands eines Auges in einer Gesichtsinformation-Detektionseinheit der Fahrzustandsbestimmungsvorrichtung gemäß der ersten Ausführungsform darstellen.
5A, 5B und 5C sind Diagramme, welche eine Information darstellen, welche eine Positionsbeziehung zwischen Gesichtsmerkmalspunkten angibt, und eine Detektion einer Gesichtsorientierung in der Gesichtsinformation-Detektionseinheit der Fahrzustandsbestimmungsvorrichtung gemäß der ersten Ausführungsform.
6 ist ein Diagramm, welches eine Detektion einer Abflachung des Auges in der Gesichtsinformation-Detektionseinheit der Fahrzustandsbestimmungsvorrichtung gemäß der ersten Ausführungsform darstellt.
7 ist ein Diagramm, welches ein Beispiel eines durch eine Frequenzverteilungserzeugungseinheit der Zustandsbestimmungsvorrichtung gemäß der ersten Ausführungsform referenzierten effektiven Gesichtspositionsbereich darstellt.
8 ist ein Flussdiagramm, welches eine Operation einer Referenzwertberechnungsverarbeitung der Fahrzustandsbestimmungsvorrichtung gemäß der ersten Ausführungsform darstellt.
9A und 9B sind Diagramme, welche ein Beispiel eines normalen visuellen Erkennungsbereichs darstellen, welche durch eine Fahrzustandsbestimmungseinheit der Fahrzustandsbestimmungsvorrichtung gemäß der ersten Ausführungsform eingestellt ist.
10 ist ein Flussdiagramm, welches eine Operation einer Fahrzustandsbestimmungsverarbeitung in der Fahrzustandsbestimmungsvorrichtung gemäß der ersten Ausführungsform darstellt.
11A, 11B und 11C sind Diagramme, welche ein Beispiel einer Korrektur des normalen visuellen Erkennungsbereichs durch die Fahrzustandsbestimmungseinheit der Fahrzustandsbestimmungsvorrichtung gemäß der ersten Ausführungsform darstellt.
12A und 12B sind Diagramme, welche ein Beispiel der Korrektur des normalen visuellen Erkennungsbereichs durch die Fahrzustandsbestimmungseinheit der Fahrzustandsbestimmungsvorrichtung gemäß der ersten Ausführungsform darstellen.
13 ist ein Blockdiagramm, welches eine Konfiguration einer Fahrzustandsbestimmungsvorrichtung gemäß einer zweiten Ausführungsform darstellt.
14 ist ein Flussdiagramm, welches eine Operation einer Identifikationseinheit der Fahrzustandsbestimmungsvorrichtung gemäß der zweiten Ausführungsform darstellt.
15 ist ein Blockdiagramm, welches eine Konfiguration einer Fahrzustandsbestimmungsvorrichtung gemäß einer dritten Ausführungsform darstellt.
16 ist ein Flussdiagramm, welches eine Operation einer Identifikationseinheit der Fahrzustandsbestimmungsvorrichtung gemäß der dritten Ausführungsform darstellt.

Beschreibung von Ausführungsformen
Nachfolgend werden zum genaueren erläutern der vorliegenden Erfindung Ausführungsformen zum Ausführen der vorliegenden Erfindung mit Bezug zu den beiliegenden Figuren beschrieben.
Erste Ausführungsform.
1 ist ein Blockdiagramm, welches eine Konfiguration einer Fahrzustandsbestimmungsvorrichtung 100 gemäß einer ersten Ausführungsform darstellt.
Die Fahrzustandsbestimmungsvorrichtung 100 umfasst eine Gesichtsbilderfassungseinheit 101, eine Gesichtsmerkmalspunkt-Detektionseinheit 102, eine Gesichtsinformation-Detektionseinheit 103, eine Betriebsinformationserfassungseinheit 104, eine Frequenzverteilungserzeugungseinheit 105, eine Moduswertberechnungseinheit 106, eine Referenzwertberechnungseinheit 107 und eine Fahrzustandsbestimmungseinheit 108.
Wie in 1 dargestellt, ist die Fahrzustandsbestimmungsvorrichtung 100 beispielsweise mit einer Warnvorrichtung 200 verbunden.
Die Gesichtsbilderfassungseinheit 101 erfasst ein Gesichtsbild, welches zumindest einen gesamten Kopfbereich eines Fahrers umfasst, auf der Basis eines aufgenommenen Bilds von einer Kamera oder etwas Ähnlichem, welche an einem Fahrzeug angebracht ist. Die Gesichtsbilderfassungseinheit 101 gibt das Gesichtsbild an die Gesichtsmerkmalspunkt-Detektionseinheit 102 aus.
Die Gesichtsmerkmalspunkt-Detektionseinheit 102 detektiert einen Gesichtsbereich, welcher aus einem Gesicht wie beispielsweise Augen, einer Nase, einem Mund und etwas Ähnlichem gebildete Teile umfasst, aus dem durch die Gesichtsbilderfassungseinheit 101 erfassten Gesichtsbild. Die Gesichtsmerkmalspunkt-Detektionseinheit 102 detektiert aus dem detektierten Gesichtsbereich eine Positionsinformation über jeden das Gesicht bildenden Teil als einen Merkmalspunkt des Gesichts des Fahrers. Nachfolgend wird der Merkmalspunkt des Gesichts des Fahrers als „Gesichtsmerkmalspunkt“ beschrieben. Die Gesichtsmerkmalspunkt-Detektionseinheit 102 erfasst, als eine Positionsinformation über jeden das Gesicht bildenden Teil, eine Information, welche eine Position des Gesichtsbilds einer Komponente eines jeden Teils angibt, oder Koordinaten auf dem Gesichtsbild der Komponente eines jeden Teils.
Die Gesichtsinformation-Detektionseinheit 103 detektiert eine Gesichtsinformation unter Verwendung des durch die Gesichtsmerkmalspunkt-Detektionseinheit 102 detektierten Gesichtsmerkmalspunkt.
Die Gesichtsinformation ist eine Information, welche einen Zustand des Gesichts des Fahrers angibt, und umfasst beispielsweise eine Positionsbeziehung zwischen dem Gesichtsmerkmalspunkten, einen Öffnung/Schließzustand des Auges des Fahrers, eine Blickrichtung des Fahrers, eine Gesichtsorientierung des Fahrers, eine Stellung des Fahrers, eine Abflachung des Auges des Fahrers, einen visuellen Erkennungsbereich des Fahrers, einen visuellen Erkennungsbereich des Fahrers, ein Aufsetzen/Abnehmen eines tragbaren Gegenstands in dem Gesicht des Fahrers und ein Auftreten eines Kontrast bei dem Gesicht des Fahrers. Es wird darauf hingewiesen, dass das tragbare Objekt beispielsweise eine Brille, eine Sonnenbrille oder eine Maske ist.
Die oben beschriebene Information, welche die Positionsbeziehung zwischen den Gesichtsmerkmalspunkten angibt, ist eine Information, welche eine Positionsbeziehung zwischen den Koordinaten des Gesichtsbilds wie beispielsweise den Augen, der Nase, dem Mund und etwas Ähnlichem, welche durch die Gesichtsmerkmalspunkt-Detektionseinheit 102 detektiert sind, angibt, und ist diejenige, das eine Position der Nase nahe den Augen ist, dass die Position der Nase in der Nähe des Mund ist oder etwas Ähnliches. Insbesondere, wenn der Fahrer direkt in die Kamera oder etwas Ähnlichem blickt, erfasst die Gesichtsinformation-Detektionseinheit 103 eine Information, welche eine Positionsbeziehung angibt, welche angibt, dass eine horizontale Position der Nase in der Mitte der beiden Augen positioniert ist. Zusätzlich, wenn der Fahrer sich seitlich zu der Kamera oder etwas Ähnlichem befindet, erfasst die Gesichtsinformation-Detektionseinheit 103 eine Information, welche eine Positionsbeziehung angibt, welche die Höhen mit Bezug zu dem Mund angibt. Es wird darauf hingewiesen, dass, wenn eine Situation nicht häufig auftritt, dass der Fahrer frontal oder seitlich zu der Kamera oder etwas Ähnlichem ist, die Gesichtsinformation-Detektionseinheit 103, aus der die Positionsbeziehung zwischen der Nase und etwas Ähnlichem, detektiert innerhalb einer bestimmten Zeitperiode, angebende Information, eine Information abschätzt und erfasst, welche die Positionsbeziehung zwischen der Nase und etwas Ähnlichem angibt, wenn der Fahrer frontal in die Kamera oder etwas Ähnlichem blickt oder, wenn der Fahrer seitlich zu der Kamera oder etwas Ähnlichem ist.
Die Betriebsinformationserfassungseinheit 104 erfasst die Fahrzeugbetriebsinformation, welche einen Betriebszustand des Fahrzeugs angibt, in welchem sich der Fahrer befindet, aus einem Steuerbereichsnetzwerk (CAN), einer Fahrzeugdiagnose (OBD) oder etwas Ähnlichem. Die Fahrzeugbetriebsinformation ist beispielsweise eine Lenkwinkelinformation eines Fahrzeugs, eine Fahrzeuggeschwindigkeitsinformation, eine Blinkersignalinformation, eine Öffnung/Schließinformation einer Tür, eine Information, welche ein Anbringen/Lösen eines Sicherheitsgurts durch einen Fahrer angibt, eine Information, welche ein Sitzen auf einem Sitz eines Fahrers angibt, eine Information, welche eine Veränderung einer Sitzposition angibt, eine Information, welche ein Schalten in einen Fahrmodus einer Schaltposition angibt, oder etwas Ähnliches.
Die Frequenzverteilungserzeugungseinheit 105 bezieht sich auf die Gesichtsinformation, welche durch die Gesichtsinformation-Detektionseinheit 103 detektiert ist, und, wenn eine voreingestellte Veränderung in dem Gesicht des Fahrers auftritt, erzeugt die Frequenzverteilungserzeugungseinheit 105 eine Frequenzverteilung der Gesichtsinformation in einem voreingestellten Zeitabschnitt. Weiter nimmt die Frequenzverteilungserzeugungseinheit 105 auf die Fahrzeugbetriebsinformation Bezug, welche durch die Betriebsinformationserfassungseinheit 104 erfasst ist, und, wenn eine voreingestellte Fahrzeugbedienung an dem Fahrzeug ausgeführt wird, erzeugt die Frequenzverteilungserzeugungseinheit 105 die Frequenzverteilung der Gesichtsinformation in dem voreingestellten Zeitabschnitt.
Der Fall, bei welchem die voreingestellte Veränderung in dem Gesicht des Fahrers auftritt, umfasst beispielsweise einen Fall, bei welchem, wenn ein tragbares Objekt an/von dem Gesicht des Fahrers angebracht/entfernt wird, einen Fall, bei welchem eine Fehlstellung aufgrund einer Veränderung in einer Weise eines Tragens des tragbaren Objekts auftritt, einen Fall, bei welchem ein Kontrast aufgrund von auf dem Gesicht des Fahrers einfallendem externen Licht auftritt, oder etwas Ähnliches.
Der Fall, bei welchem die voreingestellte Fahrzeugbedienung (Operation) an dem Fahrzeug ausgeführt wird, umfasst einen Fall, bei welchem eine Bedienung auftritt, wie beispielsweise eine Öffnung/Schließoperation der Tür des Fahrzeugs, eine Befestigung/Lösungsoperation des Sicherheitsgurt des Fahrzeugs, ein Hinsetzen auf dem Sitz des Fahrzeugs, eine Veränderungsbedienung der Sitzposition des Fahrzeugs, eine Schaltoperation an dem Antrieb des Schalthebels oder etwas Ähnliches.
Die Frequenzverteilungserzeugungseinheit 105 kann die Frequenzverteilung der Gesichtsinformation erzeugen, falls zumindest die durch die Gesichtsinformationsdetektionseinheit 103 detektierte Gesichtsinformation referenziert (Bezug genommen) werden kann.
Die Moduswertberechnungseinheit 106 berechnet eine Gesichtsinformation mit der höchsten Auftrittsfrequenz als einen Moduswert von der Frequenzverteilung der Gesichtsinformation, welche durch die Frequenzverteilungserzeugungseinheit 105 erzeugt ist.
Die Referenzwertberechnungseinheit 107 berechnet einen Optimierungsparameter für jeden Fahrer aus dem Moduswert der Gesichtsinformation, welche durch die Moduswertberechnungseinheit 106 berechnet ist. Die Referenzwertberechnungseinheit 107 berechnet einen Wert (nachfolgend als ein Referenzwert bezeichnet) der Gesichtsinformation, welche einen stationären Zustand angibt, zum Fahrzeitpunkt für jeden Fahrer durch Anwenden des berechneten Optimierungsparameters für jeden Fahrer auf einen Wert der Gesichtsinformation in einem voreingestellten normalen Fahrtzustand. Der Referenzwert kann eine Information sein, welche einen Wert oder eine Information angibt, welche einen Bereich eines bestimmten Werts angibt.
Die Fahrzustandsbestimmungseinheit 108 bestimmt einen Fahrzustand des Fahrers durch Vergleichen des durch die Referenzwertberechnungseinheit 107 berechneten Referenzwerts mit der aktuellen von der Gesichtsinformationsdetektionseinheit 103 eingegebenen Gesichtsinformation. Die Fahrzustandsbestimmungseinheit 108 bestimmt, ob der aktuelle Fahrzustand einen Fahrzustand ist, welcher von dem normalen Fahrzustand abweicht, wie beispielsweise eine Bestimmung, ob der Fahrer in einem Zustand ist, bei welchem dieser abgelenkt ist oder nicht, oder eine Bestimmung, ob der Fahrer in einem Schlafzustand ist oder nicht. Beispielsweise stellt die Fahrzustandsbestimmungseinheit 108 einen normalen visuellen Erkennungsbereich für jeden Fahrer auf der Basis des durch die Referenzwertberechnungseinheit 107 berechneten Referenzwerts ein und bestimmt einen Ablenkungszustand des Fahrers durch Vergleichen des eingestellten normalen visuellen Erkennungsbereichs mit dem aktuellen visuellen Erkennungsbereich. Die Fahrzustandsbestimmungseinheit 108 gibt ein Bestimmungsergebnis des Fahrzustand an die Warnvorrichtung 200 oder etwas Ähnliches aus.
Wenn das Bestimmungsergebnis, welches angibt, dass der aktuelle Fahrzustand von dem normalen Fahrzustand abweicht, von der Fahrzustandsbestimmungseinheit 108 eingegeben wird, gibt die Warnvorrichtung 200 eine Warnung an Insassen aus, welche den Fahrer des Fahrzeugs umfassen.
Als Nächstes wird ein Hardwarekonfigurationsbeispiel der Fahrzustandsbestimmungsvorrichtung 100 beschrieben.
Die 2A und 2B sind Diagramme, welche ein Hardwarekonfigurationsbeispiel der Fahrzustandsbestimmungsvorrichtung 100 darstellen.
In der Fahrzustandsbestimmungsvorrichtung 100 setzt eine Verarbeitungsschaltung jede der Funktionen der Gesichtsbilderfassungseinheit 101, der Gesichtsmerkmalspunkt-Detektionseinheit 102, der Gesichtsinformationsdetektionseinheit 103, der Betriebsinformationserfassungseinheit 104, der Frequenzverteilungserzeugungseinheit 105, der Moduswertberechnungseinheit 106, der Referenzwertberechnungseinheit 107 und der Fahrzustandsbestimmungseinheit 108 um. Das heißt, die Fahrzustandsbestimmungsvorrichtung 100 umfasst den Verarbeitungsschaltkreis zum Umsetzen einer jeden der oben beschriebenen Funktionen. Der Verarbeitungsschaltkreis kann eine Verarbeitungsschaltung 100a sein, welche eine zugewiesene Hardware ist, wie in 2A dargestellt, oder ein Prozessor 100b zum Ausführen eines in einem Speicher 100c gespeicherten Programms, wie in 2B dargestellt.
Wie in 2A dargestellt, wenn die Gesichtsbilderfassungseinheit 101, die Gesichtsmerkmalspunkt-Detektionseinheit 102, die Gesichtsinformationsdetektionseinheit 103, die Betriebsinformationserfassungseinheit 104, die Frequenzverteilungserzeugungseinheit 105 die Moduswertberechnungseinheit 106, die Referenzwertberechnungseinheit 107 und die Fahrzustandsbestimmungseinheit 108 jeweils eine zugewiesene Hardware sind, umfassen Beispiele des Verarbeitungsschaltkreises 100a einen einzelnen Schaltkreis, einem zusammengesetzten Schaltkreis, einem programmierten Prozessor, einen parallel programmierten Prozessor, eine anwendungsspezifische integrierte Schaltung (ASIC), eine feldprogrammierbare Gate-Anordnung (FPGA) oder eine Kombination davon. Für die Gesichtsbilderfassungseinheit 101, die Gesichtsmerkmalspunkt-Detektionseinheit 102, die Gesichtsinformationsdetektionseinheit 103, die Betriebsinformationserfassungseinheit 104, die Frequenzverteilungserzeugungseinheit 105, die Moduswertberechnungseinheit 106, die Referenzwertberechnungseinheit 107 und die Fahrzustandsbestimmungseinheit 108 können jede der Funktionen der Einheiten durch eine Verarbeitungsschaltung umgesetzt werden oder können die Funktionen der Einheiten gemeinsam durch eine Verarbeitungsschaltung umgesetzt werden.
Wie in 2B dargestellt, wenn die Gesichtsbilderfassungseinheit 101, die Gesichtsmerkmalspunkt-Detektionseinheit 102, die Gesichtsinformation-Detektionseinheit 103, die Betriebsinformationserfassungseinheit 104, die Frequenzverteilungserzeugungseinheit 105, die Moduswertberechnungseinheit 106, die Referenzwertberechnungseinheit 107 und die Fahrzustandsbestimmungseinheit 108 der Prozessor 100b sind, werden die Funktionen der Einheiten doch Software, Firmware oder eine Kombination von Software und Firmware umgesetzt. Die Software oder die Firmware wird als ein Programm beschrieben und in dem Speicher 100c gespeichert. Der Prozessor 100b liest das in dem Speicher 100c gespeicherte Programm aus und führt dieses aus, wodurch die Funktionen der Gesichtsbilderfassungseinheit 101, der Gesichtsmerkmalspunkt-Detektionseinheit 102, der Gesichtsinformationsdetektionseinheit 103, der Betriebsinformationserfassungseinheit 104, der Frequenzverteilungserzeugungseinheit 105, der Moduswertberechnungseinheit 106, der Referenzwertberechnungseinheit 107 und der Fahrzustandsbestimmungseinheit 108 umgesetzt werden. Das heißt, die Gesichtsbilderfassungseinheit 101, die Gesichtsmerkmalspunkt-Detektionseinheit 102, die Gesichtsinformationsdetektionseinheit 103, die Betriebsinformationserfassungseinheit 104, die Frequenzverteilungserzeugungseinheit 105, die Moduswertberechnungseinheit 106, die Referenzwertberechnungseinheit 107 und die Fahrzustandsbestimmungseinheit 108 umfassenden Speicher 100c zum Speichern von Programmen, durch welche in den 8 und 10 dargestellte Schritte, welche später beschrieben werden, ausgeführt werden, im Ergebnis, wenn diese durch den Prozessor 100b ausgeführt werden. Zusätzlich kann ebenso gesagt werden, dass diese Programme einen Computer dazu veranlassen Prozeduren und Verfahren der Gerichtsbild Erfassungseinheit 101, der Gesichtsmerkmalspunkt-Detektionseinheit 102, der Gesichtsinformation-Detektionseinheit 103, der Betriebsinformationserfassungseinheit 104, der Frequenzverteilungserzeugungseinheit 105, der Moduswertberechnungseinheit 106, der Referenzwertberechnungseinheit 107 und der Fahrzustandsbestimmungseinheit 108 auszuführen.
Hier ist der Prozessor 100b beispielsweise eine zentrale Verarbeitungseinheit (CPU), eine Verarbeitungsvorrichtungen, eine arithmetische Vorrichtung, ein Prozessor, ein Mikroprozessor, ein Mikrocomputer, ein Digitalsignalprozessor (DSP) oder etwas Ähnliches.
Beispielsweise kann der Speicher 100c ein nicht flüchtiger oder flüchtiger Halbleiterspeicher wie beispielsweise ein Arbeitsspeicher (RAM), Nurlesespeicher (ROM), Flashspeicher, Löschsparer programmierbarer ROM (EPROM) oder elektrische EPROM (EEPROM) sein, kann eine magnetische Diskette wie beispielsweise eine Festplatte oder eine flexible Diskette sein oder kann eine optische Diskette wie beispielsweise eine Minidisk, eine Compact Disc (CD) oder eine Digital-Versatile-Disk (DVD) sein.
Es wird drauf hingewiesen, dass für die Funktionen der Gesichtsbilderfassungseinheit 101, der Gesichtsmerkmalspunkt-Detektionseinheit 102, der Gesichtsinformationsdetektionseinheit 103, der Betriebsinformationserfassungseinheit 104, der Frequenzverteilungserzeugungseinheit 105, der Moduswertberechnungseinheit 106, der Referenzwertberechnungseinheit 107 und der Fahrzustandsbestimmungseinheit 108 die Funktionen teilweise durch zugewiesene Hardware umgesetzt werden können und teilweise durch Software oder Firmware umgesetzt werden können. Wie oben beschrieben, kann die Verarbeitungsschaltung 100a in der Fahrzustandsbestimmungsvorrichtung 100 die oben beschriebenen Funktionen durch Hardware, Software, Firmware oder eine Kombination davon umsetzen.
Als Nächstes werden die Gesichtsmerkmalspunkt-Detektionseinheit 102, die Gesichtsinformationsdetektionseinheit 103, die Frequenzverteilungserzeugungseinheit 105 und die Referenzwertberechnungseinheit 107 genauer beschrieben.
Zuerst wird die Gesichtsmerkmalspunkt-Detektionseinheit 102 mit Bezug zu 3 beschrieben.
3 ist ein Diagramm, welches eine Detektionsverarbeitung in der Gesichtsmerkmalspunkt-Detektionseinheit 102 der Fahrzustandsbestimmungsvorrichtung 100 gemäß der ersten Ausführungsform darstellt. 3A ist ein Diagramm, welches ein Gesichtsbild darstellt, 3B ist ein Diagramm, welches einen Gesichtsbereich darstellt, und 13 ist ein Diagramm, welches die Gesichtsmerkmalspunkte darstellt.
Die Gesichtsmerkmalspunkt-Detektionseinheit 102 erfasst das Gesichtsbild von der Gesichtsbilderfassungseinheit 101. Beispielsweise erfasst die Gesichtsmerkmalspunkt-Detektionseinheit 102 einen 3A dargestelltes Gesichtsbild 300. Die Gesichtsmerkmalspunkt-Detektionseinheit 102 detektiert den Gesichtsbereich, welcher Teile umfasst, welche ein Gesicht bilden, mit Bezug zu dem von der Gesichtsbilderfassungseinheit 101 erfassten Gesichtsbild. Beispielsweise detektiert die Gesichtsmerkmalspunkt-Detektionseinheit 102 einen in 3B dargestellten Gesichtsbereich 301 mit Bezug zu dem Gesichtsbild 300 aus 3A.
Die Gesichtsmerkmalspunkt-Detektionseinheit 102 erfasst eine Positionsinformation an beiden äußeren Winkeln 311 von Augen, beiden inneren Winkeln 312 von Augen, beiden oberen Augenlidern 313 und beiden unteren Augenlidern 314 mit Bezug zu den Augen in dem detektierten Gesichtsbereich 301, beispielsweise wie in 3C dargestellt. Die Gesichtsmerkmalspunkt-Detektionseinheit 102 erfasst eine Positionsinformation über einen Nasenwurzel 305, eine Nasenspitze 316, einen Nasensteg und Nasenflügel mit Bezug zu der Nase in dem Gesichtsbereich 301, beispielsweise wie in 3C dargestellt. Die Gesichtsmerkmalspunkt-Detektionseinheit 102 erfasst eine Positionsinformation über eine Oberlippe 317, eine Unterlippe 318 und Mundwinkel 319 mit Bezug zu dem Mund in dem Gesichtsbereich 301, beispielsweise wie in 3C dargestellt. Die Positionsinformation über die Komponente eines jeden Teils, erfasst durch die Gesichtsmerkmalspunkt-Detektionseinheit 102, ist eine Information, welche eine Position von einem Startpunkt O des in 3A dargestellten Gesichtsbereich 300 angibt, oder Koordinaten in dem in 3A dargestellten Gesichtsbereich 300. Diese Teile von Positionsinformation werden als die Gesichtsmerkmalspunkte detektiert.
Als Nächstes wird die Gesichtsinformation-Detektionseinheit 103 mit Bezug zu den 4 bis 6 beschrieben.
Die 4 bis 6 sind Diagramme, welche eine Detektionsverarbeitung in der Gesichtsinformation-Detektionseinheit 103 der Fahrzustandsbestimmungsvorrichtung 100 gemäß der ersten Ausführungsform darstellen. Die 4A und 4B sind Diagramme, welche eine Detektion des Öffnung/Schließzustand des Auges darstellen, die 5A, 5B und 5C sind Diagramme, welche eine Information darstellen, welche die Positionsbeziehung zwischen den Gesichtsmerkmalspunkten angibt, und eine Detektion der Gesichtsorientierung, und 6 ist ein Diagramm, welches eine Detektion der Abflachung des Auges darstellt.
Die Gesichtsinformationsdetektionseinheit 103 detektiert, ob das Auge geöffnet ist oder ob das Auge geschlossen ist, aus der Positionsinformation über das obere Augenlid und der Positionsinformation über das untere Augenlid aus der Positionsinformation über das Auge, umfasst in dem Gesichtsmerkmalspunkten, und berechnet weiter einen Öffnungsgrad des Auges.
Wie in 4A dargestellt, berechnet die Gesichtsinformation-Detektionseinheit 103 einen Abstand Pa zwischen dem oberen Augenlid 313 und dem unteren Augenlid 314 aus der Positionsinformation über das obere Augenlid 313 und der Positionsinformation über das untere Augenlid 314. In dem Beispiel aus 4A detektiert die Gesichtsinformation-Detektionseinheit 103, dass das Auge geöffnet ist, da der berechnete Abstand Pa größer als ein eingestellter Wert ist. Zusätzlich detektiert in dem Beispiel aus 4B die Gesichtsinformation-Detektionseinheit 103, dass das Auge geschlossen ist, da ein berechneter Abstand Pb kürzer als ein eingestellter Wert ist. Zusätzlich vergleicht die Gesichtsinformationsdetektionseinheit 103 die berechneten Abstände Pa und Pb mit dem voreingestellten Abstandswert und berechnet den Öffnungsgrad des Auges. Weiter bestimmt die Gesichtsinformationsdetektionseinheit 103 einen Bereich des Auges auf der Basis der Positionsinformation über das Auge und sucht nach einem Bereich mit der geringsten Helligkeit in dem Bereich des bestimmten Auges. Die Gesichtsinformationsdetektionseinheit 103 erfasst eine Position der Iris oder der Pupille aus dem Bereich mit der geringsten Helligkeit, nach welcher gesucht wurde, und detektiert die Blickrichtung des Fahrers.
Die Gesichtsinformation-Detektionseinheit 103 erfasst eine Information, welche die Positionsbeziehung zwischen den Augen, der Nase und dem Mund angibt, welche aus den Gesichtsmerkmalspunkten erhalten ist. Zusätzlich detektiert die Gesichtsinformation-Detektionseinheit 103 die Gesichtsorientierung des Gesichts des Fahrers aus der Information, welche die Positionsbeziehung zwischen den Augen, der Nase und dem Mund angibt, welche erfasst ist. Beispielsweise, wie in den 5A bis 5C dargestellt, erfasst die Gesichtsinformation-Detektionseinheit 103 die Positionsbeziehung zwischen der Nasenspitze und den beiden Augen. Zusätzlich schätzt die Gesichtsinformationsdetektionseinheit 103 einen Verschiebungsbetrag des Gesichts eines Fahrers X ab und detektiert die Gesichtsorientierung des Fahrers X aus der Positionsbeziehung zwischen der Nasenspitze und den beiden Augen.
In dem Fall aus 5A detektiert die Gesichtsinformation-Detektionseinheit 103, dass die Gesichtsorientierung des Fahrers X nach rechts ist, da die Nasenspitze 316 in der Nähe einer geraden Linie Qa positioniert ist, welche durch den äußeren Bereich 311 des linken Auges hindurchtritt.
In dem Fall aus 5B detektiert die Gesichtsinformationsdetektionseinheit 103, dass die Gesichtsorientierung des Fahrers X nach vorne ist, da die Nasenspitze 316 zwischen den beiden inneren Bereichen 312 positioniert ist.
In dem Fall aus 5C detektiert die Gesichtsinformation-Detektionseinheit 103, dass die Gesichtsorientierung des Fahrers X nach links ist, da die Nasenspitze 316 in der Nähe einer geraden Linie Qb positioniert ist, welche durch den äußeren Bereich 311 des rechten Auges hindurchtritt.
Zusätzlich, wie in 5B dargestellt, verwendet die Gesichtsinformationsdetektionseinheit 103 eine gerade Linie Qc, welche durch einen Punkt hindurchtritt, bei welchem die Nasenspitze positioniert ist, wenn der Fahrer nach vorne gerichtet ist, und detektiert eine vertikale Orientierung des Gesichts des Fahrers X. Die gerade Linie Qc, welche vorab aus dem Gesichtsbild in einem Zustand erhalten ist, bei welchem der Fahrer sowohl in der vertikalen Richtung als auch in der horizontalen Richtung nach vorne schaut. Die Gesichtsinformation-Detektionseinheit 103 detektiert, ob die Gesichtsorientierung des Fahrers X nach oben und nach unten gerichtet ist, in Abhängigkeit davon, ob die Nasenspitze 316 auf der Oberseite oder der Unterseite der geraden Linie Qc positioniert ist.
Weiter berechnet die Gesichtsinformationsdetektionseinheit 103 die Abflachung des Auges aus der Positionsinformation über das obere Augenlid, das untere Augenlid, die äußeren Winkel und die inneren Winkel aus der Positionsinformation über die Augen, umfasst in den Gesichtsmerkmalspunkten. Beispielsweise, wie in 6 dargestellt, erhält die Gesichtsinformationsdetektionseinheit 103 die Höhe des Auges aus dem Abstand Pa zwischen dem oberen Augenlid 313 und dem unteren Augenlid 314 unterhält die Breite des Auges aus einem Abstand Pc zwischen dem äußeren Winkel 311 und dem inneren Winkel 312. Die Gesichtsinformationsdetektionseinheit 103 berechnet die Abflachung des Auges durch Dividieren der erhaltenen Breite des Auges (Abstand Pc) durch die Höhe des Auges (Abstand Pa).
Weiter detektiert die Gesichtsinformationsdetektionseinheit 103 den visuellen Erkennungsbereich des Fahrers. Der visuelle Erkennungsbereich des Fahrers ist ein Bereich (effektives Gesichtsfeld), in welchem eine Information unmittelbar erhalten werden kann, nur durch Augenbewegungen mit Bezug zu der Frontansicht des Fahrers. Die Gesichtsinformationsdetektionseinheit 103 detektiert, als den visuellen Erkennungsbereich des Fahrers, beispielsweise einen Bereich von ±15° in der horizontalen Richtung, 8° nach oben in der vertikalen Richtung und 12° nach unten in der vertikalen Richtung mit Bezug zu der Frontansicht des Fahrers. Es wird drauf hingewiesen, dass die Werte in der horizontalen Richtung und der vertikalen Richtung mit Bezug zu der Frontansicht des Fahrers, wie oben beschrieben, Parameter sind, welche verändert werden können. Die obigen numerischen Werte sind Beispiele und andere unterschiedliche Werte können eingestellt werden.
Die Gesichtsinformationsdetektionseinheit 103 kann die visuelle Erkennungszone des Fahrers anstelle des oben beschriebenen visuellen Erkennungsbereichs erfassen. Die visuelle Erkennungszone des Fahrers wird durch eine Information dargestellt, welche angibt, welche Struktur aus Strukturen des Fahrzeugs in dem effektiven Sichtfeld des Fahrers umfasst ist. Beispielsweise, wenn eine Messanzeige und eine zentrale Informationsanzeige (CID) in dem effektiven Sichtfeld des Fahrers umfasst sind, erfasst die Gesichtsinformationsdetektionseinheit 103, als die visuelle Erkennungszone, eine Information, welche die Messanzeige und die CID als die visuelle Erkennungszone angibt.
Insbesondere wird angenommen, dass die Gesichtsinformationsdetektionseinheit 103 vorab eine Information erfasst, welche Installationspositionen von für den Fahrer sichtbaren Strukturen angibt, wie beispielsweise der Messanzeige, der CID, einem Head-up-Display (HUD), linken und rechten Seitenspiegeln und einem Rückspiegel aus den Strukturen des Fahrzeugs. Zusätzlich wird angenommen, dass die Gesichtsinformationsdetektionseinheit 103 vorab eine Information erfasst, welche eine Installationsposition einer Kamera zum Aufnehmen des Gesichtsbilds angibt, welches in die Gesichtsbilderfassungseinheit 101 eingegeben wird.
Die Gesichtsinformationsdetektionseinheit 103 berechnet eine relative Position zwischen dem Gesicht des Fahrers und der Kamera auf der Basis eines Tiefenabstands, welcher von einer Position der in den Gesichtsmerkmalspunkten umfassten Nasenspitze beispielsweise erhalten ist. Unter Verwendung der relativen Position und der relativen Positionsbeziehung zwischen der Kamera und den Strukturen, erfasst die Gesichtsinformationsdetektionseinheit 103 eine Information, welche angibt, welche Struktur in dem effektiven Gesichtsfeld des Fahrers vorhanden ist, und gibt die Information als die visuelle Erkennungszone aus
Es wird darauf hingewiesen, dass es angenommen werden kann, dass eine Position einer A-Säule, eine Position eines Armaturenbretts, eine Blendenposition, welche die CID aufnimmt, und etwas Ähnliches vorab gemessen sind und die Gesichtsinformationsdetektionseinheit 103 die Positionen vorab erfasst. In diesem Fall unter Nutzung von Zonen, deren Randbereiche auf der Basis dieser Positionen bestimmt sind, gibt die Gesichtsinformationsdetektionseinheit 103 die visuelle Erkennungszone des Insassen als eine Frontscheibe, ein Fahrerseitenfenster, einen Beifahrerseitenfenster, einen Mittelkonsolenbereich oder etwas Ähnliches aus.
Zusätzlich detektiert die Gesichtsinformationsdetektionseinheit 103, ob ein tragbares Objekt an/von dem Gesicht des Fahrers angebracht/entfernt wird, oder ein Ausrichtungsfehler des tragbaren Objekts auf dem Gesicht des Fahrers auftritt, auf der Basis der Gesichtsmerkmalspunkte und dem Gesichtsbild selbst.
Zusätzlich unter Verwendung der Helligkeit des Gesichtsbilds, welches durch die Gesichtsbilderfassungseinheit 101 erfasst ist, und dem Gesichtsmerkmalspunkt, welche durch die Gesichtsmerkmalspunkt-Detektionseinheit 102 detektiert ist, bestimmt die Gesichtsinformationsdetektionseinheit 103, ob die Helligkeit sich nur in der Umgebung des Gesichtsmerkmalspunkt verändert hat oder nicht.
Wenn bestimmt wird, dass die Veränderungen der Helligkeit nicht nur in der Umgebung des Gesichtsmerkmalspunkt sondern ebenso in dem gesamten Gesichtsbereich auftritt, korrigiert die Gesichtsinformationsdetektionseinheit 103 eine Belichtungszeit zum Einstellen einer durchschnittlichen Helligkeit des gesamten Gesichtsbereichs unter Verwendung einer automatischen Belichtung (AE) Funktion einer Kamera oder etwas Ähnlichem, welche in dem Fahrzeug angebracht ist, beispielsweise.
Wenn bestimmt wird, dass die Helligkeit nur in der Umgebung des Gesichtsmerkmalspunkts verändert ist, bestimmt die Gesichtsinformation-Detektionseinheit 103, dass ein Kontrast auf dem Gesicht beispielsweise aufgrund eines Einflusses von externem Licht auftritt, und detektiert ein Auftreten des Kontrasts als die Gesichtsinformation.
Als Nächstes wird die Frequenzverteilungserzeugungseinheit 105 beschrieben.
Die Frequenzverteilungserzeugungseinheit 105 nimmt auf die durch die Gesichtsinformation-Detektionseinheit 103 detektierte Gesichtsinformationsbezug und, wenn eine voreingestellte Veränderung in dem Gesicht des Fahrers auftritt, erzeugt die Frequenzverteilungserzeugungseinheit 105 eine Frequenzverteilung der Gesichtsinformation in einem voreingestellten Zeitabschnitt. Weiter nimmt die Frequenzverteilungserzeugungseinheit 105 auf die durch die Betriebsinformationserfassungseinheit 104 erfasste Fahrzeugbetriebsinformation Bezug und, wenn die voreingestellte Fahrzeugbedienung einem Fahrzeug ausgeführt wird, erzeugt die Frequenzverteilungserzeugungseinheit 105 die Frequenzverteilung der Gesichtsinformation in dem voreingestellten Zeitabschnitt.
Es wird angenommen, dass eine Detektion von Gesichtsmerkmalspunkten durch die Gesichtsmerkmalspunkt-Detektionseinheit 102 zu einer beliebigen Zeit ausgeführt wird, während der Insasse das Fahrzeug verwendet, beispielsweise bei jeder vorbestimmten Periode, und die Gesichtsinformationsdetektionseinheit 103 immer die Gesichtsinformation aus den detektierten Gesichtsmerkmalspunkten detektiert und die Gesichtsinformation in einem Speicherbereich, dargestellt) gespeichert wird. In der Fahrzustandsbestimmungsvorrichtung 100, um eine Genauigkeit einer Fahrzustandsbestimmung zu verbessern, wird vorab eingestellt, dass, aus der gespeicherten Gesichtsinformation, die Gesichtsinformation, deren Zeitabschnitt, zum Erzeugen der Frequenzverteilung verwendet wird.
Zuerst wird ein Fall beschrieben, bei welchem die Frequenzverteilungserzeugungseinheit 105 die Frequenzverteilung der Gesichtsinformation in dem voreingestellten Zeitabschnitt erzeugt, wenn eine Veränderung an dem Gesicht des Fahrers auftritt.
In der Fahrzustandsbestimmungsvorrichtung 100, aus den Zuständen des Gesichts des Fahrers, welche durch die Gesichtsinformation angegeben sind, ist das Aufsetzen/Abnehmen des tragbaren Objekts an dem Gesicht, der Ausrichtungsfehler des tragbaren Objekts oder das Auftreten des Kontrasts an dem Gesicht vorab als die Veränderung des Gesichts des Fahrers eingestellt, welche einen Startpunkt einer Frequenzverteilungserzeugung durch die Frequenzverteilungserzeugungseinheit 105 ist.
Wenn die Gesichtsinformation, welche angibt, dass das Aufsetzen/Abnehmen des tragbaren Objekts in dem Gesicht oder der Ausrichtungsfehler des tragbaren Objekts detektiert ist, von der Gesichtsinformationsdetektionseinheit 103 eingegeben wird, beginnt die Frequenzverteilungserzeugungseinheit 105 ein Erzeugen der Frequenzverteilung der Gesichtsinformation in dem voreingestellten Zeitabschnitt.
Weiter, wenn die Gesichtsinformation, welche angibt, dass der Kontrast in dem Gesicht auftritt, von der Gesichtsinformation-Detektionseinheit 103 eingegeben ist, beginnt die Frequenzverteilungserzeugungseinheit 105 ein Erzeugen der Frequenzverteilung der Gesichtsinformation in dem vorab eingestellten Zeitabschnitt.
Als Nächstes wird ein Fall beschrieben, bei welchem die Frequenzverteilungserzeugungseinheit 105 die Frequenzverteilung der Gesichtsinformation in dem vorab eingestellten Zeitabschnitt erzeugt, wenn die voreingestellte Fahrzeugbedienung ausgeführt wird.
In der Fahrzustandsbestimmungsvorrichtung 100, aus der Fahrzeugbedienung, beispielsweise ein Öffnen/Schließen der Tür, einem Anlegen/Lösen des Sicherheitsgurts, einem hinsetzen auf dem Sitz, einer Veränderung der Sitzposition und einem Verschieben in der Gangposition des Fahrmodus sind als die Fahrzeugbedienung eingestellt, welche einen Startpunkt einer Frequenzverteilungserzeugung durch die Frequenzverteilungserzeugungseinheit 105 ist.
Die Frequenzverteilung Einheit 105 beginnt ein Erzeugen der Frequenzverteilung der Gesichtsinformation in dem vorab eingestellten Zeitabschnitt mit einem Erfassen der Fahrzeugbetriebsinformation, welche angibt, dass die vorab eingestellte Fahrzeugbedienung ausgeführt ist, von der Betriebsinformationserfassungseinheit 104, als den Startpunkt.
Die Frequenzverteilungserzeugungseinheit 105 kann die Gesichtsinformation verwenden, nur falls die Position des Gesichtsbereichs, detektiert durch die Gesichtsinformation-Detektionseinheit 103, in einem vorab eingestellten effektiven Gesichtspositionsbereich vorhanden ist, zum Erzeugen der Frequenzverteilung. Hierbei ist der effektive Gesichtspositionsbereich ein Bereich, welcher einen Bereich bestimmt, bei welchem der Gesichtsbereich positioniert ist, wenn der Fahrer in dem Fahrersitz sitzt.
7 ist ein Diagramm, welches ein Beispiel des effektiven Gesichtspositionsbereich darstellt, welcher durch die Frequenzverteilungserzeugungseinheit 105 der Fahrzustandsbestimmungsvorrichtung 100 gemäß der ersten Ausführungsform Bezug genommen wird.
Ein effektiver Gesichtspositionsbereich R ist vorab auf der Basis einer Position einer in dem Fahrersitz vorgesehenen Kopfstütze, einer Rückenlehne des Schutzes oder etwas Ähnlichem beispielsweise eingestellt.
Zusätzlich kann die Frequenzverteilungserzeugungseinheit 105 für eine Frequenzverteilungserzeugung nur die Gesichtsinformation verwenden, falls die Gesichtsorientierung des Fahrers, detektiert durch die Gesichtsinformation-Detektionseinheit 103, eine Gesichtsorientierung innerhalb eines vorab eingestellten bestimmten Bereichs ist, oder nur die Gesichtsinformation, falls ein Variationsbetrag von einem vorhergehenden Frame in der Blickrichtung des Fahrers oder in der Gesichtsorientierung des Fahrers kleiner als ein bestimmter Wert ist.
Als Nächstes wird die Referenzwertberechnungseinheit 107 beschrieben.
Die Referenzwertberechnungseinheit 107 berechnet den Optimierungsparameter für jeden Fahrer unter Verwendung des durch die Moduswertberechnungseinheit 106 berechneten Modus verwehrt. Die Referenzwertberechnungseinheit 107 berechnet den Referenzwert durch Anwenden des berechneten Optimierungsparameters für jeden Fahrer auf den Wert der Gesichtsinformation in dem voreingestellten normalen Fahrzustand. Der Referenzwert ist ein Wert der Gesichtsinformation in dem normalen Fahrzustand für jeden Fahrer, wie oben beschrieben. Hierbei ist der normale Fahrzustand die Gesichtsorientierung in der Frontansicht, wenn der Fahrer fährt, die Abflachung der Augen in dem stationären Zustand des Fahrers oder etwas Ähnliches.
Die Referenzwertberechnungseinheit 107 berechnet und aktualisiert den Referenzwert zu einem voreingestellten Zeitpunkt, wenn das Fahrzeug fährt. Der Zeitpunkt kann frei eingestellt werden, wobei die Referenzwertberechnungseinheit 107 den Referenzwert berechnet. Aktualisiert. Beispielsweise ist in der Referenzwertberechnungseinheit 107 mit Bezug zu der Gesichtsorientierung in der Frontansicht des Fahrzustands des Fahrers die Aktualisierungszeit auf einen Wert eingestellt, bei welchem die Frequenz rekursiv hoch ist, wie beispielsweise alle 5 Minuten, und mit Bezug zu der Abflachung des Auges in dem stationären Zustand des Fahrers ist die Aktualisierungszeit auf einen Wert eingestellt, bei welchem die Frequenz relativ gering ist, wie beispielsweise jede Stunde. Wie oben beschrieben kann der Aktualisierungszeitpunkt entsprechend Eigenschaften von Elementen eingestellt werden.
Als Nächstes werden Operationen der Fahrzustandsbestimmungsvorrichtung 100 beschrieben. Die Operationen der Fahrzustandsbestimmungsvorrichtung 100 werden getrennt von einem Betrieb der Referenzwertberechnungsverarbeitung und einem Betrieb der Fahrzustandsbestimmungsverarbeitung beschrieben.
Zuerst wird der Betrieb der Referenzwertberechnungsverarbeitung mit Bezug zu einem Flussdiagramm aus 8 beschrieben.
8 ist ein Flussdiagramm, welches einen Betrieb einer Berechnungsverarbeitung eines normalen Bereichs des Fahrzustands der Fahrzustandsbestimmungsvorrichtung 100 gemäß der ersten Ausführungsform darstellt. In dem Flussdiagramm aus 8 wird als ein Beispiel ein Fall beschrieben, bei welchem die Frequenzverteilungserzeugungseinheit 105 die Frequenzverteilung der Gesichtsinformation mit Bezug zu der Gesichtsinformation und der Fahrzeugbetriebsinformation erzeugt.
Wenn die Gesichtsbilderfassungseinheit 101 das Gesichtsbild erfasst (Schritt ST1), detektiert die Gesichtsmerkmalspunktdetektionseinheit 102 den Gesichtsbereich, welcher die Teile umfasst, welche das Gesicht bilden, aus dem erfassten Gesichtsbild (Schritt ST2). Die Gesichtsmerkmalspunktdetektionseinheit 102 erfasste Positionsinformation eines jeden Teils, welche das Gesicht bildet, welches in dem Gesichtsbereich vorhanden ist, detektiert im Schritt ST2 (Schritt ST3). Die Gesichtsinformation-Detektionseinheit 103 detektierte Gesichtsinformation aus der Positionsinformation über jeden das Gesicht bildenden Teil, erfasst im Schritt ST3 (Schritt ST4). Im Schritt ST4 kann die ein Auftreten eines Kontrasts angebende Gesichtsinformation auf der Basis des Gesichtsbilds detektiert werden.
Die Frequenzverteilungserzeugungseinheit 105 bestimmt, ob die voreingestellte Veränderung in dem Gesicht des Fahrers auftritt, mit Bezug zu der im Schritt ST4 detektierten Gesichtsinformation und bestimmt, ob die voreingestellte Fahrzeugbedienung an dem Fahrzeug ausgeführt wird oder nicht, mit Bezug zu der Fahrzeugbetriebsinformation (Schritt ST5). Wenn keine voreingestellte Veränderung in dem Gesicht des Fahrers auftritt und keine voreingestellte Fahrzeugbedienung an dem Fahrzeug ausgeführt wird (Schritt ST5; Nein), kehrt die Verarbeitung zu der Verarbeitung von Schritt ST1 zurück. Im Gegensatz dazu, wenn die voreingestellte Veränderung in dem Gesicht des Fahrers auftritt, oder wenn die voreingestellte Fahrzeugbedienung an dem Fahrzeug ausgeführt wird (Schritt ST5; ja), erzeugt die Frequenzverteilungserzeugungseinheit 105 die Frequenzverteilung der Gesichtsinformation in dem voreingestellten Zeitabschnitt (Schritt ST6).
Die Moduswertberechnungseinheit 106 berechneten Moduswert der Gesichtsinformation aus der im Schritt ST6 erzeugten Frequenzverteilung (Schritt ST7). Die Referenzwertberechnungseinheit 107 berechnet den Optimierungsparameter für jeden Fahrer aus dem Moduswert der im Schritt ST7 berechneten Gesichtsinformation (Schritt ST8). Die Referenzwertberechnungseinheit 107 berechneten Referenzwert durch Anwenden des im Schritt ST8 berechneten Optimierungsparameters auf den Wert der Gesichtsinformation in dem voreingestellten normalen Fahrzustand (Schritt ST9). Die Referenzwertberechnungseinheit 107 wendet den im Schritt ST9 berechneten Referenzwert auf die Fahrzustandsbestimmungseinheit 108 an (Schritt ST10), und kehrt zu der Verarbeitung von Schritt ST1 zurück.
Es wird drauf hingewiesen, dass angenommen wird, dass in der iterativen Verarbeitung aus dem Flussdiagramm aus Figur die Frequenzverteilung der Gesichtsinformation auf der Basis eines Bestimmungsergebnisses erzeugt wird, dass die voreingestellte Veränderung in dem Gesicht des Fahrers zumindest einmal auftritt (Schritt ST5; ja) im Schritt ST6.
Zusätzlich wurde in dem Flussdiagramm aus 8 ein Fall beschrieben, bei welchem die Frequenzverteilungserzeugungseinheit 105 auf die Gesichtsinformation und die Fahrzeugbetriebsinformation Bezug nimmt, als ein Beispiel; allerdings kann die Frequenzverteilungserzeugungseinheit 105 eine Bestimmung mit Bezug zu lediglich der Gesichtsinformation ausführen und die Frequenzverteilung der Gesichtsinformation erzeugen.
Die Fahrzustandsbestimmungseinheit 108 stellt den normalen visuellen Erkennungsbereich auf der Basis des im Schritt ST10 angewendeten Referenzwerts ein. 9 stellt ein Beispiel eines normalen visuellen Erkennungsbereichs dar, welche durch die Fahrzustandsbestimmungseinheit 108 eingestellt ist.
9 ist ein Diagramm, welches das Beispiel des normalen visuellen Erkennungsbereich darstellt, welche bei der Fahrzustandsbestimmungseinheit 108 der Fahrzustandsbestimmungsvorrichtung 100 gemäß der ersten Ausführungsform eingestellt ist.
9A ist ein Diagramm des normalen visuellen Erkennungsbereichs, wie von oben betrachtet, und 9B ist ein Diagramm des normalen visuellen Erkennungsbereichs, wie von einer Beobachtungsposition des Fahrers X aus betrachtet.
In 9 ist ein Bereich eines Winkels 91 ein normaler visueller Geltungsbereich S und ist ein Bereich außer dem normalen visuellen Erkennungsbereich S (beispielsweise Bereiche von Winkeln θ2 und θ3) ein Bereich, bei welchem bestimmt wird, dass dieses ein abgelenktes Verfahren ist.
Ein Basispunkt T (0, 0) innerhalb des normalen visuellen Erkennungsbereichs S aus 9B gibt die Gesichtsorientierung des Fahrers in der Frontansicht an. Bereiche in der vertikalen und der horizontalen Richtung mit Bezug zu dem Basispunkt C (+15° in der nach oben gerichteten Richtung, minus 20° in der nach unten gerichteten Richtung, -20° in der Linksrichtung, +30° in der Rechtsrichtung in dem Beispiel aus 9B) sind auf der Basis des durch die Referenzwertberechnungseinheit 107 berechneten Referenzwerts eingestellt.
Es wird drauf hingewiesen, dass die in den 9A und 9B dargestellten normalen visuellen Erkennungsbereiche Beispiele sind und nicht auf diese Bereiche beschränkt sind.
Zusätzlich, wenn das Fahrzeug einen manuellen Fahrmodus aufweist, bei welchem der Fahrer normal fährt, und in einen Automatik Fahrmodus, bei welchem eine Fahrsteuerung automatisch auf der Fahrzeugseite ausgeführt wird, und es eine Vielzahl von Automatikfahrniveaus in dem Automatikfahrmodus gibt, kann die Fahrzustandsbestimmungseinheit 108 den normalen visuellen Erkennungsbereich S auf der Basis des Automatikfahrniveaus das Fahrzeug dynamisch verändern.
Es wird angenommen, dass beispielsweise die Automatikfahrniveaus in einem Bereich vorhanden sind, welche von einem Niveau, welches einen Modus ist, bei welchem ein vorausfahrenden Fahrzeug nach gefahren wird, welches eine Aufmerksamkeit auf den Zwischenfahrzeugabstand und die Fahrgeschwindigkeit reduziert, allerdings eine Aufmerksamkeit äquivalent zu einem manuellen Fahren benötigt, in Bezug auf andere Fahrtbedingungen (Automatikfahrniveau 1) bis zu einem Niveau, welches einen Modus ist, bei welchem ein Fahren eines Hostfahrzeugs vollständig automatisch ist, welches Fahreroperationen, eine Gefahrvermeidungsoperation oder etwas Ähnliches durch den Fahrer nicht benötigt (Automatikfahrniveau 3). Beispielsweise kann in dem Automatikfahrniveau 3B in 9B dargestellte normale visuelle Erkennungsbereich S in der vertikalen und der horizontalen Richtung erweitert werden und kann der Bereich, in welchem das abgelenktes fahren bestimmt wird, verengt werden.
Als Nächstes wird der Betrieb der Fahrzustandsbestimmungsverarbeitung mit Bezug zu dem Flussdiagramm aus 10 beschrieben.
10 ist ein Flussdiagramm, welches den Betrieb der Fahrzustandsbestimmungsverarbeitung in der Fahrzustandsbestimmungsvorrichtung 100 gemäß der ersten Ausführungsform darstellt. In dem Flussdiagramm aus 10 wird als ein Beispiel ein Fall beschrieben, bei welchem eine Bestimmung ausgeführt wird, ob der Fahrer zur Seite blickt oder nicht, während dieser fährt, falls der Fahrzustand des Fahrers.
Eine Beschreibung wird unter der Annahme gegeben, dass die Fahrzustandsbestimmungseinheit 108 den oben beschriebenen normalen visuellen Erkennungsbereich auf der Basis des durch die Referenzwertberechnungseinheit 107 berechneten Referenzwerts einstellt.
Die Fahrzustandsbestimmungseinheit 108 bestimmt, ob das Fahrzeug in einem Fahrzustand ist, mit Bezug zu einer Ganginformation und einer Fahrzeuggeschwindigkeitsinformation, welche von der Betriebsinformationserfassungseinheit 104 eingegeben sind (Schritt ST21). Wenn das Fahrzeug nicht fährt (Schritt ST21; Nein), wird die Bestimmungsverarbeitung aus dem Schritt ST21 wiederholt. Im Gegensatz dazu, wenn das Fahrzeug fährt (Schritte ST21; Ja), bestimmt die Fahrzustandsbestimmungseinheit 108, ob das Fahrzeug ab blickt, mit Bezug zu einer Abbiegesignal Information, welche von der Betriebsinformationserfassungseinheit 104 eingegeben ist (Schritt ST22). Wenn das Fahrzeug ablegt (Schritt ST22; Ja), kehrt die Verarbeitung zu der Verarbeitung von Schritt ST21 zurück und die oben beschriebene Verarbeitung wird wiederholt. Dies liegt daran, da es hoch wahrscheinlich ist, dass eine Ablenkungsbestimmung während einer Fahrzeugkabine Operation zum Zeitpunkt eines Rechts/Linksabbiegens eine Fahrerablenkung (DB) wird, und es schwierig ist einen Ablenkungsbereich zu bestimmen, die Ablenkungsbestimmung nicht ausgeführt wird.
Im Gegensatz dazu, wenn das Fahrzeug nicht abbiegt (Schritt ST22; Nein), sagt die Vorhersagezustandsbestimmungseinheit 108 eine Abbiegerichtung des Fahrzeugs voraus, mit Bezug zu einer Lenkwinkelinformation, welche von der Betriebsinformationserfassungseinheit 104 eingegeben ist, und korrigiert eine Richtung des normalen visuellen Erkennungsbereichs (Schritt ST23). Weiter korrigiert die Fahrzustandsbestimmungseinheit 108 einen Öffnungswinkel des normalen visuellen Erkennungsbereichs oder den normalen visuellen Regelungsbereich, dessen Richtung im Schritt ST23 korrigiert ist, mit Bezug zu der Fahrzeuggeschwindigkeitsinformation, eingegeben von der Betriebsinformationserfassungseinheit 104 (Schritt ST24). Aus der Blickrichtung des Fahrers und der Gesichtsorientierung des Fahrers, eingegeben von der Gesichtsinformationserfassungseinheit 103, bestimmt die Fahrzustandsbestimmungseinheit 108, ob der Fahrer einen Bereich außerhalb des normalen visuellen Erkennungsbereichs visuell erkennen kann, welcher durch eine Korrektur im Schritt ST23 und im Schritt ST24 erhalten ist, für eine bestimmte Zeitperiode oder mehr (Schritt ST25).
Wenn der Bereich für eine bestimmte Zeitperiode oder mehr visuell erkannt ist (Schritt ST25; ja), bestimmt die Fahrzustandsbestimmungseinheit 108, dass der Fahrer zur Seite blickt, während dieser fährt (Schritt ST26). Die Fahrzustandsbestimmungseinheit 108 führt eine Verarbeitung zum Anweisen der Warnvorrichtung 200 aus, um das abgelenktes fahren zu warnen, beispielsweise (Schritt ST27) und kehrt zu der Verarbeitung von Schritt S 21 zurück. Im Gegensatz dazu, wenn der Bereich nicht für die bestimmte Zeitperiode oder mehr visuell erkannt ist (Schritt T 25; Nein), bestimmt die Fahrzustandsbestimmungseinheit 108, dass der Fahrer nicht zur Seite blickt, während dieser fährt (Schritt ST28), und kehrt zu der Verarbeitung von Schritt ST21 zurück.
Die Korrektur der Richtung des normalen visuellen Erkennungsbereichs im Schritt ST23 des oben beschriebenen Flussdiagramms aus 10 wird mit Bezug zu 11 beschrieben.
Die 11 sind Diagramme, welche ein Beispiel einer Korrektur des normalen visuellen Erkennungsbereichs durch die Fahrzustandsbestimmungseinheit 108 der Fahrzustandsbestimmungsvorrichtung 100 gemäß der ersten Ausführungsform darstellt.
11A stellt einen Fall dar, bei welchem die Richtung korrigiert ist, in welcher der in 9 an dargestellte normale visuelle Erkennungsbereich S nach links mit Bezug zu dem Fahrer X gerichtet ist, als einen normalen Bereich S a, wenn vorhergesagt ist, dass ein Fahrzeug Y nach links abbiegt. 11C stellt einen Fall dar, bei welchem die Richtung korrigiert ist, in welcher der in 9A dargestellte normale visuelle Erkennungsbereich S nach rechts mit Bezug zu dem Fahrer X gerichtet ist, als einen normalen visuellen Erkennungsbereich Sb, wenn vorhergesagt ist, dass das Fahrzeug Y nach rechts abbiegt. Es wird drauf hingewiesen, dass, wie in 11B dargestellt, wenn vorhergesagt ist, dass das Fahrzeug Y in der geraden Richtung fährt, eine Korrektur der Richtung des normalen visuellen Erkennungsbereichs S nicht ausgeführt wird.
Die Korrektur des Öffnungswinkels des normalen visuellen Erkennungsbereichs im Schritt ST24 des oben beschriebenen Flussdiagramms wird mit Bezug zu 12 beschrieben.
Die 12 sind Diagramme, welche ein Beispiel der Korrektur des normalen visuellen Erkennungsbereichs durch die Fahrzustandsbestimmungseinheit 108 der Fahrzustandsbestimmungsvorrichtung 100 gemäß der ersten Ausführungsform darstellt.
12 stellt eine Korrektur dar, bei welcher der Öffnungswinkel des in 9A dargestellten normalen visuellen Erkennungsbereichs S erweitert ist, um als ein normaler visuelle Erkennungsbereich Sc eingestellt zu sein, wenn das Fahrzeug Y mit einer niedrigen Geschwindigkeit gleich oder kleiner als ein unterer Grenzwert fährt. In 12B wird eine Korrektur ausgeführt, bei welcher der Öffnungswinkel des in Figur 9Ar dargestellten normalen visuellen Erkennungsbereichs S reduziert ist, um als ein normaler visuelle Erkennungsbereich Sb eingestellt zu sein, wenn das Fahrzeug Y mit einer hohen Geschwindigkeit gleich oder größer als ein oberer Grenzwert fährt. Es wird drauf hingewiesen, dass, wenn das Fahrzeug mit der Fahrzeuggeschwindigkeit innerhalb eines Schwellenwerts Bereichs fährt, wird die Korrektur des Öffnungswinkel des normalen visuellen Erkennungsbereichs S nicht ausgeführt.
Neben der in dem Flussdiagramm aus 10 dargestellten Ablenkungsfahrt Bestimmungsverarbeitung kann die Fahrzustandsbestimmungseinheit 108 eine Verarbeitung zum Bestimmen ausführen, ob der Fahrer eine Schlaffahrt ausführt oder nicht.
Wie oben beschrieben, gemäß der ersten Ausführungsform, sind umfasst: die Gesichtsmerkmalspunktdetektionseinheit 102 zum Detektieren aus dem Gesichtsbild des Fahrers, der Positionsinformation über die Merkmalspunkte des Gesichts des Fahrers als die Gesichtsmerkmalspunkten; die Gesichtsinformation-Detektionseinheit 103 zum Detektieren der den Zustand des Gesichts des Fahrers angebenden Gesichtsinformation aus den detektierten Gesichtsmerkmalspunkten; die Frequenzverteilungserzeugungseinheit 105 zum Bezugnehmen auf die detektierte Gesichtsinformation und, wenn die voreingestellte Veränderungen in dem Gesicht des Fahrers auftritt, zum Erzeugen der Frequenzverteilung der Gesichtsinformation in dem voreingestellten Zeitabschnitt und; die Moduswertberechnungseinheit 106 zum Berechnen des Moduswerts der Gesichtsinformation aus der erzeugten Frequenzverteilung; die Referenzwerte Berechnungseinheit 107 zum Berechnen des Referenzwerts, welche den stationären Zustand des Fahrers angibt, aus dem Moduswert der berechneten Gesichtsinformationen; und die Fahrzustandsbestimmungseinheit 108 zum Bestimmen des Fahrzustands des Fahrers durch Vergleichen des berechneten Referenzwerts mit der detektierten Gesichtsinformation, sodass der Referenzwert zum Bestimmen des Fahrzustands für jeden Fahrer berechnet werden kann, ohne den Fahrer zum Ausführen der voreingestellten Operation aufzufordern. Zusätzlich kann auf der Basis des Referenzwerts der normale visuelle Erkennungsbereich zum Bestimmen des Fahrzustands für jeden Fahrer eingestellt werden. Somit kann eine Verschlechterung in der Genauigkeit des Bestimmungsergebnisses des Fahrzustands aufgrund eines Einflusses von individuellen Unterschieden von Fahrern behoben werden.
Zusätzlich ist gemäß der ersten Ausführungsform die Betriebsinformationserfassungseinheit 104 zum Erfassen der Fahrzeugbetriebsinformation, welche den Betriebszustand des Fahrzeugs angibt, bei welchem der Fahrer einsteigt, umfasst und nimmt die Frequenzverteilungserzeugungseinheit 105 Bezug auf die erfasste Fahrzeugbetriebsinformation und, wenn die voreingestellte Fahrzeugoperation an dem Fahrzeug ausgeführt wird, die Frequenzverteilung derart erzeugt, dass der normale visuelle Erkennungsbereich zum Bestimmen des Fahrzustands für jeden Fahrer eingestellt werden kann, ohne dass der Fahrer zum Ausführen der voreingestellten Operation aufgefordert wird.
Zusätzlich detektiert gemäß der ersten Ausführungsform die Gesichtsinformation-Detektionseinheit ein Aufsetzen/Abnehmen des tragbaren Objekts an dem Gesicht des Fahrers als die Gesichtsinformation, sodass ein Bestimmen des Fahrzustands ebenso unter Berücksichtigung eines Verhaltens ausgeführt werden kann, welches vorhergesagt ist, nach dem Start des Fahrens zu schwanken.
Es wird darauf hingewiesen, dass die Referenzwerte Berechnungsverarbeitung und die Fahrzustandsbestimmungsverarbeitung, welche in der oben beschriebenen ersten Ausführungsform beschrieben sind, jeweils eine Verarbeitung sind, welche wiederholt ausgeführt wird, während das Fahrzeug fährt.
Zusätzlich wurde in der oben beschriebenen ersten Ausführungsform ein Fall beschrieben, bei welchem die Frequenzverteilung der Gesichtsinformation mit Bezug zu der durch die Gesichtsinformation-Detektionseinheit 103 detektierten Gesichtsinformation und der durch die Betriebsinformationserfassungseinheit 104 erfassten Betriebsinformation erzeugt ist; allerdings kann die Frequenzverteilungserzeugungseinheit 105 die Frequenzverteilung der Gesichtsinformation erzeugen, falls zumindest die durch Gesichtsinformation-Detektionseinheit 103 detektierte Gesichtsinformation referenziert werden kann. Dieser Punkt ist identisch in der nachstehenden zweiten Ausführungsform und der dritten Ausführungsform.
Zweite Ausführungsform.
In dieser zweiten Ausführungsform wird eine Konfiguration zum Ausführen einer Fahrer Gesichts Authentifikation beschrieben.
13 ist ein Blockdiagramm, welches eine Konfiguration einer Fahrzustandsbestimmungsvorrichtung 100A gemäß der zweiten Ausführungsform darstellt.
Die Fahrzustandsbestimmungsvorrichtung 100A gemäß der zweiten Ausführungsform weist eine Konfiguration auf, bei welcher eine Authentifikationsinformationsspeichereinheit 109 und eine Authentifikationseinheit 110 zu der Fahrzustandsbestimmungsvorrichtung 100 wird der in 1 dargestellten ersten Ausführungsform hinzugefügt sind. Zusätzlich sind anstelle der Frequenzverteilungserzeugungseinheit 105a der Referenzwertberechnungseinheit 107 eine Frequenzverteilungserzeugungseinheit 105a und eine Referenzwertberechnungseinheit 107a umfasst.
Nachfolgend werden dieselben Komponenten oder zugehörige Abschnitte zu denen der Fahrzustandsbestimmungsvorrichtung 100 gemäß der ersten Ausführungsform mit denselben Bezugszeichen bezeichnet, wie diese in der ersten Ausführungsform verwendet sind, und die Beschreibung davon wird ausgelassen oder vereinfacht.
Die Referenzwertberechnungseinheit 107a speichert den berechneten Referenzwerts durch die in der ersten Ausführungsform beschriebene Verarbeitung in der Authentifikationsinformationsspeichereinheit 109 in Verbindung mit einer Identifikationsinformation des Fahrers. Die Authentifikationsinformation Fahrers wird in die Referenzwertberechnungseinheit 107a über eine Eingabevorrichtung (nicht dargestellt) beispielsweise eingegeben.
Die Authentifikationsinformationsspeichereinheit 109 ist ein Bereich zum Speichern des durch die Referenzwertberechnungseinheit 107a in Verbindung mit der Identifikationsinformation des Fahrers berechneten Referenzwerts. Die Authentifikationsinformationsspeichereinheit 109 kann in der Fahrzustandsbestimmungsvorrichtung 100A umfasst sein, kann in einer anderen Board-Fahrzeugvorrichtung (nicht dargestellt) umfasst sein, welche in dem Fahrzeug angebracht ist, oder kann in einem externen Server (nicht dargestellt) umfasst sein.
Die Identifikationseinheit 110 gleicht die durch die Gesichtsinformation-Detektionseinheit 103 detektierte Gesichtsinformationen mit dem der Authentifikationsinformationsspeichereinheit 109 gespeicherten Referenzwert ab. Während Detektionseinheit 110 führt eine Authentifikation des Fahrers mit Bezug zu der Identifikationsinformation des Fahrers aus, welche mit dem die Gesichtsinformation übereinstimmenden Referenzwert verknüpft ist. Wenn die Authentifikation des Fahrers erfolgreich ist, weist die Authentifikationseinheit 110 die Fahrzustandsbestimmungseinheit 108 an, eine Bestimmung des Fahrzustands zu beginnen. Zusätzlich gibt die Authentifikationseinheit 110 eine Information aus, welche angibt, dass die Authentifikation des Fahrers erfolgreich ist, an eine Ausgabevorrichtung 400, welche beispielsweise einen Monitor oder einen Lautsprecher umfasst. Zusätzlich, wenn die Authentifikation des Fahrers nicht erfolgreich ist, gibt die Identifikationseinheit 110 eine Information aus, welche angibt, dass die Authentifikation nicht erfolgreich ist, beispielsweise an die Ausgabevorrichtung 400.
Die Fahrzustandsbestimmungseinheit 108 bestimmt den Fahrzustand des Fahrers durch Vergleichen des in der Authentifikationsinformationsspeichereinheit 109 gespeicherten Referenzwerts mit der Gesichtsinformation des Fahrers, eingegeben von der Gesichtsinformationsdetektionseinheit 103. Es wird drauf hingewiesen, dass die Fahrzustandsbestimmungseinheit 108 den Fahrzustand des Fahrers durch Vergleichen des von der Referenzwertberechnungseinheit 107a eingegebenen Referenzwerts mit der von der Gesichtsinformationsdetektionseinheit 103 eingegebenen Gesichtsinformation des Fahrers wie in der ersten Ausführungsform bestimmen kann. Die Fahrzustandsbestimmungsverarbeitung durch die Fahrzustandsbestimmungseinheit 108 ist ähnlich zu der der ersten Ausführungsform.
Die Frequenzverteilungserzeugungseinheit 105a aktualisiert den in der Authentifikationsinformationsspeichereinheit 109 gespeicherten Referenzwert durch Verwenden eine zeitliche Veränderung der durch die in der ersten Ausführungsform beschriebenen Verarbeitung berechneten Gesichtsinformation.
Die Frequenzverteilungserzeugungseinheit 105a berechnet die zeitliche Veränderung der Gesichtsinformation mit einem Aufsetzen/Abnehmen des tragbaren Objekts an dem Gesicht des Fahrers als einen Auslöser und aktualisiert den in der Authentifikationsinformationsspeichereinheit 109 gespeicherten Referenzwert, wie in der ersten Ausführungsform beschrieben. Es ist geeignet, dass die Authentifikationsinformationsspeichereinheit 109 den Referenzwert in Abhängigkeit von dem Typ des tragbaren Objekts an dem Gesicht klassifiziert und speichert, beispielsweise eine Brille, eine Sonnenbrille, eine Maske und etwas Ähnliches. Zusätzlich zu einem Zeitpunkt, wenn das tragbare Objekt an dem Gesicht entfernt wird, kann die Frequenzverteilungserzeugungseinheit 105a den in der Authentifikationsinformationsspeichereinheit 109 gespeicherten Referenzwert aktualisieren, um die Gesichtsinformation zu Interpolieren, durch selektives Aktualisieren von fehlender Gesichtsinformation.
ähnlich berechnet die Frequenzverteilungserzeugungseinheit 105a die zeitliche Änderung der Gesichtsinformation mit einem Auftreten eines Kontrasts in einem Teilbereich des Gesichts des Fahrers als einen Auslöser und aktualisiert den in der Authentifikationsinformationsspeichereinheit 109 gespeicherten Referenzwert, wie in der ersten Ausführungsform beschrieben.
Als Nächstes wird ein Hardwarekonfigurationsbeispiel der Fahrzustandsbestimmungsvorrichtung 100b beschrieben. Es wird drauf hingewiesen, dass die Beschreibung derselben Konfiguration wie der der ersten Ausführungsform ausgelassen wird.
Die Frequenzverteilungserzeugungseinheit 105a, die Referenzwertberechnungseinheit 107a und die Authentifikationseinheit 110 in der Fahrzustandsbestimmungsvorrichtung 100A sind die in Figur 2Ar dargestellten Verarbeitungsschaltkreis 100a oder der Prozessor 100b zum Ausführen eines in dem Speicher 100c gespeicherten Programms, was in 2B dargestellt ist.
Als Nächstes wird ein Betrieb der Authentifikation des Fahrers durch die Fahrzustandsbestimmungsvorrichtung 100A beschrieben.
14 ist ein Flussdiagramm, welches einen Betrieb der Authentifikationseinheit 110 der Fahrzustandsbestimmungsvorrichtung 100A gemäß der zweiten Ausführungsform darstellt. Der Betrieb der Authentifikation des Fahrers, was in 14 dargestellt ist, wird ausgeführt, wenn der Fahrer in das Fahrzeug einsteigt, beispielsweise wenn der Fahrer sich auf den Fahrersitz sitzt.
Wenn die Gesichtsinformation von der Gesichtsinformation-Detektionseinheit 103 eingegeben wird (Schritt ST31), gleicht die Authentifikationseinheit 110 die eingegebene Gesichtsinformation mit dem in der Authentifikationsinformationsspeichereinheit 109 gespeicherten Referenzwert ab (Schritt ST32). Die Authentifikationseinheit 110 bestimmt, ob die Authentifikation des Fahrers erfolgreich ist, mit Bezug zu einem Abgleichsergebnis (Schritt ST33). Wenn die Authentifikation des Fahrers erfolgreich ist (Schritt ST33; Ja), weist die Authentifikationseinheit 110 die Fahrzustandsbestimmungseinheit 108 dazu an, eine Bestimmung des Fahrzustands zu beginnen (Schritt ST34). Zusätzlich gibt die Authentifikationseinheit 110 eine Information aus, welche angibt das die Authentifikation des Fahrers erfolgreich ist, an die Ausgabevorrichtung 400 (Schritt ST35), und die Verarbeitung wird beendet.
im Gegensatz dazu, wenn die Authentifikation des Fahrers nicht erfolgreich ist (Schritt ST 33; Nein), gibt die Authentifikationseinheit 110 eine Information aus, welche angibt, dass die Authentifikation des Fahrers nicht erfolgreich ist, an die Ausgabevorrichtung 400 (Schritt ST36). Danach kehrt die Verarbeitung des Flussdiagramms zu der Verarbeitung im Schritt ST31 zurück und die oben beschriebene Verarbeitung wird wiederholt.
Wie oben beschrieben sind gemäß der zweiten Ausführungsform die Authentifikationsinformationsspeichereinheit 109, bei welchem der durch die Referenzwertberechnungseinheit 107a berechnete Referenzwert in Verbindung mit der Authentifikationsinformation des Vaters gespeichert ist, und die Authentifikationseinheit 110 zum Ausführen einer Authentifikation des Fahrers durch abgleichen der erfassten Gesichtsinformation mit dem gespeicherten Referenzwert umfasst, sodass die Authentifikation des Fahrers auf der Basis des für jeden Fahrer berechneten Referenzwerts ausgeführt werden kann. Somit kann eine Verminderung in der Genauigkeit eines Authentifikation Ergebnisses aufgrund eines Einflusses von individuellen Unterschieden von Fahrern behoben werden.
Zusätzlich wird gemäß der zweiten Ausführungsform, wenn die Gesichtsinformationsdetektionseinheit 103, als die Gesichtsinformation, ein Aufsetzen/Abnehmen des tragbaren Objekts an dem Gesicht des Fahrers oder die Fehlstellung des tragbaren Objekts oder ein Auftreten eines Kontrast an dem Gesicht des Fahrers detektiert, wird der in der Autonavigation Informationsspeichereinheit 109 gespeicherten Referenzwert auf der Basis der berechneten Veränderungen in den Merkmalspunkte des Gesichts des Fahrers aktualisiert, sodass der Fahrer unter Berücksichtigung eines Aufsetzen/Abnehmen des tragbaren Objekts in dem Gesicht des Fahrers, einer Sitzhaltung des Fahrers, einem Einfluss von externem Licht oder etwas Ähnlichem, was vorhergesagt ist, zu schwanken nach dem Start eines Fahrens, authentifiziert werden kann.
Zusätzlich bestimmt die Fahrzustandsbestimmungseinheit den Fahrzustand des Fahrers durch Vergleichen des in der Authentifikationsinformationsspeichereinheit 109 gespeicherten Referenzwerts, wenn die Authentifikationseinheit die Authentifikation des Fahrers abschließt, mit der durch die Gesichtsinformationsdetektionseinheit 103 detektierten Gesichtsinformation, sodass der Fahrzustand unter Berücksichtigung eines Anbringens/absetzten des tragbaren Objekts in dem Gesicht des Fahrers, einer Sitzhaltung des Fahrers, einem Einfluss von externem Licht oder etwas Ähnlichem, was nach dem Start eines Verfahrens zu schwanken vorhergesagt ist, bestimmt werden kann.
Dritte Ausführungsform.
In dieser dritten Ausführungsform wird eine Konfiguration beschrieben, bei welcher eine zeitliche Änderung der Gesichtsinformation für jeden Fahrer zusammen mit einer Information um das Fahrzeug gespeichert wird und eine Authentifikation des Vaters ausgeführt wird.
15 ist ein Blockdiagramm, welches eine Konfiguration einer Fahrzustandsbestimmungsvorrichtung 100B gemäß der dritten Ausführungsform darstellt.
Die Fahrzustandsbestimmungsvorrichtung 100B gemäß der dritten Ausführungsform weist eine Konfiguration auf, bei welcher eine Peripherinformationserfassungseinheit 111 zu der Fahrzustandsbestimmungsvorrichtung 100A der zweiten Ausführungsform, dargestellt in 13, hinzugefügt ist. Zusätzlich sind anstelle der Referenzwertberechnungseinheit 107 a, der Fahrzustandsbestimmungseinheit 108, der Authentifikationsinformationsspeichereinheit 109 und der Authentifikationseinheit 110 eine Referenzwertberechnungseinheit 107B, eine Fahrzustandsbestimmungseinheit 108A, eine Authentifikationsinformationsspeichereinheit 109A und eine Authentifikationseinheit 110A umfasst.
Nachfolgend werden dieselben Komponenten oder zugehörige Abschnitte wie die der Fahrzustandsbestimmungsvorrichtung 100A gemäß der zweiten Ausführungsform mit denselben Bezugszeichen bezeichnet, wie diejenigen die in der zweiten Ausführungsform verwendet sind, und die Beschreibung davon wird ausgelassen oder vereinfacht.
Die Peripherinformationserfassungseinheit 111 erfasst eine aktuelle Wetterinformation, eine Datum und Zeitinformation, eine Verkehrsinformation (nachfolgend als eine „Fahrzeugperipherieinformation“ bezeichnet), welche von einer externen Vorrichtung (nicht dargestellt) eingegeben ist, und die Peripherinformationserfassungseinheit 111 gibt die erfasste Fahrzeugperipherieinformation an die Referenzwertberechnungseinheit 107 b, die Fahrzustandsbestimmungseinheit 108a und die aus Detektionseinheit 110a aus. Die Referenzwertberechnungseinheit 107b speichert den berechneten Referenzwert in der Authentifikationsinformationsspeichereinheit 109a in Verbindung mit der Identifikationsinformation des Fahrers und der Fahrzeugperipherieinformation, wenn der Referenzwert berechnet wird. Die authentifizierte und Informationsspeichereinheit 109a ist ein Bereich zum Speichern des durch die Referenzwertberechnungseinheit 107b berechneten Referenzwerts, der Identifikationsinformation des Fahrers und der Fahrzeugperipherieinformation in Verbindung miteinander.
Die Authentifikationseinheit 110a erfasst eine aktuelle Fahrzeugperipherieinformation, welche von der Peripherinformationserfassungseinheit 111 eingegeben ist. Der Detektionseinheit 110a gleich dem Referenzwert, mit welchem die abgestimmte Fahrzeugperipherieinformation oder etwas Ähnliches mit der erfassten Fahrzeugperipherinformation verknüpft ist, mit der durch die Gesichtsinformationsdetektionseinheit 103 detektierten Gesichtsinformation ab. Die Authentifikationseinheit 110a führt eine Authentifikation des Fahrers mit Bezug zu der Identifikationsinformation des Fahrers, verknüpft mit dem Referenzwert, welcher mit der Gesichtsinformation abgestimmt ist. Wenn die Authentifikation des Fahrers erfolgreich ist, wie in der zweiten Ausführungsform, weist die Authentifikationseinheit 110a die Fahrzustandsbestimmungseinheit 108a an, eine Bestimmung des Fahrzustands zu beginnen, und gibt die Information aus, welche angibt, dass die Authentifikation des Fahrers erfolgreich ist, an die Ausgabevorrichtung 400. Zusätzlich, wenn die Authentifikation des Fahrers nicht erfolgreich ist, gibt die Authentifikationseinheit 110a eine Information aus, welche angibt, dass die Authentifikation nicht erfolgreich ist, beispielsweise an die Ausgabevorrichtung 400.
Die Authentifikationsinformationsspeichereinheit 109a gespeicherten Referenzwert in Verbindung mit der aktuellen Wetterinformation und der Datums und Zeitinformation, wodurch eine Authentifikation ausgeführt werden kann, in der Authentifikationseinheit 110 a, unter Berücksichtigung einer Änderung in einer Beleuchtung, welche in einem aufgenommenen Bild des Fahrers auftritt, aufgrund des Wetters oder dem Datum und der Zeit.
Zusätzlich speichert die Authentifikationsinformationsspeichereinheit 109a den Referenzwert in Verbindung mit der Verkehrsinformation, wodurch eine Authentifikation ausgeführt werden kann, in der Authentifikationseinheit 110 a, unter Berücksichtigung von Veränderungen in einem Gesichtsausdruck oder etwas Ähnlichem, welche in dem aufgenommenen Bild des Fahrers aufgrund eines Straßenstaub Grads auftreten können.
Die Fahrzustandsbestimmungseinheit 108a bestimmt den Fahrzustand des Vaters durch Vergleichen des mit der abgestimmten Fahrzeugperipherieinformation verknüpften Referenzwerts oder etwas Ähnlichem, mit der erfassten Fahrzeugperipherieinformation, mit der Gesichtsinformation des Fahrers, eingegeben von der Gesichtsinformationsdetektionseinheit 103. Die Fahrzustandsbestimmungseinheit 108a bestimmt den Fahrzustand unter Verwendung des Referenzwerts unter Berücksichtigung der von der Peripherinformationserfassungseinheit 111 eingegebenen Fahrzeugperipherieinformation, wodurch ermöglicht wird, dass der Fahrzustand unter Berücksichtigung der Veränderung des Lichts oder der Veränderung in dem Gesichtsausdruck, welche in dem aufgenommenen Bild des Fahrers auftreten, bestimmt werden kann.
Es wird darauf hingewiesen, dass die Fahrzustandsbestimmungseinheit 108a den Fahrzustand war das Durchvergleichen des von der Referenzwertberechnungseinheit 107b eingegebenen Referenzwerts mit der von der Gesichtsinformationsdetektionseinheit 103 eingegebenen Gesichtsinformation des Fahrers, wie in der ersten Ausführungsform.
Als Nächstes wird ein Hardwarekonfigurationsbeispiel der Fahrzustandsbestimmungsvorrichtung 100B beschrieben. Es wird drauf hingewiesen, dass die Beschreibung derselben Konfiguration wie der der ersten Ausführungsform ausgelassen wird.
Die Referenzwertberechnungseinheit 107b, die Fahrzustandsbestimmungseinheit 108a, die Authentifikationseinheit 110a und die Peripherinformationserfassungseinheit 111 in der Fahrzustandsbestimmungsvorrichtung 100B sind die in Figur 2Ar dargestellte Verarbeitungsschaltung 100a oder der Prozessor 100b zum Ausführen eines in dem Speicher 100c gespeicherten Programms, was in 2B dargestellt ist.
Als Nächstes wird ein Betrieb der Authentifikation des Fahrers durch die Fahrzustandsbestimmungsvorrichtung 100B beschrieben.
16 ist ein Flussdiagramm, welches eine Operation der Authentifikationseinheit 110a der Fahrzustandsbestimmungsvorrichtung 100B gemäß der dritten Ausführungsform darstellt. Der Betrieb der Authentifikation des Fahrers, dargestellt in 16, wird ausgeführt, wenn der Fahrer in das Fahrzeug einsteigt, beispielsweise wenn der Fahrer sich in den Fahrersitz sitzt. Es wird darauf hingewiesen, dass danach dieselben Schritte wie die der Fahrzustandsbestimmungsvorrichtung 100A gemäß der zweiten Ausführungsform mit denselben Bezugszeichen wie die, welche in 14 verwendet sind, bezeichnet sind und die Beschreibung davon ausgelassen oder vereinfacht wird.
Wenn die Gesichtsinformation von der Gesichtsinformationsdetektionseinheit 103 eingegeben ist (Schritt ST31), erfasst die Authentifikationseinheit 110a die Fahrzeugperipherieinformation von der Peripherinformationserfassungseinheit 111 (Schritt ST41). Die Authentifikationseinheit 110a vergleicht den mit der Fahrzeugperipherieinformation verknüpften Referenzwerts, welche zu der Fahrzeugperipherieinformation abgestimmt oder ähnlich ist, erfasst im Schritt ST41, aus in der Authentifikationsinformationsspeichereinheit 109 gespeicherten Referenzwerten, mit der eingegebenen Gesichtsinformation ab (Schritt ST42). Danach fährt die Verarbeitung mit dem Schritt ST33 fort.
Wie oben beschrieben, gemäß der dritten Ausführungsform ist die Peripherinformationserfassungseinheit 111 zum Erfassen einer Umgebungsinformation um das Fahrzeug umfasst und speichert die Authentifikation Informationsspeichereinheit 109a den durch die Referenzwertberechnungseinheit 107b berechneten Referenzwert in Verbindung mit der Identifikationsinformation des Fahrers und der erfassten Umgebungsinformation, sodass der Fahrer authentifizierte werden kann und der Fahrzustand bestimmt werden kann, unter Berücksichtigung der Umgebung um das Fahrzeug. Somit kann eine Verminderung in der Genauigkeit eines Authentifikation Ergebnisses aufgrund eines Einflusses der Umgebung um das Fahrzeug behoben werden.
Manche der in den oben beschriebenen ersten bis dritten Ausführungsformen beschriebenen Funktionen der Konfigurationen können durch eine mit den Fahrzustandsbestimmungsvorrichtung 100, 100A und 100B verbundene Servervorrichtung ausgeführt werden. Zusätzlich können manche der Funktionen der Konfigurationen der Fahrzustandsbestimmungsvorrichtung 100, 100A und 100B, welche in den oben beschriebenen ersten bis dritten Ausführungsformen beschrieben sind, durch ein mobiles Endgerät wie beispielsweise ein Smartphone eines Insassen ausgeführt werden.
Nächsten dem obigen ist in der vorliegenden Erfindung innerhalb des Schutzbereichs der Erfindung eine freie Kombination einer jeden Ausführungsformen, eine Modifikation einer beliebigen Komponente einer jeden Ausführungsformen oder ein auslassen einer beliebigen Komponente einer jeden Ausführungsform möglich.
Industrielle Anwendbarkeit
Die Fahrzustandsbestimmungsvorrichtung gemäß der vorliegenden Erfindung ist dazu geeignet, in einem Fahrerüberwachungssystem oder etwas Ähnlichem verwendet zu werden, in welchem eine Verbesserung einer Bestimmungsgenauigkeit benötigt wird, und einem Bestimmen des Fahrzustand oder etwas Ähnlichem auf der Basis des für jeden Fahrer eingestellten normalen Bereichs.
Bezugszeichenliste

100, 100A, 100B: Fahrzustandsbestimmungsvorrichtung
101: Gesichtsbilderfassungseinheit
102: Gesichtsmerkmalspunktdetektionseinheit
103: Gesichtsinformationsdetektionseinheit
104: Betriebsinformationserfassungseinheit
105, 105a: Frequenzverteilungserzeugungseinheit
106: Moduswertberechnungseinheit
107, 107a, 107b: Referenzwertberechnungseinheit
108, 108a: Fahrzustandsbestimmungseinheit
109, 109a: Authentifikationsinformationsspeichereinheit
110, 110a: Authentifikationseinheit
111: Peripherinformationserfassungseinheit

Claims

Eine Fahrzustandsbestimmungsvorrichtung, umfassend: eine Gesichtsmerkmalspunktdetektionseinheit zum Detektieren, aus einem Gesichtsbild eines Fahrers, einer Positionsinformation über Merkmalspunkte des Gesichts des Fahrers als Gesichtsmerkmalspunkte; eine Gesichtsinformationsdetektionseinheit zum Detektieren einer Gesichtsinformation, welche einen Zustand des Gesichts des Fahrers angibt, aus den durch die Gesichtsmerkmalspunktdetektionseinheit detektierten Gesichtsmerkmalspunkten; eine Frequenzverteilungserzeugungseinheit zum Bezugnehmen auf die durch die Gesichtsinformationsdetektionseinheit detektierte Gesichtsinformation und, wenn eine voreingestellte Veränderung in dem Gesicht des Fahrers auftritt, zum Erzeugen einer Frequenzverteilung der Gesichtsinformation in einem voreingestellten Zeitabschnitt aus der durch die Gesichtsinformationsdetektionseinheit detektierten Gesichtsinformation; einem Moduswertberechnungseinheit zum Berechnen eines Moduswerts der Gesichtsinformation aus der durch die Frequenzverteilungserzeugungseinheit erzeugten Frequenzverteilung; eine Referenzwertberechnungseinheit zum Berechnen eines Referenzwerts, welcher einen stationären Zustand des Fahrers angibt, aus dem durch die Moduswertberechnungseinheit berechneten Moduswert der Gesichtsinformation; und eine Fahrzustandsbestimmungseinheit zum Bestimmen eines Fahrzustands des Fahrers durch Vergleichen des durch die Referenzwertberechnungseinheit berechneten Referenzwerts mit der durch die Gesichtsinformationsdetektionseinheit detektierten Gesichtsinformation.
Fahrzustandsbestimmungsvorrichtung gemäß Anspruch 1, umfassend eine Betriebsinformationserfassungseinheit zum Erfassen einer Fahrzeugbetriebsinformation, welche einen Betriebszustand eines Fahrzeugs angibt, in welches der Fahrer einsteigt, wobei die Frequenzverteilungserzeugungseinheit auf die durch die Betriebsinformationserfassungseinheit erfasste Fahrzeugbetriebsinformation Bezug nimmt und, wenn eine voreingestellte Fahrzeugoperation an dem Fahrzeug ausgeführt wird, die Frequenzverteilung erzeugt.
Fahrzustandsbestimmungsvorrichtung gemäß Anspruch 1, wobei die Gesichtsinformationsdetektionseinheit, als die Gesichtsinformation, zumindest eine Information aus der Gruppe von einer Information, welche eine Positionsbeziehung zwischen den Gesichtsmerkmalspunkten angibt, einem Öffnungs/Schließzustand des Auges des Fahrers, einer Blickrichtung des Fahrers, einer Gesichtsorientierung des Fahrers, einer Abflachung des Auges des Fahrers, einem visuellen Erkennungsbereich des Fahrers und einer visuellen Erkennungszone des Fahrers detektiert.
Fahrzustandsbestimmungsvorrichtung gemäß Anspruch 1, wobei die Gesichtsinformationsdetektionseinheit eine Position eines Gesichtsbereichs des Fahrers aus dem durch die Gesichtsmerkmalspunktdetektionseinheit detektierten Gesichtsmerkmalspunkten detektiert und die Frequenzverteilungserzeugungseinheit die Frequenzverteilung erzeugt, wenn die Position des Gesichtsbereichs innerhalb eines effektiven Gesichtspositionsbereichs ist, welcher als ein Bereich eingestellt ist, bei welchem der Gesichtsbereich positioniert ist, wenn der Fahrer sitzt.
Fahrzustandsbestimmungsvorrichtung gemäß Anspruch 1, wobei die Frequenzverteilungserzeugungseinheit die Frequenzverteilung erzeugt, wenn eine Differenz zwischen der durch die Gesichtsinformationsdetektionseinheit detektierten Gesichtsinformation zu einem bestimmten Zeitpunkt und der Gesichtsinformation, welche zu einem unmittelbar vor dem bestimmten Zeitpunkt vorhergehenden Zeitpunkt detektiert ist, innerhalb eines bestimmten Bereichs ist.
Fahrzustandsbestimmungsvorrichtung gemäß Anspruch 1, wobei die Frequenzverteilungserzeugungseinheit die Frequenzverteilung erzeugt, wenn die Gesichtsinformationsdetektionseinheit ein Aufsetzen/Abnehmen eines tragbaren Objekts in dem Gesicht des Fahrers oder eine Fehlausrichtung des tragbaren Objekts detektiert.
Fahrzustandsbestimmungsvorrichtung gemäß Anspruch 1, wobei die Frequenzverteilungserzeugungseinheit die Frequenzverteilung erzeugt, wenn die Gesichtsinformationsdetektionseinheit ein Auftreten eines Kontrasts des Gesichts des Fahrers detektiert.
Fahrzustandsbestimmungsvorrichtung gemäß Anspruch 2, wobei die Frequenzverteilungserzeugungseinheit die Frequenzverteilung erzeugt, wenn die Betriebsinformationserfassungseinheit eine Information erfasst, welche zumindest einen aus der Gruppe von einer Öffnung/Schließoperation einer Tür des Fahrzeugs, eine Anlegen/Löseoperation eines Sicherheitsgurts des Fahrzeugs, ein hinsetzen auf einem Sitz des Fahrzeugs, eine Veränderungsoperation an einer Sitzposition des Fahrzeugs und eine Schaltoperation eines Schalthebels des Fahrzeugs in eine Fahrposition angibt.
Fahrzustandsbestimmungsvorrichtung gemäß Anspruch 1, umfassend: eine Authentifikationsinformationsspeichereinheit, in welcher der durch die Referenzwertberechnungseinheit berechnete Referenzwert in Verbindung mit einer Identifikationsinformation des Fahrers gespeichert ist; und eine Authentifikationseinheit zum Ausführen einer Authentifikation des Fahrers durch Abgleichen der durch die Gesichtsinformationsdetektionseinheit erfassten Gesichtsinformation mit dem in der Authentifikationsinformationsspeichereinheit gespeicherten Referenzwert.
Fahrzustandsbestimmungsvorrichtung gemäß Anspruch 9, wobei die Frequenzverteilungserzeugungseinheit den in der Authentifikationsinformationsspeichereinheit gespeicherten Referenzwert auf einer Basis von Veränderungen in den berechneten Merkmalspunkten des Gesichts des Fahrers aktualisiert, wenn die Gesichtsinformationsdetektionseinheit, als die Gesichtsinformation ein Aufsetzen/Abnehmen eines tragbaren Objekts in dem Gesicht des Fahrers oder eine Fehlausrichtung des tragbaren Objekts oder ein Auftreten eines Kontrasts des Gesichts des Fahrers detektiert.
Fahrzustandsbestimmungsvorrichtung gemäß Anspruch 9, wobei die Fahrzustandsbestimmungseinheit den Fahrzustand des Fahrers durch Vergleichen des in der Authentifikationsinformationsspeichereinheit gespeicherten Referenzwerts in einem Fall bestimmt, bei welchem die Identifikationseinheit eine Authentifikation des Fahrers abschließt, mit der durch die Gesichtsinformation-Detektionseinheit detektierten Gesichtsinformation.
Fahrzustandsbestimmungsvorrichtung gemäß Anspruch 9, umfassend eine Peripherinformationserfassungseinheit zum Erfassen einer Umgebungsinformation um ein Fahrzeug, in welches der Fahrer einsteigt, wobei die Authentifikationsinformationsspeichereinheit den durch die Referenzwertberechnungseinheit berechneten Referenzwert in Verbindung mit der Identifikationsinformation des Fahrers und der durch die Peripherinformationserfassungseinheit erfassten Umgebungsinformation speichert.
Fahrzustandsbestimmungsvorrichtung gemäß Anspruch 12, wobei die Peripherinformationserfassungseinheit zumindest eine Information aus der Gruppe von einer Wetterinformation, einer Datum und Zeitinformation und einer Verkehrsinformation um das Fahrzeug erfasst.
Ein Fahrzustandsbestimmungsverfahren, umfassend: Detektieren, durch eine Gesichtsmerkmalspunktdetektionseinheit, einer Positionsinformation über Merkmalspunkte eines Gesichts eines Fahrers als Gesichtsmerkmalspunkte von einem Gesichtsbild des Fahrers; Detektieren, durch eine Gesichtsinformation-Detektionseinheit, eine Gesichtsinformation, welche einen Zustand des Gesichts des Fahrers angibt, aus den Gesichtsmerkmalspunkten; Bezugnehmen auf, durch eine Frequenzverteilungserzeugungseinheit, die Gesichtsinformation und, wenn eine voreingestellte Veränderung in dem Gesicht des Fahrers auftritt, Erzeugen einer Frequenzverteilung der Gesichtsinformation in einem voreingestellten Zeitabschnitt aus der Gesichtsinformation; Berechnen, durch eine Moduswertberechnungseinheit eines Moduswerts der Gesichtsinformation aus der Frequenzverteilung; Berechnen, durch eine Referenzwertberechnungseinheit, eines Referenzwerts, welcher einen stationären Zustand des Fahrers angibt, aus dem Moduswert der Gesichtsinformation; und Bestimmen, durch eine Fahrzustandsbestimmungseinheit, eines Fahrzustands des Fahrers durch Vergleichen des Referenzwerts mit der Gesichtsinformation.