-
Technisches Gebiet
-
Die vorliegende Erfindung betrifft ein Fahrerzustandserkennungssystem.
-
Stand der Technik
-
Eine in einem Fahrzeug montierte Vorrichtung, die eine Bilderfassungseinrichtung verwendet, um einen Zustand eines Fahrers des Fahrzeugs zu erkennen, ist aus der Vergangenheit bekannt. Beispielsweise beschreibt die PLT 1, dass eine Gesichtsrichtung bzw. -ausrichtung des Fahrers und eine Winkelgeschwindigkeit der Gesichtsrichtung anhand eines Bildes des Fahrers berechnet werden, das durch die Bilderfassungseinrichtung aufgenommen wird, und dass, wenn die Gesichtsrichtung des Fahrers außerhalb eines Bildaufnahmebereichs der Bilderfassungseinrichtung liegt, die Gesichtsrichtung basierend auf der Winkelgeschwindigkeit der Gesichtsrichtung geschätzt wird.
-
Literaturliste
-
Patentliteratur
-
PLT 1: japanische Patentanmeldung
JP 2016-057839 A -
Kurzfassung der Erfindung
-
Technisches Problem
-
Selbst wenn die Gesichtsrichtung bzw. -ausrichtung des Fahrers in dem Bildaufnahmebereich der Bilderfassungseinrichtung liegt, kann jedoch manchmal ein Teil der Gesichtsteile bzw. Gesichtspartien des Fahrers in dem Gesichtsbild des Fahrers verdeckt sein, so dass die Genauigkeit der Erkennung des Fahrerzustands abnimmt. Wenn sich beispielsweise ein Lenkrad zwischen der Bilderfassungseinrichtung und dem Fahrer befindet, werden, wenn der Drehbetrag des Lenkrads größer wird, Gesichtsteile bzw. Gesichtspartien des Fahrers hinter Speichenteilen etc. des Lenkrads verborgen. Zudem können manchmal Gesichtspartien des Fahrers durch Hände oder Arme etc. des Fahrers verdeckt sein.
-
Daher ist es eine Aufgabe der vorliegenden Erfindung, ein Fahrerzustandserkennungssystem zu schaffen, das einen Abfall der Genauigkeit der Erkennung des Fahrerzustands aufgrund der Tatsache, dass ein Teil der Gesichtspartien des Fahrers in dem Gesichtsbild des Fahrers verdeckt ist, verhindern kann.
-
Lösung für das Problem
-
Die vorliegende Erfindung kann wie folgt zusammengefasst werden.
- (1) Ein Fahrerzustandserkennungssystem, aufweisend: eine Fahrerüberwachungskamera, die ein Gesicht eines Fahrers eines Fahrzeugs aufnimmt und ein Gesichtsbild des Fahrers erzeugt, sowie einen Fahrerzustandserkennungsteil, der ausgestaltet ist, um einen Zustand des Fahrers basierend auf dem Gesichtsbild zu erkennen, wobei der Fahrerzustandserkennungsteil ausgestaltet ist, um, wenn ein Teil von Gesichtspartien des Fahrers in dem Gesichtsbild verdeckt ist, einen Zustand des Fahrers basierend auf den Gesichtspartien des Fahrers, die in dem Gesichtsbild nicht verdeckt sind, zu erkennen, wobei die Gesichtspartien des Fahrers Mund, Nase, rechtes Auge und linkes Auge des Fahrers sind.
- (2) Fahrerzustandserkennungssystem wie vorstehend unter (1) beschrieben, wobei der Zustand des Fahrers eine Gesichtsrichtung bzw. -ausrichtung des Fahrers ist.
- (3) Fahrerzustandserkennungssystem wie vorstehend unter (2) beschrieben, wobei der Fahrerzustandserkennungsteil ausgestaltet ist, um, wenn ein Teil von Gesichtspartien des Fahrers in dem Gesichtsbild verdeckt ist, die Gesichtsrichtung des Fahrers basierend auf den Gesichtspartien des Fahrers, die in dem Gesichtsbild nicht verdeckt sind, und dem Gesichtsbild, bevor ein Teil der Gesichtspartien des Fahrers verdeckt ist, zu erkennen.
- (4) Fahrerzustandserkennungssystem wie vorstehend unter (3) beschrieben, wobei der Fahrerzustandserkennungsteil ausgestaltet ist, um zu bestimmen, dass sich die Gesichtsrichtung des Fahrers nicht seit dem Zeitpunkt, bevor ein Teil der Gesichtspartien des Fahrers verdeckt wurde, verändert hat, wenn ein Änderungsbetrag eines Zustand der Gesichtspartien des Fahrers, die in dem Gesichtsbild nicht verdeckt sind, ein Schwellenwert oder weniger ist, und um die Gesichtsrichtung des Fahrers nicht zu erkennen, wenn der Änderungsbetrag größer als der Schwellenwert ist.
- (5) Fahrerzustandserkennungssystem wie vorstehend unter (3) beschrieben, wobei der Fahrerzustandserkennungsteil ausgestaltet ist, um zu bestimmen, dass sich die Gesichtsrichtung des Fahrers nicht seit dem Zeitpunkt, bevor ein Teil der Gesichtspartien des Fahrers verdeckt wurde, verändert hat, wenn ein Änderungsbetrag einer Position und Größe der Gesichtspartien des Fahrers, die in dem Gesichtsbild nicht verdeckt sind, ein Schwellenwert oder weniger ist, und um die Gesichtsrichtung des Fahrers nicht zu erkennen, wenn der Änderungsbetrag von zumindest einem von der Position und Größe größer als der Schwellenwert ist.
- (6) Fahrerzustandserkennungssystem wie vorstehend unter (2) bis (5) beschrieben, wobei der Fahrerzustandserkennungsteil ausgestaltet ist, um einen Abgleich des Gesichtsbilds mit Gesichtsformdaten durchzuführen, um die Gesichtsrichtung des Fahrers zu erkennen.
- (7) Fahrerzustandserkennungssystem wie vorstehend unter (6) beschrieben, wobei der Fahrerzustandserkennungsteil ausgestaltet ist, um einen Abgleich der Gesichtspartien in dem Gesichtsbild mit Gesichtspartien in den Gesichtsformdaten durchzuführen, um die Gesichtsrichtung des Fahrers zu erkennen.
- (8) Fahrerzustandserkennungssystem wie vorstehend unter (7) beschrieben, wobei der Fahrerzustandserkennungsteil ausgestaltet ist, um keinen Abgleich der Gesichtspartien des Fahrers, die in dem Gesichtsbild verdeckt sind, mit den Gesichtspartien in den Gesichtsformdaten durchzuführen, wenn ein Teil der Gesichtspartien des Fahrers in dem Gesichtsbild verdeckt ist.
-
Figurenliste
-
- 1 zeigt ein Blockschaubild der Konfiguration eines Fahrerzustandserkennungssystems gemäß einer ersten Ausführungsform der vorliegenden Erfindung;
- 2 zeigt eine Ansicht, die schematisch das Innere eines Fahrzeugs zeigt, in dem ein Fahrerzustandserkennungssystem montiert ist;
- 3 zeigt ein Flussdiagramm, das eine Steuerprozessroutine zur Erkennung eines Fahrerzustands bei der ersten Ausführungsform zeigt;
- 4 zeigt eine Ansicht, die schematisch Gesichtsformdaten zeigt, wenn eine Gesichtsrichtung bzw. -ausrichtung des Fahrers 0° ist;
- 5 zeigt eine Ansicht, die schematisch Gesichtsformdaten zeigt, wenn eine Gesichtsrichtung bzw. -ausrichtung des Fahrers 10° ist;
- 6 zeigt ein Gesichtsbild des Fahrers sowie Abgleichergebnisse des Gesichtsbilds und der Gesichtsformdaten, wenn die Gesichtsrichtung 10° ist; und
- 7 zeigt ein Flussdiagramm, das eine Steuerprozessroutine zur Erkennung eines Fahrerzustands bei einer zweiten Ausführungsform zeigt.
-
Beschreibung von Ausführungsformen
-
Nachfolgend werden Ausführungsformen der vorliegenden Erfindung Bezug nehmend auf die Zeichnungen beschrieben. Es sei angemerkt, dass in der nachfolgenden Erläuterung ähnliche Komponenten mit den gleichen Bezugszeichen versehen sind.
-
<Erste Ausführungsform>
-
Nachfolgend wird Bezug nehmend auf die 1 bis 6 eine erste Ausführungsform der vorliegenden Erfindung erläutert. 1 zeigt ein Blockschaubild, das die Konfiguration eines Fahrerzustandserkennungssystems gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt. Das Fahrerzustandserkennungssystem 1 ist an einem Fahrzeug montiert und erkennt den Zustand des Fahrers des Fahrzeugs. Das Fahrerzustandserkennungssystem 1 hat eine Fahrerüberwachungskamera 10 sowie eine elektronische Steuereinheit (ECU) 20.
-
2 ist eine Ansicht, die schematisch das Innere des Fahrzeugs zeigt, an welchem das Fahrerzustandserkennungssystem montiert ist. Die Fahrerüberwachungskamera 10 nimmt ein Gesicht des Fahrers des Fahrzeugs 80 auf, um ein Gesichtsbild des Fahrers zu erzeugen. Die Fahrerüberwachungskamera 10 ist im Fahrzeug angeordnet. Insbesondere ist die Fahrerüberwachungskamera 10, wie in 2 gezeigt ist, an der Oberseite einer Lenksäule 81 des Fahrzeugs 80 montiert. 2 zeigt einen Projektionsbereich der Fahrerüberwachungskamera 10 durch gestrichelte Linien. Es sei angemerkt, dass die Fahrerüberwachungskamera 10 an einem Armaturenbrett, einer Armaturenbrettabdeckung, etc. des Fahrerzeugs 80 montiert sein kann.
-
Die Fahrerüberwachungskamera 10 besteht aus einer Kamera und einem Projektor. Beispielsweise ist die Kamera eine CMOS-Kamera (Kamera mit sich ergänzendem Metall-Oxid-Halbleiter) oder eine CCD-Kamera (Kamera mit ladungsgekoppeltem Bauteil), während der Projektor eine LED (eine lichtimitierende Diode) ist. Um das Gesicht des Fahrers selbst während Zeiten niedriger Helligkeit, beispielsweise bei Nacht etc., aufnehmen zu können, ohne beim Fahrer ein Gefühl des Unbehagens hervorzurufen, ist der Projektor eine nahinfrarot-LED. Beispielsweise besteht der Projektor aus zwei nahinfrarot-LEDs, die an zwei Seiten der Kamera angeordnet sind. Die Kamera kann ferner einen Filter, beispielsweise einen Sperrfilter für sichtbares Licht, umfassen. Das Gesichtsbild des Fahrers, das durch die Fahrerüberwachungskamera 10 erzeugt wird, wird von der Fahrerüberwachungskamera 10 an die ECU 20 übertragen.
-
Die ECU 20 ist ein Mikrocomputer mit Komponenten, die miteinander durch bidirektionale Busse verbunden sind, beispielsweise einem Prozessor (CPU) einem Festspeicher (ROM) einem Arbeitsspeicher (RAM) einem Eingabeanschluss und einem Ausgabeanschluss. In der vorliegenden Ausführungsform, ist eine ECU 20 vorgesehen, wobei auch mehrere ECUs für verschieden Funktionen vorgesehen sein können. Die ECU 20 umfasst einen Fahrerzustandserkennungsteil 21, der den Zustand des Fahrers basierend auf dem Gesichtsbild des Fahrers, das durch die Fahrerüberwachungskamera 10 erzeugt wird, erkennt.
-
Wie in 2 gezeigt ist, befindet sich das Lenkrad 82 zwischen der Fahrerüberwachungskamera 10 und dem Fahrer. In diesem Fall nimmt die Fahrerüberwachungskamera 10 den Fahrer durch das Lenkrad 82 auf. Aus diesem Grund können, wenn der Lenkbetrag des Lenkrads 82, d. h. der Lenkwinkel des Lenkrads 82, größer wird, Speichen etc. des Lenkrads 82 die Aufnahme des Fahrers behindern.
-
Insbesondere werden, wenn das Lenkrad 82 aus Sicht des Fahrers nach rechts (im Uhrzeigersinn) gedreht wird, einhergehend mit der Zunahme des Lenkbetrags, Gesichtspartien des Fahrers durch das Lenkrad 82 in der Reihenfolge von Mund, Nase, linkes Auge und rechtes Auge verdeckt. Wenn dagegen das Lenkrad 82 aus Sicht des Fahrers nach links (gegen den Uhrzeigersinn) gedreht wird, werden, einhergehend mit der Zunahme des Lenkbetrags, die Gesichtspartien des Fahrers durch das Lenkrad 82 in der Reihenfolge Mund, Nase, rechtes Auge und linkes Auge verdeckt.
-
Manchmal verursacht auch eine Hand oder ein Arm etc. des Fahrers, dass Gesichtspartien des Fahrers verdeckt sind. Aus diesem Grund ist, selbst wenn die Gesichtsrichtung bzw. -ausrichtung des Fahrers im Bildaufnahmebereich der Fahrerüberwachungskamera 10 liegt, manchmal ein Teil der Gesichtspartien des Fahrers im Gesichtsbild des Fahrers verdeckt, und die Genauigkeit der Erkennung des Fahrerzustands nimmt ab.
-
Daher erfasst der Fahrerzustandserkennungsteil 21 bei der vorliegenden Ausführungsform, wenn ein Teil der Gesichtspartien des Fahrers (Mund, Nase, rechtes Auge und linkes Auge) im Gesichtsbild des Fahrers verdeckt ist, den Zustand des Fahrers basierend auf den Gesichtspartien des Fahrers, die im Gesichtsbild des Fahrers nicht verdeckt sind. Aufgrund dessen wird es möglich, selbst wenn ein Teil der Gesichtspartien des Fahrers im Gesichtsbild des Fahrers verdeckt ist, den Zustand des Fahrers zu erkennen. Es ist daher möglich, einen Abfall der Genauigkeit der Erkennung des Fahrerzustands aufgrund dessen, dass ein Teil der Gesichtspartien des Fahrers im Gesichtsbild des Fahrers verdeckt ist, zu verhindern.
-
Nachfolgend wird bezugnehmend auf das Flussdiagramm aus 3 eine Steuerung, die durch das Fahrerzustandserkennungssystem 1 ausgeführt wird, im Detail erläutert. 3 ist ein Flussdiagramm, das eine Steuerprozessroutine zur Erkennung des Zustands des Fahrers bei der ersten Ausführungsform zeigt. Die vorliegende Steuerroutine wird wiederholt durch die ECU 20 ausgeführt. In der vorliegenden Steuerroutine wird der Zustand des Fahrers des Fahrzeugs 80 erkannt.
-
Zunächst beschafft sich der Fahrerzustandserkennungsteil 21 in Schritt S101 das Gesichtsbild des Fahrers von der Fahrerüberwachungskamera 10. Das Gesichtsbild des Fahrers wird durch die Fahrerüberwachungskamera 10 erzeugt.
-
In Schritt S102 erkennt der Fahrerzustandserkennungsteil 21 dann die Gesichtspartien (Mund, Nase, rechtes Auge und linkes Auge) des Fahrers in dem Gesichtsbild des Fahrers, das in Schritt S101 beschafft wurde. Beispielsweise identifiziert der Fahrerzustandserkennungsteil 21 den Gesichtsbereich anhand des Gesichtsbilds des Fahrers und erkennt den Mund, die Nase, das rechte Auge und das linke Auge durch Extrahieren von Merkmalen des Mundes, der Nase, des rechten Auges und des linken Auges. Wenn die Merkmale der Gesichtspartien nicht extrahiert werden, werden die Gesichtspartien nicht erkannt.
-
Anschließend beurteilt der Fahrerzustandserkennungsteil 21 in Schritt S103, ob ein Teil der Gesichtspartien des Fahrers im Gesichtsbild des Fahrers verdeckt ist. Beispielsweise beurteilt der Fahrerzustandserkennungsteil 21, dass ein Teil der Gesichtspartien des Fahrers verdeckt ist, wenn es nicht möglich ist, einen Teil der Gesichtspartien des Fahrers zu erkennen.
-
Wenn in Schritt S103 bestimmt wird, dass kein Teil der Gesichtspartien verdeckt ist, fährt die Steuerroutine mit Schritt S104 fort. In Schritt S104 beurteilt der Fahrerzustandserkennungsteil 21, ob alle Gesichtspartien des Fahrers im Gesichtsbild des Fahrers verdeckt sind. Der Fahrerzustandserkennungsteil 21 beurteilt beispielsweise, dass alle Gesichtspartien des Fahrers verdeckt sind, wenn es nicht möglich ist, den Mund, die Nase, das rechte Auge und das linke Auge des Fahrers zu erkennen.
-
Wenn in Schritt S104 bestimmt wird, dass nicht alle Gesichtspartien verdeckt sind, fährt die Steuerroutine mit Schritt S105 fort. In Schritt S105 erkennt der Fahrerzustandserkennungsteil 21 den Fahrerzustand. Insbesondere erkennt der Fahrerzustandserkennungsteil 21 den Grad der Augenöffnung sowie die Gesichtsrichtung bzw. -ausrichtung des Fahrers. Der Fahrerzustandserkennungsteil 21 extrahiert beispielsweise Eigenschaften der oberen Augenlider und unteren Augenlider des rechten Auges und des linken Auges, um den Grad der Augenöffnung beider Augen zu erfassen.
-
Darüber hinaus erkennt der Fahrerzustandserkennungsteil 21 beispielsweise die Gesichtsrichtung des Fahrers anhand des nachfolgenden Verfahrens. Der Fahrerzustandserkennungsteil 21 erkennt die Gesichtsrichtung des Fahrers durch Abgleichen des Gesichtsbildes des Fahrers mit Gesichtsformdaten. Die Gesichtsformdaten sind beispielsweise 3D-Gesichtsformdaten. Der Fahrerzustandserkennungsteil 21 speichert vorab die Gesichtsformdaten, wenn der Fahrer nach vorne blickt, d. h. wenn die Gesichtsrichtung bzw. -ausrichtung des Fahrers 0° ist. Die Gesichtsformdaten können Daten der Gesichtsform einer Standardperson sein, oder können für jeden Fahrer bestimmt werden. Die Gesichtsformdaten werden beispielsweise im ROM oder RAM der ECU 20 gespeichert. Darüber hinaus erzeugt der Fahrerzustandserkennungsteil 21 Gesichtsformdaten, wenn sich die Gesichtsrichtung des Fahrers verändert, basierend auf den Gesichtsformdaten, wenn der Fahrer nach vorne blickt.
-
4 ist eine Ansicht, die schematisch die Gesichtsformdaten zeigt, wenn die Gesichtsrichtung des Fahrers 0° ist. 5, ist eine Ansicht, die schematisch die Gesichtsformdaten zeigt, wenn die Gesichtsrichtung des Fahrers 10° ist. Der Fahrerzustandserkennungsteil 21 gleicht die Gesichtspartien im Gesichtsbild des Fahrers und die Gesichtspartien in den Gesichtsformdaten ab und erkennt die Gesichtsrichtung der Gesichtsformdaten, wenn der Grad der Übereinstimmung der beiden maximal wird, als Gesichtsrichtung des Fahrers. Es sei angemerkt, dass der Fahrerzustandserkennungsteil 21 die Gesichtsrichtung des Fahrers anhand einer Positionsbeziehung des Gesichtsbereichs und der Gesichtspartien (Mund, Nase, rechtes Auge und linkes Auge) erkennen kann.
-
Nach Schritt S105 wird die vorliegende Steuerroutine beendet. Wenn dagegen in Schritt S104 bestimmt wird, dass alle Gesichtspartien verdeckt sind, wird die Steuerroutine beendet. In diesem Fall erkennt der Fahrerzustandserkennungsteil 21 den Fahrerzustand nicht.
-
Wenn ferner in Schritt S103 bestimmt wird, dass ein Teil der Gesichtspartien verdeckt ist, fährt die Steuerroutine mit Schritt S106 fort. In Schritt S106 erkennt der Fahrerzustandserkennungsteil 21 den Fahrerzustand basierend auf den Gesichtspartien des Fahrers, die im Gesichtsbild des Fahrers nicht verdeckt sind. Wenn beispielsweise Mund, Nase und rechtes Auge des Fahrers verdeckt sind, erkennt der Fahrerzustandserkennungsteil 21 den Grad der Augenöffnung und die Gesichtsrichtung des Fahrers basierend auf dem linken Auge des Fahrers. Insbesondere extrahiert der Fahrerzustandserkennungsteil 21 Merkmale des oberen Augenlids und des unteren Augenlids des linken Auges, um den Grad der Augenöffnung des linken Auges zu erkennen. Darüber hinaus gleicht der Fahrerzustandserkennungsteil 21 das linke Auge im Gesichtsbild des Fahrers mit dem linken Auge in den Gesichtsformdaten ab, und erkennt die Gesichtsrichtung der Gesichtsformdaten, wenn der Grad der Übereinstimmung der beiden maximal wird, als Gesichtsrichtung des Fahrers. Es sei angemerkt, dass, wenn beide Augen des Fahrers verdeckt sind, der Fahrerzustandserkennungsteil 21 den Grad der Augenöffnung des Fahrers nicht erkennt.
-
6 zeigt das Gesichtsbild des Fahrers und die Ergebnisse des Abgleichs des Gesichtsbilds und mit den Gesichtsformdaten, wenn die Gesichtsrichtung 10° ist. Bei dem in 6 gezeigten Gesichtsbild sind Mund, Nase und rechtes Auge des Fahrers durch das Lenkrad 82 verdeckt. In diesem Beispiel wird der Grad der Übereinstimmung des linken Auges, wenn die Gesichtsrichtung für die Gesichtsformdaten 10° ist, maximal. Aus diesem Grund wird die Gesichtsrichtung des Fahrers als 10° berechnet. Dagegen ist der Grad der Übereinstimmung von Mund, Nase und rechtem Auge kleiner als 50 %. Da jedoch Mund, Nase und rechtes Auge nicht für die Erkennung der Gesichtsrichtung des Fahrers verwendet werden, kann die Gesichtsrichtung des Fahrers erkannt werden. Das bedeutet, dass bei diesem Beispiel, obgleich der Grad der Übereinstimmung von Mund, Nase und rechtem Auge, die durch das Lenkrad 82 verdeckt sind, berechnet wird, der Grad der Übereinstimmung von diesen nicht berechnet werden braucht. Das bedeutet, der Fahrerzustandserkennungsteil 21 braucht keinen Abgleich der Gesichtspartien des Fahrers, die in dem Gesichtsbild des Fahrers verdeckt sind, mit den Gesichtspartien in den Gesichtsformdaten durchführen, wenn ein Teil der Gesichtspartien des Fahrers im Gesichtsbild des Fahrers verdeckt ist. Aufgrund dessen ist es möglich, die Rechenlast des Fahrerzustandserkennungsteils 21 zu verringern.
-
Nach Schritt S106 wird die vorliegende Steuerroutine beendet. Es sei angemerkt, dass in Schritt S103, der Fahrerzustandserkennungsteil 21 den Abgleich des Gesichtsbild des Fahrers mit den Gesichtsformdaten des Winkels einer jeden Gesichtsrichtung durchführen kann, und wenn der Grad der Übereinstimmung der Gesichtspartien bei allen Winkeln der Gesichtsrichtung kleiner als ein vorgegebener Wert ist, bestimmen kann, dass die Gesichtspartie verdeckt ist. Der vorgegeben Wert ist beispielsweise 50%.
-
Wenn ferner der erkannte Grad der Augenöffnung eines Auges des Fahrers ein vorgegebener Wert oder weniger ist, kann der Fahrerzustandserkennungsteil 21 bestimmen, dass der Fahrer einschläft und eine Warnung an den Fahrer ausgeben. In ähnlicher Weise kann der Fahrerzustandserkennungsteil 21, wenn die erfasste Gesichtsrichtung bzw. -ausrichtung des Fahrers außerhalb eines vorgegebenen Bereichs liegt, erkennen, dass der Fahrer zur Seit blickt und eine Warnung an den Fahrer ausgeben. Beispielsweise kann der Fahrerzustandserkennungsteil 21 eine Warnung an den Fahrer visuell oder akustisch durch eine Mensch-Maschinen-Schnittstelle (HMI) ausgeben, die im Fahrzeug 80 angeordnet ist. Die HMI ist eine Schnittstelle zum Eingeben und Ausgeben von Informationen zwischen dem Fahrer und dem Fahrzeug 80. Die HMI ist beispielsweise ein Display zur Anzeige von Text oder Bildinformationen, ein Lautsprecher zum Erzeugen eines Geräusches, Bedienknöpfe für den Fahrer zum Durchführen eines Eingabevorgangs, ein Touchpanel, ein Mikrofon etc.
-
<Zweite Ausführungsform>
-
Der Aufbau und die Steuerung des Fahrerzustandserkennungssystems gemäß der zweiten Ausführungsform sind im Wesentlich identisch zum Aufbau und zur Steuerung des Fahrerzustandserkennungssystem der ersten Ausführungsform, abgesehen von den nachfolgenden erläuterten Punkten. Aus diesem Grund wird nachfolgend die zweite Ausführungsform der vorliegenden Erfindung mit Fokus auf diejenigen Teile erläutert, die sich von der ersten Ausführungsform unterscheiden.
-
Wenn beispielsweise viele Gesichtspartien die in dem Gesichtsbild des Fahrers verdeckt sind, ist es schwierig, kleine Änderungen in der Gesichtsrichtung des Fahrers basierend auf den nicht verdeckten Gesichtspartien zu erkennen. Dagegen ist es möglich, die genaue Gesichtsrichtung des Fahrers zu erkennen, bevor die Gesichtspartien des Fahrers verdeckt werden. Aus diesem Grund erkennt der Fahrerzustandserkennungsteil 21 bei der zweiten Ausführungsform, wenn ein Teil der Gesichtspartien des Fahrers im Gesichtsbild des Fahrers verdeckt ist, die Gesichtsrichtung bzw. -ausrichtung des Fahrers basierend auf den Gesichtspartien des Fahrers, die im Gesichtsbild des Fahrers nicht verdeckt sind, und dem Gesichtsbild des Fahrers bevor ein Teil der Gesichtspartien des Fahrers verdeckt wird.
-
Wenn sich die Gesichtsrichtung des Fahrers nicht verändert, nachdem ein Teil der Gesichtspartien des Fahrers verdeckt wird, verändert sich die Position und Größe der Gesichtspartien, die im Gesichtsbild des Fahrers nicht verdeckt sind, nicht wesentlich. Aus diesem Grund beurteilt der Fahrerzustandserkennungsteil 21, wenn der Änderungsbetrag des Zustands der Gesichtspartien des Fahrers, die im Gesichtsbild des Fahrers nicht verdeckt sind, ein Schwellenwert oder weniger ist, dass sich die Gesichtsrichtung bzw. - ausrichtung des Fahrers nicht seit dem Zeitpunkt, bevor ein Teil der Gesichtspartien des Fahrers verdeckt wurde, verändert hat. Wenn dagegen der Grad der Änderung größer als der Schwellenwert ist, erkennt der Fahrerzustandserkennungsteil 21 die Gesichtsrichtung des Fahrers nicht. Der Zustand einer Gesichtspartie des Fahrers ist beispielsweise die Position oder Größe einer Gesichtspartie. Aufgrund der vorstehend beschriebenen Steuerung ist es möglich, einen Abfall der Genauigkeit der Erkennung der Gesichtsrichtung des Fahrers aufgrund dessen, dass ein Teil der Gesichtspartien des Fahrers im Gesichtsbild des Fahrers verdeckt wird, weiter zu verhindern.
-
Es sei angemerkt, dass der Zustand der Gesichtspartie des Fahrers die Position und Größe der Gesichtspartie sein kann. Wenn in diesem Fall der Änderungsbetrag einer Position und Größe einer Gesichtspartie des Fahrers, die im Gesichtsbild des Fahrers nicht verdeckt ist, ein Schwellenwert oder weniger ist, bestimmt der Fahrerzustandserkennungsteil 21, dass sich die Gesichtsrichtung bzw. -ausrichtung des Fahrers nicht seit dem Zeitpunkt, bevor ein Teil der Gesichtspartien des Fahrers verdeckt wurde, verändert hat. Demgegenüber erkennt der Fahrerzustandserkennungsteil 21 die Gesichtsrichtung des Fahrers nicht, wenn zumindest einer der Änderungsbeträge von Position und Größe der Gesichtspartie des Fahrers, die im Gesichtsbild des Fahrers nicht verdeckt ist, größer als der Schwellenwert ist.
-
7 ist ein Flussdiagramm, das eine Steuerprozessroutine zur Erkennung des Fahrerzustands gemäß der zweiten Ausführungsform zeigt. Die vorliegende Steuerroutine wird wiederholt durch die ECU 20 ausgeführt. In der vorliegenden Steuerroutine wird der Zustand des Fahrers des Fahrzeugs 80 erfasst. Die Schritte S201 bis S205 sind ähnlich zu den Schritten S101 bis S105 aus 3, sodass auf deren Erläuterung hier verzichtet wird.
-
Wenn in Schritt S203 bestimmt wird, dass ein Teil der Gesichtspartien verdeckt ist, fährt die Steuerroutine mit Schritt S206 fort. In Schritt S206 bestimmt der Fahrerzustandserkennungsteil 21, ob der Änderungsbetrag Pv einer Position einer Gesichtspartie des Fahrers, die im Gesichtsbild des Fahrers nicht verdeckt ist, ein Schwellenwert Pth oder weniger ist. Der Schwellenwert Pth wird vorab für jede Gesichtspartie experimentell oder anhand von Berechnungen bestimmt.
-
Wenn in Schritt S206 bestimmt wird, dass der Änderungsbetrag Pv der Schwellenwert Pth oder weniger ist, fährt die Steuerroutine mit Schritt S207 fort. In Schritt S207 bestimmt der Fahrerzustandserkennungsteil 21, ob der Änderungsbetrag Sv einer Größe einer Gesichtspartie des Fahrers, die im Gesichtsbild des Fahrers nicht verdeckt ist, der Schwellenwert Sth oder weniger ist. Der Schwellenwert Sth wird vorab für jede Gesichtspartie experimentell oder anhand von Berechnungen bestimmt.
-
Wenn in Schritt S207 bestimmt wird, dass der Änderungsbetrag Sv der Schwellenwert Sth oder weniger ist, fährt die Steuerroutine mit Schritt S208 fort. In Schritt S208 erkennt der Fahrerzustandserkennungsteil 21 den Fahrerzustand. Insbesondere erkennt der Fahrerzustandserkennungsteil 21 die Gesichtsrichtung des Fahrers, die erfasst wurde, bevor die Gesichtspartien des Fahrers verdeckt wurden, als augenblickliche Gesichtsrichtung des Fahrers. Das bedeutet, der Fahrerzustandserkennungsteil 21 erkennt die Gesichtsrichtung des Fahrers, die zuletzt in Schritt S205 erfasst wurde, als augenblickliche Gesichtsrichtung des Fahrers. In anderen Worten: Der Fahrerzustandserkennungsteil 21 bestimmt, dass sich die Gesichtsrichtung des Fahrers nicht seit dem Zeitpunkt verändert hat, bevor ein Teil der Gesichtspartien des Fahrers verdeckt wurde. Darüber hinaus erkennt der Fahrerzustandserkennungsteil 21 den Grad der Augenöffnung eines Auges des Fahrers basierend auf einem nicht verdeckten Auge, wenn zumindest eines der Augen des Fahrers nicht verdeckt ist. Nach Schritt S208 wird die vorliegende Steuerroutine beendet.
-
Wenn dagegen in Schritt S206 bestimmt wird, dass der Änderungsbetrag Pv größer als der Schwellenwert Pth ist, oder wenn in Schritt S207 bestimmt wird, dass der Änderungsbetrag Sv größer als der Schwellenwert Sth ist, wird die vorliegende Steuerroutine beendet. Es sei angemerkt, dass, wenn zumindest ein Auge des Fahrers nicht verdeckt ist, nach Schritt S206 oder nach Schritt S207 der Fahrerzustandserkennungsteil 21 den Grad der Augenöffnung eines Auges des Fahrers basierend auf einem nicht verdeckten Auge erkennen kann. Darüber hinaus kann bei der vorliegenden Steuerroutine Schritt S206 oder Schritt S207 weggelassen werden.
-
Vorstehend wurden bevorzugte Ausführungsformen der vorliegenden Erfindung erläutert, gleichwohl ist die Erfindung nicht auf diese Ausführungsformen beschränkt und kann auf verschiedene Art und Weise im Wortlaut der Ansprüche verändert werden. Darüber hinaus können die Ausführungsformen miteinander kombiniert werden.
-
Bezugszeichenliste
-
- 1
- Fahrerzustandserkennungssystem
- 10
- Fahrerüberwachungskamera
- 20
- elektronische Steuereinheit (ECU)
- 21
- Fahrerzustandserkennungsteil
- 80
- Fahrzeug
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
