DE112021007703T5

DE112021007703T5 - Insassenzustandsbeurteilungsvorrichtung, verfahren zum beurteilen des zustands eines insassen und insassenzustandsbeurteilungssystem

Info

Publication number: DE112021007703T5
Application number: DE112021007703.1T
Authority: DE
Inventors: Takaaki Nakamura; Taro Kumagai
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-08-12
Filing date: 2021-08-12
Publication date: 2024-03-14
Also published as: WO2023017595A1; JP7378681B2; JPWO2023017595A1

Abstract

Bereitgestellt sind eine Bilderlangungseinheit (11), die eine Bildaufnahme erlangt, in der das Gesicht eines Insassen (4) in einem Fahrzeug (30) durch eine im Fahrzeug bereitgestellte Bildaufnahmevorrichtung (2) aufgenommen wurde, eine Augenöffnungszustandsbeurteilungseinheit (12), die auf Grundlage der durch die Bilderlangungseinheit (11) erlangten Bildaufnahme einen Öffnungsgrad der Augen des Insassen (4) beurteilt, eine Blicklinienerfassungseinheit (13), die auf Grundlage der durch die Bilderlangungseinheit (11) erlangten Bildaufnahme eine Blicklinie des Insassen (4) erfasst, und eine Augenzustandsbeurteilungseinheit (16), die, wenn der durch die Augenöffnungsgradbeurteilungseinheit (12) beurteilte Augenöffnungsgrad einen ersten Schwellenwert unterschritten hat, urteilt, dass sich der Insasse (4) in einem Zustand mit niedergeschlagenen Augen befindet, sofern der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die durch die Blicklinienerfassungseinheit (13) erfasste Blickrichtung des Insassen (4) nach unten gerichtet hat, und urteilt, dass sich der Insasse (4) in einem Augenschließzustand befindet, wenn es nicht der Fall ist, dass der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die durch die Blicklinienerfassungseinheit (13) erfasste Blickrichtung des Insassen (4) nach unten gerichtet hat.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft eine Insassenzustandsbeurteilungsvorrichtung, die den Zustand eines Insassen eines Fahrzeugs beurteilt, ein Verfahren zum Beurteilen des Zustands des Insassen und ein Insassenzustandsbeurteilungssystem.
Allgemeiner Stand der Technik
Aus dem Stand der Technik ist eine Technik bekannt, mit der auf Grundlage von Bildaufnahmen, die von einem Insassen eines Fahrzeugs erstellt werden, ein Augenöffnungsgrad beurteilt wird, also wie weit die Augen des Insassen in der Bildaufnahme geöffnet sind, und auf Grundlage des Augenöffnungsgrads beurteilt wird, ob ein Augenöffnungszustand, in dem die Augen des Insassen geöffnet sind, oder ein Augenschließzustand, in dem die Augen geschlossen sind, vorliegt.
Allerdings ist auch eine Vorrichtung zum Erfassen von Fahren mit abgewendetem Blick bekannt, bei der auf Grundlage einer Sichtlinie, die aus einer Bildaufnahme einer Hilfskamera erlangt wird, die an einem bestimmten bordeigenen Element installiert ist, erfasst wird, dass der Blick eines Fahrers in Richtung des bordeigenen Elements gewandt ist, und durch Vergleichen mit einem Verfahren, bei dem die Erfassung auf Grundlage einer Sichtlinie erfolgt, die aus einer Bildaufnahme einer Hauptkamera erlangt wird, eine Beurteilung mit klarer Unterscheidung zwischen Fahren mit abgewendetem Blick und keinem solchen Verhalten erfolgt (siehe beispielsweise Patentdokument 1).
Dokumente des Stands der Technik
Patentdokumente
Patentdokument 1 JP 2020-24532 A
Kurzdarstellung der Erfindung
Aufgabe der vorliegenden Erfindung
Um bei der üblichen Technik, die auf Grundlage von Bildaufnahmen beurteilt, ob sich der Insasse im Augenöffnungszustand oder im Augenschließzustand befindet, ist es, wenn die Augen des Insassen tatsächlich geöffnet sind, erforderlich, dass in der Bildaufnahme ein Mindestöffnungsgrad der Augen des Insassen vorliegt, um zu beurteilen, dass sich der Insasse im Augenöffnungszustand befindet.
In einem Fahrzeug ist jedoch die Bildaufnahmevorrichtung, die den Insassen aufnimmt, häufig im Bereich der Stirnseite des Insassen oder oberhalb davon installiert. Wenn also der Insasse seinen Blick in Bezug auf die normale Fahrstellung nach unten richtet, schlägt der Insasse aus der Perspektive der Bildaufnahmevorrichtung die Augen nieder. Das heißt, dass sich in der Bildaufnahme das Oberlid und das Unterlid der Augen des Insassen einander annähern. Obwohl also die Augen des Insassen eigentlich geöffnet sind, wird auf Grundlage der Bildaufnahme geurteilt, dass der Augenöffnungsgrad gering ist. Es besteht somit die Möglichkeit, dass auf Grundlage der Bildaufnahme geurteilt wird, dass sich der Insasse in einem Zustand mit niedergeschlagenen Augen oder im Augenschließzustand befindet.
Im Stand der Technik liegt das Problem vor, dass auf diese Weise nicht die Möglichkeit berücksichtigt wird, dass der Insasse aus der Perspektive der Bildaufnahmevorrichtung die Augen niederschlägt, sodass nicht zwischen dem Zustand, in dem die Augen tatsächlich geschlossen sind, und dem Zustand mit niedergeschlagenen Augen unterschieden werden kann.
Würde nun im Stand der Technik der Denkansatz angewandt, die Hilfskamera bereitzustellen, die bei der Vorrichtung zum Erfassen von Fahren mit abgewendetem Blick von Patentdokument 1 an dem bordeigenen Element installiert ist, um zwischen Fahren mit abgewendetem Blick und einem anderen Verhalten zu unterscheiden, und würde versucht, eine ergänzende Bildaufnahmevorrichtung an einer Stelle zu installieren, die vor der Sichtlinie des Insassen liegt, wenn dieser aus der Perspektive der Bildaufnahmevorrichtung die Augen niederschlägt, so ist die Bildaufnahmevorrichtung nicht unbedingt an derjenigen Stelle installiert, die vor der Sichtlinie des Insassen liegt, wenn dieser aus der Perspektive der Bildaufnahmevorrichtung die Augen niederschlägt, weshalb es schwierig wäre, anhand von Bildaufnahmen zwischen dem Augenschließzustand und dem Zustand mit niedergeschlagenen Augen zu unterscheiden.
Die vorliegende Offenbarung wurde zum Lösen des oben beschriebenen Problems getätigt, und ihr liegt als Aufgabe zugrunde, eine Insassenzustandsbeurteilungsvorrichtung bereitzustellen, die bei der Beurteilung, ob sich der Insasse im Augenschließzustand oder im Zustand mit niedergeschlagenen Augen befindet, den Fall berücksichtigt, dass der Insasse seinen Blick in Bezug auf die normale Fahrstellung nach unten richtet.
Mittel zum Lösen der Aufgaben
Eine Insassenzustandsbeurteilungsvorrichtung gemäß der vorliegenden Offenbarung umfasst eine Bilderlangungseinheit, die eine Bildaufnahme erlangt, in der das Gesicht eines Insassen in einem Fahrzeug durch eine im Fahrzeug bereitgestellte Bildaufnahmevorrichtung aufgenommen wurde, eine Augenöffnungszustandsbeurteilungseinheit, die auf Grundlage der durch die Bilderlangungseinheit erlangten Bildaufnahme einen Öffnungsgrad der Augen des Insassen beurteilt, und eine Blicklinienerfassungseinheit, die auf Grundlage der durch die Bilderlangungseinheit erlangten Bildaufnahme eine Blicklinie des Insassen erfasst, und eine Augenzustandsbeurteilungseinheit, die für den Fall, dass der durch die Augenöffnungszustandsbeurteilungseinheit beurteilte Augenöffnungsgrad unter einem ersten Schwellenwert liegt, urteilt, dass sich der Insasse im Zustand mit niedergeschlagenen Augen befindet, wenn der Augenöffnungsgrad nach dem Richten der durch die Blicklinienerfassungseinheit erfassten Blickrichtung des Insassen nach unten unter dem ersten Schwellenwert liegt, und urteilt, dass sich der Insasse im Augenschließzustand befindet, wenn der Augenöffnungsgrad nach dem Richten der durch die Blicklinienerfassungseinheit erfassten Blickrichtung des Insassen nach unten nicht unter dem ersten Schwellenwert liegt.
Wirkung der Erfindung
Gemäß der vorliegenden Offenbarung kann bei der Beurteilung, ob sich der Insasse im Augenschließzustand oder im Zustand mit niedergeschlagenen Augen befindet, der Fall berücksichtigt werden, dass der Insasse seinen Blick in Bezug auf die normale Fahrstellung nach unten richtet.
Kurzbeschreibung der Figuren
Es zeigen:

1 eine Ansicht eines Ausgestaltungsbeispiels einer Insassenzustandsbeurteilungsvorrichtung gemäß einer ersten Ausführungsform;
2 eine erläuternde Ansicht eines Installationsbeispiels einer Bildaufnahmevorrichtung und eines Beispiels der Aufnahme des Insassen durch die Bildaufnahmevorrichtung gemäß der ersten Ausführungsform;
3 eine weitere erläuternde Ansicht des Installationsbeispiels einer Bildaufnahmevorrichtung und des Beispiels der Aufnahme des Insassen durch die Bildaufnahmevorrichtung gemäß der ersten Ausführungsform;
4A und 4B Ansichten eines Beispiels für den Zustand des Insassen in einer Bildaufnahme, die eine Aufnahme des Gesichts des Insassen in der normalen Fahrstellung durch die Bildaufnahmevorrichtung ist, und eines Beispiels für den Zustand des Insassen in einer Bildaufnahme, die eine Aufnahme des Gesichts des Insassen in dem Fall ist, dass der Insasse den Blick nach unten richtet und sich aus der Perspektive der Bildaufnahmevorrichtung im Zustand mit niedergeschlagenen Augen befindet, in der ersten Ausführungsform;
5 ein Ablaufdiagramm zum Erläutern des Betriebs der Insassenzustandsbeurteilungsvorrichtung gemäß der ersten Ausführungsform;
6 ein Ablaufdiagramm zum Erläutern von Einzelheiten einer Verarbeitung zum Beurteilen von niedergeschlagenen Augen durch eine Augenzustandsbeurteilungseinheit in Schritt ST7 von 5;
7 ein Ablaufdiagramm zum Erläutern von Einzelheiten einer Blickabwendebeurteilungsverarbeitung durch die Blickabwendebeurteilungseinheit in Schritt ST9 von 5;
8 ein Ablaufdiagramm zum Erläutern von Einzelheiten einer Einnickbeurteilungsverarbeitung durch eine Einnickbeurteilungseinheit in Schritt ST10 von 5; und
9A und 9B Ansichten eines Hardwareausgestaltungsbeispiels der Insassenzustandsbeurteilungsvorrichtung gemäß der ersten Ausführungsform.

Ausführungsform
Im Folgenden wird unter Bezugnahme auf die Figuren eine Ausführungsform der vorliegenden Offenbarung ausführlich beschrieben.
Erste Ausführungsform
Eine Insassenzustandsbeurteilungsvorrichtung gemäß der ersten Ausführungsform beurteilt auf Grundlage einer Aufnahme, in der das Gesicht eines Insassen, der in einem Fahrzeug anwesend ist (im Folgenden „Bildaufnahme“), den Zustand eines Insassen.
Konkret beurteilt die Insassenzustandsbeurteilungsvorrichtung gemäß der ersten Ausführungsform auf Grundlage der Bildaufnahme, ob sich der Insasse in einem Augenöffnungszustand mit geöffneten Augen befindet, und ob, wenn der Insasse sich nicht im Augenöffnungszustand befindet, anzunehmen ist, dass sich der Insasse in einem Augenschließzustand befindet, in dem seine Augen geschlossen sind, oder anzunehmen ist, dass sich der Insasse in einem Zustand mit niedergeschlagenen Augen befindet, in dem sein Blick nach unten gerichtet ist. Als „Zustand mit niedergeschlagenen Augen“ gilt ein Zustand, in dem der Insasse seinen Blick in Bezug auf die normale Fahrstellung nach unten richtet. Wenn sich der Insasse tatsächlich im Zustand mit niedergeschlagenen Augen befindet, sind die Augen des Insassen nicht geschlossen. Wenn sich der Insasse im Zustand mit niedergeschlagenen Augen befindet, werden jedoch in der Bildaufnahme das Oberlid und das Unterlid des Insassen aneinander angenähert aufgenommen, sodass es vorkommt, dass bei der Beurteilung des Augenöffnungsgrads des Insassen anhand der Bildaufnahme geurteilt wird, dass der Augenöffnungsgrad gering ist. In diesem Fall ist es schwierig, allein mittels des anhand der Bildaufnahme beurteilten Augenöffnungsgrads zwischen dem Augenschließzustand und dem Zustand mit niedergeschlagenen Augen zu unterscheiden. Die Insassenzustandsbeurteilungsvorrichtung gemäß der ersten Ausführungsform ist dadurch gekennzeichnet, dass sie in einem solchen Fall beurteilt, ob sich der Insasse im Augenschließzustand oder im Zustand mit niedergeschlagenen Augen befindet.
Die Insassenzustandsbeurteilungsvorrichtung gemäß der ersten Ausführungsform kann außerdem beurteilen, ob sich der Insasse in einem Zustand mit abgewendetem Blick befindet, in dem sein Blick abgewendet ist, und ob sich der Insasse in einem Einnickzustand befindet, in dem er einnickt. Als das Abwenden des Blicks, das die Insassenzustandsbeurteilungsvorrichtung in der ersten Ausführungsform beurteilt, gilt ein Abwenden des Blicks nach unten, bei dem der Blick nach unten gerichtet ist.
In der nachfolgenden Ausführungsform wird der im Fahrzeug anwesende Insasse als Fahrzeuginsasse oder kurz als „Insasse“ bezeichnet. In der ersten Ausführungsform wird angenommen, dass der Insasse, dessen Zustand durch die Insassenzustandsbeurteilungsvorrichtung beurteilt wird, der Fahrer des Fahrzeugs ist.
1 ist eine Ansicht eines Ausgestaltungsbeispiels einer Insassenzustandsbeurteilungsvorrichtung 1 gemäß der ersten Ausführungsform.
Die Insassenzustandsbeurteilungsvorrichtung 1 ist in ein Fahrzeug 30 (siehe die nachstehend erörterte 2) eingebaut und mit einer Bildaufnahmevorrichtung 2 verbunden. Die Insassenzustandsbeurteilungsvorrichtung 1 und die Bildaufnahmevorrichtung 2 bilden zusammen ein Insassenzustandsbeurteilungssystem 100 aus.
Die Bildaufnahmevorrichtung 2 ist in das Fahrzeug 30 eingebaut und so installiert, dass sie wenigstens einen Bereich aufnehmen kann, in dem das Gesicht des Insassen 4 (siehe die nachstehend erörterte 2) vorhanden ist.
In der ersten Ausführungsform wird davon ausgegangen, dass die Bildaufnahmevorrichtung 2 in dem Fahrzeug 30 im Bereich der Stirnseite des Kopfes des Insassen 4 oder oberhalb der Stirnseite des Kopfes des Insassen 4 bereitgestellt ist. Genauer wird davon ausgegangen, dass die Bildaufnahmevorrichtung 2 in der ersten Ausführungsform am oberen Abschnitt eines zentralen Sonnenschutzes 31 (siehe die nachstehend erörterte 2) eines Armaturenbretts 32 (im Folgenden „Armaturenbrett“) (siehe die nachstehend erörterte 2) im Fahrzeug 30 bereitgestellt ist. Dies ist nur ein Beispiel, und die Bildaufnahmevorrichtung 2 kann beispielsweise auch oberhalb einer Kopfstütze 33a (siehe die nachstehend erörterte 2) oder oberhalb eines Haltegriffs im Fahrzeug 30 bereitgestellt sein. Oberhalb der Kopfstütze 33a oder oberhalb des Haltegriffs im Fahrzeug 30 bezieht sich beispielsweise auf den oberen Abschnitt einer Overhead-Konsole, eines Innenspiegels 36 (siehe die nachstehend erörterte 3), einer Windschutzscheibe W (siehe die nachstehend erörterte 3) oder die Decke. Oberhalb des Haltegriffs schließt beispielsweise auch eine Säule ein. In der nachstehend erörterten 2 wird auf Bezugszeichen für den Haltegriff, die Overhead-Konsole und die Säule verzichtet. Als die Bildaufnahmevorrichtung 2 wird beispielsweise angenommen, dass sie zugleich als ein so genanntes DMS (Driver Monitoring System, Fahrerüberwachungssystem) dient, das zum Überwachen des Fahrgastzelleninneren installiert ist. Die Bildaufnahmevorrichtung 2 ist eine Kamera für sichtbares Licht oder für Infrarotlicht.
Die Bildaufnahmevorrichtung 2 gibt die aufgenommenen Bildaufnahmen an die Insassenzustandsbeurteilungsvorrichtung 1 aus. In der ersten Ausführungsform kann es sich bei den Bildern sowohl um Standbilder als auch Bewegtbilder handeln.
Die Insassenzustandsbeurteilungsvorrichtung 1 beurteilt den Augenöffnungsgrad des Insassen 4 auf Grundlage der durch die Bildaufnahmevorrichtung 2 erlangten Bildaufnahme, und wenn der beurteilte Augenöffnungsgrad des Insassen 4 einen im Voraus festgelegten Schwellenwert (im Folgenden „erster Schwellenwert“) unterschritten hat, beurteilt sie anhand dessen, ob der Zustand, dass der Augenöffnungsgrad des Insassen 4 den ersten Schwellenwert unterschritten hat, ein Zustand ist, der sich ergeben hat, nachdem sich die Blickrichtung des Insassen 4 nach unten gerichtet hat und sich das Gesicht des Insassen 4 nach unten gerichtet hat, ob sich der Insasse 4 im Zustand mit niedergeschlagenen Augen oder im Augenschließzustand befindet. Die Insassenzustandsbeurteilungsvorrichtung 1 urteilt, dass sich der Insasse 4 im Augenöffnungszustand befindet, wenn der Augenöffnungsgrad des Insassen 4 auf oder über dem ersten Schwellenwert liegt. Für den ersten Schwellenwert ist im Voraus ein Wert eingestellt, bei dem in der Bildaufnahme geurteilt werden kann, dass die Augen des Insassen 4 ausreichend weit geöffnet sind.
Außerdem führt die Insassenzustandsbeurteilungsvorrichtung 1 auf Grundlage dessen, dass geurteilt wurde, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, oder geurteilt wurde, dass sich der Insasse 4 im Augenschließzustand befindet, eine Beurteilung, ob sich der Insasse 4 in einem Zustand mit abgewendetem Blick befindet, oder eine Beurteilung durch, ob sich der Insasse 4 in einem Einnickzustand befindet. Einzelheiten der Insassenzustandsbeurteilungsvorrichtung 1 werden an späterer Stelle beschrieben.
Die 2 und 3 zeigen ein Beispiel für die Installation der Bildaufnahmevorrichtung 2 und ein Beispiel der Aufnahme des Insassen 4 durch die Bildaufnahmevorrichtung 2 gemäß der ersten Ausführungsform.
2 zeigt das Innere einer Fahrgastzelle bei Betrachtung eines Fahrersitzes 33 des Fahrzeugs von der Seite des Fahrzeugs 30. 3 zeigt das Innere der Fahrgastzelle beim Blick aus der Fahrgastzelle auf die Windschutzscheibe W und das Armaturenbrett 32 in Fahrtrichtung des Fahrzeugs 30.
Wie in 2 gezeigt, nimmt die am oberen Abschnitt des zentralen Sonnenschutzes 31 des Armaturenbretts 32 bereitgestellte Bildaufnahmevorrichtung 2 das Gesicht des Insassen 4 aus einem Bereich frontal vor der Kopfposition des Insassen 4 auf.
Wie in 3 gezeigt, sind am Armaturenbrett 32 ein Display 34 und ein Klimaanlagenbedienabschnitt 35 bereitgestellt. Bei dem Display handelt es sich beispielsweise um eine Anzeigevorrichtung, die ein Fahrzeugnavigationssystem (nicht gezeigt) umfasst und Routeninformationen oder Fernsehbilder oder dergleichen anzeigt. Bei dem Klimaanlagenbedienabschnitt 35 handelt es sich beispielsweise um ein Bedienfeld, um die Blasluftmenge oder Temperatur der Klimaanlage zu regeln.
In der normalen Fahrstellung, oder anders ausgedrückt im normalen Fahrzustand, blickt der Insasse 4 beispielsweise nach vorne. Das heißt, die Blickrichtung des Insassen 4 ist die Fahrtrichtung des Fahrzeugs 30 (siehe D1 in 2).
Es kommt jedoch beispielsweise vor, dass der Insasse 4 in Richtung des Displays 34 blickt, um das Fahrzeugnavigationssystem zu bedienen. Es kommt beispielsweise auch vor, dass der Insasse 4 in Richtung des Klimaanlagenbedienabschnitts 35 blickt, um die Temperatur der Klimaanlage zu regeln. In diesem Fall verlagert sich die Blickrichtung des Insassen 4 von der Fahrtrichtung des Fahrzeugs 30 in die Richtung, in der das Display 34 oder der Klimaanlagenbedienabschnitt 35 bereitgestellt ist (siehe D2 in 2).
Da die Bildaufnahmevorrichtung 2 das Gesicht des Insassen 4 aus dem Bereich frontal vor der Kopfposition des Insassen 4 aufnimmt, ist der Zustand des Insassen 4 aus der Perspektive der Bildaufnahmevorrichtung 2 der Zustand mit niedergeschlagenen Augen, wenn der Insasse 4 den Blick aus dem normalen Fahrzustand nach unten verlagert, oder genauer, wenn der Insasse 4 den Blick in Bezug auf den normalen Fahrzustand nach unten verlagert und die Blickrichtung in Bezug auf die Bildaufnahmevorrichtung 2 nach unten wendet. Wenn der Zustand des Insassen 4 aus der Perspektive der Bildaufnahmevorrichtung 2 der Zustand mit niedergeschlagenen Augen ist, nähern sich in der durch die Bildaufnahmevorrichtung 2 aufgenommenen Bildaufnahme das Oberlid und das Unterlid des Insassen 4 einander an. Wenn der Insasse 4 seinen Blick in Bezug auf den normalen Fahrzustand nach unten richtet, wird dies in der ersten Ausführungsform auch als „Abwärtsblick“ bezeichnet.
Der in 3 mit 500 bezeichnete Bereich (im Folgenden „Abwärtsblickbereich“) wird nachstehend beschrieben.
4A und 4B sind Ansichten eines Beispiels für den Zustand des Insassen 4 in einer Bildaufnahme, die eine Aufnahme des Gesichts des Insassen 4 in der normalen Fahrstellung durch die Bildaufnahmevorrichtung 2 ist, und eines Beispiels für den Zustand des Insassen 4 in einer Bildaufnahme, die eine Aufnahme des Gesichts des Insassen 4 in dem Fall ist, dass der Insasse den Blick nach unten richtet und sich aus der Perspektive der Bildaufnahmevorrichtung 2 im Zustand mit niedergeschlagenen Augen befindet, in der ersten Ausführungsform.
Wenn sich der Insasse 4 im normalen Fahrzustand befindet, also der Insasse 4 in Fahrtrichtung des Fahrzeugs 30 oder anders ausgedrückt nach vorne blickt, so sind die Augen des Insassen 4 in der Bildaufnahme ausreichend geöffnet, wie die Bildaufnahme aus 4A zeigt. In diesem Fall ist der anhand der Bildaufnahme beurteilte Augenöffnungsgrad auf oder über dem ersten Schwellenwert.
Wenn der Insasse 4 jedoch nach unten blickt, so wirkt dies in der Bildaufnahme so, als wären die Augen des Insassen 4 nicht ausreichend geöffnet oder anders ausgedrückt geschlossen, obwohl die Augen des Insassen 4 tatsächlich nicht geschlossen sind, wie die Bildaufnahme aus 4B zeigt. In diesem Fall ist der anhand der Bildaufnahme beurteilte Augenöffnungsgrad unter dem ersten Schwellenwert.
Für den Fall, dass die Augen des Insassen 1 in der Bildaufnahme nicht ausreichend geöffnet oder anders ausgedrückt geschlossen sind, da der Insasse 4 nach unten blickt, wie die Bildaufnahme aus 4B zeigt, urteilt die Insassenzustandsbeurteilungsvorrichtung 1 dass sich der Insasse 4 in dem Zustand mit niedergeschlagenen Augen befindet.
Zurückkehrend zu 1 wird ein Ausgestaltungsbeispiel der Insassenzustandsbeurteilungsvorrichtung 1 gemäß der ersten Ausführungsform beschrieben.
Die Insassenzustandsbeurteilungsvorrichtung 1 gemäß der ersten Ausführungsform umfasst eine Bilderlangungseinheit 11, eine Augenöffnungsgradbeurteilungseinheit 12, eine Blicklinienerfassungseinheit 13, eine Gesichtsausrichtungserfassungseinheit 14, eine Müdigkeitserfassungseinheit 15, eine Augenzustandsbeurteilungseinheit 16, eine Blickabwendebeurteilungseinheit 17, eine Einnickbeurteilungseinheit 18 und eine Ausgabeeinheit 19.
Die Bilderlangungseinheit 11 erlangt eine Bildaufnahme, in der das Gesicht des Insassen 4 in dem Fahrzeug 30 durch die im Fahrzeug bereitgestellte Bildaufnahmevorrichtung 2 aufgenommen wurde.
Die Bilderlangungseinheit 11 gibt die erlangte Bildaufnahme an die Augenöffnungsgradbeurteilungseinheit 12, die Blicklinienerfassungseinheit 13, die Gesichtsausrichtungserfassungseinheit 14 und die Müdigkeitserfassungseinheit 15 aus.
Die Augenöffnungsgradbeurteilungseinheit 12 beurteilt die auf Grundlage der durch die Bilderlangungseinheit 11 erlangten Bildaufnahme den Öffnungsgrad der Augen des Insassen 4. Konkret erfasst die Augenöffnungsgradbeurteilungseinheit 12 unter Anwendung von bekannter Bilderkennungstechnik auf die Bildaufnahme die Oberlider und die Unterlider des Insassen 4. Beispielsweise ist in der Bildaufnahme ein Bereich, in dem das Gesicht des Insassen 4 vorliegen kann (im Folgenden „Gesichtserfassungsbereich“) im Voraus festgelegt, und die Augenöffnungsgradbeurteilungseinheit 12 führt an dem Gesichtserfassungsbereich der Bildaufnahme eine bekannte Kantenerfassung durch und extrahiert Merkmalspunkte, die die Oberlider des Insassen 4 angeben, und Merkmalspunkte, die die Unterlider angeben. Als Nächstes berechnet die Augenöffnungsgradbeurteilungseinheit 12 beispielsweise ausgehend von links vertikale Abstände der Oberlider und der Unterlider des Insassen 4 in der Bildaufnahme (im Folgenden „Lidabstände“) und berechnet dann den maximalen Lidabstand. Auf Grundlage eines Verhältnisses zwischen dem berechneten maximalen Lidabstand und einem Referenzwert für den Augenöffnungsgrad beurteilt die Augenöffnungsgradbeurteilungseinheit 12 dann den Augenöffnungsgrad. Das heißt, die Einheit des Augenöffnungsgrads ist ein Prozentwert. Für den Referenzwert des Augenöffnungsgrads ist beispielsweise ein durch Versuche berechneter Durchschnittswert des Augenöffnungsgrads eines normalen Erwachsenen im wachen Zustand eingestellt. Dies ist nur ein Beispiel, und der Referenzwert des Augenöffnungsgrads kann beispielsweise auch ein Durchschnittswert des Augenöffnungsgrads des Insassen 4 an einem im Voraus festgelegten Zeitpunkt nach dem Einsteigen des Insassen 4 in das Fahrzeug 30 oder ein Durchschnittswert aller Augenöffnungsgrade sein, die die Augenöffnungsgradbeurteilungseinheit 12 bis zum aktuellen Zeitpunkt beurteilt hat.
Das oben beschriebene Verfahren zum Beurteilen des Augenöffnungsgrads ist zudem nur ein Beispiel. Die Augenöffnungsgradbeurteilungseinheit 12 kann den Augenöffnungsgrad unter Verwendung verschiedener bekannter Algorithmen beurteilen.
Die Augenöffnungsgradbeurteilungseinheit 12 gibt die Informationen zum Beurteilungsergebnis des Augenöffnungsgrads des Insassen 4 (im Folgenden „Augenöffnungsgradinformationen“) an die Augenzustandsbeurteilungseinheit 16 aus. Die Augenöffnungsgradinformationen sind beispielsweise Informationen, die den Augenöffnungsgrad des Insassen 4 mit den durch die Bilderlangungseinheit 11 erlangten Bildaufnahmen in Beziehung setzen.
Die Blicklinienerfassungseinheit 13 erfasst auf Grundlage der durch die Bilderlangungseinheit 11 erlangten Bildaufnahme eine Blicklinie des Insassen 4. Konkret erfasst die Blicklinienerfassungseinheit 13 auf Grundlage der Bildaufnahme die Blickrichtung des Insassen 4. Die Blickrichtung des Insassen 4 ist also die Richtung, in die der Blick des Insassen 4 gerichtet ist.
Die Blicklinienerfassungseinheit 13 erfasst unter Anwendung von bekannter Bilderkennungstechnik auf die Bildaufnahme die Blickrichtung des Insassen 4. Wenn es sich bei der Bildaufnahmevorrichtung 2 beispielsweise um eine Kamera für sichtbares Licht handelt, kann die Blicklinienerfassungseinheit 13 die Augenwinkel und die Iris des Insassen 4 erfassen und aus dem Positionsverhältnis zwischen den Augenwinkeln und der Iris die Blickrichtung erfassen. Wenn es sich bei der Bildaufnahmevorrichtung 2 beispielsweise um eine Kamera für Infrarotlicht handelt, kann die Blicklinienerfassungseinheit 13 aus dem Positionsverhältnis zwischen Purkinje-Bildern, die durch Reflexion bei Bestrahlung der Cornea mit einer Infrarotpunktlichtquelle durch die Infrarotkamera erlangt werden, und den Pupillen die Blickrichtung erfassen. Dies sind nur Beispiele, und die Blicklinienerfassungseinheit 13 kann die Blickrichtung des Insassen 4 unter Anwendung verschiedener bekannter Algorithmen erfassen.
In der ersten Ausführungsform wird die Blickrichtung des Insassen 4 als Winkel in Bezug auf eine bestimmte Referenzrichtung ausgedrückt. Beispielsweise wird die Blickrichtung des Insassen 4 unter Bezugnahme auf einen Zustand, in dem der Insasse 4 auf dem Sitz geradeaus nach vorne blickt, durch den Winkel der Blicklinie ausgedrückt, der angibt, ob sich die Blickrichtung aus diesem Zustand jeweils um einige Grad zur Horizontalen und Vertikalen gedreht hat.
Die Blicklinienerfassungseinheit 13 gibt Informationen zur Blicklinie des Insassen 4 (im Folgenden „Blicklinieninformationen“) an die Augenzustandsbeurteilungseinheit 16 aus. Die Blicklinieninformationen sind beispielsweise Informationen, die die Informationen, welche die Blickrichtung des Insassen 4 angeben, mit den Bildaufnahmen in Beziehung setzen.
Wenn in der ersten Ausführungsform die Blicklinienerfassungseinheit 13 die Blicklinie des Insassen 4 nicht erfassen kann, gibt sie eine Mitteilung, dass die Blicklinie des Insassen 4 nicht erfasst werden konnte, als Blicklinieninformationen an die Augenzustandsbeurteilungseinheit 16 aus.
Die Gesichtsausrichtungserfassungseinheit 14 erfasst auf Grundlage der durch die Bilderlangungseinheit 11 erlangten Bildaufnahme die Ausrichtung des Gesichts des Insassen 4.
Die Gesichtsausrichtungserfassungseinheit 14 erfasst unter Anwendung von bekannter Bilderkennungstechnik auf die Bildaufnahme die Ausrichtung des Gesichts des Insassen 4. Die Gesichtsausrichtungserfassungseinheit 14 erfasst die Ausrichtung des Gesichts des Insassen 4 beispielsweise auf Grundlage allgemeiner Mustererkennung. Dies ist nur ein Beispiel, und die Gesichtsausrichtungserfassungseinheit 14 kann die Ausrichtung des Gesichts des Insassen 4 unter Anwendung verschiedener bekannter Algorithmen erfassen.
In der ersten Ausführungsform wird die Ausrichtung des Gesichts des Insassen 4 als Winkel in Bezug auf eine bestimmte Referenzrichtung ausgedrückt. Beispielsweise wird die Ausrichtung des Gesichts des Insassen 4 unter Bezugnahme auf einen Zustand, in dem der Insasse 4 auf dem Sitz geradeaus nach vorne blickt, durch den Ausrichtungswinkel des Gesichts ausgedrückt, der angibt, ob sich die Ausrichtung des Gesichts aus diesem Zustand jeweils um einige Grad zur Horizontalen und Vertikalen gedreht hat.
Die Gesichtsausrichtungserfassungseinheit 14 gibt Informationen zur Ausrichtung des Gesichts des Insassen 4 (im Folgenden „Gesichtsausrichtungsinformationen“) an die Augenzustandsbeurteilungseinheit 16 aus. Die Gesichtsausrichtungsinformationen sind beispielsweise Informationen, die die Informationen, welche die Ausrichtung des Gesichts des Insassen 4 angeben, mit den Bildaufnahmen in Beziehung setzen.
Die Müdigkeitserfassungseinheit 15 erfasst auf Grundlage der durch die Bilderlangungseinheit 11 erlangten Bildaufnahme einen Ermüdungsgrad des Insassen 4.
Die Müdigkeitserfassungseinheit 15 erfasst unter Anwendung von bekannter Bilderkennungstechnik auf die Bildaufnahme den Ermüdungsgrad des Insassen 4. Die Müdigkeitserfassungseinheit 15 beurteilt beispielsweise auf Grundlage der Bildaufnahme, wie oft der Insasse 4 innerhalb einer im Voraus festgelegten Zeiteinheit blinzelt. Die Müdigkeitserfassungseinheit 15 erfasst den Ermüdungsgrad des Insassen 4 anhand dessen, wie oft der Insasse 4 innerhalb der Zeiteinheit blinzelt. Welche Häufigkeit von Blinzeln innerhalb der Zeiteinheit welcher Stufe des Ermüdungsgrads entspricht, wird im Voraus bestimmt. Beispielsweise ist ein Wert eingestellt, demzufolge der Insasse 4 umso müder ist, je höher der Ermüdungsgrad ist, und demzufolge der Insasse 4 umso wacher ist, je niedriger der Ermüdungsgrad ist.
Dies ist nur ein Beispiel, und die Müdigkeitserfassungseinheit 15 kann den Ermüdungsgrad des Insassen 4 unter Anwendung verschiedener bekannter Algorithmen erfassen. Hier erfasst die Müdigkeitserfassungseinheit 15 den Ermüdungsgrad des Insassen 4 auf Grundlage der Bildaufnahme, doch ist dies nur ein Beispiel. Die Müdigkeitserfassungseinheit 15 kann auch biologische Informationen wie etwa die Körpertemperatur des Insassen 4 oder dergleichen von einem im Fahrzeug 30 bereitgestellten biometrischen Sensor erlangen und den Ermüdungsgrad des Insassen 4 aus den biologischen Informationen erfassen.
Die Müdigkeitserfassungseinheit 15 gibt Informationen zum Ermüdungsgrad des Insassen 4 (im Folgenden „Ermüdungsgradinformationen“) an die Einnickbeurteilungseinheit 18 aus. Die Ermüdungsgradinformationen sind beispielsweise Informationen, die den Ermüdungsgrad des Insassen 4 mit den Bildaufnahmen in Beziehung setzen.
Die Augenzustandsbeurteilungseinheit 16 beurteilt für den Fall, dass der durch die Augenöffnungszustandsbeurteilungseinheit 12 beurteilte Augenöffnungsgrad des Insassen 4 einen ersten Schwellenwert unterschritten hat, auf Grundlage der vor dem Zeitpunkt, an dem der Augenöffnungsgrad den Schwellenwert unterschritten hat, durch die Blicklinienerfassungseinheit 13 erfassten Blickrichtung des Insassen 4 und der durch die Gesichtsausrichtungserfassungseinheit 14 erfassten Ausrichtung des Gesichts des Insassen 4, ob sich der Insasse 4 im Zustand mit niedergeschlagenen Augen oder im Augenschließzustand befindet.
Konkret urteilt die Augenzustandsbeurteilungseinheit 16, wenn der durch die Augenöffnungsgradbeurteilungseinheit 12 beurteilte Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, wenn der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die durch die Blicklinienerfassungseinheit 13 erfasste Blickrichtung des Insassen 4 nach unten gerichtet hat und sich die durch die Gesichtsausrichtungserfassungseinheit 14 erfasste Ausrichtung des Gesichts des Insassen 4 nach unten gerichtet hat. Dagegen urteilt die Augenzustandsbeurteilungseinheit 16, dass sich der Insasse 4 im Augenschließzustand befindet, wenn es nicht der Fall ist, dass der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die durch die Blicklinienerfassungseinheit 13 erfasste Blickrichtung des Insassen 4 nach unten gerichtet hat und sich die durch die Gesichtsausrichtungserfassungseinheit 14 erfasste Ausrichtung des Gesichts des Insassen 4 nach unten gerichtet hat.
In der ersten Ausführungsform wird die durch die Augenzustandsbeurteilungseinheit 16 durchgeführte Beurteilung, ob sich der Insasse 4 im Zustand mit niedergeschlagenen Augen oder im Augenschließzustand befindet, auch als „Augenniederschlagbeurteilung“ bezeichnet. Die Augenzustandsbeurteilungseinheit 16 beurteilt auf Grundlage der durch die Augenöffnungsgradbeurteilungseinheit 12 ausgegebenen Augenöffnungsgradinformationen, ob der Augenöffnungsgrad des Insassen 4 den ersten Schwellenwert unterschritten hat.
Wenn der durch die Augenöffnungsgradbeurteilungseinheit 12 beurteilte Augenöffnungsgrad des Insassen 4 auf oder über dem ersten Schwellenwert liegt, führt die Augenzustandsbeurteilungseinheit 16 die Augenniederschlagbeurteilung nicht durch, sondern urteilt, dass sich der Insasse 4 im Augenöffnungszustand befindet.
Im Folgenden werden Einzelheiten einer Verarbeitung zum Beurteilen von niedergeschlagenen Augen durch die Augenzustandsbeurteilungseinheit 16 beschrieben.
Die Augenzustandsbeurteilungseinheit 16 speichert die von der Augenöffnungsgradbeurteilungseinheit 12 ausgegebenen Augenöffnungsgradinformationen, die von der Blicklinienerfassungseinheit 13 ausgegebenen Blicklinieninformationen und die von der Gesichtsausrichtungserfassungseinheit 14 ausgegebenen Gesichtsausrichtungsinformationen unter Verknüpfung mit einer Zeitreihe. In der ersten Ausführungsform werden die durch die Augenzustandsbeurteilungseinheit 16 in der Zeitreihe gespeicherten Informationen, in denen die Augenöffnungsgradinformationen, die Blicklinieninformationen und die Gesichtsausrichtungsinformationen miteinander in Beziehung gesetzt sind, als „Augeninformationen“ bezeichnet.
Wenn geurteilt wird, dass der Augenöffnungsgrad des Insassen 4 unter dem ersten Schwellenwert liegt, zieht die Augenzustandsbeurteilungseinheit 16 die Augeninformationen heran und erlangt die Blicklinieninformationen des Insassen 4 von dem Zeitpunkt, bevor der Augenöffnungsgrad des Insassen 4 den ersten Schwellenwert unterschritten hat.
Als Nächstes berechnet die Augenzustandsbeurteilungseinheit 16 auf Grundlage der erlangten Blicklinieninformationen des Insassen 4 anhand der Blickrichtung des Insassen 4, die die Blicklinienerfassungseinheit 13 vor dem Urteilen, dass der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, erfasst hat, eine Ortskurve der Blickrichtung des Insassen 4. Dabei kann nach Belieben eingestellt werden, für welche Zeit bis zum Unterschreiten des ersten Schwellenwerts durch den Augenöffnungsgrad die Ortskurve der Blickrichtung berechnet wird. Die Augenzustandsbeurteilungseinheit 16 zieht auch die Augeninformationen heran und erlangt die Gesichtsausrichtungsinformationen des Insassen 4 von dem Zeitpunkt, bevor der Augenöffnungsgrad des Insassen 4 den ersten Schwellenwert unterschritten hat. Die Augenzustandsbeurteilungseinheit 16 berechnet auf Grundlage der erlangten Gesichtsausrichtungsinformationen des Insassen 4 anhand der Gesichtsausrichtung des Insassen 4, die die Gesichtsausrichtungserfassungseinheit 14 vor dem Urteilen, dass der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, erfasst hat, eine Ortskurve der Gesichtsausrichtung des Insassen 4. Dabei kann nach Belieben eingestellt werden, für welche Zeit bis zum Unterschreiten des ersten Schwellenwerts durch den Augenöffnungsgrad die Ortskurve der Gesichtsausrichtung berechnet wird. Die Zeitdauer, für die die Ortskurve der Blickrichtung berechnet wird, und die Zeitdauer, für die die Ortskurve der Gesichtsausrichtung berechnet wird, sind jedoch vorzugsweise von gleicher Länge.
In der ersten Ausführungsform bezeichnet „bevor der Augenöffnungsgrad des Insassen 4 den ersten Schwellenwert unterschritten hat“ eine Zeitdauer, die zeitlich zurückgehend von dem Zeitpunkt eingestellt ist, an dem geurteilt wird, dass der Augenöffnungsgrad den ersten Schwellenwert unterschreitet. Diese eingestellte Zeit kann, wie oben erörtert, nach Belieben eingestellt werden.
Dann beurteilt die Augenzustandsbeurteilungseinheit 16, ob die berechnete Ortskurve der Blickrichtung des Insassen 4 nach unten gerichtet ist und ob die berechnete Ortskurve der Gesichtsausrichtung des Insassen 4 nach unten gerichtet ist. Genauer beurteilt die Augenzustandsbeurteilungseinheit 16, ob die berechnete Ortskurve der Blickrichtung des Insassen 4 in Richtung eines im Voraus festgelegten Abwärtsblickbereichs gerichtet ist und ob die berechnete Ortskurve der Gesichtsausrichtung des Insassen 4 in Richtung des im Voraus festgelegten Abwärtsblickbereichs gerichtet ist. Wenn die berechnete Ortskurve der Blickrichtung des Insassen 4 in Richtung des Abwärtsblickbereichs gerichtet ist, urteilt die Augenzustandsbeurteilungseinheit 16, dass die Blickrichtung des Insassen 4 nach unten gerichtet ist. Wenn die berechnete Ortskurve der Gesichtsausrichtung des Insassen 4 in Richtung des Abwärtsblickbereichs gerichtet ist, urteilt die Augenzustandsbeurteilungseinheit 16, dass die Gesichtsausrichtung des Insassen 4 nach unten gerichtet ist.
Bei dem Abwärtsblickbereich handelt es sich beispielsweise um den in 3 mit 500 bezeichneten Bereich, wobei Informationen zu dem Abwärtsblickbereich in der Augenzustandsbeurteilungseinheit 16 gespeichert sind. In der ersten Ausführungsform ist der Abwärtsblickbereich ein in Bezug auf die Bildaufnahmevorrichtung 2 unterhalb im Fahrzeug 30 festgelegter Bereich. Der Abwärtsblickbereich ist beispielsweise als ein Bereich festgelegt, für den für den Fall, dass ein Zustand, in dem die Blickrichtung des nach unten blickenden Insassen 4 in diesem Bereich verweilt hat, für eine im Voraus bestimmte Zeitdauer angehalten hat, anzunehmen ist, dass der Insasse 4 möglicherweise seinen Blick abgewendet hat. Für den Abwärtsblickbereich ist beispielsweise ein Bereich festgelegt, der den Bereich einschließt, in dem Vorrichtungen unterhalb der Bildaufnahmevorrichtung 2 vorhanden sind, die der Insasse 4 bedienen könnte, wie etwa das Display der Fahrzeugnavigationsvorrichtung. In der ersten Ausführungsform ist der Abwärtsblickbereich beispielsweise entsprechend der Installationsposition der Bildaufnahmevorrichtung 2 im Voraus durch den Hersteller oder dergleichen festgelegt, doch ist dies lediglich ein Beispiel. Die Augenzustandsbeurteilungseinheit 16 der Insassenzustandsbeurteilungsvorrichtung 1 kann beispielsweise auch eine Funktion aufweisen, um den Abwärtsblickbereich jeweils einem Positionsverhältnis zwischen der Installationsposition der Bildaufnahmevorrichtung 2 und der Kopfposition des Insassen 4 entsprechend einzustellen. Die Augenzustandsbeurteilungseinheit 16 kann dabei die Kopfposition des Insassen 4 unter Anwendung von bekannter Bilderkennungstechnik schätzen. Die Installationsposition der Bildaufnahmevorrichtung 2 ist im Voraus bekannt.
Wenn die Ortskurve der Blickrichtung des Insassen 4 und die Ortskurve der Gesichtsausrichtung des Insassen 4 nach unten gerichtet sind, urteilt die Augenzustandsbeurteilungseinheit 16, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet. Anders ausgedrückt urteilt die Augenzustandsbeurteilungseinheit 16, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, wenn die Blickrichtung des Insassen 4 und die Gesichtsausrichtung des Insassen 4 tendenziell nach unten gerichtet sind und währenddessen der Augenöffnungsgrad des Insassen unter den ersten Schwellenwert gefallen ist. Wenn sich die Ortskurve der Blickrichtung des Insassen 4 und die Ortskurve der Gesichtsausrichtung des Insassen 4 nicht nach unten gerichtet haben, urteilt die Augenzustandsbeurteilungseinheit 16, dass sich der Insasse 4 im Augenschließzustand befindet. Anders ausgedrückt urteilt die Augenzustandsbeurteilungseinheit 16, dass sich der Insasse 4 im Augenschließzustand befindet, wenn nicht gilt, dass sich die Blickrichtung des Insassen 4 und die Gesichtsausrichtung des Insassen 4 tendenziell nach unten gerichtet haben und währenddessen der Augenöffnungsgrad des Insassen 4 unter den ersten Schwellenwert gefallen ist.
Informationen dazu, ob die Augenzustandsbeurteilungseinheit 16 geurteilt hat, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, oder geurteilt hat, dass sich der Insasse 4 im Augenschließzustand befindet, oder geurteilt hat, dass sich der Insasse 4 im Augenöffnungszustand befindet (im Folgenden „Augenzustandsinformationen“), werden an die Blickabwendebeurteilungseinheit 17, die Einnickbeurteilungseinheit 18 oder die Ausgabeeinheit 19 ausgegeben.
Konkret gibt die Augenzustandsbeurteilungseinheit 16 für den Fall, dass sie als Resultat der Augenniederschlagbeurteilung geurteilt hat, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, Augeninformationen an die Blickabwendebeurteilungseinheit 17 aus, die besagen, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet. Die Augenzustandsbeurteilungseinheit 16 gibt für den Fall, dass sie als Resultat der Augenniederschlagbeurteilung geurteilt hat, dass sich der Insasse 4 im Augenschließzustand befindet, Augeninformationen an die Einnickbeurteilungseinheit 18 aus, die besagen, dass sich der Insasse 4 im Augenschließzustand befindet. Die Augenzustandsbeurteilungseinheit 16 gibt für den Fall, dass sie als Resultat der Augenniederschlagbeurteilung geurteilt hat, dass sich der Insasse 4 im Augenöffnungszustand befindet, Augeninformationen an die Ausgabeeinheit 19 aus, die besagen, dass sich der Insasse 4 im Augenöffnungszustand befindet.
Wenn von der Augenzustandsbeurteilungseinheit 16 Augeninformationen ausgegeben werden, die besagen, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, oder anders ausgedrückt, wenn die Augenzustandsbeurteilungseinheit 16 urteilt, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, beurteilt die Einheit zum Beurteilen eines abgewendeten Blicks anhand dessen, ob eine im Voraus festgelegte Bedingung (im Folgenden „Blickabwendebeurteilungsbedingung“) erfüllt ist, ob der Insasse 4 seinen Blick abgewendet hat. Die Beurteilung, die in der ersten Ausführungsform durch die Blickabwendebeurteilungseinheit 17 durchgeführt wird, um zu beurteilen, ob der Insasse 4 seinen Blick abgewendet hat, wenn von der Augenzustandsbeurteilungseinheit 16 Augeninformationen ausgegeben werden, die besagen, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, wird auch als „Blickabwendebeurteilung“ bezeichnet.
Für die Blickabwendebeurteilungsbedingung ist beispielsweise die folgende Bedingung (1) eingestellt. Wenn die folgende Bedingung (1) erfüllt ist, urteilt die Blickabwendebeurteilungseinheit 17, dass der Insasse 4 seinen Blick abgewendet hat.
<Bedingung (1)>
Der Zustand mit niedergeschlagenen Augen des Insassen hat mindestens für eine im Voraus festgelegte Zeit (im Folgenden „Blickabwendebeurteilungszeit“) angehalten
Wenn von der Augenzustandsbeurteilungseinheit 16 Augeninformationen ausgegeben werden, die besagen, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, zählt die Blickabwendebeurteilungseinheit 17 eine Zeit (im Folgenden „Zeit nach Beurteilung niedergeschlagener Augen“) aufwärts. Die Blickabwendebeurteilungseinheit 17 speichert die aufwärts gezählte Zeit nach Beurteilung niedergeschlagener Augen. Wenn die aufwärts gezählte Zeit nach Beurteilung niedergeschlagener Augen die Blickabwendebeurteilungszeit erreicht oder überschreitet, bedeutet dies, dass der Zustand mit niedergeschlagenen Augen des Insassen 4 für mindestens die Blickabwendebeurteilungszeit angehalten hat, sodass die Blickabwendebeurteilungseinheit 17 urteilt, dass die Blickabwendebeurteilungsbedingung erfüllt ist. Die Blickabwendebeurteilungseinheit 17 urteilt also, dass der Insasse 4 seinen Blick abgewendet hat.
Wenn die aufwärts gezählte Zeit nach Beurteilung niedergeschlagener Augen die Blickabwendebeurteilungszeit erreicht oder überschreitet und geurteilt wird, dass der Insasse 4 seinen Blick abgewendet hat und der Insasse 4 nach Beginn des Aufwärtszählens der Zeit nach Beurteilung niedergeschlagener Augen den Zustand mit niedergeschlagenen Augen beendet oder der Motor des Fahrzeugs 30 ausgeschaltet wird, so setzt die Blickabwendebeurteilungseinheit 17 die Zeit nach Beurteilung niedergeschlagener Augen zurück.
Wenn die Blickabwendebeurteilungseinheit 17 urteilt, dass der Zustand mit niedergeschlagenen Augen des Insassen 4 nicht mindestens für die Blickabwendebeurteilungszeit angehalten hat, so urteilt sie, dass die Blickabwendebeurteilungsbedingung nicht erfüllt ist. Die Blickabwendebeurteilungseinheit 17 urteilt also, dass der Insasse 4 seinen Blick nicht abgewendet hat.
Die Blickabwendebeurteilungseinheit 17 gibt für den Fall, dass sie als Resultat der Blickabwendebeurteilung geurteilt hat, dass der Insasse 4 den Blick abgewendet hat, Augeninformationen an die Ausgabeeinheit 19 aus, die besagen, dass sich der Insasse 4 im Zustand mit abgewendetem Blick befindet.
Wenn von der Augenzustandsbeurteilungseinheit 16 Augeninformationen ausgegeben werden, die besagen, dass sich der Insasse 4 im Augenschließzustand befindet, oder anders ausgedrückt, wenn die Augenzustandsbeurteilungseinheit 16 urteilt, dass sich der Insasse 4 im Augenschließzustand befindet, beurteilt die Einnickbeurteilungseinheit 18 auf Grundlage des durch die Müdigkeitserfassungseinheit 15 erfassten Ermüdungsgrads des Insassen 4, ob der Insasse 4 eingenickt ist. Die Beurteilung, die in der ersten Ausführungsform durch die Einnickbeurteilungseinheit 18 durchgeführt wird, um zu beurteilen, ob der Insasse 4 eingenickt ist, wenn von der Augenzustandsbeurteilungseinheit 16 Augeninformationen ausgegeben werden, die besagen, dass sich der Insasse 4 im Augenschließzustand befindet, wird auch als „Einnickbeurteilung“ bezeichnet. Die Einnickbeurteilungseinheit 18 kann den Ermüdungsgrad des Insassen 4 aus den Ermüdungsgradinformationen ermitteln, die von der Müdigkeitserfassungseinheit 15 ausgegeben werden. Konkret urteilt die Einnickbeurteilungseinheit 18 für den Fall, dass ein Zustand (im Folgenden „Ermüdungszustand“), in dem der Ermüdungsgrad des Insassen 4 einen im Voraus festgelegten Schwellenwert (im Folgenden „Einnickbeurteilungsschwellenwert“) überschreitet, mindestens für eine im Voraus festgelegte Zeit (im Folgenden „Einnickbeurteilungszeit“) angehalten hat, dass der Insasse 4 eingenickt ist.
Wenn beispielsweise von der Augenzustandsbeurteilungseinheit 16 Augeninformationen ausgegeben werden, die besagen, dass sich der Insasse 4 im Augenschließzustand befindet, und der durch die Müdigkeitserfassungseinheit 15 erfasste Ermüdungsgrad des Insassen 4 auf oder über dem Einnickbeurteilungsschwellenwert liegt, so urteilt die Einnickbeurteilungseinheit 18, dass sich der Insasse 4 im Ermüdungszustand befindet. Wenn geurteilt wird, dass sich der Insasse 4 im Ermüdungszustand befindet, zählt die Einnickbeurteilungseinheit 18 die Zeit (im Folgenden „Zeit nach Einnickbeurteilung“) aufwärts. Die Einnickbeurteilungseinheit 18 speichert die aufwärts gezählte Zeit nach Einnickbeurteilung. Wenn die erhöhte Zeit nach Einnickbeurteilung die Einnickbeurteilungszeit erreicht oder überschreitet, bedeutet dies, dass der Ermüdungszustand des Insassen 4 für mindestens die Einnickbeurteilungszeit angehalten hat, sodass die Einnickbeurteilungseinheit 18 urteilt, dass der Insasse 4 eingenickt ist.
Wenn die aufwärts gezählte Zeit nach Einnickbeurteilung die Einnickbeurteilungszeit erreicht oder überschreitet und geurteilt wird, dass der Insasse 4 eingenickt ist, und nach Beginn des Aufwärtszählens der Zeit nach Einnickbeurteilung der Ermüdungsgrad des Insassen 4 den Einnickbeurteilungsschwellenwert nicht mehr überschreitet, sich der Insasse 4 nach Beginn der Aufwärtszählung der Zeit nach Einnickbeurteilung nicht länger im Augenschließzustand befindet oder der Motor des Fahrzeugs 30 ausgeschaltet wird, so setzt die Einnickbeurteilungseinheit 18 die Zeit nach Einnickbeurteilung zurück.
Die Einnickbeurteilungseinheit 18 gibt für den Fall, dass sie als Resultat der Einnickbeurteilung geurteilt hat, dass der Insasse 4 eingenickt ist, Augeninformationen an die Ausgabeeinheit 19 aus, die besagen, dass sich der Insasse 4 im Einnickzustand befindet.
Die Ausgabeeinheit 19 gibt verschiedene Warnmeldungen aus.
Wenn von der Blickabwendebeurteilungseinheit 17 Informationen ausgegeben werden, die besagen, dass sich der Insasse 4 im Zustand mit abgewendetem Blick befindet, oder anders ausgedrückt, wenn die Blickabwendebeurteilungseinheit 17 urteilt, dass der Insasse 4 seinen Blick abgewendet hat, so gibt die Ausgabeeinheit 19 Informationen (im Folgenden „erste Warninformationen“) an den Insassen 4 aus, die ihn warnen, dass er nicht aufmerksam nach vorne schaut. Wenn von der Einnickbeurteilungseinheit 18 Informationen ausgegeben werden, die besagen, dass sich der Insasse 4 im Einnickzustand befindet, oder anders ausgedrückt, wenn die Einnickbeurteilungseinheit 18 urteilt, dass der Insasse 4 eingenickt ist, so gibt die Ausgabeeinheit 19 Informationen (im Folgenden „zweite Warninformationen“) an den Insassen 4 aus, die ihn warnen, dass er eingenickt ist.
Die Ausgabeeinheit 19 gibt die ersten Warninformationen oder die zweiten Warninformationen beispielsweise an eine im Fahrzeug eingebaute Ausgabevorrichtung (nicht gezeigt) aus. In der ersten Ausführungsform ist vorgesehen, dass die Ausgabevorrichtung außerhalb der Insassenzustandsbeurteilungsvorrichtung 1 im Fahrzeug 30 eingebaut ist, doch kann die Ausgabevorrichtung auch in die Insassenzustandsbeurteilungsvorrichtung 1 eingebaut sein. Bei der Ausgabevorrichtung handelt es sich beispielsweise um das Display 34 oder eine Sprachausgabevorrichtung. Wenn die Ausgabevorrichtung beispielsweise das Display 34 ist, führt das Display eine den ersten Warninformationen oder den zweiten Warninformationen entsprechende Anzeige durch. Als konkretes Beispiel gibt das Display 34 beispielsweise für den Fall, dass die ersten Warninformationen von der Ausgabeeinheit 19 ausgegeben werden, eine Meldung „Nach vorne schauen“ aus. Auch zeigt das Display 34 beispielsweise für den Fall, dass die zweiten Warninformationen von der Ausgabeeinheit 19 ausgegeben werden, eine Meldung „Einnickgefahr. Bitte Pause einlegen“ an. Wenn die zweiten Warninformationen von der Ausgabeeinheit 19 ausgegeben werden, kann das Display 34 auch ein Kaffeetassensymbol oder dergleichen oder ein Symbol anzeigen, das zu einer Pause auffordert. Wenn die Ausgabevorrichtung die Sprachausgabevorrichtung ist, führt die Sprachausgabevorrichtung eine den ersten Warninformationen oder den zweiten Warninformationen entsprechende Sprachausgabe durch. Als konkretes Beispiel gibt die Sprachausgabevorrichtung beispielsweise für den Fall, dass die ersten Warninformationen von der Ausgabeeinheit 19 ausgegeben werden, eine Sprachausgabe „Nach vorne schauen“ aus. Auch gibt die Sprachausgabevorrichtung beispielsweise für den Fall, dass die zweiten Warninformationen von der Ausgabeeinheit 19 ausgegeben werden, eine Sprachausgabe „Einnickgefahr. Bitte Pause einlegen“ aus.
Für den Fall, dass die von der Augenzustandsbeurteilungseinheit 16 ausgegebenen Augeninformationen besagen, dass sich der Insasse 4 im Augenöffnungszustand befindet, erfolgt keine Ausgabe von der Ausgabeeinheit 19. Dies ist nur ein Beispiel, und die Ausgabeeinheit 19 kann für den Fall, dass die von der Augenzustandsbeurteilungseinheit 16 ausgegebenen Augeninformationen besagen, dass sich der Insasse 4 im Augenöffnungszustand befindet, eine Mitteilung an die Ausgabevorrichtung ausgeben, um mitzuteilen, dass der Fahrzustand gut ist.
Es folgt eine Beschreibung des Betriebs der Insassenzustandsbeurteilungsvorrichtung 1 der ersten Ausführungsform.
5 ist ein Ablaufdiagramm zum Erläutern des Betriebs der Insassenzustandsbeurteilungsvorrichtung 1 gemäß der ersten Ausführungsform. Die Insassenzustandsbeurteilungsvorrichtung 1 wiederholt während der Fahrt des Fahrzeugs 30 die im Ablaufdiagramm aus 5 gezeigten Betriebsvorgänge.
Die Bilderlangungseinheit 11 erlangt eine Bildaufnahme, in der das Gesicht des Insassen 4 in dem Fahrzeug 30 durch die im Fahrzeug bereitgestellte Bildaufnahmevorrichtung 2 aufgenommen wurde (Schritt ST1).
Die Bilderlangungseinheit 11 gibt die erlangte Bildaufnahme an die Augenöffnungsgradbeurteilungseinheit 12, die Blicklinienerfassungseinheit 13, die Gesichtsausrichtungserfassungseinheit 14 und die Müdigkeitserfassungseinheit 15 aus.
Die Augenöffnungsgradbeurteilungseinheit 12 beurteilt die auf Grundlage der in Schritt ST1 durch die Bilderlangungseinheit 11 erlangten Bildaufnahme den Öffnungsgrad der Augen des Insassen 4 (Schritt ST2).
Die Augenöffnungsgradbeurteilungseinheit 12 gibt die Augenöffnungsgradinformationen an die Augenzustandsbeurteilungseinheit 16 aus.
Die Blicklinienerfassungseinheit 13 erfasst auf Grundlage der in Schritt ST1 durch die Bilderlangungseinheit 11 erlangten Bildaufnahme die Blicklinie des Insassen 4 (Schritt ST3).
Die Blicklinienerfassungseinheit 13 gibt die Blicklinieninformationen an die Augenzustandsbeurteilungseinheit 16 aus.
Die Gesichtsausrichtungserfassungseinheit 14 erfasst auf Grundlage der in Schritt ST1 durch die Bilderlangungseinheit 11 erlangten Bildaufnahme die Gesichtsausrichtung des Insassen 4 (Schritt ST4). Die Gesichtsausrichtungserfassungseinheit 14 gibt die Gesichtsausrichtungsinformationen an die Augenzustandsbeurteilungseinheit 16 aus.
Die Müdigkeitserfassungseinheit 15 erfasst auf Grundlage der in Schritt ST1 durch die Bilderlangungseinheit 11 erlangten Bildaufnahme den Ermüdungsgrad des Insassen 4 (Schritt ST5). Die Müdigkeitserfassungseinheit 15 gibt die Ermüdungsgradinformationen an die Einnickbeurteilungseinheit 18 aus.
Wenn der durch die Augenöffnungsgradbeurteilungseinheit 12 beurteilte Augenöffnungsgrad des Insassen 4 unter dem ersten Schwellenwert liegt („JA“ in Schritt ST6), führt die Augenzustandsbeurteilungseinheit 16 die Augenniederschlagbeurteilung durch (Schritt ST7).
Wenn dagegen der durch die Augenöffnungsgradbeurteilungseinheit 12 beurteilte Augenöffnungsgrad des Insassen 4 auf oder über dem ersten Schwellenwert liegt („NEIN“ in Schritt ST6), urteilt die Augenzustandsbeurteilungseinheit 16, dass sich der Insasse 4 im Augenöffnungszustand befindet. Dann gibt die Augenzustandsbeurteilungseinheit 16 Augeninformationen an die Ausgabeeinheit 19 aus, die besagen, dass sich der Insasse 4 im Augenöffnungszustand befindet, und die Verarbeitung endet.
Wenn die Augenzustandsbeurteilungseinheit 16 als Resultat der Durchführung der Augenniederschlagbeurteilung urteilt, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet („JA“ in Schritt ST8), führt die Blickabwendebeurteilungseinheit 17 die Blickabwendebeurteilung durch, um zu beurteilen, ob der Insasse 4 seinen Blick abgewendet hat oder nicht (Schritt ST9).
Wenn dagegen die Augenzustandsbeurteilungseinheit 16 als Resultat der Durchführung der Augenniederschlagbeurteilung urteilt, dass sich der Insasse 4 nicht im Zustand mit niedergeschlagenen Augen befindet, oder anders ausgedrückt, wenn sie urteilt, dass er sich im Augenschließzustand befindet („NEIN“ in Schritt ST8), führt die Einnickbeurteilungseinheit 18 auf Grundlage des in Schritt ST5 durch die Müdigkeitserfassungseinheit 15 erfassten Ermüdungsgrads des Insassen 4 die Einnickbeurteilung durch, um zu beurteilen, ob der Insasse 4 eingenickt ist oder nicht (Schritt ST10).
Wenn von der Blickabwendebeurteilungseinheit 17 in Schritt ST9 Informationen ausgegeben werden, die besagen, dass sich der Insasse 4 im Zustand mit abgewendetem Blick befindet, oder anders ausgedrückt, wenn die Blickabwendebeurteilungseinheit 17 urteilt, dass der Insasse 4 seinen Blick abgewendet hat, so gibt die Ausgabeeinheit 19 die ersten Warninformationen an den Insassen 4 aus. Wenn von der Einnickbeurteilungseinheit 18 in Schritt ST10 Informationen ausgegeben werden, die besagen, dass sich der Insasse 4 im Einnickzustand befindet, oder anders ausgedrückt, wenn die Einnickbeurteilungseinheit 18 urteilt, dass der Insasse 4 eingenickt ist, so gibt die Ausgabeeinheit 19 die zweiten Warninformationen an den Insassen 4 aus (Schritt ST11).
Bei dem in dem Ablaufdiagramm aus 5 gezeigten Betrieb der Insassenzustandsbeurteilungsvorrichtung 1 muss die Verarbeitung der Schritte ST1 bis ST5 nicht zwingend in dieser Reihenfolge durchgeführt werden. Beispielsweise kann die Verarbeitung der Schritte ST1 bis ST5 parallel durchgeführt werden.
6 ist ein Ablaufdiagramm zum Erläutern von Einzelheiten der Verarbeitung zum Beurteilen von niedergeschlagenen Augen durch die Augenzustandsbeurteilungseinheit 16 in Schritt ST7 von 5.
Die Augenzustandsbeurteilungseinheit 16 beurteilt, ob die Blickrichtung des Insassen 4, die die Blicklinienerfassungseinheit 13 vor dem Urteilen, dass der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, erfasst hat, nach unten gerichtet war (Schritt ST71). Konkret zieht die Augenzustandsbeurteilungseinheit 16 zunächst die Augeninformationen heran und erlangt die Blicklinieninformationen des Insassen 4 von dem Zeitpunkt, bevor der Augenöffnungsgrad des Insassen 4 den ersten Schwellenwert unterschritten hat. Als Nächstes berechnet die Augenzustandsbeurteilungseinheit 16 auf Grundlage der erlangten Blicklinieninformationen des Insassen 4 anhand der Blickrichtung des Insassen 4, die die Blicklinienerfassungseinheit 13 vor dem Urteilen, dass der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, erfasst hat, eine Ortskurve der Blickrichtung des Insassen 4. Dann beurteilt die Augenzustandsbeurteilungseinheit 16, ob die berechnete Ortskurve der Blickrichtung des Insassen 4 nach unten gerichtet ist. Genauer beurteilt die Augenzustandsbeurteilungseinheit 16, ob die berechnete Ortskurve der Blickrichtung des Insassen 4 in den Abwärtsblickbereich gerichtet ist.
Wenn in Schritt ST71 die Blickrichtung des Insassen 4 nach unten gerichtet war („JA“ in Schritt ST71), beurteilt die Augenzustandsbeurteilungseinheit 16, ob die Gesichtsausrichtung des Insassen 4, die die Gesichtsausrichtungserfassungseinheit 14 vor dem Urteilen, dass der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, erfasst hat, nach unten gerichtet war (Schritt ST72). Konkret zieht die Augenzustandsbeurteilungseinheit 16 die Augeninformationen heran und erlangt die Gesichtsausrichtungsinformationen des Insassen 4 von dem Zeitpunkt, bevor der Augenöffnungsgrad des Insassen 4 den ersten Schwellenwert unterschritten hat. Die Augenzustandsbeurteilungseinheit 16 berechnet als Nächstes auf Grundlage der erlangten Gesichtsausrichtungsinformationen des Insassen 4 anhand der Gesichtsausrichtung des Insassen 4, die die Gesichtsausrichtungserfassungseinheit 14 vor dem Urteilen, dass der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, erfasst hat, die Ortskurve der Gesichtsausrichtung des Insassen 4. Dann beurteilt die Augenzustandsbeurteilungseinheit 16, ob die berechnete Ortskurve der Gesichtsausrichtung des Insassen 4 nach unten gerichtet ist. Genauer beurteilt die Augenzustandsbeurteilungseinheit 16, ob die berechnete Ortskurve der Gesichtsausrichtung des Insassen 4 in den Abwärtsblickbereich gerichtet ist.
Wenn in Schritt ST72 geurteilt wird, dass die Gesichtsausrichtung des Insassen 4, die die Gesichtsausrichtungserfassungseinheit 14 erfasst hat, bevor geurteilt wurde, dass der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nach unten gerichtet war („JA“ in Schritt ST72), so urteilt die Augenzustandsbeurteilungseinheit 16, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet (Schritt ST73). Anders ausgedrückt urteilt die Augenzustandsbeurteilungseinheit 16, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, wenn die Blickrichtung des Insassen 4 und die Gesichtsausrichtung des Insassen 4 tendenziell nach unten gerichtet sind und währenddessen der Augenöffnungsgrad des Insassen unter den ersten Schwellenwert gefallen ist. Dann gibt die Augenzustandsbeurteilungseinheit 16 Augeninformationen an die Blickabwendebeurteilungseinheit 17 aus, die besagen, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet.
Wenn in Schritt ST71 die Blickrichtung des Insassen 4 nicht nach unten gerichtet war („NEIN“ in Schritt ST71), oder wenn die Gesichtsausrichtung des Insassen 4 nicht nach unten gerichtet war („NEIN“ in Schritt ST72), also wenn es nicht der Fall ist, dass der Augenöffnungsgrad des Insassen 4 den ersten Schwellenwert nach dem Richten der Blickrichtung des Insassen 4 und der Gesichtsausrichtung des Insassen 4 nach unten unterschritten hat, so urteilt die Augenzustandsbeurteilungseinheit 16, dass sich der Insasse 4 im Augenschließzustand befindet (Schritt ST74). Anders ausgedrückt urteilt die Augenzustandsbeurteilungseinheit 16, dass sich der Insasse 4 im Augenschließzustand befindet, wenn nicht gilt, dass sich die Blickrichtung des Insassen 4 und die Gesichtsausrichtung des Insassen 4 tendenziell nach unten gerichtet haben und währenddessen der Augenöffnungsgrad des Insassen unter den ersten Schwellenwert gefallen ist. Dann gibt die Augenzustandsbeurteilungseinheit 16 Augeninformationen an die Einnickbeurteilungseinheit 18 aus, die besagen, dass sich der Insasse 4 im Augenschließzustand befindet.
7 ist ein Ablaufdiagramm zum Erläutern von Einzelheiten der Blickabwendebeurteilungsverarbeitung durch die Blickabwendebeurteilungseinheit 17 in Schritt ST9 von 5. Als ein Beispiel ist für die Blickabwendebeurteilungsbedingung die oben genannte Bedingung (1) eingestellt.
Wenn in Schritt ST8 von der Augenzustandsbeurteilungseinheit 16 Augeninformationen ausgegeben werden, die besagen, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, zählt die Blickabwendebeurteilungseinheit 17 die Zeit nach Beurteilung niedergeschlagener Augen (Schritt ST91) aufwärts. Die Blickabwendebeurteilungseinheit 17 speichert die aufwärts gezählte Zeit nach Beurteilung niedergeschlagener Augen.
Die Blickabwendebeurteilungseinheit 17 beurteilt, ob der Zustand mit niedergeschlagenen Augen des Insassen 4 mindestens für die Blickabwendebeurteilungszeit angehalten hat (Schritt ST92). Konkret beurteilt die Blickabwendebeurteilungseinheit 17, ob die erhöhte Zeit nach Beurteilung niedergeschlagener Augen die Blickabwendebeurteilungszeit erreicht oder überschritten hat.
Wenn in Schritt ST92 geurteilt wird, dass der Zustand mit niedergeschlagenen Augen des Insassen 4 mindestens für die Blickabwendebeurteilungszeit angehalten hat („JA“ in Schritt ST92), so urteilt die Blickabwendebeurteilungseinheit 17, dass die Blickabwendebeurteilungsbedingung erfüllt ist, und urteilt, dass sich der Insasse 4 im Zustand mit abgewendetem Blick befindet (Schritt ST93). Dann gibt die Blickabwendebeurteilungseinheit 17 Augeninformationen an die Ausgabeeinheit 19 aus, die besagen, dass sich der Insasse 4 im Zustand mit abgewendetem Blick befindet.
Wenn in Schritt ST92 geurteilt wird, dass der Zustand mit niedergeschlagenen Augen des Insassen 4 nicht mindestens für die Blickabwendebeurteilungszeit angehalten hat („NEIN“ in Schritt ST92), so urteilt die Blickabwendebeurteilungseinheit 17, dass die Blickabwendebeurteilungsbedingung nicht erfüllt ist, und urteilt, dass sich der Insasse 4 nicht im Zustand mit abgewendetem Blick befindet, und beendet die Blickabwendebeurteilungsverarbeitung.
8 ist ein Ablaufdiagramm zum Erläutern von Einzelheiten einer Einnickbeurteilungsverarbeitung durch die Einnickbeurteilungseinheit 18 in Schritt ST10 von 5.
Die Einnickbeurteilungseinheit 18 ermittelt den Ermüdungsgrad des Insassen 4, den die Müdigkeitserfassungseinheit 15 in Schritt ST5 von 5 erfasst hat. Dann beurteilt die Einnickbeurteilungseinheit 18, ob sich der Insasse 4 im Ermüdungszustand befindet, in dem der Ermüdungsgrad auf oder über dem Ermüdungsbeurteilungsschwellenwert liegt (Schritt ST101) .
Wenn in Schritt ST101 geurteilt wird, dass sich der Insasse 4 im Ermüdungszustand befindet, in dem der Ermüdungsgrad auf oder über dem Ermüdungsbeurteilungsschwellenwert liegt („JA“ in Schritt ST101), zählt die Einnickbeurteilungseinheit 18 die Zeit nach Einnickbeurteilung aufwärts (Schritt ST102).
Die Einnickbeurteilungseinheit 18 beurteilt, ob der Ermüdungszustand des Insassen 4 mindestens für die Einnickbeurteilungszeit angehalten hat (Schritt ST103). Konkret beurteilt die Einnickbeurteilungseinheit 18, ob die erhöhte Zeit nach Einnickbeurteilung die Einnickbeurteilungszeit erreicht oder überschritten hat.
Wenn in Schritt ST103 geurteilt wird, dass der Ermüdungszustand des Insassen 4 mindestens für die Einnickbeurteilungszeit angehalten hat („JA“ in Schritt ST103), so urteilt die Einnickbeurteilungseinheit 18, dass der Insasse 4 eingenickt ist (Schritt ST104). Dann gibt die Einnickbeurteilungseinheit 18 Informationen an die Ausgabeeinheit 19 aus, die besagen, dass sich der Insasse 4 im eingenickten Zustand befindet.
Wenn in Schritt ST101 geurteilt wird, dass sich der Insasse 4 nicht im Ermüdungszustand befindet, in dem der Ermüdungsgrad auf oder über dem Ermüdungsbeurteilungsschwellenwert liegt („NEIN“ in Schritt ST101), und wenn in Schritt ST103 geurteilt wird, dass der Ermüdungszustand des Insassen 4 nicht mindestens für die Einnickbeurteilungszeit angehalten hat („NEIN“ in Schritt ST103), so urteilt die Einnickbeurteilungseinheit 18, dass sich der Insasse 4 nicht im eingenickten Zustand befindet, und beendet die Einnickbeurteilungsverarbeitung.
Wie oben erörtert, liegt im Stand der Technik das Problem vor, dass nicht die Möglichkeit berücksichtigt wird, dass der Insasse 4 aus der Perspektive der Bildaufnahmevorrichtung die Augen niederschlägt, sodass nicht zwischen dem Zustand, in dem die Augen tatsächlich geschlossen sind, und dem Zustand mit niedergeschlagenen Augen unterschieden werden kann.
Die Insassenzustandsbeurteilungsvorrichtung 1 der ersten Ausführungsform dagegen urteilt für den Fall, dass der Augenöffnungsgrad des Insassen 4 im Fahrzeug 30 den ersten Schwellenwert unterschritten hat, sofern der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die Blicklinie des Insassen 4 und die Gesichtsausrichtung des Insassen 4 nach unten gerichtet haben, dass sich der Insasse im Zustand mit niedergeschlagenen Augen befindet, und urteilt, dass sich der Insasse 4 im Augenschließzustand befindet, wenn es nicht der Fall ist, dass der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die Blicklinie des Insassen 4 und die Gesichtsausrichtung des Insassen 4 nach unten gerichtet haben.
Daher kann die Insassenzustandsbeurteilungsvorrichtung 1 bei der Beurteilung, ob sich der Insasse 4 im Augenschließzustand oder im Zustand mit niedergeschlagenen Augen befindet, den Fall berücksichtigen, dass der Insasse 4 seinen Blick in Bezug auf die normale Fahrstellung nach unten richtet.
Wenn die Insassenzustandsbeurteilungsvorrichtung 1 der ersten Ausführungsform urteilt, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, beurteilt sie, ob der Insasse 4 seinen Blick angewendet hat, und wenn sie urteilt, dass sich der Insasse 4 im Zustand mit abgewendetem Blick befindet, gibt sie die ersten Warninformationen aus. Wenn die Insassenzustandsbeurteilungsvorrichtung 1 urteilt, dass sich der Insasse 4 im Augenschließzustand befindet, beurteilt sie, ob der Insasse 4 eingenickt ist, und wenn sie urteilt, dass sich der Insasse 4 im eingenickten Zustand befindet, gibt sie die zweiten Warninformationen aus. Da die Insassenzustandsbeurteilungsvorrichtung 1 aus der Bildaufnahme beurteilen kann, ob sich der Insasse 4 im Augenschließzustand oder im Zustand mit niedergeschlagenen Augen befindet, wird verhindert, dass beispielsweise geurteilt wird, dass sich der Insasse 4 im Augenschließzustand befindet, obwohl seine Augen tatsächlich nicht geschlossen sind, und infolgedessen geurteilt wird, dass er eingenickt ist, und die zweiten Warninformationen ausgegeben werden. Die Insassenzustandsbeurteilungsvorrichtung 1 kann also beispielsweise verhindern, dass der Insasse 4, dessen Augen tatsächlich nicht geschlossen sind, eine Einnickwarnung erhält, die nicht zum tatsächlichen Zustand des Insassen 4 passt.
Wie oben erörtert, gibt die Insassenzustandsbeurteilungsvorrichtung 1 für den Fall, dass sie urteilt, dass sich der Insasse 4 im Zustand mit abgewendetem Blick befindet, die ersten Warninformationen für die Warnung „Achtung, nach vorne schauen“ aus. Wenn der Insasse 4 nach unten blickt, kommt es vor, dass nicht unmittelbar klar zwischen dem Zustand mit niedergeschlagenen Augen und dem Augenschließzustand unterschieden werden kann. Die Insassenzustandsbeurteilungsvorrichtung 1 urteilt daher für den Fall, dass sich der Insasse 4 der Bildaufnahme zufolge nicht im Augenöffnungszustand befindet, oder anders ausgedrückt, der Augenöffnungsgrad des Insassen 4 den ersten Schwellenwert unterschritten hat, dass der Insasse 4 als im Zustand mit niedergeschlagenen Augen befindlich zu betrachten ist, sofern der Augenöffnungsgrad des Insassen 4 den ersten Schwellenwert unterschritten hat, nachdem sich die Blicklinie des Insassen 4 und die Gesichtsausrichtung des Insassen 4 nach unten gerichtet haben. Wenn der Zustand mit niedergeschlagenen Augen des Insassen 4 mindestens für die Blickabwendebeurteilungszeit angehalten hat, urteilt die Insassenzustandsbeurteilungsvorrichtung 1, dass sich der Insasse 4 im Zustand mit abgewendetem Blick befindet. Da aus der Bildaufnahme nicht unmittelbar klar zwischen dem Zustand mit niedergeschlagenen Augen und dem Augenschließzustand unterschieden werden kann, ist nicht auszuschließen, dass der Insasse 4 die Augen tatsächlich geschlossen hat, obwohl die Insassenzustandsbeurteilungsvorrichtung 1 urteilt, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet. Indem die Insassenzustandsbeurteilungsvorrichtung 1 im Falle der Beurteilung, dass sich der Insasse 4 im Zustand mit abgewendetem Blick befindet, die Warnung „Achtung, nach vorne schauen“ ausgibt, kann sie eine fehlerhafte Warnung an den Insassen 4 vermeiden, indem sie eine Warnung ausgibt, die einen weiteren Bereich abdeckt als beispielsweise die Warnung „Achtung, Blick abgewendet“.
Konkret urteilt bei der Insassenzustandsbeurteilungsvorrichtung 1 der ersten Ausführungsform die Augenzustandsbeurteilungseinheit 16, wenn der durch die Augenöffnungsgradbeurteilungseinheit 12 beurteilte Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, wenn der durch die Augenöffnungsgradbeurteilungseinheit 12 beurteilte Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die durch die Blicklinienerfassungseinheit 13 erfasste Blickrichtung des Insassen 4 nach unten gerichtet hat und sich die durch die Gesichtsausrichtungserfassungseinheit 14 erfasste Ausrichtung des Gesichts des Insassen 4 nach unten gerichtet hat, während sie urteilt, dass sich der Insasse 4 im Augenschließzustand befindet, wenn es nicht der Fall ist, dass der durch die Augenöffnungsgradbeurteilungseinheit 12 beurteilte Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die durch die Blicklinienerfassungseinheit 13 erfasste Blickrichtung des Insassen 4 nach unten gerichtet hat und sich die durch die Gesichtsausrichtungserfassungseinheit 14 erfasste Ausrichtung des Gesichts des Insassen 4 nach unten gerichtet hat. Dies ist nur ein Beispiel, und die Augenzustandsbeurteilungseinheit 16 kann auch die Gesichtsausrichtung des Insassen 4 ignorieren und, wenn der durch die Augenöffnungsgradbeurteilungseinheit 12 beurteilte Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, urteilen, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, sofern der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die durch die Blicklinienerfassungseinheit 13 erfasste Blickrichtung des Insassen 4 nach unten gerichtet hat, und urteilen, dass sich der Insasse 4 im Augenschließzustand befindet, wenn es nicht der Fall ist, dass der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die durch die Blicklinienerfassungseinheit 13 erfasste Blickrichtung des Insassen 4 nach unten gerichtet hat.
In diesem Fall kann die Insassenzustandsbeurteilungsvorrichtung 1 des in 1 gezeigten Ausgestaltungsbeispiels der Insassenzustandsbeurteilungsvorrichtung 1 so ausgestaltet sein, dass sie die Gesichtsausrichtungserfassungseinheit 14 nicht umfasst. Was die Betriebsvorgänge der Augenzustandsbeurteilungseinheit 16 der Insassenzustandsbeurteilungsvorrichtung 1 betrifft, die anhand des Ablaufdiagramms aus 6 beschrieben wurden, so kann die Verarbeitung von Schritt ST72 wegfallen.
Indem aber die Insassenzustandsbeurteilungsvorrichtung 1 die Gesichtsausrichtung des Insassen 4 berücksichtigt und für den Fall, dass der Augenöffnungsgrad des Insassen 4 den ersten Schwellenwert unterschritten hat, sofern der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem die Gesichtsausrichtung des Insassen 4 sich nach unten gerichtet haben, urteilt, dass sich der Insasse im Zustand mit niedergeschlagenen Augen befindet, kann die Zuverlässigkeit der Beurteilung des nach unten gerichteten Blicks, bei der beurteilt wird, ob sich die Blicklinie des Insassen 4 nach unten gerichtet hat, erhöht werden.
Wenn beispielsweise geurteilt wird, dass der Augenöffnungsgrad unter dem ersten Schwellenwert liegt, und die aus der durch die Blicklinienerfassungseinheit 13 vor dem Zeitpunkt, an dem der Augenöffnungsgrad des Insassen 4 unter dem ersten Schwellenwert liegt, erfassten Blickrichtung des Insassen 4 berechnete Ortskurve der Blicklinie des Insassen 4 und die aus der durch die Gesichtsausrichtungserfassungseinheit 14 vor dem Zeitpunkt, an dem der Augenöffnungsgrad des Insassen 4 unter dem ersten Schwellenwert liegt, erfassten Gesichtsausrichtung des Insassen 4 berechnete Ortskurve der Gesichtsausrichtung des Insassen 4 auf ein im Abwärtsblickbereich vorhandenes Objekt (im Folgenden „Abwärtsblickobjekt“) gerichtet sind, so kann die Augenzustandsbeurteilungseinheit 16 daraus schließen, dass die Blickrichtung des Insassen 4 nach unten gerichtet ist.
Als das Abwärtsblickobjekt sind beispielsweise bordeigene Vorrichtungen wie die Navigationsvorrichtung, die Klimaanlagenbedienungseinheit 35 oder das Display 34 denkbar. Auch der Innenspiegel 36 kann das Abwärtsblickobjekt darstellen.
Da die Installationsposition des Abwärtsblickobjekts im Voraus bekannt ist, kann die Augenzustandsbeurteilungseinheit 16 beurteilen, ob die Blickrichtung auf das Abwärtsblickobjekt gerichtet ist, solange sie die Ortskurve der Blickrichtung des Insassen 4 kennt. Was die Betriebsvorgänge der Augenzustandsbeurteilungseinheit 16 der Insassenzustandsbeurteilungsvorrichtung 1 betrifft, die anhand des Ablaufdiagramms aus 6 beschrieben wurden, so beurteilt die Augenzustandsbeurteilungseinheit 16 in diesem Fall in Schritt ST71, ob die Ortskurve der Blickrichtung des Insassen 4 auf das Abwärtsblickobjekt gerichtet ist. Auch beurteilt die Augenzustandsbeurteilungseinheit 16 in Schritt ST72, ob die berechnete Ortskurve der Gesichtsausrichtung des Insassen 4 auf das Abwärtsblickobjekt gerichtet ist.
Auch kann die Augenzustandsbeurteilungseinheit 16 die Gesichtsausrichtung des Insassen 4 ignorieren und für den Fall, dass der Augenöffnungsgrad unter dem ersten Schwellenwert liegt, und die aus der durch die Blicklinienerfassungseinheit 13 vor dem Zeitpunkt, an dem der Augenöffnungsgrad des Insassen 4 unter dem ersten Schwellenwert liegt, erfassten Blickrichtung des Insassen 4 berechnete Ortskurve der Blicklinie des Insassen 4 auf das Abwärtsblickobjekt gerichtet ist, schließen, dass die Blickrichtung des Insassen 4 nach unten gerichtet ist. In diesem Fall kann die Insassenzustandsbeurteilungsvorrichtung 1 des in 1 gezeigten Ausgestaltungsbeispiels der Insassenzustandsbeurteilungsvorrichtung 1 so ausgestaltet sein, dass sie die Gesichtsausrichtungserfassungseinheit 14 nicht umfasst. Was die Betriebsvorgänge der Augenzustandsbeurteilungseinheit 16 der Insassenzustandsbeurteilungsvorrichtung 1 betrifft, die anhand des Ablaufdiagramms aus 6 beschrieben wurden, so beurteilt die Augenzustandsbeurteilungseinheit 16 in diesem Fall in Schritt ST71, ob die Ortskurve der Blickrichtung des Insassen 4 auf das im Abwärtsblickbereich vorhandene Abwärtsblickobjekt gerichtet ist. Die Augenzustandsbeurteilungseinheit 16 kann die Verarbeitung von Schritt ST72 weglassen.
In der ersten Ausführungsform führt die Insassenzustandsbeurteilungsvorrichtung 1 die Blickabwendebeurteilung durch, um zu beurteilen, ob der Insasse 4 den Blick abgewendet hat. Allerdings ist dies nur ein Beispiel, und die Insassenzustandsbeurteilungsvorrichtung 1 muss nicht zwingend eine Funktion zum Durchführen der Blickabwendebeurteilung aufweisen.
Wenn die Insassenzustandsbeurteilungsvorrichtung 1 keine Funktion zum Durchführen der Blickabwendebeurteilung aufweist, kann die Insassenzustandsbeurteilungsvorrichtung 1 des in 1 gezeigten Ausgestaltungsbeispiels der Insassenzustandsbeurteilungsvorrichtung 1 so ausgestaltet sein, dass sie die Blickabwendebeurteilungseinheit 17 nicht umfasst. Was die Betriebsvorgänge der Insassenzustandsbeurteilungsvorrichtung 1 betrifft, die anhand des Ablaufdiagramms aus 5 beschrieben wurden, so kann die Verarbeitung von Schritt ST9 wegfallen.
In diesem Fall gibt die Augenzustandsbeurteilungseinheit 16 für den Fall, das geurteilt wird, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, Augeninformationen an die Ausgabeeinheit 19 aus, die besagen, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet. Wenn von der
Augenzustandsbeurteilungseinheit 16 Augeninformationen ausgegeben werden, die besagen, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, kann die Ausgabeeinheit 19 beispielsweise die ersten Warninformationen zum Warnen vor abgewendetem Blick ausgeben. Die Ausgabeeinheit 19 kann dabei die ersten Warninformationen ausgeben, wenn der Zustand mit niedergeschlagenen Augen des Insassen 1 mindestens für die Blickabwendebeurteilungszeit angehalten hat.
Wenn die Insassenzustandsbeurteilungsvorrichtung 1 beispielsweise mit einer Blickabwendebeurteilungsvorrichtung (nicht gezeigt) verbunden ist, die eine Blickabwendebeurteilung des Insassen 4 auf Grundlage der Augenzustandsinformationen durchführt, kann die Ausgabeeinheit 19 die von der Augenzustandsbeurteilungseinheit 16 ausgegebenen Augenzustandsinformationen, die besagen, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, an die Blickabwendebeurteilungsvorrichtung ausgeben.
In der ersten Ausführungsform führt die Insassenzustandsbeurteilungsvorrichtung 1 die Einnickbeurteilung durch, um zu beurteilen, ob der Insasse 4 eingenickt ist. Allerdings ist dies nur ein Beispiel, und die Insassenzustandsbeurteilungsvorrichtung 1 muss nicht zwingend eine Funktion zum Durchführen der Einnickbeurteilung aufweisen.
Wenn die Insassenzustandsbeurteilungsvorrichtung 1 keine Funktion zum Durchführen der Einnickbeurteilung aufweist, kann die Insassenzustandsbeurteilungsvorrichtung 1 des in 1 gezeigten Ausgestaltungsbeispiels der Insassenzustandsbeurteilungsvorrichtung 1 so ausgestaltet sein, dass sie die Müdigkeitserfassungseinheit 15 und die Einnickbeurteilungseinheit 18 nicht umfasst. Was die Betriebsvorgänge der Insassenzustandsbeurteilungsvorrichtung 1 betrifft, die anhand des Ablaufdiagramms aus 5 beschrieben wurden, so kann der Betriebsvorgang von Schritt ST10 wegfallen.
In diesem Fall gibt die Augenzustandsbeurteilungseinheit 16 für den Fall, das geurteilt wird, dass sich der Insasse 4 im Augenschließzustand befindet, Augeninformationen an die Ausgabeeinheit 19 aus, die besagen, dass sich der Insasse 4 im Augenschließzustand befindet. Wenn von der Augenzustandsbeurteilungseinheit 16 Augeninformationen ausgegeben werden, die besagen, dass sich der Insasse 4 im Augenschließzustand befindet, kann die Ausgabeeinheit 19 beispielsweise die zweiten Warninformationen zum Warnen vor Einnicken ausgeben. Die Ausgabeeinheit 19 kann dabei die zweiten Warninformationen ausgeben, wenn der Augenschließzustand des Insassen 4 mindestens für die Einnickbeurteilungszeit angehalten hat.
Wenn die Insassenzustandsbeurteilungsvorrichtung 1 beispielsweise mit einer Einnickbeurteilungsvorrichtung (nicht gezeigt) verbunden ist, die eine Einnickbeurteilung des Insassen 4 auf Grundlage der Augenzustandsinformationen durchführt, kann die Ausgabeeinheit 19 die von der Augenzustandsbeurteilungseinheit 16 ausgegebenen Augenzustandsinformationen, die besagen, dass sich der Insasse 4 im Augenschließzustand befindet, an die Einnickbeurteilungsvorrichtung ausgeben.
Die Insassenzustandsbeurteilungsvorrichtung 1 muss die Blickabwendebeurteilungseinheit 17, die Müdigkeitserfassungseinheit 15 und die Einnickbeurteilungseinheit 18 nicht umfassen und muss weder die Funktion zum Durchführen der Blickabwendebeurteilung noch die Funktion zur Einnickbeurteilung aufweisen.
Bei der Insassenzustandsbeurteilungsvorrichtung 1 der ersten Ausführungsform kann die Blickabwendebeurteilungseinheit 17, wenn durch die Augenzustandsbeurteilungseinheit 16 geurteilt wird, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet und die Blickabwendebeurteilungsverarbeitung durchgeführt wird und die Zeit nach Beurteilung niedergeschlagener Augen aufwärts gezählt wird, für den Fall, dass im Zuge dessen der durch die Augenöffnungsgradbeurteilungseinheit 12 beurteilte Augenöffnungsgrad einen Schwellenwert unterschreitet, der kleiner als der erste Schwellenwert ist (im Folgenden „zweiter Schwellenwert“), das Aufwärtszählen der Zeit nach Beurteilung niedergeschlagener Augen vorübergehend anhalten. Die Blickabwendebeurteilungseinheit 17 führt dabei keine Rücksetzung der Zeit nach Beurteilung niedergeschlagener Augen durch. Der zweite Schwellenwert ist nach Bedarf einstellbar, solange der zweite Schwellenwert auf einen Wert eingestellt ist, der kleiner als der erste Schwellenwert ist.
Es ist beispielsweise auch denkbar, dass der Insasse 4 eine Bewegung vollzieht, die es so erscheinen lässt, als würde er seine Blickrichtung oder seine Gesichtsausrichtung nach unten richten, aber tatsächlich die Augen schließt und in den Augenschließzustand eintritt. In Anbetracht dessen hält die Blickabwendebeurteilungseinheit 17 bei der Blickabwendebeurteilungsverarbeitung das Aufwärtszählen der Zeit nach Beurteilung niedergeschlagener Augen vorübergehend an, wenn der Augenöffnungsgrad des Insassen 4 unter dem zweiten Schwellenwert liegt. Wenn der Insasse 4 die Augen in einer Bewegung schließt, die dem Niederschlagen der Augen gleicht, kann auf diese Weise verhindert werden, dass die Insassenzustandsbeurteilungsvorrichtung 1 fälschlicherweise urteilt, dass der Insasse 4 den Blick abgewendet hat. Die Blickabwendebeurteilungseinheit 17 kann beispielsweise das Aufwärtszählen der Zeit nach Beurteilung niedergeschlagener Augen vorübergehend anhalten und dies der Einnickbeurteilungseinheit 18 mitteilen, und die Einnickbeurteilungseinheit 18 kann die Zeit nach Einnickbeurteilung aufwärts zählen.
In der ersten Ausführungsform wird angenommen, dass der Insasse 4, dessen Zustand durch die Insassenzustandsbeurteilungsvorrichtung 1 beurteilt wird, der Fahrer des Fahrzeugs 30 ist. Allerdings ist dies nur ein Beispiel.
Die Insassenzustandsbeurteilungsvorrichtung 1 kann auch den Zustand anderer Insassen 4 des Fahrzeugs 30 als den des Fahrers beurteilen.
9A und 9B sind Ansichten eines Hardwareausgestaltungsbeispiels der Insassenzustandsbeurteilungsvorrichtung 1 gemäß der ersten Ausführungsform.
In der ersten Ausführungsform werden die Funktionen der Bilderlangungseinheit 11, der Augenöffnungsgradbeurteilungseinheit 12, der Blicklinienerfassungseinheit 13, der Gesichtsausrichtungserfassungseinheit 14, der Müdigkeitserfassungseinheit 15, der Augenzustandsbeurteilungseinheit 16, der Blickabwendebeurteilungseinheit 17, der Einnickbeurteilungseinheit 18 und der Ausgabeeinheit 19 durch eine Verarbeitungsschaltung 1001 umgesetzt. Die Insassenzustandsbeurteilungsvorrichtung 1 umfasst also die Verarbeitungsschaltung 1001 für eine Steuerung zum Beurteilen des Zustands des Insassen 4, die eine Beurteilung einschließt, ob sich der Insasse 4 für den Fall, dass der Augenöffnungsgrad des Insassen 4 den ersten Schwellenwert unterschritten hat, im Zustand mit niedergeschlagenen Augen oder im Augenschließzustand befindet.
Bei der Verarbeitungsschaltung 1001 kann es sich wie in 9A gezeigt um dedizierte Hardware oder wie in 9B gezeigt um einen Prozessor 1004 handeln, der ein in einem Speicher abgelegtes Programm ausführt.
Wenn es sich bei der Verarbeitungsschaltung 1001 um dedizierte Hardware handelt, so kann die Verarbeitungsschaltung 1001 beispielsweise eine einzelne Schaltung, eine Vielzahl von Schaltungen, ein programmierter Prozessor, ein parallelisiert programmierter Prozessor, ein ASIC (anwendungsspezifische integrierte Schaltung), ein FPGA (feldprogrammierbares Gate-Array) oder eine Kombination aus diesen sein.
Wenn es sich bei der Verarbeitungsschaltung um den Prozessor 1004 handelt, werden die Funktionen der Bilderlangungseinheit 11, der Augenöffnungsgradbeurteilungseinheit 12, der Blicklinienerfassungseinheit 13, der Gesichtsausrichtungserfassungseinheit 14, der Müdigkeitserfassungseinheit 15, der Augenzustandsbeurteilungseinheit 16, der Blickabwendebeurteilungseinheit 17, der Einnickbeurteilungseinheit 18 und der Ausgabeeinheit 19 durch Software, Firmware oder eine Kombination aus Software und Firmware umgesetzt. Die Software oder Firmware kann als Programm dargestellt sein und in einem Speicher 1005 gespeichert sein. Indem der Prozessor 1004 das im Speicher 1005 gespeicherte Programm ausliest und ausführt, führt er die Funktionen der Bilderlangungseinheit 11, der Augenöffnungsgradbeurteilungseinheit 12, der Blicklinienerfassungseinheit 13, der Gesichtsausrichtungserfassungseinheit 14, der Müdigkeitserfassungseinheit 15, der Augenzustandsbeurteilungseinheit 16, der Blickabwendebeurteilungseinheit 17, der Einnickbeurteilungseinheit 18 und der Ausgabeeinheit 19 aus. Die Insassenzustandsbeurteilungsvorrichtung 1 umfasst somit den Speicher 1005 zum Ablegen des Programms, durch das bei Ausführung durch den Prozessor 1004 die oben erörterten Schritte ST1 bis ST11 von 5 wirkungsvoll ausgeführt werden. Es lässt sich sagen, dass das im Speicher 1005 gespeicherte Programm den Ablauf oder das Verfahren der Verarbeitungen der Bilderlangungseinheit 11, der Augenöffnungsgradbeurteilungseinheit 12, der Blicklinienerfassungseinheit 13, der Gesichtsausrichtungserfassungseinheit 14, der Müdigkeitserfassungseinheit 15, der Augenzustandsbeurteilungseinheit 16, der Blickabwendebeurteilungseinheit 17, der Einnickbeurteilungseinheit 18 und der Ausgabeeinheit 19 auf einem Computer ausführt. Der Speicher 1005 kann dabei beispielsweise ein nichtflüchtiger oder flüchtiger Halbleiterspeicher wie RAM, ROM (Nurlesespeicher), Flash-Speicher, EPROM (löschbarer programmierbarer Nurlesespeicher), EEPROM (elektrisch löschbarer programmierbarer Nurlesespeicher) oder eine Magnet-Disk, eine Floppy Disk, eine optische Disk, eine Compact Disc, eine Minidisk, eine DVD (Digital Versatile Disc) oder dergleichen sein.
Es ist auch möglich, dass ein Teil der Funktionen der Bilderlangungseinheit 11, der Augenöffnungsgradbeurteilungseinheit 12, der Blicklinienerfassungseinheit 13, der Gesichtsausrichtungserfassungseinheit 14, der Müdigkeitserfassungseinheit 15, der Augenzustandsbeurteilungseinheit 16, der Blickabwendebeurteilungseinheit 17, der Einnickbeurteilungseinheit 18 und der Ausgabeeinheit 19 durch dedizierte Hardware und ein Teil durch Software, Firmware umgesetzt wird. Beispielsweise ist es möglich, dass es sich bei der Bilderlangungseinheit 11 um die Verarbeitungsschaltung 1001 als dedizierte Hardware handelt, während der Prozessor 1004 für die Augenöffnungsgradbeurteilungseinheit 12, die Blicklinienerfassungseinheit 13, die Gesichtsausrichtungserfassungseinheit 14, die Müdigkeitserfassungseinheit 15, die Augenzustandsbeurteilungseinheit 16, die Blickabwendebeurteilungseinheit 17, die Einnickbeurteilungseinheit 18 und die Ausgabeeinheit 19 ein in dem Speicher 1005 abgelegtes Programm ausliest und ausführt, um ihre Funktionen umzusetzen.
Die Insassenzustandsbeurteilungsvorrichtung 1 umfasst Vorrichtungen wie die Bildaufnahmevorrichtung 2 oder die Ausgabevorrichtung und dergleichen sowie eine Eingabeschnittstellenvorrichtung 1002 und eine Ausgabeschnittstellenvorrichtung 1003 zum Durchführen von drahtgebundener oder drahtloser Kommunikation.
In der ersten Ausführungsform sind bei der Insassenzustandsbeurteilungsvorrichtung 1 als bordeigene im Fahrzeug 30 eingebaute Vorrichtungen die Bilderlangungseinheit 11, die Augenöffnungsgradbeurteilungseinheit 12, die Blicklinienerfassungseinheit 13, die Gesichtsausrichtungserfassungseinheit 14, die Müdigkeitserfassungseinheit 15, die Augenzustandsbeurteilungseinheit 16, die Blickabwendebeurteilungseinheit 17, die Einnickbeurteilungseinheit 18 und die Ausgabeeinheit 19 in der Insassenzustandsbeurteilungsvorrichtung 1 bereitgestellt.
Es liegt jedoch keine Einschränkung hierauf vor, und ein Teil der Bilderlangungseinheit 11, der Augenöffnungsgradbeurteilungseinheit 12, der Blicklinienerfassungseinheit 13, der Gesichtsausrichtungserfassungseinheit 14, die Müdigkeitserfassungseinheit 15, der Augenzustandsbeurteilungseinheit 16, der Blickabwendebeurteilungseinheit 17, der Einnickbeurteilungseinheit 18 und der Ausgabeeinheit 19 kann als bordeigene Vorrichtungen im Fahrzeug 30 eingebaut sein, während die übrigen auf einem Server bereitgestellt sind, mit dem die bordeigenen Vorrichtungen über ein Netzwerk verbunden sind, wodurch das Insassenzustandsbeurteilungssystem 100 durch die bordeigenen Vorrichtungen und den Server ausgebildet sein kann.
Die Bilderlangungseinheit 11, die Augenöffnungsgradbeurteilungseinheit 12, die Blicklinienerfassungseinheit 13, die Gesichtsausrichtungserfassungseinheit 14, der Müdigkeitserfassungseinheit 15, die Augenzustandsbeurteilungseinheit 16, die Blickabwendebeurteilungseinheit 17, die Einnickbeurteilungseinheit 18 und die Ausgabeeinheit 19 können vollständig auf einem Server bereitgestellt sein.
Wie oben beschrieben, umfasst die Insassenzustandsbeurteilungsvorrichtung 1 der ersten Ausführungsform die Bilderlangungseinheit 11, die eine Bildaufnahme erlangt, in der das Gesicht des Insassen 4 in dem Fahrzeug 30 durch die im Fahrzeug bereitgestellte Bildaufnahmevorrichtung 2 aufgenommen wurde, die Augenöffnungsgradbeurteilungseinheit 12, die auf Grundlage der durch die Bilderlangungseinheit 11 erlangten Bildaufnahme den Öffnungsgrad der Augen des Insassen 4 beurteilt, die Blicklinienerfassungseinheit 13, die auf Grundlage der durch die Bilderlangungseinheit 11 erlangten Bildaufnahme die Blicklinie des Insassen 4 erfasst, und die Augenzustandsbeurteilungseinheit 16, die, wenn der durch die Augenöffnungsgradbeurteilungseinheit 12 beurteilte Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, urteilt, dass sich der Insasse 4 im Zustand mit niedergeschlagenen Augen befindet, sofern der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die durch die Blicklinienerfassungseinheit 13 erfasste Blickrichtung des Insassen 4 nach unten gerichtet hat, und urteilt, dass sich der Insasse 4 im Augenschließzustand befindet, wenn es nicht der Fall ist, dass der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die durch die Blicklinienerfassungseinheit 13 erfasste Blickrichtung des Insassen 4 nach unten gerichtet hat. Daher kann die Insassenzustandsbeurteilungsvorrichtung 1 bei der Beurteilung, ob sich der Insasse 4 im Augenschließzustand oder im Zustand mit niedergeschlagenen Augen befindet, den Fall berücksichtigen, dass der Insasse 4 seinen Blick in Bezug auf die normale Fahrstellung nach unten richtet.
Beliebige Aufbauelemente der Ausführungsform können verändert und beliebige Aufbauelemente der Ausführungsform können weggelassen werden.
Gewerbliche Anwendung
Die Insassenzustandsbeurteilungsvorrichtung gemäß der vorliegenden Offenbarung kann bei der Beurteilung, ob sich der Insasse im Augenschließzustand oder im Zustand mit niedergeschlagenen Augen befindet, den Fall berücksichtigen, dass der Insasse seinen Blick in Bezug auf die normale Fahrstellung nach unten richtet.
Erläuterung der Bezugszeichen

1: Insassenzustandsbeurteilungsvorrichtung
11: Bilderlangungseinheit
12: Augenöffnungsgradbeurteilungseinheit
13: Blicklinienerfassungseinheit
14: Gesichtsausrichtungserfassungseinheit
15: Müdigkeitserfassungseinheit
16: Augenzustandsbeurteilungseinheit
17: Blickabwendebeurteilungseinheit
18: Einnickbeurteilungseinheit
19: Ausgabeeinheit
2: Bildaufnahmevorrichtung
100: Insassenzustandsbeurteilungssystem
1001: Verarbeitungsschaltung
1002: Eingabeschnittstellenvorrichtung
1003: Ausgabeschnittstellenvorrichtung
1004: Prozessor
1005: Speicher

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2020024532 A [0004]

Claims

Insassenzustandsbeurteilungsvorrichtung, umfassend: eine Bilderlangungseinheit, die eine Bildaufnahme erlangt, in der das Gesicht eines Insassen in einem Fahrzeug durch eine im Fahrzeug bereitgestellte Bildaufnahmevorrichtung aufgenommen wurde, eine Augenöffnungszustandsbeurteilungseinheit, die auf Grundlage der durch die Bilderlangungseinheit erlangten Bildaufnahme einen Öffnungsgrad der Augen des Insassen beurteilt, eine Blicklinienerfassungseinheit, die auf Grundlage der durch die Bilderlangungseinheit erlangten Bildaufnahme eine Blicklinie des Insassen erfasst, und eine Augenzustandsbeurteilungseinheit, die, wenn der durch die Augenöffnungsgradbeurteilungseinheit beurteilte Augenöffnungsgrad einen ersten Schwellenwert unterschritten hat, urteilt, dass sich der Insasse in einem Zustand mit niedergeschlagenen Augen befindet, sofern der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die durch die Blicklinienerfassungseinheit erfasste Blickrichtung des Insassen nach unten gerichtet hat, und urteilt, dass sich der Insasse in einem Augenschließzustand befindet, wenn es nicht der Fall ist, dass der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die durch die Blicklinienerfassungseinheit erfasste Blickrichtung des Insassen nach unten gerichtet hat.
Insassenzustandsbeurteilungsvorrichtung nach Anspruch 1, wobei die Augenzustandsbeurteilungseinheit für den Fall, dass sich die Blickrichtung des Insassen auf einen Abwärtsblickbereich gerichtet hat, der in dem Fahrzeug in Bezug auf die Bildaufnahmevorrichtung unterhalb festgelegt ist, annimmt, dass sich die Blickrichtung des Insassen nach unten gerichtet hat.
Insassenzustandsbeurteilungsvorrichtung nach Anspruch 2, wobei die Augenzustandsbeurteilungseinheit für den Fall, dass eine Ortskurve der Blickrichtung des Insassen, die aus der Blickrichtung des Insassen berechnet wird, die vor dem Zeitpunkt der Beurteilung, dass der Augenöffnungsgrad unter dem ersten Schwellenwert liegt, durch die Blicklinienerfassungseinheit erfasst wurde, sich auf ein Abwärtsblickobjekt richtet, das in dem Abwärtsblickbereich vorhanden ist, annimmt, dass die Blickrichtung des Insassen nach unten gerichtet ist.
Insassenzustandsbeurteilungsvorrichtung nach Anspruch 1, umfassend eine Gesichtsausrichtungserfassungseinheit, die auf Grundlage der durch die Bilderlangungseinheit erlangten Bildaufnahme eine Gesichtsausrichtung des Insassen erfasst, wobei die Augenzustandsbeurteilungseinheit, wenn der durch die Augenöffnungsgradbeurteilungseinheit beurteilte Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, urteilt, dass sich der Insasse im Zustand mit niedergeschlagenen Augen befindet, sofern der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die durch die Blicklinienerfassungseinheit erfasste Blickrichtung des Insassen nach unten gerichtet hat und sich die durch die Gesichtsausrichtungserfassungseinheit erfasste Gesichtsausrichtung des Insassen nach unten gerichtet hat, und die Augenzustandsbeurteilungseinheit urteilt, dass sich der Insasse im Augenschließzustand befindet, sofern es nicht der Fall ist, dass der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die durch die Blicklinienerfassungseinheit erfasste Blickrichtung des Insassen nach unten gerichtet hat und sich die durch die Gesichtsausrichtungserfassungseinheit erfasste Gesichtsausrichtung des Insassen nach unten gerichtet hat.
Insassenzustandsbeurteilungsvorrichtung nach Anspruch 4, wobei die Augenzustandsbeurteilungseinheit für den Fall, dass sich die Blickrichtung des Insassen und die Gesichtsausrichtung des Insassen auf einen Abwärtsblickbereich gerichtet haben, der in dem Fahrzeug in Bezug auf die Bilderlangungseinheit unterhalb festgelegt ist, annimmt, dass sich die Blickrichtung des Insassen und die Gesichtsausrichtung des Insassen nach unten gerichtet haben.
Insassenzustandsbeurteilungsvorrichtung nach Anspruch 5, wobei die Augenzustandsbeurteilungseinheit für den Fall, dass eine Ortskurve der Blickrichtung des Insassen, die aus der Blickrichtung des Insassen berechnet wird, die vor dem Zeitpunkt der Beurteilung, dass der Augenöffnungsgrad unter dem ersten Schwellenwert liegt, durch die Blicklinienerfassungseinheit erfasst wurde, und eine Ortskurve der Gesichtsausrichtung des Insassen, die aus der Gesichtsausrichtung des Insassen berechnet wird, die vor dem Zeitpunkt der Beurteilung, dass der Augenöffnungsgrad unter dem ersten Schwellenwert liegt, durch die Gesichtsausrichtungserfassungseinheit erfasst wurde, sich auf ein Abwärtsblickobjekt richten, das in dem Abwärtsblickbereich vorhanden ist, annimmt, dass sich die Blickrichtung des Insassen und die Gesichtsausrichtung des Insassen nach unten gerichtet haben.
Insassenzustandsbeurteilungsvorrichtung nach Anspruch 1, umfassend eine Blickabwendebeurteilungseinheit, die für den Fall, dass die Augenzustandsbeurteilungseinheit urteilt, dass sich der Insasse im Zustand mit niedergeschlagenen Augen befindet, eine Blickabwendebeurteilung durchführt, um zu beurteilen, ob der Insasse seinen Blick abgewendet hat oder nicht, auf Grundlage, ob eine Blickabwendebeurteilungsbedingung erfüllt ist oder nicht.
Insassenzustandsbeurteilungsvorrichtung nach Anspruch 7, wobei die Blickabwendebeurteilungseinheit für den Fall, dass der durch die Augenzustandsbeurteilungseinheit beurteilte Zustand mit niedergeschlagenen Augen des Insassen mindestens für eine Blickabwendebeurteilungszeit angedauert hat, urteilt, dass eine Blickabwendebeurteilungsbedingung erfüllt ist und der Insasse seinen Blick abgewendet hat.
Insassenzustandsbeurteilungsvorrichtung nach Anspruch 8, wobei die Blickabwendebeurteilungseinheit, wenn die Augenzustandsbeurteilungseinheit urteilt, dass sich der Insasse im Zustand mit niedergeschlagenen Augen befindet, beginnt, eine Zeit nach Beurteilung niedergeschlagener Augen aufwärts zu zählen, und urteilt, dass die Blickabwendebeurteilungsbedingung erfüllt ist und der Insasse seinen Blick abgewendet hat, wenn die aufwärts gezählte Zeit nach Beurteilung niedergeschlagener Augen für mindestens die Blickabwendebeurteilungszeit angedauert hat, und für den Fall, dass nach Beginn des Aufwärtszählens der Zeit nach Beurteilung niedergeschlagener Augen selbst dann, wenn die Augenzustandsbeurteilungseinheit urteilt, dass sich der Insasse im Zustand mit niedergeschlagenen Augen befindet, das Aufwärtszählen vorübergehend anhält, falls der durch die Augenöffnungsgradbeurteilungseinheit beurteilte Augenöffnungsgrad des Insassen unter einem zweiten Schwellenwert liegt.
Insassenzustandsbeurteilungsvorrichtung nach Anspruch 1, umfassend eine Müdigkeitserfassungseinheit, die einen Ermüdungsgrad erfasst und eine Einnickbeurteilungseinheit, die für den Fall, dass die Augenzustandsbeurteilungseinheit urteilt, dass sich der Insasse im Augenschließzustand befindet, auf Grundlage des durch die Müdigkeitserfassungseinheit erfassten Ermüdungsgrads des Insassen beurteilt, ob der Insasse eingenickt ist oder nicht.
Insassenzustandsbeurteilungsvorrichtung nach Anspruch 10, wobei die Einnickbeurteilungseinheit für den Fall, dass ein Ermüdungszustand des Insassen, bei dem der Ermüdungsgrad des Insassen auf oder über einem Müdigkeitsbeurteilungsschwellenwert liegt, mindestens für eine Einnickbeurteilungszeit angedauert hat, urteilt, dass der Insasse eingenickt ist.
Insassenzustandsbeurteilungsvorrichtung nach Anspruch 1, umfassend eine Ausgabeeinheit, die für den Fall, dass die Augenzustandsbeurteilungseinheit urteilt, dass sich der Insasse in dem Zustand mit niedergeschlagenen Augen befindet, erste Warninformationen ausgibt, um zu warnen, dass die Aufmerksamkeit nach vorne zu richten ist, und für den Fall, dass die Augenzustandsbeurteilungseinheit urteilt, dass sich der Insasse im Augenschließzustand befindet, zweite Warninformationen ausgibt, um vor Einnicken zu warnen.
Insassenzustandsbeurteilungsverfahren, umfassend: Erlangen einer Bildaufnahme, in der das Gesicht eines Insassen in einem Fahrzeug durch eine im Fahrzeug bereitgestellte Bildaufnahmevorrichtung aufgenommen wurde, durch eine Bilderlangungseinheit, Beurteilen eines Öffnungsgrads der Augen des Insassen auf Grundlage der durch die Bilderlangungseinheit erlangten Bildaufnahme durch eine Augenöffnungsgradbeurteilungseinheit, Erfassen einer Blicklinie des Insassen auf Grundlage der durch die Bilderlangungseinheit erlangten Bildaufnahme durch eine Blicklinienerfassungseinheit, und wenn der durch die Augenöffnungsgradbeurteilungseinheit beurteilte Augenöffnungsgrad einen ersten Schwellenwert unterschritten hat, Urteilen, dass sich der Insasse in einem Zustand mit niedergeschlagenen Augen befindet, sofern der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die durch die Blicklinienerfassungseinheit erfasste Blickrichtung des Insassen nach unten gerichtet hat, und Urteilen, dass sich der Insasse in einem Augenschließzustand befindet, wenn es nicht der Fall ist, dass der Augenöffnungsgrad den ersten Schwellenwert unterschritten hat, nachdem sich die durch die Blicklinienerfassungseinheit erfasste Blickrichtung des Insassen nach unten gerichtet hat, durch eine Augenzustandsbeurteilungseinheit.
Insassenzustandsbeurteilungssystem, umfassend die Insassenzustandsbeurteilungsvorrichtung nach einem der Ansprüche 1 bis 12 und die im Inneren des Fahrzeugs bereitgestellte Bilderlangungseinheit.
Insassenzustandsbeurteilungssystem nach Anspruch 14, wobei die Bilderlangungseinheit in dem Fahrzeug in einem Armaturenbrett bereitgestellt ist.
Insassenzustandsbeurteilungssystem nach Anspruch 14, wobei die Bilderlangungseinheit in Bezug auf eine Kopfstütze oberhalb in dem Fahrzeug bereitgestellt ist.
Insassenzustandsbeurteilungssystem nach Anspruch 14, wobei die Bilderlangungseinheit in Bezug auf einen Haltegriff oberhalb in dem Fahrzeug bereitgestellt ist.