DE112019006953T5

DE112019006953T5 - Wachsamkeits-Einschätzungsvorrichtung, Vorrichtung zur Unterstützung eines automatischen Fahrens und Wachsamkeits-Einschätzungsverfahren

Info

Publication number: DE112019006953T5
Application number: DE112019006953.5T
Authority: DE
Inventors: Kazuki Kunihiro
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-02-27
Filing date: 2019-02-27
Publication date: 2021-12-16
Also published as: JP7109649B2; WO2020174601A1; JPWO2020174601A1

Abstract

Bei der Wachsamkeitsgrad-Einschätzungsvorrichtung (10) erwirbt die Porträt-Erwerbskomponente (11) ein Porträt, bei dem es sich um ein Bild handelt, das von dem Gesicht eines Insassen eines Fahrzeugs aufgenommen wurde. Die Oberlidöffnungsgrad-Berechnungskomponente (12) berechnet den Öffnungsgrad des Oberlids aufgrund einer anhand des Porträts festgestellten Position des inneren Augenwinkels, Position des äußeren Augenwinkels und Position des höchsten Punktes des Oberlids. Ist der Öffnungsgrad des Oberlids kleiner als ein vorgegebener Schwellenwert, beurteilt die Abwärtsblick-Beurteilungskomponente (13) basierend auf der Position des anhand des Porträts festgestellten höchsten Punkts des Oberlids und der Position des Kreuzungspunkts der Konturlinie des Unterlids und dem von dem höchsten Punkt des Oberlids gefällten Lot, ob sich der Insasse in einem Abwärtsblickzustand befindet. Die Wachsamkeitsgrad-Einschätzungskomponente (14) der Wachsamkeitsgrad-Einschätzungsvorrichtung (10) schätzt eine Abnahme des Wachsamkeitsgrades eines Insassen ein, wenn der Öffnungsgrad des Oberlids kleiner als ein Schwellenwert wird, und außerdem festgestellt wurde, dass sich der Insasse nicht in einem Abwärtsblickzustand befindet.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft eine Technik zum Einschätzen des Wachsamkeitsgrades von Insassen eines Fahrzeugs.
Hintergrundtechnologie
Eine Wachsamkeitsgrad-Einschätzungsvorrichtung, die basierend auf dem Öffnungsgrad der Augen, der anhand eines Bildes des Gesichts eines Fahrers ermittelt wurde, das mittels einer Onboard-Kamera aufgenommen worden ist, ermittelt wurde, den Wachsamkeitsgrad des Fahrers (Vorliegen/Nichtvorliegen von Müdigkeit) einschätzt, ist bekannt (vgl. z. B. Patentdokument 1) .
Es kommt vor, dass der Fahrer nicht nur aus dem Auto heraus nach vorne blickt, sondern auch den Blick nach unten richtet, um auf Messgeräte im Fahrzeug, den Bildschirm einer Navigationsvorrichtung usw. zu blicken (im Folgenden wird ein nach unten gerichteter Blick als „Abwärtsblick“ bezeichnet). Da der Öffnungsgrad der Augen bei einem Abwärtsblick einen Wert in der Nähe des Öffnungsgrades der Augen bei einer Abnahme des Wachsamkeitsgrades annimmt, besteht bei der Wachsamkeitsgrad-Einschätzungsvorrichtung das Problem, zu verhindern, dass es bei einem Abwärtsblick des Fahrers zu einer Fehlbeurteilung einer Abnahme des Wachsamkeitsgrades kommt.
Bei der Wachsamkeitsgrad-Einschätzungvorrichtung im Patentdokument 1 erfolgt zusammen mit einer Einschätzung des Wachsamkeitsgrades anhand des Öffnungsgrades der Augen des Fahrers eine Beurteilung, ob sich der Fahrer in einem Abwärtsblickzustand befindet oder nicht, wobei für den Fall, dass beurteilt wurde, dass sich der Fahrer in einem Abwärtsblickzustand befindet, diese Fehlbeurteilung dadurch verhindert wird, dass der anhand des Öffnungsgrades der Augen eingeschätzte Wachsamkeitsgrad des Fahrers in eine den Wachsamkeitsgrad erhöhende Richtung korrigiert wird.
Dokumente des Standes der Technik
Patentdokumente

Patentdokument 1: JP Patentveröffentlichung Nr. 2008-171065 A
Patentdokument 2: JP Patentveröffentlichung Nr. 2011-048531 A
Patentdokument 3: JP Patentveröffentlichung Nr. 2007-241937 A

Kurzfassung der Erfindung
Durch die Erfindung zu lösende Aufgabe
Bei der Wachsamkeitsgrad-Einschätzungsvorrichtung im Patentdokument 1 wird der Öffnungsgrad der Augen des Fahrers basierend auf der Entfernung zwischen dem höchsten Punkt der Konturlinie des Oberlids und dem tiefsten Punkt der Konturlinie des Unterlids berechnet, und basierend auf der Form der Konturlinie des Oberlids und der Konturlinie des Unterlids beurteilt, ob sich der Fahrer in einem Abwärtsblickzustand befindet oder nicht. Im Allgemeinen ist die Konturlinie des Unterlids im Vergleich zu der Konturlinie des Oberlids ungenau, sodass eine Feststellung der Konturlinie des Unterlids mit einer hohen Präzision schwierig ist. Daher vergrößert sich bei dem Verfahren des Patentdokuments 1 eine Abweichung bei dem berechneten Öffnungsgrad der Augen, sodass zu befürchten ist, dass die Zuverlässigkeit des Einschätzungsergebnisses der Wachsamkeit des Fahrers abnimmt. Im Patentdokument 1 wird eine Verbesserung der Feststellungspräzision der Konturlinie des Unterlids dadurch angestrebt, dass im Fahrzeug eine Lichtquelle installiert wird, um innen im Auge des Fahrers einen Schatten des Unterlids zu projizieren, und dieser Schatten mit der Kamera aufgenommen wird.
Die vorliegende Erfindung macht es sich zur Aufgabe, die vorstehenden Probleme zu lösen und eine Wachsamkeitsgrad-Einschätzungsvorrichtung bereitzustellen, durch die der Wachsamkeitsgrad von Insassen eines Fahrzeugs mit hoher Präzision eingeschätzt werden kann.
Mittel zum Lösen der Aufgabe
Die Wachsamkeitsgrad-Einschätzungsvorrichtung gemäß der vorliegenden Erfindung umfasst eine Porträt-Erwerbskomponente zum Erwerben eines Porträts, bei dem es sich um ein Bild handelt, das von dem Gesicht eines Insassen eines Fahrzeugs aufgenommen wurde, eine Oberlidöffnungsgrad-Berechnungskomponente zum Berechnen des Öffnungsgrades eines Oberlids aufgrund einer anhand des Porträts festgestellten Position eines inneren Augenwinkels, Position eines äußeren Augenwinkels und Position des höchsten Punktes eines Oberlids, eine Abwärtsblick-Beurteilungskomponente, die für den Fall, dass der Öffnungsgrad des Oberlids kleiner als ein vorgegebener Öffnungsgrad-Schwellenwert ist, basierend auf der anhand des Porträts festgestellten Position des höchsten Punktes des Oberlids und der Position eines Kreuzungspunkts einer Konturlinie eines Unterlids und eines vom höchsten Punkt des Oberlids gefällten Lots beurteilt, ob sich der Insasse in einem Abwärtsblickzustand befindet oder nicht, und eine Wachsamkeitsgrad-Einschätzungskomponente, die eine Abnahme des Wachsamkeitsgrades des Insassen einschätzt, wenn der Öffnungsgrad des Oberlids kleiner als der Öffnungsgrad-Schwellenwert geworden ist, und beurteilt wird, dass sich der Insasse nicht in einem Abwärtsblickzustand befindet.
Effekte der Erfindung
Bei der vorliegenden Erfindung wird der Wachsamkeitsgrad eines Insassen eines Fahrzeugs basierend auf dem Öffnungsgrad des Oberlids des Insassen und dem Ergebnis einer Beurteilung, ob sich der betreffende Insasse in einem Abwärtsblickzustand befindet oder nicht (Abwärtsblick-Beurteilung) eingeschätzt. Der Öffnungsgrad des Oberlids kann ohne Verwendung der Position des Unterlids berechnet werden, sodass er mit einer hohen Präzision berechnet werden kann. Für die Abwärtsblick-Beurteilung wird zwar die Position der Konturlinie des Unterlids verwendet, da die Abwärtsblick-Beurteilung jedoch in einem Zustand erfolgt, in dem der Öffnungsgrad des Oberlids gering ist, d. h. das Unterlid gedehnt und die Konturlinie deutlich geworden ist, kann sie mit einer hohen Präzision durchgeführt werden. Hierdurch wird auch die Einschätzungspräzision des Wachsamkeitsgrades der Insassen hoch.
Aufgabe, Charakteristik, Aspekte und Vorteile der vorliegenden Erfindung werden aus der folgenden detaillierten Erläuterung und den angefügten Figuren deutlicher.
Figurenliste

[1] 1 ist ein Blockbild, das den Aufbau der Wachsamkeitsgrad-Einschätzungsvorrichtung gemäß einer ersten Ausführungsform zeigt.
[2] 2 ist ein Ablaufdiagramm, das die Arbeitsweise der Wachsamkeitsgrad-Einschätzungsvorrichtung gemäß der ersten Ausführungsform zeigt.
[3] 3 ist ein Blockbild, das ein abgewandeltes Beispiel der Wachsamkeitsgrad-Einschätzungsvorrichtung gemäß der ersten Ausführungsform zeigt.
[4] 4 ist eine Ansicht, die ein Hardware-Strukturbeispiel der Wachsamkeitsgrad-Einschätzungsvorrichtung zeigt.
[5] 5 ist eine Ansicht, die ein Hardware-Strukturbeispiel der Wachsamkeitsgrad-Einschätzungsvorrichtung zeigt.
[6] 6 ist ein Blockbild, das den Aufbau einer Vorrichtung zur Unterstützung eines automatischen Fahrens gemäß einer zweiten Ausführungsform zeigt.

Formen zur Ausführung der Erfindung
<Erste Ausführungsform>
1 ist ein Blockbild, das den Aufbau einer Wachsamkeitsgrad-Einschätzungsvorrichtung 10 gemäß einer ersten Ausführungsform zeigt. In der vorliegenden Ausführungsform wird angenommen, dass die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 in ein Fahrzeug eingebaut ist. Es besteht jedoch keine Beschränkung darauf, dass die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 permanent in einem Fahrzeug installiert ist, sondern sie kann auch in einem in ein Fahrzeug mitnehmbaren mobilen Gerät wie z. B. einem Mobiltelefon, Smartphone, einer mobilen Navigationsvorrichtung usw. eingerichtet werden. Ferner kann auch ein Teil der oder die gesamte Wachsamkeitsgrad-Einschätzungsvorrichtung 10 auf einem mit einem Fahrzeug kommunizierbaren Server eingerichtet werden.
Wie in 1 ist die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 mit einer Kamera 21 und einer Warnvorrichtung 22, mit denen das Fahrzeug ausgestattet ist, verbunden.
Die Kamera 21 dient zum Aufnehmen des Fahrgastraumes und ist an einer Position installiert, aus der eine Aufnahme der Gesichter der Insassen des Fahrzeugs möglich ist. Bei der vorliegenden Ausführungsform handelt es sich bei der Kamera 21 um eine Weitwinkelkamera mit einem Aufnahmebereich, der eine Aufnahme der Gesichter der Insassen auf allen Sitzen des Fahrzeugs ermöglicht. Soll jedoch die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 z. B. nur die Wachsamkeit des Insassen auf dem Fahrersitz (Fahrer) einschätzen, genügt eine Größe des Aufnahmebereichs der Kamera 21, die genau eine Aufnahme des Fahrersitzes ermöglicht.
Die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 schätzt anhand eines Bildes des Gesichts (im Folgenden als „Porträt“ bezeichnet) des Insassen, das durch die Kamera 21 aufgenommen wurde, den Wachsamkeitsgrad des Insassen (Vorliegen/Nichtvorliegen von Müdigkeit) ein, und gibt dieses Einschätzungsergebnis an die Warnvorrichtung 22 aus. In der vorliegenden Ausführungsform ist vorgegeben, dass die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 den Wachsamkeitsgrad sämtlicher Insassen einschätzt, die von der Kamera 21 aufgenommen wurden. In diesem Fall gibt die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 zusammen mit dem Einschätzungsergebnis des Wachsamkeitsgrades der jeweiligen Insassen Daten der Position des Sitzes der jeweiligen Insassen aus. Das heißt, die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 gibt Daten darüber aus, bei welchem Insassen welches Sitzes ein hoher Wachsamkeitsgrad eingeschätzt wurde, und bei welchem Insassen welches Sitzes ein geringer Wachsamkeitsgrad eingeschätzt wurde.
Die Warnvorrichtung 22 gibt entsprechend dem Wachsamkeitsgrad der Insassen, der von der Wachsamkeitsgrad-Einschätzungsvorrichtung 10 eingeschätzt wurde, eine Warnung in den Fahrgastraum aus, und umfasst hierfür einen Lautsprecher zum Ausgeben eines Warntons oder einer Warnmitteilung, ein Display zum Anzeigen eines Warnbildschirms usw. In der vorliegenden Ausführungsform handelt es sich um eine Warnvorrichtung 22, die eine Warnung ausgibt, wenn eingeschätzt wurde, dass der Wachsamkeitsgrad des Insassen des Fahrersitzes (Fahrer) abgenommen hat. Es besteht jedoch keine Beschränkung des Betriebsinhalts der Warnvorrichtung 22, sodass z. B. auch für den Fall, dass eingeschätzt wurde, dass der Wachsamkeitsgrad eines anderen Insassen abgesehen von dem Fahrer abgenommen hat, eine Warnung ausgegeben werden kann.
Wie in 1 gezeigt, umfasst die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 eine Porträt-Erwerbskomponente 11, eine Oberlidöffnungsgrad-Berechnungskomponente 12, eine Abwärtsblick-Beurteilungskomponente 13 und eine Wachsamkeitsgrad-Einschätzungskomponente 14.
Die Porträt-Erwerbskomponente 11 erwirbt das Porträt eines Insassen, das durch die Kamera 21 aufgenommen wurde. Da bei der vorliegenden Ausführungsform die Kamera 21 eine Weitwinkelkamera ist, die sämtliche Sitze des Fahrzeugs aufnehmen kann, extrahiert die Porträt-Erwerbskomponente 11 mittels einer Gesichtserkennungstechnologie ein Porträt pro Insassen aus dem durch die Kamera 21 aufgenommenen Bild des Fahrgastraumes.
Die Oberlidöffnungsgrad-Berechnungskomponente 12 stellt anhand eines von der Porträt-Erwerbskomponente 11 erworbenen Porträts eines Insassen die Position des inneren Augenwinkels, die Position des äußeren Augenwinkels und die Position des höchsten Punktes des Oberlides des Insassen fest, und berechnet aufgrund deren Positionsbeziehung den Öffnungszustand (im Folgenden als „Öffnungsgrad“ bezeichnet) des Oberlids. Konkreter berechnet die Oberlidöffnungsgrad-Berechnungskomponente 12 basierend auf einer ersten Entfernung, bei der es sich um die Entfernung zwischen einer den inneren Augenwinkel und den äußeren Augenwinkel verbindenden Linie und dem höchsten Punkt des Oberlids handelt, den Öffnungsgrad des Oberlids. Wie vorstehend erwähnt, ist im Vergleich zu der Konturlinie des Oberlids eine hochpräzise Feststellung der Konturlinie des Unterlids schwierig. Da der Öffnungsgrad des Oberlids, den die Oberlidöffnungsgrad-Berechnungskomponente 12 berechnet, ohne Verwendung von Daten der Konturlinie des Unterlids berechnet wird, erhöht sich ihre Präzision. Der höchste Punkt des Oberlids ist der Punkt (Spitze) des Oberlids, der am Weitesten von einer den äußeren Augenwinkel und den inneren Augenwinkel verbindenden Linie entfernt ist.
In der vorliegenden Ausführungsform berechnet die Oberlidöffnungsgrad-Berechnungskomponente 12 als Öffnungsgrad des Oberlids einen Wert, der dadurch erzielt wird, dass durch Division der ersten Entfernung durch die Entfernung zwischen dem inneren Augenwinkel und dem äußeren Augenwinkel ein Abflachungsgrad des Auges erzielt wird, und der Abflachungsgrad durch einen vorgegebenen Referenzwert dividiert wird.
Der Referenzwert des Abflachungsgrades des Auges kann z. B. ein als Durchschnittswert des Abflachungsgrades des Auges vom Hersteller der Wachsamkeitsgrad-Einschätzungsvorrichtung 10 festgelegter konstanter Wert sein. Für den Fall, dass die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 mittels der Porträts durch Gesichtserkennung usw. die einzelnen Insassen identifizieren kann, kann auch dafür gesorgt werden, dass pro Insasse Referenzwerte in der Wachsamkeitsgrad-Einschätzungsvorrichtung 10 registriert werden können. Durch die Verwendung von unterschiedlichen Referenzwerten pro Insassen, kann unterbunden werden, dass das Berechnungsergebnis des Öffnungsgrades des Oberlids durch individuelle Unterschiede der Augengröße beeinflusst wird.
Ist der Öffnungsgrad des Oberlids eines Insassen, der durch die Oberlidöffnungsgrad-Berechnungskomponente 12 berechnet wurde, kleiner als ein vorgegebener Schwellenwert (im Folgenden als „Öffnungsgrad-Schwellenwert“ bezeichnet), führt die Abwärtsblick-Beurteilungskomponente 13 eine Abwärtsblick-Beurteilung durch, in der beurteilt wird, ob sich der betreffende Insasse in einem Abwärtsblickzustand befindet oder nicht. Konkret stellt die Abwärtsblick-Beurteilungskomponente 13, wenn der Öffnungsgrad des Oberlids kleiner als der Öffnungsgrad-Schwellenwert ist, anhand des von der Porträt-Erwerbskomponente 11 erworbenen Porträts die Position des höchsten Punktes des Oberlids und der Position eines Kreuzungspunktes der Konturlinie des Unterlids und einem vom höchsten Punkt des Oberlids gefällten Lot (im Folgenden als „spezifischer Punkt des Unterlids“ bezeichnet) fest, und beurteilt aufgrund der Positionsbeziehung zwischen dem höchsten Punkt des Oberlids und dem spezifischen Punkt des Unterlids, ob sich ein Insasse in einem Abwärtsblickzustand befindet oder nicht. Der spezifische Punkt des Unterlids kann auch ein Kreuzungspunkt zwischen einer vom höchsten Punkt des Oberlids zu einer den inneren Augenwinkel und den äußeren Augenwinkel verbindenden Geraden gefällten Vertikalen und der Konturlinie des Unterlids sein.
Im Allgemeinen wird in einem Zustand, in dem sich dadurch, dass ein Mensch den Blick senkt oder die Augen halb schließt, der Öffnungsgrad des Oberlids verkleinert hat, das Unterlid gedehnt und die Konturlinie des Unterlids wird deutlich, sodass anhand des Porträts die Konturlinie des Unterlids mit hoher Präzision festgestellt werden kann. Bei der von der Abwärtsblick-Beurteilungskomponente 13 durchgeführten Abwärtsblick-Beurteilung ist zwar die Position der Konturlinie des Unterlids erforderlich, da die Abwärtsblick-Beurteilung jedoch bei einem kleinen Öffnungsgrad des Oberlids erfolgt, wird bei der Abwärtsblick-Beurteilung eine mit hoher Präzision erzielte Position der Konturlinie des Unterlids verwendet. Infolgedessen erlangt die von der Abwärtsblick-Beurteilungskomponente 13 durchgeführten Abwärtsblick-Beurteilung eine hohe Präzision.
Bei der vorliegenden Ausführungsform beurteilt die Abwärtsblick-Beurteilungskomponente 13, wenn der Öffnungsgrad des Oberlids kleiner als der Öffnungsgrad-Schwellenwert ist, basierend auf einer zweiten Entfernung, bei der es sich um die Entfernung zwischen dem höchsten Punkt des Oberlids und dem spezifischen Punkt des Unterlids handelt, ob sich der Insasse in einem Abwärtsblickzustand befindet oder nicht. Das heißt, die Abwärtsblick-Beurteilungskomponente 13 beurteilt, dass sich der Insasse in einem Abwärtsblickzustand befindet, wenn der Öffnungsgrad des Oberlids kleiner als der Öffnungsgrad-Schwellenwert ist, und die zweite Entfernung größer als ein vorgegebener Schwellenwert (im Folgenden als „Entfernungs-Schwellenwert“ bezeichnet) ist.
Im Folgenden wird die Bedingung, dass „der Öffnungsgrad des Oberlids kleiner als der Öffnungsgrad-Schwellenwert, und die zweite Entfernung größer als der Entfernungs-Schwellenwert ist“ auch als „Abwärtsblick-Bedingung“ bezeichnet. Ferner wird die zweite Entfernung auch als „Entfernung zwischen Ober- und Unterlid“ bezeichnet.
Der Entfernungs-Schwellenwert kann z. B. auch ein konstanter Wert sein, der als mindestens für einen Abwärtsblick als erforderlich erachtete Größe der Entfernung zwischen Ober- und Unterlid vom Hersteller der Wachsamkeitsgrad-Einschätzungsvorrichtung 10 festgelegt ist. Für den Fall, dass die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 mittels der Porträts durch Gesichtserkennung usw. die einzelnen Insassen identifizieren kann, kann auch dafür gesorgt werden, dass pro Insassen Referenzwerte bei der Wachsamkeitsgrad-Einschätzungsvorrichtung 10 registriert werden können. Durch die Verwendung von unterschiedlichen Entfernungs-Schwellenwerten pro Insassen, kann unterdrückt werden, dass das Ergebnis der Abwärtsblickbeurteilung durch individuelle Unterschiede der Augengröße bei einem Abwärtsblick beeinflusst wird.
Die Wachsamkeitsgrad-Einschätzungskomponente 14 schätzt basierend auf dem von der Oberlidöffnungsgrad-Berechnungskomponente 12 berechneten Öffnungsgrad des Oberlids und dem Ergebnis der von der Abwärtsblick-Beurteilungskomponente 13 durchgeführten Abwärtsblickbeurteilung des betreffenden Insassen ein, ob der Wachsamkeitsgrad des betreffenden Insassen abgenommen hat oder nicht. Konkret schätzt die Wachsamkeitsgrad-Einschätzungskomponente 14 eine Abnahme des Wachsamkeitsgrades des Insassen ein, wenn der Öffnungsgrad des Oberlids des Insassen kleiner als der Öffnungsgrad-Schwellenwert wird, und außerdem festgestellt wurde, dass sich der betreffende Insasse nicht in einem Abwärtsblickzustand befindet. Da wie vorstehend angegeben, die Oberlidöffnungsgrad-Berechnungskomponente 12 den Öffnungsgrad des Oberlids des Insassen mit einer hohen Präzision berechnen kann, und die Abwärtsblick-Beurteilungskomponente 13 die Abwärtsblick-Beurteilung mit einer hohen Präzision durchführen kann, erlangt die Wachsamkeitsgrad-Einschätzung mittels der Wachsamkeitsgrad-Einschätzungskomponente 14 eine hohe Präzision.
Im Folgenden wird die Bedingung, dass „der Öffnungsgrad des Oberlids des Insassen kleiner als der Öffnungsgrad-Schwellenwert, und sich der betreffende Insasse nicht in einem Abwärtsblickzustand befindet“ auch als „Wachsamkeitsgradabnahme-Bedingung“ bezeichnet.
Daher kann mittels der Wachsamkeitsgrad-Einschätzungsvorrichtung 10 gemäß der ersten Ausführungsform unter Berücksichtigung, ob sich ein Insasse in einem Abwärtsblickzustand befindet oder nicht, mit einer hohen Präzision der Wachsamkeitsgrad des Insassen eingeschätzt werden. Ferner kann ein Beitrag zur Reduzierung der Verarbeitungslast der Wachsamkeitsgrad-Einschätzungsvorrichtung 10 dadurch geleistet werden, dass es genügt, wenn die Feststellung der Konturlinie des Unterlids, die zu einer verhältnismäßig komplizierten Verarbeitung führt, nur bei der Durchführung einer Abwärtsblickbeurteilung (d. h. wenn der Öffnungsgrad des Oberlids kleiner als der Öffnungsgrad-Schwellenwert ist) erfolgt.
2 ist ein Ablaufdiagramm, das die Arbeitsweise der Wachsamkeitsgrad-Einschätzungsvorrichtung 10 gemäß der ersten Ausführungsform zeigt. Im Folgenden wird anhand von 2 die Arbeitsweise der Wachsamkeitsgrad-Einschätzungsvorrichtung 10 erläutert.
Wenn die Zündung des Fahrzeugs eingeschaltet und die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 gestartet wird, erwirbt zunächst die Porträt-Erwerbskomponente 11 Porträts der Insassen, die durch die Kamera 21 aufgenommen wurden (Schritt S101). Zur Vereinfachung der Erläuterung wird hierbei angenommen, dass das von der Kamera 21 aufgenommene Bild nur das Porträt eines Insassen enthält. Handelt es sich jedoch wie bei der vorliegenden Ausführungsform bei der Kamera 21 um eine Weitwinkelkamera, können in Schritt S101 die Porträts einer Mehrzahl von Personen erworben werden. In diesem Fall wird die Verarbeitung der folgenden Schritte S102 bis S108 für die Porträts der jeweiligen Insassen ausgeführt.
Als Nächstes stellt die Oberlidöffnungsgrad-Berechnungskomponente 12 anhand des in Schritt S101 erworbenen Porträts des Insassen die Position des inneren Augenwinkels, die Position des äußeren Augenwinkels und die Position des höchsten Punktes des Oberlides des Insassen fest, und berechnet basierend auf deren Positionsbeziehung den Öffnungsgrad des Oberlids des Insassen (Schritt S102).
Ist der in Schritt S102 berechnete Öffnungsgrad des Oberlids des Insassen kleiner als der vorgegebene Öffnungsgrad-Schwellenwert (JA in Schritt S103), führt die Abwärtsblick-Beurteilungskomponente 13 basierend auf dem in Schritt S101 erworbenen Porträts des Insassen eine Abwärtsblick-Beurteilung durch (Schritt S104), in der beurteilt wird, ob sich der betreffende Insasse in einem Abwärtsblickzustand befindet oder nicht.
Wurde durch das Ergebnis der Abwärtsblick-Beurteilung in Schritt S104 beurteilt, dass sich der Insasse nicht in einem Abwärtsblickzustand befindet (NEIN in Schritt S105), schätzt die Wachsamkeitsgrad-Einschätzungskomponente 14 eine Abnahme des Wachsamkeitsgrades des betreffenden Insassen ein (Schritt S106).
Ist andererseits der in Schritt S102 berechnete Öffnungsgrad des Oberlids des Insassen größer als der Öffnungsgrad-Schwellenwert (NEIN in Schritt S103, oder wurde in Schritt S104 beurteilt, dass sich der Insasse in einem Abwärtsblickzustand befindet (JA in Schritt S105), schätzt die Wachsamkeitsgrad-Einschätzungskomponente 14 einen hohen Wachsamkeitsgrad des betreffenden Insassen ein (Schritt S107).
Das Einschätzungsergebnis des Wachsamkeitsgrades des Insassen gemäß Schritt S106 oder S107 wird an die Warnvorrichtung 22 ausgegeben (Schritt S108). Hierdurch wird von der Warnvorrichtung 22 eine dem Einschätzungsergebnis der Wachsamkeit des Insassen entsprechende Warnung ausgegeben.
Die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 führt den vorstehenden Ablauf wiederholt aus. Der betreffende Ablauf kann z. B. nach dem Starten der Wachsamkeitsgrad-Einschätzungsvorrichtung 10 (nach dem Einschalten der Zündung des Fahrzeugs) regelmäßig ausgeführt werden, er kann aber auch nur während der Fahrt des Fahrzeugs ausgeführt (während eines Anhaltens des Fahrzeugs nicht durchgeführt) werden. Bei einer regelmäßigen Ausführung des betreffenden Ablaufs wird der Wachsamkeitsgrad des Insassen bereits eingeschätzt, bevor sich das Fahrzeug in Bewegung setzt, sodass ein Beitrag zur Verbesserung der Sicherheit des Fahrzeugs geleistet werden kann. Im Allgemeinen ist jedoch das Erfordernis einer Einschätzung des Wachsamkeitsgrades des Insassen während eines Anhaltens des Fahrzeugs nicht besonders hoch, sodass durch eine Ausführung des betreffenden Ablaufs ausschließlich während der Fahrt des Fahrzeugs auch eine Reduzierung der Verarbeitungslast der Wachsamkeitsgrad-Einschätzungsvorrichtung 10 und eine Reduzierung des Stromverbrauchs angestrebt werden kann.
[Abgewandeltes Beispiel]
Bei der Wachsamkeitsgrad-Einschätzungsvorrichtung 10 der ersten Ausführungsform hat die Wachsamkeitsgrad-Einschätzungskomponente 14 das Einschätzungsergebnis des Wachsamkeitsgrades des Insassen an die Warnvorrichtung 22 ausgegeben, wobei die Ausgabeadresse nicht auf die Warnvorrichtung 22 beschränkt ist, sondern es sich um eine beliebige Vorrichtung handeln kann. Wie in 3 kann z. B. das Einschätzungsergebnis des Wachsamkeitsgrades der Insassen durch die Wachsamkeitsgrad-Einschätzungskomponente 14 auch in eine Vorrichtung zum Steuern eines automatischen Fahrens 23, bei der es sich um eine ein automatisches Fahren eines Fahrzeugs durchführende ECU (Electronic Control Unit) handelt, eingegeben werden.
Als Betrieb der Vorrichtung zum Steuern eines automatischen Fahrens 23 in 3 ist z. B. ein Betrieb denkbar, bei dem, wenn die Wachsamkeitsgrad-Einschätzungskomponente 14 eine Abnahme des Wachsamkeitsgrades des Insassen des Fahrersitzes (Fahrers) eingeschätzt hat, und trotz der Ausgabe einer Warnung durch die Warnvorrichtung 22 der Wachsamkeitsgrad des Fahrers im abgenommenen Zustand bleibt, die Vorrichtung zum Steuern eines automatischen Fahrens 23 das Fahrzeug automatisch an einem sicheren Ort (z. B. einem breiten Randstreifen, einem Rastplatz usw.) zum Parken anhält.
Ferner beurteilt die Abwärtsblick-Beurteilungskomponente 13 bei der ersten Ausführungsform unverzüglich einen Abwärtsblickzustand des betreffenden Insassen, wenn die Bedingung, dass der Öffnungsgrad des Oberlids des Insassen kleiner als der Öffnungsgrad-Schwellenwert ist (Abwärtsblickbedingung), und die Entfernung zwischen Ober- und Unterlid des betreffenden Insassen (zweite Entfernung) größer als der Entfernung-Schwellenwert ist. Die Abwärtsblick-Beurteilungskomponente 13 kann jedoch auch beurteilen, dass sich der betreffende Insasse in einem Abwärtsblickzustand befindet, wenn die Zeit, in der die Augen des Insassen die Abwärtsblickbedingung erfüllt haben, eine gewisse Länge erreicht hat. Konkret kann ein Abwärtsblickzustand des betreffenden Insassen auch dann beurteilt werden, wenn der Anteil, der eine bestimmte Zeit der Zeit einnimmt, in der die Abwärtsblick-Bedingung erfüllt wurde, einen vorgegebenen Schwellenwert (Zeit-Schwellenwert) überschritten hat. Hierdurch kann eine z. B. durch ein Rauschen beeinflusste irrtümliche Feststellung eines Abwärtsblicks unterdrückt und ein Beitrag zu einer weiteren Verbesserung der Einschätzungspräzision des Wachsamkeitsgrades geleistet werden.
Es besteht eine Korrelation zwischen der Gesichtsrichtung eines Insassen und der Blickrichtung. Konkret bewegen sich bei einem Abwärtsblick des Insassen nicht nur Augen und Augenlid, sondern tendenziell bewegt sich auch die Gesichtsrichtung in die Richtung der Blickrichtung. Daher kann die Abwärtsblick-Beurteilungskomponente 13 auch unter Miteinbeziehung der anhand des Porträts festgestellten Gesichtsrichtung des Insassen beurteilen, ob ein Abwärtsblickzustands des Insassen vorliegt oder nicht. Die Abwärtsblick-Beurteilungskomponente 13 kann z. B. auch beurteilen, dass sich der betreffende Insasse in einem Abwärtsblickzustand befindet, wenn die Augen des Insassen die Abwärtsblickbedingung erfüllen, und die Gesichtsrichtung des betreffenden Insassen sich nach unten (insbesondere in die Richtung, in der sich Instrumente oder der Bildschirm einer Navigationsvorrichtung im Fahrzeug befinden) bewegt hat.
Ferner besteht eine Korrelation zwischen der Gesichtsrichtung eines Insassen und dem Wachsamkeitsgrad. Konkret verringern sich bei einer Abnahme des Wachsamkeitsgrades eines Insassen die Bewegungen des Gesichts, sodass tendenziell die Gesichtsrichtung im Wesentlichen konstant wird. Daher kann die Wachsamkeitsgrad-Einschätzungskomponente 14 auch unter Miteinbeziehung der anhand des Porträts festgestellten Gesichtsrichtung des Insassen den Wachsamkeitsgrad des Insassen einschätzen. Beispielsweise kann dafür gesorgt werden, dass die Wachsamkeitsgrad-Einschätzungskomponente 14 eine Abnahme des Wachsamkeitsgrades des betreffenden Insassen einschätzt, wenn der Öffnungsgrad des Oberlids des Insassen kleiner als der Öffnungsgrad-Schwellenwert wird, die Bedingung, dass der betreffende Insasse sich nicht in einem Abwärtsblickzustand befindet (Wachsamkeitsgradabnahme-Bedingung) erfüllt ist, und außerdem eine Änderung der Gesichtsrichtung des betreffenden Insassen kleiner als ein vorgegebener Schwellenwert ist.
Bei der Bedienung von im Fahrzeug montierten Geräten (Onboard-Geräten) wie einem Schalthebel, einer Navigationsvorrichtung usw. kommt ein Abwärtsblick des Insassen häufig vor. Daher kann die Abwärtsblick-Beurteilungskomponente 13 auch unter Miteinbeziehung des Bedienungszustands der Onboard-Geräte beurteilen, ob ein Abwärtsblickzustand des Insassen vorliegt oder nicht. Die Abwärtsblick-Beurteilungskomponente 13 kann z. B. auch beurteilen, dass sich der Insasse in einem Abwärtsblickzustand befindet, wenn die Augen des Insassen die Abwärtsblick-Bedingung erfüllt haben, und eine Bedienung von Onboard-Geräten erfolgt, die sich an einer niedrigeren Position befinden als das Gesicht des betreffenden Insassen. Die Informationen über den Bedienungszustand der Onboard-Geräte können z. B. von der ECU usw. des Fahrzeugs erworben werden.,
Es ist ferner vorstellbar, dass der Wachsamkeitsgrad bei einem Insassen, der ein Onboard-Gerät bedient, hoch ist. Daher kann die Wachsamkeitsgrad-Einschätzungskomponente 14 auch unter Miteinbeziehung des Bedienungszustands der Onboard-Geräte den Wachsamkeitsgrad des Insassen einschätzen. Die Wachsamkeitsgrad-Einschätzungskomponente 14 kann z. B. auch eine Abnahme des Wachsamkeitsgrades des betreffenden Insassen einschätzen, wenn die Augen des Insassen die Wachsamkeitsgradabnahme-Bedingung erfüllt haben, und eine Bedienung von Onboard-Geräten durch den betreffenden Insassen nicht erfolgt.
[Hardware-Strukturbeispiele]
4 und 5 sind jeweils Ansichten, die Hardware-Strukturbeispiele der Wachsamkeitsgrad-Einschätzungsvorrichtung 10 zeigen. Die jeweiligen Funktionen der Bestandteile der in 1 gezeigten Wachsamkeitsgrad-Einschätzungsvorrichtung 10 werden z. B. durch eine in 4 gezeigte Verarbeitungsschaltung 50 realisiert. Das heißt, die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 umfasst die Verarbeitungsschaltung 50, die ein Porträt erwirbt, bei dem es sich um ein Bild handelt, das von dem Gesicht eines Insassen aufgenommen wurde, den Öffnungsgrad des Oberlids aufgrund der anhand des Porträts festgestellten Position eines inneren Augenwinkels, Position eines äußeren Augenwinkels und Position des höchsten Punktes des Oberlids berechnet, und für den Fall, dass der Öffnungsgrad des Oberlids kleiner als ein vorgegebener Öffnungsgrad-Schwellenwert ist, basierend auf der anhand des Porträts festgestellten Position des höchsten Punktes des Oberlids und der Position eines Kreuzungspunkts einer Konturlinie eines Unterlids und eines vom höchsten Punkt des Oberlids gefällten Lots beurteilt, ob sich der Insasse in einem Abwärtsblickzustand befindet oder nicht, um eine Abnahme des Wachsamkeitsgrades des Insassen einzuschätzen, wenn der Öffnungsgrad des Oberlids kleiner als der Öffnungsgrad-Schwellenwert geworden ist, und beurteilt wird, dass sich der Insasse nicht in einem Abwärtsblickzustand befindet. Die Verarbeitungsschaltung 50 kann eine spezielle Hardware sein, sie kann jedoch auch mittels eines Prozessors (auch als zentrale Recheneinheit (CPU: Central Processing Unit), Verarbeitungsvorrichtung, Rechenvorrichtung, Mikroprozessor, Mikrocomputer, DSP (Digital Signal Processor) bezeichnet) gebildet sein, der in einem Speicher abgelegte Programme ausführt.
Handelt es sich bei der Verarbeitungsschaltung 50 um eine spezielle Hardware, entspricht die Verarbeitungsschaltung 50 z. B. einer Einfachschaltung, einer komplexen Schaltung, einem programmierten Prozessor, parallelen programmierten Prozessoren, ASIC (Application Specific Integrated Circuit) FPGA (Field-Programmable Gate Array) oder deren Kombination usw. Die jeweiligen Funktionen der Bestandteile der Wachsamkeitsgrad-Einschätzungsvorrichtung 10 können durch separate Verarbeitungsschaltungen realisiert werden, diese Funktionen können jedoch auch durch eine einzige integrale Verarbeitungsschaltung realisiert werden.
5 zeigt ein Beispiel einer Hardwarestruktur der Wachsamkeitsgrad-Einschätzungsvorrichtung 10 für den Fall, dass die Verarbeitungsvorrichtung 50 mittels eines Prozessors 51 zum Ausführen von Programmen gebildet ist. In diesem Fall werden die Funktionen der Bestandteile der Wachsamkeitsgrad-Einschätzungsvorrichtung 10 durch eine Software usw. (Software, Firmware oder eine Kombination aus Software und Firmware) realisiert. Die Software usw. wird als Programm dargestellt und in einem Speicher 52 abgelegt. Der Prozessor 51 liest in dem Speicher 52 gespeicherte Programme aus, und führt sie aus, wodurch die verschiedenen Funktionen realisiert werden. Das heißt, die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 umfasst bei einer Ausführung durch den Prozessor 51 den Speicher 52 zum Ablegen von Programmen zur Ausführung einer Verarbeitung zum Erwerben eines Porträt, bei dem es sich um ein Bild handelt, das von dem Gesicht eines Insassen aufgenommen wurde, einer Verarbeitung zum Berechnen des Öffnungsgrads des Oberlids aufgrund einer anhand des Porträts festgestellten Position eines inneren Augenwinkels, Position eines äußeren Augenwinkels und Position des höchsten Punktes des Oberlids, und einer Verarbeitung, durch die für den Fall, dass der Öffnungsgrad des Oberlids kleiner als ein vorgegebener Öffnungsgrad-Schwellenwert ist, basierend auf der anhand des Porträts festgestellten Position des höchsten Punktes des Oberlids und der Position eines Kreuzungspunkts einer Konturlinie eines Unterlids und eines vom höchsten Punkt des Oberlids gefällten Lots beurteilt wird, ob sich der Insasse in einem Abwärtsblickzustand befindet oder nicht, und schließlich einer Verarbeitung zur Einschätzung einer Abnahme des Wachsamkeitsgrades des Insassen, wenn der Öffnungsgrad des Oberlids kleiner als der Öffnungsgrad-Schwellenwert geworden ist, und beurteilt wird, dass sich der Insasse nicht in einem Abwärtsblickzustand befindet. Anders ausgedrückt, kann auch gesagt werden, dass es sich um Programme handelt, durch die die Reihenfolge und das Verfahren des Betriebs der Bestandteile der Wachsamkeitsgrad-Einschätzungskomponente 10 durch einen Computer ausgeführt werden.
Der Speicher 52 kann ein nichtflüchtiger oder flüchtiger Halbleiterspeicher wie z. B. ein RAM (Random Access Memory), ein ROM (Read Only Memory), ein Flash-Speicher, ein EPROM (Erasable Programmable Read Only Memory), ein EEPROM (Electrically Erasable Programmable Read Only Memory) usw., ein HDD (Hard Disk Drive), eine Magnetplatte, eine Floppy-Disk, eine optische Platte, eine Compact Disc, eine Minidisk, eine DVD (Digital Versatile Disc) und deren Treibervorrichtung usw., oder verschiedene zukünftig verwendete Speichermedien sein.
Vorstehend wurde der Aufbau erläutert, wenn die Funktionen der Bestandteile der Wachsamkeitsgrad-Einschätzungskomponente 10 durch entweder eine Hardware oder eine Software usw. ausgeführt werden. Hierauf besteht jedoch keine Beschränkung, sodass es sich auch um einen Aufbau handeln kann, bei dem ein Teil der Bestandteile der Wachsamkeitsgrad-Einschätzungskomponente 10 durch eine spezielle Hardware realisiert wird, und ein anderer Teil der Bestandteile durch eine Software usw. realisiert wird. Es ist z. B. möglich, dass mittels der Verarbeitungsschaltung 50 als spezieller Hardware die Funktionen eines Teils der Bestandteile ausgeführt wird, und die Funktionen eines anderen Teils der Bestandteile dadurch ausgeführt werden, dass die Verarbeitungsschaltung 50 als Prozessor 51 in dem Speicher 52 abgelegte Programme ausliest und ausführt.
Hierdurch kann die Wachsamkeitsgrad-Einschätzungskomponente 10 die vorstehend beschriebenen jeweiligen Funktionen durch Hardware, Software usw. oder deren Kombination realisieren.
<Zweite Ausführungsform>
Die zweite Ausführungsform zeigt ein Beispiel, bei dem die in der ersten Ausführungsform gezeigte Wachsamkeitsgrad-Einschätzungskomponente 10 auf eine Vorrichtung zum Unterstützen eines automatischen Fahrens, die das automatische Fahren eines Fahrzeugs unterstützt angewendet wurde.
Hierbei werden die Definitionen von Automatisierungsstufen (Stufen automatisierten Fahrens) des automatischen Fahrens eines Kraftfahrzeugs erläutert. Nach J3016 (September 2016) der SAE (Society of Automotive Engineers) International und deren japanischer Referenzübersetzung JASO TP18004 (Februar 2018) werden die Selbstfahrstufen automatischer Fahrsysteme wie folgt definiert:

Stufe 0 (Keine Fahrautomation): Der Fahrer führt einen Teil oder alle dynamischen Fahraufgaben aus
Stufe 1 (Assistiertes Fahren): Das System führt Unteraufgaben der Fahrzeugbetriebssteuerung von entweder der Längsrichtung oder der Querrichtung in einem beschränkten Bereich aus
Stufe 2 (Teilautomatisiertes Fahren): Das System führt Unteraufgaben der Fahrzeugbetriebssteuerung sowohl in der Längsrichtung als auch in der Querrichtung in einem beschränkten Bereich aus
Stufe 3 (Bedingte Fahrautomation): Das System führt sämtliche dynamischen Fahraufgaben in einem beschränkten Bereich aus, ist eine Operationsfortsetzung jedoch schwierig, erfolgt vom Fahrer aufgrund einer Eingreifaufforderung des Systems eine geeignete Reaktion
Stufe 4 (Hochautomatisiertes Fahren): Das System führt sämtliche dynamischen Fahraufgaben in einem beschränkten Bereich und Reaktionen auf eine schwierige Operationsfortsetzung in einem beschränkten Bereich aus
Stufe 5 (Vollautomatisiertes Fahren): Das System führt sämtliche dynamischen Fahraufgaben und Reaktionen auf eine schwierige Operationsfortsetzung unbeschränkt aus.

Als „fahrdynamische Aufgaben“ werden hierbei sämtliche operativen und strategischen Funktionen, die beim Bedienen eines Fahrzeugs im Straßenverkehr in Echtzeit erfolgen müssen (abgesehen von strategischen Funktionen wie der Streckenplanung und Auswahl von Zwischenstationen) bezeichnet. Ferner bezeichnet der „beschränkte Bereich“ spezifische Bedingungen, die zum Operieren des Systems oder dessen Funktionen eingestellt sind (einschließlich geografischer Beschränkungen, Straßendeckenbeschränkungen,
Umweltbeschränkungen, Verkehrsbeschränkungen, Geschwindigkeitsbeschränkungen, zeitlicher Beschränkungen usw.) .
6 ist ein Blockbild, das den Aufbau einer Vorrichtung zur Unterstützung eines automatischen Fahrens 30 gemäß der zweiten Ausführungsform zeigt. In 6 sind Elemente mit gleichen Funktionen wie diejenigen in 1 mit denselben Bezugszeichen wie in 1 versehen, wobei deren Erläuterung hier ausgelassen wird.
Wie in 6 ist die Vorrichtung zur Unterstützung eines automatischen Fahrens 30 mit der Kamera 21, der Vorrichtung zum Steuern eines automatischen Fahrens 23, und einer Mitteilungsvorrichtung 24 verbunden. Die Vorrichtung zum Steuern eines automatischen Fahrens 23 ist eine ECU, die ein automatisches Fahren eines Fahrzeugs durchführt, und entspricht dem vorstehenden „System“. In der vorliegenden Ausführungsform ist vorausgesetzt, dass die Vorrichtung zum Steuern eines automatischen Fahrens 23 mindestens ein automatisches Fahren der Stufe 3 durchführt. Die Mitteilungsvorrichtung 24 führt Mitteilungen an die Insassen eines Fahrzeugs durch, und umfasst hierfür einen Lautsprecher zum Ausgeben eines Mitteilungstons oder einer Audio-Mitteilungsnachricht, ein Display zum Anzeigen eines Warnbildschirms usw.
Ferner umfasst die Vorrichtung zur Unterstützung eines automatischen Fahrens 30 die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 und eine Insassen-Auswahlkomponente 31. Die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 schätzt wie bei derjenigen, die in der ersten Ausführungsform erläutert wurde, den Wachsamkeitsgrad der Insassen des Fahrzeugs ein, und gibt dieses Einschätzungsergebnis an die Insassen-Auswahlkomponente 31 aus.
Die Insassen-Auswahlkomponente 31 wählt einer Eingreifaufforderung durch die Vorrichtung zur Unterstützung eines automatischen Fahrens 30 entsprechend einen Insassen (Insasse, der zum Fahrer bestimmt wird) zum Eingreifen in die Steuerung des Fahrzeugs aus. Die Eingreifaufforderung wird von der Vorrichtung zur Unterstützung eines automatischen Fahrens 30 in die Insassen-Auswahlkomponente 31 eingegeben, wenn die Vorrichtung zur Unterstützung eines automatischen Fahrens 30 ein automatisches Fahren der Stufe 3 ausführt und eine Fortsetzung des automatischen Fahrens schwierig geworden ist. Empfängt die Insassen-Auswahlkomponente 31 eine Eingreifaufforderung von der Vorrichtung zur Unterstützung eines automatischen Fahrens 30, prüft sie das Einschätzungsergebnis des Wachsamkeitsgrades der Insassen durch die Wachsamkeitsgrad-Einschätzungsvorrichtung 10 und wählt einen Insassen, dessen Wachsamkeitsgrad hoch eingeschätzt wurde, als Insassen zum Eingreifen in die Steuerung des Fahrzeugs aus.
Das Auswahlergebnis gemäß der Insassen-Auswahlkomponente 31 wird in die Mitteilungsvorrichtung 24 eingegeben. Von der Mitteilungsvorrichtung 24 erfolgt an den durch die Insassen-Auswahlkomponente 31 ausgewählten Insassen eine Mitteilung, um ihn zum Eingreifen in die Steuerung des Fahrzeugs anzuweisen.
Wurde durch die Insassen-Auswahlkomponente 31 der Insasse ausgewählt, der sich auf dem Fahrersitz befindet, kann die Berechtigung zum Fahren des Fahrzeugs, ohne das Fahrzeug anzuhalten auf diesen Insassen übertragen werden. Wurde jedoch ein anderer Insasse als derjenige des Fahrersitzes durch die Insassen-Auswahlkomponente 31 ausgewählt, kann die Berechtigung zum Fahren des Fahrzeugs auf diesen Insassen übertragen werden, nachdem die Vorrichtung zum Steuern eines automatischen Fahrens 23 das Fahrzeug an einer sicheren Stelle angehalten hat, und der ausgewählte Insasse auf den Fahrersitz gewechselt ist. Gibt es eine Mehrzahl von Insassen, deren Wachsamkeitsgrad hoch eingeschätzt wurde, kann die Insassen-Auswahlkomponente 31 aus diesen einen beliebigen Insassen auswählen, wobei jedoch auch dafür gesorgt werden kann, dass der Insasse auf dem Fahrersitz bevorzugt ausgewählt wird.
Somit kann bei der Vorrichtung zur Unterstützung eines automatischen Fahrens 30 der zweiten Ausführungsform dadurch, dass die Vorrichtung zur Unterstützung eines automatischen Fahrens 30 die Berechtigung zum Fahren an einen Insassen übergibt, und eine so genannte Handover-Verarbeitung unterstützt, verhindert werden, dass die Berechtigung zum Fahren auf einen Insassen mit einem niedrigen Wachsamkeitsgrad übergeht.
Bei der vorliegenden Erfindung ist innerhalb des Bereichs der Erfindung eine beliebige Kombination der jeweiligen Ausführungsformen möglich, und die jeweiligen Ausführungsformen können auch in geeigneter Weise abgewandelt oder weggelassen werden.
Die vorliegende Erfindung wurde detailliert erläutert, wobei die vorstehende Erläuterung in sämtlichen Aspekten eine beispielhafte Darstellung ist, und die Erfindung nicht hierauf beschränkt ist. Auch unzählige abgewandelte Beispiele, die nicht beispielhaft dargestellt sind, werden als ohne Abweichung von dem Bereich dieser Erfindung vorstellbar aufgefasst.
Bezugszeichenliste

10: Wachsamkeitsgrad-Einschätzungsvorrichtung
11: Porträt-Erwerbskomponente
12: Oberlidöffnungsgrad-Berechnungskomponente
13: Abwärtsblick-Beurteilungskomponente
14: Wachsamkeitsgrad-Einschätzungskomponente
21: Kamera
22: Warnvorrichtung
23: Vorrichtung zum Steuern eines automatischen Fahrens
24: Mitteilungsvorrichtung
30: Vorrichtung zur Unterstützung eines automatischen Fahrens
31: Insassen-Auswahlkomponente
50: Verarbeitungsschaltung
51: Prozessor
52: Speicher.

Claims

Wachsamkeitsgrad-Einschätzungsvorrichtung, umfassend eine Porträt-Erwerbskomponente zum Erwerben eines Porträts, bei dem es sich um ein Bild einer Aufnahme des Gesichts eines Insassen eines Fahrzeugs handelt, eine Oberlidöffnungsgrad-Berechnungskomponente zum Berechnen des Öffnungsgrades eines Oberlids aufgrund einer anhand des Porträts festgestellten Position eines inneren Augenwinkels, Position eines äußeren Augenwinkels und Position des höchsten Punktes eines Oberlids, eine Abwärtsblick-Beurteilungskomponente, die für den Fall, dass der Öffnungsgrad des Oberlids kleiner als ein vorgegebener Öffnungsgrad-Schwellenwert ist, basierend auf der anhand des Porträts festgestellten Position des höchsten Punktes des Oberlids und der Position eines Kreuzungspunkts einer Konturlinie eines Unterlids und eines vom höchsten Punkt des Oberlids gefällten Lots beurteilt, ob sich der Insasse in einem Abwärtsblickzustand befindet oder nicht, und eine Wachsamkeitsgrad-Einschätzungskomponente, die eine Abnahme des Wachsamkeitsgrades des Insassen einschätzt, wenn der Öffnungsgrad des Oberlids kleiner als der Öffnungsgrad-Schwellenwert geworden ist, und es beurteilt wird, dass sich der Insasse nicht in einem Abwärtsblickzustand befindet.
Wachsamkeitsgrad-Einschätzungsvorrichtung nach Anspruch 1, wobei die Oberlidöffnungsgrad-Berechnungskomponente basierend auf einer ersten Entfernung, bei der es sich um die Entfernung zwischen einer den inneren Augenwinkel und den äußeren Augenwinkel verbindenden Linie und dem höchsten Punkt des Oberlids handelt, den Öffnungsgrad des Oberlids berechnet.
Wachsamkeitsgrad-Einschätzungsvorrichtung nach Anspruch 2, wobei die Oberlidöffnungsgrad-Berechnungskomponente einen Wert, der dadurch erzielt wird, dass ein durch Division der ersten Entfernung durch die Entfernung zwischen dem inneren Augenwinkel und dem äußeren Augenwinkel erzielter Abflachungsgrad durch einen vorgegebenen Referenzwert dividiert wird, als Öffnungsgrad des Oberlids berechnet.
Wachsamkeitsgrad-Einschätzungsvorrichtung nach Anspruch 3, wobei die Oberlidöffnungsgrad-Berechnungskomponente für jeden Insassen einen unterschiedlichen Wert als Referenzwert verwendet.
Wachsamkeitsgrad-Einschätzungsvorrichtung nach Anspruch 1, wobei die Abwärtsblick-Beurteilungskomponente basierend auf einer zweiten Entfernung, bei der es sich um die Entfernung zwischen der Position des anhand des Porträts festgestellten höchsten Punkts des Oberlids und dem Kreuzungspunkt der Konturlinie des Unterlids und dem von dem höchsten Punkt des Oberlids gefällten Lot handelt, das Vorliegen eines Abwärtsblickzustands des Insassen beurteilt.
Wachsamkeitsgrad-Einschätzungsvorrichtung nach Anspruch 5, wobei die Abwärtsblick-Beurteilungskomponente beurteilt, dass sich der Insasse in einem Abwärtsblickzustand befindet, wenn der Öffnungsgrad des Oberlids kleiner als der Öffnungsgrad-Schwellenwert ist, und die zweite Entfernung größer als ein vorgegebener Entfernungs-Schwellenwert ist.
Wachsamkeitsgrad-Einschätzungsvorrichtung nach Anspruch 6, wobei die Abwärtsblick-Beurteilungskomponente für jeden Insassen einen unterschiedlichen Wert als Entfernungs-Schwellenwert verwendet.
Wachsamkeitsgrad-Einschätzungsvorrichtung nach Anspruch 5, wobei die Abwärtsblick-Beurteilungskomponente beurteilt, dass sich der Insasse in einem Abwärtsblickzustand befindet, wenn der Öffnungsgrad des Oberlids kleiner als der Öffnungsgrad-Schwellenwert ist, und der Anteil, den der Zeitraum, in dem die zweite Entfernung größer als der vorgegebene Entfernungs-Schwellenwert geworden ist, in einem bestimmten Zeitraum einnimmt, einen vorgegebenen Zeitraum-Schwellenwert überschreitet.
Wachsamkeitsgrad-Einschätzungsvorrichtung nach Anspruch 8, wobei die Abwärtsblick-Beurteilungskomponente für jeden Insassen den unterschiedlichen Wert als Entfernungs-Schwellenwert verwendet.
Wachsamkeitsgrad-Einschätzungsvorrichtung nach Anspruch 1, wobei die Abwärtsblick-Beurteilungskomponente das Vorliegen eines Abwärtsblickzustands des Insassen durch Einbeziehung einer von dem Porträts bestimmten Gesichtsrichtung des Insassen beurteilt.
Wachsamkeitsgrad-Einschätzungsvorrichtung nach Anspruch 1, wobei die Wachsamkeitsgrad-Einschätzungskomponente den Wachsamkeitsgrad des Insassen durch Einbeziehung einer anhand des Porträts festgestellten Gesichtsrichtung des Insassen einschätzt.
Wachsamkeitsgrad-Einschätzungsvorrichtung nach Anspruch 1, wobei die Abwärtsblick-Beurteilungskomponente das Vorliegen eines Abwärtsblickzustands des Insassen durch Einbeziehung eines Betätigungszustands von in dem Fahrzeug montierten Geräten beurteilt.
Wachsamkeitsgrad-Einschätzungsvorrichtung nach Anspruch 1, wobei die Wachsamkeitsgrad-Einschätzungskomponente den Wachsamkeitsgrad des Insassen durch Einbeziehung eines Betätigungszustands von in dem Fahrzeug montierten Geräten einschätzt.
Wachsamkeitsgrad-Einschätzungsvorrichtung nach Anspruch 1, wobei die Wachsamkeitsgrad-Einschätzungskomponente ein Einschätzungsergebnis des Wachsamkeitsgrads des Insassen an eine Warnvorrichtung ausgibt, durch die eine Warnung an den Insassen des Fahrzeugs erfolgt.
Wachsamkeitsgrad-Einschätzungsvorrichtung nach Anspruch 1, wobei die Wachsamkeitsgrad-Einschätzungskomponente das Einschätzungsergebnis des Wachsamkeitsgrads des Insassen an eine Vorrichtung zur Steuerung eines automatischen Fahrens des Fahrzeugs ausgibt.
Vorrichtung zum Unterstützen eines automatischen Fahrens, die das automatische Fahren eines Fahrzeugs unterstützt, umfassend eine Wachsamkeitsgrad-Einschätzungsvorrichtung nach Anspruch 1, und eine Insassen-Auswahlkomponente, die für den Fall, dass eine Fortsetzung des automatischen Fahrens des Fahrzeugs schwierig geworden ist, basierend auf dem Einschätzungsergebnis des Wachsamkeitsgrades der Insassen durch die Wachsamkeitsgrad-Einschätzungskomponente einen Insassen zum Eingreifen in die Bedienung des Fahrzeugs auswählt.
Wachsamkeitsgrad-Einschätzungsverfahren, wobei eine Porträt-Erwerbskomponente einer Wachsamkeitsgrad-Einschätzungsvorrichtung ein Porträt erwirbt, bei dem es sich um ein Bild einer Aufnahme des Gesichts eines Insassen eines Fahrzeugs handelt, eine Oberlidöffnungsgrad-Berechnungskomponente der Wachsamkeitsgrad-Einschätzungsvorrichtung den Öffnungsgrad eines Oberlids aufgrund einer anhand des Porträts festgestellten Position eines inneren Augenwinkels, Position eines äußeren Augenwinkels und Position des höchsten Punktes des Oberlids berechnet, eine Abwärtsblick-Beurteilungskomponente der Wachsamkeitsgrad-Einschätzungsvorrichtung, für den Fall, dass der Öffnungsgrad des Oberlids kleiner als ein vorgegebener Öffnungsgrad-Schwellenwert ist, basierend auf der anhand des Porträts festgestellten Position des höchsten Punktes des Oberlids und der Position eines Kreuzungspunkts der Konturlinie eines Unterlids und einem vom höchsten Punkt des Oberlids gefällten Lot, ob ein Insasse in einem Abwärtsblickzustand ist, beurteilt, und eine Wachsamkeitsgrad-Einschätzungskomponente der Wachsamkeitsgrad-Einschätzungsvorrichtung eine Abnahme des Wachsamkeitsgrades des Insassen einschätzt, wenn der Öffnungsgrad des Oberlids kleiner als der Öffnungsgrad-Schwellenwert geworden ist, und beurteilt wird, dass sich der Insasse nicht in einem Abwärtsblickzustand befindet.