-
HINTERGRUND
-
1. Technisches Gebiet
-
Die Erfindung bezieht sich auf eine Insassenzustands-Überwachungsvorrichtung.
-
2. Einschlägiger Stand der Technik
-
Als herkömmliche Vorrichtung zur Überwachung des Zustands eines Insassen in einem Fahrzeug sind beispielsweise Strukturen bekannt, die in den ungeprüften japanischen Patentanmeldungs-Veröffentlichungen
JP 2012- 101 564 A und
JP 2018- 73 339 A offenbart sind.
-
In der
JP 2012- 101 564 A detektiert eine Sichtlinienerfassungsvorrichtung eine Richtung der Sichtlinie bzw. eine Blickrichtung eines Fahrers, und eine Lichtprojektionseinheit führt eine Ab strahlung von Licht von einer Lichtquelle in eine vorbestimmte Richtung aus.
-
Wenn eine Steuervorrichtung auf der Basis eines Ergebnisses der von der Sichtlinienerfassungsvorrichtung ausgeführten Erfassung feststellt, dass die Richtung der Sichtlinie des Fahrers um einen vorbestimmten Winkel oder mehr in Bezug auf eine Vorwärtsrichtung eines Fahrzeugs verlagert ist, veranlasst die Steuervorrichtung die Lichtprojektionseinheit, eine Lichtabstrahlung auf eine Position auszuführen, die in Bezug auf die Richtung der Sichtlinie des Fahrers in der Vorwärtsrichtung verlagert ist, wobei die Position in der Nähe eines Bereichs liegt, auf den die Sichtlinie des Fahrers gerichtet ist.
-
Folglich ist es möglich, den Zustand eines Insassen von einem abgelenkten Zustand in einen normalen Zustand, in dem die Konzentration auf den Fahrvorgang gerichtet ist, wirksam zu korrigieren, ohne dass ein großer Installationsraum in einem Fahrzeuginnenraum eingenommen wird.
-
In der
JP 2018- 73 339 A werden das Gesicht, die Augäpfel und dergleichen eines Benutzers von einer Kamera abgebildet, und ein Blickpunkt des Benutzers wird erfasst und durch Bildverarbeitung analysiert, um dadurch festzustellen, ob der Benutzer ein Fahrer ist, der ein sich bewegendes Objekt fährt. Wenn festgestellt wird, dass der Benutzer der Fahrer ist und die Fahrgeschwindigkeit gleich einer oder höher als eine vorgegebene Geschwindigkeit ist, führt eine elektronische Vorrichtung eine Unfallverhinderungsmaßnahme aus.
-
Die Unfallverhinderungsmaßnahme ist z.B. eine zwangsweise Funktionseinschränkung oder ein Betriebsstopp der elektronischen Vorrichtung. Dadurch kann ein schwerer Unfall im Vorfeld verhindert werden.
-
KURZBESCHREIBUNG
-
Gemäß einem Aspekt der Erfindung wird eine Insassenzustands-Überwachungsvorrichtung angegeben. Die Insassenzustands-Überwachungsvorrichtung weist eine Bildaufnahmeeinrichtung und eine Rechensteuerung auf. Die Bildaufnahmeeinrichtung ist dazu ausgebildet, ein Bild einer Region aufzunehmen, die einen Augapfel eines in einem Fahrzeug befindlichen Insassen beinhaltet, um ein Bild zu erhalten. Die Rechensteuerung ist dazu ausgebildet, auf der Basis eines Teils des Augapfels, der in dem Bild reflektiert wird, eine Blickrichtung bzw. Sichtlinie des Insassen und eine Vorrichtung zu erfassen, die in einem Innenraum des Fahrzeugs angeordnet ist, sowie einen Zustand des Insassen auf der Basis der Vorrichtung und einer Änderung der Sichtlinie zu überwachen.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
Die Begleitzeichnungen sind beigefügt, um ein besseres Verständnis der Erfindung zu vermitteln, und bilden einen integralen Bestandteil der vorliegenden Beschreibung. Die Zeichnungen veranschaulichen eine Ausführungsform und dienen zusammen mit der Beschreibung zur Erläuterung der Prinzipien der Erfindung; in den Zeichnungen zeigen:
- 1A eine Seitenansicht zur Veranschaulichung eines Fahrzeugs mit einer Insassenzustands-Überwachungsvorrichtung gemäß einer Ausführungsform der Erfindung;
- 1B eine Ansicht zur Veranschaulichung eines vorderen Teils eines Fahrzeuginnenraums des Fahrzeugs, das die Insassenzustands-Überwachungsvorrichtung gemäß der Ausführungsform der Erfindung aufweist;
- 2 ein Blockdiagramm zur Veranschaulichung einer Verbindungskonfiguration der Insassenzustands-Überwachungsvorrichtung gemäß der Ausführungsform der Erfindung;
- 3A eine schematische Darstellung zur Veranschaulichung eines Zustands eines Insassen bei der Insassenzustands-Überwachungsvorrichtung gemäß der Ausführungsform der Erfindung;
- 3B eine schematische Darstellung zur Veranschaulichung eines Augapfels des Insassen bei der Insassenzustands-Überwachungsvorrichtung gemäß der Ausführungsform der Erfindung;
- 4 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Überwachen des Zustandes des Insassen gemäß der Ausführungsform der Erfindung;
- 5A eine schematisches Darstellung zur Veranschaulichung eines Augapfel-Teilbildes bei der Insassenzustands-Überwachungsvorrichtung gemäß einer Ausführungsform der Erfindung;
- 5B eine schematische Darstellung zur Veranschaulichung eines Augapfel-Teilbildes in einem Fall, in dem die Außenumgebung des Fahrzeugs hell ist, bei der Insassenzustands-Überwachungsvorrichtung gemäß der Ausführungsform der Erfindung; und
- 5C eine schematische Darstellung zur Veranschaulichung eines Augapfel-Teilbildes in einem Fall, in dem die Außenumgebung des Fahrzeugs dunkel ist, bei der Insassenzustands-Überwachungsvorrichtung gemäß der Ausführungsform der Erfindung.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Die in der
JP 2012- 101 564 A und der
JP 2018- 73 339 A offengelegten Techniken, die vorstehend beschrieben wurden, weisen im Hinblick auf eine genauere Überwachung des Insassenzustands noch Raum für Verbesserungen auf.
-
Beispielsweise kann bei dem in der
JP 2012- 101 564 A und bei dem in der
JP 2018- 73 339 A offenbarten Verfahren das Vorhandensein einer solchen Vorrichtung, wie etwaeines Smartphones in der Nähe eines Armaturenbretts nicht direkt erfasst werden. Wenn sich also ein Insasse, der in einem Fahrzeug fährt, in einem abgelenkten Zustand befindet, in dem er auf eine Vorrichtung bzw. ein Gerät, wie etwaein an dem Armaturenbrett angeordnetes Smartphone starrt, ist es nicht einfach, den abgelenkten Zustand des Insassen zu erkennen.
-
Als Verfahren zur Überwachung der Sichtlinie eines Insassen ist ein Verfahren denkbar, mit dem festgestellt werden kann, ob sich der Insasse während der Fahrt des Fahrzeugs in dem abgelenkten Zustand befindet, in dem er auf das Smartphone starrt. Bei einem Beispiel wird unter Berücksichtigung der Tatsache, dass das Smartphone in einem in Links-Rechts-Richtung zentralen Bereich des Armaturenbretts angeordnet ist, wenn die Sichtlinie bzw. Blickrichtung des Insassen auf den in Links-Rechts-Richtung zentralen Bereich des Armaturenbretts gerichtet ist, die Feststellung getroffen, dass sich der Insasse in dem abgelenkten Zustand befindet, in dem sein Blick auf das Smartphone gerichtet ist, und der Insasse wird über den abgelenkten Zustand gewarnt. In einem solchen Fall kann jedoch eine falsche Warnung an den Insassen ausgegeben werden, der während der Fahrt lediglich auf das vordere Ende des Fahrzeugs blickt. Dies ist insofern problematisch, als sich der Insasse unbehaglich fühlen kann.
-
Es ist wünschenswert, eine Insassenzustands-Überwachungsvorrichtung anzugeben, die einen Zustand eines Insassen in einem Fahrzeug exakt überwachen kann.
-
Nachfolgend wird eine Insassenzustands-Überwachungsvorrichtung gemäß einer Ausführungsform der Erfindung unter Bezugnahme auf die Zeichnungen ausführlich beschrieben. Es sei darauf hingewiesen, dass die nachfolgende Beschreibung auf ein der Erläuterung dienendes Beispiel der Erfindung gerichtet ist und nicht als die Erfindung einschränkend zu verstehen ist. Solche Faktoren, wie z.B. jedoch nicht ausschließlich, Ziffernwerte, Formgebungen, Materialien, Komponenten, Positionen der Komponenten und die Art und Weise, in der die Komponenten miteinander gekoppelt sind, dienen lediglich der Erläuterung und sind nicht als die Erfindung einschränkend zu verstehen.
-
Ferner sind Elemente in der nachfolgenden exemplarischen Ausführungsform, die nicht in einem übergeordneten unabhängigen Anspruch der Erfindung genannt sind, optional und können nach Bedarf vorgesehen werden. Die Zeichnungen sind schematischer Art und nicht als maßstabsgetreu anzusehen. In der gesamten vorliegenden Beschreibung und den Zeichnungen sind Elemente mit im Wesentlichen der gleichen Funktion und Konfiguration mit den gleichen Bezugszeichen bezeichnet, um jegliche Redundanz in der Beschreibung zu vermeiden.
-
1A zeigt eine Seitenansicht zur Veranschaulichung eines Fahrzeugs 10 mit der Insassenzustands-Überwachungsvorrichtung 11. 1B zeigt eine Ansicht zur Veranschaulichung eines vorderen Teils eines Fahrzeuginnenraums des Fahrzeugs 10 mit der Insassenzustands-Überwachungsvorrichtung 11.
-
Die Insassenzustands-Überwachungsvorrichtung 11 überwacht einen Zustand eines Insassen 18, der sich in dem Fahrzeug 10 befindet. Die Insassenzustands-Überwachungsvorrichtung 11 umfasst in erster Linie eine Bildaufnahmeeinrichtung 21, einen Speicher 25 und eine Rechensteuerung 26. Eine detaillierte Funktion und Konfiguration der Insassenzustands-Überwachungsvorrichtung 11 wird später unter Bezugnahme auf 2 und die nachfolgenden Zeichnungen noch beschrieben.
-
Das Fahrzeug 10 ist zum Beispiel ein Automobil, ein Zug oder dergleichen. Bei dem Fahrzeug 10 handelt es sich beispielsweise um ein Fahrzeug mit Verbrennungsmotor, ein Elektrofahrzeug (EV), ein Hybrid-Elektrofahrzeug (HEV) oder ein Plug-in-Hybrid-Elektrofahrzeug (PHEV).
-
Der Insasse 18, der das Fahrzeug 10 fährt, sitzt auf einem Sitz 13, bei dem es sich um den Fahrersitz handelt. Der Insasse 18 fährt das Fahrzeug 10 unter Betätigung eines Bremspedals, eines Gaspedals und dergleichen, die nicht dargestellt sind, sowie eines Lenkrads 14.
-
Eine Windschutzscheibe 12 ist an der Vorderseite einer Fahrzeugkarosserie 28 angeordnet.
-
Wie in 1B dargestellt, ist ein Display bzw. eine Anzeige 15 in der Nähe der in Links-Rechts-Richtung gelegenen Mitte eines Armaturenbretts 19 angeordnet. Bei der Anzeige 15 handelt es sich um eine Multifunktionsanzeige, die kollektiv verschiedene Arten von Information in Bezug auf das Fahrzeug 10 anzeigt. Zu den verschiedenen Arten von Information gehören beispielsweise die Außenlufttemperatur, der Betriebsstatus einer Klimaanlage und dergleichen. Die Anzeige 15 dient auch als Benachrichtigungseinrichtung, die einen Alarm anzeigt, wobei dies später noch beschrieben wird. In dem vorliegenden Fall kann die Benachrichtigungseinrichtung ein Lautsprecher sein, der einen Warnton abgibt.
-
Die Bildaufnahmeeinrichtung 21 ist oberhalb der Anzeige 15 in dem Armaturenbrett 19 angeordnet. Die Bildaufnahmeeinrichtung 21 ist dazu ausgebildet, ein Bild beispielsweise des Kopfes 31 des Insassen 18 aufzunehmen, der das Fahrzeug 10 fährt. Die Bildaufnahmeeinrichtung 21 wird als Fahrerüberwachungssystem (DMS) bezeichnet. Bei der Bildaufnahmeeinrichtung 21 handelt es sich zum Beispiel um eine Infrarotkamera oder dergleichen.
-
Ein Kombiinstrument 23 ist hinter einem oberen Teil des Lenkrads 14 angeordnet. Das Kombiinstrument 23 zeigt die Fahrzeuggeschwindigkeit, die Motordrehzahl und dergleichen an.
-
Ein tragbares Gerät bzw. eine tragbare Vorrichtung 22 kann in Links-Recht-Richtung in der Nähe der Mitte des Armaturenbretts 19 angeordnet sein. Bei einer Ausführungsform kann die tragbare Vorrichtung 22 als „Vorrichtung“ dienen. Bei der tragbaren Vorrichtung 22 handelt es sich beispielsweise um eine Kommunikationsvorrichtung, wie etwaein Smartphone. Die tragbare Vorrichtung 22 ist von dem Armaturenbrett 19 abnehmbar.
-
Die Insassenzustands-Überwachungsvorrichtung 11 überwacht mit der Bildaufnahmeeinrichtung 21 den Zustand des Insassen 18, der das Fahrzeug 10 fährt, wobei sie bei Feststellung, dass sich der Insasse 18 beispielsweise in einem abgelenkten Zustand befindet, in dem er ständig auf die tragbare Vorrichtung 22 starrt, den Insassen 18 über das Ergebnis der Feststellung benachrichtigt. Folglich kann der Insasse 18 seinen eigenen abgelenkten Zustand bzw. Ablenkungszustand durch die Benachrichtigung erkennen und aus dem abgelenkten Zustand in einen normalen Zustand zurückkehren, in dem er sich auf den Fahrvorgang konzentriert. Ein solcher Vorgang wird später noch anhand eines Flussdiagramms beschrieben.
-
2 zeigt ein Blockdiagramm zur Veranschaulichung einer Verbindungskonfiguration der Insassenzustands-Überwachungsvorrichtung 11.
-
Die Insassenzustands-Überwachungsvorrichtung 11 umfasst in erster Linie die Rechensteuerung 26, die Bildaufnahmeeinrichtung 21, den Speicher 25, einen Beleuchtungsstärkesensor 35, einen Zeitgeber 36, die Anzeige 15 und eine Benachrichtigungseinrichtung 27.
-
Die Rechensteuerung 26 umfasst eine zentrale Verarbeitungseinheit (CPU), einen Direktzugriffsspeicher (RAM), einen Festwertspeicher (ROM) und dergleichen. Die Rechensteuerung 26 hat eingangsseitige Anschlüsse, die mit der Bildaufnahmeeinrichtung 21, dem Speicher 25, dem Beleuchtungsstärkesensor 35 und dem Zeitgeber 36 verbunden sind. Die Rechensteuerung 26 hat ausgangsseitige Anschlüsse, die mit der Anzeige 15 und der Benachrichtigungseinrichtung 27 verbunden sind. Wie später noch beschrieben wird, erfasst die Rechensteuerung 26 auf der Basis eines Teils eines Augapfels 20, der in einem Bild 29 reflektiert wird, die Blickrichtung bzw. Sichtlinie des Insassen 18 sowie die in einem Fahrzeuginnenraum 16 angeordnete Vorrichtung und überwacht den Ablenkungszustand als den Zustand des Insassen 18 auf der Basis einer Änderung der Sichtlinie und der Vorrichtung.
-
Die Bildaufnahmeeinrichtung 21 bildet den Insassen 18 ab, der sich in dem Fahrzeug 10 befindet. Die Bildaufnahmeeinrichtung 21 ist z.B. eine Infrarotkamera und kann den Kopf 31 des Insassen 18 bei Tag und bei Nacht abbilden.
-
Der Speicher 25 speichert Information, die zur Erfassung des Ablenkungszustands des Insassen 18 unter Verwendung der Insassenzustands-Überwachungsvorrichtung 11 dient. Zum Beispiel speichert der Speicher 25 ein Augapfel-Teilbild 32, ein erstes Augapfel-Teilbild 33, ein zweites Augapfel-Teilbild 34, das Bild 29 und dergleichen, die später noch beschrieben werden.
-
Der Beleuchtungsstärkesensor 35 ist eine Fotodiode oder dergleichen, die die Helligkeit in dem Fahrzeuginnenraum 16 oder die Helligkeit außerhalb des Fahrzeugs 10 erfasst. Der Beleuchtungsstärkesensor 35 gibt ein die Helligkeit anzeigendes elektrisches Signal an die Rechensteuerung 26 ab. Durch die Erfassung der Helligkeit mit dem Beleuchtungsstärkesensor 35 wird erkannt, ob die Fahrt am Tag oder in der Nacht stattfindet.
-
Folglich ist, wie später noch beschrieben wird, das Verfahren zum Erfassen des abgelenkten Zustands des Insassen 18 umschaltbar, und der abgelenkte Zustand kann mit hoher Genauigkeit erfasst werden. Der Beleuchtungsstärkesensor 35 kann ein Sensor sein, der in einem Fahrzeugnavigationssystem, einer automatischen Beleuchtungsanlage oder dergleichen enthalten ist.
-
Der Zeitgeber 36 misst die Uhrzeit oder eine Zeitdauer. Mit dem Zeitgeber 36 wird erfasst, ob das Fahrzeug 10 am Tag oder in der Nacht unterwegs ist.
-
Wie vorstehend beschrieben, zeigt die Anzeige 15 verschiedene Arten von Information in Bezug auf das Fahrzeug 10 an.
-
Die Benachrichtigungseinrichtung 27 ist beispielsweise ein Lautsprecher, der in der Fahrzeugkarosserie 28 angeordnet ist. Im Fall der Feststellung, dass sich der Insasse 18 in einem abgelenkten Zustand befindet, teilt die Benachrichtigungseinrichtung 27 dem Insassen 18 das Ergebnis der Feststellung durch einen Ton mit.
-
3A zeigt eine schematische Darstellung zur Veranschaulichung des Zustands des Insassen 18, der von der Bildaufnahmeeinrichtung 21 abgebildet wird. Die Bildaufnahmeeinrichtung 21 bildet die Augäpfel 20 des Kopfes 31 des Insassen 18 ab. Darüber hinaus berechnet die Rechensteuerung 26 beispielsweise eine Blickrichtung aus einem Video, das durch die Aufnahme des Kopfes 31 oder der Augäpfel 20 gewonnen wird. Die Blickrichtung ist eine Richtung, in die der Insasse 18 blickt.
-
3B zeigt den Augapfel 20 und einen Iris-Teil 17 des Insassen 18. Der Iris-Teil 17 ist ein farbiger Teil eines Auges des Insassen 18, der mindestens die Pupille und die Iris des Augapfels 20 umfasst. Der Iris-Teil 17 kann aus der Pupille und der Iris des Augapfels 20 bestehen. Der Augapfel 20 reflektiert einen Lichtstrahl auf seiner Oberfläche. So werden, während der Insasse 18 das Fahrzeug 10 fährt, eine Vorderansicht des Fahrzeugs 10, das Armaturenbrett 19 und dergleichen in der Oberfläche des Augapfels 20 reflektiert. Bei der vorliegenden Ausführungsform wird, wie später noch beschrieben wird, ein vom Insassen 18 betrachtetes Objekt unter Verwendung eines solchen Phänomens erfasst.
-
4 zeigt ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Überwachen des Zustands des Insassen 18. Unter Bezugnahme auf 4 wird ein Verfahren zum Überwachen des Ablenkungszustands als Zustand des Insassen 18 durch die Insassenzustands-Überwachungsvorrichtung 11 beschrieben.
-
Im Schritt S 10 steigt der Insasse 18 in das Fahrzeug 10 ein.
-
Im Schritt S11 beginnt das Fahrzeug 10 aufgrund einer Anweisung von dem Insassen 18 zu fahren.
-
Im Schritt S12 veranlasst die Rechensteuerung 26 die Bildaufnahmeeinrichtung 21, den Kopf 31 und die Augäpfel 20 des Insassen 18 abzubilden. Die Rechensteuerung 26 setzt die Bildaufnahme mit der Bildaufnahmeeinrichtung 21 so lange fort, bis die Fahrt des Fahrzeugs 10 beendet ist.
-
Im Schritt S13 misst die Rechensteuerung 26 eine Zeitdauer, während der die Sichtlinie des Insassen 18 bestehen bleibt (im Folgenden als „Sichtlinien-Verweilzeitdauer“ bezeichnet).
-
Bei einem Beispiel stellt die Rechensteuerung 26 fest, ob die Sichtlinie des Insassen 18 auf die tragbare Vorrichtung 22 gerichtet ist, und zwar auf der Basis der Position der Pupille 17, der Körperhaltung des Insassen 18, der Position oder des Winkels des Kopfes 31 und dergleichen. Wenn die tragbare Vorrichtung 22 beispielsweise in der Nähe des in Links-Rechts-Richtung zentralen Bereichs des Armaturenbretts 19 angeordnet ist, stellt die Rechensteuerung 26 auf der Basis des Bildes, das mittels der Bildaufnahmeeinrichtung 21 von dem Insassen 18 erhalten wird, fest ob die Blickrichtung bzw. Sichtlinie des Insassen 18 auf den Bereich in der Nähe des in Links-Rechts-Richtung zentralen Bereichs des Armaturenbretts 19 gerichtet ist.
-
Darüber hinaus stellt die Rechensteuerung 26 fest, ob die Sichtlinie des Insassen 18 in Richtung der tragbaren Vorrichtung 22 gerichtet bleibt. Danach, wenn die Sichtlinie des Insassen 18 bestehen bleibt, veranlasst die Rechensteuerung 26 den Zeitgeber 36, die Sichtlinien-Verweilzeitdauer zu messen.
-
Im Schritt S14 stellt die Rechensteuerung 26 fest, ob die Sichtlinien-Verweilzeitdauer länger ist als eine vorbestimmte Schwellenzeitdauer. Folglich stellt die Rechensteuerung 26 fest, ob die Sichtlinien-Verweilzeitdauer gleich einer oder länger als eine bestimmte Zeitdauer ist.
-
Wenn im Schritt S14 eine positive Feststellung „Ja“ erhalten wird, d.h. wenn die Sichtlinien-Verweilzeitdauer gleich der oder länger als die bestimmte Zeitdauer ist (mit anderen Worten, wenn die Bewegung der Sichtlinie des Insassen 18 gering ist), fährt die Rechensteuerung 26 mit Schritt S15 fort.
-
Wenn im Schritt S14 eine negative Feststellung „Nein“ erhalten wird, d.h. wenn die Sichtlinien-Verweilzeitdauer nicht gleich der oder länger als die bestimmte Zeitdauer ist (mit anderen Worten, wenn die Bewegung der Sichtlinie des Insassen 18 groß ist), fährt die Rechensteuerung 26 mit Schritt S21 fort. In diesem Fall trifft die Rechensteuerung 26 die Feststellung, dass sich der Insasse 18 nicht im abgelenkten Zustand befindet, und gibt keine Benachrichtigung an den Insassen 18.
-
Im Schritt S15 stellt die Rechensteuerung 26 fest, ob die Außenseite bzw. Außenumgebung des Fahrzeugs 10 hell ist. In einem Beispiel trifft die Rechensteuerung 26 die Feststellung, dass die Außenumgebung des Fahrzeugs 10 hell ist, wenn eine durch den Beleuchtungsstärkesensor 35 erfasste Lichtmenge einer Fahrzeugaußenumgebung gleich einem oder größer als ein bestimmter Wert ist. Darüber hinaus kann die Rechensteuerung 26 auch auf der Basis der von dem Zeitgeber 36 gemessenen Zeit feststellen, ob die aktuelle Uhrzeit in der Tageszeit oder in der Nachtzeit liegt, feststellen, dass die Außenumgebung des Fahrzeugs hell ist, wenn die aktuelle Zeit in der Tageszeit liegt, sowie feststellen, dass die Außenumgebung des Fahrzeugs nicht hell ist, wenn die aktuelle Zeit in der Nachtzeit liegt.
-
Wenn im Schritt S15 eine positive Feststellung „Ja“ erhalten wird, d.h. wenn die Lichtmenge in der Fahrzeugaußenumgebung des Fahrzeugs 10 gleich dem oder größer als der bestimmte Wert ist, fährt die Rechensteuerung 26 mit Schritt S16 fort.
-
Wenn im Schritt S15 eine negative Feststellung „Nein“ erhalten wird, d.h. wenn die Lichtmenge in der Fahrzeugaußenumgebung des Fahrzeugs 10 kleiner als der bestimmte Wert ist, fährt die Rechensteuerung 26 mit Schritt S17 fort.
-
Im Schritt S16 stellt die Rechensteuerung 26 fest, ob die tragbare Vorrichtung 22 in dem aufgenommenen Bild vorhanden ist. Bei einer Ausführungsform ist die tragbare Vorrichtung 22 ein Beispiel für einen Lichtemitter 30.
-
Bei einem Beispiel veranschaulicht 5A das von der Bildaufnahmeeinrichtung 21 aufgenommene Bild 29. Das Bild 29 ist ein Teil eines Bildes, das durch Aufnehmen des Kopfes 31 des Insassen 18 mit der Bildaufnahmeeinrichtung 21 erhalten wird. Das Bild 29 enthält das Augapfel-Teilbild 32. Das Augapfel-Teilbild 32 stellt einen Teil innerhalb des Bildes 29 dar, in dem der Augapfel 20 des Insassen 18 reflektiert wird.
-
Das Augapfel-Teilbild 32 umfasst das erste Augapfel-Teilbild 33, das einen oberen Teil desselben darstellt, und das zweite Augapfel-Teilbild 34, das einen unteren Teil desselben darstellt.
-
Das erste Augapfel-Teilbild 33 stellt den oberen Teil des Augapfel-Teilbildes 32 dar, in dem eine Fahrzeugvorderansicht des Fahrzeugs 10 durch die in 1A dargestellte Windschutzscheibe 12 reflektiert wird. Wenn die Außenumgebung des Fahrzeugs 10 hell ist, weil das Fahrzeug 10 tagsüber fährt, wird das erste Augapfel-Teilbild 33 hell reflektiert. Wenn die Außenumgebung des Fahrzeugs 10 dagegen dunkel ist, weil das Fahrzeug 10 in der Nacht fährt, wird das erste Augapfel-Teilbild 33 dunkel reflektiert.
-
Das zweite Augapfel-Teilbild 34 stellt den unteren Teil des Augapfel-Teilbildes 32 dar, in dem das in 1A dargestellte Armaturenbrett 19 reflektiert wird. Bei einer Ausführungsform kann das Armaturenbrett 19 als „Fahrzeugelement“ dienen. Eine Oberfläche des Armaturenbretts 19 ist im Allgemeinen schwarz gefärbt. Wenn also die Außenumgebung des Fahrzeugs hell ist, wird das zweite Augapfel-Teilbild 34 dunkler reflektiert als das erste Augapfel-Teilbild 33.
-
Wie in 1A dargestellt, kann in dem Armaturenbrett 19 die tragbare Vorrichtung 22, z.B. ein Smartphone, als Lichtemitter 30 angeordnet sein. In diesem Fall wird, wie in 5B dargestellt, die tragbare Vorrichtung 22 in dem Augapfel-Teilbild 32 heller reflektiert als das Armaturenbrett 19, da der Bildschirm der tragbaren Vorrichtung 22 ein Bildschirm ist, der eine Flüssigkristallanzeige oder ein organisches Elektrolumineszenzelement verwendet, das Licht emittiert. Zum Beispiel wird in dem zweiten Augapfel-Teilbild 34, in dem das Armaturenbrett 19 dunkel reflektiert wird, der untere Teil der tragbaren Vorrichtung 22 merklich hell reflektiert.
-
Folglich ist die Feststellung möglich, ob der Insasse 18 durch die an dem Armaturenbrett 19 angeordnete tragbare Vorrichtung 22 abgelenkt wird, indem überprüft wird, ob der Lichtemitter 30 in dem zweiten Augapfel-Teilbild 34 vorhanden ist. Das heißt, wenn der Lichtemitter 30 in dem zweiten Augapfel-Teilbild 34 vorhanden ist, kann die Feststellung getroffen werden, dass der Insasse 18 durch die an dem Armaturenbrett 19 angeordnete tragbare Vorrichtung 22 abgelenkt ist. Wenn dagegen der Lichtemitter 30 nicht in dem zweiten Augapfel-Teilbild 34 vorhanden ist, kann die Feststellung getroffen werden, dass die tragbare Vorrichtung 22 nicht an dem Armaturenbrett 19 angeordnet ist und der Insasse 18 nicht durch die tragbare Vorrichtung 22 abgelenkt ist.
-
Wenn also der Lichtemitter 30 in dem zweiten Augapfel-Teilbild 34 vorhanden ist, stellt die Rechensteuerung 26 im Schritt S16 fest, dass sich der Insasse 18 in dem abgelenkten Zustand befindet. Wenn hingegen der Lichtemitter 30 nicht in dem zweiten Augapfel-Teilbild 34 vorhanden ist, stellt die Rechensteuerung 26 fest, dass sich der Insasse 18 nicht in dem abgelenkten Zustand befindet.
-
Wenn im Schritt S16 eine positive Feststellung „Ja“ erhalten wird, d.h. wenn festgestellt wird, dass sich der Insasse 18 in dem abgelenkten Zustand befindet, da der Lichtemitter 30 in dem zweiten Augapfel-Teilbild 34 vorhanden ist, fährt die Rechensteuerung 26 mit Schritt S18 fort.
-
Wenn im Schritt S16 eine negative Feststellung „Nein“ erhalten wird, d.h. wenn festgestellt wird, dass sich der Insasse 18 nicht in dem abgelenkten Zustand befindet, da der Lichtemitter 30 in dem zweiten Augapfel-Teilbild 34 nicht vorhanden ist, fährt die Rechensteuerung 26 mit Schritt S21 fort und führt die Benachrichtigung nicht aus.
-
Im Schritt S17 stellt die Rechensteuerung 26 fest, ob der Lichtemitter 30 in einem unbewegten Zustand in dem aufgenommenen Bild vorhanden ist.
-
5C zeigt das Bild 29 im Schritt S17. Wenn die Außenumgebung des Fahrzeugs in der Nacht dunkel ist, werden sowohl das erste Augapfel-Teilbild 33 als auch das zweite Augapfel-Teilbild 34 dunkel reflektiert. Wenn das Fahrzeug 10 in der Nacht fährt, wird ein sich bewegender Lichtemitter 37 in dem Augapfel-Teilbild 32 reflektiert. Der sich bewegende Lichtemitter 37 bewegt sich in dem Augapfel-Teilbild 32.
-
Der sich bewegende Lichtemitter 37 wird z.B. durch Licht von einem Scheinwerfer eines Fahrzeugs verursacht, das auf einer entgegengesetzten Fahrspur (Gegenfahrbahn) fährt, und ist ein Faktor, der die Außenumgebung des Fahrzeugs darstellt. Das Vorhandensein oder Nicht-Vorhandensein des sich bewegenden Lichtemitters 37 hängt also nicht mit dem Ablenkungszustand des Insassen 18 zusammen.
-
Wenn die tragbare Vorrichtung 22 in der Nacht an dem Armaturenbrett 19 angeordnet ist, wird der Lichtemitter 30, d.h. die tragbare Vorrichtung 22, deren Bildschirm Licht emittiert, in dem Augapfel-Teilbild 32 reflektiert. Der Lichtemitter 30 ist ein Faktor, der das Innere des Fahrzeuginnenraums 16 darstellt, da der Lichtemitter 30 an einer vorbestimmten Position des Armaturenbretts 19 angebracht ist. Der Lichtemitter 30 bleibt während der Fahrt des Fahrzeugs 10 unbewegt.
-
Folglich wird im Schritt S17, wenn die tragbare Vorrichtung 22, die der Lichtemitter 30 im unbewegten Zustand ist, in dem Augapfel-Teilbild 32 vorhanden ist, die Feststellung getroffen, dass der Insasse 18 durch die tragbare Vorrichtung 22 abgelenkt ist.
-
Wenn im Schritt S17 eine positive Feststellung „Ja“ erhalten wird, d.h. wenn die tragbare Vorrichtung 22, bei der es sich um den Lichtemitter 30 im unbewegten Zustand handelt, in dem Augapfel-Teilbild 32 vorhanden ist, fährt die Rechensteuerung 26 mit Schritt S18 fort.
-
Wenn im Schritt S17 eine negative Feststellung „Nein“ erhalten wird, d.h. wenn die tragbare Vorrichtung 22, bei der es sich um den Lichtemitter 30 im unbewegten Zustand handelt, nicht in dem Augapfel-Teilbild 32 vorhanden ist, fährt die Rechensteuerung 26 mit Schritt S21 fort und veranlasst die Benachrichtigung nicht.
-
Im Schritt S18 veranlasst die Rechensteuerung 26 die Benachrichtigung an den Insassen 18. Bei einem Beispiel veranlasst die Rechensteuerung 26 einen Lautsprecher oder dergleichen, bei dem es sich um die Benachrichtigungseinrichtung 27 handelt, eine Sprachnachricht oder einen Warnton abzugeben, um den Zustand des Insassen 18 aus dem abgelenkten Zustand in den normalen Zustand zurückzuführen, in dem er sich auf den Fahrvorgang konzentriert. Bei der Benachrichtigungseinrichtung 27 kann es sich um die Anzeige 15 handeln.
-
In diesem Fall zeigt die Anzeige 15 ein Bild an, um den Zustand des Insassen 18 vom abgelenkten Zustand in den normalen Zustand zurückzuführen. Die Benachrichtigung des Insassen 18 über die Benachrichtigungseinrichtung 27 ermöglicht es dem Insassen 18, aus dem abgelenkten Zustand in den normalen Zustand zurückzukehren.
-
Im Schritt S19 stellt die Rechensteuerung 26 fest, ob der abgelenkte Zustand des Insassen 18 fortdauert. Der Prozess im Schritt S19 ist ähnlich wie in den vorstehend beschriebenen Schritten S13 bis S17.
-
Wenn im Schritt S19 eine positive Feststellung „Ja“ erhalten wird, d.h. wenn der abgelenkte Zustand des Insassen 18 anhält, springt die Rechensteuerung 26 zum Schritt S18 zurück und setzt die Benachrichtigung fort.
-
Wenn im Schritt S19 eine negative Feststellung „Nein“ erhalten wird, d.h. wenn der abgelenkte Zustand des Insassen 18 beendet ist, fährt die Rechensteuerung 26 mit Schritt S20 fort.
-
Im Schritt S20 beendet die Rechensteuerung 26 die Benachrichtigung mittels der Benachrichtigungseinrichtung 27.
-
Im Schritt S21 beendet der Insasse 18 die Fahrt des Fahrzeugs 10. Das heißt, der Insasse 18 stoppt das Fahrzeug 10.
-
Die vorstehende Beschreibung bezieht sich auf den Vorgang zur Überwachung des Ablenkungszustands als Zustand des Insassen 18 durch die Insassenzustands-Überwachungsvorrichtung 11.
-
Bei der Insassenzustands-Überwachungsvorrichtung 11 der vorliegenden Ausführungsform wird die in dem Fahrzeuginnenraum 16 angeordnete Vorrichtung auf der Basis des in dem Bild 29 reflektierten Augapfels 20 des Insassen 18 erfasst, und somit ist es beispielsweise möglich, den Ablenkungszustand des Insassen 18, der fortwährend auf die tragbare Vorrichtung 22 blickt, bei der es sich um die Vorrichtung handelt, effektiv zu bestimmen. Da bei der Insassenzustands-Überwachungsvorrichtung 11 der Ablenkungszustand auf der Basis der Sichtlinie des Insassen 18 und der tragbaren Vorrichtung erfasst und gemeldet wird, ist es darüber hinaus möglich, eine fehlerhafte Meldung bzw. Benachrichtigung auf der Basis einer fehlerhaften Erkennung des abgelenkten Zustands zu reduzieren und so zu vermeiden, dass sich der Insasse 18 unwohl fühlt.
-
Darüber hinaus kann in dem vorstehend beschriebenen Schritt S14 der Zustand des Insassen 18 exakter bestimmt werden, indem festgestellt wird, dass sich der Insasse 18 in dem Ablenkungszustand befindet, wenn die Blickzeitdauer die bestimmte Zeitdauer überschreitet.
-
Darüber hinaus ist es in den vorstehend beschriebenen Schritten S16 und S 17 möglich, einen Zustand genau zu erfassen, in dem der Insasse 18 auf die tragbare Vorrichtung 22 starrt, bei der es sich um eine Vorrichtung bzw. ein Gerät handelt, das an dem Fahrzeugelement angeordnet ist, bei dem es sich z.B. um das Armaturenbrett 19 handelt. Darüber hinaus ist es möglich, den abgelenkten Zustand, in dem der Insasse 18 auf eine tragbare Kommunikationsvorrichtung oder dergleichen als Beispiel für den Lichtemitter 30 starrt, leicht zu erkennen.
-
Darüber hinaus verzweigt sich der Feststellungsprozess in dem vorstehend beschriebenen Schritt S15 auf der Basis der Helligkeit außerhalb des Fahrzeugs, so dass sowohl am Tag als auch in der Nacht festgestellt werden kann, ob sich der Insasse 18 in dem abgelenkten Zustand befindet.
-
Obwohl die Ausführungsform der Erfindung vorstehend beschrieben worden ist, ist die Erfindung nicht darauf beschränkt, und es können Modifikationen vorgenommen werden, ohne dass man den Umfang der Erfindung verlässt. Darüber hinaus können die vorstehend beschriebenen Ausführungsarten miteinander kombiniert werden.
-
Zum Beispiel kann bei der vorstehend beschriebenen Ausführungsform, obwohl der Überwachungszielzustand der Rechensteuerung 26 der abgelenkte Zustand bzw. Ablenkungszustand ist, der Überwachungszielzustand ein beliebiger anderer Zustand als der abgelenkte Zustand sein. Zum Beispiel kann der Überwachungszielzustand der Rechensteuerung 26 ein Zustand sein, in dem die Körperhaltung des Insassen 18 erheblich aus dem Gleichgewicht geraten ist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2012101564 A [0002, 0003, 0010, 0011]
- JP 201873339 A [0002, 0006, 0010, 0011]
