DE102019125920A1

DE102019125920A1 - Augapfelinformationenerfassungsvorrichtung, Augapfelinformationenerfassungsverfahren und Insassenüberwachungsvorrichtung

Info

Publication number: DE102019125920A1
Application number: DE102019125920.7A
Authority: DE
Inventors: Shin OSUGA; Takashi Kato; Yuya Yamada; Yuta Kawai
Original assignee: Aisin Seiki Co Ltd
Current assignee: Toyota Motor Corp; Aisin Corp
Priority date: 2018-09-27
Filing date: 2019-09-26
Publication date: 2020-04-02
Also published as: US10733438B2; US20200104590A1; JP2020052770A; JP7311257B2

Abstract

Eine Augapfelinformationenerfassungsvorrichtung (310) enthält eine Beschaffungseinheit (401) zur Beschaffung eines erfassten Bildes, das durch Abbilden eines Bereichs, in dem wahrscheinlich ein Gesicht eines Insassen in einem Fahrzeug vorhanden ist, durch eine Bildgebungseinrichtung erhalten wird, die in der Nähe einer Beleuchtungseinrichtung vorgesehen ist, die Licht zu dem Bereich emittiert, und eine Erfassungseinheit (402) zur Ausgabe von Augapfelinformationen, die dem erfassten Bild entsprechen, durch Empfangen des durch die Beschaffungseinheit beschafften erfassten Bildes als Eingabe beruhend auf einem gelernten Modell (403), das durch Lernen eines Lernbildes, das Informationen ähnlich dem durch die Beschaffungseinheit beschafften erfassten Bild enthält, und eines richtigen Werts der Augapfelinformationen über einen Augapfel des Insassen, der in dem Lernbild erscheint, durch Maschinenlernen erzeugt wird.

Description

TECHNISCHES GEBIET
Diese Offenbarung bezieht sich auf eine Augapfelinformationenerfassungsvorrichtung, ein Augapfelinformationenerfassungsverfahren und eine Insassenüberwachungsvorrichtung.
TECHNISCHER HINTERGRUND
In der verwandten Technik werden Verfahren zur Erfassung von Augapfelinformationen über die Augäpfel eines Insassen, wie eine Pupillenposition des Insassen, beruhend auf einem erfassten Bild untersucht, das durch Abbilden eines Gesichts des Insassen eines Fahrzeugs mittels einer Bildgebungsvorrichtung erhalten wird.
In dem erfassten Bild erscheinen die Augen entsprechend den Lichtbedingungen im Allgemeinen als rote Augen oder erscheinen in anderen Formen. Die JP 2009 / 254 691 A (Druckschrift 1) offenbart hier ein Verfahren zur Erfassung von Augapfelinformationen ungeachtet einer Variation, wie die Augen in dem erfassten Bild erscheinen, indem zwei Beleuchtungsarten verwendet werden, die eine Beleuchtung zum Emittieren von Licht zu dem Gesicht (den Augen) eines Insassen von einer Richtung gleich einer Abbildungsrichtung und eine Beleuchtung zum Emittieren von Licht zu dem Gesicht (den Augen) des Insassen von einer anderen Richtung als der Abbildungsrichtung enthalten, beruhend auf einem Unterschied zwischen zwei Arten erfasster Bilder, die ein erfasstes Bild, das beschafft wird, wenn das Licht von der erstgenannten Beleuchtung emittiert wird, und ein erfasstes Bild enthalten, das beschafft wird, wenn das Licht durch die zweitgenannte Beleuchtung emittiert wird.
Bei dem vorstehend beschriebenen Stand der Technik ist zum Emittieren von Licht von verschiedenen Richtungen zu derselben Position allerdings erforderlich, die zwei Beleuchtungsarten an Positionen anzuordnen, die um ein gewisses Ausmaß voneinander getrennt sind, und somit sinkt der Freiheitsgrad im Design und Layout eines Fahrzeuginneren, während die Erfassungsgenauigkeit von Augapfelinformationen sichergestellt wird.
Es besteht daher ein Bedürfnis nach einer Augapfelinformationenerfassungsvorrichtung, einem Augapfelinformationenerfassungsverfahren und einer Insassenüberwachungsvorrichtung, die die Augapfelinformationen mit hoher Genauigkeit erfassen können, ohne den Freiheitsgrad in Design und Layout in einem Fahrzeuginneren einzuschränken.
KURZZUSAMMENFASSUNG
Eine Augapfelinformationenerfassungsvorrichtung als ein Beispiel dieser Offenbarung umfasst eine Beschaffungseinheit zur Beschaffung eines erfassten Bildes, das durch Abbilden eines Bereichs, in dem wahrscheinlich ein Gesicht eines Insassen in einem Fahrzeug vorhanden ist, durch eine Bildgebungseinrichtung erhalten wird, die in der Nähe einer Beleuchtungseinrichtung vorgesehen ist, die Licht zu dem Bereich emittiert, und eine Erfassungseinheit zur Ausgabe von Augapfelinformationen, die dem erfassten Bild entsprechen, durch Empfangen des durch die Beschaffungseinheit beschafften erfassten Bildes als Eingabe beruhend auf einem gelernten Modell, das durch Lernen eines Lernbildes, das Informationen ähnlich dem durch die Beschaffungseinheit beschafften erfassten Bild enthält, und eines richtigen Werts der Augapfelinformationen über einen Augapfel des Insassen, der in dem Lernbild erscheint, durch Maschinenlernen erzeugt wird.
Mit der vorstehend beschriebenen Augapfelinformationenerfassungsvorrichtung kann eine Ausgabe beruhend auf dem richtigen Wert der Augapfelinformationen unter Verwendung des gelernten Modells in einem Aufbau erhalten werden, in dem die Beleuchtungseinrichtung und die Bildgebungseinrichtung nahe aneinander vorgesehen sind. Dadurch ist es möglich, die Augapfelinformationen mit hoher Genauigkeit ohne Verringerung des Freiheitsgrads in Design und Layout im Fahrzeuginneren zu erfassen.
Bei der vorstehend beschriebenen Augapfelinformationenerfassungsvorrichtung kann die Erfassungseinheit die Augapfelinformationen, die dem erfassten Bild entsprechen, ungeachtet dessen, ob der Augapfel in dem erfassten Bild als rotes Auge erscheint oder nicht, beruhend auf dem gelernten Modell ausgeben, das beruhend auf dem Lernbild, das ein erstes Bild, in dem der Augapfel als rotes Auge erscheint, und ein zweites Bild enthält, in dem der Augapfel in anderen Formen als das rote Auge erscheint, und richtigen Werten der Augapfelinformationen erzeugt wird, die jeweils dem ersten Bild als Lernbild und dem zweiten Bild als Lernbild entsprechen. Mit diesem Aufbau ist es möglich, die Augapfelinformationen mit hoher Genauigkeit ungeachtet dessen zu erfassen, ob der Augapfel in dem erfassten Bild als rotes Auge erscheint oder nicht.
Bei der vorstehend beschriebenen Augapfelinformationenerfassungsvorrichtung kann die Erfassungseinheit eine Pupillenposition als Augapfelinformationen ausgeben. Mit diesem Aufbau kann die Pupillenposition mit hoher Genauigkeit erfasst werden.
Bei der vorstehend beschriebenen Augapfelinformationenerfassungsvorrichtung kann die Beschaffungseinheit das erfasste Bild beschaffen, das durch die Bildgebungseinrichtung erhalten wird, die mit der Beleuchtungseinrichtung integriert an einer vorbestimmten Position in einem Fahrzeuginneren vorgesehen ist. Da die Beleuchtungseinrichtung und die Bildgebungseinrichtung integriert sind und integral angeordnet sind, ist es mit diesem Aufbau möglich, die Augapfelinformationen mit hoher Genauigkeit zu erfassen, während die Verringerung des Freiheitsgrads in Design und Layout im Fahrzeuginneren verhindert wird.
Ein Augapfelinformationenerfassungsverfahren als Beispiel dieser Offenbarung enthält einen Beschaffungsschritt eines Beschaffens eines erfassten Bildes, das durch Abbilden eines Bereichs, in dem wahrscheinlich ein Gesicht eines Insassen in einem Fahrzeug vorhanden ist, durch eine Bildgebungseinrichtung erhalten wird, die in der Nähe einer Beleuchtungseinrichtung vorgesehen ist, die Licht zu dem Bereich emittiert, und einen Erfassungsschritt eines Ausgebens von Augapfelinformationen, die dem erfassten Bild entsprechen, durch Empfangen des in dem Beschaffungsschritt beschafften erfassten Bildes als Eingabe beruhend auf einem gelernten Modell, das durch Lernen eines Lernbildes, das Informationen ähnlich dem im Beschaffungsschritt beschafften erfassten Bild enthält, und eines richtigen Werts der Augapfelinformationen über Augäpfel des Insassen, die in dem Lernbild erscheinen, durch Maschinenlernen erzeugt wird.
Mit dem vorstehend beschriebenen Augapfelinformationenerfassungsverfahren kann eine Ausgabe beruhend auf dem richtigen Wert der Augapfelinformationen unter Verwendung des gelernten Modells in einem Aufbau erhalten werden, in dem die Beleuchtungseinrichtung und die Bildgebungseinrichtung nahe beieinander vorgesehen sind. Es ist daher möglich, die Augapfelinformationen mit hoher Genauigkeit ohne Verringerung des Freiheitsgrads in Design und Layout im Fahrzeuginneren zu erfassen.
Eine Insassenüberwachungsvorrichtung als Beispiel dieser Offenbarung umfasst eine Beschaffungseinheit zum Beschaffen eines erfassten Bildes, das durch Abbilden eines Bereichs, in dem wahrscheinlich ein Gesicht eines Insassen in einem Fahrzeug vorhanden ist, durch eine Bildgebungseinrichtung erhalten wird, die in der Nähe einer Beleuchtungseinrichtung vorgesehen ist, die Licht zu dem Bereich emittiert, eine Erfassungseinheit zur Ausgabe von Augapfelinformationen, die dem erfassten Bild entsprechen, durch Empfangen des durch die Beschaffungseinheit beschafften erfassten Bildes als Eingabe beruhend auf einem gelernten Modell, das durch Lernen eines Lernbildes, das Informationen ähnlich dem durch die Beschaffungseinheit beschafften erfassten Bild enthält, und eines richtigen Werts der Augapfelinformationen über einen Augapfel des Insassen, der in dem Lernbild erscheint, durch Maschinenlernen erzeugt wird, und eine Verarbeitungseinheit, die eine Änderung einer Sichtlinie des Insassen beruhend auf den aus der Erfassungseinheit ausgegebenen Augapfelinformationen überwacht.
Mit der vorstehend beschriebenen Insassenüberwachungsvorrichtung kann eine Ausgabe, die auf dem richtigen Wert der Augapfelinformationen beruht, unter Verwendung des gelernten Modells in einem Aufbau erhalten werden, in dem die Beleuchtungseinrichtung und die Bildgebungseinrichtung nahe aneinander vorgesehen sind. Daher können die Augapfelinformationen mit hoher Genauigkeit erfasst und eine Änderung einer Sichtlinie des Insassen mit hoher Genauigkeit überwacht werden, ohne den Freiheitsgrad in Design und Layout im Fahrzeuginneren einzuschränken.
Figurenliste
Die vorstehenden und weitere Merkmale und Eigenschaften dieser Offenbarung werden aus der folgenden näheren Beschreibung unter Bezugnahme auf die beiliegenden Zeichnungen ersichtlich. Es zeigen:

1 eine schematische Beispieldarstellung eines Aufbaus eines Fahrzeugs gemäß einem Ausführungsbeispiel,
2 eine schematische Beispieldarstellung einer Anordnung einer Bildgebungseinrichtung und einer Beleuchtungseinrichtung, die in dem Fahrzeug gemäß dem Ausführungsbeispiel vorgesehen sind,
3 ein schematisches Beispielblockschaltbild eines Systemaufbaus eines Insassenüberwachungssystems gemäß dem Ausführungsbeispiel,
4 ein schematisches Beispielblockschaltbild einer Funktion einer Insassenüberwachungsvorrichtung gemäß dem Ausführungsbeispiel,
5 eine schematische Beispieldarstellung eines Rote-Augen-Bildes gemäß dem Ausführungsbeispiel,
6 eine schematische Beispieldarstellung eines Schwarze-Augen-Bildes gemäß dem Ausführungsbeispiel,
7 eine schematische Beispieldarstellung eines Sichtlinienerfassungsverfahrens gemäß dem Ausführungsbeispiel,
8 ein Beispielablaufdiagramm einer durch die Insassenüberwachungsvorrichtung gemäß dem Ausführungsbeispiel ausgeführten Anfangserfassungsverarbeitung,
9 ein Beispielablaufdiagramm einer durch die Insassenüberwachungsvorrichtung gemäß dem Ausführungsbeispiel ausgeführten Nachführungsverarbeitung, und
10 ein Beispielablaufdiagramm einer durch die Insassenüberwachungsvorrichtung gemäß dem Ausführungsbeispiel ausgeführten Pupillenerfassungsverarbeitung .

AUSFÜHRLICHE BESCHREIBUNG
Nachstehend wird ein Ausführungsbeispiel der Offenbarung beruhend auf den Zeichnungen beschrieben. Die Konfigurationen des nachstehend beschriebenen Ausführungsbeispiels und die Verarbeitungsvorgänge und Ergebnisse (Wirkungen), die durch die Konfigurationen erzielt werden, sind lediglich Beispiele, und die Offenbarung ist nicht auf die folgende Beschreibung beschränkt.
Zuerst wird unter Bezugnahme auf die 1 und 2 ein schematischer Aufbau eines Fahrzeugs 1 gemäß dem Ausführungsbeispiel beschrieben. 1 zeigt eine schematische Beispieldarstellung des Aufbaus des Fahrzeugs 1 gemäß dem Ausführungsbeispiel, und 2 zeigt eine schematische Beispieldarstellung einer Anordnung einer Bildgebungseinrichtung 201 und einer Beleuchtungseinrichtung 203, die in dem Fahrzeug 1 gemäß dem Ausführungsbeispiel vorgesehen sind.
Wie in 1 gezeigt, ist das Fahrzeug 1 gemäß dem Ausführungsbeispiel ein Vierradautomobil mit einem linken und einem rechten Vorderrad 3F und einem linken und einem rechten Hinterrad 3R. Der Einfachheit halber werden die Vorderräder 3F und die Hinterräder 3R insgesamt als Rad 3 bezeichnet. Bei dem Ausführungsbeispiel wird der Schwimmwinkel eines Teils oder aller der vier Räder 3 gemäß dem Lenken einer Lenkeinheit 303a und dergleichen geändert (gesteuert).
Wie in 1 gezeigt, weist das Fahrzeug 1 gemäß dem Ausführungsbeispiel ein Fahrzeuginneres 2a auf, in dem ein Insasse (in 1 nicht gezeigt) an Bord ist. Im Fahrzeuginneren 2a ist eine Lenkeinheit 303a in einem Zustand vorgesehen, in dem ein Fahrer X (in 1 nicht gezeigt) als Insasse diese von einem Fahrersitz 2b aus bedienen kann. Die Lenkeinheit 303a ist beispielsweise als Lenkrad konfiguriert, das aus einen Armaturenbrett (einer Instrumententafel) 12 hervorsteht. Selbstverständlich gibt es bei dem Ausführungsbeispiel im Fahrzeuginneren 2a neben dem Fahrersitz 2b eventuell auch andere Sitze.
Ferner ist eine Überwachungseinrichtung 11 mit einer Anzeigeeinheit 8 zur Ausgabe verschiedener Arten von Bildern und einer Sprachausgabeeinheit 9 zur Ausgabe verschiedener Arten von Tönen im Fahrzeuginneren 2a vorgesehen. Die Überwachungseinrichtung 11 ist beispielsweise an einem Mittenabschnitt in Fahrzeugbreitenrichtung (Links-Rechts-Richtung) des Armaturenbretts im Fahrzeuginneren 2a vorgesehen. Bei dem in 1 gezeigten Beispiel ist die Anzeigeeinheit 8 mit einer Bedieneingabeeinheit 10 bedeckt, die Koordinaten einer Position erfassen kann, an der eine Angabeeinrichtung, wie ein Finger oder ein Stift, in der Nähe ist (einschließlich eines Kontaktzustands). Der Insasse kann so ein auf der Anzeigeeinheit 8 angezeigtes Bild sehen und erkennen, und gibt unter Verwendung der Angabeeinrichtung verschiedene Bedienungen durch Ausführen einer Eingabebedienung (beispielsweise einer Berührbedienung) auf der Bedieneingabeeinheit 10 ein.
Wie in 2 gezeigt sind eine Bildgebungseinrichtung 201 und eine Beleuchtungseinrichtung 203 an einer vorbestimmten Position im Fahrzeuginneren 2a vorgesehen, insbesondere in einer Trägereinheit 202, die die Lenkeinheit 303a trägt. Die Bildgebungseinrichtung 201 ist beispielsweise als Ladungskopplungsbaustein-(CCD-)Kamera konfiguriert, und die Beleuchtungseinrichtung 203 ist beispielsweise als Infrarotbeleuchtung konfiguriert.
Bei dem Ausführungsbeispiel sind die Bildgebungseinrichtung 201 und die Beleuchtungseinrichtung 203 integral vorgesehen. Demnach schauen die Bildgebungseinrichtung 201 und die Beleuchtungseinrichtung 203 von im Wesentlichen derselben Position zu einem Bereich, in dem wahrscheinlich das Gesicht des Fahrers X vorhanden ist, der auf dem Fahrersitz 2b sitzt.
Das heißt, die Bildgebungseinrichtung 201 ist in Winkel und Stellung derart angepasst, dass sie einen Bereich abbilden kann, wo wahrscheinlich das Gesicht des Fahrers X vorhanden ist, der auf dem Fahrersitz 2b sitzt, und die Beleuchtungseinrichtung 203 ist in Winkel und Stellung derart angepasst, dass Licht zu dem Bereich emittiert werden kann, wo wahrscheinlich das Gesicht des Fahrers X vorhanden ist, der auf dem Fahrersitz 2b sitzt.
Die Bildgebungseinrichtung 201 führt eine Abbildung des Gesichts des Fahrers X periodisch zu vorbestimmten Zeitintervallen aus, während das Fahren des Fahrzeugs 1 durchgeführt wird, und gibt das erfasste Bild (das Bilddaten entspricht), das durch Abbilden erhalten wird, sequentiell zu einer Insassenüberwachungsvorrichtung 310 (siehe die 3 und 4) aus, die nachstehend beschrieben wird. Obwohl nachstehend Einzelheiten beschrieben werden, erfasst die Insassenüberwachungseinrichtung 310 Augapfelinformationen über die Augäpfel des Fahrers X, wie eine Pupillenposition (Mittenposition) des Fahrers X, beruhend auf dem durch Abbilden durch die Bildgebungseinrichtung 201 erhaltenen erfassten Bild. Außerdem führt die Insassenüberwachungsvorrichtung 310 eine Insassenüberwachungsverarbeitung aus, die eine Erfassung von Sichtlinieninformationen (und Nachführung der erfassten Sichtlinieninformationen) über die Sichtlinie des Fahrers X enthält, und überwacht eine Änderung der Sichtlinie des Fahrers X beruhend auf den erfassten Augapfelinformationen.
Im Folgenden wird die Insassenüberwachungsverarbeitung beschrieben, die beruhend auf dem durch die Bildgebungseinrichtung 201 erhaltenen erfassten Bild ausgeführt wird, das Informationen über den Bereich enthält, in dem wahrscheinlich das Gesicht des Fahrers X vorhanden ist, der auf dem Fahrersitz 2b sitzt, jedoch kann die Insassenüberwachungsverarbeitung auch bei vom Fahrer X verschiedenen Insassen ausgeführt werden. Das heißt, die Insassenüberwachungsverarbeitung wird auf die gleiche Weise beruhend auf dem erfassten Bild ausgeführt, das durch eine Bildgebungseinheit erhalten wird, die an einer anderen Position als die Bildgebungseinrichtung 201 vorgesehen ist, und einen Bereich abbildet, in dem wahrscheinlich Gesichter von Insassen vorhanden sind, die auf anderen Sitzen als dem Fahrersitz 2b sitzen.
Unter Bezugnahme auf 3 wird nun ein Systemaufbau eines Insassenüberwachungssystems 300 beschrieben, das die Insassenüberwachungsvorrichtung 130 enthält, die eine Insassenüberwachungsverarbeitung ausführt. Der in 3 veranschaulichte Systemaufbau ist lediglich ein Beispiel und kann verschiedentlich eingestellt (verändert) werden.
3 zeigt ein schematisches Beispielblockschaltbild eines Systemaufbaus des Insassenüberwachungssystems 300 gemäß dem Ausführungsbeispiel. Wie in 3 gezeigt, enthält das Insassenüberwachungssystem 300 ein Bremssystem 301, ein Beschleunigungssystem 302, ein Lenksystem 303, ein Übertragungssystem 304, einen Hindernissensor 305, einen Fahrzustandssensor 306, die Bildgebungseinrichtung 201, die Überwachungseinrichtung 11, die Insassenüberwachungsvorrichtung 310 und ein Netzwerk im Fahrzeug 350.
Das Bremssystem 301 steuert die Verlangsamung des Fahrzeugs 1. Das Bremssystem 301 enthält eine Bremseinheit 301a, eine Bremssteuereinheit 301b und einen Bremseinheitsensor 301c.
Die Bremseinheit 301a ist eine Einrichtung zur Verlangsamung des Fahrzeugs 1, beispielsweise ein Bremspedal oder dergleichen.
Die Bremssteuereinheit 301b ist beispielsweise eine elektronische Steuereinheit („electronic control unit“, ECU), die mit einem Computer mit einem Hardware-Prozessor, wie einer CPU, konfiguriert ist. Die Bremssteuereinheit 301b steuert beispielsweise ein Stellglied (nicht gezeigt) beruhend auf einer Anweisung an, die über das Netzwerk im Fahrzeug 350 eingegeben wird, und betätigt die Bremseinheit 310a zur Steuerung eines Verlangsamungsgrads des Fahrzeugs 1.
Der Bremseinheitsensor 301c ist eine Einrichtung zur Erfassung des Zustands der Bremseinheit 301a. Wenn die Bremseinheit 301a beispielsweise als Bremspedal konfiguriert ist, erfasst der Bremseinheitsensor 301c die Position des Bremspedals oder den Druck, der auf das Bremspedal ausgeübt wird, als den Zustand der Bremseinheit 301a. Der Bremseinheitsensor 301c gibt den erfassten Zustand der Bremseinheit 301a zu dem Netzwerk im Fahrzeug 350 aus.
Das Beschleunigungssystem 302 steuert die Beschleunigung des Fahrzeugs 1. Das Beschleunigungssystem 302 enthält eine Beschleunigungseinheit 302a, eine Beschleunigungssteuereinheit 302b und einen Beschleunigungseinheitsensor 302c.
Die Beschleunigungseinheit 302a ist eine Einrichtung zur Beschleunigung des Fahrzeugs 1, beispielsweise ein Gaspedal oder dergleichen.
Die Beschleunigungssteuereinheit 302b ist beispielweise eine ECU, die mit einem Computer mit einem Hardware-Prozessor, wie einer CPU, konfiguriert ist. Die Beschleunigungssteuereinheit 302b steuert ein Stellglied (nicht gezeigt) beruhend auf einer Anweisung an, die über das Netzwerk im Fahrzeug 350 eingegeben wird, und betätigt die Beschleunigungseinheit 302a zur Steuerung eines Grads der Beschleunigung des Fahrzeugs 1.
Der Beschleunigungseinheitsensor 302c ist eine Einrichtung zur Erfassung des Zustands der Beschleunigungseinheit 302a. Wenn die Beschleunigungseinheit 302a beispielsweise als Gaspedal konfiguriert ist, erfasst der Beschleunigungseinheitsensor 302c die Position des Gaspedals oder den Druck, der auf das Gaspedal ausgeübt wird. Der Beschleunigungseinheitsensor 302c gibt den erfassten Zustand der Beschleunigungseinheit 302a zu dem Netzwerk im Fahrzeug 350 aus.
Das Lenksystem 303 steuert eine Vorrückrichtung des Fahrzeugs 1. Das Lenksystem 303 enthält eine Lenkeinheit 303a, eine Lenksteuereinheit 303b und einen Lenkeinheitsensor 303c.
Die Lenkeinheit 303a ist eine Einrichtung, die die gelenkten Räder des Fahrzeugs 1 lenkt, wie ein Lenkrad.
Die Lenksteuereinheit 303b ist beispielsweise eine ECU, die mit einem Computer mit einem Hardware-Prozessor, wie einer CPU, konfiguriert ist. Die Lenksteuereinheit 303b steuert ein Stellglied (nicht gezeigt) beruhend auf einer Anweisung an, die über das Netzwerk im Fahrzeug 350 eingegeben wird, und betätigt die Lenkeinheit 303a zur Steuerung der Vorrückrichtung des Fahrzeugs 1.
Der Lenkeinheitsensor 303c ist eine Einrichtung zur Erfassung des Zustands der Lenkeinheit 303a. Wenn die Lenkeinheit 303a beispielweise als Lenkrad konfiguriert ist, erfasst der Lenkeinheitsensor 303c die Position des Lenkrads oder den Drehwinkel des Lenkrads. Wenn die Lenkeinheit 303a als Lenkrad konfiguriert ist, kann der Lenkeinheitsensor 303c die Position des Lenkrads oder den Druck erfassen, der auf das Lenkrad ausgeübt wird. Der Lenkeinheitsensor 303c gibt den erfassten Zustand der Lenkeinheit 303a zu dem Netzwerk im Fahrzeug 350 aus.
Das Übertragungssystem 304 steuert ein Übersetzungsverhältnis des Fahrzeugs 1. Das Übertragungssystem 304 enthält eine Übertragungseinheit 304a, eine Übertragungssteuereinheit 304b und einen Übertragungseinheitsensor 304c.
Die Übertragungseinheit 304a ist beispielsweise eine Einrichtung, wie ein Ganghebel, zur Änderung des Übersetzungsverhältnisses des Fahrzeugs 1.
Die Übertragungssteuereinheit 304b ist beispielsweise eine ECU, die mit einem Computer mit einem Hardware-Prozessor, wie einer CPU, konfiguriert ist. Die Übertragungssteuereinheit 304b steuert ein Stellglied (nicht gezeigt) beruhend auf einer Anweisung an, die über das Netzwerk im Fahrzeug 350 eingegeben wird, und betätigt die Übertragungseinheit 304a zur Steuerung des Übersetzungsverhältnisses des Fahrzeugs 1.
Der Übertragungseinheitsensor 304c ist eine Einrichtung zur Erfassung des Zustands der Übertragungseinheit 304a. Wenn die Übertragungseinheit 304a beispielsweise als Ganghebel konfiguriert ist, erfasst der Übertragungseinheitsensor 304c die Position des Ganghebels oder den Druck, der auf den Ganghebel ausgeübt wird. Der Übertragungseinheitsensor 304c gibt den erfassten Zustand der Übertragungseinheit 304a zu dem Netzwerk im Fahrzeug 350 aus.
Der Hindernissensor 305 ist eine Einrichtung zur Erfassung von Informationen über Hindernisse, die um das Fahrzeug 1 vorhanden sein können. Der Hindernissensor 305 enthält beispielsweise einen Entfernungsmesssensor, wie ein Sonar, das die Entfernung zu dem Hindernis erfasst. Der Hindernissensor 305 gibt die erfassten Informationen zu dem Netzwerk im Fahrzeug 350 aus.
Der Fahrzustandssensor 306 ist eine Einrichtung zur Erfassung des Fahrzustands des Fahrzeugs 1. Der Fahrzustandssensor 306 enthält beispielsweise einen Fahrzeugraddrehzahlsensor, der eine Raddrehzahl des Fahrzeugs 1 erfasst, einen Beschleunigungssensor, der eine Beschleunigung in der Vorne-Hinten-Richtung oder der Links-Rechts-Richtung des Fahrzeugs 1 erfasst, und einen Kreiselsensor, der eine Drehgeschwindigkeit (Winkelgeschwindigkeit) des Fahrzeugs 1 erfasst. Der Fahrzustandssensor 306 gibt den erfassten Fahrzustand zu dem Netzwerk im Fahrzeug 350 aus.
Die Insassenüberwachungsvorrichtung 310 ist eine Einrichtung zur Steuerung des Insassenüberwachungssystems 300 auf integrierte Weise. Die Insassenüberwachungsvorrichtung 310 überwacht die Änderung der Sichtlinie des Fahrers X durch Ausführen der Insassenüberwachungsverarbeitung einschließlich Erfassung (und Nachführung der erfassten Sichtlinieninformationen) der Sichtlinieninformationen über die Sichtlinie des Fahrers X beruhend auf dem erfassten Bild, das durch die Bildgebungseinrichtung 201 erhalten wird.
Die Insassenüberwachungsvorrichtung 310 ist als ECU mit einer Zentralverarbeitungseinheit (CPU) 310a, einem Nur-Lese-Speicher (ROM) 310b, einem Speicher mit wahlfreiem Zugriff (RAM) 310c, einem Solid State-Laufwerk (SSD) 310d, einem Anzeigesteuerabschnitt 310e und einer Sprachsteuereinheit 310f konfiguriert.
Die CPU 310a ist ein Hardware-Prozessor, der die Insassenüberwachungsvorrichtung 310 einheitlich steuert. Die CPU 310a liest verschiedene Steuerprogramme (Computerprogramme), die im ROM 310b oder dergleichen gespeichert sind, und realisiert verschiedene Funktionen gemäß Anweisungen, die in den verschiedenen Steuerprogrammen spezifiziert sind. Die verschiedenen Steuerprogramme enthalten ein Insassenüberwachungsprogramm zum Realisieren der Insassenüberwachungsverarbeitung.
Der ROM 310b ist eine nichtflüchtige Hauptspeichereinrichtung, die Parameter und dergleichen speichert, die zur Ausführung der vorstehend beschriebenen verschiedenen Steuerprogramme erforderlich sind.
Der RAM 310c ist eine flüchtige Hauptspeichereinrichtung, die einen Arbeitsbereich für die CPU 310a bereitstellt.
Das SSD 310d ist eine wiederbeschreibbare nichtflüchtige Hilfsspeichereinrichtung. Bei der Insassenüberwachungsvorrichtung 310 gemäß dem Ausführungsbeispiel kann anstelle des (oder zusätzlich zu dem) SSD 310d ein Festplattenlaufwerk (HDD) als Hilfsspeichereinrichtung vorgesehen sein.
Der Anzeigesteuerabschnitt 310e führt hauptsächlich eine Bildverarbeitung hinsichtlich des von der Bildgebungseinrichtung 201 erhaltenen erfassten Bildes, Erzeugung der zu der Anzeigeeinheit 8 der Überwachungseinrichtung 11 auszugebenden Bilddaten und dergleichen unter verschiedenen Verarbeitungsarten durch, die durch die Insassenüberwachungsvorrichtung 310 ausgeführt werden können.
Die Sprachsteuereinheit 310f führt hauptsächlich die Erzeugung von Sprachdaten, die zu der Sprachausgabeeinheit 9 der Überwachungseinrichtung 11 auszugeben sind, unter verschiedenen Verarbeitungsarten durch, die durch die Insassenüberwachungsvorrichtung 310 ausgeführt werden können.
Das Netzwerk im Fahrzeug 350 ist mit dem Bremssystem 301, dem Beschleunigungssystem 302, dem Lenksystem 303, dem Übertragungssystem 304, dem Hindernissensor 305, dem Fahrzustandssensor 306, der Bedieneingabeeinheit 10 der Überwachungseinrichtung 11 und der Insassenüberwachungsvorrichtung 310 derart verbunden, dass es mit diesen kommunizieren kann.
Die verwandte Technik offenbart hier ein Verfahren zur Erfassung der Augapfelinformationen unter Verwendung von zwei Arten von Beleuchtungen, die eine Beleuchtung zum Emittieren von Licht zu dem Gesicht (den Augen) eines Insassen aus derselben Richtung wie die Abbildungsrichtung und eine Beleuchtung zum Emittieren von Licht zu dem Gesicht (den Augen) des Insassen aus einer anderen Richtung als der Abbildungsrichtung enthalten, beruhend auf einem Unterschied zwischen zwei Arten erfasster Bilder, die ein erfasstes Bild, das beschafft wird, wenn das Licht durch die erstgenannte Beleuchtung emittiert wird, und ein erfasstes Bild enthalten, das beschafft wird, wenn das Licht von der zweitgenannten Beleuchtung emittiert wird.
Im Allgemeinen erscheinen die Augen in dem erfassten Bild entsprechend den Lichtbedingungen als rote Augen oder in anderen Formen, und mit dem Verfahren der verwandten Technik, die die zwei Beleuchtungsarten wie vorstehend beschrieben verwendet, wird es somit möglich, die Augapfelinformationen ungeachtet von Schwankungen zu erfassen, wie die Augen in dem erfassten Bild erscheinen.
Zum Emittieren von Licht aus verschiedenen Richtungen zu derselben Position ist es im vorstehend beschriebenen Stand der Technik allerdings erforderlich, die zwei Beleuchtungsarten an Positionen anzuordnen, die um ein gewisses Ausmaß voneinander getrennt sind, und somit verringert sich der Freiheitsgrad in Design und Layout eines Fahrzeuginneren, während die Erfassungsgenauigkeit von Augapfelinformationen sichergestellt wird.
Durch Konfigurieren der Insassenüberwachungsvorrichtung 310 wie im Folgenden unter Bezugnahme auf 4 beschrieben realisiert das Ausführungsbeispiel die Erfassung der Augapfelinformationen mit hoher Genauigkeit, ohne den Freiheitsgrad in Design und Layout im Fahrzeuginneren 2a zu verschlechtern. Die Insassenüberwachungsvorrichtung 310 ist ein Beispiel einer Augapfelinformationenerfassungsvorrichtung.
4 zeigt ein schematisches Beispielblockschaltbild einer Funktion der Insassenüberwachungsvorrichtung 310 gemäß dem Ausführungsbeispiel. Die in 4 gezeigten Funktionen werden durch Kooperation von Software und Hardware realisiert. Das heißt, in dem in 4 gezeigten Beispiel wird die Funktion der Insassenüberwachungsvorrichtung 310 als Ergebnis realisiert, dass die CPU 310a ein im ROM 310b oder dergleichen gespeichertes vorbestimmtes Steuerprogramm liest und ausführt. In dem Ausführungsbeispiel kann zumindest ein Teil der in 4 gezeigten Funktionen durch dedizierte Hardware (Schaltung) realisiert werden.
Wie in 4 gezeigt, enthält die Insassenüberwachungsvorrichtung 310 gemäß dem Ausführungsbeispiel eine Beschaffungseinheit 401, eine Erfassungseinheit 402 und eine Verarbeitungseinheit 404.
Die Beschaffungseinheit 401 beschafft die durch die Bildgebungseinrichtung 201 erhaltenen erfassten Bilder kontinuierlich viele Male zu einem vorbestimmten Steuerzeitpunkt. Wie vorstehend beschrieben, enthält das erfasste Bild die Informationen des Bereichs, wo wahrscheinlich das Gesicht des Fahrers X im Fahrzeug 1 vorhanden ist.
Die Erfassungseinheit 402 weist ein gelerntes Modell 403 auf, und beruhend auf dem gelernten Modell 403 wird das durch die Beschaffungseinheit 401 beschaffte erfasste Bild eingegeben, und die Augapfelinformationen, die dem erfassten Bild entsprechen, werden ausgegeben. Bei dem Ausführungsbeispiel gibt die Erfassungseinheit 402 die Augapfelinformationen, die dem erfassten Bild entsprechen, ungeachtet dessen, ob der Augapfel in dem erfassten Bild als rotes Auge erscheint oder nicht, beruhend auf dem gelernten Modell 403 aus, das wie folgt erzeugt wird.
Das gelernte Modell 403 wird beispielsweise durch Lernen eines Lernbildes, das unter denselben Bedingungen wie das durch die Beschaffungseinheit 401 beschaffte erfasste Bild erfasst wird und ähnliche Informationen wie das erfasste Bild enthält, und eines richtigen Werts der Augapfelinformationen über den Augapfel des Fahrers X, der in dem Lernbild erscheint, durch Maschinenlernen erzeugt. Das heißt, das gelernte Modell 403 wird durch Lernen des Lernbildes, das ein erstes Bild, in dem der Augapfel als rotes Auge erscheint, und ein zweites Bild enthält, in dem der Augapfel in anderen Formen als ein rotes Auge erscheint, und der richtigen Werte der Augapfelinformationen erzeugt, die jeweils dem ersten Bild und dem zweiten Bild als das Lernbild entsprechen. Das Maschinenlernen zur Erzeugung des gelernten Modells 403 kann außerdem überwachtes Lernen, nichtüberwachtes Lernen, verstärktes Lernen, eine Kombination aus diesen drei Lernarten oder dergleichen sein.
Nun werden kurz bestimmte Beispiele des ersten Bildes und des zweiten Bildes besch rieben.
5 zeigt eine schematische Beispieldarstellung des ersten Bildes gemäß dem Ausführungsbeispiel. Ein in 5 veranschaulichtes Bild 500 entspricht dem ersten Bild, da ein Umgebungsbereich, der eine Pupille P in einem Auge E des Fahrers X enthält, als rotes Auge R erscheint, das von einem normalen schwarzen Auge B (vgl. 6) verschieden ist. Bei dem Ausführungsbeispiel wird das gelernte Modell 403 als Modell erzeugt, das Koordinaten einer Mittenposition X500 der Pupille P, die als das rote Auge R in dem Bild 500 erscheint, in einem Fall ausgibt, wenn das Bild 500 eingegeben wird.
6 zeigt eine schematische Beispieldarstellung eines zweiten Bildes gemäß dem Ausführungsbeispiel. Das in 6 veranschaulichte Bild 600 entspricht dem zweiten Bild, da der Umgebungsbereich der Pupille P des Auges E des Fahrers X als normales schwarzes Auge B erscheint. Bei dem Ausführungsbeispiel wird das gelernte Modell 403 als Modell erzeugt, das Koordinaten einer Mittenposition X600 der Pupille P, die in dem Bild 600 als das schwarze Auge B erscheint, in einem Fall ausgibt, wenn das Bild 600 eingegeben wird.
Auf diese Weise wird bei dem Ausführungsbeispiel das gelernte Modell 403 ungeachtet dessen, wie der Augapfel in dem Lernbild erscheint, das heißt, ob das Auge E als das rote Auge R oder das schwarze Auge B in dem Lernbild erscheint, durch Lernen des richtigen Werts der Mittenposition der Pupille P in dem Lernbild erzeugt. Daher kann die Erfassungseinheit 402 unter Verwendung des gelernten Modells 403 die Mittenposition der Pupille im erfassten Bild mit hoher Genauigkeit als die Augapfelinformationen ungeachtet dessen ausgeben, wie der Augapfel in dem erfassten Bild erscheint.
Wie in 7 gezeigt, kann unter Verwendung der Mittenposition der Pupille die Richtung der Sichtlinie als Beispiel der vorstehenden beschriebenen Sichtlinieninformationen einfach erfasst werden.
7 zeigt eine schematische Beispieldarstellung eines Sichtlinienerfassungsverfahrens gemäß dem Ausführungsbeispiel. Wie in 7 gezeigt, kann die Richtung der Sichtlinie dann, wenn eine Mittenposition X700 eines Augapfels EB, der als dreidimensionales Modell konfiguriert ist, und eine Mittenposition X701 der Pupille P in einer Iris I bekannt sind, als Richtung A700 von der Mittenposition 700 des Augapfelmodells zu der Mittenposition X701 der Pupille P erfasst werden.
Die Mittenposition X700 des Augapfels EB kann als einer der Parameter des dreidimensionalen Modells gespeichert werden, das als Daten beschafft wird, die die Struktur darstellen, die die dreidimensionale Form des Gesichts des Fahrers X enthält, und die Mittenposition X701 der Pupille P kann beruhend auf dem vorstehend beschriebenen gelernten Modell 403 erhalten werden.
In 4 führt die Verarbeitungseinheit 404 eine Verarbeitung eines Überwachens der Änderung der Sichtlinie des Fahrers X durch Erfassen der Richtung der Sichtlinie durch das vorstehend beschriebene Verfahren und durch Erfassen ihrer Veränderung als Insassenüberwachungsverarbeitung aus.
Nachstehend werden die Funktionen der Verarbeitungseinheit 404 näher besch rieben.
Die Verarbeitungseinheit 404 weist Funktionsmodule auf, die jeweils zwei Steuermodi entsprechen: einem Anfangserfassungsmodus, in dem Gesichtsinformationen zuerst aus dem erfassten Bild erfasst werden, als Anfangsstufe der Insassenüberwachungsverarbeitung, und einem Nachführungsmodus, in dem eine Nachführung von Gesichtsinformationen ausgeführt wird, die bei der Anfangserfassungsverarbeitung erfasst werden.
Das heißt, die Verarbeitungseinheit 404 weist eine Anfangserfassungsverarbeitungseinheit 405, die die Anfangserfassungsverarbeitung als Verarbeitung ausführt, die dem Anfangserfassungsmodus entspricht, und eine Nachführungsverarbeitungseinheit 406 auf, die die Nachführungsverarbeitung als Verarbeitung ausführt, die dem Nachführungsmodus entspricht.
Der Steuermodus der Verarbeitungseinheit 404 wird beispielsweise in einem Fall auf den Anfangserfassungsmodus eingestellt, wenn die Beschaffungseinheit 401 das erfasste Bild beschafft.
In dem Anfangserfassungsmodus beschafft die Anfangserfassungsverarbeitungseinheit 405 der Verarbeitungseinheit 404 die Mittenposition der Pupille als die Augapfelinformationen, die durch die Erfassungseinheit 402 erfasst werden, beschafft die Mittenposition des Augapfels durch Ausführen von Fitting bzw. einer Anpassung beruhend auf dem dreidimensionalen Modell, das als Daten beschafft wird, die die Struktur darstellen, die die dreidimensionale Form des Gesichts enthält, und erfasst die Richtung der Sichtlinie als die Sichtlinieninformationen beruhend auf den zwei beschafften Mittenpositionen. Außerdem ist Fitting eine Verarbeitung eines geeigneten Anpassens von Parametern, die das dreidimensionale Modell angeben, damit sie mit Merkmalspunkten des erfassten Bildes übereinstimmen.
Wenn die Sichtlinieninformationen durch die Anfangserfassungsverarbeitungseinheit 405 normal erfasst werden, wird der Steuermodus der Verarbeitungseinheit 404 auf den Nachführungsmodus eingestellt.
Im Nachführungsmodus führt die Nachführungsverarbeitungseinheit 406 der Verarbeitungseinheit 404 eine Nachführung der Sichtlinieninformationen, die bei der Anfangserfassungsverarbeitung erfasst werden, beruhend auf dem Erfassungsergebnis der Erfassungseinheit 402 hinsichtlich des als nächstes zu beschaffenden erfassten Bildes und die Anpassung des erfassten Bildes, das als nächstes zu beschaffen ist, und des vorstehend beschriebenen dreidimensionalen Modells aus.
Nachstehend werden Einzelheiten der Anfangserfassungsverarbeitung und der Nachführungsverarbeitung gemäß dem Ausführungsbeispiel anhand eines Ablaufdiagramms beschrieben.
Zuerst werden Einzelheiten der Anfangserfassungsverarbeitung beschrieben.
8 zeigt ein Beispielablaufdiagramm der durch die Insassenüberwachungsvorrichtung 310 gemäß dem Ausführungsbeispiel ausgeführten Anfangserfassungsverarbeitung. Die Anfangserfassungsverarbeitung wird beispielsweise in einem Fall ausgeführt, wenn der Steuermodus der Verarbeitungseinheit 404 auf den Anfangserfassungsmodus eingestellt ist und die Beschaffungseinheit 401 das erfasste Bild beschafft.
Wie in 8 gezeigt, erfasst die Anfangserfassungsverarbeitungseinheit 405 bei der Anfangserfassungsverarbeitung in S801 zuerst die Position des Gesichts in dem erfassten Bild.
Dann erfasst die Anfangserfassungsverarbeitungseinheit 405 die Richtung des Gesichts in dem erfassten Bild.
Die Erfassungseinheit 402 führt in Schritt S803 eine Pupillenerfassungsverarbeitung zur Erfassung der Mittenposition der Pupille beruhend auf dem erfassten Bild aus, die in dem erfassten Bild erscheint. Da die bestimmten Inhalte der Pupillenerfassungsverarbeitung nachstehend beschrieben werden, wird hier auf diese Beschreibung verzichtet.
In S804 führt die Anfangserfassungsverarbeitungseinheit 405 die Anpassung des erfassten Bildes und des dreidimensionalen Modells aus, das als Daten beschafft wird, die die Struktur darstellen, die eine dreidimensionale Form des Gesichts enthält. So wird die Mittenposition des Augapfels erfasst. Außerdem wird die Anpassung bei der Anfangserfassungsverarbeitung beispielsweise beruhend auf einem Anfangsmodell ausgeführt, das als statistische Daten voreingestellt ist, die die Struktur darstellen, die die dreidimensionale Form des Gesichts enthält.
In S805 erfasst die Anfangserfassungsverarbeitungseinheit 405 die Sichtlinieninformationen über die Richtung der Sichtlinie des Fahrers X beruhend auf der Mittenposition der Pupille, die als Ergebnis der Pupillenerfassungsverarbeitung in S803 erfasst wird, und der Mittenposition des Augapfels, die beruhend auf dem Ergebnis der Anpassung in S804 erfasst wird.
Außerdem bestimmt die Anfangserfassungsverarbeitungseinheit 405 in S806, ob die Sichtlinieninformationen normal erfasst werden oder nicht. Die Anfangserfassungsverarbeitungseinheit 405 berechnet beispielsweise einen Wert (eine Punktzahl), der die Zuverlässigkeit für jede einer Reihe von Verarbeitungen angibt, die jüngst zur Erfassung der Sichtlinieninformationen ausgeführt wurden, und führt die Bestimmung von S806 beruhend auf der Punktzahl aus.
Wenn in S806 bestimmt wird, dass die Sichtlinieninformationen normal erfasst werden, geht die Verarbeitung zu S807. In S807 stellt die Anfangserfassungsverarbeitungseinheit 405 den nächsten Steuermodus der Verarbeitungseinheit 404 auf den Nachführungsmodus ein. Dann endet der Prozess.
Wenn in S806 andererseits bestimmt wird, dass die Sichtlinieninformationen nicht normal erfasst werden, geht die Verarbeitung zu S808. In S808 stellt die Anfangserfassungsverarbeitungseinheit 405 den nächsten Steuermodus der Verarbeitungseinheit 404 auf den Anfangserfassungsmodus ein. Dann endet der Prozess.
Als Nächstes werden Einzelheiten der Nachführungsverarbeitung beschrieben.
9 zeigt ein Beispielablaufdiagramm der durch die Insassenüberwachungsvorrichtung 310 gemäß dem Ausführungsbeispiel ausgeführten Nachführungsverarbeitung. Die Nachführungsverarbeitung wird beispielsweise in einem Fall ausgeführt, wenn der Steuermodus der Verarbeitungseinheit 404 auf den Nachführungsmodus eingestellt ist und die Beschaffungseinheit 401 das erfasste Bild beschafft.
Wie in 9 gezeigt, führt die Nachführungsverarbeitungseinheit 406 bei der Nachführungsverarbeitung in Schritt S901 eine Nachführung der Position des Gesichts in dem erfassten Bild aus. Unter Verwendung verschiedener Erfassungsergebnisse bei der Anfangserfassungsverarbeitung kann die Nachführung einen Suchbereich einschränken, eine Vorlage für einen Übereinstimmungsvergleich verwenden, oder einen geänderten Abschnitt beruhend auf einem Unterschied zwischen aufeinanderfolgenden Einzelbildern bestimmen. Die Verarbeitungsgeschwindigkeit der Nachführung ist daher im Allgemeinen schneller als die verschiedenen Erfassungen bei der Anfangserfassu ngsbea rbeitu ng.
In Schritt S902 führt die Nachführungsverarbeitungseinheit 406 die Nachführung der Orientierung des Gesichts in dem erfassten Bild aus.
In S903 führt die Erfassungseinheit 402 die Pupillenerfassungsverarbeitung zur Erfassung der Mittenposition der Pupille beruhend auf dem erfassten Bild aus, die in dem erfassten Bild erscheint. Da die bestimmten Inhalte der Pupillenerfassungsverarbeitung nachstehend beschrieben werden, wird hier auf die Beschreibung verzichtet.
In Schritt S904 führt die Nachführungsverarbeitungseinheit 406 die Anpassung des erfassten Bildes und des dreidimensionalen Modells aus, das als Daten beschafft wird, die die Struktur darstellen, die die dreidimensionale Form des Gesichts enthält. So wird die Mittenposition des Augapfels erfasst. Das Fitting bzw. die Anpassung bei der Nachführungsverarbeitung wird beispielsweise beruhend auf dem jüngsten dreidimensionalen Modell nach Anpassung in der vorhergehenden Anfangserfassungsverarbeitung oder Nachführungsverarbeitung ausgeführt.
In Schritt S905 führt die Nachführungsverarbeitungseinheit 406 die Nachführung der Sichtlinieninformationen über die Richtung der Sichtlinie des Fahrers X beruhend auf der Mittenposition der Pupille, die als Ergebnis der Pupillenerfassungsverarbeitung in Schritt S803 erfasst wird, und der Mittenposition des Augapfels aus, die beruhend auf dem Ergebnis der Anpassung in Schritt S804 erfasst wird.
In Schritt S906 bestimmt die Nachführungsverarbeitungseinheit 406 außerdem, ob die Nachführung der Sichtlinieninformationen normal ausgeführt wird. Die Nachführungsverarbeitungseinheit 406 berechnet beispielsweise den Wert (die Punktzahl), der die Zuverlässigkeit für jede einer Reihe von Verarbeitungen angibt, die jüngst für die Nachführung der Sichtlinieninformationen ausgeführt wurden, und führt die Bestimmung von S906 beruhend auf der Punktzahl aus.
Wird in S906 bestimmt, dass die Nachführung der Sichtlinieninformationen normal ausgeführt wird, geht die Verarbeitung zu S907. In S907 stellt die Nachführungsverarbeitungseinheit 406 den nächsten Steuermodus der Verarbeitungseinheit 404 auf den Nachführungsmodus ein. Dann endet der Prozess.
Wenn aber in S906 bestimmt wird, dass die Nachführung der Sichtlinieninformationen nicht normal ausgeführt wird, geht der Prozess zu S908. In S908 stellt die Nachführungsverarbeitungseinheit 406 den nächsten Steuermodus der Verarbeitungseinheit 404 auf den Anfangserfassungsmodus ein. Dann endet der Prozess.
Nun werden die Einzelheiten der Pupillenerfassungsverarbeitung beschrieben, die in den vorstehend beschriebenen Schritten S803 und S903 ausgeführt wird.
10 zeigt ein Beispielablaufdiagramm einer durch die Insassenüberwachungsvorrichtung 310 gemäß dem Ausführungsbeispiel ausgeführten Pupillenerfassungsverarbeitung.
Wie in 10 gezeigt, gibt die Erfassungseinheit 402 bei der Pupillenerfassungsverarbeitung in S1001 das erfasste Bild, das durch die Beschaffungseinheit 401 beschafft wird, in das gelernte Modell 403 ein.
In S1002 erfasst die Erfassungseinheit 402 die Ausgabe aus dem gelernten Modell 403, die der Eingabe in S1001 entspricht, als die Position der Mitte der Pupille.
Wenn die Verarbeitung von S1002 abgeschlossen ist, ist die Verarbeitung der vorstehend beschriebenen Schritte S803 und S903 abgeschlossen, und die Verarbeitung kehrt zu den vorstehend beschriebenen Schritten S804 und S904 zurück.
Wie vorstehend beschrieben enthält die Insassenüberwachungsvorrichtung 310 gemäß dem Ausführungsbeispiel die Beschaffungseinheit 401, die Erfassungseinheit 402 und die Verarbeitungseinheit 404. Die Beschaffungseinheit 401 beschafft das erfasste Bild, das durch Abbildung des Bereichs, in dem wahrscheinlich das Gesicht des Fahrers X als Insasse in dem Fahrzeug 1 vorhanden ist, durch die Bildgebungseinrichtung 201 erhalten wird, die in der Nähe der Beleuchtungseinrichtung 203 vorgesehen ist, die Licht zu dem Bereich emittiert. Die Erfassungseinheit 402 gibt die Augapfelinformationen, die dem erfassten Bild entsprechen, wobei das durch die Beschaffungseinheit 401 beschaffte erfasste Bild als Eingabe empfangen wird, beruhend auf dem gelernten Modell 403 aus, das durch Lernen des Lernbildes, das Informationen ähnlich dem durch die Beschaffungseinheit 401 beschafften erfassten Bild enthält, und des richtigen Werts der Augapfelinformationen über die Augäpfel des Fahrers X, die im Lernbild erscheinen, durch Maschinenlernen erzeugt wird. Die Verarbeitungseinheit 404 überwacht die Änderung der Sichtlinie des Fahrers X beruhend auf den aus der Erfassungseinheit 402 ausgegebenen Augapfelinformationen.
Gemäß der Insassenüberwachungsvorrichtung 310 des Ausführungsbeispiels kann eine Ausgabe beruhend auf dem richtigen Wert der Augapfelinformationen unter Verwendung des gelernten Modells 403 in einer Konfiguration leicht erhalten werden, bei der die Beleuchtungseinrichtung 203 und die Bildgebungseinrichtung 201 nahe aneinander vorgesehen sind. Daher können die Augapfelinformationen mit hoher Genauigkeit erfasst und die Änderung der Sichtlinie des Fahrers X kann mit hoher Genauigkeit überwacht werden, ohne den Freiheitsgrad in Design und Layout im Fahrzeuginneren 2a zu verschlechtern.
Bei der Insassenüberwachungsvorrichtung 310 des Ausführungsbeispiels gibt die Erfassungseinheit 402 die Augapfelinformationen, die dem erfassten Bild entsprechen, ungeachtet dessen, ob der Augapfel als rotes Auge in dem erfassten Bild erscheint oder nicht, beruhend auf dem gelernten Modell 403 aus, das beruhend auf dem Lernbild, das das erste Bild, in dem der Augapfel als rotes Auge erscheint, und das zweite Bild enthält, in dem der Augapfel in anderen Formen als das rote Auge erscheint, und den richtigen Werten der Augapfelinformationen erzeugt wird, die jeweils dem ersten Bild und dem zweiten Bild als das Lernbild entsprechen. Mit diesem Aufbau können die Augapfelinformationen mit hoher Genauigkeit ungeachtet dessen erfasst werden, ob der Augapfel in dem erfassten Bild als rotes Auge erscheint oder nicht.
Bei der Insassenüberwachungsvorrichtung 310 des Ausführungsbeispiels gibt die Erfassungseinheit 402 die Pupillenposition als Augapfelinformationen aus. Mit diesem Aufbau kann die Pupillenposition mit hoher Genauigkeit erfasst werden.
Bei der Insassenüberwachungsvorrichtung 310 des Ausführungsbeispiels beschafft die Beschaffungseinheit 401 das erfasste Bild, das durch die Bildgebungseinrichtung 201 erhalten wird, die mit der Beleuchtungseinrichtung 203 an einer vorbestimmten Position im Fahrzeuginneren 2a integral vorgesehen ist. Da bei diesem Aufbau die Beleuchtungseinrichtung 203 und die Bildgebungseinrichtung 201 integriert sind und integral angeordnet sind, können die Augapfelinformationen mit hoher Genauigkeit erfasst werden, während ferner die Verringerung des Freiheitsgrads in Design und Layout im Fahrzeuginneren 2a unterdrückt wird.
Bei dem vorstehend beschriebenen Ausführungsbeispiel ist als Beispiel der Augapfelinformationenerfassungsvorrichtung die Insassenüberwachungsvorrichtung 310 beschrieben, die die Beschaffungseinheit 401, die Erfassungseinheit 402 und die Verarbeitungseinheit 404 enthält. Bei einem anderen Ausführungsbeispiel wird auch ein Aufbau in Betracht gezogen, bei dem eine Vorrichtung mit der Beschaffungseinheit 401 und der Erfassungseinheit 402 ohne die Verarbeitungseinheit 404 als Augapfelinformationenerfassungsvorrichtung verwendet wird.
Das vorstehend beschriebene Ausführungsbeispiel ist lediglich ein Beispiel, und schränkt den Schutzbereich der Offenbarung nicht ein.
Eine Augapfelinformationenerfassungsvorrichtung (310) enthält eine Beschaffungseinheit (401) zur Beschaffung eines erfassten Bildes, das durch Abbilden eines Bereichs, in dem wahrscheinlich ein Gesicht eines Insassen (X) in einem Fahrzeug (1) vorhanden ist, durch eine Bildgebungseinrichtung (201) erhalten wird, die in der Nähe einer Beleuchtungseinrichtung (203) vorgesehen ist, die Licht zu dem Bereich emittiert, und eine Erfassungseinheit (402) zur Ausgabe von Augapfelinformationen, die dem erfassten Bild entsprechen, durch Empfangen des durch die Beschaffungseinheit beschafften erfassten Bildes als Eingabe beruhend auf einem gelernten Modell (403), das durch Lernen eines Lernbildes, das Informationen ähnlich dem durch die Beschaffungseinheit beschafften erfassten Bild enthält, und eines richtigen Werts der Augapfelinformationen über einen Augapfel des Insassen, der in dem Lernbild erscheint, durch Maschinenlernen erzeugt wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2009/254691 A [0003]

Claims

Augapfelinformationenerfassungsvorrichtung (310) mit einer Beschaffungseinheit (401) zur Beschaffung eines erfassten Bildes, das durch Abbilden eines Bereichs, in dem wahrscheinlich ein Gesicht eines Insassen (X) in einem Fahrzeug (1) vorhanden ist, durch eine Bildgebungseinrichtung (201) erhalten wird, die in der Nähe einer Beleuchtungseinrichtung (203) vorgesehen ist, die Licht zu dem Bereich emittiert, und einer Erfassungseinheit (402) zur Ausgabe von Augapfelinformationen, die dem erfassten Bild entsprechen, durch Empfangen des durch die Beschaffungseinheit beschafften erfassten Bildes als Eingabe beruhend auf einem gelernten Modell (403), das durch Lernen eines Lernbildes, das Informationen ähnlich dem durch die Beschaffungseinheit beschafften erfassten Bild enthält, und eines richtigen Werts der Augapfelinformationen über einen Augapfel des Insassen, der in dem Lernbild erscheint, durch Maschinenlernen erzeugt wird.
Augapfelinformationenerfassungsvorrichtung nach Anspruch 1, wobei die Erfassungseinheit die Augapfelinformationen, die dem erfassten Bild entsprechen, ungeachtet dessen, ob der Augapfel als rotes Auge in dem erfassten Bild erscheint oder nicht, beruhend auf dem gelernten Modell ausgibt, das beruhend auf dem Lernbild, das ein ersten Bild, in dem der Augapfel als das rote Auge erscheint, und ein zweites Bild enthält, in dem der Augapfel in anderen Formen als das rote Auge erscheint, und richtigen Werten der Augapfelinformationen erzeugt wird, die jeweils dem ersten Bild und dem zweiten Bild als das Lernbild entsprechen.
Augapfelinformationenerfassungsvorrichtung nach Anspruch 1 oder 2, wobei die Erfassungseinheit eine Pupillenposition als die Augapfelinformationen ausgibt.
Augapfelinformationenerfassungsvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Beschaffungseinheit das erfasste Bild beschafft, das durch die Bildgebungseinrichtung erhalten wird, die integral mit der Beleuchtungseinrichtung an einer vorbestimmten Position in einem Fahrzeuginneren vorgesehen ist.
Augapfelinformationenerfassungsverfahren mit einem Beschaffungsschritt eines Beschaffens eines erfassten Bildes, das durch Abbilden eines Bereichs, in dem wahrscheinlich ein Gesicht eines Insassen in einem Fahrzeug vorhanden ist, durch eine Bildgebungseinrichtung erhalten wird, die in der Nähe einer Beleuchtungseinrichtung vorgesehen ist, die Licht zu dem Bereich emittiert, und einem Erfassungsschritt eines Ausgebens von Augapfelinformationen, die dem erfassten Bild entsprechen, durch Empfangen des im Beschaffungsschritt beschafften erfassten Bildes als Eingabe beruhend auf einem gelernten Modell, das durch Lernen eines Lernbildes, das Informationen ähnlich dem im Beschaffungsschritt beschafften erfassten Bild enthält, und eines richtigen Werts der Augapfelinformationen von Augäpfeln des Insassen, die in dem Lernbild erscheinen, durch Maschinenlernen erzeugt wird.
Insassenüberwachungsvorrichtung (310) mit einer Beschaffungseinheit (401) zur Beschaffung eines erfassten Bildes, das durch Abbilden eines Bereichs, in dem wahrscheinlich ein Gesicht eines Insassen (X) in einem Fahrzeug (1) vorhanden ist, durch eine Bildgebungseinrichtung (201) erhalten wird, die in der Nähe einer Beleuchtungseinrichtung (203) vorgesehen ist, die Licht zu dem Bereich emittiert, einer Erfassungseinheit (402) zur Ausgabe von Augapfelinformationen, die dem erfassten Bild entsprechen, durch Empfangen des durch die Beschaffungseinheit beschafften erfassten Bildes als Eingabe beruhend auf einem gelernten Modell (403), das durch Lernen eines Lernbildes, das Informationen ähnlich dem durch die Beschaffungseinheit beschafften erfassten Bild enthält, und eines richtigen Werts der Augapfelinformationen über einen Augapfel des Insassen, der in dem Lernbild erscheint, durch Maschinenlernen erzeugt wird, und einer Verarbeitungseinheit (404) zur Überwachung einer Änderung einer Sichtlinie des Insassen beruhend auf den aus der Erfassungseinheit ausgegebenen Augapfelinformationen.