DE102019125918A1

DE102019125918A1 - Insassenüberwachungseinrichtung, Insassenüberwachungsverfahren und Insassenüberwachungsprogramm

Info

Publication number: DE102019125918A1
Application number: DE102019125918.5A
Authority: DE
Inventors: Shin OSUGA; Takashi Kato; Yuya Yamada; Tetsuya Hattori; Yoshiyuki Yamada; Yuta Kawai
Original assignee: Aisin Seiki Co Ltd
Current assignee: Toyota Motor Corp; Aisin Corp
Priority date: 2018-09-27
Filing date: 2019-09-26
Publication date: 2020-04-02
Also published as: JP7173811B2; US11048952B2; JP2020052773A; US20200104615A1

Abstract

Eine Insassenüberwachungseinrichtung (310) umfasst: eine Beschaffungseinheit (401), die ein aufgenommenes Bild beschafft, das durch Abbilden eines Bereichs erhalten wird, in dem es eine Wahrscheinlichkeit gibt, das ein Gesicht eines Insassen (X) in einem Fahrzeug (1) vorhanden ist; eine Bestimmungseinheit (402), die bestimmt, ob das aufgenommene Bild, das durch die Beschaffungseinheit beschafft wird, zumindest einem ersten Bild, das ein Merkmalsabschnitt des Gesichts des Insassen nicht umfasst aber zumindest einen Teil eines Körpers des Insassen umfasst, oder einem zweiten Bild, das den Körper des Insassen nicht umfasst, entspricht; und eine Verarbeitungseinheit (404), die eine Zustandsänderung des Gesichts des Insassen basierend auf dem aufgenommenen Bild überwacht, und umschaltet, ob ein Insassenparameter, der zum Überwachen der Zustandsänderung des Gesichts des Insassen eingestellt ist, zurückzusetzten ist oder nicht, gemäß einem Bestimmungsergebnis in der Bestimmungseinheit.

Description

TECHNISCHES GEBIET
Diese Offenbarung betrifft eine Insassenüberwachungseinrichtung, ein Insassenüberwachungsverfahren und ein Insassenüberwachungsprogramm.
HINTERGRUND
Im Stand der Technik gibt es eine Technik des Überwachens einer Zustandsänderung eines Gesichts eines Insassen basierend auf einem aufgenommenen Bild, das durch Fotografieren bzw. Abbilden des Gesichts des Insassen eines Fahrzeugs erhalten wird. Im Stand der Technik wird ein Insassenüberwachungsprozess, der eine Erfassung von Gesichtsinformationen bezüglich des Gesichts des Insassen (und ein Verfolgen der erfassten Gesichtsinformationen) umfasst, basierend auf einem Insassenparameter ausgeführt, der gemäß einem Erfassungsergebnis des Gesichts eines Insassen, das in einem aufgenommenen Bild widergespiegelt wird, nach Bedarf angepasst wird.
Im Stand der Technik, zum Beispiel, in einem Fall, in dem ein Insasse ersetzt bzw. ausgetauscht wird, ist es nützlich, die Insassenparameter zurückzusetzen und die Insassenparameter von einem initialen Wert erneut anzupassen, um mit einem Insassen nach einem Ersetzen bzw. Austauschen umzugehen. Deshalb könnte ein Zeitpunkt des Zurücksetzens der Insassenparameter ein Zeitpunkt sein, zudem eine Situation auftritt, in der zum Beispiel ein Merkmalsabschnitt (die Augen, die Nase oder der Mund) des Gesichts des Insassen von einem aufgenommenen Bild nicht erfasst wird.
Jedoch könnte die Situation, in der ein Merkmalsabschnitt des Gesichts des Insassen von einem aufgenommenen Bild nicht erfasst wird, nicht nur in einem Fall auftreten, in dem ein Insasse nicht in einem Fahrzeug während eines Austauschs vorhanden ist, sondern ebenso in einem Fall, in dem ein Insasse in dem Fahrzeug vorhanden an einer Position ist, an der ein Merkmalsabschnitt des Gesichts in dem aufgenommenen Bild nicht widergespiegelt wird. In dem letztgenannten Fall, da ein Insasse nicht ersetzt wird, wäre ein aufwendiger Prozess zum erneuten Einstellen der Insassenparameter notwendig, wenn die Insassenparameter zurückgesetzt werden, oder die Genauigkeit eines Insassenüberwachungsprozesses könnte reduziert werden.
Deshalb gibt es eine Notwendigkeit für eine Insassenüberwachungseinrichtung, ein Insassenüberwachungsverfahren und ein Insassenüberwachungsprogramm, das dazu in der Lage ist, ein Umschalten dahingehend, ob ein Insassenparameter zurückzusetzen ist oder nicht, angemessen auszuführen.
KURZFASSUNG
Eine Insassenüberwachungseinrichtung als ein Beispiel dieser Offenbarung umfasst eine Beschaffungseinheit, die ein aufgenommenes Bild beschafft, das durch Abbilden bzw. Aufnehmen eines Bereichs, in dem es eine Wahrscheinlichkeit gibt, dass ein Gesicht eines Insassen in einem Fahrzeug vorhanden ist, erhalten wird; eine Bestimmungseinheit, die bestimmt, ob das aufgenommene Bild, das durch die Beschaffungseinheit beschafft wird, zumindest einem ersten Bild, das einen Merkmalsabschnitt des Gesichts des Insassen nicht umfasst aber zumindest einen Teil eines Körpers des Insassen umfasst, oder einem zweiten Bild, das den Körper des Insassen nicht umfasst, entspricht; und eine Verarbeitungseinheit, die eine Zustandsänderung des Gesichts des Insassen basierend auf dem aufgenommenen Bild überwacht und umschaltet, ob ein Insassenparameter, der zum Überwachen der Zustandsänderung des Gesichts des Insassen eingestellt ist, zurückzusetzen ist oder nicht, basierend auf einem Bestimmungsergebnis in der Bestimmungseinheit.
Die Insassenüberwachungseinrichtung kann ein Umschalten, ob ein Insassenparameter zurückzusetzen ist oder nicht, dahingehend angemessen ausführen, ob ein aufgenommenes Bild dem ersten Bild oder dem zweiten Bild entspricht, das heißt, ob eine Wahrscheinlichkeit, dass ein Austausch eines Insassen aufgetreten sein könnte, hoch ist oder nicht.
In der Insassenüberwachungseinrichtung kann die Bestimmungseinheit bestimmen, ob das aufgenommene Bild dem ersten Bild, dem zweiten Bild oder einem dritten Bild, das das Gesicht des Insassen umfasst, entspricht, kann die Verarbeitungseinheit in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das aufgenommene Bild dem ersten Bild entspricht, den Insassenparameter halten, ohne Gesichtsinformationen bezüglich des Gesichts des Insassen basierend auf dem aufgenommenen Bild zu erfassen, kann die Verarbeitungseinheit in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das aufgenommene Bild dem zweiten Bild entspricht, den Insassenparameter zurücksetzen, ohne die Gesichtsinformationen basierend auf dem aufgenommenen Bild zu erfassen, und, kann die Verarbeitungseinheit in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das aufgenommene Bild dem dritten Bild entspricht, die Gesichtsinformationen basierend auf dem aufgenommenen Bild erfassen, und aktualisiert den Insassenparameter. Gemäß dieser Konfiguration ist es möglich, umzuschalten, ob Gesichtsinformationen gemäß damit, ob ein aufgenommenes Bild dem ersten Bild, dem zweiten Bild oder dem dritten Bild entspricht, zu erfassen sind, und umzuschalten, ob ein Insassenparameter zu halten, zurückzusetzen, oder zu aktualisieren ist.
In diesem Fall kann die Beschaffungseinheit sukzessive das aufgenommene Bild mehrere Male beschaffen, kann die Verarbeitungseinheit in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das aufgenommene Bild dem dritten Bild entspricht, die Gesichtsinformationen erfassen, aktualisiert den Insassenparameter und führt dann eine Verfolgung der Gesichtsinformationen basierend auf dem aufgenommenen Bild, das als nächstes durch die Beschaffungseinheit beschafft wird, aus, und kann die Verarbeitungseinheit in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das aufgenommene Bild dem ersten Bild oder dem zweiten Bild entspricht, den Insassenparameter halten oder zurücksetzen, ohne die Gesichtsinformationen zu erfassen, und dann umschalten, ob die Gesichtsinformationen zu erfassen sind oder nicht, und ob der Insassenparameter zurückzusetzen, zu halten oder zu aktualisieren ist, gemäß einem Bestimmungsergebnis in der Bestimmungseinheit mit Bezug auf das aufgenommene Bild, das als nächstes durch die Beschaffungseinheit beschafft wird, ohne ein Verfolgen der Gesichtsinformationen auszuführen. Gemäß dieser Konfiguration ist es möglich, angemessen umzuschalten, ob ein Verfolgen von Gesichtsinformationen auszuführen ist, gemäß damit, ob ein aufgenommenes Bild dem dritten Bild entspricht, mit dem ein Verfolgen von Gesichtsinformationen ausführbar ist.
In der Insassenüberwachungseinrichtung mit der Bestimmungseinheit, die bestimmt, ob das aufgenommene Bild irgendeinem des ersten Bildes, des zweiten Bildes und des dritten Bildes entspricht, kann die Beschaffungseinheit das aufgenommene Bild mehrere Male sukzessive beschaffen, und kann die Verarbeitungseinheit in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das aufgenommene Bild dem zweiten Bild entspricht, und dann die Bestimmungseinheit das erste Mal bestimmt, dass das aufgenommene Bild dem dritten Bild entspricht, den Insassen basierend auf dem aufgenommenen Bild identifizieren, und einen Dienst, der im Voraus für jeden Insassen eingestellt ist, basierend auf einem Identifikationsergebnis ausführen. Gemäß dieser Konfiguration, in einem Fall, in dem es eine hohe Wahrscheinlichkeit gibt, dass ein Austauschen eines Insassen auftreten kann, wird ein Insasse nach einem Austausch identifiziert, und somit ist es möglich, einen angemessenen Dienst für jeden Insassen auszuführen.
In der Insassenüberwachungseinrichtung kann der Insassenparameter eine Position des Zentrums eines Augapfels des Insassen in einem dreidimensionalen Modell, das eine Struktur darstellt, die eine dreidimensionale Form des Gesichts des Insassen umfasst, umfassen. Gemäß dieser Konfiguration ist es möglich, angemessen umzuschalten, ob eine Position des Zentrums des Augapfels eines Insassen in einem dreidimensionalen Modell als ein Insassenparameter zurückzusetzen ist oder nicht.
In der Insassenüberwachungseinrichtung kann die Bestimmungseinheit bestimmen, ob das aufgenommene Bild, das durch die Beschaffungseinheit beschafft wird, zumindest dem ersten Bild oder dem zweiten Bild entspricht, basierend auf einem gelernten Modell, das durch Lernen eines Lernbildes erzeugt wird, das Informationen umfasst, die ähnlich dem aufgenommenen Bild sind, und ob das Lernbild zumindest dem ersten Bild oder dem zweiten Bild entspricht, durch Maschinenlernen. Gemäß dieser Konfiguration ist es möglich, ein aufgenommenes Bild basierend auf einem gelernten Modell einfach zu bestimmen.
Ein Insassenüberwachungsverfahren als ein anderes Beispiel dieser Offenbarung umfasst einen Beschaffungsschritt des Beschaffens eines aufgenommenen Bildes, das durch Abbilden eines Bereichs erhalten wird, in dem es eine Wahrscheinlichkeit gibt, dass ein Gesicht eines Insassen in einem Fahrzeug vorhanden ist; einen Bestimmungsschritt des Bestimmens, ob das aufgenommene Bild, das in dem Beschaffungsschritt beschafft wird, zumindest einem ersten Bild, das einen Merkmalsabschnitt des Gesichts des Insassen nicht umfasst aber zumindest einen Teil eines Köpers des Insassen umfasst, oder einem zweiten Bild, das den Körper des Insassen nicht umfasst, entspricht; und einen Verarbeitungsschritt des Überwachens einer Zustandsänderung des Gesichts des Insassen basierend auf dem ersten Bild und des Umschaltens, ob ein Insassenparameter, der für eine Überwachung der Zustandsänderung des Gesichts des Insassen eingestellt ist, zurückzusetzen ist oder nicht, gemäß einem Bestimmungsergebnis in dem Bestimmungsschritt.
Gemäß dem Insassenüberwachungsverfahren ist es möglich, ein Umschalten angemessen auszuführen, ob ein Insassenparameter zurückzusetzen ist oder nicht, gemäß damit, ob ein aufgenommenes Bild dem ersten Bild oder dem zweiten Bild entspricht, das heißt, ob eine Wahrscheinlichkeit, dass ein Austausch eines Insassen auftreten kann, hoch ist oder nicht.
Ein Insassenüberwachungsprogramm als ein weiteres Beispiel dieser Offenbarung veranlasst einen Computer, die folgenden Schritte auszuführen: einen Beschaffungsschritt des Beschaffens eines aufgenommenen Bildes, das durch Abbilden eines Bereichs erhalten wird, in dem es eine Wahrscheinlichkeit gibt, dass ein Gesicht eines Insassen in einem Fahrzeug vorhanden ist; einen Bestimmungsschritt des Bestimmens, ob das aufgenommene Bild, das in dem Beschaffungsschritt beschafft wird, zumindest einem ersten Bild, das einen Merkmalsabschnitt des Gesichts des Insassen nicht umfasst aber zumindest einen Teil eines Köpers des Insassen umfasst, oder einem zweiten Bild, das den Körper des Insassen nicht umfasst, entspricht; und einen Verarbeitungsschritt des Überwachens einer Zustandsänderung des Gesichts des Insassen basierend auf dem aufgenommenen Bild, und des Umschaltens, ob ein Insassenparameter, der zum Überwachen der Zustandsänderung des Gesichts des Insassen eingestellt ist, zurückzusetzen ist oder nicht, gemäß einem Bestimmungsergebnis in dem Bestimmungsschritt.
Gemäß dem Insassenüberwachungsprogramm ist es möglich, ein Umschalten angemessen auszuführen, ob ein Insassenparameter zurückzusetzen ist oder nicht, gemäß damit, ob ein aufgenommenes Bild dem ersten Bild oder dem zweiten Bild entspricht, das heißt, ob eine Wahrscheinlichkeit, dass ein Austausch eines Insassen auftreten kann, hoch ist oder nicht.
Figurenliste
Die vorstehenden und zusätzlichen Merkmale und Charakteristika dieser Offenbarung werden von der folgenden detaillierten Beschreibung, die mit Bezug auf die anhängigen Zeichnungen betrachtet wird, ersichtlicher, wobei:

1 ein beispielhaftes und schematisches Diagramm ist, das ein Beispiel einer Konfiguration eines Fahrzeugs gemäß einem Ausführungsbeispiel darstellt;
2 ein beispielhaftes und schematisches Diagramm ist, das ein Beispiel einer Anordnung einer Abbildungseinrichtung gemäß dem Ausführungsbeispiel darstellt;
3 ein beispielhaftes und schematisches Blockdiagramm ist, das eine Konfiguration eines Insassenüberwachungssystems gemäß dem Ausführungsbeispiel darstellt;
4 ein beispielhaftes und schematisches Blockdiagramm ist, das Funktionen einer Insassenüberwachungseinrichtung gemäß dem Ausführungsbeispiel darstellt;
5 ein beispielhaftes und schematisches Diagramm ist, das ein Beispiel eines ersten Bildes gemäß dem Ausführungsbeispiel darstellt;
6 ein beispielhaftes und schematisches Diagramm ist, das ein Beispiel eines zweiten Bildes gemäß dem Ausführungsbeispiel darstellt;
7 ein beispielhaftes und schematisches Diagramm ist, das ein Beispiel eines dritten Bildes gemäß dem Ausführungsbeispiel darstellt;
8 ein beispielhaftes und schematisches Ablaufdiagramm ist, das einen initialen Erfassungsprozess darstellt, der durch die Insassenüberwachungseinrichtung gemäß dem Ausführungsbeispiel ausgeführt wird;
9 ein beispielhaftes und schematisches Ablaufdiagramm ist, das einen Individuumerkennungsprozess darstellt, der durch die Insassenüberwachungseinrichtung gemäß dem Ausführungsbeispiel ausgeführt wird; und
10 ein beispielhaftes und schematisches Ablaufdiagramm ist, das einen Verfolgungsprozess darstellt, der durch die Insassenüberwachungseinrichtung gemäß dem Ausführungsbeispiel ausgeführt wird.

DETAILLIERTE BESCHREIBUNG
Nachstehend wird ein Ausführungsbeispiel dieser Offenbarung mit Bezug auf die Zeichnungen beschrieben. Konfigurationen des nachstehend beschriebenen Ausführungsbeispiels und Operationen und Ergebnisse (Effekte), die sich von den Konfigurationen ergeben, sind lediglich Beispiele und sind nicht auf die Inhalte, die nachstehend beschrieben sind, beschränkt.
Zuerst wird mit Bezug auf die 1 und 2 eine Beschreibung einer schematischen Konfiguration eines Fahrzeugs 1 gemäß einem Ausführungsbeispiel vorgenommen. 1 ist ein beispielhaftes und schematisches Diagramm, das ein Beispiel einer Konfiguration des Fahrzeugs 1 gemäß dem Ausführungsbeispiel darstellt, und 2 ist ein beispielhaftes und schematisches Diagramm, das ein Beispiel einer Anordnung einer Abbildungseinrichtung 201 gemäß dem Ausführungsbeispiel darstellt.
Wie in 1 dargestellt ist, ist das Fahrzeug 1 gemäß dem Ausführungsbeispiel ein Vierradautomobil mit zwei linken und rechten Vorderrädern 3F und zwei linken und rechten Hinterrädern 3R. Nachstehend werden der Einfachheit halber die Vorderräder 3F und die Hinterräder 3R als Fahrzeugräder 3 in manchen Fällen bezeichnet. In dem Ausführungsbeispiel werden Schwimmwinkel bzw. Schräglaufwinkel von manchen oder allen der vier Fahrzeugräder 3 als Reaktion auf ein Lenken einer Lenkeinheit 303a geändert (gedreht).
Wie in 1 dargestellt ist, umfasst das Fahrzeug 1 gemäß dem Ausführungsbeispiel eine Fahrzeugkabine 2a, in der ein Insasse (in 1 nicht dargestellt) sitzt. Die Lenkeinheit 3a ist in einem Zustand bereitgestellt, in dem diese dazu in der Lage ist, durch einen Fahrer X (in 1 nicht dargestellt) als ein Insasse auf einem Fahrersitz 2b in der Fahrzeugkabine 2a betätigt zu werden. Die Lenkeinheit 3a ist mit einem Lenkrad oder einem Handgriff konfiguriert, der bereitgestellt ist, sodass dieser von einem Armaturenbrett (einer Instrumententafel) 12 hervorsteht. Es ist nicht notwendig zu erwähnen, dass in dem Ausführungsbeispiel andere Sitze als der Fahrersitz 2b in der Fahrzeugkabine 2a vorhanden sein können.
Eine Monitoreinrichtung 11, die eine Anzeigeeinheit 8, die verschiedene Bilder ausgibt, und eine Tonausgabeeinheit 9, die verschiedene Töne ausgibt, umfasst, ist in der Fahrzeugkabine 2a bereitgestellt. Die Monitoreinrichtung 11 ist zum Beispiel an einem mittleren Abschnitt des Armaturenbretts in der Fahrzeugbreitenrichtung (Links-Rechts-Richtung) in der Fahrzeugkabine 2a bereitgestellt. In dem in 1 dargestellten Beispiel ist die Anzeigeeinheit 8 mit einer Operationseingabeeinheit bedeckt, die eine Koordinate einer Position erfasst, zu der sich ein Indikator, wie etwa ein Finger oder ein Eingabestift bzw. Stylus annähert (inklusive eines Kontakts). Dementsprechend kann der Insasse ein Bild, das auf der Anzeigeeinheit 8 angezeigt wird, visuell erkennen und kann verschiedene Operationen durch Durchführen einer Eingabeoperation (zum Beispiel einer Berührungsoperation) unter Verwendung eines Indikators auf der Operationseingabeeinheit 10 eingeben.
Wie in 2 dargestellt ist, ist die Abbildungseinrichtung 201 auf einem Stützabschnitt 202, der die Lenkeinheit 303a stützt, bereitgestellt. Die Abbildungseinrichtung 201 ist zum Beispiel mit einer CCD-Kamera (CCD, „charge coupled device“, Ladungskopplungseinrichtung) konfiguriert.
Hier in dem Ausführungsbeispiel ist die Abbildungseinrichtung 201 konfiguriert, um einen Bereich abzubilden, in dem es eine Wahrscheinlichkeit gibt bzw. in dem es wahrscheinlich ist, dass das Gesicht des Fahrers X, der auf dem Fahrersitz 2b sitzt, vorhanden sein könnte. Genauer werden ein Betrachtungswinkel und eine Haltung bzw. Ausrichtung der Abbildungseinrichtung 201 angepasst, sodass sich das Gesicht des Fahrers X der auf dem Fahrersitz 2b sitzt, in der Mitte eines Sichtfeldes befindet.
Die Abbildungseinrichtung 201 führt periodisch ein Abbilden bzw. Aufnehmen des Gesichts des Fahrers X zu einem vorbestimmten Zeitintervall während eines Fahrens des Fahrzeuges 1 aus und gibt sequenziell aufgenommene Bilder (entsprechende Bilddaten), die durch das Abbilden erhalten werden, an eine Insassenüberwachungseinrichtung 310 (siehe 3 und 4), die später beschrieben wird, aus. Wie nachstehend detailliert beschrieben wird, führt die Insassenüberwachungseinrichtung 310 ein Insassenüberwachungsprozess aus, der eine Erfassung von Gesichtsinformationen bezüglich des Gesichts des Fahrers X (und ein Verfolgen der erfassten Gesichtsinformationen) basierend auf einem aufgenommenen Bild, das durch Abbilden in der Abbildungseinrichtung 201 erhalten wird, umfasst, und überwacht somit eine Zustandsänderung des Gesichts des Fahrers X.
Obwohl es in 2 nicht dargestellt ist, könnte in dem Ausführungsbeispiel eine Beleuchtungseinheit, die einen Bereich, der durch die Abbildungseinrichtung 201 abgebildet wird, mit Licht bestrahlt, bereitgestellt sein. In diesem Fall, wenn eine Infrarotlampe, die Infrarotlicht anwendet, verwendet wird, ist es möglich, die Abbildungseinrichtung 201 beim Abbilden zu unterstützen, ohne dass der Fahrer X geblendet wird.
Nachstehend wird eine Beschreibung eines Insassenüberwachungsprozesses vorgenommen, der basierend auf einem aufgenommenen Bild ausgeführt wird, das durch die Abbildungseinrichtung 201 erhalten wird, und Informationen bezüglich eines Bereichs umfasst, in dem es eine Wahrscheinlichkeit gibt, dass das Gesicht des Fahrers X, der auf dem Fahrersitz 2b sitzt, vorhanden sein kann, aber der Insassenüberwachungsprozess kann bezüglich eines anderen Insassen als den Fahrer X ausgeführt werden. Mit anderen Worten könnte der Insassenüberwachungsprozess auf eine ähnliche Weise basierend auf einem aufgenommenen Bild ausgeführt werden, das durch eine Abbildungseinheit erhalten wird, die an einer Position installiert ist, die von der Position der Abbildungseinrichtung 201 verschieden ist, und einen Bereich aufnimmt, in dem es eine Wahrscheinlichkeit gibt, das ein Gesicht eines Insassen, der auf einem anderen Sitz als dem Fahrersitz 2b sitzt, vorhanden sein kann.
Als nächstes wird mit Bezug auf 3 eine Beschreibung einer Konfiguration eines Insassenüberwachungssystems 300, das die Insassenüberwachungseinrichtung 310, die den Insassenüberwachungsprozess ausführt, umfasst, vorgenommen. Die Systemkonfiguration, die in 3 dargestellt ist, ist nur ein Beispiel und ist verschiedenartig einstellbar (veränderbar).
3 ist ein beispielhaftes und schematisches Blockdiagramm, das eine Konfiguration des Insassenüberwachungssystems 300 gemäß dem Ausführungsbeispiel darstellt. Wie in 3 dargestellt ist, umfasst das Insassenüberwachungssystem 300 ein Bremssystem 301, ein Beschleunigungssystem 302, ein Lenksystem 303, ein Gangschaltsystem 304, einen Hindernissensor 305, einen Fahrzustandssensor 306, die Abbildungseinrichtung 201, die Monitoreinrichtung 11, die Insassenüberwachungseinrichtung 310 und ein fahrzeugseitiges Netzwerk 350.
Das Bremssystem 301 steuert eine Verlangsamung des Fahrzeugs 1. Das Bremssystem 301 umfasst eine Bremseinheit 301a, eine Bremssteuerungseinheit 301b und einen Bremseinheitssensor 301c.
Die Bremseinheit 301a ist eine Einrichtung, die zum Verlangsamen des Fahrzeugs 1 verwendet wird, wie etwa ein Bremspedal.
Die Bremssteuerungseinheit 301b ist eine elektronische Steuerungseinheit (ECU), die mit einem Computer konfiguriert ist, der einen Hardwareprozessor, wie etwa eine CPU, umfasst. Die Bremssteuerungseinheit 301b treibt ein (nicht dargestelltes) Stellglied basierend auf eine Anweisung, die zum Beispiel über das fahrzeugseitige Netzwerk 350 eingegeben wird, an, und betätigt die Bremseinheit 301a, um den Grad einer Verlangsamung des Fahrzeugs 1 zu steuern.
Der Bremseinheitssensor 301c ist eine Einrichtung, die zum Erfassen eines Zustands der Bremseinheit 301a verwendet wird. In einem Fall zum Beispiel, in dem die Bremseinheit 301a mit einem Bremspedal konfiguriert ist, erfasst der Bremseinheitssensor 301c eine Position des Bremspedals oder einen Druck, der auf das Bremspedal aufgebracht wird, als einen Zustand der Bremseinheit 301a. Der Bremseinheitssensor 301c gibt den erfassten Zustand der Bremseinheit 301a an das fahrzeugseitige Netzwerk 350 aus.
Das Beschleunigungssystem 302 steuert eine Beschleunigung des Fahrzeugs 1. Das Beschleunigungssystem 302 umfasst eine Beschleunigungseinheit 302a, eine Beschleunigungssteuerungseinheit 302b und einen Beschleunigungseinheitssensor 302c.
Die Beschleunigungseinheit 302a ist eine Einrichtung, die zum Beschleunigen des Fahrzeugs 1 verwendet wird, wie etwa ein Beschleunigerpedal.
Die Beschleunigungssteuerungseinheit 302b ist eine ECU, die mit einem Computer konfiguriert ist, der einen Hardwareprozessor, wie etwa eine CPU umfasst. Die Beschleunigungssteuerungseinheit 302b treibt ein (nicht dargestelltes) Stellglied basierend auf einer Anweisung an, die zum Beispiel über das fahrzeugseitige Netzwerk 350 eingegeben wird, und betätigt die Beschleunigungseinheit 302a, um den Grad einer Beschleunigung des Fahrzeugs 1 zu steuern.
Der Beschleunigungseinheitssensor 302c ist eine Einrichtung, die zum Erfassen eines Zustandes der Beschleunigungseinheit 302a verwendet wird. In einem Fall zum Beispiel, in dem die Beschleunigungseinheit 302a mit einem Beschleunigerpedal konfiguriert ist, erfasst der Beschleunigungseinheitssensor 302c eine Position des Beschleunigerpedals oder einen Druck, der auf das Beschleunigerpedal aufgebracht wird. Der Beschleunigungseinheitssensor 302c gibt den erfassten Zustand der Beschleunigungseinheit 302a an das fahrzeugseitige Netzwerk 350 aus.
Das Lenksystem 303 steuert eine Bewegungsrichtung bzw. Vorrückrichtung des Fahrzeugs 1. Das Lenksystem 303 umfasst die Lenkeinheit 302a, eine Lenksteuerungseinheit 303b und einen Lenkeinheitssensor 303c.
Die Lenkeinheit 303a ist eine Einrichtung, die zum Drehen eines lenkbaren Rades des Fahrzeugs 1 verwendet wird, wie etwa ein Lenkrad oder ein Griff.
Die Lenksteuerungseinheit 303b ist eine ECU, die mit einem Computer konfiguriert ist, der einen Hardwareprozessor, wie etwa eine CPU, umfasst. Die Lenksteuerungseinheit 303b treibt ein (nicht dargestelltes) Stellglied basierend auf einer Anweisung, die zum Beispiel über das fahrzeugseitige Netzwerk 350 eingegeben wird, an und betätigt die Lenkeinheit 303a, um eine Bewegungsrichtung des Fahrzeugs 1 zu steuern.
Der Lenkeinheitssensor 303c ist eine Einrichtung, die zum Erfassen eines Zustands der Lenkeinheit 303a verwendet wird. In einem Fall zum Beispiel in dem die Lenkeinheit 303a mit einem Lenkrad konfiguriert ist, erfasst der Lenkeinheitssensor 303c eine Position des Lenkrads oder einen Drehwinkel des Lenkrads. In einem Fall, in dem die Lenkeinheit 303a mit einem Griff konfiguriert ist, könnte der Lenkeinheitssensor 303c eine Position des Griffs oder einen Druck, der auf den Griff aufgebracht wird, erfassen. Der Lenkeinheitssensor 303c gibt den erfassten Zustand der Lenkeinheit 303a an das fahrzeugseitige Netzwerk 350 aus.
Das Gangschaltsystem 304 steuert ein Übersetzungsverhältnis des Fahrzeugs 1. Das Gangschaltsystem 304 umfasst eine Gangschalteinheit 304a, eine Gangschaltsteuerungseinheit 304b und einen Gangschalteinheitssensor 304c. Die Gangschalteinheit 304a ist eine Einrichtung, die zum Ändern eines Übersetzungsverhältnisses des Fahrzeugs 1 verwendet wird, wie etwa ein Schalthebel.
Die Gangschaltsteuerungseinheit 304b ist eine ECU, die mit einem Computer konfiguriert ist, der einen Hardwareprozessor, wie etwa eine CPU, umfasst. Die Gangschaltsteuerungseinheit 304b treibt ein (nicht dargestelltes) Stellglied basierend auf einer Anweisung, die zum Beispiel über das fahrzeugseitige Netzwerk 350 eingegeben wird, an, und betätigt die Gangschalteinheit 304a, um ein Übersetzungsverhältnis des Fahrzeugs 1 zu steuern.
Der Gangschalteinheitssensor 304c ist eine Einrichtung, die zum Erfassen eines Zustands der Gangschalteinheit 304a verwendet wird. In einem Fall zum Beispiel in dem die Gangschalteinheit 304a mit einem Schalthebel konfiguriert ist, erfasst der Gangschalteinheitssensor 304c eine Position des Schalthebels oder einen Druck, der auf dem Schalthebel aufgebracht wird. Der Gangschalteinheitssensor 304c gibt den erfassten Zustand der Gangschalteinheit 304a an das fahrzeugseitige Netzwerk 350 aus.
Der Hindernissensor 305 ist eine Einrichtung, die zum Erfassen von Informationen bezüglich eines Hindernisses verwendet wird, das in der Peripherie des Fahrzeugs 1 vorhanden sein könnte. Der Hindernissensor 305 umfasst einen Entfernungsmesssensor, wie etwa ein Sonar, das eine Entfernung zu einem Hindernis erfasst. Der Hindernissensor 305 gibt die erfassten Informationen an das fahrzeugseitige Netzwerk 350 aus.
Der Fahrzustandssensor 306 ist eine Einrichtung, die zum Erfassen eines Fahrzustands des Fahrzeugs 1 verwendet wird. Der Fahrzustandssensor 306 umfasst zum Beispiel einen Fahrzeugradsensor, der eine Drehzahl des Fahrzeugs 1 erfasst, einen Beschleunigungssensor, der eine Beschleunigung des Fahrzeugs 1 in eine Längsrichtung oder eine Querrichtung erfasst, oder einen Gyro-Sensor, der eine Drehgeschwindigkeit (Winkelgeschwindigkeit) des Fahrzeugs 1 erfasst. Der Fahrzustandssensor 306 gibt den erfassten Fahrzustand an das fahrzeugseitige Netzwerk 350 aus.
Die Insassenüberwachungseinrichtung 310 ist eine Einrichtung, die das Insassenüberwachungssystem 300 ganzheitlich steuert. Die Insassenüberwachungseinrichtung 310 führt einen Insassenüberwachungsprozess aus, inklusive einer Erfassung von Gesichtsinformationen bezüglich des Gesichts des Fahrers X (und eines Verfolgens der erfassten Gesichtsinformationen) basierend auf einem aufgenommenen Bild, das durch die Abbildungseinrichtung 201 erhalten wird, und überwacht somit eine Zustandsänderung des Gesichts des Fahrers X. Die Gesichtsinformationen sind Daten, die Augeninformationen bezüglich der Augen des Fahrers X, Mundinformationen bezüglich des Munds des Fahrers X, und Ausdruckinformationen bezüglich eines Ausdrucks des Fahrers X umfassen. Die Augeninformationen sind Daten, die einen Öffnungs-oder Schließzustand der Augen (der Augenlider) oder eine Richtung einer Sichtlinie angeben und die Mundinformationen sind Daten, die einen Öffnungs-oder Schließzustand (Konversationszustand) des Munds angeben.
Die Insassenüberwachungseinrichtung 310 ist mit einer ECU konfiguriert, die eine zentrale Verarbeitungseinheit (CPU) 310a, einen Festwertspeicher (ROM) 310b, einen Direktzugriffsspeicher (RAM) 310c, ein Festkörperlaufwerk (SSD) 310d, eine Anzeigesteuerungseinheit 310e und eine Tonsteuerungseinheit 310f umfasst.
Die CPU 310a ist ein Hardwareprozessor, der die Insassenüberwachungseinrichtung 310 ganzheitlich steuert. Die CPU 310a liest verschiedene Steuerungsprogramme (Computerprogramme), die in dem ROM 310b oder ähnlichen gespeichert ist, aus, und realisiert verschiedene Funktionen gemäß Anweisungen, die in den verschiedenen Steuerungsprogrammen definiert sind. Die verschiedenen Steuerungsprogramme umfassen ein Insassenüberwachungsprogramm zum Realisieren eines Insassenüberwachungsprozesses.
Der ROM 310b ist eine nichtflüchtige Hauptspeichereinrichtung, die Parameter oder ähnliches speichert, die zum Ausführen der verschiedenen Steuerungsprogramme erforderlich sind.
Der RAM 310c ist eine flüchtige Hauptspeichereinrichtung, die einen Arbeitsbereich der CPU 310a bereitstellt.
Die SSD 310d ist eine wiederbeschreibbare nichtflüchtige Hilfsspeichereinrichtung. In der Insassenüberwachungseinrichtung 310 gemäß dem Ausführungsbeispiel könnte als eine Hilfsspeichereinrichtung ein Festplattenlaufwerk (HDD) anstelle der SSD 310d (oder zusätzlich zu der SSD 310b) bereitgestellt werden.
Unter verschiedenen Prozessen, die durch die Insassenüberwachungseinrichtung 310 ausgeführt werden, führt die Anzeigesteuerungseinheit 310e hauptsächlich eine Bildverarbeitung bezüglich eines aufgenommenen Bildes aus, das von der Abbildungseinrichtung 201 erhalten wird, oder erzeugt Bilddaten, die an die Anzeigeeinheit 8 der Monitoreinrichtung 11 auszugeben sind.
Unter verschiedenen Prozessen, die durch die Insassenüberwachungseinrichtung 310 ausgeführt werden, erzeugt die Tonsteuerungseinheit 310f hauptsächlich Tondaten, die an die Tonausgabeeinheit 9 der Monitoreinrichtung 11 auszugeben sind.
Das fahrzeugseitige Netzwerk 350 verbindet das Bremssystem 301, das Beschleunigungssystem 302, das Lenksystem 303, das Gangschaltsystem 304, den Hindernissensor 305, den Fahrzustandssensor 306, die Operationseingabeeinheit 10 der Monitoreinrichtung 11 und die Insassenüberwachungseinrichtung 310 kommunikativ miteinander.
Unterdessen wird im Stand der Technik ein Insassenüberwachungsprozess basierend auf einem Insassenparameter ausgeführt, der nach Bedarf gemäß einem Erfassungsergebnis eines Gesichts des Insassen, das in einem aufgenommenen Bild widergespiegelt wird, angepasst wird. Beispiele von Insassenparametern können eine Position (eine Koordinate in einem vorbestimmten Koordinatensystem) des Zentrums eines Augapfels des Insassen in einem dreidimensionalen Modell, das eine Struktur inklusive einer dreidimensionalen Form des Gesichts des Insassen darstellt, und Positionen (Koordinaten in einem vorbestimmten Koordinatensystem) einer Vielzahl von Punkten zum Spezifizieren des dreidimensionalen Modells umfassen.
Im Stand der Technik, zum Beispiel, in einem Fall, in dem ein Insasse ausgetauscht bzw. ersetzt wird, ist es nützlich, den Insassenparameter zurückzusetzen und den Insassenparameter von einem initialen Wert erneut anzupassen, um mit einem Insassen nach einem Austausch umgehen zu können. Deshalb könnte ein Zeitpunkt des Zurücksetzens des Insassenparameters ein Zeitpunkt sein, zu dem eine Situation auftritt, in der zum Beispiel ein Merkmalsabschnitt (die Augen, die Nase, oder der Mund) des Gesichts des Insassen von einem aufgenommenen Bild nicht erfasst wird.
Jedoch tritt die Situation, in der ein Merkmalsabschnitt des Gesichts des Insassen von einem aufgenommenen Bild nicht erfasst wird, nicht nur in einem Fall auf, in dem der Insasse in dem Fahrzeug 1 während eines Austauschs nicht vorhanden ist, sondern ebenso in einem Fall, in dem der Insasse in dem Fahrzeug 1 vorhanden ist, aber sich an einer Position befindet, an der ein Merkmalsabschnitt des Gesichts in dem aufgenommenen Bild nicht widergespiegelt wird. In dem letztgenannten Fall, da ein Insasse nicht ersetzt wird, könnte ein aufwendiger Prozess zum erneuten anpassen des Insassenparameters notwendig sein oder könnte eine Genauigkeit eines Insassenüberwachungsprozesses reduziert werden, wenn der Insassenparameter zurückgesetzt wird.
Deshalb umfasst die Insassenüberwachungseinrichtung 310 in dem Ausführungsbeispiel Funktionen, die in 4 dargestellt sind, und somit wird ein Umschalten, ob ein Insassenparameter zurückzusetzen ist oder nicht, angemessen ausgeführt.
4 ist ein beispielhaftes und schematisches Blockdiagramm, das Funktionen der Insassenüberwachungseinrichtung 310 gemäß dem Ausführungsbeispiel darstellt. Die in 4 dargestellten Funktionen werden durch eine Kooperation zwischen Software und Hardware realisiert. Mit anderen Worten werden in dem Beispiel, das in 4 dargestellt ist, die Funktionen der Insassenüberwachungseinrichtung 310 als ein Ergebnis dessen realisiert, dass die CPU 310a ein vorbestimmtes Steuerungsprogramm, das in dem RAM 310b gespeichert ist, ausliest und ausführt. In dem Ausführungsbeispiel können zumindest manche der Funktionen, die in 4 dargestellt sind, durch eine dedizierte Hardware (Schaltung) realisiert werden.
Wie in 4 dargestellt ist, umfasst die Insassenüberwachungseinrichtung 310 gemäß dem Ausführungsbeispiel eine Beschaffungseinheit 401, eine Bestimmungseinheit 402 und eine Verarbeitungseinheit 404.
Die Beschaffungseinheit 401 beschafft sukzessive aufgenommene Bilder, die durch die Abbildungseinrichtung 201 erhalten werden, mehrere Male zu vorbestimmten Steuerungszeitpunkten. Wie vorstehend beschrieben umfasst das aufgenommene Bild Informationen bezüglich eines Bereichs, in dem es eine Wahrscheinlichkeit gibt, dass das Gesicht des Fahrers X in dem Fahrzeug 1 vorhanden sein könnte.
Die Bestimmungseinheit 402 bestimmt, ob ein aufgenommenes Bild, das durch die Beschaffungseinheit 401 beschafft wird, einem ersten Bild, das einen Merkmalsabschnitt (die Augen, die Nase, oder dem Mund) des Gesichts nicht umfasst, aber zumindest einen Teil des Körpers umfasst, einem zweiten Bild, das weder einen Merkmalsabschnitt des Gesichts noch den Körper umfasst, oder einem dritten Bild, das einen Merkmalsabschnitt des Gesichts umfasst, entspricht.
Genauer umfasst die Bestimmungseinheit 402 ein gelerntes Modell 403, das als ein Ergebnis eines Maschinenlernens erzeugt wird, und bestimmt, ob das aufgenommene Bild einem des ersten Bildes, des zweiten Bildes oder des dritten Bildes entspricht, basierend auf dem gelernten Modell 403. Das gelernte Modell 403 kann zum Beispiel durch überwachtes Lernen erzeugt werden, bei dem Kennzeichen entsprechend dem ersten Bild, dem zweiten Bild und dem dritten Bild entsprechend an eine Vielzahl von Lernbildern hinzugefügt sind, und Kombinationen der Lernbilder und der Kennzeichen als Trainingsdaten verwendet werden. Es wird angenommen, dass das Lernbild ein Bild ist, das unter der gleichen Bedingung wie zum Beispiel der eines aufgenommen Bildes aufgenommen wird, und die gleichen Informationen wie die des aufgenommenen Bildes umfasst. In dem Ausführungsbeispiel ist ein Maschinenlernen zum Erzeugen des gelernten Modells 403 nicht auf das überwachte Lernen beschränkt und könnte ein nicht-überwachtes Lernen, ein Verstärkungslernen („reinforcement learning“), oder eine Kombination von einem oder mehr der drei Lernschemata sein.
Hier wird kurz eine Beschreibung von spezifischen Beispielen des ersten Bildes, des zweiten Bildes und des dritten Bildes vorgenommen.
5 ist ein beispielhaftes und schematisches Diagramm, das ein Beispiel des ersten Bildes gemäß dem Ausführungsbeispiel darstellt. Ein Bild 500, das in 5 dargestellt ist, umfasst keinen Merkmalsabschnitt des Gesichts des Fahrers X, aber umfasst zumindest einen Teil des Körpers und ist somit ein Beispiel des ersten Bildes. Genauer stellt das Bild 500 eine Situation dar, in der der Fahrer X auf dem Fahrersitz 2b sitzt, ein Teil des Körpers inklusive der Hand H des Fahrers X widergespiegelt wird, aber ein Merkmalsabschnitt des Gesichts durch die Hand H verdeckt ist, und somit nicht widergespiegelt wird.
Da Gesichtsinformationen bezüglich des Gesichts des Fahrers X von dem ersten Bild, wie etwa dem Bild 500, das in 5 dargestellt ist, nicht erfasst werden können, kann das Bild 500 für einen Insassenüberwachungsprozess inklusive der Erfassung von Gesichtsinformationen (und dem Verfolgen der erfassten Gesichtsinformationen) nicht verwendet werden, aber es kann erfasst werden, dass der Fahrer X in dem Fahrzeug vorhanden ist. Nachstehend wird das erste Bild in manchen Fällen der Bequemlichkeit halber als ein verdecktes Bild bzw. Verdeckungsbild bezeichnet.
6 ist ein beispielhaftes und schematisches Diagramm, das ein Beispiel eines zweiten Bildes gemäß dem Ausführungsbeispiel darstellt. Ein Bild 600, das in 6 dargestellt ist, umfasst weder das Gesicht des Fahrers X noch einen Teil des Körpers, und ist somit ein Beispiel des zweiten Bildes. Genauer stellt das Bild 600 eine Situation dar, in der der Fahrer X nicht vollständig widergespiegelt wird und nur der Fahrersitz 2b widergespiegelt wird.
Da Gesichtsinformationen bezüglich des Gesichts des Fahrers X von dem zweiten Bild, wie etwa dem Bild 600, das in 6 dargestellt ist, nicht erfasst werden können, kann das Bild 600 für einen Insassenüberwachungsprozess inklusive einer Erfassung von Gesichtsinformationen (und einer Verfolgung der erfassten Gesichtsinformationen) nicht verwendet werden. Mit anderen Worten, da weder Gesichtsinformationen des Fahrers X noch das Vorhandensein des Fahrers X in dem Fahrzeug von dem zweiten Bild erfasst wird, kann gesagt werden, dass das zweite Bild eine Situation darstellt, in der der Fahrer X in dem Fahrzeug wegen eines Austauschs oder ähnlichen nicht vorhanden ist. Nachstehend wird das zweite Bild in manchen Fällen der Bequemlichkeit halber ebenso als ein Abwesenheitsbild bezeichnet.
7 ist ein beispielhaftes und schematisches Diagramm, das ein Beispiel eines dritten Bildes gemäß dem Ausführungsbeispiel darstellt. Ein Bild 700, das in 7 dargestellt ist, umfasst einen Merkmalsabschnitt des Gesichts des Fahrers X und ist somit ein Beispiel des dritten Bildes. Genauer stellt das Bild 700 eine Situation dar, in der das gesamte Gesicht des Fahrers X freiliegt.
Gesichtsinformationen des Fahrers X können von dem dritten Bild, wie etwa dem Bild 700, das in 7 dargestellt ist, erfasst werden. Deshalb kann das dritte Bild für einen Insassenüberwachungsprozess inklusive einer Erfassung von Gesichtsinformationen (und einer Verfolgung der erfassten Gesichtsinformationen) verwendet werden. Nachstehend wird das dritte Bild in manchen Fällen der Bequemlichkeit halber ebenso als ein Bild, das eine Erfassung ermöglicht bzw. Erfassungsermöglichungsbild bezeichnet.
Nachstehend, in einem Fall, in dem ein aufgenommenes Bild, das durch die Beschaffungseinheit 401 beschafft wird, einem Abwesenheitsbild entspricht, wird bestimmt, dass es eine hohe Wahrscheinlichkeit gibt, dass der Fahrer X ausgetauscht werden könnte, und somit ist es angemessen, ein Insassenparameter zurückzusetzen.
Andererseits, in einem Fall, in dem ein aufgenommenes Bild, das durch die Beschaffungseinheit 401 beschafft wird, einem Verdeckungsbild entspricht, können Gesichtsinformationen nicht erfasst werden, aber der Fahrer X wird nicht ausgetauscht, und folglich kann bestimmt werden, dass Gesichtsinformationen einer identischen Person sukzessive erfasst werden, und somit ist es angemessen, einen Insassenparameter beizubehalten ohne diesen zurückzusetzen.
In einem Fall, in dem das aufgenommene Bild, das durch die Beschaffungseinheit 401 beschafft wird, einem Erfassungsermöglichungsbild entspricht, können die aktuellsten Gesichtsinformationen von dem Erfassungsermöglichungsbild erfasst werden und somit ist es angemessen, einen Insassenparameter basierend auf den aktuellsten Gesichtsinformationen zu aktualisieren.
Wie vorstehend erwähnt gibt es einen Unterschied in einem angemessenen Verfahren des Handhabens eines Insassenparameters gemäß damit, ob ein aufgenommenes Bild, das durch die Beschaffungseinheit 401 beschafft wird, einem Abwesenheitsbild, einem Verdeckungsbild oder einem Erfassungsermöglichungsbild entspricht.
Deshalb, bezugnehmend auf 4, schaltet die Verarbeitungseinheit 404 um, ob ein Insassenparameter, der zum Überwachen einer Zustandsänderung des Gesichts des Fahrers X eingestellt ist, zurückzusetzen ist oder nicht, gemäß einem Bestimmungsergebnis in der Bestimmungseinheit. Nachstehend werden Funktionen der Verarbeitungseinheit 404 detaillierter beschrieben.
Die Verarbeitungseinheit 404 umfasst funktionale Module, die zwei Steuerungsmodulen entsprechen, wie etwa eine Initialerfassungsbetriebsart des erstmaligen Erfassens von Gesichtsinformationen von einem aufgenommenen Bild als ein initialer Schritt des Insassenüberwachungsprozesses und eine Verfolgungsbetriebsart des Verfolgens der Gesichtsinformationen, die in dem Initialerfassungsprozess erfasst werden.
Mit anderen Worten umfasst die Verarbeitungseinheit 404 einen Initialerfassungsverarbeitungsabschnitt 405, der einen Initialerfassungsprozess als einen Prozess entsprechend der Initialerfassungsbetriebsart ausführt, und einen Verfolgungsverarbeitungsabschnitt 406, der einen Verfolgungsprozess als einen Prozess entsprechend der Verfolgungsbetriebsart ausführt.
Eine Steuerungsbetriebsart der Verarbeitungseinheit 404 wird zum Beispiel in einem Fall, in dem die Beschaffungseinheit 401 ein aufgenommenes Bild beschafft, auf die Initialerfassungsbetriebsart eingestellt.
Wie vorstehend beschrieben, in einem Fall, in dem ein aufgenommenes Bild einem Erfassungsermöglichungsbild entspricht, können Gesichtsinformationen des Fahrers X erfasst werden. Deshalb erfasst in dem Ausführungsbeispiel, in einem Fall, in dem ein aufgenommenes Bild einem Erfassungsermöglichungsbild entspricht, der Initialerfassungsverarbeitungsabschnitt 405 der Verarbeitungseinheit 404 Gesichtsinformationen und aktualisiert ebenso einen Insassenparameter basierend auf dem aufgenommenen Bild und dem momentanen Insassenparameter.
Genauer passt in dem Ausführungsbeispiel, in einem Fall, in dem ein aufgenommenes Bild dem Erfassungsermöglichungsbild entspricht, der Initialerfassungsverarbeitungsabschnitt 405 der Verarbeitungseinheit 404 einen Insassenparameter, der ein dreidimensionales Modell darstellt, das als Daten beschafft wird, die eine Struktur inklusive einer dreidimensionalen Form des Gesichts darstellen, angemessen an, um mit Merkmalspunkten des Erfassungsermöglichungsbildes übereinzustimmen, und erfasst somit Gesichtsinformationen und aktualisiert ebenso den Insassenparameter.
In einem Fall, in dem die Gesichtsinformationen durch den Initialerfassungsverarbeitungsabschnitt 405 normal erfasst werden, wird die Steuerungsbetriebsart der Verarbeitungseinheit 404 auf die Verfolgungsbetriebsart eingestellt.
Der Verfolgungsverarbeitungsabschnitt 406 der Verarbeitungseinheit 404 führt ein Verfolgen der Gesichtsinformationen, die in dem Initialerfassungsprozess erfasst werden, basierend auf einem aufgenommenen Bild, das als nächstes beschafft wird, und dem aktualisierten Insassenparameter aus.
Andererseits, wie vorstehend beschrieben, in einem Fall, in dem ein aufgenommenes Bild dem Verdeckungsbild oder dem Abwesenheitsbild entspricht, können Gesichtsinformationen des Fahrers X nicht erfasst werden. Deshalb erfasst in dem Ausführungsbeispiel, in einem Fall, in dem ein aufgenommenes Bild einem Verdeckungsbild oder einem Abwesenheitsbild entspricht, der Initialerfassungsverarbeitungsabschnitt 405 der Verarbeitungseinheit 404 Gesichtsinformationen nicht und aktualisiert den Insassenparameter nicht.
Genauer hält in dem Ausführungsbeispiel der Initialerfassungsverarbeitungsabschnitt 405 der Verarbeitungseinheit 404 einen Insassenparameter ohne ein Erfassen von Gesichtsinformationen in einem Fall, in dem ein aufgenommenes Bild einem Verdeckungsbild entspricht, und setzt den Insassenparameter ohne ein Erfassen von Gesichtsinformationen zurück, in einem Fall, in dem das aufgenommene Bild einem Abwesenheitsbild entspricht.
Wie vorstehend erwähnt werden in einem Fall, in dem ein aufgenommenes Bild einem Verdeckungsbild oder einem Abwesenheitsbild entspricht, Gesichtsinformationen, die ein Verfolgungsziel sind, in dem Initialerfassungsprozess nicht erfasst. Deshalb veranlasst in diesem Fall die Verarbeitungseinheit 404 den Initialerfassungsverarbeitungsabschnitt 405, den Initialerfassungsprozess widerholt auszuführen, ohne dass der Verfolgungsverarbeitungsabschnitt 406 eine Verfolgung von Gesichtsinformationen ausführt, nachdem der Initialerfassungsverarbeitungsabschnitt 405 den Initialerfassungsprozess ausführt. Mit anderen Worten schaltet in diesem Fall die Verarbeitungseinheit 404 um, ob Gesichtsinformationen zu erfassen sind oder nicht, und schaltet um, ob Insassenparameter zu halten sind, zurückzusetzen sind oder zu aktualisieren sind, gemäß einem Bestimmungsergebnis in der Bestimmungseinheit 402 mit Bezug auf ein aufgenommenes Bild, das als nächstes beschafft wird.
Wie vorstehend beschrieben werden aufgenommene Bilder durch die Beschaffungseinheit 401 mehrere Male sukzessive beschafft. In dieser Konfiguration entspricht ein Zeitpunkt, zu dem ein aufgenommenes Bild von einem Abwesenheitsbild zu einem Erfassungsermöglichungsbild wechselt, einem initialen Zeitpunkt, zu dem der Fahrer X ausgetauscht wird, und somit kann ein neuer Fahrer X basierend auf dem aufgenommenen Bild als klar identifizierbar bestimmt werden. In einem Fall, in dem zu diesem Zeitpunkt ein Individuumerkennungsprozess ausgeführt wird, ist es möglich, einen Dienst, der im Voraus für jeden Fahrer X eingestellt ist (fahrerspezifisch ist), wie etwa ein Einstellen eines Audiogeräts oder einer Klimaanlage oder eine Anpassung einer Position des Fahrersitzes 2b, für den identifizierten neuen Fahrer X angemessen bereitzustellen.
Deshalb umfasst in diesem Ausführungsbeispiel die Verarbeitungseinheit 404 einen Individuumerkennungsverarbeitungsabschnitt 407, der den Individuumerkennungsprozess ausführt. In einem Fall, in dem durch die Bestimmungseinheit 402 bestimmt ist, das ein aufgenommenes Bild einem Abwesenheitsbild entspricht, und dann durch die Bestimmungseinheit 402 zum ersten Mal bestimmt wird, dass das aufgenommene Bild einem Erfassungsermöglichungsbild entspricht, identifiziert der Individuumerkennungsverarbeitungsabschnitt 407 den Fahrer X basierend auf dem aufgenommenen Bild und führt als den Individuumerkennungsprozess einen Prozess des Ausführens eines Dienstes, der im Voraus eingestellt ist, gemäß einem Identifikationsergebnis aus. Eine Identifikation des Fahrers X wird basierend auf den Identifikationsinformationen eines Individuums, die von dem aufgenommenen Bild durch zum Beispiel einen Bilderkennungsprozess beschafft werden kann, ausgeführt.
Nachstehend werden der Initialerfassungsprozess, der Individuumerkennungsprozess und der Verfolgungsprozess gemäß dem Ausführungsbeispiel detailliert mit Bezug auf Ablaufdiagramme beschrieben.
Als erstes wird der Initialerfassungsprozess detailliert beschrieben.
8 ist ein beispielhaftes und schematisches Ablaufdiagramm, das einen Initialerfassungsprozess, der durch die Insassenüberwachungseinrichtung 310 gemäß diesem Ausführungsbeispiel ausgeführt wird, darstellt. Der Initialerfassungsprozess wird zum Beispiel in einem Fall ausgeführt, in dem eine Steuerungsbetriebsart der Verarbeitungseinheit 404 auf die Initialerfassungsbetriebsart eingestellt ist und ein aufgenommenes Bild durch die Beschaffungseinheit 401 beschafft wird.
Wie in 8 dargestellt ist, erfasst in dem Initialerfassungsprozess der Initialerfassungsverarbeitungsabschnitt 405 zuerst in Schritt S801 eine Position eines Gesichts im aufgenommenen Bild.
In S802 erfasst der Initialerfassungsverarbeitungsabschnitt 405 eine Richtung eines Gesichts in dem aufgenommenen Bild.
In S803 bestimmt die Bestimmungseinheit 402 das aufgenommene Bild.
In S804 bestimmt der Initialerfassungsverarbeitungsabschnitt 405, ob das aufgenommene Bild einem Erfassungsermöglichungsbild, wie etwa dem Bild 700, das in 7 dargestellt ist, entspricht oder nicht, basierend auf einem Bestimmungsergebnis in S803.
In einem Fall, in dem in S804 bestimmt ist, dass das aufgenommene Bild dem Erfassungsermöglichungsbild entspricht, geht der Prozess über zu S805. In S805 führt der Individuumerkennungsverarbeitungsabschnitt 407 einen Individuumerkennungsprozess aus, der in 9 dargestellt ist.
9 ist ein beispielhaftes und schematisches Ablaufdiagramm, das einen Individuumerkennungsprozess darstellt, der durch die Insassenüberwachungseinrichtung 310 gemäß dem Ausführungsbeispiel ausgeführt wird. Wie nachstehend beschrieben ist der Individuumerkennungsprozess ein Prozess des Ausführens eines Dienstes, der im Voraus für jeden Fahrer X eingestellt ist, gemäß einem Austausch des Fahrers X.
Wie in 9 dargestellt ist, bestimmt der Individuumerkennungsverarbeitungsabschnitt 407 in dem Individuumerkennungsprozess in S901 zuerst, ob in dem vorhergehenden Bestimmungsprozess, der durch die Bestimmungseinheit 402 ausgeführt wurde (siehe S803, der in 8 dargestellt ist), bestimmt ist oder nicht, dass ein aufgenommenes Bild einem Abwesenheitsbild entspricht.
In einem Fall, in dem in S901 bestimmt ist, dass das aufgenommene Bild in dem vorhergehenden Bestimmungsprozess nicht als einem Abwesenheitsbild entsprechend bestimmt wurde, könnte bestimmt werden, dass der Fahrer X nicht ausgetauscht ist. Deshalb wird in diesem Fall der Prozess ohne eine Ausführung einer Identifizierung des Fahrers X beendet, und der Prozess in S805, der in 8 dargestellt ist, wird beendet.
Andererseits, in einem Fall, in dem in S901 bestimmt ist, dass das aufgenommene Bild in dem vorhergehenden Bestimmungsprozess als einem Abwesenheitsbild entsprechend bestimmt wurde, kann der momentane Zeitpunkt als ein initialer Zeitpunkt bestimmt werden, zu dem der Fahrer X ausgetauscht wird, und kann der neue Fahrer X basierend auf dem aufgenommenen Bild klar identifiziert werden. Deshalb geht in diesem Fall der Prozess über zu S902 und in S902 führt der Individuumerkennungsverarbeitungsabschnitt 407 einen Bilderkennungsprozess oder ähnliches bezüglich des aufgenommenen Bildes aus, um den neuen Fahrer X zu spezifizieren und beschafft Identifikationsinformationen zum Identifizieren eines Individuums von dem aufgenommenen Bild.
In S903 entscheidet bzw. bestimmt der Individuumerkennungsverarbeitungsabschnitt 407 einen Dienst, der im Voraus für den Fahrer X eingestellt ist, nach einem Austausch gemäß den Identifikationsinformationen, die in S902 beschafft werden. Zum Beispiel wird angenommen, dass Elemente von Identifikationsinformationen einer Vielzahl von Fahrern X und Dienste, die im Voraus für die Vielzahl von entsprechenden Fahrern X eingestellt sind (fahrerspezifisch), in der Insassenüberwachungseinrichtung 310 in einem Zustand, in dem diese miteinander korreliert sind, gespeichert sind.
In S904 führt der Individuumerkennungsverarbeitungsabschnitt 407 den in S903 bestimmten Dienst aus. Folglich kann ein Dienst, wie etwa ein Einstellen eines Audiogeräts oder einer Klimaanlage oder eine Anpassung einer Position des Fahrersitzes 2b mit einem geeigneten Inhalt entsprechend dem Fahrer X nach einem Austausch bereitgestellt werden.
In einem Fall, in dem der Prozess in S904 beendet ist, wird der Prozess in S805, der in 8 dargestellt ist, beendet.
Wieder bezugnehmend auf 8 führt der Initialerfassungsverarbeitungsabschnitt 408 in S806 ein Abgleichen („fitting“) zwischen dem aufgenommenen Bild und einem dreidimensionalen Modell, das als Daten beschafft wird, die eine Struktur inklusive einer dreidimensionalen Form des Gesichts darstellen, während die momentan gehaltenen Insassenparameter angepasst werden, aus, und erfasst die Position und die Richtung des Gesichts, das in dem aufgenommenen Bild enthalten ist, detaillierter. Das Abgleichen („fitting“) in dem Initialerfassungsprozess wird zum Beispiel basierend auf einem Initialmodell ausgeführt, das im Voraus als statistische Daten eingestellt ist, die eine Struktur inklusive einer dreidimensionalen Form des Gesichts darstellen.
In S807 erfasst der Initialerfassungsverarbeitungsabschnitt 405 Gesichtsinformationen bezüglich des Gesichts des Fahrers X basierend auf einem Ergebnis des Abgleichens in S806. Wie vorstehend beschrieben sind die Gesichtsinformationen Daten, die Augeninformationen (Öffnungs- oder Schließzustand von Augenlidern oder einer Richtung einer Sichtlinie) bezüglich der Augen des Fahrers X, Mundinformationen (Konversationszustand) bezüglich dem Mund des Fahrers X und Ausdrucksinformationen bezüglich eines Ausdrucks des Fahrers X umfassen.
In S808 bestimmt der Initialerfassungsverarbeitungsabschnitt 405, ob die Gesichtsinformationen normal erfasst wurden oder nicht. Zum Beispiel berechnet der Initialerfassungsverarbeitungsabschnitt 405 einen Wert (Bewertung), der eine Zuverlässigkeit von jedem der Prozesse in S805 bis S807 als eine Reihe von Prozessen, die kürzlich ausgeführt wurden, um die Gesichtsinformationen zu erfassen, angibt, und führt die Bestimmung S808 basierend auf dieser Bewertung aus.
In einem Fall, in dem in S808 bestimmt ist, dass die Gesichtsinformationen normal erfasst wurden, geht der Prozess über zu S809. In S809 aktualisiert der Initialerfassungsverarbeitungsabschnitt 405 den Insassenparameter, um das Ergebnis des Abgleichens in S806 widerzuspiegeln.
In S810 stellt der Initialerfassungsverarbeitungsabschnitt 405 die nächste Steuerungsbetriebsart der Verarbeitungseinheit 404 auf die Verfolgungsbetriebsart ein. Der Prozess wird beendet.
Andererseits, in einem Fall, in dem in S808 bestimmt wird, dass die Gesichtsinformationen nicht normal erfasst wurden, geht der Prozess über zu S811. In S811 hält der Initialerfassungsverarbeitungsabschnitt 405 die Insassenparameter ohne die Insassenparameter zu aktualisieren.
In S812 stellt der Initialerfassungsverarbeitungsabschnitt 405 die nächste Steuerungsbetriebsart der Verarbeitungseinheit 404 auf die Initialerfassungsbetriebsart ein. Der Prozess wird beendet.
In einem Fall, in dem in S804 bestimmt ist, dass das aufgenommene Bild nicht einem Erfassungsermöglichungsbild entspricht, geht der Prozess über zu S813. In S813 bestimmt der Initialerfassungsverarbeitungsabschnitt 405, ob das aufgenommene Bild einem Verdeckungsbild, wie etwa dem Bild 500, das in 5 dargestellt ist, entspricht, basierend auf dem Bestimmungsergebnis in S803.
In einem Fall, in dem in S813 bestimmt ist, dass das aufgenommene Bild einem Verdeckungsbild entspricht, wird eine Erfassung von Gesichtsinformationen und eine Aktualisierung der Insassenparameter nicht ausgeführt. Deshalb geht in diesem Fall der Prozess über zu S811. Die Prozesse in S811 und die nachfolgende Schritte wurden bereits beschrieben und somit wird eine Beschreibung von diesen hier weggelassen.
Andererseits, in einem Fall, in dem in S813 bestimmt ist, dass das aufgenommene Bild nicht dem Verdeckungsbild entspricht, geht der Prozess über zu S814. In S814 bestimmt der Initialerfassungsverarbeitungsabschnitt 405, ob das aufgenommene Bild einem Abwesenheitsbild entspricht, wie etwa dem Bild 600, das in 6 dargestellt ist, basierend auf dem Bestimmungsergebnis in S803.
In einem Fall, in dem in S814 bestimmt ist, dass das aufgenommene Bild einem Abwesenheitsbild entspricht, wird der Insassenparameter ohne eine Erfassung von Gesichtsinformationen zurückgesetzt. Deshalb geht in diesem Fall der Prozess über zu S815 und in S815 setzt der Initialerfassungsverarbeitungsabschnitt 405 den Insassenparameter auf einen initialen Wert zurück.
In einem Fall, in dem der Prozess in S815 beendet ist, geht der Prozess über zu S812, und, in einem Fall, in dem in S814 bestimmt ist, dass das aufgenommene Bild nicht einem Abwesenheitsbild entspricht, geht der Prozess ebenso über zu S812, aber die Prozesse in S812 und die nachfolgenden Schritte wurden bereits beschrieben, und somit wird eine Beschreibung hier weggelassen.
Als nächstes wird der Verfolgungsprozess detailliert beschrieben.
10 ist ein beispielhaftes und schematisches Ablaufdiagramm, das einen Verfolgungsprozess darstellt, der durch die Insassenüberwachungseinrichtung 310 gemäß dem Ausführungsbeispiel aufgeführt wird. Der Verfolgungsprozess wird zum Beispiel in einem Fall aufgeführt, in dem eine Steuerungsbetriebsart der Verarbeitungseinheit 404 auf die Verfolgungsbetriebsart eingestellt ist und ein aufgenommenes Bild durch die Beschaffungseinheit 401 beschafft wird.
Wie in 10 dargestellt ist, führt in dem Verfolgungsprozess der Verfolgungsverarbeitungsabschnitt 406 in S1001 zuerst eine Verfolgung einer Position eines Gesichts in dem aufgenommenen Bild aus. Die Verfolgung kann verwendet werden, um einen Abrufbereich zu beschränken, um eine Vorlage zum Abgleichen zu verwenden, oder um einen geänderten Abschnitt basierend auf einer Differenz zwischen aufeinanderfolgenden Rahmen zu spezifizieren, unter Verwendung der verschiedenen Erfassungsergebnisse in dem Initialerfassungsprozess. Deshalb weist die Verfolgung allgemein eine höhere Verarbeitungsgeschwindigkeit auf als verschiedene Erfassungen in dem Initialerfassungsprozess.
In S1002 führt der Verfolgungsverarbeitungsabschnitt 406 eine Verfolgung einer Richtung des Gesichts in dem aufgenommenen Bild aus.
In S1003 führt der Verfolgungsverarbeitungsabschnitt 406 ein Abgleichen zwischen dem aufgenommenen Bild und einem dreidimensionalen Modell aus, während die momentan gehaltenen Insassenparameter angepasst werden. Das Abgleichen in dem Verfolgungsprozess wird zum Beispiel basierend auf dem aktuellsten dreidimensionalen Modell ausgeführt, nachdem dieses in dem vorhergehenden Initialerfassungsprozess oder Verfolgungsprozess angepasst wurde.
In S1004 führt der Verfolgungsverarbeitungsabschnitt 406 ein Verfolgen von Gesichtsinformationen aus, die in dem Initialerfassungsprozess erfasst werden, basierend auf einem Ergebnis des Abgleichens in S1003.
In S1005 bestimmt der Verfolgungsverarbeitungsabschnitt 406, ob die Verfolgung der Gesichtsinformationen normal ausgeführt wurde oder nicht. Zum Beispiel berechnet der Verfolgungsverarbeitungsabschnitt 406 einen Wert (eine Bewertung), der eine Zuverlässigkeit von jedem der Prozesse, die kürzlich durchgeführt wurden, um die Gesichtsinformationen zu verfolgen, angibt, und führt die Bestimmung in S1005 basierend auf der Bewertung aus.
In einem Fall, in dem in S1005 bestimmt ist, dass die Verfolgung der Gesichtsinformationen normal ausgeführt wurde, geht der Prozess über zu S1006. In S1006 aktualisiert der Verfolgungsverarbeitungsabschnitt 406 die Insassenparameter, um das Ergebnis des Abgleichens in S1003 widerzuspiegeln.
In S1007 stellt der Verfolgungsverarbeitungsabschnitt 406 die nächste Steuerungsbetriebsart der Verarbeitungseinheit 404 auf die Verfolgungsbetriebsart ein. Der Prozess wird beendet.
Andererseits, in einem Fall, in dem S1005 bestimmt ist, dass die Verfolgung der Gesichtsinformationen nicht normal ausgeführt wurde, geht der Prozess über zu S1008. In S1008 hält der Verfolgungsverarbeitungsabschnitt 406 die Insassenparameter ohne die Insassenparameter zu aktualisieren.
In S1009 stellt der Verfolgungsverarbeitungsabschnitt 406 die nächste Steuerungsbetriebsart der Verarbeitungseinheit 404 auf die Initialerfassungsbetriebsart ein. Der Prozess wird beendet.
Wie vorstehend beschrieben umfasst die Insassenüberwachungseinrichtung 310 gemäß dem Ausführungsbeispiel die Beschaffungseinheit 401, die Bestimmungseinheit 402 und die Verarbeitungseinheit 404. Die Beschaffungseinheit 404 beschafft ein aufgenommenes Bild, das durch Abbilden eines Bereichs erhalten wird, in dem es eine Wahrscheinlichkeit gibt, dass das Gesicht des Fahrers X als ein Insasse in dem Fahrzeug 1 vorhanden sein könnte. Die Bestimmungseinheit 402 bestimmt, ob das aufgenommene Bild, das durch die Beschaffungseinheit 401 beschafft wurde, zumindest einem eines Verdeckungsbildes, wie etwa dem Bild 500, das in 5 dargestellt ist, das heißt, das erste Bild, das einen Merkmalsabschnitt des Gesichts des Fahrers X nicht umfasst, aber zumindest einen Teil des Körpers des Fahrers X umfasst, und eines Abwesenheitsbilds, wie etwa dem Bild 600, das in 6 dargestellt ist, das heißt, dem zweiten Bild, das den Körper des Fahrers X nicht umfasst, entspricht. Die Verarbeitungseinheit 404 überwacht eine Zustandsänderung eines Gesichts eines Insassen basierend auf einem aufgenommenen Bild und schaltet um, ob ein Insassenparameter, der zum Überwachen einer Zustandsänderung des Gesichts des Fahrers X eingestellt ist, zurückzusetzen ist oder nicht, gemäß einem Bestimmungsergebnis in der Bestimmungseinheit 402.
Die Insassenüberwachungseinrichtung 310 gemäß dem Ausführungsbeispiel kann ein Umschalten, ob der Insassenparameter zurückzusetzen ist oder nicht, gemäß damit, ob ein aufgenommenes Bild einem Verdeckungsbild oder einem Abwesenheitsbild entspricht, das heißt, ob eine Wahrscheinlichkeit, dass ein Austausch des Fahrers X auftritt, hoch ist oder nicht, angemessen ausführen.
In der Insassenüberwachungseinrichtung 310 gemäß dem Ausführungsbeispiel bestimmt die Bestimmungseinheit 402, ob ein aufgenommenes Bild irgendeinem eines Verdeckungsbildes, eines Abwesenheitsbildes und eines Erfassungsermöglichungsbildes, wie etwa dem Bild 700, das in 7 dargestellt ist, das heißt, dem dritten Bild, das ein Gesicht des Insassen umfasst, entspricht. In einem Fall, in dem die Bestimmungseinheit 402 bestimmt, dass das aufgenommene Bild einem Verdeckungsbild entspricht, hält die Verarbeitungseinheit 404 den Insassenparameter ohne Gesichtsinformationen bezüglich des Gesichts des Fahrers X basierend auf dem aufgenommenen Bild zu erfassen. In einem Fall, in dem die Bestimmungseinheit 402 bestimmt, dass das aufgenommene Bild einem Abwesenheitsbild entspricht, setzt die Verarbeitungseinheit 404 den Insassenparameter ohne ein Erfassen von Gesichtsinformationen basierend auf dem aufgenommenen Bild zurück. In einem Fall, in dem die Bestimmungseinheit 402 bestimmt, dass das aufgenommene Bild einem Erfassungsermöglichungsbild entspricht, erfasst die Verarbeitungseinheit 404 Gesichtsinformationen basierend auf dem aufgenommenen Bild und aktualisiert die Insassenparameter. Gemäß dieser Konfiguration ist es möglich, umzuschalten, ob Gesichtsinformationen zu erfassen sind oder nicht, gemäß damit, ob ein aufgenommenes Bild einem Verdeckungsbild, einem Abwesenheitsbild oder einem Erfassungsermöglichungsbild entspricht, und umzuschalten, ob ein Insassenparameter zu halten, zurückzusetzten oder zu aktualisieren ist.
In der Insassenüberwachungseinrichtung 310 gemäß dem Ausführungsbeispiel beschafft die Beschaffungseinheit 401 sukzessive aufgenommene Bilder mehrere Male. In einem Fall, in dem die Bestimmungseinheit 402 bestimmt, das ein aufgenommenes Bild einem Erfassungsermöglichungsbild entspricht, erfasst die Verarbeitungseinheit 404 Gesichtsinformationen, aktualisiert die Insassenparameter und führt dann eine Verfolgung der Gesichtsinformationen basierend auf dem aufgenommenen Bild, das als nächstes durch die Beschaffungseinheit 401 beschafft wird, aus. In einem Fall, in dem die Bestimmungseinheit 402 bestimmt, dass das aufgenommene Bild einem Verdeckungsbild oder einem Abwesenheitsbild entspricht, hält die Verarbeitungseinheit 404 die Insassenparameter ohne eine Erfassung von Gesichtsinformationen oder setzt die Insassenparameter zurück, und schaltet dann um, ob Gesichtsinformationen zu erfassen sind oder nicht, und ob die Insassenparameter zurückzusetzen oder zu aktualisieren sind, gemäß einem Bestimmungsergebnis in der Bestimmungseinheit 402 mit Bezug auf ein aufgenommenes Bild, das als nächstes durch die Beschaffungseinheit 401 beschafft wird, ohne eine Verfolgung der Gesichtsinformationen auszuführen. Gemäß dieser Konfiguration ist es möglich, angemessen umzuschalten, ob eine Verfolgung von Gesichtsinformationen auszuführen ist oder nicht, gemäß damit, ob ein aufgenommenes Bild einem Erfassungsermöglichungsbild entspricht, mit dem eine Verfolgung von Gesichtsinformationen ausführbar ist.
In der Insassenüberwachungseinrichtung 310 gemäß dem Ausführungsbeispiel, in einem Fall, in dem die Bestimmungseinheit 402 bestimmt, dass ein aufgenommenes Bild einem Abwesenheitsbild entspricht, und dann die Bestimmungseinheit 402 zum ersten Mal bestimmt, dass das aufgenommene Bild einem Erfassungsermöglichungsbild entspricht, identifiziert die Verarbeitungseinheit 404 den Fahrer X basierend auf dem aufgenommenen Bild und führt einen Dienst, der im Voraus für jeden Fahrer X eingestellt ist, basierend auf einem Identifikationsergebnis aus. Gemäß dieser Konfiguration, in einem Fall, in dem es eine hohe Wahrscheinlichkeit gibt, dass ein Austausch des Fahrers X auftreten kann, wird der Fahrer X nach einem Austausch identifiziert, und somit ist es möglich, einen angemessenen Dienst für jeden Fahrer X auszuführen.
In der Insassenüberwachungseinrichtung 310 gemäß dem Ausführungsbeispiel umfasst der Insassenparameter eine Position des Zentrums des Augapfels des Fahrers X in einem dreidimensionalen Modell, das eine Struktur inklusive einer dreidimensionalen Form des Gesichts des Fahrers X darstellt. Gemäß dieser Konfiguration ist es möglich, angemessen umzuschalten, ob die Position des Zentrums des Augapfels des Fahrers X in dem dreidimensionalen Modell als der Insassenparameter zurückzusetzen ist oder nicht.
In der Insassenüberwachungseinrichtung 310 gemäß dem Ausführungsbeispiel bestimmt die Bestimmungseinheit 402, ob ein aufgenommenes Bild, das durch die Beschaffungseinheit 401 beschafft wird, einem ersten Bild oder einem zweiten Bild entspricht, basierend auf dem gelernten Modell 403, das durch Lernen eines Lernbildes erzeugt wird, das Informationen umfasst, die ähnlich zu dem aufgenommenen Bild sind, und ob das Lernbild dem ersten Bild oder dem zweiten Bild entspricht, durch Maschinenlernen. Gemäß dieser Konfiguration ist es möglich, ein aufgenommenes Bild basierend auf dem gelernten Modell 403 einfach zu bestimmen.
In dem Ausführungsbeispiel ist der Insassenparameter nicht auf einen Parameter zum Spezifizieren einer Struktur inklusive einer Form eines Gesichts eines Insassen beschränkt, wie etwa eine Position des Zentrums des Augapfels des Fahrers X in einem dreidimensionalen Modell. Mit anderen Worten können die Insassenparameter einen Parameter umfassen, der keine direkte Beziehung zu einem Gesicht eines Insassen aufweist, wie etwa ein Geschlecht oder ein Alter, solange der Insassenparameter ein Parameter ist, der zum Überwachen einer Zustandsänderung des Gesichts des Insassen eingestellt ist.
Ein Insassenüberwachungsprogramm, das in der Insassenüberwachungseinrichtung 310 gemäß dem Ausführungsbeispiel ausgeführt wird, kann über ein Netzwerk, wie etwa das Internet, bereitgestellt oder verteilt werden. Mit anderen Worten könnte das Insassenüberwachungsprogramm, das in der Insassenüberwachungseinrichtung 310 gemäß dem Ausführungsbeispiel ausgeführt wird, in einer Form bereitgestellt werden, sodass dieses über ein Netzwerk heruntergeladen wird, in einem Zustand, in dem dies auf einem Computer, der mit dem Netzwerk, wie etwa dem Internet verbunden ist, gespeichert werden kann.
Wie vorstehend erwähnt wurde das Ausführungsbeispiel dieser Offenbarung beschrieben, aber das Ausführungsbeispiel ist nur ein Beispiel und ist nicht dazu gedacht, den Umfang dieser Offenbarung zu beschränken. Das neue Ausführungsbeispiel kann in verschiedenen Formen implementiert werden, und verschiedene Weglassungen, Ersetzungen, und Änderungen können innerhalb des Umfangs vorgenommen werden, ohne sich von dem Konzept dieser Offenbarung zu entfernen. Das Ausführungsbeispiel und Modifikationen von diesem liegen innerhalb des Umfangs oder des Konzepts dieser Offenbarung und liegen ebenso innerhalb der Erfindung, die in den Ansprüchen offenbart ist, und innerhalb deren Äquivalenten.
Die Prinzipien, das bevorzugte Ausführungsbeispiel und eine Betriebsart der vorliegenden Erfindung wurden in der vorstehenden Spezifikation beschrieben. Jedoch ist die Erfindung, die geschützt werden soll, nicht dahingehend auszulegen, dass sie auf bestimmte Ausführungsbeispiele, die offenbart sind, beschränkt ist. Weiterhin sind die hierin beschriebenen Ausführungsbeispiele als darstellend und nicht als beschränkend zu verstehen. Variationen und Änderungen können durch andere vorgenommen werden und Äquivalente können eingesetzt werden, ohne sich von dem Geist der Erfindung zu entfernen. Dementsprechend ist es ausdrücklich gedacht, das alle solche Variationen, Änderungen und Äquivalente, die innerhalb des Geistes und Umfangs der vorliegenden Erfindung liegen, der durch die Ansprüche definiert ist, hierin mit eingeschlossen sind.
Eine Insassenüberwachungseinrichtung (310) umfasst: eine Beschaffungseinheit (401), die ein aufgenommenes Bild beschafft, das durch Abbilden eines Bereichs erhalten wird, in dem es eine Wahrscheinlichkeit gibt, das ein Gesicht eines Insassen (X) in einem Fahrzeug (1) vorhanden ist; eine Bestimmungseinheit (402), die bestimmt, ob das aufgenommene Bild, das durch die Beschaffungseinheit beschafft wird, zumindest einem ersten Bild, das ein Merkmalsabschnitt des Gesichts des Insassen nicht umfasst aber zumindest einen Teil eines Körpers des Insassen umfasst, oder einem zweiten Bild, das den Körper des Insassen nicht umfasst, entspricht; und eine Verarbeitungseinheit (404), die eine Zustandsänderung des Gesichts des Insassen basierend auf dem aufgenommenen Bild überwacht, und umschaltet, ob ein Insassenparameter, der zum Überwachen der Zustandsänderung des Gesichts des Insassen eingestellt ist, zurückzusetzten ist oder nicht, gemäß einem Bestimmungsergebnis in der Bestimmungseinheit.

Claims

Insassenüberwachungseinrichtung (310), mit: einer Beschaffungseinheit (401), die ein aufgenommenes Bild beschafft, das durch Abbilden eines Bereichs erhalten wird, in dem es eine Wahrscheinlichkeit gibt, dass ein Gesicht eines Insassen (X) in einem Fahrzeug (1) vorhanden ist; einer Bestimmungseinheit (402), die bestimmt, ob das aufgenommene Bild, das durch die Beschaffungseinheit beschafft wird, zumindest einem ersten Bild, das einen Merkmalsabschnitt des Gesichts des Insassen nicht umfasst, aber zumindest einen Teil eines Körpers des Insassen umfasst, oder einem zweiten Bild, das den Körper des Insassen nicht umfasst, entspricht; einer Verarbeitungseinheit (404), die eine Zustandsänderung des Gesichts des Insassen basierend auf dem aufgenommenen Bild überwacht, und umschaltet, ob ein Insassenparameter, der zum Überwachen der Zustandsänderung des Gesichts des Insassen eingestellt ist, zurückzusetzen ist oder nicht, gemäß einem Bestimmungsergebnis in der Bestimmungseinheit.
Insassenüberwachungseinrichtung gemäß Anspruch 1, wobei die Bestimmungseinheit bestimmt, ob das aufgenommene Bild dem ersten Bild, dem zweiten Bild oder einem dritten Bild, das das Gesicht des Insassen umfasst, entspricht, in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das aufgenommene Bild dem ersten Bild entspricht, die Verarbeitungseinheit den Insassenparameter ohne ein Erfassen von Gesichtsinformationen bezüglich des Gesichts des Insassen basierend auf dem aufgenommenen Bild hält, in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das aufgenommene Bild dem zweiten Bild entspricht, die Verarbeitungseinheit den Insassenparameter ohne ein Erfassen von Gesichtsinformationen basierend auf dem aufgenommenen Bild zurücksetzt, und in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das aufgenommene Bild dem dritten Bild entspricht, die Verarbeitungseinheit die Gesichtsinformationen basierend auf dem aufgenommenen Bild erfasst und den Insassenparameter aktualisiert.
Insassenüberwachungseinrichtung gemäß Anspruch 2, wobei die Beschaffungseinheit das aufgenommene Bild mehrere Male sukzessive beschafft, in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das aufgenommene Bild dem dritten Bild entspricht, die Verarbeitungseinheit die Gesichtsinformationen erfasst, den Insassenparameter aktualisiert, und dann ein Verfolgen der Gesichtsinformationen basierend auf dem aufgenommenen Bild, das als nächstes durch die Beschaffungseinheit beschafft wird, ausführt, und in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das aufgenommene Bild dem ersten Bild oder dem zweiten Bild entspricht, die Verarbeitungseinheit den Insassenparameter hält oder zurücksetzt, ohne ein Erfassen der Gesichtsinformationen, und dann umschaltet, ob die Gesichtsinformationen zu erfassen sind oder nicht, und ob der Insassenparameter zurückzusetzen, zu halten oder zu aktualisieren ist, gemäß einem Bestimmungsergebnis in der Bestimmungseinheit mit Bezug auf das aufgenommene Bild, das als nächstes durch die Beschaffungseinheit beschafft wird, ohne eine Ausführung einer Verfolgung der Gesichtsinformationen.
Insassenüberwachungseinrichtung gemäß Anspruch 2 oder 3, wobei die Beschaffungseinheit das aufgenommene Bild mehrere Male sukzessive beschafft, und in einem Fall, in dem die Bestimmungseinheit bestimmt, dass das aufgenommene Bild dem zweiten Bild entspricht, und dann die Bestimmungseinheit das erste Mal bestimmt, dass das aufgenommene Bild dem dritten Bild entspricht, die Verarbeitungseinheit den Insassen basierend auf dem aufgenommenen Bild identifiziert und einen Dienst, der im Voraus für jeden Insassen eingestellt ist, basierend auf einem Identifikationsergebnis ausführt.
Insassenüberwachungseinrichtung gemäß einem der Ansprüche 1 bis 4, wobei der Insassenparameter eine Position des Zentrums eines Augapfels des Insassen in einem dreidimensionalen Modell, das eine Struktur inklusive einer dreidimensionalen Form des Gesichts des Insassen darstellt, umfasst.
Insassenüberwachungseinrichtung gemäß einem der Ansprüche 1 bis 5, wobei die Bestimmungseinheit bestimmt, ob das aufgenommene Bild, das durch die Beschaffungseinheit beschafft wird, zumindest dem ersten Bild oder dem zweiten Bild entspricht, basierend auf einem gelernten Modell (403), das durch Lernen eines Lernbildes inklusive Informationen ähnlich zu dem aufgenommenen Bild erzeugt wird, und ob das Lernbild zumindest dem ersten Bild oder dem zweiten Bild entspricht, durch Maschinenlernen.
Insassenüberwachungsverfahren, mit: einem Beschaffungsschritt des Beschaffens eines aufgenommenen Bildes, das durch Abbilden eines Bereichs erhalten wird, in dem es eine Wahrscheinlichkeit gibt, dass ein Gesicht eines Insassen in einem Fahrzeug vorhanden ist; einem Bestimmungsschritt des Bestimmens, ob das aufgenommene Bild, das in dem Beschaffungsschritt beschafft wird, zumindest einem ersten Bild, das einen Merkmalsabschnitt des Gesichts des Insassen nicht umfasst aber zumindest einen Teil eines Körpers des Insassen umfasst, oder einem zweiten Bild, das den Körper des Insassen nicht umfasst, entspricht; und einem Verarbeitungsschritt des Überwachens einer Zustandsänderung des Gesichts des Insassen basierend auf dem aufgenommenen Bild und des Umschaltens, ob ein Insassenparameter, der zur Überwachung der Zustandsänderung des Gesichts des Insassen eingestellt ist, zurückzusetzen ist oder nicht, gemäß einem Bestimmungsergebnis in dem Bestimmungsschritt.
Insassenüberwachungsprogramm, das einen Computer veranlasst, um auszuführen: Einen Beschaffungsschritt des Beschaffens eines aufgenommenen Bildes, das durch Abbilden eines Bereichs erhalten wird, in dem es eine Wahrscheinlichkeit gibt, dass ein Gesicht eines Insassen in einem Fahrzeug vorhanden ist; einem Bestimmungsschritt des Bestimmens, ob das aufgenommene Bild, das in dem Beschaffungsschritt geschafft wird, zumindest einem ersten Bild, das einen Merkmalsabschnitt des Gesichts des Insassen nicht umfasst aber zumindest einen Teil eines Körpers des Insassen umfasst oder einem zweiten Bild, das den Körper des Insassen nicht umfasst, entspricht; einem Verarbeitungsschritt des Überwachens einer Zustandsänderung des Gesichts des Insassen basierend auf dem aufgenommenen Bild und des Umschaltens, ob ein Insassenparameter, der zum Einstellen der Zustandsänderung des Gesichts des Insassen eingestellt ist, zurückzusetzen ist oder nicht, gemäß einem Bestimmungsergebnis in dem Bestimmungsschritt.