DE112020007404T5

DE112020007404T5 - Insassenzustandserkennungsvorrichtung und insassenzustandserkennungsverfahren

Info

Publication number: DE112020007404T5
Application number: DE112020007404.8T
Authority: DE
Inventors: Hirotaka Sakamoto; Toshiyuki Hatta; Shintaro Watanabe
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-07-09
Filing date: 2020-07-09
Publication date: 2023-05-17
Also published as: JP7286022B2; JPWO2022009401A1; US20230211791A1; WO2022009401A1

Abstract

Umfasst sind: eine Aufnahmebilderfassungseinheit (11), zum Erfassen eines aufgenommenen Bildes, das durch Abbilden eines Insassen erhalten wird; eine Temperaturbilderfassungseinheit (12), zum Erfassen eines Temperaturbildes, das eine berührungslos gemessene Temperatur einer Oberfläche eines Körpers des Insassen anzeigt; eine Bewegungserkennungseinheit (14), zum Erkennen einer Bewegung des Insassen auf Grundlage des aufgenommenen Bildes eine Temperaturerkennungseinheit (15, 15a), zum Erkennen einer Temperatur einer Hand des Insassen auf der Grundlage des Temperaturbildes; und eine Wachheitsgradschätzeinheit (16, 16b), zum Schätzen eines Wachheitsgrades des Insassen auf der Grundlage der von der Bewegungserkennungseinheit (14) erkannten Bewegung des Insassen und der von der Temperaturerkennungseinheit (15) erkannten Temperatur der Hand des Insassen.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft eine Insassenzustandserkennungsvorrichtung und ein Insassenzustandserkennungsverfahren.
STAND DER TECHNIK
Bevor eine Person einschläft, erhöht sich im Allgemeinen die Blutflussrate in den peripheren Bereichen des Körpers, um die Kerntemperatur des Körpers zu senken. Dann wird die Wärme von den peripheren Teilen des menschlichen Körpers an die Außenseite des menschlichen Körpers abgeleitet. Infolgedessen steigt die Temperatur in den peripheren Bereichen des menschlichen Körpers vorübergehend an.
So ist konventionell eine Technik zur Schätzung des Wachheitsgrades einer Person auf Grundlage der Temperatur der Hand, die dem peripheren Teil des menschlichen Körpers entspricht, bekannt.
Die Patentliteratur 1 offenbart beispielsweise eine Fahrerwachheitsgradüberprüfungsvorrichtung zur Überprüfung des Wachheitsgrades eines Fahrers, die den Wachheitsgrad eines Fahrers eines Fahrzeugs oder dergleichen auf Grundlage einer Gesichtshauttemperatur, einer Fingerhauttemperatur und einer Pulsrate bestimmt. Die Fahrerwachheitsgradüberprüfungsvorrichtung erfasst eine Fingerhauttemperatur des Fahrers von einem Fingertemperatursensor, der an einer Position an einem peripheren Randabschnitt des Lenkrads angeordnet ist, mit dem die Finger des Fahrers in Kontakt kommen, während der Fahrer das Lenkrad hält.
ZITATLISTE
PATENTLITERATUR
Patentliteratur 1: JP 2011-123653 A
ZUSAMMENFASSUNG DER ERFINDUNG
TECHNISCHES PROBLEM
Im Falle der Erfassung der Temperatur der Hand einer Person durch das in der Patentliteratur 1 offenbarte Verfahren besteht das Problem, dass die Temperatur der Hand nicht erfasst werden kann, wenn die Position, in der die Person den Griff greift, verschoben wird.
Die vorliegende Offenbarung wurde gemacht, um die oben genannten Probleme zu lösen, und Gegenstand der vorliegenden Offenbarung ist es, eine Insassenzustandserkennungsvorrichtung bereitzustellen, die in der Lage ist, einen Wachheitsgrad einer Person auf der Grundlage einer Temperatur einer Hand der Person zu erkennen, unabhängig von einer Position, in der die Person ein Lenkrad hält.
LÖSUNG DES PROBLEMS
Eine Insassenzustandserkennungsvorrichtung gemäß der vorliegenden Offenbarung umfasst: eine Aufnahmebilderfassungseinheit zum Erfassen eines aufgenommenen Bildes, das durch Abbilden eines Insassen erhalten wird; eine Temperaturbilderfassungseinheit zum Erfassen eines Temperaturbildes, das eine berührungslos gemessene Temperatur einer Oberfläche eines Körpers des Insassen anzeigt; eine Bewegungserkennungseinheit zum Erkennen einer Bewegung des Insassen auf Grundlage des durch die Aufnahmebilderfassungseinheit erfassten Bildes; eine Temperaturerkennungseinheit zum Erkennen einer Temperatur einer Hand des Insassen auf Grundlage des von der Temperaturbilderfassungseinheit erfassten Temperaturbildes; und eine Wachheitsgradschätzeinheit zum Schätzen eines Wachheitsgrades des Insassen auf Grundlage der von der Bewegungserkennungseinheit erfassten Bewegung des Insassen und der von der Temperaturerkennungseinheit erfassten Temperatur der Hand des Insassen.
VORTEILHAFTE WIRKUNGEN DER ERFINDUNG
Gemäß der vorliegenden Offenbarung ist es möglich, den Wachheitsgrad einer Person auf Grundlage der Temperatur der Hand der Person zu schätzen, unabhängig davon, in welcher Position die Person das Lenkrad hält.
Figurenliste

1 ist ein Diagramm, das ein Konfigurationsbeispiel einer Insassenzustandserkennungsvorrichtung gemäß einer ersten Ausführungsform darstellt.
2 ist ein Diagramm zur Beschreibung eines Konzepts, das ein Beispiel für Positionen der Augen eines Insassen, eine Position des Mundes des Insassen, eine Position des Körpers des Insassen, Positionen der Hände des Insassen oder eine Position des Gesichts des Insassen darstellt, die von einer Insassenerfassungseinheit auf einem erfassten Bild in der ersten Ausführungsform erkannt werden.
3 ist ein Diagramm, das ein Beispiel für ein Konzept eines Temperaturbildes darstellt, nachdem eine Temperaturerkennungseinheit einen Abgleich mit einem erfassten Bild nach der Positionszuweisung in der ersten Ausführungsform durchgeführt hat.
4 ist ein Flussdiagramm zur Erklärung des Betriebs der Insassenzustandserkennungsvorrichtung gemäß der ersten Ausführungsform.
5 ist ein Diagramm, das ein Konfigurationsbeispiel der Insassenzustandserkennungsvorrichtung in einem Fall darstellt, in dem die Insassenzustandserkennungsvorrichtung einen Wachheitsgrad eines Insassen auf Grundlage eines Maschinenlernmodells in der ersten Ausführungsform schätzt.
6 ist ein Diagramm, das ein Konfigurationsbeispiel der Insassenzustandserkennungsvorrichtung in einem Fall darstellt, in dem ein Wachheitsgrad eines Insassen unter Berücksichtigung eines Attributs des Insassen in der ersten Ausführungsform geschätzt wird.
7 ist ein Diagramm, das ein Konfigurationsbeispiel der Insassenzustandserkennungsvorrichtung in einem Fall darstellt, in dem eine Temperaturerkennungseinheit eine Temperatur eines Insassen erkennt, ohne ein aufgenommenes Bild nach der Positionszuweisung in der ersten Ausführungsform zu verwenden.
8A und 8B sind Diagramme, die ein Beispiel für eine Hardwarekonfiguration der Insassenzustandserkennungsvorrichtung gemäß der ersten Ausführungsform darstellen.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Nachfolgend wird eine Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen im Detail beschrieben.
Erste Ausführungsform.
1 ist ein Diagramm, das ein Konfigurationsbeispiel einer Insassenzustandserkennungsvorrichtung 1 gemäß einer ersten Ausführungsform darstellt.
Die Insassenzustandserkennungsvorrichtung 1 gemäß der ersten Ausführungsform ist an einem Fahrzeug angeordnet und erkennt einen Wachheitsgrad eines Insassen. In der ersten Ausführungsform wird davon ausgegangen, dass es sich bei dem Insassen um einen Fahrer des Fahrzeugs handelt. Die Insassenzustandserkennungsvorrichtung 1 ist mit einer Bildgebungsvorrichtung 2 und einer Temperaturerfassungsvorrichtung 3 verbunden.
Bei der Bildgebungsvorrichtung 2 handelt es sich um eine Kamera oder dergleichen, die zur Überwachung des Fahrzeuginnenraums installiert ist. Die Bildgebungsvorrichtung 2 ist zumindest an einer Stelle installiert, die den Oberkörper des Insassen abbilden kann. Die Bildgebungsvorrichtung 2 kann z.B. mit einem sogenannten „Driver Monitoring System; DMS“ gemeinsam genutzt werden. Die Bildgebungsvorrichtung 2 gibt ein aufgenommenes Bild (im Folgenden als „Aufnahmebild“ bezeichnet) an die Insassenzustandserkennungsvorrichtung 1 aus.
Die Temperaturerfassungsvorrichtung 3 ist eine Infrarotkamera mit Temperaturmessfunktion, ein Infrarot-Array-Sensor oder dergleichen. Die Temperaturerfassungsvorrichtung 3 wird an einer Stelle installiert, die in der Lage ist, die Temperatur des Oberkörpers des Insassen, einschließlich mindestens der Hand des Insassen, berührungslos zu messen.
Die Temperaturerfassungsvorrichtung 3 gibt an die Insassenzustandserkennungsvorrichtung 1 ein Bild (im Folgenden als „Temperaturbild“ bezeichnet) aus, das die gemessene Temperatur anzeigt. Das Temperaturbild umfasst Temperaturinformationen für jedes Pixel. Es ist zu beachten, dass ein größerer Pixelwert eine höhere Temperatur anzeigt. Typischerweise hat das Temperaturbild, das von der Temperaturerfassungsvorrichtung 3 ausgegeben wird, eine niedrige Bildrate.
Die Insassenzustandserkennungsvorrichtung 1 erkennt die Bewegung des Insassen auf Grundlage des von der Bildgebungsvorrichtung 2 erfassten Aufnahmebildes. Zusätzlich erkennt die Insassenzustandserkennungsvorrichtung 1 die Temperatur des Insassen auf Grundlage des Temperaturbildes, das von der Temperaturerfassungsvorrichtung 3 erfasst wurde. Die Insassenzustandserkennungsvorrichtung 1 schätzt den Wachheitsgrad des Insassen auf Grundlage der erkannten Bewegung des Insassen und der erkannten Temperatur des Insassen. Die von der Insassenzustandserkennungsvorrichtung 1 erkannte Bewegung des Insassen und die Temperatur des Insassen werden später im Detail beschrieben. Details zu einem Verfahren zur Schätzung des Wachheitsgrades des Insassen durch die Insassenzustandserkennungsvorrichtung 1 werden später beschrieben.
Die Insassenzustandserkennungsvorrichtung 1 umfasst eine Aufnahmebilderfassungseinheit 11, eine Bewegungserkennungseinheit 12, eine Insassenerkennungseinheit 13, eine Bewegungserkennungseinheit 14, eine Temperaturerkennungseinheit 15, eine Wachheitsgradschätzeinheit 16 und eine Ausgabeeinheit 17.
Die Aufnahmebilderfassungseinheit 11 erfasst eine Ausgabe des aufgenommenen Bildes von der Bildgebungsvorrichtung 2.
Die Aufnahmebilderfassungseinheit 11 gibt das erfasste Aufnahmebild an die Insassenerfassungseinheit 13 aus.
Die Temperaturbilderfassungseinheit 12 erfasst das Temperaturbild, das von der Temperaturerfassungsvorrichtung 3 ausgegeben wird.
Die Temperaturbilderfassungseinheit 12 gibt das erfasste Temperaturbild an die Temperaturerkennungseinheit 15 aus.
Die Insassenerkennungseinheit 13 erkennt auf Grundlage des von der Aufnahmebilderfassungseinheit 11 erfassten Aufnahmebildes Informationen über einen Insassen (im Folgenden als „Insasseninformationen“ bezeichnet). Insbesondere erkennt die Insassenerkennungseinheit 13 die Positionen der Augen des Insassen, die Position des Mundes des Insassen, die Position des Körpers des Insassen, die Position der Hand des Insassen oder die Position des Gesichts des Insassen. Die Insassenerkennungseinheit 13 braucht nur die Positionen der Augen des Insassen, die Position des Mundes des Insassen, die Position des Körpers des Insassen, die Position der Hand des Insassen oder die Position des Gesichts des Insassen unter Verwendung einer bekannten Bilderkennungstechnologie zu erkennen.
In der ersten Ausführungsform sind die Positionen der Augen des Insassen, die Position des Mundes des Insassen, die Position des Körpers des Insassen, die Position der Hand des Insassen oder die Position des Gesichts des Insassen, die von der Insassenerkennungseinheit 13 erkannt werden, ein oder mehrere Punkte in einem Bereich, der die Augen des Insassen, den Mund des Insassen, den Körper des Insassen, die Hand des Insassen oder das Gesicht des Insassen in dem Aufnahmebild anzeigt. Die Position des Auges des Insassen, die Position des Mundes des Insassen, die Position des Körpers des Insassen, die Position der Hand des Insassen oder die Position des Gesichts des Insassen wird durch Koordinaten auf dem Aufnahmebild repräsentiert.
Beispielsweise erkennt die Insassenerkennungseinheit 13 als Positionen der Augen des Insassen die Positionen des rechten und linken Endes des rechten und linken Auges des Insassen, einen Punkt auf dem oberen Augenlid und einen Punkt auf dem unteren Augenlid.
Weiterhin erkennt die Insassenerkennungseinheit 13 beispielsweise als Position des Mundes des Insassen die Positionen des linken und rechten Mundwinkels des Insassen, einen Punkt auf der Oberlippe und einen Punkt auf der Unterlippe.
Darüber hinaus erkennt die Insassenerkennungseinheit 13 beispielsweise als Position des Körpers des Insassen die Positionen der Spitzen der rechten und linken Schulter des Insassen.
Zusätzlich erkennt die Insassenerkennungseinheit 13 zum Beispiel als Position der Hand des Insassen die Positionen eines Punktes an der Basis des Daumens und eines Punktes an der Basis des kleinen Fingers.
Ferner erkennt die Insassenerkennungseinheit 13 zum Beispiel als Position des Gesichts des Insassen die Position der Kieferspitze des Insassen.
Hier ist 2 ein Diagramm zur Beschreibung eines Konzepts, das ein Beispiel für die Positionen der Augen des Insassen, die Position des Mundes des Insassen, die Position des Körpers des Insassen, die Positionen der Hände des Insassen oder die Position des Gesichts des Insassen darstellt, die von der Insassenerkennungseinheit 13 auf dem Aufnahmebild in der ersten Ausführungsform erkannt werden.
In 2 zeigen acht mit 201 gekennzeichnete Punkte die Positionen der Augen des Insassen an, die von der Insassenerkennungseinheit 13 erkannt wurden, hier sowohl das rechte als auch das linke Ende der Augen, ein Punkt auf dem oberen Augenlid oder ein Punkt auf dem unteren Augenlid. Außerdem zeigen in 2 vier mit 202 bezeichnete Punkte die Positionen des Mundes des Insassen an, die von der Insassenerkennungseinheit 13 erkannt werden, hier die Positionen der beiden Enden der Mundwinkel, ein Punkt an der Oberlippe oder ein Punkt an der Unterlippe. Zusätzlich zeigt in 2 ein mit 203 bezeichneter Punkt das Gesicht des Insassen an, das von der Insassenerkennungseinheit 13 erkannt wird, hier die Position der Kieferspitze. Außerdem zeigen in 2 zwei mit 204 bezeichnete Punkte die von der Insassenerkennungseinheit 13 erkannten Positionen des Körpers an, hier die Positionen der beiden Schulterenden. Außerdem zeigen in 2 vier mit 205 bezeichnete Punkte die Positionen der Hände an, die von der Insassenerkennungseinheit 13 erkannt werden, hier ein Punkt an der Basis des Daumens oder ein Punkt an der Basis des kleinen Fingers.
Es ist zu beachten, dass das oben beschriebene Beispiel nur ein Beispiel ist, und es ist möglich, entsprechend einzustellen, welcher Punkt in dem Bereich, der das Auge des Insassen, den Mund des Insassen, den Körper des Insassen, die Hand des Insassen oder das Gesicht des Insassen im Aufnahmebild anzeigt, als die Position des Auges des Insassen, die Position des Mundes des Insassen, die Position des Körpers des Insassen, die Position der Hand des Insassen oder die Position des Gesichts des Insassen eingestellt wird.
Die Insassenerkennungseinheit 13 gibt Informationen über die Position des Auges des Insassen, die Position des Mundes des Insassen, die Position des Körpers des Insassen, die Position der Hand des Insassen oder die Position des Gesichts des Insassen an die Bewegungserkennungseinheit 14 und die Temperaturerkennungseinheit 15 aus. Insbesondere gibt die Bewegungserkennungseinheit 13 an die Bewegungserkennungseinheit 14 und die Temperaturerkennungseinheit 15 Aufnahmebilder (im Folgenden als „Aufnahmebild nach Positionszuweisung“ bezeichnet) aus, zu denen Informationen gehören, die als die Position des Auges des Insassen, die Position des Mundes des Insassen, die Position des Körpers des Insassen erkannt werden können, Position des Auges des Insassen, die Position des Mundes des Insassen, die Position des Körpers des Insassen, die Position der Hand des Insassen oder die Position des Gesichts des Insassen identifiziert werden können, in Bezug auf Koordinaten, die die Position des Auges des Insassen, die Position des Mundes des Insassen, die Position des Körpers des Insassen, die Position der Hand des Insassen bzw. die Position des Gesichts des Insassen angeben, hinzugefügt werden.
Die Bewegungserkennungseinheit 14 erkennt die Bewegung des Insassen auf Grundlage des von der Aufnahmebilderfassungseinheit 11 erfassten Aufnahmebildes. Insbesondere erkennt die Bewegungserkennungseinheit 14 die Bewegung des Insassen auf Grundlage des Aufnahmebildes nach der Ausgabe der Positionszuweisung durch die Insassenerkennungseinheit 13. In der ersten Ausführungsform erkennt die Bewegungserkennungseinheit 14 als Bewegung des Insassen die Bewegung des Auges des Insassen, die Bewegung des Mundes des Insassen, die Bewegung des Körpers des Insassen, die Bewegung der Hand des Insassen oder die Bewegung des Gesichts des Insassen.
Es wird davon ausgegangen, dass die Bewegungserkennungseinheit 14 beim Erfassen des Aufnahmebildes nach der Positionszuweisung das erfasste Aufnahmebild nach der Positionszuweisung in einer Speichereinheit (nicht dargestellt) in Verbindung mit Informationen bezüglich des Erfassungsdatums und der Uhrzeit des Aufnahmebildes nach der Positionszuweisung akkumuliert. Es ist zu beachten, dass die Speichereinheit in der Insassenzustandserkennungsvorrichtung 1 bereitgestellt sein kann oder außerhalb der Insassenzustandserkennungsvorrichtung 1 an einem Ort, auf den die Insassenzustandserkennungsvorrichtung 1 zugreifen kann. Die Bewegungserkennungseinheit 14 erkennt die Bewegung des Auges des Insassen, die Bewegung des Mundes des Insassen, die Bewegung des Körpers des Insassen, die Bewegung der Hand des Insassen oder die Bewegung des Gesichts des Insassen auf Grundlage des von der Insassenerkennungseinheit 13 ausgegebenen Aufnahmebildes nach Positionszuweisung und des in der Speichereinheit akkumulierten vergangenen Aufnahmebildes nach Positionszuweisung.
Es ist zu beachten, dass hier, wie oben beschrieben, die Bewegungserkennungseinheit 14 das Aufnahmebild nach der Positionszuweisung in der Speichereinheit speichert, aber dies ist lediglich ein Beispiel. Zum Beispiel kann die Bewegungserkennungseinheit 13 das Aufnahmebild nach der Positionszuweisung an die Bewegungserkennungseinheit 14 ausgeben und das Aufnahmebild nach der Positionszuweisung in der Speichereinheit akkumulieren, und die Bewegungserkennungseinheit 14 kann sich auf die Speichereinheit beziehen und das von der Bewegungserkennungseinheit 13 akkumulierte Aufnahmebild nach der Positionszuweisung erfassen.
Zum Beispiel erkennt die Bewegungserkennungseinheit 14, dass die Augen des Insassen geschlossen sind, als die Bewegung der Augen des Insassen auf Grundlage der Position des Auges des Insassen in dem Aufnahmebild nach der Positionszuweisung. Konkret erkennt die Bewegungserkennungseinheit 14 beispielsweise in einem Fall, in dem der Abstand zwischen einem Punkt auf dem oberen Augenlid und einem Punkt auf dem unteren Augenlid innerhalb eines vorgegebenen Schwellenwertes liegt, dass der Insasse die Augen schließt.
Darüber hinaus erkennt die Bewegungserkennungseinheit 14 beispielsweise das Blinzeln des Insassen als Bewegung des Auges des Insassen. Konkret erkennt die Bewegungserkennungseinheit 14 beispielsweise das Blinzeln des Insassen auf Grundlage einer Änderung des Abstands zwischen einem Punkt auf dem oberen Augenlid und einem Punkt auf dem unteren Augenlid.
Es ist zu beachten, dass das oben beschriebene Beispiel lediglich ein Beispiel ist und die Bewegungserkennungseinheit 14 nur dazu erforderlich ist, zu erkennen, dass der Insasse das Auge schließt oder dass der Insasse geblinzelt hat, indem sie eine bekannte Technik zum Erkennen des Öffnens und Schließens oder Blinzelns des Auges einer Person auf Grundlage eines Bildes verwendet.
Darüber hinaus erkennt die Bewegungserkennungseinheit 14 beispielsweise das Gähnen des Insassen als Bewegung des Mundes des Insassen auf Grundlage der Position des Mundes des Insassen in dem Aufnahmebild nach der Positionszuweisung. Insbesondere erkennt die Bewegungserkennungseinheit 14 beispielsweise in einem Fall, in dem ein Abstand zwischen einem Punkt auf der Oberlippe des Insassen und einem Punkt auf der Unterlippe des Insassen um einen voreingestellten Schwellenwert (im Folgenden als „ Öffnungsbestimmungsschwellenwert" bezeichnet) oder mehr getrennt ist, dass der Insasse gähnt. Beispielsweise kann die Bewegungserkennungseinheit 14 erkennen, dass der Insasse gegähnt hat, wenn ein Zustand, in dem der Abstand zwischen einem Punkt auf der Oberlippe des Insassen und einem Punkt auf der Unterlippe des Insassen gleich oder größer als der Schwellenwert für die Öffnungsbestimmung ist, eine vorgegebene Zeit lang angedauert hat (im Folgenden als „Öffnungsbestimmungszeit“ bezeichnet).
Es ist zu beachten, dass das oben beschriebene Beispiel lediglich ein Beispiel ist, und die Bewegungserkennungseinheit 14 nur erforderlich ist, um zu erkennen, dass der Insasse gegähnt hat, indem sie eine bekannte Technik zur Erkennung des Gähnens einer Person auf Grundlage eines Bildes verwendet.
Darüber hinaus erkennt die Bewegungserkennungseinheit 14 beispielsweise, dass der Körper des Insassen gewackelt hat, und zwar als Bewegung des Körpers des Insassen auf Grundlage der Position des Körpers des Insassen in dem Aufnahmebild nach der Positionszuweisung. Konkret erkennt die Bewegungserkennungseinheit 14 beispielsweise in einem Fall, in dem sich die Position des Körpers des Insassen in dem Aufnahmebild nach der Positionszuweisung zu einer Position geändert hat, die durch einen voreingestellten Schwellenwert (im Folgenden als „Schwellenwert zur Körperbewegungsbestimmung“ bezeichnet) oder mehr getrennt ist, dass der Körper des Insassen gewackelt hat. Beispielsweise kann die Bewegungserkennungseinheit 14 erkennen, dass der Körper des Insassen gewackelt hat, wenn sich die Position des Körpers des Insassen im Aufnahmebild nach der Positionszuweisung um einen voreingestellten Schwellenwert (im Folgenden als „Delta-Schwellenwert für die Körperbewegungsbestimmung“ bezeichnet) oder mehr pro Zeiteinheit verändert hat.
Zu diesem Zeitpunkt erkennt die Bewegungserkennungseinheit 14 auch den Grad des Wackelns des Körpers des Insassen. Der Grad des Wackelns des Körpers des Insassen wird beispielsweise durch einen Winkel repräsentiert (im Folgenden als „Körperwackelwinkel“ bezeichnet), bei dem sich eine Verbindungslinie zwischen dem Ursprung auf dem Aufnahmebild nach der Positionszuweisung oder einem vorgegebenen Referenzpunkt auf dem Aufnahmebild nach der Positionszuweisung und der Position des Körpers des Insassen verändert hat.
Es ist zu beachten, dass die Bewegungserkennungseinheit 14 beispielsweise unter der Annahme, dass ein Punkt der beiden Enden der Schulter des Insassen eine erste Schulterposition und der andere Punkt eine zweite Schulterposition ist, erkennen kann, dass der Körper des Insassen gewackelt hat, wenn entweder die erste Schulterposition oder die zweite Schulterposition sich in eine Position geändert hat, die durch den Schwellenwert für die Körperbewegungsbestimmung oder mehr getrennt ist, oder erkennen kann, dass der Insasse gewackelt hat, wenn sowohl die erste Schulterposition als auch die zweite Schulterposition sich in eine Position geändert haben, die durch den Schwellenwert für die Körperbewegungsbestimmung oder mehr getrennt ist.
Darüber hinaus kann die Bewegungserkennungseinheit 14 beispielsweise erkennen, dass der Körper des Insassen gewackelt hat, wenn sich entweder die erste Schulterposition oder die zweite Schulterposition um den Delta-Schwellenwert für die Körperbewegungsbestimmung oder mehr pro Zeiteinheit geändert hat, oder kann erkennen, dass der Körper des Insassen gewackelt hat, wenn sich sowohl die erste Schulterposition als auch die zweite Schulterposition um den Delta-Schwellenwert für die Körperbewegungsbestimmung oder mehr pro Zeiteinheit geändert hat.
Darüber hinaus ist das oben beschriebene Beispiel nur ein Beispiel, und die Bewegungserkennungseinheit 14 muss nur erkennen, dass der Körper des Insassen gewackelt hat, und den Körperwackelwinkel unter Verwendung einer bekannten Technik zur Erkennung des Körperwackelns der Person auf der Grundlage des Bildes.
Ferner erkennt die Bewegungserkennungseinheit 14 beispielsweise die Bewegung der Hand des Insassen auf Grundlage der Position der Hand des Insassen im Aufnahmebild nach der Positionszuweisung. Konkret bestimmt die Bewegungserkennungseinheit 14 beispielsweise in einem Fall, in dem sich die Position eines Punktes auf der Basis des Daumens der Insassin oder die Position eines Punktes auf der Basis des kleinen Fingers der Insassin in eine Position geändert hat, die durch einen voreingestellten Schwellenwert (im Folgenden als „Handbewegungsbestimmungsschwellenwert“ bezeichnet) oder mehr getrennt ist, dass sich die Hand der Insassin bewegt hat. Beispielsweise kann die Bewegungserkennungseinheit 14 erkennen, dass sich die Hand des Insassen bewegt hat, wenn ein Änderungsbetrag pro Zeiteinheit der Position eines Punktes an der Basis des Daumens des Insassen oder der Position eines Punktes an der Basis des kleinen Fingers des Insassen einen voreingestellten Schwellenwert (im Folgenden als „Delta-Schwellenwert für die Handbewegungsbestimmung“ bezeichnet) überschritten hat.
Es ist zu beachten, dass die Bewegungserkennungseinheit 14 erkennen kann, dass sich die Hand des Insassen bewegt hat, wenn entweder die Position eines Punktes (im Folgenden als „Daumenpunkt“ bezeichnet) an der Basis des Daumens des Insassen oder die Position eines Punktes (im Folgenden als „Kleinfingerpunkt“ bezeichnet) an der Basis des kleinen Fingers des Insassen sich in eine Position bewegt hat, die durch den Schwellenwert für die Handbewegungsbestimmung oder mehr getrennt ist, oder kann erkennen, dass sich die Hand des Insassen in einem Fall bewegt hat, in dem sich sowohl die Position des Daumenpunkts des Insassen als auch die Position des kleinen Fingerpunkts des Insassen in Positionen bewegt haben, die durch den Schwellenwert für die Handbewegungsbestimmung oder mehr getrennt sind. Die Bewegungserkennungseinheit 14 kann erkennen, dass sich die Hand des Insassen bewegt hat, wenn der Änderungsbetrag pro Zeiteinheit entweder der Position des Daumenpunkts des Insassen oder der Position des kleinen Fingerpunkts des Insassen den Delta-Schwellenwert für die Handbewegungsbestimmung überschritten hat, oder sie kann erkennen, dass sich die Hand des Insassen bewegt hat, wenn die Änderungsbeträge pro Zeiteinheit sowohl der Position des Daumenpunkts des Insassen als auch der Position des kleinen Fingerpunkts des Insassen den Delta-Schwellenwert für die Handbewegungsbestimmung überschritten haben.
Wenn es sich beispielsweise bei der oben beschriebenen Positionsänderung um eine der rechten und der linken Hand handelt, braucht die Bewegungserkennungseinheit 14 nur zu erkennen, dass sich die Hand des Insassen bewegt hat.
Es ist zu beachten, dass das oben beschriebene Beispiel nur ein Beispiel ist, und die Bewegungserkennungseinheit 14 nur erforderlich ist, um die Bewegung der Hand des Insassen unter Verwendung einer bekannten Technik zur Erkennung der Bewegung der Hand der Person auf Grundlage des Bildes zu erkennen.
Darüber hinaus erkennt die Bewegungserkennungseinheit 14 beispielsweise auf Grundlage der Position des Gesichts des Insassen im Aufnahmebild nach der Positionszuweisung, dass der Kopf des Insassen als Bewegung des Gesichts des Insassen gewackelt hat. Konkret erkennt die Bewegungserkennungseinheit 14 beispielsweise in einem Fall, in dem sich die Position des Gesichts des Insassen im Aufnahmebild nach der Positionszuweisung zu einer Position geändert hat, die durch einen voreingestellten Schwellenwert (im Folgenden als „Schwellenwert für Gesichtsbewegungsbestimmung“ bezeichnet) oder mehr getrennt ist, dass der Kopf des Insassen gewackelt hat. Beispielsweise kann die Bewegungserkennungseinheit 14 erkennen, dass das Gesicht des Insassen gewackelt hat, wenn sich die Position des Gesichts des Insassen im Aufnahmebild nach der Positionszuweisung um einen vorgegebenen Schwellenwert (im Folgenden als „Delta-Schwellenwert für die Gesichtsbewegungsbestimmung“ bezeichnet) oder mehr pro Zeiteinheit verändert hat.
Zu diesem Zeitpunkt erkennt die Bewegungserkennungseinheit 14 auch den Grad des Wackelns des Kopfes des Insassen. Der Grad des Wackelns des Kopfes des Insassen wird beispielsweise durch einen Winkel repräsentiert (im Folgenden als „Kopfwackelwinkel“ bezeichnet), bei dem sich eine Verbindungslinie zwischen dem Ursprung des Aufnahmebildes nach der Positionszuweisung oder einem im Voraus auf dem Aufnahmebild nach der Positionszuweisung bestimmten Referenzpunkt und der Position des Gesichts des Insassen verändert hat.
Es ist zu beachten, dass es sich bei dem oben beschriebenen Beispiel lediglich um ein Beispiel handelt und die Bewegungserkennungseinheit 14 lediglich die Aufgabe hat, das Kopfwackeln des Insassen und den Kopfwackelwinkel unter Verwendung einer bekannten Technik zur Erfassung der Bewegung des Gesichts der Person auf Grundlage des Bildes zu erkennen.
Die Bewegungserkennungseinheit 14 gibt an die Wachheitsgradschätzeinheit 16 eine Information aus (im Folgenden als „Bewegungserkennungsbenachrichtigungsinformation“ bezeichnet), die anzeigt, ob die Bewegung des Insassen auf Grundlage des von der Aufnahmebilderfassungseinheit 11 erfassten Bildes erkannt wurde oder nicht. Zu diesem Zeitpunkt gibt die Bewegungserkennungseinheit 14 die Bewegungserkennungsbenachrichtigungsinformation in Verbindung mit den Informationen über das Aufnahmedatum und die Uhrzeit des Aufnahmebildes aus. Es ist zu beachten, dass die Bewegungserkennungseinheit 14 nur das Aufnahmedatum und die Aufnahmezeit des Aufnahmebildes einstellen muss, wie z.B. das Aufnahmedatum und die Aufnahmezeit des Aufnahmebildes, die dem Aufnahmebild zugeordnet sind.
Die Benachrichtigung über die Bewegungserkennung umfasst Informationen darüber, ob die Bewegung des Auges des Insassen erkannt wurde oder nicht, ob die Bewegung des Mundes des Insassen erkannt wurde oder nicht, ob die Bewegung des Körpers des Insassen erkannt wurde oder nicht, ob die Bewegung der Hand des Insassen erkannt wurde oder nicht, und ob die Bewegung des Gesichts des Insassen erkannt wurde oder nicht.
Konkret handelt es sich bei der Information, ob die Augenbewegung des Insassen erkannt wurde oder nicht, beispielsweise um die Information, ob erkannt wurde, dass der Insasse die Augen geschlossen hat oder nicht, und ob erkannt wurde, dass der Insasse geblinzelt hat oder nicht.
Die Information darüber, ob die Bewegung des Mundes des Insassen erkannt wurde oder nicht, ist beispielsweise eine Information darüber, ob erkannt wurde, dass der Insasse gegähnt hat oder nicht.
Die Information darüber, ob die Bewegung des Körpers des Insassen erkannt wurde oder nicht, ist beispielsweise die Information darüber, ob der Körper des Insassen als wackelnd erkannt wurde oder nicht, und die Information über einen Körperwackelwinkel, wenn der Körper des Insassen als wackelnd erkannt wurde.
Die Information, ob die Bewegung der Hand des Insassen erkannt wurde oder nicht, kann beispielsweise zusätzlich zu der Information, ob die Bewegung der Hand des Insassen erkannt wurde oder nicht, eine Information umfassen, mit der erkannt werden kann, ob es sich bei der Bewegung der Hand des Insassen um die rechte oder die linke Hand handelt, wenn die Bewegung der Hand des Insassen erkannt wird.
Die Information darüber, ob die Bewegung des Gesichts des Insassen erkannt wurde oder nicht, ist beispielsweise eine Information darüber, ob der Kopf des Insassen als wackelig erkannt wurde oder nicht, und eine Information über den Kopfwackelwinkel, wenn der Kopf des Insassen als wackelig erkannt wurde.
Die Temperaturerkennungseinheit 15 erkennt die Temperatur des Insassen auf Grundlage des Aufnahmebildes nach der Positionszuweisung, die von der Insassenerkennungseinheit 13 ausgegeben wird, und des Temperaturbildes, das von der Temperaturbilderfassungseinheit 12 erfasst wird. In der ersten Ausführungsform bezieht sich die Temperatur des Insassen auf die Temperatur der Hand und die Temperatur des Gesichts des Insassen. Das heißt, die Temperaturerkennungseinheit 15 erkennt die Temperatur der Hand und die Temperatur des Gesichts des Insassen auf Grundlage des Aufnahmebildes nach der Ausgabe der Positionszuweisung durch die Insassenerkennungseinheit 13 und des Temperaturbildes, das von der Temperaturbilderfassungseinheit 12 erfasst wird.
Konkret gleicht die Temperaturerkennungseinheit 15 zunächst das Aufnahmebild nach der Positionszuweisung und das Temperaturbild ab. In der ersten Ausführungsform bedeutet der von der Temperaturerkennungseinheit 15 durchgeführte Abgleich des Aufnahmebildes nach der Positionszuweisung und des Temperaturbildes, dass für das Aufnahmebild nach der Positionszuweisung und das Temperaturbild Pixel einander zugeordnet werden, die die gleiche räumliche Position anzeigen.
Da die Bildgebungsvorrichtung 2 und die Temperaturerfassungsvorrichtung 3 jeweils fest im Fahrzeug installiert sind, kann die Temperaturerkennungseinheit 15 das Aufnahmebild nach der Positionszuweisung und das Temperaturbild auf Grundlage der vorgegebenen Installationsposition der Bildgebungsvorrichtung 2 und der vorgegebenen Installationsposition der Temperaturerfassungsvorrichtung 3 ausrichten. Beim Ausrichten des Aufnahmebildes nach der Positionszuweisung und des Temperaturbildes kann die Temperaturerkennungseinheit 15 dann angeben, welches Pixel im Temperaturbild die Temperatur der Hand des Insassen oder die Temperatur des Gesichts des Insassen anzeigt.
3 ist ein Diagramm, das ein Beispiel für ein Konzept eines Temperaturbildes darstellt, nachdem die Temperaturerkennungseinheit 15 einen Abgleich mit einem Aufnahmebild nach der Positionszuweisung in der ersten Ausführungsform durchgeführt hat.
Der Einfachheit halber stellt 3 das Temperaturbild dar, indem die Positionen der Augen des Insassen (siehe 201 in 3), die Position des Mundes des Insassen (siehe 202 in 3), die Position des Gesichts des Insassen (siehe 203 in 3), die Position des Körpers des Insassen (siehe 204 in 3) und die Positionen der Hände des Insassen (siehe 205 in 3), die aus dem Aufnahmebild nach der Positionszuweisung auf dem Temperaturbild spezifiziert wurden, wiedergegeben werden. Es ist zu beachten, dass hier angenommen wird, dass das Aufnahmebild nach der Positionszuweisung das Aufnahmebild nach der Positionszuweisung ist, das von der Insassenerkennungseinheit 13 in einem Fall ausgegeben wird, in dem die Insassenerkennungseinheit 13 die Position des Gesichts des Insassen, die Position des Mundes des Insassen, die Positionen der Augen des Insassen, die Positionen der Hände des Insassen und die Position des Körpers des Insassen erkennt, wie in 2 dargestellt.
Zum Beispiel stellt die Temperaturerkennungseinheit 15 einen Satz ein, der durch einen minimalen Kreis angezeigt wird, der durch die Position des Gesichts des Insassen, mit anderen Worten, die Position des Kinns des Insassen, geht und die Positionen der Augen des Insassen und die Position des Mundes des Insassen auf dem Temperaturbild als einen Bereich umfasst (im Folgenden als " Gesichtstemperaturerkennungsbereich" bezeichnet), um die Temperatur des Gesichts des Insassen zu erkennen. Es ist zu beachten, dass in der ersten Ausführungsform „Minimum“ nicht auf ein striktes „Minimum“ beschränkt ist, sondern substantiell minimal sein kann. Zusätzlich ist die Methode zum Einstellen des Gesichtstemperaturerkennungsbereichs lediglich ein Beispiel. Es ist möglich, den Bereich, den die Temperaturerkennungseinheit 15 als Gesichtstemperaturerkennungsbereich einstellt, in geeigneter Weise einzustellen.
Die Temperaturerkennungseinheit 15 erkennt beispielsweise einen Mittelwert von Pixelwerten von Pixeln, von denen zumindest ein Teil in den Gesichtstemperaturerkennungsbereich umfasst ist, als Gesichtstemperatur des Insassen.
Es ist zu beachten, dass das oben beschriebene Verfahren zum Erkennen der Gesichtstemperatur des Insassen nur ein Beispiel ist und die Temperaturerkennungseinheit 15 die Gesichtstemperatur des Insassen auch durch ein anderes Verfahren erkennen kann. Zum Beispiel kann die Temperaturerkennungseinheit 15 aus einer Vielzahl von Pixeln, von denen zumindest ein Teil den Gesichtstemperaturerkennungsbereich umfasst, Pixel auswählen (im Folgenden als „Gesichtsauswahlpixel“ bezeichnet), die den größten Bereich innerhalb des Gesichtstemperaturerkennungsbereichs aufweisen, und den Pixelwert des Gesichtsauswahlpixels als die Temperatur des Gesichts des Insassen erkennen. In einem Fall, in dem es eine Vielzahl von Gesichtsauswahlpixeln gibt, erkennt die Temperaturerkennungseinheit 15 zum Beispiel einen Pixelwert eines beliebigen Gesichtsauswahlpixels aus der Vielzahl von Gesichtsauswahlpixeln als die Temperatur des Gesichts des Insassen.
Darüber hinaus stellt die Temperaturerkennungseinheit 15 beispielsweise einen Bereich, der durch einen Kreis angezeigt wird, der durch die Position der Hand des Insassen geht, mit anderen Worten, einen Punkt auf der Basis des Daumens und einen Punkt der Basis des kleinen Fingers des Insassen auf dem Temperaturbild und mit diesen beiden Punkten als Durchmesser, als einen Bereich (im Folgenden als „Handtemperaturerkennungsbereich“ bezeichnet) zum Erkennen der Temperatur der Hand des Insassen ein. Die Temperaturerkennungseinheit 15 stellt für die rechte und die linke Hand jeweils einen Erkennungsbereich für die Handtemperatur ein. Es ist zu beachten, dass das oben beschriebene Verfahren zum Einstellen des Erkennungsbereichs für die Handtemperatur lediglich ein Beispiel ist. Es ist möglich, den Bereich, den die Temperaturerkennungseinheit 15 als Erkennungsbereich für die Handtemperatur einstellt, in geeigneter Weise einzustellen.
Die Temperaturerkennungseinheit 15 erkennt z.B. einen Mittelwert von Pixelwerten von Pixeln, von denen zumindest ein Teil im Erkennungsbereich der Handtemperatur des Insassen umfasst ist, als Temperatur der Hand des Insassen.
Es ist zu beachten, dass das oben beschriebene Verfahren zum Erkennen der Temperatur der Hand des Insassen nur ein Beispiel ist und die Temperaturerkennungseinheit 15 die Temperatur der Hand des Insassen auch mit einem anderen Verfahren erkennen kann. Zum Beispiel kann die Temperaturerkennungseinheit 15 aus einer Vielzahl von Pixeln, von denen zumindest ein Teil den Erkennungsbereich der Handtemperatur umfasst, Pixel auswählen (im Folgenden als „Handauswahlpixel“ bezeichnet), die den größten Bereich innerhalb des Erkennungsbereichs der Handtemperatur aufweisen, und den Pixelwert des Handauswahlpixels als die Temperatur der Hand des Insassen erkennen. In einem Fall, in dem es eine Vielzahl von Handauswahlpixeln gibt, erkennt die Temperaturerkennungseinheit 15 beispielsweise einen Pixelwert eines beliebigen Handauswahlpixels aus der Vielzahl von Handauswahlpixeln als die Temperatur der Hand des Insassen.
Die Temperaturerkennungseinheit 15 gibt, wenn sie die Temperatur der Hand und die Temperatur des Gesichts des Insassen erkennt, Informationen (im Folgenden als „Temperaturerkennungsinformation“ bezeichnet) bezüglich der erkannten Temperatur der Hand und der Temperatur des Gesichts des Insassen an die Wachheitsgradschätzeinheit 16 in Verbindung mit den Informationen bezüglich des Erfassungsdatums und der Uhrzeit des Temperaturbildes aus. Die Temperaturerkennungseinheit 15 braucht nur das Aufnahmedatum und die Uhrzeit des Temperaturbildes einzustellen, wie z.B. das Erstellungsdatum und die Uhrzeit des Temperaturbildes, die dem Temperaturbild zugeordnet sind.
Die Wachheitsgradschätzeinheit 16 schätzt den Wachheitsgrad des Insassen auf Grundlage der von der Bewegungserkennungseinheit 14 erkannten Bewegung des Insassen und der von der Temperaturerkennungseinheit 15 erkannten Temperatur der Hand und der Temperatur des Gesichts des Insassen. In der ersten Ausführungsform stellt die Wachheitsgradschätzeinheit 16 den Wachheitsgrad beispielsweise auf einen in fünf Ebenen von „Ebene 1“ bis „Ebene 5“ angegebenen Grad ein. Es ist zu beachten, dass der Wachheitsgrad umso höher ist, je größer die Ebene ist, auf der der Insasse geweckt wird. Ein Verfahren, mit dem die Wachheitsgradschätzeinheit 16 den Wachheitsgrad des Insassen schätzt, wird im Folgenden im Detail beschrieben.
Die Wachheitsgradschätzeinheit 16 bestimmt zunächst, ob die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen erkannt hat oder nicht. Insbesondere bestimmt die Wachheitsgradschätzeinheit 16, ob von der Bewegungserkennungseinheit 14 eine Benachrichtigung über die Bewegungserkennung ausgegeben wurde, die Informationen umfasst, die anzeigen, dass eine Bewegung einer Hand erkannt wurde oder nicht.
Wenn die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen erkannt hat, schätzt die Wachheitsgradschätzeinheit 16 den Wachheitsgrad des Insassen auf Grundlage der Bewegung der Hand des Insassen. Insbesondere schätzt die Wachheitsgradschätzeinheit 16, dass sich der Insasse in einem Wachheitszustand befindet, weil sich die Hand des Insassen bewegt hat, und stellt den Wachheitsgrad des Insassen auf „Ebene 5“ ein. Es ist zu beachten, dass das Vorhandensein der Bewegung der Hand des Insassen bedeutet, dass der Insasse mit hoher Wahrscheinlichkeit wach ist.
Andererseits, in einem Fall, in dem die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen nicht erkannt hat, schätzt die Wachheitsgradschätzeinheit 16 den Wachheitsgrad des Insassen auf Grundlage der von der Bewegungserkennungseinheit 14 erkannten Bewegung des Insassen und der von der Temperaturerkennungseinheit 15 erkannten Temperatur der Hand und der Temperatur des Gesichts des Insassen. Insbesondere schätzt die Wachheitsgradschätzeinheit 16 den Wachheitsgrad des Insassen in Übereinstimmung mit einer Regel (im Folgenden als „Wachheitsgradschätzregel“ bezeichnet), die auf Grundlage einer voreingestellten Bedingung (im Folgenden als „Bestimmungsbedingung“ bezeichnet) erstellt wird. Die Regel zur Schätzung des Wachheitsgrades wird im Voraus durch eine Kombination der logischen Summe oder des logischen Produkts der Bestimmungsbedingungen erstellt.
Man kann sagen, dass die Wahrscheinlichkeit hoch ist, dass der Wachheitsgrad des Insassen reduziert wird, wenn die Hand des Insassen nicht bewegt wird.
Die Bestimmungsbedingung und die Regel zur Schätzung des Wachheitsgrades werden anhand konkreter Beispiele beschrieben.
Als Bestimmungsbedingung werden z.B. die folgenden Bedingungen (A) bis (E) festgelegt.

(A) Die Anzahl, wie oft „der Insasse blinzelt“ in den letzten 10 Sekunden, ist gleich oder größer als fünf.
(B) Die Zeit, in der „der Insasse seine Augen schließt“ in den letzten 10 Sekunden ist gleich oder größer als fünf Sekunden.
(C) Die Anzahl der Male, in denen „der Insasse gähnt“ in den letzten fünf Minuten ist eins oder mehr.
(D) Die Anzahl der Male, in denen „der Kopf des Insassen wackelt“, in einem Winkel von 20 Grad oder mehr in den letzten fünf Minuten, ist gleich oder größer als zwei Mal.
(E) Die Temperatur der Hand des Insassen in Bezug auf die Temperatur des Gesichts des Insassen liegt innerhalb von -5°C.

(A) bis (D) sind Bedingungen, um die Bewegung des Insassen zu bestimmen, die auftritt, wenn der Insasse sich schläfrig fühlt. Wenn (A) bis (D) erfüllt sind, kann man sagen, dass sich der Insasse schläfrig fühlt. Es ist zu beachten, dass in einem Fall, in dem (D) den oben beschriebenen Inhalt hat, aus dem Kopfwackelwinkel bestimmt werden kann, dass „der Kopf des Insassen in einem Winkel von 20 Grad oder mehr wackelt“.
(E) ist eine Bedingung, um zu bestimmen, dass ein physiologisches Phänomen, bei dem die Blutflussrate am peripheren Teil, wie z.B. der Fingerspitze, zunimmt und die Temperatur des peripheren Teils ansteigt, um in der Nähe des Gesichts oder der Kerntemperatur zu liegen, auftritt, wenn sich die Person schläfrig fühlt. Wenn (E) erfüllt ist, kann man sagen, dass sich der Insasse schläfrig fühlt.
In einem Fall, in dem die Bestimmungsbedingungen die obigen (A) bis (E) sind, werden zum Beispiel die folgenden Regeln (1) bis (6) als Schätzungsregel für den Wachheitsgrad konstruiert.

(1) Wenn die Bestimmungsbedingung (E) falsch ist, ist der Wachheitsgrad „Ebene 5“.
(2) Wenn die Bestimmungsbedingung (E) wahr ist und die anderen Bestimmungsbedingungen (Bestimmungsbedingungen (A) bis (D)) falsch sind, ist der Wachheitsgrad „Ebene 5“.
(3) Wenn die Bestimmungsbedingung (E) wahr ist und eine der anderen Bestimmungsbedingungen (Bestimmungsbedingungen (A) bis (D)) wahr ist, der Wachheitsgrad „Ebene 4“.
(4) Wenn die Bestimmungsbedingung (E) wahr ist und zwei der anderen Bestimmungsbedingungen (Bestimmungsbedingungen (A) bis (D)) wahr sind, ist der Wachheitsgrad „Ebene 3“.
(5) Wenn die Bestimmungsbedingung (E) wahr ist und drei der anderen Bestimmungsbedingungen (Bestimmungsbedingungen (A) bis (D)) wahr sind, ist der Wachheitsgrad „Ebene 2“.
(6) Wenn die Bestimmungsbedingung (E) wahr ist und alle anderen Bestimmungsbedingungen (Bestimmungsbedingungen (A) bis (D)) wahr sind, ist der Wachheitsgrad „Ebene 1“.

Es wird zum Beispiel angenommen, dass die Wachheitsgradschätzeinheit 16, wenn sie Bewegungserkennungsbenachrichtigungsinformationen von der Bewegungserkennungseinheit 14 erfasst, die Bewegungserkennungsbenachrichtigungsinformationen in der Speichereinheit akkumuliert. Zusätzlich wird angenommen, dass die Wachheitsgradschätzeinheit 16, wenn sie Temperaturerkennungsinformationen von der Temperaturerkennungseinheit 15 erfasst, die Temperaturerkennungsinformationen in der Speichereinheit akkumuliert. Die Wachheitsgradschätzeinheit 16 schätzt den Wachheitsgrad des Insassen in Übereinstimmung mit der Wachheitsgradschätzregel auf Grundlage der Bewegungserkennungsbenachrichtigungsinformationen und der in der Speichereinheit akkumulierten Temperaturerkennungsinformationen.
Es ist zu beachten, dass hier, wie oben beschrieben, die Wachheitsgradschätzeinheit 16 die Bewegungserkennungsbenachrichtigungsinformationen und die Temperaturerkennungsinformationen speichert, aber dies ist nur ein Beispiel. Zum Beispiel kann die Bewegungserkennungseinheit 14 die Bewegungserkennungsbenachrichtigungsinformationen in der Speichereinheit akkumulieren, die Temperaturerkennungseinheit 15 kann die Temperaturerkennungsinformationen in der Speichereinheit akkumulieren, und die Wachheitsgradschätzeinheit 16 kann den Wachheitsgrad des Insassen in Bezug auf die Speichereinheit schätzen.
Die Bestimmungsbedingungen sind lediglich ein Beispiel. Zum Beispiel kann eine Bestimmungsbedingung, die sich auf eine Körperbewegung bezieht, wie z.B. „die Anzahl der Male, die der Körper des Insassen in den letzten fünf Minuten in einem Winkel von 20 Grad oder mehr gewackelt hat, ist gleich oder größer als zwei Mal“ zu den Bestimmungsbedingungen hinzugefügt werden.
Der Inhalt der Bestimmungsbedingung wird im Voraus experimentell bestimmt. Dann wird die Regel zur Schätzung des Wachheitsgrades im Voraus unter Verwendung der im Voraus experimentell bestimmten Bestimmungsbedingung erstellt.
Wie oben beschrieben, bestimmt die Wachheitsgradschätzeinheit 16 zunächst, ob die Bewegung der Hand des Insassen erkannt wurde oder nicht, und schätzt, dass sich der Insasse im Wachheitszustand befindet, mit anderen Worten, dass der Wachheitsgrad des Insassen „Ebene 5“ ist, wenn die Bewegung der Hand des Insassen erkannt wurde. In diesem Fall schätzt die Wachheitsgradschätzeinheit 16 den Wachheitsgrad des Insassen nicht gemäß der Wachheitsgradschätzregel, d.h. sie schätzt den Wachheitsgrad des Insassen nicht unter Verwendung der Temperatur der Hand und der Temperatur des Gesichts. Als ein spezifisches Beispiel, zum Beispiel, in einem Fall, in dem der Insasse die Lenkradbedienung durchführt, da die Bewegung der Hand des Insassen durch die Bewegungserkennungseinheit 14 erkannt wird, schätzt die Wachheitsgradschätzeinheit 16, dass der Insasse in dem Wachenzustand ist, und schätzt den Wachheitsgrad des Insassen nicht unter Verwendung der Temperatur der Hand und der Temperatur des Gesichts des Insassen.
Wenn die Bewegung der Hand des Insassen nicht erkannt wird, schätzt die Wachheitsgradschätzeinheit 16 den Wachheitsgrad des Insassen unter Verwendung der Bewegung des Insassen und der Temperatur der Hand und der Temperatur des Gesichts des Insassen.
Normalerweise hat das Temperaturbild, das von der Temperaturerfassungsvorrichtung 3 ausgegeben wird, eine niedrige Bildrate. Wenn sich die Hand des Insassen bewegt, ist es daher wahrscheinlich, dass das Temperaturbild unscharf wird, und umgekehrt ist es weniger wahrscheinlich, dass das Temperaturbild unscharf wird, wenn sich die Hand des Insassen nicht bewegt. Daher kann die Temperaturerkennungseinheit 15 in einem Fall, in dem es keine Bewegung in der Hand des Insassen gibt, die Temperatur der Hand und die Temperatur des Gesichts des Insassen anhand des Temperaturbildes genau erkennen, verglichen mit einem Fall, in dem es eine Bewegung in der Hand des Insassen gibt.
Die Wachheitsgradschätzeinheit 16 kann den Wachheitsgrad des Insassen unter Verwendung der Temperatur der Hand und der Temperatur des Gesichts des Insassen, die auf der Grundlage des Temperaturbildes erkannt wurden, angemessen schätzen, indem sie den Wachheitsgrad des Insassen in der oben beschriebenen Reihenfolge schätzt.
Die Wachheitsgradschätzeinheit 16 gibt Informationen (im Folgenden als „Wachheitsgradinformation“ bezeichnet) bezüglich des geschätzten Wachheitsgrades des Insassen an die Ausgabeeinheit 17 aus. Die Wachheitsgradinformation umfasst z.B. Informationen über die von der Wachheitsgradschätzeinheit 16 bestimmte Ebene des Wachheitsgrades.
Die Ausgabeeinheit 17 gibt die von der Wachheitsgradschätzeinheit 16 ausgegebene Wachheitsgradinformation aus. Insbesondere gibt die Ausgabeeinheit 17 die Informationen über den Wachheitsgrad beispielsweise an eine Ausgabevorrichtung für den Alarm (nicht dargestellt), an eine Regelvorrichtung für die Klimaanlage (nicht dargestellt) oder an eine Regelvorrichtung für das automatische Fahren (nicht dargestellt) aus. Die Ausgabevorrichtung für den Wecker, die Vorrichtung zur Steuerung der Klimaanlage und die Vorrichtung zur Steuerung des automatischen Fahrens sind an einem Fahrzeug angeordnet.
Wenn beispielsweise die Wachheitsgradinformationen von der Wachheitsgradschätzeinheit 16 ausgegeben werden, gibt die Ausgabevorrichtung für den Alarm einen Alarm aus, um den Insassen des Fahrzeugs auf Müdigkeit aufmerksam zu machen.
Zum Beispiel, wenn die Wachheitsgradinformation von der Wachheitsgradschätzeinheit 16 ausgegeben wird, regelt die Regelungsvorrichtung für die Klimaanlage die Klimaanlage, um Schläfrigkeit zu unterdrücken.
Wenn beispielsweise die Ausgabe der Wachheitsgradinformationen von der Wachheitsgradschätzeinheit 16 erfolgt, schaltet die Vorrichtung zur Regelung des automatischen Fahrens das Regelverfahren des Fahrzeugs vom manuellen Fahren auf das automatische Fahren um. In diesem Fall verfügt das Fahrzeug über eine automatische Fahrfunktion. Auch wenn das Fahrzeug über eine automatische Fahrfunktion verfügt, kann der Fahrer das Fahrzeug selbst manuell fahren.
Es wird eine Funktionsweise der Insassenzustandserkennungsvorrichtung 1 gemäß der ersten Ausführungsform beschrieben.
4 ist ein Flussdiagramm zur Erklärung des Betriebs der Insassenzustandserkennungsvorrichtung 1 gemäß der ersten Ausführungsform.
Die Aufnahmebilderfassungseinheit 11 erfasst die Aufnahmebildausgabe von der Bildgebungsvorrichtung 2 (Schritt ST401) .
Die Aufnahmebilderfassungseinheit 11 gibt das erfasste Aufnahmebild an die Insassenerfassungseinheit 13 aus.
Die Temperaturbilderfassungseinheit 12 erfasst die Temperaturbildausgabe von der Temperaturerfassungsvorrichtung 3 (Schritt ST402).
Die Temperaturbilderfassungseinheit 12 gibt das erfasste Temperaturbild an die Temperaturerkennungseinheit 15 aus.
Die Insassenerkennungseinheit 13 erkennt Insasseninformationen auf Grundlage des von der Aufnahmebilderfassungseinheit 11 in Schritt ST401 erfassten Aufnahmebildes (Schritt ST403). Insbesondere erkennt die Insassenerfassungseinheit 13 die Position des Auges des Insassen, die Position des Mundes des Insassen, die Position des Körpers des Insassen, die Position der Hand des Insassen oder die Position des Gesichts des Insassen.
Die Insassenerkennungseinheit 13 gibt Informationen über die Position des Auges des Insassen, die Position des Mundes des Insassen, die Position des Körpers des Insassen, die Position der Hand des Insassen oder die Position des Gesichts des Insassen an die Bewegungserkennungseinheit 14 und die Temperaturerkennungseinheit 15 aus. Insbesondere gibt die Insassenerkennungseinheit 13 das Aufnahmebild nach der Positionszuweisung an die Bewegungserkennungseinheit 14 und die Temperaturerkennungseinheit 15 aus.
Die Bewegungserkennungseinheit 14 erkennt die Bewegung des Insassen auf Grundlage des von der Aufnahmebilderfassungseinheit 11 in Schritt ST401 (Schritt ST404) erfassten Aufnahmebildes. Insbesondere erkennt die Bewegungserkennungseinheit 14 die Bewegung des Insassen auf Grundlage des Aufnahmebildes nach der Ausgabe der Positionszuweisung durch die Insassenerkennungseinheit 13 in Schritt ST403.
Die Bewegungserkennungseinheit 14 gibt die Bewegungserkennungsbenachrichtigungsinformationen an die Wachheitsgradschätzeinheit 16 in Verbindung mit den Informationen bezüglich des Aufnahmedatums und der Aufnahmezeit des Aufnahmebildes aus.
Die Temperaturerkennungseinheit 15 erkennt die Temperatur des Insassen auf der Grundlage des Aufnahmebildes nach der Ausgabe der Positionszuweisung von der Insassenerkennungseinheit 13 in Schritt ST403 und des Temperaturbildes, das von der Temperaturbilderfassungseinheit 12 in Schritt ST402 (Schritt ST405) erfasst wurde. Insbesondere erkennt die Temperaturerkennungseinheit 15 die Temperatur der Hand und die Temperatur des Gesichts des Insassen auf Grundlage des Aufnahmebildes nach der Ausgabe der Positionszuweisung von der Insassenerkennungseinheit 13 und des Temperaturbildes, das von der Temperaturbilderfassungseinheit 12 erfasst wurde.
Die Temperaturerkennungseinheit 15 gibt, wenn sie die Temperatur der Hand und die Temperatur des Gesichts des Insassen erkennt, die Temperaturerkennungsinformationen an die Wachheitsgradschätzeinheit 16 in Verbindung mit den Informationen bezüglich des Erfassungsdatums und der Uhrzeit des Temperaturbildes aus.
Die Wachheitsgradschätzeinheit 16 bestimmt zunächst, ob die Bewegungserkennungseinheit 14 in Schritt ST404 (Schritt ST406) die Bewegung der Hand des Insassen erkannt hat oder nicht. Insbesondere bestimmt die Wachheitsgradschätzeinheit 16, ob von der Bewegungserkennungseinheit 14 Bewegungserkennungsbenachrichtigungsinformationen ausgegeben wurden, die Informationen umfassen, die anzeigen, dass eine Bewegung einer Hand erkannt wurde oder nicht.
Wenn die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen erkennt („JA“ in Schritt ST406), schätzt die Wachheitsgradschätzeinheit 16 den Wachheitsgrad des Insassen auf Grundlage der Bewegung der Hand des Insassen. Insbesondere schätzt die Wachheitsgradschätzeinheit 16, dass sich der Insasse im Wachheitszustand befindet, weil die Handbewegung des Insassen vorliegt, und stellt den Wachheitsgrad des Insassen auf „Ebene 5“ ein (Schritt ST407). Die Wachheitsgradschätzeinheit 16 gibt die Wachheitsgradinformation an die Ausgabeeinheit 17 aus. Dann geht der Betrieb der Insassenzustandserkennungsvorrichtung 1 zum Schritt ST409 über.
Andererseits, wenn die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen nicht erkannt hat („NO“ in Schritt ST406), schätzt die Wachheitsgradschätzeinheit 16 den Wachheitsgrad des Insassen auf Grundlage der von der Bewegungserkennungseinheit 14 in Schritt ST404 erkannten Bewegung des Insassen und der von der Temperaturerkennungseinheit 15 in Schritt ST405 erkannten Temperatur der Hand und der Temperatur des Gesichts des Insassen (Schritt ST408). Insbesondere schätzt die Wachheitsgradschätzeinheit 16 den Wachheitsgrad des Insassen in Übereinstimmung mit der Wachheitsgradschätzregel, die auf Grundlage der Bestimmungsbedingung erstellt wurde.
Die Wachheitsgradschätzeinheit 16 gibt die Wachheitsgradinformationen an die Ausgabeeinheit 17 aus. Dann fährt der Betrieb der Insassenzustandserkennungsvorrichtung 1 mit dem Schritt ST409 fort.
In Schritt ST409 gibt die Ausgabeeinheit 17 die von der Wachheitsgradschätzeinheit 16 ausgegebene Information über den Wachheitsgrad aus (Schritt ST409).
Es ist zu beachten, dass in dem Flussdiagramm von 4 der Betrieb der Insassenzustandserkennungsvorrichtung 1 in der Reihenfolge von Schritt ST401 und Schritt ST402 durchgeführt wird, aber dies ist nur ein Beispiel. Die Reihenfolge des Vorgangs von Schritt ST401 und des Vorgangs von Schritt ST402 kann umgekehrt sein oder parallel ausgeführt werden. Darüber hinaus reicht es aus, wenn der Schritt ST402 vor dem Schritt ST405 ausgeführt wird.
Zusätzlich wird im Flussdiagramm von 4 die Insassenzustandserkennungsvorrichtung 1 in der Reihenfolge des Schritts ST404 und des Schritts ST405 ausgeführt, aber dies ist nur ein Beispiel. Die Reihenfolge des Vorgangs von Schritt ST404 und des Vorgangs von Schritt ST405 kann umgekehrt werden oder parallel durchgeführt werden.
Im verwandten Stand der Technik, wie oben beschrieben, wird die Temperatur der Hand des Insassen, die zur Schätzung des Wachheitsgrads des Fahrzeuginsassen verwendet wird, von dem Fingertemperatursensor erfasst, der an der Position des Umfangsrands des Lenkrads angeordnet ist, mit dem der Finger des Fahrers in Kontakt kommt, während der Fahrer das Lenkrad hält. Wenn die Temperatur der Hand des Insassen durch das im verwandten Stand der Technik offenbarte Verfahren erfasst wird, kann die Temperatur der Hand nicht erfasst werden, wenn die Position, an der der Insasse das Lenkrad hält, verschoben wird. Da der Insasse zusätzlich eine konstante Haltung einnehmen muss, ist das im verwandten Stand der Technik offenbarte Verfahren zum Erfassen der Temperatur der Hand des Insassen ein Verfahren, das den Insassen belastet.
Andererseits erfasst die Insassenzustandserkennungsvorrichtung 1 das durch Aufnahmebild des Insassen erhaltene Aufnahmebild und das Temperaturbild, das die berührungslos gemessene Temperatur der Körperoberfläche des Insassen anzeigt, und schätzt den Wachheitsgrad des Insassen auf Grundlage der auf der Basis des Aufnahmebildes erkannten Bewegung des Insassen und der auf der Basis des Temperaturbildes erkannten Temperatur der Hand und der Temperatur des Gesichts des Insassen.
Folglich kann die Insassenzustandserkennungsvorrichtung 1 den Wachheitsgrad des Insassen auf Grundlage der Temperatur der Hand und der Gesichtstemperatur des Insassen unabhängig von der Position, in der der Insasse das Lenkrad hält, erkennen.
Ferner bestimmt die Insassenzustandserkennungsvorrichtung 1 bei der Schätzung des Wachheitsgrads des Insassen zunächst, ob die Bewegung der Hand des Insassen erkannt wurde oder nicht, schätzt den Wachheitsgrad des Insassen auf Grundlage der Bewegung der Hand des Insassen, wenn die Bewegung der Hand des Insassen erkannt wurde, und schätzt den Wachheitsgrad des Insassen auf Grundlage der Bewegung des Insassen, der Temperatur der Hand des Insassen und der Temperatur des Gesichts des Insassen, wenn die Bewegung der Hand des Insassen nicht erkannt wurde.
Infolgedessen kann die Insassenzustandserkennungsvorrichtung 1 den Wachheitsgrad des Insassen anhand der Temperatur der Hand und der Temperatur des Gesichts des Insassen, die auf Grundlage des Temperaturbildes erkennbar sind, sinnvoll schätzen.
In der oben beschriebenen ersten Ausführungsform, wenn die Bewegung der Hand nicht erkannt wird, schätzt die Wachheitsgradschätzeinheit 16 den Wachheitsgrad des Insassen auf Grundlage der von der Bewegungserkennungseinheit 14 erkannten Bewegung des Insassen und der von der Temperaturerkennungseinheit 15 erkannten Temperatur der Hand und der Temperatur des Gesichts des Insassen. Konkret bestimmt die Wachheitsgradschätzeinheit 16 beispielsweise, wie in der Bestimmungsbedingung (E) des oben beschriebenen Beispiels, die relative Temperaturänderung der Hand auf Grundlage der Temperatur der Hand und der Temperatur des Gesichts des Insassen und verwendet die relative Temperaturänderung der Hand zur Schätzung des Wachheitsgrades des Insassen. Dies ist jedoch nur ein Beispiel.
Die Wachheitsgradschätzeinheit 16 braucht bei der Schätzung des Wachheitsgrades des Insassen nicht die Temperatur des Gesichts des Insassen zu verwenden. Das heißt, in einem Fall, in dem die Bewegung der Hand nicht erkennbar ist, kann die Wachheitsgradschätzeinheit 16 den Wachheitsgrad des Insassen auf Grundlage der von der Bewegungserkennungseinheit 14 erkannten Bewegung des Insassen und der von der Temperaturerkennungseinheit 15 erkannten Temperatur der Hand des Insassen schätzen. Im obigen Beispiel kann die Bestimmungsbedingung (E) zum Beispiel eine Bedingung für eine Änderung der Temperatur der Hand des Insassen sein.
Die Temperatur des Insassen, die verwendet wird, wenn die Wachheitsgradschätzeinheit 16 den Wachheitsgrad des Insassen schätzt, kann zumindest die Temperatur der Hand des Insassen sein. Es ist zu beachten, dass die Temperaturerkennungseinheit 15 in diesem Fall nur die Temperatur der Hand des Insassen als die Temperatur des Insassen erkennen muss.
Wenn es sich bei der Temperaturerfassungsvorrichtung 3 jedoch um einen berührungslosen Temperatur-Array-Sensor, wie z. B. eine Thermosäule, handelt, weist der Temperatur-Array-Sensor die Eigenschaft auf, dass ein Temperaturerkennungsfehler in Einheiten von Pixeln groß und ein Temperaturerkennungsfehler in einer Differenz zwischen einem bestimmten Pixel und anderen Pixeln klein ist. Daher kann die Temperaturänderung der Hand des Insassen bei der Schätzung des Wachheitsgrades des Insassen genauer erkannt werden, indem die Temperaturänderung der Hand des Insassen anhand der Differenz zwischen der Temperatur der Hand des Insassen und der Temperatur des Gesichts des Insassen unter Verwendung der Temperatur des Gesichts des Insassen erkannt wird, anstatt die Temperaturänderung der Hand des Insassen nur anhand der Temperatur der Hand des Insassen zu erkennen. Infolgedessen kann die Wachheitsgradschätzeinheit 16 den Wachheitsgrad des Insassen genauer einschätzen.
Zusätzlich, in der oben beschriebenen ersten Ausführungsform, wenn die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen nicht erkannt hat, schätzt die Wachheitsgradschätzeinheit 16 den Wachheitsgrad des Insassen in Übereinstimmung mit der Wachheitsgradschätzregel, die auf Grundlage der Bestimmungsbedingung aufgebaut ist. Ohne darauf beschränkt zu sein, kann die Wachheitsgradschätzeinheit 16 in einem Fall, in dem die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen nicht erkannt hat, den Wachheitsgrad des Insassen auch auf Grundlage eines erlernten Modells (im Folgenden als „Maschinenlernmodell“ bezeichnet) beim maschinellen Lernen schätzen, und daher wird dies im Folgenden beschrieben.
5 ist ein Diagramm, das ein Konfigurationsbeispiel einer Insassenzustandserkennungsvorrichtung 1a in einem Fall darstellt, in dem die Insassenzustandserkennungsvorrichtung 1a den Wachheitsgrad des Insassen auf Grundlage eines Maschinenlernmodells 18 in der ersten Ausführungsform erkennt.
In der in 5 dargestellten Insassenzustandserkennungsvorrichtung 1a sind dieselben Komponenten wie in der unter Bezugnahme auf 1 beschriebenen Insassenzustandserkennungsvorrichtung 1 mit denselben Bezugsziffern bezeichnet, und eine redundante Beschreibung wird ausgelassen.
Die Insassenzustandserkennungsvorrichtung 1a unterscheidet sich von der mit Bezug auf 1 beschriebenen Insassenzustandserkennungsvorrichtung 1 dadurch, dass die Insassenzustandserkennungsvorrichtung 1a das Maschinenlernmodell 18 umfasst.
In der Insassenzustandserkennungsvorrichtung 1a unterscheidet sich der spezifische Betrieb einer Wachheitsgradschätzeinheit 16a von dem spezifischen Betrieb der Wachheitsgradschätzeinheit 16 in der Insassenzustandserkennungsvorrichtung 1.
Das Maschinenlernmodell 18 ist ein Maschinenlernmodell, das Informationen bezüglich der Bewegung des Insassen und Informationen bezüglich der Temperatur der Hand und der Temperatur des Gesichts des Insassen als Eingaben verwendet und Informationen ausgibt, die einen Grad des Erwachens des Insassen anzeigen. Die Informationen über die Bewegung des Insassen umfassen Informationen über die Bewegung der Augen des Insassen, die Bewegung des Mundes des Insassen, die Bewegung des Körpers des Insassen, die Bewegung der Hand des Insassen oder die Bewegung des Gesichts des Insassen.
Das Maschinenlernmodell 18 wird im Voraus durch Lernen unter Verwendung von Lehrerdaten und einer richtigen Antwortkennung des Wachheitsgrades erzeugt. Das richtige Antwortetikett des Wachheitsgrades ist beispielsweise eine Ebene, die den Wachheitsgrad angibt. Die richtige Antwortbezeichnung kann zum Beispiel ein Müdigkeitsbewertungsindex sein, der von der New Energy and Industrial Technology Development Organization (NEDO) anhand eines Gesichtsausdrucks ermittelt wird, oder eine Ebene des Schläfrigkeitsgrades, die von der Karolinska Sleepiness Scale (KSS) angezeigt wird. Zusätzlich kann es sich bei der richtigen Antwort beispielsweise um eine Ebene handeln, die den Wachheitsgrad angibt, der von einem Administrator der Insassenzustandserkennungsvorrichtung 1a eindeutig eingestellt wurde.
Es ist zu beachten, dass hier, wie in 5 dargestellt, das Maschinenlernmodell 18 in der Insassenzustandserkennungsvorrichtung 1a bereitgestellt wird, aber dies ist nur ein Beispiel. Das Maschinenlernmodell 18 kann außerhalb der Insassenzustandserkennungsvorrichtung 1a an einer Stelle bereitgestellt werden, auf die die Insassenzustandserkennungsvorrichtung 1a Bezug nehmen kann.
Die Wachheitsgradschätzeinheit 16a schätzt den Wachheitsgrad des Insassen auf Grundlage der von der Bewegungserkennungseinheit 14 erkannten Bewegung des Insassen, der von der Temperaturerkennungseinheit 15 erkannten Temperatur der Hand und der Temperatur des Gesichts des Insassen und des Maschinenlernmodells 18.
Die Wachheitsgradschätzeinheit 16a bestimmt zunächst, ob die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen erkannt hat oder nicht. Insbesondere bestimmt die Wachheitsgradschätzeinheit 16a, ob die Bewegungserkennungsbenachrichtigungsinformation, die die Information umfasst, dass die Bewegung der Hand erkennbar ist, von der Bewegungserkennungseinheit 14 ausgegeben wird oder nicht.
Wenn die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen erkannt hat, schätzt die Wachheitsgradschätzeinheit 16a den Wachheitsgrad des Insassen auf Grundlage der Bewegung der Hand des Insassen. Insbesondere schätzt die Wachheitsgradschätzeinheit 16a, dass der Insasse sich im Wachheitszustand befindet, weil die Bewegung der Hand des Insassen vorhanden ist, und stellt den Wachheitsgrad des Insassen auf „Satz 5“ ein. Es ist zu beachten, dass das Vorhandensein der Handbewegung des Insassen bedeutet, dass der Insasse mit hoher Wahrscheinlichkeit wach ist.
Andererseits, wenn die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen nicht erkannt hat, schätzt die Wachheitsgradschätzeinheit 16a den Wachheitsgrad des Insassen auf Grundlage der Bewegung des Insassen, die von der Bewegungserkennungseinheit 14 erkannt wurde, der Temperatur der Hand und der Temperatur des Gesichts des Insassen, die von der Temperaturerkennungseinheit 15 erkannt wurde, und dem Maschinenlernmodell 18. Insbesondere gibt die Wachheitsgradschätzeinheit 16a die Bewegungserkennungsbenachrichtigungsinformationen, die von der Bewegungserkennungseinheit 14 ausgegeben werden, und die Temperaturerkennungsinformationen, die von der Temperaturerkennungseinheit 15 ausgegeben werden, in das Maschinenlernmodell 18 ein und erfasst Informationen, die den Wachheitsgrad des Insassen anzeigen.
Der Betrieb der Insassenzustandserkennungsvorrichtung 1a, die wie in 5 dargestellt konfiguriert ist, wird beschrieben.
Der Betrieb der Insassenzustandserkennungsvorrichtung 1a, konfiguriert wie in 5 dargestellt, unterscheidet sich von dem Betrieb der Insassenzustandserkennungsvorrichtung 1, der unter Bezugnahme auf das Flussdiagramm von 4 im spezifischen Betrieb in Schritt ST408 beschrieben wird. Andere spezifische Vorgänge (spezifische Vorgänge in den Schritten ST401 bis ST407 und Schritt ST409) wurden bereits beschrieben, so dass eine doppelte Beschreibung ausgelassen wird. Es ist zu beachten, dass in der Insassenzustandserkennungsvorrichtung 1a die spezifische Operation im Schritt ST407 eine Operation ist, bei der die Operation der Wachheitsgradschätzeinheit 16, die bereits beschrieben wurde, durch die Operation der Wachheitsgradschätzeinheit 16a ersetzt wird.
In der Insassenzustandserkennungsvorrichtung 1a schätzt die Wachheitsgradschätzeinheit 16a den Wachheitsgrad des Insassen auf Grundlage der von der Bewegungserkennungseinheit 14 in Schritt ST404 erkannten Bewegung des Insassen, der von der Temperaturerkennungseinheit 15 in Schritt ST405 erkannten Temperatur der Hand und der Temperatur des Gesichts des Insassen und des Maschinenlernmodells 18 (Schritt ST408), wenn die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen nicht erkannt hat („NO“ in Schritt ST406). Insbesondere gibt die Wachheitsgradschätzeinheit 16a die Bewegungserkennungsbenachrichtigungsinformationen, die von der Bewegungserkennungseinheit 14 ausgegeben werden, und die Temperaturerkennungsinformationen, die von der Temperaturerkennungseinheit 15 ausgegeben werden, in das Maschinenlernmodell 18 ein und erfasst Informationen, die den Wachheitsgrad des Insassen anzeigen.
Die Wachheitsgradschätzeinheit 16a gibt die Wachheitsgradinformationen an die Ausgabeeinheit 17 aus. Dann wird der Betrieb der Insassenzustandserkennungsvorrichtung 1 mit Schritt ST409 fortgesetzt.
Wie oben beschrieben, erfasst die Insassenzustandserkennungsvorrichtung 1a das durch Aufnahmebild des Insassen erfasste Bild und das Temperaturbild, das die berührungslos gemessene Temperatur der Körperoberfläche des Insassen anzeigt, und schätzt den Wachheitsgrad des Insassen auf der Grundlage der auf der Grundlage des Aufnahmebildes erkennbaren Bewegung des Insassen, der auf der Grundlage des Temperaturbildes erkannten Temperatur der Hand und der Temperatur des Gesichts des Insassen und des Maschinenlernmodells 18.
Dadurch kann die Insassenzustandserkennungsvorrichtung 1a den Wachheitsgrad des Insassen auf Grundlage der Temperatur der Hand des Insassen unabhängig von der Position, in der der Insasse das Lenkrad hält, erkennen.
Zusätzlich bestimmt die Insassenzustandserkennungsvorrichtung 1a bei der Schätzung des Wachheitsgrads des Insassen zunächst, ob die Bewegung der Hand des Insassen erkannt wurde oder nicht, schätzt den Wachheitsgrad des Insassen auf Grundlage der Bewegung der Hand des Insassen in einem Fall, in dem die Bewegung der Hand des Insassen erkannt wurde, und schätzt den Wachheitsgrad des Insassen auf Grundlage der Bewegung des Insassen, der Temperatur der Hand des Insassen, der Temperatur des Gesichts des Insassen und des Maschinenlernmodells 18 in einem Fall, in dem die Bewegung der Hand des Insassen nicht erkannt wurde.
Infolgedessen kann die Insassenzustandserkennungsvorrichtung 1a den Wachheitsgrad des Insassen anhand der auf Grundlage des Temperaturbildes erkannten Temperaturen der Hand und des Gesichts des Insassen sinnvoll schätzen.
Da die Insassenzustandserkennungsvorrichtung 1a den Wachheitsgrad des Insassen unter Verwendung des Maschinenlernmodells 18 schätzt, kann zusätzlich die Schätzungsgenauigkeit des Wachheitsgrads des Insassen im Vergleich zur Schätzung des Wachheitsgrads des Insassen gemäß der Schätzungsregel für den Wachheitsgrad verbessert werden, wenn eine große Anzahl von Teilen von Lehrerdaten vorbereitet werden kann.
Es ist zu beachten, dass auch in der Insassenzustandserkennungsvorrichtung 1a die Wachheitsgradschätzeinheit 16a bei der Schätzung des Wachheitsgrads des Insassen die Temperatur des Gesichts des Insassen nicht zu verwenden braucht. Das heißt, in einem Fall, in dem die Bewegung der Hand nicht erkannt wird, kann die Wachheitsgradschätzeinheit 16a den Wachheitsgrad des Insassen auf Grundlage der von der Bewegungserkennungseinheit 14 erkannten Bewegung des Insassen, der von der Temperaturerkennungseinheit 15 erkannten Temperatur der Hand des Insassen und des Maschinenlernmodells 18 schätzen. Wie oben beschrieben, muss die Temperatur des Insassen, die verwendet wird, wenn die Wachheitsgradschätzeinheit 16a den Wachheitsgrad des Insassen schätzt, nur mindestens die Temperatur der Hand des Insassen sein. Es ist zu beachten, dass in diesem Fall die Temperaturerkennungseinheit 15 nur die Temperatur der Hand des Insassen als die Temperatur des Insassen erkennen muss.
In diesem Fall ist das Maschinenlernmodell 18 ein Maschinenlernmodell, das Informationen über die Bewegung des Insassen und Informationen über die Temperatur der Hand des Insassen als Eingaben verwendet und Informationen ausgibt, die den Grad des Erwachens des Insassen anzeigen.
Zusätzlich kann in der oben beschriebenen ersten Ausführungsform die Insassenzustandserkennungsvorrichtung 1 auch konfiguriert werden, um den Wachheitsgrad des Insassen unter Berücksichtigung des Attributs des Insassen zu erkennen.
6 ist ein Diagramm, das ein Konfigurationsbeispiel einer Insassenzustandserkennungsvorrichtung 1b in einem Fall darstellt, in dem der Wachheitsgrad des Insassen unter Berücksichtigung des Attributs des Insassen in der ersten Ausführungsform geschätzt wird.
In der in 6 dargestellten Insassenzustandserkennungsvorrichtung 1b sind dieselben Komponenten wie in der mit Bezug auf 1 beschriebenen Insassenzustandserkennungsvorrichtung 1 mit denselben Bezugsziffern bezeichnet, und eine redundante Beschreibung wird ausgelassen.
Die Insassenzustandserkennungsvorrichtung 1b unterscheidet sich von der in 1 beschriebenen Insassenzustandserkennungsvorrichtung 1 dadurch, dass die Insassenzustandserkennungsvorrichtung 1b eine Einheit zur Entnahme von Attributen 19 umfasst.
Zusätzlich unterscheidet sich in der Insassenzustandserkennungsvorrichtung 1b eine spezifische Operation der Wachheitsgradschätzeinheit 16b von einer spezifischen Operation der Wachheitsgradschätzeinheit 16 in der Insassenzustandserkennungsvorrichtung 1.
Die Attribut-Entnahmeeinheit 19 entnimmt das Attribut des Insassen auf Grundlage des Aufnahmebildes, das von der Aufnahmebilderfassungseinheit 11 erfasst wurde. In der ersten Ausführungsform ist das Attribut des Insassen beispielsweise das Alter des Insassen, das Geschlecht des Insassen oder der Körperbau des Insassen. Es ist zu beachten, dass in der Vorrichtung zur Erkennung des Insassenzustands 1b die Aufnahmebilderfassungseinheit 11 das erfasste Aufnahmebild an die Insassenerkennungseinheit 13 und die Attributextraktionseinheit 19 ausgibt.
Die Attributextraktionseinheit 19 ist nur erforderlich, um das Attribut des Insassen aus dem Aufnahmebild zu entnehmen, wobei eine bekannte Technologie zur Verarbeitung der Bilderkennung verwendet wird.
Die Attributextraktionseinheit 19 gibt Informationen (im Folgenden als „Insassenattributinformation“ bezeichnet) bezüglich des entnommenen Attributs des Insassen an die Wachheitsgradschätzeinheit 16b aus.
Die Wachheitsgradschätzeinheit 16b schätzt den Wachheitsgrad des Insassen auf Grundlage der von der Bewegungserkennungseinheit 14 erkannten Bewegung des Insassen, der von der Temperaturerkennungseinheit 15 erkannten Temperatur der Hand und der Temperatur des Gesichts des Insassen und des von der Attributextraktionseinheit 19 entnommenen Attributs des Insassen.
Wenn die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen erkennt, schätzt die Wachheitsgradschätzeinheit 16b den Wachheitsgrad des Insassen auf Grundlage der Bewegung der Hand des Insassen. Insbesondere schätzt die Wachheitsgradschätzeinheit 16b, dass der Insasse sich im Wachheitszustand befindet, weil die Bewegung der Hand des Insassen vorhanden ist, und stellt den Wachheitsgrad des Insassen auf „Satz 5“ ein. Es ist zu beachten, dass das Vorhandensein der Handbewegung des Insassen bedeutet, dass der Insasse mit hoher Wahrscheinlichkeit wach ist.
Andererseits, wenn die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen nicht erkannt hat, schätzt die Wachheitsgradschätzeinheit 16b den Wachheitsgrad des Insassen auf Grundlage der von der Bewegungserkennungseinheit 14 erkannten Bewegung des Insassen und der von der Temperaturerkennungseinheit 15 erkannten Temperatur der Hand und der Temperatur des Gesichts des Insassen. Insbesondere schätzt die Wachheitsgradschätzeinheit 16b den Wachheitsgrad des Insassen in Übereinstimmung mit der auf Grundlage der Bestimmungsbedingung erstellten Wachheitsgradschätzungsregel. Zu diesem Zeitpunkt korrigiert die Wachheitsgradschätzeinheit 16b die Bestimmungsbedingung auf Grundlage des von der Attributentnahmeeinheit 19 entnommenen Attributs des Insassen. Dann wendet die Wachheitsgradschätzeinheit 16b die korrigierte Bestimmungsbedingung auf die Wachheitsgradschätzregel an, um den Wachheitsgrad des Insassen zu bestimmen.
Die Korrektur der Bestimmungsbedingung durch die Wachheitsgradschätzeinheit 16b wird anhand eines konkreten Beispiels beschrieben. In dem folgenden spezifischen Beispiel wird angenommen, dass die Bestimmungsbedingungen (A) bis (E) wie oben beschrieben sind.
Zum Beispiel bestimmt die Wachheitsgradschätzeinheit 16b die Bestimmungsbedingung richtig in Abhängigkeit vom Geschlecht des Insassen. Insbesondere, wenn der Insasse eine Frau ist, korrigiert die Wachheitsgradschätzeinheit 16b die Bestimmungsbedingung (E) auf „die Temperatur der Hand liegt innerhalb von -3°C in Bezug auf die Temperatur des Gesichts“.
Im Allgemeinen wird davon ausgegangen, dass die Körpertemperatur einer Frau höher ist als die eines Mannes. Daher korrigiert die Wachheitsgradschätzeinheit 16b in einem Fall, in dem der Insasse eine Frau ist, die Bestimmungsbedingung (E), um die Breite der Differenz zwischen der Temperatur der Hand und der Temperatur des Gesichts zu verringern, wobei der Grad, der den Wachheitsgrad anzeigt, als hoch bestimmt wird.
Darüber hinaus bestimmt die Wachheitsgradschätzeinheit 16b beispielsweise die Bestimmungsbedingung in Abhängigkeit vom Alter des Insassen richtig. Insbesondere korrigiert die Wachheitsgradschätzeinheit 16b beispielsweise in einem Fall, in dem der Insasse älter ist, die Bestimmungsbedingungen (A) bis (D), so dass die Bedingung, in der der Grad, der den Wachheitsgrad bestimmt, hoch ist, schwerwiegend wird, so dass die Bestimmungsbedingung (A) korrigiert wird auf „die Anzahl der Male, die der Insasse in den letzten 10 Sekunden blinzelt, ist gleich oder mehr als vier“, die Bestimmungsbedingung (B) richtig gemacht wird zu „die Zeit, in der „der Insasse seine Augen schließt“ in den letzten 10 Sekunden gleich oder mehr als vier Sekunden ist", die Bestimmungsbedingung (C) richtig gemacht wird zu „die Anzahl der Male, in denen „der Insasse gähnt“ in den letzten drei Minuten eins oder mehr ist", und die Bestimmungsbedingung (D) richtig gemacht wird zu „die Anzahl der Male, in denen „der Kopf des Insassen wackelt“ in einem Winkel von gleich oder mehr als 20 Grad in den letzten fünf Minuten eins oder mehr ist".
Darüber hinaus korrigiert die Wachheitsgradschätzeinheit 16b die Bestimmungsbedingung in Abhängigkeit von der Statur des Insassen. Insbesondere, zum Beispiel, wenn der Insasse übergewichtig ist, korrigiert die Wachheitsgradschätzeinheit 16b die Bestimmungsbedingung (E) auf „die Temperatur der Hand liegt innerhalb von -3°C in Bezug auf die Temperatur des Gesichts“. Im Allgemeinen wird davon ausgegangen, dass eine übergewichtige Person eine höhere Körpertemperatur hat als eine untergewichtige Person. Daher korrigiert die Wachheitsgradschätzeinheit 16b in einem Fall, in dem der Insasse übergewichtig ist, die Bestimmungsbedingung (E), um die Breite der Differenz zwischen der Temperatur der Hand und der Temperatur des Gesichts zu verringern, wobei der Grad, der den Wachheitsgrad anzeigt, als hoch bestimmt wird.
Wenn die Wachheitsgradschätzeinheit 16b den Wachheitsgrad des Insassen in Übereinstimmung mit der Wachheitsgradschätzregel schätzt, auf die die korrigierte Bestimmungsbedingung angewendet wird, gibt sie die Wachheitsgradinformationen an die Ausgabeeinheit 17 aus.
Der Betrieb der Insassenzustandserkennungsvorrichtung 1b, die wie in 6 dargestellt konfiguriert ist, wird beschrieben.
Der Betrieb der Insassenzustandserkennungsvorrichtung 1b, konfiguriert wie in 6 dargestellt, unterscheidet sich von dem Betrieb der Insassenzustandserkennungsvorrichtung 1, der unter Bezugnahme auf das Flussdiagramm von 4 in dem spezifischen Betrieb in Schritt ST408 beschrieben wird. Andere spezifische Vorgänge (spezifische Vorgänge in den Schritten ST401 bis ST407 und Schritt ST409) wurden bereits beschrieben, so dass eine doppelte Beschreibung ausgelassen wird. Es ist zu beachten, dass in der Insassenzustandserkennungsvorrichtung 1b die spezifische Operation in Schritt ST407 eine Operation ist, bei der die Operation der Wachheitsgradschätzeinheit 16, die bereits beschrieben wurde, durch die Operation der Wachheitsgradschätzeinheit 16b ersetzt wird.
Darüber hinaus extrahiert die Attributextraktionseinheit 19 in der Insassenzustandserkennungsvorrichtung 1b, bevor die Operation in Schritt ST408 durchgeführt wird, das Attribut des Insassen auf Grundlage des Aufnahmebildes, das von der Aufnahmebilderfassungseinheit 11 erfasst wurde, und gibt die Insassenattributinformation an die Wachheitsgradschätzeinheit 16b aus.
In der Insassenzustandserkennungsvorrichtung 1b schätzt die Wachheitsgradschätzeinheit 16b, wenn die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen nicht erkannt hat („NO“ in Schritt ST406), den Wachheitsgrad des Insassen auf der Grundlage der von der Bewegungserkennungseinheit 14 in Schritt ST404 erkannten Bewegung des Insassen, der Temperatur der Hand und der Temperatur des Gesichts des Insassen, die von der Temperaturerkennungseinheit 15 im Schritt ST405 erkannt wurden, und des Attributs des Insassen, das von der Attributextraktionseinheit 19 entnommen wurde (Schritt ST408). Insbesondere schätzt die Wachheitsgradschätzeinheit 16b den Wachheitsgrad des Insassen in Übereinstimmung mit der Wachheitsgradschätzregel, die auf Grundlage der Bestimmungsbedingung konstruiert wurde. Zu diesem Zeitpunkt korrigiert die Wachheitsgradschätzeinheit 16b die Bestimmungsbedingung auf Grundlage des von der Attributextraktionseinheit 19 entnommenen Attributs des Insassen. Dann wendet die Wachheitsgradschätzeinheit 16b die korrigierte Bestimmungsbedingung auf die Wachheitsgradschätzregel an, um den Wachheitsgrad des Insassen zu bestimmen.
Die Wachheitsgradschätzeinheit 16b gibt die Wachheitsgradinformationen an die Ausgabeeinheit 17 aus. Dann geht der Betrieb der Insassenzustandserkennungsvorrichtung 1 zum Schritt ST409 über.
Wie oben beschrieben, erfasst die Insassenzustandserkennungsvorrichtung 1b das durch Aufnahmebild des Insassen erfasste Bild und das Temperaturbild, das die berührungslos gemessene Temperatur der Körperoberfläche des Insassen anzeigt, und schätzt den Wachheitsgrad des Insassen auf Grundlage der auf Grundlage des Aufnahmebildes erkennbaren Bewegung des Insassen, der auf Grundlage des Temperaturbildes entnommenen Temperatur der Hand und der Gesichtstemperatur des Insassen sowie des auf Grundlage des Aufnahmebildes extrahierten Attributs des Insassen.
Folglich kann die Insassenzustandserkennungsvorrichtung 1b den Wachheitsgrad des Insassen auf Grundlage der Temperatur der Hand und der Temperatur des Gesichts des Insassen unabhängig von der Position, in der der Insasse das Lenkrad hält, schätzen und den Wachheitsgrad unter Berücksichtigung des Attributs des Insassen schätzen.
Zusätzlich bestimmt die Insassenzustandserkennungsvorrichtung 1b bei der Schätzung des Wachheitsgrades des Insassen zunächst, ob die Bewegung der Hand des Insassen erkannt wurde oder nicht, schätzt den Wachheitsgrad des Insassen auf Grundlage der Bewegung der Hand des Insassen, wenn die Bewegung der Hand des Insassen erkannt wurde, und eine Schätzung des Wachheitsgrades des Insassen auf Grundlage der Bewegung des Insassen, der Temperatur der Hand des Insassen, der Temperatur des Gesichts des Insassen und des Attributs des Insassen, wenn die Bewegung der Hand des Insassen nicht erkannt wurde.
Folglich kann die Insassenzustandserkennungsvorrichtung 1b den Wachheitsgrad des Insassen unter Verwendung der auf Grundlage des Temperaturbildes erkannten Temperaturen der Hand und des Gesichts des Insassen sinnvoll schätzen.
Es ist zu beachten, dass auch in der Insassenzustandserkennungsvorrichtung 1b die Wachheitsgradschätzeinheit 16b bei der Schätzung des Wachheitsgrads des Insassen die Temperatur des Gesichts des Insassen nicht zu verwenden braucht. Das heißt, in einem Fall, in dem die Bewegung der Hand nicht erkannt wurde, kann die Wachheitsgradschätzeinheit 16b den Wachheitsgrad des Insassen auf Grundlage der von der Bewegungserkennungseinheit 14 erkannten Bewegung des Insassen, der von der Temperaturerkennungseinheit 15 erkannten Temperatur der Hand des Insassen und des von der Attributextraktionseinheit 19 entnommenen Attributs des Insassen schätzen. Wie oben beschrieben, muss die Temperatur des Insassen, die verwendet wird, wenn die Wachheitsgradschätzeinheit 16b den Wachheitsgrad des Insassen schätzt, nur mindestens die Temperatur der Hand des Insassen sein. Es ist zu beachten, dass die Temperaturerkennungseinheit 15 in diesem Fall nur die Temperatur der Hand des Insassen als die Temperatur des Insassen zu erkennen braucht.
Zusätzlich kann die oben beschriebene Konfiguration der Insassenzustandserkennungsvorrichtung 1b auf die in 5 beschriebene Insassenzustandserkennungsvorrichtung 1a angewendet werden. Das heißt, die in 5 dargestellte Insassenzustandserkennungsvorrichtung 1a kann die Attributextraktionseinheit 19 umfassen.
In diesem Fall ist das Maschinenlernmodell 18 ein Maschinenlernmodell, das Informationen bezüglich der Bewegung des Insassen, Informationen bezüglich der Temperatur der Hand und der Temperatur des Gesichts des Insassen und das Attribut des Insassen als Eingaben verwendet und Informationen ausgibt, die den Grad des Erwachens des Insassen anzeigen.
Die Wachheitsgradschätzeinheit 16a schätzt den Wachheitsgrad des Insassen auf Grundlage der von der Bewegungserkennungseinheit 14 erkannten Bewegung des Insassen, der von der Temperaturerkennungseinheit 15 erkannten Temperatur der Hand und der Temperatur des Gesichts des Insassen, des von der Attributextraktionseinheit 19 entnommenen Attributs des Insassen und des Maschinenlernmodells 18.
Wenn die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen erkannt hat, schätzt die Wachheitsgradschätzeinheit 16a den Wachheitsgrad des Insassen auf Grundlage der Bewegung der Hand des Insassen.
Andererseits, wenn die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen nicht erkannt hat, schätzt die Wachheitsgradschätzeinheit 16a den Wachheitsgrad des Insassen auf Grundlage der durch die Bewegungserkennungseinheit 14 erkannten Bewegung des Insassen, der durch die Temperaturerkennungseinheit 15 erkannten Temperatur der Hand und der Temperatur des Gesichts des Insassen, des durch die Attributextraktionseinheit 19 entnommenen Attributs des Insassen und des Maschinenlernmodells 18.
Zusätzlich kann in der oben beschriebenen ersten Ausführungsform die Temperaturerkennungseinheit 15 die Temperatur der Hand und die Temperatur des Gesichts des Insassen aus dem von der Temperaturbilderfassungseinheit 12 erfassten Temperaturbild erkennen, ohne das aufgenommene Bild nach der Ausgabe der Positionszuweisung von der Insassenerkennungseinheit 13 zu verwenden.
7 ist ein Diagramm, das ein Konfigurationsbeispiel einer Insassenzustandserkennungsvorrichtung 1c für den Fall darstellt, dass die Temperaturerkennungseinheit 15 die Temperatur des Insassen erkennt, ohne das Aufnahmebild nach der Positionszuweisung in der ersten Ausführungsform zu verwenden.
Das in 7 dargestellte Konfigurationsbeispiel der Insassenzustandserkennungsvorrichtung 1c unterscheidet sich von dem in 1 dargestellten Konfigurationsbeispiel der Insassenzustandserkennungsvorrichtung 1 dadurch, dass kein Pfeil vorhanden ist, der einen Informationsfluss von der Insassenerkennungseinheit 13 zur Temperaturerkennungseinheit 15 anzeigt.
Darüber hinaus unterscheidet sich in der Insassenzustandserkennungsvorrichtung 1c der spezifische Betrieb einer Temperaturerkennungseinheit 15a von dem spezifischen Betrieb der Temperaturerkennungseinheit in der Insassenzustandserkennungsvorrichtung 1.
Die Temperaturerkennungseinheit 15a erkennt auf Grundlage des von der Temperaturbilderfassungseinheit 12 erfassten Temperaturbildes die Temperatur der Hand und die Temperatur des Gesichts des Insassen anhand der Temperaturverteilung im Temperaturbild.
Wie oben beschrieben, ist es in einem Fall, in dem die Temperaturerkennungseinheit 15a die Temperatur der Hand und die Temperatur des Gesichts des Insassen erkennt, ohne das Aufnahmebild nach der Positionszuweisung zu verwenden, nicht möglich, eine Ausrichtung in Bezug auf die Position der Hand des Insassen und die Position des Gesichts des Insassen durchzuführen, so dass die Temperaturerkennungsgenauigkeit durch die Temperaturerkennungseinheit 15a abnimmt. Die Temperaturerkennungseinheit 15a kann jedoch die Verarbeitung des Abgleichs des Aufnahmebildes nach der Positionszuweisung und des Temperaturbildes auslassen.
Es ist zu beachten, dass in der Insassenzustandserkennungsvorrichtung 1a, die unter Bezugnahme auf 5 beschrieben ist, die Temperaturerkennungseinheit 15 die Temperatur der Hand und die Temperatur des Gesichts des Insassen aus dem Temperaturbild erkennen kann, das von der Temperaturbilderfassungseinheit 12 erfasst wird, ohne das Aufnahmebild nach der Positionszuweisung zu verwenden, das von der Insassenerkennungseinheit 13 ausgegeben wird.
Zusätzlich kann in der oben beschriebenen ersten Ausführungsform in einem Fall, in dem die Temperaturerfassungsvorrichtung 3 ein relativ hochauflösendes Temperaturbild ausgibt, die Temperaturerkennungseinheit 15, 15a eine Temperatur eines detaillierteren Gesichtsteils in Bezug auf die Temperatur des Gesichts des Insassen auf der Grundlage des Temperaturbildes erkennen. Insbesondere kann die Temperaturerkennungseinheit 15, 15a z.B. die Stirntemperatur oder die Wangentemperatur als Gesichtstemperatur des Insassen erkennen.
Im Allgemeinen wird davon ausgegangen, dass die Stirn- oder Wangentemperatur nahe an der Kerntemperatur einer Person liegt. Da die Nase der periphere Bereich ist, erhöht sich, ähnlich wie bei der Hand, die Blutflussrate an der Nase und die Temperatur an der Nase steigt, wenn sich die Person schläfrig fühlt.
Die Temperaturerkennungseinheit 15, 15a unterteilt die Temperatur des Gesichtes basierend auf den Teilen und erkennt die Stirntemperatur oder die Wangentemperatur, von der angenommen wird, dass sie nahe an der Kerntemperatur der Person liegt, als die Temperatur des Gesichtes des Insassen mit Ausnahme der Nase und dergleichen, die die peripheren Teile sind, so dass die Genauigkeit des Grades des Erwachens des Insassen, der unter Verwendung der Temperatur des Gesichtes durch die Wachheitsgradschätzeinheit 16, 16a, 16b geschätzt wird, verbessert werden kann.
Zusätzlich gibt in der ersten Ausführungsform die Insassenerkennungseinheit 13 Informationen, die die erkennbare Position des Auges des Insassen, die Position des Mundes des Insassen, die Position des Körpers des Insassen, die Position der Hand des Insassen oder die Position des Gesichts des Insassen anzeigen, an die Bewegungserkennungseinheit 14 und die Temperaturerkennungseinheiten 15, 15a aus. Dies ist jedoch nur ein Beispiel.
Die Insassenerkennungseinheit 13 kann in der Bewegungserkennungseinheit 14 oder der Temperaturerkennungseinheit 15 die Informationen auf notwendige Informationen unter den Informationen, die die Position des Auges des Insassen, die Position des Mundes des Insassen, die Position des Körpers des Insassen, die Position der Hand des Insassen oder die Position des Gesichts des Insassen anzeigen, eingrenzen und dann die eingeengten Informationen an die Bewegungserkennungseinheit 14 oder die Temperaturerkennungseinheit 15, 15a ausgeben.
Insbesondere kann die Insassenerkennungseinheit 13 Informationen (im Folgenden als „Augen-Mund-Gesicht-Körper-Positionsinformationen“ bezeichnet) bezüglich der Position des Auges des Insassen, der Position des Mundes des Insassen, der Position des Gesichts des Insassen und der Position des Körpers des Insassen an die Bewegungserkennungseinheit 14 ausgeben und Informationen (im Folgenden als „Gesicht-Hand-Positionsinformationen“ bezeichnet) bezüglich der Position des Gesichts des Insassen und der Position der Hand des Insassen an die Temperaturerkennungseinheit 15, 15a ausgeben.
In diesem Fall erkennt die Bewegungserkennungseinheit 14 die Bewegung des Auges des Insassen, die Bewegung des Mundes des Insassen, die Bewegung des Gesichts des Insassen oder die Bewegung des Körpers des Insassen auf Grundlage der von der Insassenerkennungseinheit 13 ausgegebenen Augen-Mund-Gesicht-Körper-Positionsinformationen. Zusätzlich erkennt die Temperaturerkennungseinheit 15, 15a die Temperatur der Hand und die Temperatur des Gesichts des Insassen auf Grundlage der von der Insassenerkennungseinheit 13 ausgegebenen Gesicht-Hand-Positionsinformation.
Zusätzlich kann in der oben beschriebenen ersten Ausführungsform die Bewegungserkennungseinheit 14 die Funktion der Insassenerkennungseinheit 13 haben. Das heißt, die Bewegungserkennungseinheit 14 kann eine Funktion zum Erkennen von Insasseninformationen haben. Es ist zu beachten, dass in diesem Fall die Bewegungserkennungseinheit 14 das Aufnahmebild nach der Positionszuweisung an die Temperaturerkennungseinheit 15 ausgibt. In diesem Fall kann die Insassenzustandserkennungsvorrichtung 1, 1a, 1b, 1c so konfiguriert sein, dass sie die Insassenerkennungseinheit 13 nicht umfasst. Ferner wird in diesem Fall bezüglich des Betriebs der Insassenzustandserkennungsvorrichtung 1, 1a, 1b, 1c, der unter Bezugnahme auf das Flussdiagramm von 4 beschrieben ist, der Betrieb in Schritt ST403 von der Bewegungserkennungseinheit 14 durchgeführt.
In der oben beschriebenen ersten Ausführungsform ist der Insasse der Fahrer des Fahrzeugs, aber dies ist nur ein Beispiel. Der Insasse ist ein anderer Fahrzeuginsasse als der Fahrer, und die Insassenzustandserkennungsvorrichtung 1, 1a, 1b kann auch den Wachheitsgrad des anderen Insassen als des Fahrers erkennen.
In der oben beschriebenen ersten Ausführungsform ist die Insassenzustandserkennungsvorrichtung 1, 1a, 1b am Fahrzeug angeordnet und schätzt den Wachheitsgrad des fahrzeuginternen Insassen, aber dies ist nur ein Beispiel. Die Insassenzustandserkennungsvorrichtung 1, 1a, 1b kann auch den Wachheitsgrad des Insassen eines mobilen Objekts in verschiedenen mobilen Objekten erkennen.
8A und 8B sind Diagramme, die ein Beispiel für eine Hardwarekonfiguration der Insassenzustandserkennungsvorrichtung 1, 1a, 1b, 1c gemäß der ersten Ausführungsform darstellen. Jede der Insassenzustandserkennungsvorrichtungen 1, 1a, 1b und 1c hat eine Hardwarekonfiguration, wie sie in 8A und 8B dargestellt ist.
In der ersten Ausführungsform werden die Funktionen der Aufnahmebilderfassungseinheit 11, der Temperaturbilderfassungseinheit 12, der Bewegungserkennungseinheit 14, der Temperaturerkennungseinheit 15, 15a, der Wachheitsgradschätzeinheit 16, 16a, 16b, der Ausgabeeinheit 17 und der Attributextraktionseinheit 19 durch eine Verarbeitungsschaltung 801 implementiert. Das heißt, die Insassenzustandserkennungsvorrichtung 1, 1a, 1b, 1c umfasst die Verarbeitungsschaltung 801 zur Durchführung der Regelung zur Schätzung des Aufwachgrades des Insassen des mobilen Objekts.
Bei der Schaltung 801 kann es sich um eine dedizierte Hardware handeln, wie in 8A dargestellt, oder um eine zentrale Verarbeitungseinheit (CPU) 805, die ein in einem Speicher 806 gespeichertes Programm ausführt, wie in 8B dargestellt.
In einem Fall, in dem die Verarbeitungsschaltung 801 eine dedizierte Hardware ist, entspricht die Verarbeitungsschaltung 801 beispielsweise einer einzelnen Schaltung, einer zusammengesetzten Schaltung, einem programmierten Prozessor, einem parallel programmierten Prozessor, einem System-on-a-Chip (SoC), einer anwendungsspezifischen integrierten Schaltung (ASIC), einem Field-Programmable Gate Array (FPGA) oder einer Kombination davon.
In einem Fall, in dem die Verarbeitungsschaltung 801 die CPU 805 ist, werden die Funktionen der Aufnahmebild-Erfassungseinheit 11, der Temperaturerkennungseinheit 12, der Bewegungserkennungseinheit 13, der Temperaturerkennungseinheit 14, der Temperaturerkennungseinheit 15, 15a, der Wachheitsgradschätzeinheit 16, 16a, 16b, der Ausgabeeinheit 17 und der Attributextraktionseinheit 19 durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert. Das heißt, die Aufnahmebilderfassungseinheit 11, die Temperaturerkennungseinheit 12, die Bewegungserkennungseinheit 13, die Temperaturerkennungseinheit 14, die Temperaturerkennungseinheit 15, 15a, die Wachheitsgradschätzeinheit 16, 16a, 16b, die Ausgabeeinheit 17 und die Attributextraktionseinheit 19 sind durch die CPU 805 implementiert, die ein Programm ausführt, das in einem Festplattenlaufwerk (HDD) 802, dem Speicher 806 oder dergleichen gespeichert ist, oder durch die Verarbeitungsschaltung 801, wie z.B. ein System mit großer Integration (LSI). Zusätzlich kann man auch sagen, dass das in der HDD 802, dem Speicher 806 oder dergleichen gespeicherte Programm einen Computer veranlasst, eine Prozedur oder ein Verfahren auszuführen, das von der Aufnahmebilderfassungseinheit 11, der Temperaturbilderfassungseinheit 12, der Insassenerkennungseinheit 13, der Bewegungserkennungseinheit 14, der Temperaturerkennungseinheit 15, 15a, der Wachheitsgradschätzeinheit 16, 16a, 16b, der Ausgabeeinheit 17 und der Attributextraktionseinheit 19 durchgeführt wird. Hier entspricht der Speicher 806 beispielsweise einem nichtflüchtigen oder flüchtigen Halbleiterspeicher wie einem RAM, einem Nur-Lese-Speicher (ROM), einem Flash-Speicher, einem löschbaren programmierbaren Nur-Lese-Speicher (EPROM) oder einem elektrisch löschbaren programmierbaren Nur-Lese-Speicher (EEPROM), einer Magnetplatte, einer flexiblen Platte, einer optischen Platte, einer Compact-Disk, einer Mini-Disk, einer Digital Versatile Disc (DVD) oder dergleichen.
Es ist zu beachten, dass die Funktionen der Aufnahmebild-Erfassungseinheit 11, der Temperaturbild-Erfassungseinheit 12, der Bewegungserkennungseinheit 13, der Temperaturerkennungseinheit 14, der Temperaturerkennungseinheit 15, 15a, der WachheitsgradSchätzeinheit 16, 16a, 16b, der Ausgabeeinheit 17 und der Attributextraktionseinheit 19 teilweise durch dedizierte Hardware und teilweise durch Software oder Firmware implementiert sein können. Beispielsweise können die Funktionen der Aufnahmebild-Erfassungseinheit 11, der Temperaturbild-Erfassungseinheit 12 und der Ausgabeeinheit 17 von der Verarbeitungsschaltung 801 als dedizierte Hardware implementiert werden, und die Funktionen der InsassenErfassungseinheit 13, der Bewegungserkennungseinheit 14, der Temperaturerkennungseinheit 15, 15a, der Wachheitsgradschätzeinheit 16, 16a, 16b und der Attributextraktionseinheit 19 können von der Verarbeitungsschaltung 801 implementiert werden, die im Speicher 806 gespeicherte Programme liest und ausführt.
Die (nicht dargestellte) Speichereinheit verwendet den Speicher 806. Es ist zu beachten, dass es sich hierbei um ein Beispiel handelt und die Speichereinheit (nicht dargestellt) durch die Festplatte 802, ein Solid-State-Laufwerk (SSD), eine DVD oder Ähnliches konfiguriert sein kann.
Zusätzlich umfasst die Insassenzustandserkennungsvorrichtung 1, 1a, 1b, 1c eine Eingabeschnittstellenvorrichtung 803 und eine Ausgabeschnittstellenvorrichtung 804, die eine drahtgebundene oder drahtlose Kommunikation mit einer Vorrichtung wie der Bildgebungsvorrichtung 2 oder der Temperaturerfassungsvorrichtung 3 durchführen.
Wie oben beschrieben, ist gemäß der ersten Ausführungsform die Insassenzustandserkennungsvorrichtung 1, 1b, 1c so konfiguriert, dass sie die Aufnahmebilderfassungseinheit 11, die das durch die Aufnahme des Insassen erhaltene Aufnahmebild erfasst, die Temperaturbilderfassungseinheit 12, die das Temperaturbild erfasst, das die berührungslos gemessene Temperatur der Körperoberfläche des Insassen anzeigt, die Bewegungserkennungseinheit 14, die die Bewegung des Insassen auf Grundlage des von der Aufnahmebilderfassungseinheit 11 erfassten Aufnahmebildes erfasst, umfasst, die Temperaturerkennungseinheit 15, 15a, die die Temperatur der Hand des Insassen auf Grundlage des von der Temperaturbilderfassungseinheit 12 erfassten Temperaturbildes erkennt, und die Wachheitsgradschätzeinheit 16, 16b, die den Wachheitsgrad des Insassen auf Grundlage der von der Bewegungserkennungseinheit 14 erfassten Bewegung des Insassen und der von der Temperaturerkennungseinheit 15, 15a erfassten Temperatur der Hand des Insassen schätzt.
Daher kann die Insassenzustandserkennungsvorrichtung 1, 1b, 1c den Wachheitsgrad einer Person auf Grundlage der Temperatur der Hand der Person unabhängig von der Position, in der die Person (Insasse) das Lenkrad hält, erkennen.
Ferner umfasst gemäß der ersten Ausführungsform in der Insassenzustandserkennungsvorrichtung 1, 1b, 1c die von der Bewegungserkennungseinheit 14 erkannte Bewegung des Insassen die Bewegung der Hand des Insassen, und die Wachheitsgradschätzeinheit 16, 16b ist konfiguriert, um die Schätzung des Wachheitsgrades des Insassen auf Grundlage der Bewegung der Hand des Insassen vorzunehmen, wenn die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen erkannt hat, und den Wachheitsgrad des Insassen auf Grundlage der von der Bewegungserkennungseinheit 14 erkannten Bewegung des Insassen und der von den Temperaturerkennungseinheiten 15, 15a erkannten Temperatur der Hand des Insassen zu schätzen, wenn die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen nicht erkannt hat.
Daher kann die Insassenzustandserkennungsvorrichtung 1, 1b, 1c den Wachheitsgrad des Insassen unter Verwendung der Temperaturen der Hand und des Gesichts des Insassen, die auf Grundlage des Temperaturbildes erkannt wurden, sinnvoll schätzen.
Ferner umfasst die Insassenzustandserkennungsvorrichtung 1a gemäß der ersten Ausführungsform die Aufnahmebilderfassungseinheit 11, die das durch die Aufnahme des Insassen erhaltene Aufnahmebild erfasst, die Temperaturbilderfassungseinheit 12, die das Temperaturbild erfasst, das die berührungslos gemessene Temperatur der Körperoberfläche des Insassen anzeigt, die Bewegungserkennungseinheit 14, die die Bewegung des Insassen auf Grundlage des durch die Aufnahmebilderfassungseinheit 11 erfassten Aufnahmebildes erkennt, der Temperaturerkennungseinheit 15, die die Temperatur der Hand des Insassen auf der Grundlage des von der Temperaturbilderfassungseinheit 12 erfassten Temperaturbildes erkennt, und der Wachheitsgradschätzeinheit 16a, die den Wachheitsgrad des Insassen auf der Grundlage der Informationen bezüglich der von der Bewegungserkennungseinheit 14 erkannten Bewegung des Insassen, der Informationen bezüglich der von der Temperaturerkennungseinheit 15 erfassten Temperatur der Hand des Insassen und des Maschinenlernmodells 18 schätzt.
Daher kann die Insassenzustandserkennungsvorrichtung 1a den Wachheitsgrad einer Person auf Grundlage der Temperatur der Hand der Person unabhängig von der Position, in der die Person (Insasse) das Lenkrad hält, erkennen.
Ferner umfasst gemäß der ersten Ausführungsform in der Insassenzustandserkennungsvorrichtung 1a die von der Bewegungserkennungseinheit 14 erkannte Bewegung des Insassen die Bewegung der Hand des Insassen, und die Wachheitsgradschätzeinheit 16a konfiguriert ist, um den Wachheitsgrad des Insassen auf der Grundlage der Bewegung der Hand des Insassen zu schätzen, wenn die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen erkannt hat, und um den Wachheitsgrad des Insassen auf der Grundlage des Maschinenlernmodells 18 zu schätzen, wenn die Bewegungserkennungseinheit 14 die Bewegung der Hand des Insassen nicht erkannt hat.
Daher kann die Insassenzustandserkennungsvorrichtung 1a den Wachheitsgrad des Insassen vernünftig schätzen, indem sie die Temperaturen der Hand und des Gesichts des Insassen verwendet, die auf Grundlage des Temperaturbildes erkannt wurden.
Es ist zu beachten, dass in der oben beschriebenen ersten Ausführungsform die Vorrichtung zur Erfassung des Insassenzustands 1, 1a, 1b, 1c eine fahrzeuginterne Vorrichtung ist, die am Fahrzeug angeordnet ist, und dass die Aufnahmebild-Erfassungseinheit 11, die TemperaturbildErfassungseinheit 12, die Insassenerkennungseinheit 13, die Bewegungserkennungseinheit 14, die Temperaturerkennungseinheit 15, 15a, die Wachheitsgradschätzeinheit 16, 16a, 16b, die Ausgabeeinheit 17 und die Attributextraktionseinheit 19 in der Vorrichtung zur Erfassung des Insassenzustands 1, 1a, 1b, 1c enthalten sind.
Das System zur Erkennung des Insassenzustands kann von der fahrzeuginternen Vorrichtung und dem Server konfiguriert werden, wobei davon ausgegangen wird, dass einige der Aufnahmebilderfassungseinheit 11, der Temperaturbilderfassungseinheit 12, der Insassenerkennungseinheit 13 und der Bewegungserkennungseinheit 14, die Temperaturerkennungseinheit 15, 15a, die Wachheitsgradschätzeinheit 16, 16a, 16b, die Ausgabeeinheit 17 und die Attributextraktionseinheit 19 in der fahrzeuginternen Vorrichtung des Fahrzeugs angeordnet sind, und die anderen in dem Server bereitgestellt werden, der mit der fahrzeuginternen Vorrichtung über das Netzwerk verbunden ist.
Darüber hinaus kann in der vorliegenden Offenbarung jede Komponente der Ausführungsform modifiziert werden, oder jede Komponente der Ausführungsform kann ausgelassen werden.
INDUSTRIELLE ANWENDBARKEIT
Da die Insassenzustandserkennungsvorrichtung gemäß der vorliegenden Offenbarung so konfiguriert ist, dass sie in der Lage ist, den Wachheitsgrad einer Person auf Grundlage der Temperatur der Hand der Person unabhängig von der Position, in der die Person das Lenkrad hält, zu erkennen, kann die Insassenzustandserkennungsvorrichtung auf die Insassenzustandsschätzungsvorrichtung angewendet werden, die den Wachheitsgrad des Insassen in dem mobilen Objekt schätzt.
Bezugszeichenliste

1, 1a, 1b, 1c: Insassenzustandserkennungsvorrichtung,
2: Bildgebungsvorrichtung,
3: Temperaturerfassungsvorrichtung,
11: Aufnahmebilderfassungseinheit,
12: Temperaturbilderfassungseinheit,
13: Insassenerkennungseinheit,
14: Bewegungserkennungseinheit,
15, 15a: Temperaturerfassungseinheit,
16, 16a, 16b: Wachheitsgradschätzeinheit,
17: Ausgabeeinheit,
18: Maschinenlernmodell,
19: Attributextraktionseinheit,
801: Verarbeitungsschaltung,
802: HDD,
803: Eingabe-Schnittstellenvorrichtung,
804: Ausgabe-Schnittstellenvorrichtung,
805: CPU,
806: Speicher

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2011123653 A [0005]

Claims

Insassenzustandserkennungsvorrichtung, umfassend: eine Aufnahmebilderfassungseinheit, zum Erfassen eines Aufnahmebildes, das durch Abbilden eines Insassen erhalten wird; eine Temperaturbilderfassungseinheit, zum Erfassen eines Temperaturbildes, das eine berührungslos gemessene Temperatur einer Oberfläche eines Körpers des Insassen anzeigt; eine Bewegungserkennungseinheit, zum Erkennen einer Bewegung des Insassen auf Grundlage des von der Aufnahmebilderfassungseinheit erfassten Aufnahmebildes; eine Temperaturerkennungseinheit, zum Erkennen einer Temperatur einer Hand des Insassen auf Grundlage des von der Temperaturbilderfassungseinheit erfassten Temperaturbildes; und eine Wachheitsgradschätzeinheit, zum Schätzen eines Wachheitsgrades des Insassen auf Grundlage der von der Bewegungserkennungseinheit erkannten Bewegung des Insassen und der von der Temperaturerkennungseinheit erkannten Temperatur der Hand des Insassen.
Insassenzustandserkennungsvorrichtung nach Anspruch 1, wobei die von der Bewegungserkennungseinheit erkannte Bewegung des Insassen eine Bewegung der Hand des Insassen umfasst, und die Wachheitsgradschätzeinheit den Wachheitsgrad des Insassen auf Grundlage der Bewegung der Hand des Insassen schätzt, wenn die Bewegungserkennungseinheit die Bewegung der Hand des Insassen erkannt hat, und den Wachheitsgrad des Insassen auf Grundlage der von der Bewegungserkennungseinheit erkannten Bewegung des Insassen und der von der Temperaturerkennungseinheit erkannten Temperatur der Hand des Insassen schätzt, wenn die Bewegungserkennungseinheit die Bewegung der Hand des Insassen nicht erkannt hat.
Insassenzustandserkennungsvorrichtung nach Anspruch 1 oder 2, wobei die Bewegungserkennungseinheit als die Bewegung des Insassen eine Bewegung eines Auges des Insassen, eine Bewegung eines Mundes des Insassen, eine Bewegung eines Körpers des Insassen, eine Bewegung der Hand des Insassen oder eine Bewegung eines Gesichts des Insassen erkennt.
Insassenzustandserkennungsvorrichtung nach Anspruch 1 oder 2, wobei die Temperaturerkennungseinheit eine Temperatur der Hand des Insassen und eine Temperatur eines Gesichts des Insassen erkennt, und die Wachheitsgradschätzeinheit einen Wachheitsgrad des Insassen auf Grundlage der von der Bewegungserkennungseinheit erkannten Bewegung des Insassen und der von der Temperaturerkennungseinheit erkannten Temperatur der Hand und der Temperatur des Gesichts des Insassen schätzt.
Insassenzustandserkennungsvorrichtung, umfassend: eine Aufnahmebilderfassungseinheit, zum Erfassen eines aufgenommenen Bildes, das durch Abbilden eines Insassen erhalten wird; eine Temperaturbilderfassungseinheit, zum Erfassen eines Temperaturbildes, das eine berührungslos gemessene Temperatur einer Oberfläche eines Körpers des Insassen anzeigt; eine Bewegungserkennungseinheit, zum Erkennen einer Bewegung des Insassen auf Grundlage des von der Aufnahmebilderfassungseinheit erfassten Aufnahmebildes; eine Temperaturerkennungseinheit, zum Erkennen einer Temperatur einer Hand des Insassen auf Grundlage des von der Temperaturbilderfassungseinheit erfassten Temperaturbildes; und eine Wachheitsgradschätzeinheit, zum Schätzen eines Wachheitsgrades des Insassen auf Grundlage von Informationen bezüglich der durch die Bewegungserkennungseinheit erkannten Bewegung des Insassen, Informationen bezüglich der durch die Temperaturerkennungseinheit erkannten Temperatur der Hand des Insassen und eines Maschinenlernmodells.
Insassenzustandserkennungsvorrichtung nach Anspruch 5, wobei die von der Bewegungserkennungseinheit erkannte Bewegung des Insassen eine Bewegung der Hand des Insassen umfasst, und die Wachheitsgradschätzeinheit den Wachheitsgrad des Insassen auf Grundlage der Bewegung der Hand des Insassen schätzt, wenn die Bewegungserkennungseinheit die Bewegung der Hand des Insassen erkannt hat, und den Wachheitsgrad des Insassen auf Grundlage des Maschinenlernmodells schätzt, wenn die Bewegungserkennungseinheit die Bewegung der Hand des Insassen nicht erkannt hat.
Insassenzustandserkennungsverfahren, umfassend: Erfassen, durch eine Aufnahmebilderfassungseinheit, eines aufgenommenen Bildes, das durch Abbilden eines Insassen erhalten wurde; Erfassen, durch eine Temperaturbilderfassungseinheit, eines Temperaturbildes, das eine berührungslos gemessene Temperatur einer Oberfläche eines Körpers des Insassen anzeigt; Erkennen, durch eine Bewegungserkennungseinheit, einer Bewegung des Insassen auf Grundlage des von der Aufnahmebilderfassungseinheit erfassten Aufnahmebildes; Erkennen, durch eine Temperaturerkennungseinheit, einer Temperatur einer Hand des Insassen auf Grundlage des von der Temperaturbilderfassungseinheit erfassten Temperaturbildes; und Schätzen, durch eine Wachheitsgradschätzeinheit, eines Wachheitsgrades des Insassen auf Grundlage der durch die Bewegungserkennungseinheit erkannten Bewegung des Insassen und der durch die Temperaturerkennungseinheit erkannten Temperatur der Hand des Insassen.