DE112017002765T5

DE112017002765T5 - Zustandsabschätzungsvorrichtung, Zustandsabschätzungsverfahren und Zustandsabschätzungsprogramm

Info

Publication number: DE112017002765T5
Application number: DE112017002765.9T
Authority: DE
Inventors: Hatsumi AOI; Koichi Kinoshita; Tomoyoshi Aizawa; Hideto Hamabashiri; Tadashi Hyuga; Mei UETANI
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2016-06-02
Filing date: 2017-06-01
Publication date: 2019-02-14
Also published as: WO2017208529A1; US20200334477A1; CN109155106A; JP2017217472A; JP6245398B2

Abstract

Eine Zustandsabschätzungsvorrichtung enthält eine Bildbeschaffungseinheit, die ein aufgenommenes Bild von einer Bildaufnahmevorrichtung beschafft, welche derart angeordnet ist, dass sie ein Bild einer Zielperson an einer vorbestimmten Position aufnimmt; eine erste Analyseeinheit, die ein Gesichtsverhalten der Zielperson auf Basis des aufgenommenen Bildes analysiert und erste Informationen über das Gesichtsverhalten der Zielperson beschafft; eine zweite Analyseeinheit, die die Körperbewegung der Zielperson auf Basis des aufgenommenen Bildes analysiert und zweite Informationen über die Körperbewegung der Zielperson beschafft; und eine Abschätzungseinheit, die einen Zustand der Zielperson auf Basis der ersten Informationen und der zweiten Informationen abschätzt.

Description

GEBIET
Die vorliegende Erfindung bezieht sich auf eine Zustandsabschätzungsvorrichtung, ein Zustandsabschätzungsverfahren und ein Zustandsabschätzungsprogramm.
STAND DER TECHNIK
In letzter Zeit wurden Vorrichtungen zur Verhütung schwerer Unfälle entwickelt, um den Zustand eines Fahrzeuglenkers, wie z. B. Einschlafen während der Fahrt, abgelenktes Fahren oder eine plötzliche Änderung seines oder ihres physischen Zustands, abzuschätzen, indem ein Bild des Fahrers aufgenommen und das Bild verarbeitet wird. So beschreibt beispielsweise die Patentliteratur 1 eine Konzentrationsbestimmungsvorrichtung, die den Blick eines Fahrzeuglenkers erfasst und feststellt, dass sich der Fahrer weniger auf das Fahren konzentriert, wenn der erfasste Blick lange Zeit unverändert bleibt. Die Patentliteratur 2 beschreibt eine Bildanalysevorrichtung, die den Grad einer von einem Fahrzeuglenker empfundenen Schläfrigkeit und den Grad der Ablenkung beim Fahren bestimmt, indem sie das Gesichtsbild auf dem Führerschein mit einem Bild Fahrers vergleicht, das während der Fahrt aufgenommen wurde. Die Patentliteratur 3 beschreibt eine Vorrichtung zur Erfassung von Schläfrigkeit, die die Bewegung der Augenlider eines Fahrers erfasst und die von dem Fahrer empfundene Schläfrigkeit bestimmt, indem sie jede Änderung des Gesichtswinkels des Fahrers unmittelbar nach dem Erfassen der Bewegung erkennt, um zu verhindern, dass der nach unten blickende Fahrer fälschlicherweise als sich schläfrig fühlend bestimmt wird. Die Patentliteratur 4 beschreibt eine Schläfrigkeitsbestimmungsvorrichtung, die den Grad der von einem Fahrer empfundenen Schläfrigkeit anhand der Muskelbewegungen um seinen oder ihren Mund bestimmt. Die Patentliteratur 5 beschreibt eine Vorrichtung zur Bestimmung eines Gesichtszustands, die das Gesicht eines Fahrers in einem verkleinerten Bild erfasst, das durch Ändern der Größe eines aufgenommenen Bildes des Fahrers erhalten wird, und spezifische Teile des Gesichts (die Augen, die Nase, den Mund) extrahiert, um den Zustand des Fahrers zu bestimmen, wie z. B. Einschlafen auf Basis der Bewegung der spezifischen Teile. Die Patentliteratur 6 beschreibt eine Bildverarbeitungsvorrichtung, die zyklisch mehrere Prozesse in Folge durchführt, einschließlich Bestimmung der Gesichtsausrichtung des Fahrers und Abschätzung des Blicks.
ZITATLISTE
PATENTLITERATUR

Patentliteratur 1: Japanische ungeprüfte Patentanmeldung mit der Veröffentlichungs-Nr. 2014-191474
Patentliteratur 2: Japanische ungeprüfte Patentanmeldung mit der Veröffentlichungs-Nr. 2012-084068
Patentliteratur 3: Japanische ungeprüfte Patentanmeldung mit der Veröffentlichungs-Nr. 2011-048531
Patentliteratur 4: Japanische ungeprüfte Patentanmeldung mit der Veröffentlichung-Nr. 2010-122897
Patentliteratur 5: Japanische ungeprüfte Patentanmeldung mit der Veröffentlichungs-Nr. 2008-171108
Patentliteratur 6: Japanische ungeprüfte Patentanmeldung mit der Veröffentlichungs-Nr. 2008-282153

ZUSAMMENFASSUNG
TECHNISCHES PROBLEM
Die Erfinder haben Schwierigkeiten mit den oben genannten Techniken zur Abschätzung bzw. Einschätzung des Zustands eines Fahrers festgestellt. Insbesondere verwenden die oben genannten Techniken einfach spezifische Änderungen in dem Gesicht des Fahrers, wie z. B. eine Änderung der Gesichtsausrichtung, das Öffnen oder Schließen der Augen und eine Blickverschiebung, um den Zustand eines Fahrers abzuschätzen. Solche Techniken können fälschlicherweise gewöhnliche Handlungen des Fahrers, wie beispielsweise das Drehen des Kopfes nach rechts und links, um die Umgebung zu überprüfen, wenn das Fahrzeug nach rechts oder links abbiegt, das prüfende Zurückschauen und das Verschieben des Blicks, um die Anzeigen auf einem Spiegel, einem Messgerät und einer fahrzeuginternen Vorrichtung zu überprüfen, derart bestimmen, als ob der Fahrer seinen Blick abwenden und sich weniger auf das Fahren konzentrieren würde. Die Techniken können auch fälschlicherweise einen Fahrer, der nicht auf das Fahren konzentriert ist, weil er/sie etwa isst oder trinkt, raucht oder in ein Mobiltelefon spricht, während er/sie nach vorne blickt, als in einem normalen Zustand befindlich bestimmen. Diese bekannten Techniken verwenden einfach Informationen, die aus spezifischen Änderungen in dem Gesicht des Fahrers gewonnen werden, und spiegeln somit möglicherweise nicht verschiedene mögliche Zustände des Fahrers wider, so dass der Grad der Konzentration des Fahrers auf das Fahren möglicherweise nicht genau abgeschätzt werden kann. Solche von den Erfindern festgestellten Schwierigkeiten werden häufig bei einem Abschätzen des Zustands einer anderen Zielperson als einem Fahrer, wie beispielsweise einem Fabrikarbeiter, gesehen.
Ein oder mehrere Aspekte der vorliegenden Erfindung sind auf eine Technik gerichtet, die verschiedene mögliche Zustände einer Zielperson angemessen abschätzt.
LÖSUNG DER AUFGABE
Eine Zustandsabschätzungsvorrichtung nach einem Aspekt der vorliegenden Erfindung weist eine Bildbeschaffungseinheit, die ein aufgenommenes Bild von einer Bildaufnahmevorrichtung beschafft, welche derart angeordnet ist, dass sie ein Bild einer Zielperson an einer vorbestimmten Position aufnimmt; eine erste Analyseeinheit, die ein Gesichtsverhalten der Zielperson auf Basis des aufgenommenen Bildes analysiert und erste Informationen über das Gesichtsverhalten der Zielperson beschafft; eine zweite Analyseeinheit, die eine Körperbewegung der Zielperson auf Basis des aufgenommenen Bildes analysiert und zweite Informationen über die Körperbewegung der Zielperson beschafft; und eine Abschätzungseinheit auf, die einen Zustand der Zielperson auf Basis der ersten Informationen und der zweiten Informationen abschätzt.
Die Zustandsabschätzungsvorrichtung mit dieser Struktur beschafft die ersten Informationen über das Gesichtsverhalten der Zielperson und die zweiten Informationen über die Körperbewegung und schätzt den Zustand der Zielperson auf Basis der beschafften ersten Informationen und zweiten Informationen ab. Die Zustandsanalyse der Zielperson verwendet somit Gesamtinformationen bzw. allgemeine Informationen bzw. globale Informationen über die Körperbewegung der Zielperson, zusätzlich zu lokalen Informationen über das Gesichtsverhalten der Zielperson. Die Vorrichtung mit dieser Struktur schätzt somit verschiedene mögliche Zustände der Zielperson ab.
In der Zustandsabschätzungsvorrichtung nach dem obigen Aspekt können die ersten Informationen und die zweiten Informationen jeweils als eine oder mehrere Merkmalsgrößen dargestellt werden, und die Abschätzungseinheit kann den Zustand der Zielperson auf Basis der Merkmalsgrößen abschätzen. Diese Struktur verwendet die durch Merkmalsgrößen dargestellten Informationen, um die Berechnung zur Abschätzung verschiedener möglicher Zustände der Zielperson zu erleichtern.
Die Zustandsabschätzungsvorrichtung nach dem obigen Aspekt kann ferner eine Gewichtungseinheit aufweisen, die für jede der Merkmalsgrößen ein Gewicht bestimmt, das eine Priorität unter den Merkmalsgrößen definiert. Die Abschätzungseinheit kann den Zustand der Zielperson basierend auf jeder Merkmalsgröße, die unter Verwendung des bestimmten Gewichts ermittelt wurde, abschätzen. Die Vorrichtung mit dieser Struktur gewichtet die Merkmalgrößen auf geeignete Weise, um die Genauigkeit bei der Abschätzung des Zustands der Zielperson zu verbessern.
In der Zustandsabschätzungsvorrichtung gemäß dem obigen Aspekt kann die Gewichtungseinheit das Gewicht für jede Merkmalsgröße auf Basis eines früheren Abschätzungsergebnisses des Zustands der Zielperson bestimmen. Die Vorrichtung mit dieser Struktur verwendet das frühere Abschätzungsergebnis, um die Genauigkeit bei der Abschätzung des Zustands der Zielperson zu verbessern. Um beispielsweise zu bestimmen, dass die Zielperson nach hinten schaut, ist die nächste Aktion, die von der Zielperson wahrscheinlich durchgeführt wird, der Blick nach vorne. In diesem Fall können die mit dem Blick nach vorne verbundenen Merkmalsgrößen stärker gewichtet werden als die anderen Merkmalsgrößen, um die Genauigkeit bei der Abschätzung des Zustands der Zielperson zu verbessern.
Die Zustandsabschätzungsvorrichtung gemäß dem obigen Aspekt kann ferner eine Auflösungsumwandlungseinheit aufweisen, die eine Auflösung des aufgenommenen Bildes verringert. Die zweite Analyseeinheit kann die zweiten Informationen beschaffen, indem sie die Körperbewegung in dem aufgenommenen Bild mit einer niedrigeren Auflösung analysiert. Ein aufgenommenes Bild kann ein Körperbewegungsverhalten beinhalten, das größer erscheint als das Gesichtsverhalten. Somit können die zweiten Informationen über die Körperbewegung aus einem aufgenommenen Bild beschafft werden, das weniger Informationen oder eine niedrigere Auflösung aufweist als das aufgenommene Bild, das zur Beschaffung der ersten Informationen über das Gesichtsverhalten verwendet wird. Die Vorrichtung mit dieser Struktur verwendet also das aufgenommene Bild mit einer niedrigeren Auflösung, um die zweiten Informationen zu beschaffen. Diese Struktur reduziert die Berechnung zur Beschaffung der zweiten Informationen und die Belastung des Prozessors zur Abschätzung des Zustands der Zielperson.
In der Zustandsabschätzungsvorrichtung nach dem obigen Aspekt kann die zweite Analyseeinheit als die zweiten Informationen eine Merkmalsgröße beschaffen, die mindestens einem Element zugeordnet ist, das aus der Gruppe bestehend aus einer Kantenposition, einer Kantenstärke und einer lokalen, aus dem aufgenommenen Bild mit einer niedrigeren Auflösung extrahierten Frequenzkomponente ausgewählt ist. Die Vorrichtung mit dieser Struktur beschafft die zweiten Informationen über die Körperbewegung in geeigneter Weise aus dem aufgenommenen Bild mit einer niedrigeren Auflösung, und kann daher den Zustand der Zielperson genau abschätzen.
In der Zustandsabschätzungsvorrichtung gemäß dem obigen Aspekt kann das aufgenommene Bild eine Vielzahl von Einzelbildern beinhalten, und die zweite Analyseeinheit kann die zweiten Informationen beschaffen, indem sie die Körperbewegung in zwei oder mehr Einzelbildern analysiert, die in dem aufgenommenen Bild enthalten sind. Die Vorrichtung mit dieser Struktur extrahiert die Körperbewegung über zwei oder mehr Einzelbilder und kann so den Zustand der Zielperson genau abschätzen.
In der Zustandsabschätzungsvorrichtung nach dem obigen Aspekt kann die erste Analyseeinheit eine vorbestimmte Bildanalyse des aufgenommenen Bildes durchführen, um - als die ersten Informationen - Informationen über mindestens ein Element zu beschaffen, das aus der Gruppe ausgewählt wird, die daraus besteht, ob ein Gesicht erfasst wird, ferner aus einer Gesichtsposition, einer Gesichtsausrichtung, einer Gesichtsbewegung, einer Blickrichtung, einer Gesichtskomponentenposition und einem Öffnen oder Schließen der Augen der Zielperson. Die Vorrichtung mit dieser Struktur beschafft auf geeignete Weise die ersten Informationen über das Gesichtsverhalten und kann so den Zustand der Zielperson genau abschätzen.
In der Zustandsabschätzungsvorrichtung nach dem obigen Aspekt kann das aufgenommene Bild mehrere Einzelbilder beinhalten, und die erste Analyseeinheit kann die ersten Informationen beschaffen, indem sie das Gesichtsverhalten im aufgenommenen Bild auf Einzelbildbasis analysiert. Die Vorrichtung mit dieser Struktur beschafft die ersten Informationen auf Einzelbildbasis, um eine leichte Änderung des Gesichtsverhaltens zu erkennen, und kann so den Zustand der Zielperson genau abschätzen.
In der Zustandsabschätzungsvorrichtung gemäß dem obigen Aspekt kann die Zielperson ein Fahrer eines Fahrzeugs sein, die Bildbeschaffungseinheit kann sich das aufgenommene Bild von der Bildaufnahmevorrichtung beschaffen, die zum Aufnehmen eines Bildes des Fahrers auf einem Fahrersitz des Fahrzeugs angeordnet ist, und die Abschätzungseinheit kann einen Zustand des Fahrers auf Basis der ersten Informationen und der zweiten Informationen abschätzen. Die Abschätzungseinheit kann mindestens einen Zustand des Fahrers ermitteln, ausgewählt aus der Gruppe bestehend aus: Aufmerksam nach vorne schauen, sich schläfrig fühlen, zur Seite schauen, Kleidung ausziehen oder anziehen, ein Telefon bedienen, zur Seite gelehnt sein, beim Fahren durch einen Beifahrer oder ein Haustier gestört werden, einen Krankheitsanfall erleiden, zurückschauen, einen Kopf auf einen Arm stützen, essen und trinken, rauchen, sich schwindelig fühlen, anormale Bewegungen ausführen, ein Auto-Navigationssystem oder ein Audiosystem bedienen, Brillen oder Sonnenbrillen auf- oder abnehmen und ein Foto machen. Die Zustandsabschätzungsvorrichtung mit dieser Struktur kann verschiedene Zustände des Fahrers abschätzen.
In der Zustandsabschätzungsvorrichtung mit dieser Struktur kann die Zielperson ein Fabrikarbeiter sein. Die Bildbeschaffungseinheit kann sich das aufgenommene Bild von der Bildaufnahmevorrichtung beschaffen, die so angeordnet ist, dass sie ein Bild des Arbeiters aufnimmt, der sich an einem vorbestimmten Arbeitsplatz befindet. Die Abschätzungseinheit kann einen Zustand des Arbeiters auf der Grundlage der ersten Informationen und der zweiten Informationen abschätzen. Die Abschätzungseinheit kann als Zustand des Arbeiters einen Grad der Konzentration des Arbeiters auf einen Vorgang oder einen Gesundheitszustand des Arbeiters abschätzen. Die Zustandsabschätzungsvorrichtung mit dieser Struktur kann verschiedene Zustände des Arbeiters abschätzen. Der Gesundheitszustand des Arbeiters kann durch jeden Gesundheitsindikator, wie beispielsweise einen Indikator für körperliche Verfassung oder Ermüdung, dargestellt werden.
Eine andere Form der Zustandsabschätzungsvorrichtung gemäß den obigen Aspekten kann ein Informationsverarbeitungsverfahren zur Implementierung der obigen Merkmale, ein Informationsverarbeitungsprogramm oder ein Speichermedium sein, das das von einem Computer oder einer anderen Vorrichtung oder Maschine lesbare Programm speichert. Das computerlesbare Aufzeichnungsmedium beinhaltet ein Medium, das ein Programm oder andere Informationen auf elektrische, magnetische, optische, mechanische oder chemische Weise speichert.
Ein Zustandsabschätzungsverfahren nach einem Aspekt der vorliegenden Erfindung wird durch einen Computer implementiert. Das Verfahren beinhaltet ein Beschaffen eines aufgenommenen Bildes von einer Bildaufnahmevorrichtung, die angeordnet ist, um ein Bild einer Zielperson aufzunehmen, die sich an einer bestimmten Position befindet, ein Analysieren eines Gesichtsverhaltens der Zielperson auf Basis des aufgenommenen Bildes, ein Beschaffen erster Informationen über das Gesichtsverhalten der Zielperson durch Analysieren des Gesichtsverhaltens, ein Analysieren einer Körperbewegung der Zielperson auf Basis des aufgenommenen Bildes, ein Beschaffen zweiter Informationen über die Körperbewegung der Zielperson durch Analysieren der Körperbewegung und Abschätzen bzw. Einschätzen eines Zustands der Zielperson auf Basis der ersten Informationen und der zweiten Informationen.
Ein Zustandsabschätzungsprogramm gemäß einem Aspekt der vorliegenden Erfindung veranlasst einen Computer zu implementieren: Beschaffen eines aufgenommenen Bildes von einer Bildaufnahmevorrichtung, die so angeordnet ist, dass sie ein Bild einer Zielperson, die sich an einer vorbestimmten Position befindet, aufnimmt; Analysieren eines Gesichtsverhaltens der Zielperson auf Basis des aufgenommenen Bildes; Beschaffen erster Informationen über das Gesichtsverhalten der Zielperson durch Analysieren des Gesichtsverhaltens; Analysieren einer Körperbewegung der Zielperson auf Basis des aufgenommenen Bildes; Beschaffen zweiter Informationen über die Körperbewegung der Zielperson durch Analysieren der Körperbewegung, und Abschätzen bzw. Einschätzen eines Zustands der Zielperson auf Basis der ersten Informationen und der zweiten Informationen.
VORTEILHAFTE WIRKUNGEN
Die Vorrichtung, das Verfahren und das Programm nach diesen Aspekten der vorliegenden Erfindung ermöglichen es, verschiedene mögliche Zustände einer Zielperson angemessen abzuschätzen.
Figurenliste

1 ist ein schematisches Diagramm einer Zustandsabschätzungsvorrichtung nach einer in einer Situation verwendeten Ausführungsform.
2 ist ein schematisches Diagramm der Zustandsabschätzungsvorrichtung nach der Ausführungsform, in dem deren Hardware-Konfiguration dargestellt ist.
3A ist ein schematisches Diagramm der Zustandsabschätzungsvorrichtung nach der Ausführungsform, in der ihre funktionellen Komponenten dargestellt sind.
3B ist ein schematisches Diagramm eines Gesichtskomponentenzustandsdetektors, in dem dessen funktionelle Komponenten dargestellt sind.
4 ist eine Tabelle, in der exemplarische Kombinationen von Zuständen eines Fahrers und Informationen zum Abschätzen der Zustände dargestellt sind.
5 ist eine Tabelle, in der spezifische Bedingungen zum Abschätzen des Zustands eines Fahrers dargestellt sind.
6 ist ein Flussdiagramm eines Verfahrens, das von der Zustandsabschätzungsvorrichtung nach der Ausführungsform durchgeführt wird.
7 ist ein Diagramm, das ein Verfahren zum Erfassen der Gesichtsausrichtung eines Fahrers, der Blickrichtung und des Grades der Augenöffnung auf einer mehrstufigen Skala beschreibt.
8 ist ein Diagramm, das einen Prozess zum Extrahieren von Merkmalsgrößen über die Körperbewegung eines Fahrers beschreibt.
9 ist ein Diagramm, das einen Prozess zum Berechnen der einzelnen Merkmalsgrößen beschreibt.
10 ist ein Diagramm, das einen Prozess zum Abschätzen des Zustands eines Fahrers auf Basis der einzelnen Merkmalsgrößen und einen Prozess zum Ändern des Gewichts auf jeder Merkmalsgröße in Entsprechung zum Abschätzungsergebnis beschreibt.
11 ist ein Diagramm, das die Gewichtung beschreibt, die auf ein festgestelltes Rückwärtsblicken eines Fahrers folgt.
12 ist eine Tabelle, in der exemplarische Merkmalsgrößen (Zeitreiheninformationen) dargestellt sind, die erfasst werden, wenn ein Fahrer den Kopf auf die Arme stützt.
13 ist eine Tabelle, in der exemplarische Merkmalsgrößen (Zeitreiheninformationen) dargestellt sind, die erfasst werden, wenn ein Fahrer, der durch ein Objekt auf der rechten Seite abgelenkt wird, seine (ihre) Konzentration allmählich verringert.
14 ist ein Diagramm, das ein Zustandsabschätzungsverfahren für eine Zielperson nach einer anderen Ausführungsform beschreibt.
15 ist ein Blockdiagramm einer Zustandsabschätzungsvorrichtung nach einer weiteren Ausführungsform.
16 ist ein Blockdiagramm einer Zustandsabschätzungsvorrichtung nach einer weiteren Ausführungsform.
17 ist ein schematisches Diagramm einer Zustandsabschätzungsvorrichtung nach einer weiteren Ausführungsform, die in einer Situation verwendet wird.

DETAILLIERTE BESCHREIBUNG
Eine oder mehrere Ausführungsformen der vorliegenden Erfindung (im Folgenden: die vorliegende Ausführungsform) werden nun mit Bezug auf die Zeichnungen beschrieben. Die im Folgenden beschriebene vorliegende Ausführungsform ist in jeder Hinsicht nur ein Beispiel und kann ohne Abweichung vom Geltungsbereich der Erfindung unterschiedlich modifiziert oder verändert werden. Insbesondere kann jede für jede Ausführungsform spezifische Konfiguration in angemessener Weise verwendet werden, um die Ausführungsformen der vorliegenden Erfindung umzusetzen. Obwohl die in der vorliegenden Ausführungsform verwendeten Daten in einer natürlichen Sprache beschrieben werden, können diese Daten spezifisch unter Verwendung jeder computerlesbaren Sprache definiert werden, wie beispielsweise einer Pseudosprache, Befehlen, Parametern oder einer Maschinensprache.
Anwendungsbeispiel
Ein Beispiel für die Verwendung einer Zustandsabschätzungsvorrichtung nach einer Ausführungsform der vorliegenden Erfindung wird nun mit Bezug auf 1 beschrieben. 1 ist ein schematisches Diagramm einer Zustandsabschätzungsvorrichtung bzw. Zustandseinschätzungsvorrichtung 10 nach der in einem automatischen Fahrsystem 20 verwendeten Ausführungsform.
Wie in 1 dargestellt, enthält das automatische Fahrsystem 20 eine Kamera 21 (Bildaufnahmevorrichtung), die Zustandsabschätzungsvorrichtung 10 und eine automatische Fahrunterstützungsvorrichtung 22. Das automatische Fahrsystem 20 betreibt automatisch ein Fahrzeug C, während es einen Fahrer D im Fahrzeug C überwacht. Das Fahrzeug C kann von jeder Art sein, in die ein automatisches Fahrsystem eingebaut sein kann, wie beispielsweise ein Automobil.
Die Kamera 21, die der Bildaufnahmevorrichtung der beanspruchten Erfindung entspricht, ist so platziert, wie es erforderlich ist, um ein Bild einer Szene aufzunehmen, die wahrscheinlich eine Zielperson enthält. In der vorliegenden Ausführungsform entspricht der auf einem Fahrersitz des Fahrzeugs C sitzende Fahrer D der Zielperson der beanspruchten Erfindung. Die Kamera 21 wird entsprechend platziert, um ein Bild des Fahrers D aufzunehmen. Beispielsweise wird die Kamera 21 über und vor dem Fahrersitz des Fahrzeugs C platziert, um kontinuierlich ein Bild der Vorderseite des Fahrersitzes aufzunehmen, auf dem der Fahrer D wahrscheinlich sitzt. Das aufgenommene Bild kann im Wesentlichen den gesamten Oberkörper des Fahrers D beinhalten. Die Kamera 21 überträgt das aufgenommene Bild an die Zustandsabschätzungsvorrichtung 10. Das aufgenommene Bild kann ein Standbild oder ein bewegtes Bild sein.
Die Zustandsabschätzungsvorrichtung 10 ist ein Computer, der das aufgenommene Bild von der Kamera 21 erhält bzw. sich von dieser beschafft und das erhaltene bzw. beschaffte aufgenommene Bild analysiert, um den Zustand des Fahrers D einzuschätzen bzw. abzuschätzen. Genauer gesagt, analysiert die Zustandsabschätzungsvorrichtung 10 das Gesichtsverhalten des Fahrers D auf Basis des aufgenommenen Bildes, das von der Kamera 21 beschafft wurde, um erste Informationen über das Gesichtsverhalten des Fahrers D zu erhalten bzw. zu beschaffen (erste Informationen 122 werden unten beschrieben). Die Zustandsabschätzungsvorrichtung 10 analysiert auch die Körperbewegung des Fahrers D auf Basis des aufgenommenen Bildes, um zweite Informationen über die Körperbewegung des Fahrers D zu erhalten bzw. zu beschaffen (zweite Informationen 123 werden unten beschrieben). Die Zustandsabschätzungsvorrichtung 10 schätzt den Zustand des Fahrers D auf Basis der erhaltenen ersten und zweiten Informationen ab bzw. ein.
Die automatische Fahrunterstützungsvorrichtung 22 ist ein Computer, der das Fahrsystem und das Steuersystem des Fahrzeugs C steuert, um einen manuellen Fahrmodus zu implementieren, in dem der Fahrvorgang manuell vom Fahrer D durchgeführt wird, oder einen automatischen Fahrmodus, in dem der Fahrvorgang automatisch unabhängig vom Fahrer D durchgeführt wird. In der vorliegenden Ausführungsform wechselt die automatische Fahrunterstützungsvorrichtung 22 zwischen dem manuellen Fahrmodus und dem automatischen Fahrmodus, beispielsweise in Entsprechung mit dem Abschätzungsergebnis aus der Zustandsabschätzungsvorrichtung 10 oder den Einstellungen eines Fahrzeugnavigationssystems.
Wie vorstehend beschrieben, beschafft sich die automatische Fahrunterstützungsvorrichtung 22 nach der vorliegenden Ausführungsform die ersten Informationen über das Gesichtsverhalten des Fahrers D und die zweiten Informationen über die Körperbewegung, um den Zustand des Fahrers D abzuschätzen. Die Vorrichtung schätzt somit den Zustand des Fahrers D ab, unter Verwendung solcher Gesamtinformationen bzw. allgemeinen Informationen bzw. globalen Informationen, die die Körperbewegung des Fahrers D anzeigen, zusätzlich zu den lokalen Informationen, die das Gesichtsverhalten des Fahrers D anzeigen. Die Vorrichtung kann somit nach der vorliegenden Ausführungsform verschiedene mögliche Zustände des Fahrers D abschätzen. Das Abschätzungsergebnis kann für die automatische Fahrsteuerung verwendet werden, um das Fahrzeug C entsprechend für verschiedene mögliche Zustände des Fahrers D zu steuern.
Beispielkonfiguration
Hardware-Konfiguration
Die Hardware-Konfiguration der Zustandsabschätzungsvorrichtung 10 nach der vorliegenden Ausführungsform wird nun mit Bezug auf 2 beschrieben. 2 ist ein schematisches Diagramm der Zustandsabschätzungsvorrichtung 10 nach der vorliegenden Ausführungsform, in der ihre Hardware-Konfiguration dargestellt wird.
Wie in 2 dargestellt, ist die Zustandsabschätzungsvorrichtung 10 nach der vorliegenden Ausführungsform ein Computer mit einer Steuereinheit 110, einer Speichereinheit 120 und einer externen Schnittstelle 130, die elektrisch miteinander verbunden sind. In 2 wird die externe Schnittstelle als externe I/F abgekürzt.
Die Steuereinheit 110 enthält beispielsweise eine Zentraleinheit (CPU) als HardwareProzessor, einen Direktzugriffsspeicher (RAM) und einen Nur-Lese-Speicher (ROM). Die Steuereinheit 110 steuert jede Einheit in Entsprechung zur vorgesehenen Informationsverarbeitung. Die Speichereinheit 120 enthält beispielsweise ein RAM und ein ROM und speichert ein Programm 121, die ersten Informationen 122, die zweiten Informationen 123 und andere Informationen. Die Speichereinheit 120 entspricht dem Speicher.
Das Programm 121 wird von der Zustandsabschätzungsvorrichtung 10 ausgeführt, um eine später beschriebene Informationsverarbeitung (6) zum Abschätzen des Zustands des Fahrers D zu implementieren. Die ersten Informationen 122 resultieren aus der Analyse des Gesichtsverhaltens des Fahrers D in dem von der Kamera 21 aufgenommenen Bild. Die zweiten Informationen 123 resultieren aus der Analyse der Körperbewegung des Fahrers D in dem von der Kamera 21 aufgenommenen Bild. Dies wird unten ausführlich beschrieben.
Die externe Schnittstelle 130 zum Anschluss an externe Geräte ist entsprechend in Abhängigkeit von den externen Geräten ausgeführt. In der vorliegenden Ausführungsform ist die externe Schnittstelle 130 beispielsweise über das Controller Area Network (CAN) mit der Kamera 21 und der automatischen Fahrunterstützungsvorrichtung 22 verbunden.
Wie vorstehend beschrieben, wird die Kamera 21 so platziert, dass sie ein Bild des Fahrers D auf dem Fahrersitz des Fahrzeugs C aufnehmen kann. In dem in 1 dargestellten Beispiel ist die Kamera 21 über und vor dem Fahrersitz platziert. Die Kamera 21 kann jedoch an jeder anderen Position angebracht werden, um ein Bild des Fahrers D auf dem Fahrersitz aufzunehmen, die je nach Ausführungsform entsprechend ausgewählt werden kann. Die Kamera 21 kann eine typische Digitalkamera oder Videokamera sein.
Ähnlich wie die Zustandsabschätzungsvorrichtung 10 kann die automatische Fahrunterstützungsvorrichtung 22 ein Computer mit einer Steuereinheit, einer Speichereinheit und einer externen Schnittstelle sein, die elektrisch miteinander verbunden sind. In diesem Fall speichert die Speichereinheit Programme und verschiedene Datensätze, die es ermöglichen, zur Unterstützung des Fahrbetriebs des Fahrzeugs C zwischen dem automatischen Fahrmodus und dem manuellen Fahrmodus zu wechseln. Die automatische Fahrunterstützungsvorrichtung 22 ist über die externe Schnittstelle mit der Zustandsabschätzungsvorrichtung 10 verbunden. Die automatische Fahrunterstützungsvorrichtung 22 steuert somit den automatischen Fahrbetrieb des Fahrzeugs C unter Verwendung eines Abschätzungsergebnisses aus der Zustandsabschätzungsvorrichtung 10.
Die externe Schnittstelle 130 kann an jedes externe Gerät angeschlossen werden, das nicht zu den oben beschriebenen externen Geräten gehört. So kann die externe Schnittstelle 130 beispielsweise über ein Netzwerk an ein Kommunikationsmodul zur Datenkommunikation angeschlossen werden. Die externe Schnittstelle 130 kann mit jeder anderen externen Vorrichtung verbunden werden, die je nach Ausführungsform entsprechend ausgewählt wird. In dem in 2 dargestellten Beispiel beinhaltet die Zustandsabschätzungsvorrichtung 10 die einzelne externe Schnittstelle 130. Die Zustandsabschätzungsvorrichtung 10 kann jedoch je nach Ausführungsform eine beliebige Anzahl externer Schnittstellen 130 beinhalten. So kann die Zustandsabschätzungsvorrichtung 10 beispielsweise mehrere externe Schnittstellen 130 beinhalten, die den zu verbindenden externen Geräten entsprechen.
Die Zustandsabschätzungsvorrichtung 10 nach der vorliegenden Ausführungsform weist die oben beschriebene Hardware-Konfiguration auf. Die Zustandsabschätzungsvorrichtung 10 kann jedoch jede andere Hardware-Konfiguration aufweisen, die je nach Ausführungsform entsprechend festgelegt wird. Für die spezifische Hardware-Konfiguration der Zustandsabschätzungsvorrichtung 10 können Komponenten eliminiert, ersetzt oder gegebenenfalls in verschiedenen Ausführungsformen hinzugefügt werden. So kann beispielsweise die Steuereinheit 110 mehrere Hardware-Prozessoren enthalten. Die Hardware-Prozessoren können ein Mikroprozessor, ein FPGA (Field Programmable Gate Array) und andere Prozessoren sein. Die Speichereinheit 120 kann das RAM und das ROM der Steuereinheit 110 beinhalten. Die Speichereinheit 120 kann auch eine Zusatzspeichervorrichtung wie eine Festplatte oder ein Solid-State-Laufwerk sein. Die Zustandsabschätzungsvorrichtung 10 kann eine Informationsverarbeitungsvorrichtung sein, die spezifisch für einen bestimmten Dienst bestimmt ist, oder sie kann ein Universalcomputer sein.
Funktionale Komponenten
Die Zustandsabschätzungsvorrichtung 10 enthält exemplarische funktionale Komponenten nach der vorliegenden Ausführungsform, die mit Bezug auf 3A beschrieben sind. 3A ist ein schematisches Diagramm der Zustandsabschätzungsvorrichtung 10 nach der vorliegenden Ausführungsform, in dem ihre funktionellen Komponenten dargestellt sind.
Die in der Zustandsabschätzungsvorrichtung 10 enthaltene Steuereinheit 110 erweitert das in der Speichereinheit 120 gespeicherte Programm 121 in das RAM. Die CPU in der Steuereinheit 110 interpretiert und führt dann das in das RAM erweiterte Programm 121 zur Steuerung jeder Einheit aus. Wie in 3A dargestellt, wird das Programm von der Zustandsabschätzungsvorrichtung 10 nach der vorliegenden Ausführungsform ausgeführt, um als Computer zu fungieren, der eine Bildbeschaffungseinheit 11, eine erste Analyseeinheit 12, eine Auflösungsumwandlungseinheit 13, eine zweite Analyseeinheit 14, eine Merkmalsvektorerzeugungseinheit 15, eine Gewichtungseinheit 16 und eine Abschätzungs- bzw. Einschätzungseinheit 17 beinhaltet.
Die Bildbeschaffungseinheit 11 beschafft sich ein aufgenommenes Bild (oder ein erstes Bild) von der Kamera 21, die zum Aufnehmen eines Bildes des Fahrers D angeordnet ist. Die Bildbeschaffungseinheit 11 überträgt dann das beschaffte erste Bild an die erste Analyseeinheit 12 und die Auflösungsumwandlungseinheit 13.
Die erste Analyseeinheit 12 analysiert das Gesichtsverhalten des Fahrers D im beschafften ersten Bild, um die ersten Informationen über das Gesichtsverhalten des Fahrers D zu beschaffen. Die ersten Informationen können beliebige Informationen über das Gesichtsverhalten sein, die je nach Ausführung entsprechend bestimmt werden können. Die ersten Informationen können beispielsweise mindestens angeben, ob ein Gesicht erfasst wird, die Gesichtsposition, die Gesichtsausrichtung, die Gesichtsbewegung, die Blickrichtung, die Positionen der Gesichtskomponenten oder das Öffnen oder Schließen der Augen des Fahrers D (Zielperson). Die erste Analyseeinheit 12 kann die nachstehende Konfiguration aufweisen.
3B ist ein schematisches Diagramm der ersten Analyseeinheit 12 nach der vorliegenden Ausführungsform. Wie in 3B dargestellt, enthält die erste Analyseeinheit 12 nach der vorliegenden Ausführungsform einen Gesichtsdetektor 31, einen Gesichtskomponenten-Positionsdetektor 32 und einen Gesichtskomponenten-Zustandsdetektor 33. Der Gesichtskomponenten-Zustandsdetektor 33 beinhaltet einen Augenöffnungs-/Schließdetektor 331, einen Blickdetektor 332 und einen Gesichtsausrichtungsdetektor 333.
Der Gesichtsdetektor 31 analysiert Bilddaten, die das erste Bild darstellen, um das Gesicht oder die Gesichtsposition des Fahrers D im ersten Bild zu erfassen. Der Gesichtskomponenten-Positionsdetektor 32 erfasst die Positionen der Komponenten, die im Gesicht des Fahrers D enthalten sind (wie z. B. die Augen, den Mund, die Nase und die Ohren), die im ersten Bild erfasst wurden. Der Gesichtskomponenten-Positionsdetektor 32 kann auch die Kontur des gesamten oder eines Teils des Gesichts als zusätzliche Gesichtskomponente erfassen.
Der Gesichtskomponenten-Zustandsdetektor 33 schätzt die Zustände der Gesichtskomponenten des Fahrers D ab, für die die Positionen im ersten Bild erfasst wurden. Insbesondere erfasst der Augenöffnungs-/Schließdetektor 331 den Grad der Augenöffnung des Fahrers D. Der Blickdetektor 332 erfasst die Blickrichtung des Fahrers D. Der Gesichtsausrichtungsdetektor 333 erfasst die Gesichtsausrichtung des Fahrers D.
Der Gesichtskomponenten-Zustandsdetektor 33 kann jedoch eine beliebige andere Konfiguration aufweisen. Der Gesichtskomponenten-Zustandsdetektor 33 kann Informationen über andere Zustände der Gesichtskomponenten erfassen. So kann beispielsweise der Gesichtskomponenten-Zustandsdetektor 33 eine Gesichtsbewegung erfassen. Die Analyseergebnisse der ersten Analyseeinheit 12 werden als die ersten Informationen (lokale Informationen) über das Gesichtsverhalten an die Merkmalsvektorerzeugungseinheit 15 übertragen. Wie in 3A dargestellt, können die Analyseergebnisse (erste Informationen) der ersten Analyseeinheit 12 in der Speichereinheit 120 gesammelt werden.
Die Auflösungsumwandlungseinheit 13 verringert eine Auflösung der Bilddaten, die das erste Bild darstellen, um ein aufgenommenes Bild (oder zweites Bild) mit einer niedrigeren Auflösung als das erste Bild zu erzeugen. Das zweite Bild kann in der Speichereinheit 120 zwischengespeichert werden. Die zweite Analyseeinheit 14 analysiert die Körperbewegung des Fahrers D im zweiten Bild mit einer niedrigeren Auflösung, um zweite Informationen über die Körperbewegung des Fahrers zu erhalten.
Die zweiten Informationen können beliebige Informationen über die Körperbewegung des Fahrers sein, die je nach Ausführungsform entsprechend bestimmt werden können. Die zweiten Informationen können beispielsweise die Körperbewegung oder die Haltung des Fahrers D anzeigen. Die Analyseergebnisse von der zweiten Analyseeinheit 14 werden als zweite Informationen (Gesamtinformationen bzw. allgemeine Informationen bzw. globale Informationen) über die Körperbewegung des Fahrers D an die Merkmalsvektorerzeugungseinheit 15 übertragen. Die Analyseergebnisse (zweite Informationen) aus der zweiten Analyseeinheit 14 können in der Speichereinheit 120 gesammelt werden.
Die Merkmalsvektorerzeugungseinheit 15 empfängt die ersten Informationen und die zweiten Informationen und erzeugt einen Merkmalsvektor, der das Gesichtsverhalten und die Körperbewegung des Fahrers D anzeigt. Wie unten beschrieben, werden die ersten Informationen und die zweiten Informationen jeweils durch Merkmalsgrößen dargestellt, die aus den entsprechenden Erkennungsergebnissen gewonnen bzw. beschafft werden. Die Merkmalsgrößen, die die ersten und zweiten Informationen darstellen, können zusammenfassend auch als Bewegungs-Merkmalsgrößen bezeichnet werden. Insbesondere beinhalten die Bewegungs-Merkmalsgrößen sowohl die Informationen über die Gesichtskomponenten des Fahrers D als auch die Informationen über die Körperbewegung des Fahrers D. Die Merkmalsvektorerzeugungseinheit 15 erzeugt einen Merkmalsvektor, der die Bewegungs-Merkmalsgrößen als Elemente enthält.
Die Gewichtungseinheit 16 bestimmt für jedes der Elemente (jede der Merkmalsgrößen) des erzeugten Merkmalsvektors ein Gewicht, das eine Priorität unter den Elementen (Merkmalsgrößen) definiert. Die Gewichte können beliebige, entsprechend ermittelte Werte sein. Die Gewichtungseinheit 16 nach der vorliegenden Ausführungsform bestimmt die Werte der Gewichte auf den Elementen auf Basis der bisherigen Abschätzungsergebnisse des Zustands des Fahrers D aus der Abschätzungseinheit 17 (siehe unten). Die Gewichtungsdaten werden entsprechend in der Speichereinheit 120 gespeichert.
Die Abschätzungseinheit 17 schätzt den Zustand des Fahrers D auf Basis der ersten Informationen und der zweiten Informationen ab. Insbesondere schätzt die Abschätzungseinheit 17 den Zustand des Fahrers D auf Basis eines Zustandsvektors ab, der ein gewichteter Merkmalsvektor ist. Der abzuschätzende Zustand des Fahrers D kann je nach Ausführungsform entsprechend bestimmt werden. So kann beispielsweise die Abschätzungseinheit 17 als Zustand des Fahrers D zumindest abschätzen: aufmerksam nach vorne schauen, sich schläfrig fühlen, zur Seite schauen, Kleidung an- oder ausziehen, ein Telefon bedienen, sich gegen das Fenster oder eine Armlehne lehnen, beim Fahren durch einen Fahrgast oder ein Haustier unterbrochen werden, einen Krankheitsanfall erleiden, zurückschauen, den Kopf auf die Arme stützen, essen und trinken, rauchen, sich schwindlig fühlen, anormale Bewegungen machen, das Auto-Navigationssystem oder das Audiosystem bedienen, Brillen oder Sonnenbrillen an- oder ablegen oder fotografieren.
4 ist eine Tabelle, die exemplarische Kombinationen der Zustände des Fahrers D und Informationen zum Abschätzen der Zustände zeigt. Wie in 4 dargestellt, können die ersten Informationen über das Gesichtsverhalten (lokale Informationen) mit den zweiten Informationen über die Körperbewegung (allgemeine Informationen bzw. globale Informationen) kombiniert werden, um verschiedene Zustände des Fahrers D angemessen abzuschätzen. In 4 zeigt der Kreis an, dass die Informationen dem Abschätzen des Zustands des Zielfahrers dienen sollen, das Dreieck zeigt an, dass die Informationen vorzugsweise zum Abschätzen des Zustands des Zielfahrers verwendet werden können.
5 ist eine Tabelle mit Beispielbedingungen für die Abschätzung des Zustands des Fahrers D. Beispielsweise kann der Fahrer D, der sich schläfrig fühlt, seine oder ihre Augen schließen und seine oder ihre Körperbewegung einstellen. Die Abschätzungseinheit 17 kann somit den von der ersten Analyseeinheit 12 erfassten Grad der Augenöffnung als lokale Informationen sowie Informationen über die von der zweiten Analyseeinheit 14 erfasste Bewegung des Fahrers D als globale Informationen verwenden, um zu bestimmen, ob sich der Fahrer D schläfrig fühlt.
So kann beispielsweise der zur Seite blickende Fahrer D eine von der Vorwärtsrichtung abweichende Gesichtsausrichtung und Blickrichtung haben und seinen Körper in eine andere Richtung als die Vorwärtsrichtung gedreht haben. Somit kann die Abschätzungseinheit 17 Informationen über die Gesichtsausrichtung und den von der ersten Analyseeinheit 12 erfassten Blick als lokale Informationen und Informationen über die von der zweiten Analyseeinheit 14 erfasste Haltung des Fahrers D als globale Informationen verwenden, um festzustellen, ob der Fahrer D zur Seite schaut.
So kann beispielsweise der Fahrer D, der ein mobiles Endgerät bedient (oder telefoniert), eine von der Vorwärtsrichtung abweichende Gesichtsausrichtung und eine entsprechend geänderte Körperhaltung aufweisen. Somit kann die Abschätzungseinheit 17 Informationen über die von der ersten Analyseeinheit 12 erfasste Gesichtsausrichtung als lokale Informationen und Informationen über die von der zweiten Analyseeinheit 14 erfasste Haltung des Fahrers D als globale Informationen verwenden, um festzustellen, ob der Fahrer D ein mobiles Endgerät betreibt.
So kann beispielsweise der Fahrer D, der sich mit einem Ellbogen gegen das Fenster (die Tür) abstützt, sein Gesicht in einer für das Fahren nicht vorgesehenen Position halten, bewegungslos werden und seine oder ihre Haltung verlieren. Somit kann die Abschätzungseinheit 17 Informationen über die von der ersten Analyseeinheit 12 erfasste Gesichtsposition als lokale Informationen und Informationen über die von der zweiten Analyseeinheit 14 erfasste Bewegung und Haltung des Fahrers D als globale Informationen verwenden, um festzustellen, ob sich der Fahrer D abstützend gegen das Fenster lehnt.
Beispielsweise kann der Fahrer D, der beim Fahren durch einen Beifahrer oder ein Haustier gestört wird, eine(n) von der Vorwärtsrichtung abweichende(n) Gesichtsausrichtung und Blick haben und den Körper als Reaktion auf die Störung bewegen und die Haltung ändern, um eine solche Störung zu vermeiden. Die Abschätzungseinheit 17 kann somit Informationen über die Gesichtsausrichtung und die von der ersten Analyseeinheit 12 erfasste Blickrichtung als lokale Informationen und Informationen über die von der zweiten Analyseeinheit 14 erfasste Bewegung und die Haltung des Fahrers D als globale Informationen verwenden, um zu bestimmen, ob der Fahrer D beim Fahren gestört wird.
Beispielsweise kann der Fahrer D, der an einem plötzlichen Krankheitsanfall leidet (wie z. B. Atemnot oder Herzinfarkt), eine(n) von der Vorwärtsrichtung abweichende(n) Gesichtsausrichtung und Blick haben, die Augen schließen und seine Körperhaltung bewegen und ändern, um einen bestimmten Körperteil zu unterdrücken. Die Abschätzungseinheit 17 kann somit von der ersten Analyseeinheit 12 erfasste Informationen über den Grad der Augenöffnung, die Gesichtsausrichtung und den Blick als lokale Informationen und Informationen über die Bewegung und die Haltung des von der zweiten Analyseeinheit 14 erfassten Fahrers D als globale Informationen verwenden, um zu bestimmen, ob der Fahrer D einen plötzlichen Krankheitsanfall erleidet.
Die Funktionen der Zustandsabschätzungsvorrichtung 10 werden in den nachfolgenden Betriebsbeispielen beschrieben. In der vorliegenden Ausführungsform wird jede Funktion der Zustandsabschätzungsvorrichtung 10 durch eine Mehrzweck-CPU implementiert. In einigen Ausführungsformen können einige oder alle Funktionen von einem oder mehreren dedizierten Prozessoren implementiert werden. Für die funktionellen Komponenten der Zustandsabschätzungsvorrichtung 10 können Komponenten je nach Bedarf in verschiedenen Ausführungsformen eliminiert, substituiert oder hinzugefügt werden.
Betriebsbeispiele
Betriebsbeispiele der Zustandsabschätzungsvorrichtung 10 werden nun mit Bezug auf 6 beschrieben. 6 ist ein Flussdiagramm eines Verfahrens, das von der Zustandsabschätzungsvorrichtung 10 durchgeführt wird. Das im Folgenden beschriebene Verfahren zum Abschätzen des Zustands des Fahrers D entspricht dem Zustandsabschätzungsverfahren der beanspruchten Erfindung. Das im Folgenden beschriebene Verfahren ist jedoch nur ein Beispiel, und jeder seiner Prozesse kann auf jede mögliche Weise modifiziert werden. In dem im Folgenden beschriebenen Verfahren können nach Bedarf in verschiedenen Ausführungsformen Schritte eliminiert, ersetzt oder hinzugefügt werden.
Schritt S11
In Schritt S11 fungiert die Steuereinheit 110 zunächst als Bildbeschaffungseinheit 11, um ein aufgenommenes Bild von der Kamera 21 zu erhalten bzw. von dieser zu beschaffen, die zum Aufnehmen eines Bildes des Fahrers D auf dem Fahrersitz des Fahrzeugs C platziert ist. Das aufgenommene Bild kann ein bewegtes Bild oder ein Standbild sein. In der vorliegenden Ausführungsform beschafft sich die Steuereinheit 110 kontinuierlich ein aufgenommenes Bild als Bilddaten von der Kamera 21. Das beschaffte aufgenommene Bild umfasst somit mehrere Einzelbilder.
Schritte S12 bis S14
In den Schritten S12 bis S14 fungiert die Steuereinheit 110 als die erste Analyseeinheit 12, um eine vorgegebene Bildanalyse des beschafften aufgenommenen Bildes (erstes Bild) durchzuführen. Die Steuereinheit 110 analysiert das Gesichtsverhalten des Fahrers D auf Basis des aufgenommenen Bildes, um sich erste Informationen über das Gesichtsverhalten des Fahrers D zu beschaffen.
Genauer gesagt, fungiert die Steuereinheit 110 in Schritt S12 zunächst als der Gesichtsdetektor 31, der in der ersten Analyseeinheit 12 enthalten ist, um das Gesicht des Fahrers D in dem erhaltenen bzw. beschafften aufgenommenen Bild zu erfassen. Das Gesicht kann mit einem bekannten Bildanalyseverfahren erfasst werden. Die Steuereinheit 110 erhält bzw. beschafft sich Informationen darüber, ob das Gesicht erfasst wird und über die Gesichtsposition.
In Schritt S13 bestimmt die Steuereinheit 110, ob das Gesicht auf Basis des in Schritt S12 aufgenommenen Bildes erfasst wird. Wenn das Gesicht erfasst wird, fährt die Steuereinheit 110 mit Schritt S14 fort. Wenn kein Gesicht erfasst wird, überspringt die Steuereinheit 110 Schritt S14 und geht zu Schritt S15 weiter. Wenn kein Gesicht erfasst wird, stellt die Steuereinheit 110 die Erfassungsergebnisse, die die Gesichtsausrichtung, den Grad der Augenöffnung und die Blickrichtung anzeigen, auf Null.
In Schritt S14 fungiert die Steuereinheit 110 als Gesichtskomponenten-Positionsdetektor 32, um die Gesichtskomponenten des Fahrers D (wie Augen, Mund, Nase und Ohren) im erfassten Gesichtsbild zu erfassen. Die Komponenten können mit einer bekannten Bildanalysetechnik erfasst werden. Die Steuereinheit 110 erhält bzw. beschafft sich Informationen über die Positionen der Gesichtskomponenten. Die Steuereinheit 110 fungiert auch als Gesichtskomponenten-Zustandsdetektor 33, um den Zustand jeder erfassten Komponente zu analysieren, um beispielsweise die Gesichtsausrichtung, die Gesichtsbewegung, den Grad der Augenöffnung und die Blickrichtung zu erfassen.
Ein Verfahren zum Erfassen der Gesichtsausrichtung, des Grades der Augenöffnung und der Blickrichtung wird nun mit Bezug auf 7 beschrieben. 7 ist ein schematisches Diagramm, das das Verfahren zum Erfassen der Gesichtsausrichtung, des Grades der Augenöffnung und der Blickrichtung beschreibt. Wie in 7 dargestellt, fungiert die Steuereinheit 110 als Gesichtsausrichtungsdetektor 333, um die Gesichtsausrichtung des Fahrers D auf Basis des aufgenommenen Bildes entlang zweier Achsen, nämlich der vertikalen und horizontalen Achse, auf einer vertikalen Skala von drei und einer horizontalen Skala von fünf, zu erfassen. Die Steuereinheit 110 fungiert auch als Blickdetektor 332, um die Blickrichtung des Fahrers D in gleicher Weise wie die Gesichtsausrichtung oder speziell entlang der beiden Achsen, nämlich der vertikalen und horizontalen Achse, auf einer vertikalen Skala von drei und einer horizontalen Skala von fünf zu erfassen. Die Steuereinheit 110 fungiert ferner als Augenöffnungs-/Schließdetektor 331, um den Grad der Augenöffnung des Fahrers D auf Basis des aufgenommenen Bildes auf einer Skala von zehn zu erfassen.
Auf die vorstehende Weise erhält bzw. beschafft sich die Steuereinheit 110 als erste Informationen Informationen darüber, ob das Gesicht erfasst wird, ferner über die Gesichtsposition, die Gesichtsausrichtung, die Gesichtsbewegung, die Blickrichtung, die Positionen der Gesichtskomponenten und den Grad der Augenöffnung des Fahrers D. Die ersten Informationen können pro Bild erhalten bzw. beschafft werden. Insbesondere kann das erhaltene aufgenommene Bild, das mehrere Einzelbilder enthält, von der Steuereinheit 110 analysiert werden, um das Gesichtsverhalten auf Einzelbildbasis zu erfassen und die ersten Informationen zu erzeugen. In diesem Fall kann die Steuereinheit 110 das Gesichtsverhalten in jedem Einzelbild oder in Intervallen einer vorgegebenen Anzahl von Einzelbildern analysieren. Diese Analyse ermöglicht es, eine leichte Änderung des Gesichtsverhaltens des Fahrers D in jedem Einzelbild zu erkennen und so die ersten Informationen zu erzeugen, die ein detailliertes Gesichtsverhalten des Fahrers D anzeigen. Die Verarbeitung von den Schritten S12 bis S14 nach der vorliegenden Ausführungsform erfolgt unter Verwendung des von der Kamera 21 aufgenommenen Bildes (erstes Bild).
Schritte S15 und S16
Unter Bezugnahme auf 6 fungiert die Steuereinheit 110 in Schritt S15 als Auflösungsumwandlungseinheit 13, um die Auflösung des in Schritt S11 aufgenommenen Bildes zu verringern. Die Steuereinheit 110 bildet somit auf Einzelbildbasis ein aufgenommenes Bild mit einer niedrigeren Auflösung (zweites Bild). Die Auflösung kann mit jeder Technik, die je nach Ausführungsform wählbar ist, verringert werden. So kann beispielsweise die Steuereinheit 110 einen Nearest-Neighbour-Algorithmus, eine bilineare Interpolation oder eine bikubische Interpolation verwenden, um das aufgenommene Bild mit einer niedrigeren Auflösung zu erzeugen.
In Schritt S16 fungiert die Steuereinheit 110 als die zweite Analyseeinheit 14, um die Körperbewegung des Fahrers D auf Basis des aufgenommenen Bildes mit einer niedrigeren Auflösung (zweites Bild) zu analysieren, um die zweiten Informationen über die Körperbewegung des Fahrers D zu erhalten bzw. sich diese zu beschaffen. Die zweiten Informationen können beispielsweise Informationen über die Haltung des Fahrers D, die Bewegung des oberen Körpers und die Anwesenheit des Fahrers D beinhalten.
Ein Verfahren zum Erfassen der zweiten Informationen über die Körperbewegung des Fahrers D wird nun mit Bezug auf 8 beschrieben. 8 ist ein schematisches Diagramm, das einen Prozess zum Erfassen der zweiten Informationen aus dem aufgenommenen Bild mit einer niedrigeren Auflösung beschreibt. In dem in 8 gezeigten Beispiel extrahiert die Steuereinheit 110 die zweiten Informationen aus dem zweiten Bild als Bildmerkmalsgrößen.
Genauer gesagt, extrahiert die Steuereinheit 110 Kanten im zweiten Bild auf Basis der Leuchtdichte jedes Pixels. Die Kanten können mit einem vordefinierten (z. B. 3 × 3) Bildfilter extrahiert werden. Die Kanten können auch mit einem Learner (z. B. einem neuronalen Netzwerk) extrahiert werden, der die Kantenerkennung durch maschinelles Lernen gelernt hat. Die Steuereinheit 110 kann die Leuchtdichte jedes Pixels eines zweiten Bildes in einen solchen Bildfilter oder einen Learner eingeben, um die im zweiten Bild enthaltenen Kanten zu erfassen.
Die Steuereinheit 110 vergleicht dann die Informationen über die Leuchtdichte und die extrahierten Kanten des dem aktuellen Einzelbild entsprechenden zweiten Bildes mit den Informationen über die Leuchtdichte und die extrahierten Kanten eines vorhergehenden Einzelbildes, um die Differenz zwischen den Bildern zu bestimmen. Das vorhergehende Einzelbild bezieht sich auf ein Einzelbild, das dem aktuellen Einzelbild um eine vorgegebene Anzahl (z. B. eins) von Einzelbildern vorausgeht. Durch den Vergleich beschafft sich die Steuereinheit 110 als Bildmerkmalsgrößen (zweite Informationen) vier Arten von Informationen, oder insbesondere Leuchtdichteinformationen über das aktuelle Einzelbild, Kanteninformationen, die die Kantenpositionen im aktuellen Einzelbild anzeigen, Leuchtdichtedifferenzinformationen, die im Vergleich zum vorhergehenden Einzelbild beschafft werden, und Kantendifferenzinformationen, die im Vergleich zum vorhergehenden Einzelbild beschafft werden. Die Leuchtdichteinformationen und die Kanteninformationen zeigen hauptsächlich die Haltung des Fahrers D und die Anwesenheit des Fahrers D an. Die Leuchtdichtedifferenzinformationen und die Kantendifferenzinformationen zeigen hauptsächlich die Bewegung des Fahrers D (Oberkörper) an.
Zusätzlich zu den oben genannten Kantenpositionen kann sich die Steuereinheit 110 auch Bildmerkmalsgrößen über die Kantenstärke und lokale Frequenzkomponenten eines Bildes beschaffen. Die Kantenstärke bezieht sich auf den Grad der Variation der Leuchtdichte entlang und in der Nähe der in einem Bild enthaltenen Kanten. Die lokalen Frequenzkomponenten eines Bildes beziehen sich auf Bildmerkmalsgrößen, die durch die Bildverarbeitung des Bildes erhalten werden, wie z. B. den Gabor-Filter, den Sobel-Filter, den Laplace-Filter, den Canny-Kantendetektor und den Wavelet-Filter. Die lokalen Frequenzkomponenten eines Bildes können auch Bildmerkmalsgrößen sein, die durch eine andere Bildverarbeitung des Bildes beschafft werden, wie beispielsweise die Bildverarbeitung durch einen durch maschinelles Lernen vorkonzipierten Filter. Die resultierenden zweiten Informationen zeigen den Körperzustand des Fahrers D unabhängig von der Körpergröße des Fahrers D oder der durch einen verschiebbaren Fahrersitz veränderbaren Position des Fahrers D angemessen an.
In der vorliegenden Ausführungsform beinhaltet das aufgenommene Bild (erstes Bild) mehrere Einzelbilder, und somit beinhaltet das aufgenommene Bild mit einer niedrigeren Auflösung (zweites Bild) auch mehrere Einzelbilder. Die Steuereinheit 110 analysiert die Körperbewegung in zwei oder mehr Einzelbildern, die im zweiten Bild enthalten sind, um die zweiten Informationen zu beschaffen, wie beispielsweise die Leuchtdichtedifferenzinformationen und die Kantendifferenzinformationen. Die Steuereinheit 110 kann selektiv Einzelbilder, die zur Berechnung der Differenzen verwendet werden sollen, in der Speichereinheit 120 oder im RAM speichern. Der Speicher speichert somit kein ungenutztes Einzelbild und ermöglicht eine effiziente Nutzung der Kapazität. Mehrere Einzelbilder, die zur Analyse der Körperbewegung verwendet werden, können zeitlich aneinandergrenzen. Die Körperbewegung des Fahrers D kann sich jedoch langsamer ändern als die Veränderung der einzelnen Gesichtskomponenten. Somit können mehrere Einzelbilder in vorgegebenen Zeitabständen effizient genutzt werden, um die Körperbewegung des Fahrers D zu analysieren.
Ein aufgenommenes Bild kann die Körperbewegung des Fahrers D beinhalten, die größer erscheint als das Gesichtsverhalten. Somit kann das aufgenommene Bild mit einer niedrigeren Auflösung als das aufgenommene Bild, das zum Beschaffen der ersten Informationen über das Gesichtsverhalten in den Schritten S12 bis S14 verwendet wird, dazu verwendet werden, die zweiten Informationen über die Körperbewegung in Schritt S16 zu beschaffen. In der vorliegenden Ausführungsform führt die Steuereinheit 110 somit Schritt S15 vor Schritt S16 aus, um ein aufgenommenes Bild (zweites Bild) mit einer niedrigeren Auflösung als das aufgenommene Bild (erstes Bild) zu beschaffen, das zum Beschaffen der ersten Informationen über das Gesichtsverhalten verwendet wird. Die Steuereinheit 110 verwendet dann das aufgenommene Bild mit einer niedrigeren Auflösung (zweites Bild), um die zweiten Informationen über die Körperbewegung des Fahrers D zu beschaffen. Dieser Prozess reduziert die Berechnung zum Beschaffen der zweiten Informationen und die Verarbeitungslast auf die Steuereinheit 110 in Schritt S16.
Die Schritte S15 und S16 können parallel zu den Schritten S12 bis S14 durchgeführt werden. Die Schritte S15 und S16 können vor den Schritten S12 bis S14 durchgeführt werden. Die Schritte S15 und S16 können zwischen den Schritten S12 und S13 oder den Schritten S13 und S14 durchgeführt werden. Schritt S15 kann vor Schritt S12, S13 oder S14 durchgeführt werden, und Schritt S16 kann nach den Schritten S12, S13 oder S14 ausgeführt werden. Mit anderen Worten, die Schritte S15 und S16 können unabhängig von den Schritten S12 bis S14 durchgeführt werden.
Schritt S17
Unter Bezugnahme auf 6 fungiert die Steuereinheit 110 in Schritt S17 als Merkmalsvektor-Erzeugungseinheit 15, um aus den beschafften ersten und zweiten Informationen einen Merkmalsvektor zu erzeugen.
Ein exemplarischer Prozess zum Erzeugen eines Merkmalsvektors wird nun mit Bezug auf 9 beschrieben. 9 ist ein schematisches Diagramm, das den Prozess zur Berechnung der Elemente (Merkmalsgrößen) in einem Merkmalsvektor beschreibt. Wie in 9 dargestellt, nimmt die Kamera 21 kontinuierlich ein Bild auf. Das in Schritt S11 aufgenommene Bild (erstes Bild) enthält somit mehrere Einzelbilder zum Zeitpunkt t = 0, 1, ..., T.
In den Schritten S12 bis S14 fungiert die Steuereinheit 110 als erste Analyseeinheit 12, um das Gesichtsverhalten im erhaltenen ersten Bild auf Einzelbildbasis zu analysieren. Die Steuereinheit 110 berechnet somit als erste Informationen Merkmalsgrößen (Histogramm), die jeweils anzeigen, ob das Gesicht des Fahrers D erfasst wird, ferner die Gesichtsposition, die Gesichtsausrichtung, die Gesichtsbewegung, die Blickrichtung, die Gesichtskomponentenpositionen und den Grad der Augenöffnung des Fahrers D.
In Schritt S15 fungiert die Steuereinheit 110 als Auflösungsumwandlungseinheit 13, um durch Verringern der Auflösung des ersten Bildes ein zweites Bild zu erzeugen. In Schritt S16 fungiert die Steuereinheit 110 als zweite Analyseeinheit 14, um Bildmerkmalgrößen als zweite Informationen aus zwei oder mehr Einzelbildern zu extrahieren, die in dem gebildeten zweiten Bild enthalten sind.
Die Steuereinheit 110 setzt die als erste und zweite Informationen beschafften Merkmalsgrößen auf die Elemente in einem Merkmalsvektor ein. Die Steuereinheit 110 erzeugt somit den Merkmalsvektor, der das Gesichtsverhalten und die Körperbewegung des Fahrers D anzeigt.
Schritte S18 bis S20
Unter Bezugnahme auf 6 fungiert die Steuereinheit 110 in Schritt S18 als Gewichtungseinheit 16, um für jedes Element (jede Merkmalsgröße) im Merkmalsvektor ein Gewicht zu bestimmen, das eine Priorität unter den Elementen definiert. In Schritt S19 schätzt die Steuereinheit 110 den Zustand des Fahrers D auf Basis des Zustandsvektors ab, der durch Anwenden des bestimmten Gewichts auf den Merkmalsvektor beschafft wird, oder genauer gesagt der mit dem bestimmten Gewicht gewichteten Merkmalsgrößenwerte. Wie in den 4 und 5 dargestellt, kann die Steuereinheit 110 als Zustand des Fahrers D beispielsweise zumindest abschätzen: aufmerksam vorwärts schauen, sich schläfrig fühlen, zur Seite schauen, Kleidung an- oder ablegen, ein Telefon bedienen, sich gegen das Fenster oder eine Armlehne lehnen, beim Fahren durch einen Beifahrer oder ein Haustier unterbrochen werden, einen Krankheitsanfall erleiden, rückwärts schauen, den Kopf auf die Arme stützen, essen und trinken, rauchen, sich schwindlig fühlen, sich anormal bewegen, das Auto-Navigationssystem oder das Audiosystem bedienen, eine Brille oder Sonnenbrille an- oder ablegen oder fotografieren.
In Schritt S20 bestimmt die Steuereinheit 110 als Reaktion auf einen (nicht dargestellten) Befehl des automatischen Fahrsystems 20, ob der Zustand des Fahrers D weiterhin abgeschätzt werden soll. Wenn bestimmt wird, das Abschätzen des Zustands des Fahrers D abzubrechen, beendet die Steuereinheit 110 die mit diesem Betriebsbeispiel verbundene Verarbeitung. So bestimmt beispielsweise die Steuereinheit 110, dass sie die Abschätzung des Zustands des Fahrers D abbricht, wenn das Fahrzeug C stehenbleibt, und beendet die Überwachung des Zustands des Fahrers D. Wenn bestimmt wird, den Zustand des Fahrers D weiter abzuschätzen, wiederholt die Steuereinheit 110 die Verarbeitung in Schritt S11 und den nachfolgenden Schritten. So bestimmt beispielsweise die Steuereinheit 110, den Zustand des Fahrers D weiter abzuschätzen, wenn das Fahrzeug C die automatische Fahrt fortsetzt, und wiederholt die Verarbeitung in Schritt S11 und den nachfolgenden Schritten, um den Zustand des Fahrers D kontinuierlich zu überwachen.
Während des Prozesses der wiederholten Abschätzung des Zustands des Fahrers D verwendet die Steuereinheit 110 in Schritt S18 die bisherigen Abschätzungsergebnisse des Zustands des Fahrers D, die in Schritt S19 beschafft wurden, um die Werte der Gewichte auf den Elementen zu bestimmen. Genauer gesagt, verwendet die Steuereinheit 110 die Abschätzungsergebnisse des Zustands des Fahrers D, um das Gewicht auf jeder Merkmalsgröße zu bestimmen, um die Elemente (z. B. die Gesichtskomponenten, die Körperbewegung oder die Haltung) zu priorisieren, die hauptsächlich im Zyklus neben dem aktuellen Ermittlungszyklus verwendet werden, um den Zustand des Fahrers D abzuschätzen.
Wenn beispielsweise festgestellt wird, dass der Fahrer D zu einem Zeitpunkt zurückblickt, enthält das aufgenommene erste Bild wahrscheinlich fast keine Gesichtskomponenten des Fahrers D, wie beispielsweise die Augen, kann aber die Kontur des Gesichts des Fahrers D für eine Weile nach der Bestimmung beinhalten. In diesem Fall bestimmt die Steuereinheit 110, dass der Zustand des Fahrers D im nächsten Zyklus wahrscheinlich ein Vorwärtsblicken sein wird. Die Steuereinheit 110 kann das Gewicht auf die Merkmalsgröße, die das Vorhandensein des Gesichts anzeigt, erhöhen und die Gewichte auf den Merkmalsgrößen, die die Blickrichtung und den Grad der Augenöffnung angeben, reduzieren.
Während der Änderung der Gewichtungswerte in Schritt S18 kann die Steuereinheit 110 die Abschätzungsverarbeitung in Schritt S19 wiederholen, bis das Abschätzungsergebnis des Zustands des Fahrers D eine vorgegebene Wahrscheinlichkeit überschreitet. Der Schwellenwert für die Wahrscheinlichkeit kann voreingestellt und in der Speichereinheit 120 gespeichert sein oder von einem Benutzer eingestellt werden.
Das Verfahren zum Ändern der Gewichte für den aktuellen Zyklus auf Basis des im vorhergehenden Zyklus beschafften Abschätzungsergebnisses wird nun anhand der 10 und 11 ausführlich beschrieben. 10 ist ein Diagramm, das ein Verfahren zum Abschätzen des Zustands des Fahrers auf Basis der einzelnen Merkmalsgrößen und ein Verfahren zum Ändern des Gewichts auf den einzelnen Merkmalsgrößen in Entsprechung zum Abschätzungsergebnis beschreibt. 11 ist ein Diagramm, das die Gewichtung beschreibt, die sich aus dem festgestellten Zurückblicken des Fahrers D ergibt.
Wie in 10 dargestellt, beschafft sich die Steuereinheit 110 in Schritt S17 einen Merkmalsvektor x. Der Merkmalsvektor x enthält als Elemente Merkmalsgrößen, die beispielsweise dem Vorhandensein des Gesichts, der Gesichtsausrichtung, der Blickrichtung und dem Grad der Augenöffnung zugeordnet sind (erste Informationen), und Merkmalsgrößen, die beispielsweise der Körperbewegung und der Haltung zugeordnet sind (zweite Informationen). Die Steuereinheit 110 gewichtet die Elemente im Merkmalsvektor x, oder genauer gesagt, multipliziert den Merkmalsvektor x mit dem Gewichtsvektor W, um den Zustandsvektor y (= Wx) zu berechnen. Jedes Element im Gewichtsvektor W hat ein Gewicht, das für die entsprechende Merkmalsgröße definiert ist. In Schritt S19 schätzt die Steuereinheit 110 den Zustand des Fahrers D auf Basis des Zustandsvektors y ab.
In dem in 10 dargestellten Beispiel gibt die Steuereinheit 110 als Abschätzungsergebnis ArgMax(y(i)) aus, das der Index des größten Elementwertes der Elemente im Zustandsvektor y ist. Für y = (y(1), y(2), y(3)) bezeichnet ArgMax(y(i)) den Wert i, der dem größten y(i) (i = 1, 2, 3) entspricht. Wenn beispielsweise der Zustandsvektor y = (0,3, 0,5, 0,1), ArgMax(y(i)) = 2.
In diesem Beispiel sind die Elemente im Zustandsvektor y den Zuständen des Fahrers D zugeordnet. Wenn beispielsweise das erste Element dem aufmerksamen Vorwärtsblicken zugeordnet ist, das zweite Element dem Gefühl der Schläfrigkeit zugeordnet ist und das dritte Element dem Blick zur Seite, zeigt die Ausgabe ArgMax(y(i)) = 2 das Abschätzungsergebnis des Fahrers D als sich schläfrig fühlend an.
Auf Basis des Abschätzungsergebnisses ändert die Steuereinheit 110 den Wert jedes Elements in dem im nächsten Zyklus verwendeten Gewichtsvektor W. Der Wert jedes Elements im Gewichtsvektor W, der dem Abschätzungsergebnis entspricht, kann je nach Ausführungsform entsprechend bestimmt werden. Der Wert jedes Elements im Gewichtsvektor W kann auch durch maschinelles Lernen wie z. B. Verstärkungslernen bestimmt werden. Da keine früheren Abschätzungsergebnisse vorliegen, kann die Steuereinheit 110 eine entsprechende Gewichtung mit vordefinierten Anfangswerten durchführen.
So kann beispielsweise der Wert von ArgMax(y(i)) darauf hinweisen, dass der Fahrer D zu einem Zeitpunkt zurückblickt. Die nächste Handlung des Fahrers D wird wahrscheinlich sein, vorwärts zu blicken. In diesem Fall bestimmt die Steuereinheit 110, dass sie die Gesichtskomponenten-Merkmalsgrößen, die beispielsweise mit der Gesichtsausrichtung, der Blickrichtung und dem Grad der Augenöffnung verbunden sind, nicht verwendet, um den Zustand des Fahrers D abzuschätzen, bis das Gesicht des Fahrers D in einem aufgenommenen Bild erfasst wird.
So kann die Steuereinheit 110, wenn sie feststellt, dass der Fahrer D zurückschaut, wie in 11 dargestellt, die Gewichte auf den Gesichtskomponenten-Merkmalsgrößen, die beispielsweise der Gesichtsausrichtung, der Blickrichtung und dem Grad der Augenöffnung zugeordnet sind, in Schritt S18 im nächsten und in nachfolgenden Zyklen schrittweise reduzieren. Im Gegensatz dazu kann die Steuereinheit 110 die Gewichte auf Gesichtspräsenz-Merkmalsgrößen schrittweise erhöhen. Dieser Prozess kann verhindern, dass die Gesichtskomponenten-Merkmalsgrößen die Abschätzung des Zustands des Fahrers D im nächsten und nachfolgenden Zyklus beeinflussen, bis festgestellt wird, dass der Fahrer D nach vorne schaut. Nachdem bestimmt wurde, dass der Fahrer D nach vorne schaut, kann das beschaffte aufgenommene Bild die Gesichtskomponenten des Fahrers D zeigen. Wenn also bestimmt wird, dass der Fahrer D nach vorne schaut, kann die Steuereinheit 110 die Gewichte auf den Gesichtskomponenten-Merkmalsgrößen, die beispielsweise mit der Gesichtsausrichtung, der Blickrichtung und dem Grad der Augenöffnung verbunden sind, in Schritt S18 im nächsten und nachfolgenden Zyklen erhöhen.
Wenn der Gewichtswert Null oder kleiner als ein Schwellenwert ist, kann die Steuereinheit 110 die Erfassung der entsprechenden Merkmalsgröße vorübergehend einstellen. In dem obigen Beispiel der Veröffentlichung kann, wenn die Gewichte auf den Gesichtskomponenten-Merkmalsgrößen, die beispielsweise der Gesichtsausrichtung, der Blickrichtung und dem Grad der Augenöffnung zugeordnet sind, Null werden, die Steuereinheit 110 die Gesichtsausrichtung, die Blickrichtung und den Grad der Augenöffnung in Schritt S14 nicht erfassen. Dieser Prozess reduziert die Berechnung für die gesamte Verarbeitung und beschleunigt die Verarbeitungsgeschwindigkeit der Abschätzung des Zustands des Fahrers D.
Konkrete Beispiele für die bei der wiederholten Abarbeitung der Schritte S11 bis S20 erfassten Merkmalsgrößen und die nach den erfassten Merkmalsgrößen abgeschätzten Zustände des Fahrers D werden nun mit Bezug auf die 12 und 13 beschrieben. 12 ist eine Tabelle mit exemplarischen Merkmalsgrößen (Zeitreiheninformationen), die erfasst werden, wenn der Fahrer D den Kopf auf die Arme stützt. 13 ist eine Tabelle mit exemplarischen Merkmalsgrößen (Zeitreiheninformationen), die erfasst werden, wenn der Fahrer D, der durch ein Objekt auf der rechten Seite abgelenkt wird, seine Konzentration allmählich verringert.
Das in 12 gezeigte Beispiel wird zunächst beschrieben. Wenn der Fahrer D den Kopf auf den Armen abstützt, kann das erfasste Gesicht verdeckt sein. Der Körper wird sich wahrscheinlich stark bewegen und dann anhalten, und dann wird die Haltung wahrscheinlich von der normalen Fahrhaltung zu einer Vorwärtsneigung wechseln. Die Steuereinheit 110 stellt also den Gewichtsvektor W entsprechend ein und erfasst dann eine solche Änderung in Schritt S19, um zu bestimmen, dass der Fahrer D den Kopf auf die Arme stützt.
In dem in 12 dargestellten Beispiel ist das Gesicht des im Einzelbild Nr. 4 erfassten Fahrers D zwischen den Einzelbildern Nr. 4 und Nr. 5 verborgen (unerfasst). Die Körperbewegung des Fahrers D nimmt in den Einzelbildern Nr. 3 bis Nr. 4 zu und stoppt in Einzelbild Nr. 6. Die Haltung des Fahrers D wechselt von der normalen Fahrhaltung zu einer Vorwärtsneigung zwischen den Einzelbildern Nr. 2 bis Nr. 3. Die Steuereinheit 110 kann diese Änderungen auf Basis des Zustandsvektors y erfassen, um zu bestimmen, dass der Fahrer D den Kopf in den Einzelbildern Nr. 3 bis Nr. 6 auf den Armen abgestützt hat.
Es folgt eine Beschreibung des in 13 gezeigten Beispiels. In 13 ist ein Beispiel dargestellt, in dem der Fahrer D seine Konzentration auf das Fahren allmählich verringert. Wenn sich der Fahrer D auf das Fahren konzentriert, bewegt der Fahrer D den Körper wenig und blickt nach vorne. Wenn sich der Fahrer D demgegenüber weniger auf das Fahren konzentriert, dreht der Fahrer D das Gesicht oder den Blick in eine andere Richtung als nach vorne und bewegt den Körper stark. Die Steuereinheit 110 kann den Gewichtsvektor W entsprechend einstellen und in Schritt S19 den Konzentrationsgrad beim Fahren als Zustand des Fahrers D auf Basis der mit der Gesichtsausrichtung, der Blickrichtung und der Körperbewegung des Fahrers D verbundenen Merkmalsgrößen abschätzen.
In dem in 13 gezeigten Beispiel dreht der nach vorne blickende Fahrer D das Gesicht zwischen den Einzelbildern Nr. 3 und Nr. 4 nach rechts. Der Vorwärtsblick des Fahrers D dreht sich im Einzelbild Nr. 2 bis Nr. 4 nach rechts und kehrt im Einzelbild Nr. 6 vorübergehend in Vorwärtsrichtung zurück, bevor er sich im Einzelbild Nr. 7 wieder nach rechts wendet. Die Bewegung des Fahrers D nimmt zwischen den Einzelbildern Nr. 4 und Nr. 5 zu. Die Steuereinheit 110 kann diese Änderungen auf Basis des Zustandsvektors y erfassen, um zu bestimmen, dass der Fahrer D allmählich durch ein Objekt auf der rechten Seite ab dem Einzelbild Nr. 2 abgelenkt wird, um die Haltung allmählich nach rechts zu drehen und seine Konzentration zu verringern.
Die Steuereinheit 110 überträgt das Abschätzungsergebnis an die automatische Fahrunterstützungsvorrichtung 22. Die automatische Fahrunterstützungsvorrichtung 22 verwendet das Abschätzungsergebnis der Zustandsabschätzungsvorrichtung 10, um den automatischen Fahrbetrieb zu steuern. Wenn beispielsweise festgestellt wird, dass der Fahrer D einen plötzlichen Krankheitsanfall erleidet, kann die automatische Fahrunterstützungsvorrichtung 22 den Betrieb des Fahrzeugs C insofern steuern, als sie vom manuellen Fahrmodus in den automatischen Fahrmodus wechselt und das Fahrzeug C an einen sicheren Ort (z. B. ein nahegelegenes Krankenhaus, einen nahegelegenen Parkplatz) bringt, bevor es anhält.
Vorteile und Wirkungen
Wie vorstehend beschrieben, beschafft sich die Zustandsabschätzungsvorrichtung 10 nach der vorliegenden Ausführungsform in den Schritten S12 bis S14 erste Informationen über das Gesichtsverhalten des Fahrers D auf Basis des aufgenommenen Bildes (erstes Bild), das von der Kamera 21 erhalten bzw. beschafft wurde, die zum Erfassen eines Bildes des Fahrers D platziert wurde. Die Zustandsabschätzungsvorrichtung 10 beschafft sich in Schritt S16 auch zweite Informationen über die Körperbewegung des Fahrers D auf Basis eines aufgenommenen Bildes mit einer niedrigeren Auflösung (zweites Bild). Die Zustandsabschätzungsvorrichtung 10 schätzt dann in Schritt S19 den Zustand des Fahrers D auf Basis der beschafften ersten und zweiten Informationen ab.
Somit verwendet die Vorrichtung nach der vorliegenden Ausführungsform lokale Informationen (erste Informationen) über das Gesichtsverhalten des Fahrers D sowie allgemeine bzw. globale Informationen (zweite Informationen) über die Körperbewegung des Fahrers D, um den Zustand des Fahrers D abzuschätzen. Die Vorrichtung nach der vorliegenden Ausführungsform kann somit verschiedene mögliche Zustände des Fahrers D abschätzen, wie in den 4, 5, 12 und 13 dargestellt.
In Schritt S18 verwendet die Steuereinheit 110 in Wiederholung der Verarbeitung in den Schritten S11 bis S20 das Abschätzungsergebnis aus dem früheren Zyklus, um die Elementwerte des auf den Merkmalsvektor x angewandten Gewichtsvektors W zu ändern, um die Elementwerte in der Abschätzung im aktuellen Zyklus zu verwenden. Die Vorrichtung nach der vorliegenden Ausführungsform kann somit verschiedene Zustände des Fahrers D genau abschätzen.
Ein aufgenommenes Bild kann die Körperbewegung beinhalten, die größer erscheint als das Gesichtsverhalten. Die Körperbewegung kann somit ausreichend analysiert werden, indem ein aufgenommenes Bild mit einer niedrigeren Auflösung als das aufgenommene Bild zur Analyse des Gesichtsverhaltens verwendet wird. Die Vorrichtung nach der vorliegenden Ausführungsform verwendet das von der Kamera 21 aufgenommene Bild (erstes Bild) zur Analyse des Gesichtsverhaltens und ein anderes Bild (zweites Bild), das durch Verringern der Auflösung des von der Kamera 21 aufgenommenen Bildes beschafft wird, um die Körperbewegung zu analysieren. Dies reduziert die Berechnung zur Analyse der Körperbewegung und die Belastung des Prozessors, ohne die Genauigkeit der Zustandsabschätzung des Fahrers D zu beeinträchtigen. Die Vorrichtung nach der vorliegenden Ausführungsform schätzt somit präzise verschiedene Zustände des Fahrers D mit hoher Geschwindigkeit mit geringer Belastung ab.
Modifikationen
Die oben näher beschriebenen Ausführungsformen der vorliegenden Erfindung sind in jeder Hinsicht nur Beispiele für die vorliegende Erfindung. Die Ausführungsformen können unterschiedlich modifiziert oder geändert werden, ohne aus dem Geltungsbereich der Erfindung zu treten. So können beispielsweise die Ausführungsformen in der folgenden Form geändert werden. Im Folgenden werden die gleichen Komponenten wie die in den obigen Ausführungsformen mit den gleichen Bezugszeichen markiert, und die Vorgänge, die mit denen in den obigen Ausführungsformen identisch sind, werden nicht beschrieben. Die nachstehend beschriebenen Modifikationen können je nach Bedarf kombiniert werden.
4.1 In der obigen Ausführungsform beinhalten die ersten Informationen Merkmalsgrößen, die darauf Bezug nehmen, ob das Gesicht des Fahrers D erfasst wird, ferner die Gesichtsposition, die Gesichtsausrichtung, die Gesichtsbewegung, die Blickrichtung, die Gesichtskomponentenpositionen und den Grad der Augenöffnung des Fahrers D. Die zweiten Informationen enthalten Merkmalsgrößen, die den Leuchtdichteinformationen auf dem aktuellen Einzelbild, den Kanteninformationen, die die Kantenpositionen im aktuellen Einzelbild angeben, den im Vergleich zum vorhergehenden Einzelbild beschafften Leuchtdichtedifferenzinformationen und den im Vergleich zum vorhergehenden Einzelbild beschafften Kantendifferenzinformationen zugeordnet sind. Die ersten Informationen und die zweiten Informationen können jedoch jeweils eine beliebige Anzahl von Merkmalsgrößen beinhalten, die je nach Ausführungsform entsprechend bestimmt werden. Die ersten Informationen und die zweiten Informationen können jeweils durch eine oder mehrere Merkmalsgrößen (Bewegungsmerkmalgrößen) dargestellt werden. Die ersten Informationen und die zweiten Informationen können in jeder beliebigen Form vorliegen, die je nach Ausführungsform entsprechend bestimmt wird. Die ersten Informationen können Informationen sein, die mindestens Folgendem zugeordnet sind: ob das Gesicht des Fahrers D erfasst wird, der Gesichtsposition, der Gesichtsausrichtung, der Gesichtsbewegung, der Blickrichtung, den Gesichtskomponentenpositionen oder dem Grad der Augenöffnung des Fahrers D. Die zweiten Informationen können Merkmalsgrößen sein, die mindestens Kantenpositionen, Kantenstärken oder lokale Frequenzkomponenten eines aus dem zweiten Bild extrahierten Bildes zugeordnet sind. Die ersten Informationen und die zweiten Informationen können jeweils andere Merkmalsgrößen und Informationen als die in der obigen Ausführungsform beinhalten.
4.2 In der obigen Ausführungsform verwendet die Steuereinheit 110 das zweite Bild mit einer niedrigeren Auflösung, um die Körperbewegung des Fahrers D zu analysieren (Schritt S16). Die Körperbewegung kann aber auch auf andere Weise analysiert werden, z. B. unter Verwendung des ersten von der Kamera 21 aufgenommenen Bildes. In diesem Fall kann die Auflösungsumwandlungseinheit 13 aus den vorstehend beschriebenen Funktionskomponenten und der Schritt S15 aus dem vorstehend beschriebenen Verfahren entfernt werden.
4.3 Die Gesichtsverhaltensanalyse in den Schritten S12 bis S14, die Körperbewegungsanalyse in Schritt S16, die Gewichtsbestimmung in Schritt S18 und die Abschätzung des Zustands des Fahrers D in Schritt S19 können jeweils mit einem Learner (z. B. neuronales Netzwerk) durchgeführt werden, der die entsprechende Verarbeitung durch maschinelles Lernen gelernt hat. Um das Gesichtsverhalten und die Körperbewegung im aufgenommenen Bild zu analysieren, kann der Learner beispielsweise ein neuronales Faltungsnetzwerk sein, das Faltungsschichten im Wechsel mit Pooling-Schichten beinhaltet. Um die bisherigen Abschätzungsergebnisse zu verwenden, kann der Learner beispielsweise ein wiederkehrendes neuronales Netzwerk mit einer internen Schleife sein, die einen Pfad von einer mittleren Schicht zu einer Eingabeschicht beinhaltet.
14 ist ein Diagramm, das die Verarbeitung durch eine exemplarische zweite Analyseeinheit 14 mit einem rekurrenten neuronalen Netz beschreibt. Das rekurrente neuronale Netz für die zweite Analyseeinheit 14 ist ein mehrschichtiges neuronales Netz, das für Deep Learning verwendet wird. In dem in 14 dargestellten Beispiel gibt die Steuereinheit 110 die Einzelbilder eines zweiten Bildes, das zum Zeitpunkt t = 0, 1, ..., T-1 erhalten wurde, und T in eine Eingangsschicht des neuronalen Netzwerks ein. Die Steuereinheit 110 bestimmt dann die neuronale Entladung in jeder Schicht, ausgehend von der Eingangsschicht. Die Steuereinheit 110 erhält somit Ausgaben, die die Analyseergebnisse der Körperbewegung aus dem neuronalen Netzwerk anzeigen.
In diesem neuronalen Netzwerk kehrt die Ausgabe aus der Mittelschicht zwischen der Eingabeschicht und der Ausgabeschicht zum Eingang der Mittelschicht zurück, und somit wird die Ausgabe der Mittelschicht zum Zeitpunkt t1 als Eingabe in die Mittelschicht zum Zeitpunkt t1 + 1 verwendet. Dadurch können die bisherigen Analyseergebnisse für die aktuelle Analyse verwendet werden, was die Genauigkeit bei der Analyse der Körperbewegung des Fahrers D erhöht.
4.4 In der obigen Ausführungsform beinhalten die abzuschätzenden Zustände des Fahrers D das aufmerksame Vorwärtsblicken, das Gefühl der Schläfrigkeit, das Zurseiteblicken, das An- und Ausziehen von Kleidung, das Bedienen eines Telefons, das Abstützen am Fenster oder einer Armlehne, das Unterbrochenwerden beim Fahren durch einen Beifahrer oder ein Haustier, das Erleiden eines Krankheitsanfalls, das Zurückblicken, das Abstützen des Kopfes auf den Armen, das Essen und Trinken, das Rauchen, das Schwindelgefühl, das Ausführen anormaler Bewegungen, das Bedienen des Auto-Navigationssystems oder des Audiosystems, das An- und Ablegen von Brillen oder Sonnenbrillen und das Fotografieren. Die abzuschätzenden Zustände des Fahrers D beinhalten jedoch auch alle anderen Zustände, die je nach Ausführungsform entsprechend ausgewählt werden. So kann beispielsweise die Steuereinheit 110 andere Zustände aufweisen, wie z. B. Einschlafen und genaues Beobachten eines Monitors als den abzuschätzenden Zustand des Fahrers D. Die Zustandsabschätzungsvorrichtung 10 kann solche Zustände auf einem (nicht dargestellten) Display anzeigen und die Auswahl eines der abzuschätzenden Zustände empfangen.
4.5 In der obigen Ausführungsform erfasst die Steuereinheit 110 in den Schritten S12 bis S14 das Gesicht und die Gesichtskomponenten des Fahrers D, um die Gesichtsausrichtung, die Blickrichtung (eine Änderung des Blicks) und den Grad der Augenöffnung des Fahrers D zu erfassen. Das zu erfassende Gesichtsverhalten kann jedoch ein anderes Gesichtsverhalten sein, das je nach Ausführungsform entsprechend ausgewählt wird. So kann die Steuereinheit 110 beispielsweise die Blinzelzahl und die Atemfrequenz des Fahrers D als Gesichtsinformation erhalten. In anderen Beispielen kann die Steuereinheit 110 neben den ersten Informationen und den zweiten Informationen auch Vitalinformationen wie den Puls verwenden, um den Zustand des Fahrers abzuschätzen.
4.6 In der obigen Ausführungsform wird die Zustandsabschätzungsvorrichtung 10, wie in den 1 und 3A dargestellt, im automatischen Fahrsystem 20 verwendet, einschließlich der automatischen Fahrunterstützungsvorrichtung 22, die das automatische Fahren des Fahrzeugs C steuert. Die Zustandsabschätzungsvorrichtung 10 kann jedoch andere Anwendungen aufweisen, die je nach Ausführungsform entsprechend ausgewählt werden.
So kann die Zustandsabschätzungsvorrichtung 10 beispielsweise, wie in 15 dargestellt, in einem Fahrzeugsystem 200 ohne die automatische Fahrunterstützungsvorrichtung 22 verwendet werden. 15 ist ein schematisches Diagramm der Zustandsabschätzungsvorrichtung 10, die im Fahrzeugsystem 200 ohne die automatische Fahrunterstützungsvorrichtung 22 verwendet wird. Die Vorrichtung nach der vorliegenden Modifikation hat die gleiche Struktur wie die vorstehende Ausführungsform, mit der Ausnahme, dass sie die automatische Fahrunterstützungsvorrichtung 22 eliminiert. Das Fahrzeugsystem 200 nach der vorliegenden Modifikation kann gegebenenfalls eine Warnung auf Basis eines Abschätzungsergebnisses erzeugen, das den Zustand des Fahrers D anzeigt. Wenn beispielsweise ein gefährlicher Zustand wie Einschlafen oder gefährliches Fahren erfasst wird, kann das Fahrzeugsystem 200 automatisch eine Warnung an den Fahrer D abgeben. Wenn ein plötzlicher Krankheitsanfall festgestellt wird, kann das Fahrzeugsystem 200 einen Krankenwagen rufen. Auf diese Weise verwendet das Fahrzeugsystem 200 ohne die automatische Fahrunterstützungsvorrichtung 22 direkt ein Abschätzungsergebnis aus der Zustandsabschätzungsvorrichtung 10.
4.7 In der obigen Ausführungsform, wie in 3A, 9 und 10 dargestellt, ändert die Steuereinheit 110 den Wert jedes Elements im Gewichtsvektor W, der auf den Merkmalsvektor x angewendet wird, auf Basis des Abschätzungsergebnisses, das den Zustand des Fahrers D anzeigt. Dieses Gewichtungsverfahren kann jedoch eliminiert werden. Die ersten und zweiten Informationen können auch durch jede andere Form als die Merkmalsgröße dargestellt werden.
Wie in 16 dargestellt, können die Merkmalsvektorerzeugungseinheit 15 und die Gewichtungseinheit 16 aus den funktionalen Komponenten der Zustandsabschätzungsvorrichtung 10 entfernt werden. 16 ist ein schematisches Diagramm einer Zustandsabschätzungsvorrichtung 100 nach der vorliegenden Modifikation. Die Zustandsabschätzungsvorrichtung 100 hat die gleiche Struktur wie die Zustandsabschätzungsvorrichtung 10 nach der obigen Ausführungsform, mit der Ausnahme, dass sie die Merkmalsvektorerzeugungseinheit 15 und die Gewichtungseinheit 16 eliminiert.
Die Zustandsabschätzungsvorrichtung 100 erfasst erste Informationen über das Gesichtsverhalten des Fahrers D auf Basis des ersten Bildes und zweite Informationen über die Körperbewegung des Fahrers D auf Basis eines zweiten Bildes, das durch Verringern der Auflösung des ersten Bildes gewonnen wird. Die Zustandsabschätzungsvorrichtung 100 schätzt den Zustand des Fahrers D auf Basis der Kombination dieser Erfassungsergebnisse ab. Wie in der obigen Ausführungsform reduziert dieser Prozess die Berechnung zur Analyse der Körperbewegung und der Belastung des Prozessors, ohne die Genauigkeit bei der Abschätzung des Zustands des Fahrers D zu beeinträchtigen. Die Vorrichtung nach der vorliegenden Modifikation kann somit präzise verschiedene Zustände des Fahrers D mit hoher Geschwindigkeit und niedriger Belastung abschätzen.
4.8 In der obigen Ausführungsform nimmt die in das Fahrzeug C integrierte Einzelkamera 21, wie in 1 dargestellt, kontinuierlich ein Bild des Fahrersitzes auf, auf dem der Fahrer D wahrscheinlich sitzt, um ein aufgenommenes Bild zu erzeugen, das zum Abschätzen des Zustands des Fahrers D verwendet wird. Das Bild kann jedoch von mehreren Kameras 21 anstelle einer einzigen Kamera aufgenommen werden. So kann das Fahrzeug C beispielsweise mehrere Kameras 21 aufweisen, die den Fahrer D je nach Bedarf umgeben, um Bilder des Fahrers D aus verschiedenen Winkeln aufzunehmen. Die Zustandsabschätzungsvorrichtung 10 kann dann die von den Kameras 21 aufgenommenen beschafften Bilder verwenden, um den Zustand des Fahrers D abzuschätzen. Die mehreren Kameras 21 erzeugen Bilder, die unter verschiedenen Winkeln aufgenommen wurden, mit denen der Zustand des Fahrers D genauer abgeschätzt werden kann als mit einer einzelnen Kamera.
4.9 In der obigen Ausführungsform ist der Fahrer D des Fahrzeugs C die Zielperson für die Zustandsabschätzung. In 1 ist das Fahrzeug C ein Automobil. In einigen Ausführungsformen kann das Fahrzeug C von jeder anderen Art sein, wie beispielsweise ein Lastwagen, ein Bus, ein Schiff, ein Arbeitsfahrzeug, ein Hochgeschwindigkeitszug oder ein Zug. Die Zielperson für die Zustandsabschätzung muss sich nicht auf den Fahrer von Fahrzeugen beschränken und kann je nach Ausführungsform entsprechend ausgewählt werden. So kann beispielsweise die Zielperson für die Zustandsabschätzung ein Arbeiter in einer Einrichtung wie einer Fabrik oder ein Bewohner einer Pflegeeinrichtung sein, der dort betreut wird. In diesem Fall kann die Kamera 21 so platziert werden, dass sie ein Bild der Zielperson aufnimmt, die sich an einer vorgegebenen Position befindet.
17 ist ein schematisches Diagramm einer Zustandsabschätzungsvorrichtung 101, die in einem System zum Abschätzen des Zustands eines Arbeiters L in einer Fabrik F verwendet wird. Die Zustandsabschätzungsvorrichtung 101 hat die gleiche Struktur wie die Zustandsabschätzungsvorrichtung 10 nach der obigen Ausführungsform, mit der Ausnahme, dass die Zielperson für die Zustandsabschätzung der Arbeiter L in der Fabrik F ist, der Zustand des Arbeiters L abgeschätzt wird und die Zustandsabschätzungsvorrichtung 101 nicht mit der automatischen Fahrunterstützungsvorrichtung 22 verbunden ist. In der vorliegenden Modifikation ist die Kamera 21 so platziert, dass sie ein Bild des Arbeiters L aufnehmen kann, der sich an einem vorbestimmten Arbeitsplatz befindet.
Auf die gleiche Weise wie bei der obigen Ausführungsform beschafft sich die Zustandsabschätzungsvorrichtung 101 (Steuereinheit 110) erste Informationen über das Gesichtsverhalten des Arbeiters L auf Basis eines aufgenommenen Bildes (erstes Bild), das von der Kamera 21 erhalten wurde. Die Zustandsabschätzungsvorrichtung 101 beschafft sich auch zweite Informationen über die Körperbewegung des Arbeiters L auf Basis eines anderen Bildes (zweites Bild), das durch Verringern der Auflösung des von der Kamera 21 aufgenommenen Bildes beschafft wird. Die Zustandsabschätzungsvorrichtung 101 schätzt dann den Zustand des Arbeiters L auf Basis der ersten und zweiten Informationen ab. Die Zustandsabschätzungsvorrichtung 101 kann als Zustand des Arbeiters L den Konzentrationsgrad des Arbeiters L auf seine Tätigkeit und die Gesundheitsbedingungen (z. B. körperliche Verfassung oder Erschöpfung des Arbeiters) abschätzen. Die Zustandsabschätzungsvorrichtung 101 kann auch in einer Pflegeeinrichtung verwendet werden, um ein abnormales oder anderes Verhalten des Pflegeheimbewohners abzuschätzen, der dort betreut wird.
4.10 In der obigen Ausführungsform beinhaltet das aufgenommene Bild mehrere Einzelbilder. Die Steuereinheit 110 analysiert das Gesichtsverhalten in den Schritten S12 bis S14 auf Einzelbildbasis und die Körperbewegung in Schritt S16 in zwei oder mehr Einzelbildern. Das aufgenommene Bild kann jedoch in jeder anderen Form vorliegen, und die Analyse kann unterschiedlich durchgeführt werden. So kann beispielsweise die Steuereinheit 110 die Körperbewegung in einem aufgenommenen Bild mit einem einzelnen Bild in Schritt S16 analysieren.
INDUSTRIELLE ANWENDBARKEIT
Die Zustandsabschätzungsvorrichtung nach einem Aspekt der vorliegenden Erfindung, die verschiedene Zustände einer Zielperson genauer abschätzt als bekannte Vorrichtungen, kann weithin als Vorrichtung zum Abschätzen solcher verschiedenen Zustände einer Zielperson verwendet werden.
Anhang 1
Eine Zustandsabschätzungsvorrichtung umfasst einen Hardwareprozessor und einen Speicher, der ein durch den Hardwareprozessor ausführbares Programm speichert, wobei der Hardwareprozessor dazu eingerichtet ist, das Programm auszuführen, um durchzuführen:

Beschaffen eines aufgenommenen Bildes von einer Bildaufnahmevorrichtung, die so angeordnet ist, dass sie ein Bild einer Zielperson aufnimmt, die sich an einer vorbestimmten Position befindet;
Analysieren eines Gesichtsverhaltens der Zielperson auf Basis des aufgenommenen Bildes und Beschaffen erster Informationen über das Gesichtsverhalten der Zielperson;
Analysieren der Körperbewegung der Zielperson auf Basis des aufgenommenen Bildes und Beschaffen zweiter Informationen über die Körperbewegung der Zielperson; und
Abschätzen eines Zustands der Zielperson auf Basis der ersten Informationen und der zweiten Informationen.

Anhang 2
Zustandsabschätzungsverfahren, umfassend:

Beschaffen eines aufgenommenen Bildes mit einem Hardwareprozessor von einer Bildaufnahmevorrichtung, die so angeordnet ist, dass sie ein Bild einer Zielperson aufnimmt, die sich an einer vorbestimmten Position befindet;
Analysieren eines Gesichtsverhaltens der Zielperson auf Basis des aufgenommenen Bildes mit dem Hardwareprozessor und Beschaffen erster Informationen über das Gesichtsverhalten der Zielperson;
Analysieren der Körperbewegung der Zielperson auf Basis des aufgenommenen Bildes mit dem Hardwareprozessor und Beschaffen zweiter Informationen über die Körperbewegung der Zielperson; und
Abschätzen eines Zustands der Zielperson mit dem Hardwareprozessor auf Basis der ersten Informationen und der zweiten Informationen.

Bezugszeichenliste

10: Zustandsabschätzungsvorrichtung
11: Bildbeschaffungseinheit
12: Zweite Analyseeinheit
13: Auflösungsumwandlungseinheit
14: Zweite Analyseeinheit
15: Merkmalsvektorerzeugungseinheit
16: Gewichtungseinheit
17: Abschätzungseinheit
31: Gesichtsdetektor
32: Gesichtskomponenten-Positionsdetektor
33: Gesichtskomponenten-Zustandsdetektor
331: Augenöffnungs-/Schließdetektor
332: Blickdetektor
333: Gesichtsausrichtungsdetektor
110: Steuereinheit
120: Speichereinheit
130: Externe Schnittstelle
20: Automatisches Fahrsystem
21: Kamera
22: Automatische Fahrunterstützungsvorrichtung

Claims

Zustandsabschätzungsvorrichtung, umfassend: eine Bildbeschaffungseinheit, die dazu eingerichtet ist, ein aufgenommenes Bild von einer Bildaufnahmevorrichtung zu beschaffen, welche derart angeordnet ist, dass sie ein Bild einer Zielperson aufnimmt, die sich an einer vorbestimmten Position befindet; eine erste Analyseeinheit, die dazu eingerichtet ist, ein Gesichtsverhalten der Zielperson auf Basis des aufgenommenen Bildes zu analysieren und erste Informationen über das Gesichtsverhalten der Zielperson zu beschaffen; eine zweite Analyseeinheit, die dazu eingerichtet ist, die Körperbewegung der Zielperson auf Basis des aufgenommenen Bildes zu analysieren und zweite Informationen über die Körperbewegung der Zielperson zu beschaffen; und eine Abschätzungseinheit, die dazu eingerichtet ist, einen Zustand der Zielperson auf Basis der ersten Information und der zweiten Information abzuschätzen.
Zustandsabschätzungsvorrichtung nach Anspruch 1, wobei die ersten Informationen und die zweiten Informationen jeweils als eine oder mehrere Merkmalsgrößen dargestellt werden, und die Abschätzungseinheit den Zustand der Zielperson auf Basis der Merkmalsgrößen abschätzt.
Zustandsabschätzungsvorrichtung nach Anspruch 2, ferner umfassend: eine Gewichtungseinheit, die dazu eingerichtet ist, für jede der Merkmalsgrößen ein Gewicht zu bestimmen, das eine Priorität unter den Merkmalsgrößen definiert, wobei die Abschätzungseinheit den Zustand der Zielperson auf Basis jeder Merkmalsgröße abschätzt, die unter Verwendung des bestimmten Gewichts gewichtet wird.
Zustandsabschätzungsvorrichtung nach Anspruch 3, wobei die Gewichtungseinheit das Gewicht für jede Merkmalsgröße auf Basis eines früheren Abschätzungsergebnisses des Zustands der Zielperson abschätzt.
Zustandsabschätzungsvorrichtung nach einem der Ansprüche 1 bis 4, ferner umfassend: eine Auflösungsumwandlungseinheit, die dazu eingerichtet ist, eine Auflösung des aufgenommenen Bildes zu verringern, wobei die zweite Analyseeinheit die zweiten Informationen beschafft, indem sie die Körperbewegung in dem aufgenommenen Bild mit einer niedrigeren Auflösung analysiert.
Zustandsabschätzungsvorrichtung nach Anspruch 5, wobei die zweite Analyseeinheit als zweite Informationen eine Merkmalsgröße beschafft, die mindestens einem Element zugeordnet ist, das aus der Gruppe ausgewählt ist, die aus einer Kantenposition, einer Kantenstärke und einer lokalen Frequenzkomponente besteht, die aus dem aufgenommenen Bild mit einer niedrigeren Auflösung extrahiert wurde.
Zustandsabschätzungsvorrichtung nach einem der Ansprüche 1 bis 6, wobei das aufgenommene Bild mehrere Einzelbilder enthält, und die zweite Analyseeinheit die zweiten Informationen beschafft, indem sie die Körperbewegung in zwei oder mehr Einzelbildern analysiert, die in dem aufgenommenen Bild enthalten sind.
Zustandsabschätzungsvorrichtung nach einem der Ansprüche 1 bis 7, wobei die erste Analyseeinheit eine vorbestimmte Bildanalyse des aufgenommenen Bildes durchführt, um als erste Informationen Informationen über mindestens ein Element zu beschaffen, das aus der Gruppe ausgewählt ist, die daraus zusammengesetzt ist, ob ein Gesicht erfasst wird, ferner aus einer Gesichtsposition, einer Gesichtsausrichtung, einer Gesichtsbewegung, einer Blickrichtung, einer Gesichtskomponentenposition und einem Öffnen oder Schließen der Augen der Zielperson.
Zustandsabschätzungsvorrichtung nach einem der Ansprüche 1 bis 8, wobei das aufgenommene Bild mehrere Einzelbilder enthält, und die erste Analyseeinheit die ersten Informationen beschafft, indem sie das Gesichtsverhalten im aufgenommenen Bild auf Einzelbildbasis analysiert.
Zustandsabschätzungsvorrichtung nach einem der Ansprüche 1 bis 9, wobei die Zielperson ein Fahrer eines Fahrzeugs ist, die Bildbeschaffungseinheit das aufgenommene Bild von der Bildaufnahmevorrichtung beschafft, die so angeordnet ist, dass sie ein Bild des Fahrers auf einem Fahrersitz des Fahrzeugs aufnimmt, und die Abschätzungsseinheit einen Zustand des Fahrers auf Basis der ersten Informationen und der zweiten Informationen abschätzt.
Zustandsabschätzungsvorrichtung nach Anspruch 10, wobei die Abschätzungseinheit mindestens einen Zustand des Fahrers abschätzt, ausgewählt aus der Gruppe bestehend aus: aufmerksames Vorwärtsblicken, sich schläfrig fühlen, zur Seite schauen, Kleidung anziehen oder ausziehen, ein Telefon bedienen, sich zur Seite lehnen, beim Fahren durch einen Beifahrer oder ein Haustier unterbrochen werden, einen Krankheitsanfall erleiden, zurückschauen, einen Kopf auf die Arme stützen, essen und trinken, rauchen, sich schwindelig fühlen, abnormale Bewegungen ausführen, ein Auto-Navigationssystem oder ein Audiosystem bedienen, eine Brille oder Sonnenbrille aufsetzen oder abnehmen und ein Foto machen.
Zustandsabschätzungsvorrichtung nach einem der Ansprüche 1 bis 9, wobei die Zielperson ein Fabrikarbeiter ist, die Bildbeschaffungseinheit das aufgenommene Bild von der Bildaufnahmevorrichtung beschafft, die so angeordnet ist, dass sie ein Bild des Arbeiters aufnimmt, der sich an einem vorbestimmten Arbeitsplatz befindet, und die Abschätzungseinheit einen Zustand des Arbeiters auf Basis der ersten Informationen und der zweiten Informationen abschätzt.
Zustandsabschätzungsvorrichtung nach Anspruch 12, wobei die Abschätzungseinheit als den Zustand des Arbeiters einen Grad der Konzentration des Arbeiters auf einen Vorgang oder einen Gesundheitszustand des Arbeiters abschätzt.
Zustandsabschätzungsverfahren, das von einem Computer implementiert wird, wobei das Verfahren umfasst: Beschaffen eines aufgenommenen Bildes von einer Bildaufnahmevorrichtung, die so angeordnet ist, dass sie ein Bild einer Zielperson aufnimmt, die sich an einer vorbestimmten Position befindet; Analysieren eines Gesichtsverhaltens der Zielperson auf Basis des aufgenommenen Bildes; Beschaffen erster Informationen über das Gesichtsverhalten der Zielperson durch Analyse des Gesichtsverhaltens; Analysieren der Körperbewegung der Zielperson auf Basis des aufgenommenen Bildes; Beschaffen zweiter Informationen über die Körperbewegung der Zielperson durch Analysieren der Körperbewegung; und Abschätzen eines Zustands der Zielperson auf Basis der ersten Informationen und der zweiten Informationen.
Zustandsabschätzungsprogramm, das einen Computer dazu veranlasst, zu implementieren: Beschaffen eines aufgenommenen Bildes von einer Bildaufnahmevorrichtung, die so angeordnet ist, dass sie ein Bild einer Zielperson aufnimmt, die sich an einer vorbestimmten Position befindet; Analysieren eines Gesichtsverhaltens der Zielperson auf Basis des aufgenommenen Bildes; Beschaffen erster Informationen über das Gesichtsverhalten der Zielperson durch Analyse des Gesichtsverhaltens; Analysieren der Körperbewegung der Zielperson auf Basis des aufgenommenen Bildes; Beschaffen zweiter Informationen über die Körperbewegung der Zielperson durch Analysieren der Körperbewegung; und Abschätzen eines Zustands der Zielperson auf Basis der ersten Informationen und der zweiten Informationen.