DE112018008131B4 - Zustandsbestimmungseinrichtung, zustandsbestimmungsverfahren und zustandsbestimmungsprogramm - Google Patents

Abstract

Zustandsbestimmungseinrichtung (100), umfassend:eine Extrahierungseinheit (10), die einen Gesichtsbereich, darstellend einen Bereich, der einem Gesicht entspricht, aus jedem von einer Vielzahl von Rahmen, die durch Aufnehmen von Bildern des Gesichts eines Benutzers nacheinander erhalten werden, extrahiert, Gesichtsmerkmalspunkte, darstellend Teile des Gesichts, aus dem Gesichtsbereich extrahiert, einen Gesichtsmerkmalswert-Extrahierungsbereich als einen Bereich, in dem eine Änderung in dem Gesichtsbereich auftritt, wenn sich der Benutzer in einem unwachsamen Zustand befindet, berechnet auf Grundlage der Gesichtsmerkmalspunkte, und einen Gesichtsmerkmalswert als einen Merkmalswert aus dem Gesichtsmerkmalswert-Extrahierungsbereich extrahiert;eine Zustandsbestimmungseinheit (160), die bestimmt, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet auf Grundlage des Gesichtsmerkmalswerts in jedem von der Vielzahl von Rahmen und zuvor erzeugten Bestimmungsinformationen; undeine Ausgabeeinheit (170), die ein Bestimmungsergebnis ausgibt, wobeider Gesichtsmerkmalswert-Extrahierungsbereich ein Mund-Bereich in dem Gesichtsbereich ist,die Bestimmungsinformationen Informationen zum Bestimmen eines Unwachsamkeitsgrades gemäß einer Anzahl von Malen, die der Benutzer seine Lippen mit der Zunge benetzt hat, enthalten, unddie Zustandsbestimmungseinheit (160) die Anzahl von Malen, die der Benutzer die Lippen mit der Zunge benetzt hat, berechnet auf Grundlage des Gesichtsmerkmalswerts, der aus dem Mund-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurde, den Unwachsamkeitsgrad bestimmt auf Grundlage der Anzahl von Malen, die der Benutzer die Lippen mit der Zunge benetzt hat, und der Bestimmungsinformationen, und bestimmt, dass sich der Benutzer in dem unwachsamen Zustand befindet, falls der bestimmte Unwachsamkeitsgrad höher ist als oder gleich ist wie ein vorherbestimmtes Schwellenwertniveau.

Description

• TECHNISCHES GEBIET
• Die vorliegende Erfindung betrifft eine Zustandsbestimmungseinrichtung, ein Zustandsbestimmungsverfahren und ein Zustandsbestimmungsprogramm.
• STAND DER TECHNIK
• Es gibt Fälle, in denen eine Person in einen unwachsamen Zustand fällt. Der unwachsame Zustand ist zum Beispiel ein dösender Zustand, ein Zustand des Einnickens aufgrund von Alkoholgenuss oder dergleichen.
• Um Unfälle zu vermeiden, wird inzwischen die Entwicklung einer Technologie vorangetrieben, mit der der unwachsame Zustand einer Person in einem Fahrzeug oder einer Fabrik bestimmt werden kann. Ein Merkmalswert, der sich ändert, wenn sich die Person in dem unwachsamen Zustand befindet, wird zum Beispiel aus dem Herzschlag, den Gehirnströmen, dem Blinzeln oder dergleichen extrahiert. Anschließend werden der Merkmalswert und ein Schwellenwert miteinander verglichen. Die Bestimmung des unwachsamen Zustands erfolgt anhand des Ergebnisses des Vergleichs. Wie oben beschrieben, kann die Bestimmung des unwachsamen Zustands auf Grundlage eines biologischen Signals wie beispielsweise des Herzschlags erfolgen. Bei diesem Bestimmungsverfahren wird jedoch ein Sensor an der Person angebracht. Daher vermittelt dieses Bestimmungsverfahren der Person ein Gefühl der Unnangenehmheit. Außerdem kann dieses Bestimmungsverfahren nicht eingesetzt werden, wenn der Sensor nicht an der Person angebracht ist. Außerdem ist dieses Bestimmungsverfahren sehr kostenintensiv, da der Sensor genutzt wird.
• Hierzu wurde eine Technologie zur Erfassung des dösenden Zustands vorgeschlagen (siehe Patentreferenz 1). Eine in der Patentreferenz 1 beschriebene Einrichtung zur Erfassung von Müdigkeit am Steuer erfasst beispielsweise den dösenden Zustand des Fahrers anhand der Lidschlagfrequenz. Des Weiteren wurde eine Technologie zur Bestimmung eines schläfrigen Zustands eines Fahrers vorgeschlagen (siehe Patentreferenz 2). Eine in der Patentreferenz 2 beschriebene Einrichtung zur Bestimmung von Schläfrigkeit nimmt beispielsweise die Bestimmung des Schläfrigkeitszustandes anhand der Lidschlagfrequenz vor.
• REFERENZ ZUM STAND DER TECHNIK
• PATENTREFERENZ
• Patentreferenz 1: JP H11- 339 200 A
• Patentreferenz 2: JP 2008 - 212 298 A
• JP 2017 - 162 409 A offenbart, dass charakteristische Bereiche eines menschlichen Gesichts aus verschiedenen Frames von Bildern eines Messobjekts extrahiert werden. Die Richtungen und Ausmaße von Bewegungen in den charakteristischen Bereichen werden in Pixeleinheiten berechnet; es wird ein Histogramm erstellt, in dem die Bewegungsrichtungen die Klasse darstellen und die Aggregation des Ausmaßes der Bewegung in die gleiche Richtung die Häufigkeit ist; Clustering erfolgt in allen Frames in den Bildern, wobei der Übergang des Histogramms in mehreren Frames in der Zeitreihe als Bewegungskenngröße verwendet wird; und die Häufigkeit von beobachteten Clustern, die der bewegungscharakteristischen Größe ähneln, in den Bildern eines Referenzgesichts, das die Gesichtsausdrücke und Bewegungen des Referenzgesichts anzeigt, berechnet wird, um die Gesichtsausdrücke und Bewegungen des beobachteten Gesichts zu erkennen.
• JP 2016 - 81 212 A offenbart eine Bilderkennungsvorrichtung, die einen Bestimmungsteil enthält, der ein Bild, das ein Gesicht (Gesichtsbild) zeigt, mit einem Bild vergleicht, das ein Standardgesicht (Standardgesichtsbild) zeigt, um ein Abschirmungsmuster des Gesichts in dem Gesichtsbild zu bestimmen, und einen Identifikationsteil, der einen Bereich auf der Grundlage des Abschirmungsmusters ausschließt, das durch den Bestimmungsteil bestimmt wurde, um das Gesichtsbild zu identifizieren.
• JP 2012 - 221 061 A offenbart eine Bilderkennungsvorrichtung, die umfasst: eine Extraktionseinrichtung zum Ausschneiden mehrerer lokaler Bereiche aus einem Eingabebild und zum Extrahieren einer Merkmalsmenge aus jedem der mehreren lokalen Bereiche; Vergleichsmittel zum Berechnen des Ähnlichkeitsgrads zwischen dem Eingabebild und einem registrierten Bild für jeden der durch das Extraktionsmittel ausgeschnittenen lokalen Bereiche; Auswahlmittel zum Auswählen eines lokalen Bereichs basierend auf dem Zustand der durch das Extraktionsmittel ausgeschnittenen lokalen Bereiche; und Identifizierungsmittel zum Auswählen einer metrischen Matrix zum Berechnen des Abstands zu dem registrierten Bild basierend auf dem durch das Auswahlmittel ausgewählten lokalen Bereich und Identifizieren, ob das Eingangsbild ein Bild in derselben Kategorie wie das registrierte Bild ist, unter Verwendung der ausgewählten metrischen Matrix und den Grad der Ähnlichkeit, der durch die Vergleichseinrichtung berechnet wird, des durch die Auswahleinrichtung ausgewählten lokalen Bereichs.
• NICHT-PATENTREFERENZ
• Nicht-Patentreferenz 1: Paul Viola, Michael J Jones „Robust Real-Time Face Detection“, International Journal of Computer Vision 57(2), 2004
• Nicht-Patentreferenz 2: Laurenz Wiskott, Jean-Marc Fellous, Norbert Kruger, Christoph von der Malsburg „Face Recognition by Elastic Bunch Graph Matching“, 1996
• Nicht-Patentreferenz 3: Navneet Dalal and Bill Triggs „Histograms of Oriented Gradients for Human Detection“
• KURZDARSTELLUNG DER ERFINDUNG
• AUFGABE DER ERFINDUNG
• Die Technologien der Patentreferenzen 1 und 2 nutzen die Lidschlagfrequenz. Allerdings gibt es große individuelle Unterschiede in der Lidschlagfrequenz. Zum Beispiel in Fällen, in denen die Lidschlagfrequenz einer Person, wenn die Person wach ist, sehr hoch ist, ist es schwierig, mit den Technologien der Patentreferenzen 1 und 2 zu bestimmen, ob sich die Person in dem unwachsamen Zustand befindet oder nicht.
• Daher ist das Problem, wie man die Bestimmung des unwachsamen Zustands mit hoher Genauigkeit vornehmen kann.
• Die Aufgabe der vorliegenden Erfindung besteht darin, die Bestimmung des unwachsamen Zustands mit hoher Genauigkeit durchzuführen.
• MITTEL ZUR LÖSUNG DES PROBLEMS
• Es wird eine Zustandsbestimmungseinrichtung gemäß einem Aspekt der vorliegenden Erfindung bereitgestellt. Die Zustandsbestimmungseinrichtung weist auf: eine Extrahierungseinheit, die einen Gesichtsbereich, darstellend einen Bereich, der einem Gesicht entspricht, aus jedem von einer Vielzahl von Rahmen, die durch Aufnehmen von Bildern des Gesichts eines Benutzers nacheinander erhalten werden, extrahiert, Gesichtsmerkmalspunkte, darstellend Teile des Gesichts, aus dem Gesichtsbereich extrahiert, einen Gesichtsmerkmalswert-Extrahierungsbereich als einen Bereich, in dem eine Änderung in dem Gesichtsbereich auftritt, wenn sich der Benutzer in einem unwachsamen Zustand befindet, berechnet auf Grundlage der Gesichtsmerkmalspunkte, und einen Gesichtsmerkmalswert als einen Merkmalswert aus dem Gesichtsmerkmalswert-Extrahierungsbereich extrahiert; eine Zustandsbestimmungseinheit, die bestimmt, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet, auf Grundlage des Gesichtsmerkmalswerts in jedem von der Vielzahl von Rahmen und zuvor erzeugten Bestimmungsinformationen; und eine Ausgabeeinheit, die ein Bestimmungsergebnis ausgibt.
• WIRKUNG DER ERFINDUNG
• Gemäß der vorliegenden Erfindung kann die Bestimmung des unwachsamen Zustands mit hoher Genauigkeit erfolgen.
• Figurenliste
• 1 ist ein Diagramm, das eine Zustandsbestimmungseinrichtung in einer ersten Ausführungsform zeigt.
• 2 ist ein Diagramm, das eine Konfiguration von Hardware zeigt, die in der Zustandsbestimmungseinrichtung in der ersten Ausführungsform enthalten ist.
• 3 ist ein Diagramm, das ein Beispiel einer Gesichtsmerkmalspunktabelle in der ersten Ausführungsform zeigt.
• 4(A) und 4(B) sind Diagramme, die Beispiele für die Berechnung eines Gesichtsmerkmalswert-Extrahierungsbereichs zeigen.
• 5 ist ein Diagramm, das ein Beispiel einer Gesichtsmerkmalspunktabelle in der ersten Ausführungsform zeigt.
• 6 ist ein Diagramm, das ein Beispiel einer Zustandsbestimmungsmodelltabelle in der ersten Ausführungsform zeigt.
• 7 ist ein Diagramm zur Erläuterung eines Verfahrens des Berechnens der Anzahl des in Faltenziehens einer Glabella zwischen den Augenbrauen in der ersten Ausführungsform.
• 8 ist ein Diagramm, das ein konkretes Beispiel für einen Unwachsamkeitsgrad in der ersten Ausführungsform zeigt.
• 9 ist ein Diagramm, das ein Beispiel einer Bestimmungsergebnistabelle in der ersten Ausführungsform zeigt.
• 10 ist ein Flussdiagramm, das einen Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungsprozess in der ersten Ausführungsform zeigt.
• 11 ist ein Flussdiagramm, das einen Gesichtsmerkmalswert-Extrahierungsprozess in der ersten Ausführungsform zeigt.
• 12 ist ein Flussdiagramm, das einen Zählprozess in der ersten Ausführungsform zeigt.
• 13 ist ein Flussdiagramm, das einen unwachsamer-Zustand-Bestimmungsprozess in der ersten Ausführungsform zeigt.
• 14 ist ein funktionales Blockdiagramm, das eine Konfiguration einer Zustandsbestimmungseinrichtung in einer zweiten Ausführungsform zeigt.
• 15 ist ein Diagramm, das ein Beispiel einer Durchschnittsgesicht-Merkmalspunktabelle in der zweiten Ausführungsform zeigt.
• 16(A) bis 16(C) sind Diagramme, die Beispiele für eine Gesichtszustandstabelle zeigen.
• 17 ist ein Diagramm, das ein Beispiel für eine Extrahierungsbereich-Bestimmungsmodelltabelle in der zweiten Ausführungsform zeigt.
• 18 ist ein Flussdiagramm, das einen Gesichtszustand-Beurteilungsprozess in der zweiten Ausführungsform zeigt.
• 19 ist ein Flussdiagramm, das einen Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungsprozess in der zweiten Ausführungsform zeigt.
• MODUS ZUR AUSFÜHRUNG DER ERFINDUNG
• Ausführungsformen werden nachfolgend unter Bezugnahme auf die Zeichnungen beschrieben. Die folgenden Ausführungsformen sind lediglich Beispiele, und innerhalb des Umfangs der vorliegenden Erfindung sind eine Reihe von Modifikationen möglich.
• Erste Ausführungsform
• 1 ist ein Diagramm, das eine Zustandsbestimmungseinrichtung in einer ersten Ausführungsform zeigt. Die Zustandsbestimmungseinrichtung 100 ist eine Einrichtung, die ein Zustandsbestimmungsverfahren ausführt.
• Die Zustandsbestimmungseinrichtung 100 führt eine Bestimmung des unwachsamen Zustands durch. Der unwachsame Zustand ist zum Beispiel ein dösender Zustand, ein Zustand des Einnickens aufgrund von Alkoholgenuss oder dergleichen. Der unwachsame Zustand umfasst einen Zustand der Benommenheit. Der Zustand der Benommenheit ist zum Beispiel ein Zustand, in dem sich ein Benutzer müde fühlt, ein Zustand, in dem der Benutzer durch Alkoholgenuss berauscht ist, oder dergleichen. Im Übrigen gibt es Fälle, in denen der Benutzer vorübergehend von dem dösenden Zustand in einen aufmerksamen Zustand übergeht und danach wieder in den dösenden Zustand fällt. In solchen Situationen, in denen der Benutzer innerhalb kurzer Zeit nach dem Austritt aus dem dösenden Zustand wieder in den dösenden Zustand fällt, kann der Benutzer als sich in dem dösenden Zustand befindend betrachtet werden. Der unwachsame Zustand schließt daher Fälle ein, in denen der Benutzer vorübergehend von dem dösenden Zustand in den aufmerksamen Zustand wechselt und danach wieder in den dösenden Zustand fällt.
• Im Folgenden wird die in der Zustandsbestimmungseinrichtung 100 enthaltene Hardware beschrieben.
• 2 ist ein Diagramm, das die Konfiguration von Hardware zeigt, die in der Zustandsbestimmungseinrichtung in der ersten Ausführungsform enthalten ist. Die Zustandsbestimmungseinrichtung 100 enthält einen Prozessor 101, eine flüchtige Speichereinrichtung 102, eine nichtflüchtige Speichereinrichtung 103, eine Kamera 104 und eine Anzeige 105.
• Der Prozessor 101 steuert die gesamte Zustandsbestimmungseinrichtung 100. Der Prozessor 101 ist zum Beispiel eine Central Processing Unit (CPU - Zentrale Verarbeitungseinheit), ein Field Programmable Gate Array (FPGA - Feldprogrammierbare Gatteranordnung) oder dergleichen. Der Prozessor 101 kann auch ein Multiprozessor sein. Die Zustandsbestimmungseinrichtung 100 kann auch durch einen Verarbeitungsschaltkreis oder durch Software, Firmware oder eine Kombination aus Software und Firmware implementiert sein. Im Übrigen kann der Verarbeitungsschaltkreis entweder eine einzelne Schaltung oder eine kombinierte Schaltung sein.
• Die flüchtige Speichereinrichtung 102 ist der Hauptspeicher der Zustandsbestimmungseinrichtung 100. Zum Beispiel ist die flüchtige Speichereinrichtung 102 ein Speicher mit wahlfreiem Zugriff (RAM - Random Acces Memory). Die flüchtige Speichereinrichtung 103 ist ein Hilfsspeicher der Zustandsbestimmungseinrichtung 100. Die nichtflüchtige Speichereinrichtung 103 ist zum Beispiel ein Solid-State-Drive (SDD).
• Die Kamera 104 ist eine Einrichtung, die Bilder eines Gesichts aufnimmt. Die Kamera 104 wird auch als eine Bildaufnahmeeinrichtung bezeichnet. Die Anzeige 105 ist eine Einrichtung, die Informationen anzeigt. Die Anzeige 105 wird auch als eine Anzeigeeinrichtung bezeichnet.
• Im Übrigen kann die Zustandsbestimmungseinrichtung 100 in einem Zustand ohne Enthalten der Kamera 104 oder der Anzeige 105 als eine Informationsverarbeitungseinrichtung betrachtet werden.
• Zurückkehrend zu 1 wird die Zustandsbestimmungseinrichtung 100 nachfolgend beschrieben.
• Die Zustandsbestimmungseinrichtung 100 umfasst eine Erwerbungseinheit 110, eine Extrahierungseinheit 10, eine Zustandsbestimmungseinheit 160 und eine Ausgabeeinheit 170. Die Extrahierungseinheit 10 umfasst eine Gesichtsbereich-Extrahierungseinheit 120, eine Gesichtsmerkmalspunkt-Extrahierungseinheit 130, eine Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 und eine Gesichtsmerkmalswert-Extrahierungseinheit 150. Weiterhin umfasst die Zustandsbestimmungseinrichtung 100 eine Gesichtsmerkmalspunkt-Speichereinheit 180, eine Gesichtsmerkmalswert-Speichereinheit 181, eine Zustandsbestimmungsmodell-Speichereinheit 182 und eine Bestimmungsergebnis-Speichereinheit 183.
• Ein Teil oder die gesamte Extrahierungseinheit 10, die Erwerbungseinheit 110, die Gesichtsbereich-Extrahierungseinheit 120, die Gesichtsmerkmalspunkt-Extrahierungseinheit 130, die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140, die Gesichtsmerkmalswert-Extrahierungseinheit 150, die Zustandsbestimmungseinheit 160 und die Ausgabeeinheit 170 können durch den Prozessor 101 implementiert sein.
• Zudem können ein Teil oder die gesamte Extrahierungseinheit 10, die Erwerbungseinheit 110, die Gesichtsbereich-Extrahierungseinheit 120, die Gesichtsmerkmalspunkt-Extrahierungseinheit 130, die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140, die Gesichtsmerkmalswert-Extrahierungseinheit 150, die Zustandsbestimmungseinheit 160 und die Ausgabeeinheit 170 als ein Modul eines durch den Prozessor 101 ausgeführten Programms implementiert sein. Das durch den Prozessor 101 ausgeführte Programm wird zum Beispiel auch als ein Zustandsbestimmungsprogramm bezeichnet. Das Zustandsbestimmungsprogramm ist in einem Aufzeichnungsmedium wie beispielsweise der flüchtigen Speichereinrichtung 102 oder der nichtflüchtigen Speichereinrichtung 103 gespeichert.
• Die Gesichtsmerkmalspunkt-Speichereinheit 180, die Gesichtsmerkmalswert-Speichereinheit 181, die Zustandsbestimmungsmodell-Speichereinheit 182 und die Bestimmungsergebnis-Speichereinheit 183 können als Speicherbereiche implementiert sein, die in der flüchtigen Speichereinrichtung 102 oder der nichtflüchtigen Speichereinrichtung 103 gesichert sind.
• Die Erwerbungseinheit 110 erwirbt eine Vielzahl von Rahmen, die durch Aufnehmen von Bildern des Gesichts eines Benutzers von der Kamera 104 nacheinander erhalten werden. Die Vielzahl von Rahmen können auch als ein Bewegtvideo dargestellt sein. Der Rahmen ist ein Bild. Weiterhin kann die Vielzahl von Rahmen auch als eine Vielzahl von Rahmen dargestellt sein, in denen das Gesicht des Benutzers zu unterschiedlichen Zeiten aufgenommen wurde.
• Die Extrahierungseinheit 10 extrahiert einen Gesichtsbereich aus jedem von der Vielzahl von Rahmen, extrahiert Gesichtsmerkmalspunkte aus dem Gesichtsbereich, berechnet einen Gesichtsmerkmalswert-Extrahierungsbereich auf Grundlage der Gesichtsmerkmalspunkte, und extrahiert einen Gesichtsmerkmalswert aus dem Gesichtsmerkmalswert-Extrahierungsbereich. Im Übrigen stellt der Gesichtsbereich einen Bereich dar, der dem Gesicht entspricht. Der Merkmalspunkt stellt einen Teil des Gesichts dar. Der Gesichtsmerkmalswert-Extrahierungsbereich ist ein Bereich, in dem eine Änderung in dem Gesichtsbereich auftritt, wenn sich der Benutzer in dem unwachsamen Zustand befindet. Der Gesichtsmerkmalswert ist ein Merkmalswert.
• Des Weiteren kann der Gesichtsmerkmalswert-Extrahierungsbereich auch als ein Bereich dargestellt sein, in dem eine Änderung in dem Gesichtsbereich auftritt, wenn sich der Benutzer in dem unwachsamen Zustand befindet und in dem kein individueller Unterschied als eine Gesichtsbewegung des Benutzers auftritt, wenn sich der Benutzer in dem unwachsamen Zustand befindet.
• Die durch die Extrahierungseinheit 10 ausgeführten Prozesse werden im Folgenden anhand der Gesichtsbereich-Extrahierungseinheit 120, der Gesichtsmerkmalspunkt-Extrahierungseinheit 130, der Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 und der Gesichtsmerkmalswert-Extrahierungseinheit 150 detailliert beschrieben.
• Die Gesichtsbereichs-Extrahierungseinheit 120 extrahiert den Gesichtsbereich aus dem Bewegtvideo. Die Gesichtsbereich-Extrahierungseinheit 120 kann mit Hilfe eines Diskriminators implementiert sein, der Haar-ähnliche Merkmale mittels Adaboost-Lernen verwendet. Ein Verfahren des Extrahierens des Gesichtsbereichs ist zum Beispiel in Nicht-Patentreferenz 1 beschrieben.
• Die Gesichtsmerkmalspunkt-Extrahierungseinheit 130 extrahiert Gesichtsmerkmalspunkte eines Umrisses, Augenbrauen, Augen, einer Nase, eines Mundes usw. auf Grundlage des Gesichtsbereichs. Ein Verfahren des Extrahierens der Gesichtsmerkmalspunkte ist zum Beispiel in Nicht-Patentreferenz 2 beschrieben.
• Die Gesichtsmerkmalspunkt-Extrahierungseinheit 130 speichert die Gesichtsmerkmalspunkte in der Gesichtsmerkmalspunkt-Speichereinheit 180. Hier folgt eine Erläuterung für die Gesichtsmerkmalspunkt-Speichereinheit 180. Die Gesichtsmerkmalspunkt-Speichereinheit 180 speichert eine Gesichtsmerkmalspunkttabelle.
• 3 ist ein Diagramm, das ein Beispiel für die Gesichtsmerkmalspunktabelle in der ersten Ausführungsform zeigt. Die Gesichtsmerkmalspunkttabelle 180a ist in der Gesichtsmerkmalspunkt-Speichereinheit 180 gespeichert. Die Gesichtsmerkmalspunkttabelle 180a enthält einen Eintrag eines/einer Merkmalspunkts/Gesichtsausrichtung. Zudem enthält die Gesichtsmerkmalspunkttabelle 180a einen Eintrag von/eines Koordinaten/Winkels.
• Zum Beispiel werden die Koordinaten, bei denen die Gesichtsmerkmalspunkt-Extrahierungseinheit 130 ein inneres Ende des linken Auges extrahiert hat, in der Gesichtsmerkmalspunkttabelle 180a registriert. Im Übrigen wird das innere Ende des linken Auges auch als ein linker Augeninnenwinkel bezeichnet.
• Die Gesichtsmerkmalspunkt-Extrahierungseinheit 130 berechnet die Gesichtsausrichtung auf Grundlage der Gesichtsmerkmalspunkte. Die Gesichtsausrichtung wird durch Gieren, Nicken und Rollen dargestellt. Die Gesichtsmerkmalspunkt-Extrahierungseinheit 130 registriert die Gesichtsausrichtung in der Gesichtsmerkmalspunkttabelle 180a.
• Zurückkehrend zu 1 wird die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 beschrieben.
• Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 berechnet einen Extrahierungsbereich eines Gesichtsmerkmalswerts, der für die Bestimmung des unwachsamen Zustands zu nutzen ist.
• Hier führt der Benutzer als eine Aktion, die er durchführt, wenn er sich in dem unwachsamen Zustand befindet, oder als eine Aktion, die den unwachsamen Zustand des Benutzers vorhersagt, eine Aktion des Widerstehens von Müdigkeit aus. Die Aktion, Müdigkeit zu widerstehen, ist die Aktion des Benutzers, die Augen bewusst fest zu schließen. Die Aktion des Widerstehens von Müdigkeit kann auch als starker Lidschlag ausgedrückt werden, bei der der Benutzer die Augen bewusst fest schließt. Wenn der Benutzer die Augen bewusst fest schließt, entstehen Falten auf der Glabella zwischen den Augenbrauen. Daher berechnet die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 einen Glabella-Bereich in dem Gesichtsbereich als den Gesichtsmerkmalswert-Extrahierungsbereich.
• Des Weiteren benetzt der Benutzer in Fällen, in denen er sich aufgrund von Alkoholkonsum in einem Zustand wie dem unwachsamen Zustand befindet, seine Lippen mit der Zunge, um den trockenen Mund zu befeuchten. Daher berechnet die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 einen Mund-Bereich in dem Gesichtsbereich als den Gesichtsmerkmalswert-Extrahierungsbereich.
• Außerdem gähnt der Benutzer als eine Aktion, die er durchführt, wenn er sich in dem unwachsamen Zustand befindet, oder als eine Aktion, die den unwachsamen Zustand des Benutzers vorhersagt. Wenn der Benutzer gähnt, öffnet sich der Mund. Außerdem entstehen beim Gähnen des Benutzers Falten auf den Wangen. Daher berechnet die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 den Mund-Bereich und einen Wangen-Bereich in dem Gesichtsbereich als die Gesichtsmerkmalswert-Extrahierungsbereiche.
• Als konkrete Beispiele werden im Folgenden die Berechnung des Glabella-Bereichs und die Berechnung des Mund-Bereichs beschrieben.
• 4(A) und 4(B) sind Diagramme, die Beispiele für die Berechnung des Gesichtsmerkmalswert-Extrahierungsbereichs zeigen. 4(A) zeigt ein Beispiel für die Berechnung des Glabella-Bereichs. Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 identifiziert einen linken inneren Augenwinkel und einen rechten inneren Augenwinkel unter den Gesichtsmerkmalspunkten, die durch die Gesichtsmerkmalspunkt-Extrahierungseinheit 130 extrahiert wurden. Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 berechnet einen Mittelpunkt 200 zwischen dem linken inneren Augenwinkel und dem rechten inneren Augenwinkel. Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 berechnet einen rechteckigen Bereich 201 (d.h. einen Bereich eines [Pixels] × eines [Pixels]), der auf den Mittelpunkt 200 zentriert ist. Der rechteckige Bereich 201 ist der Glabella-Bereich. Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 berechnet den Glabella-Bereich wie oben erläutert.
• Zudem multipliziert die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 die Länge von jeder Seite des rechteckigen Bereichs 201 mit k, auf Grundlage von einem rechteckigen Bereich, der dem Gesichtsbereich entspricht, der durch die Gesichtsbereich-Extrahierungseinheit 120 extrahiert ist. Durch dieses Verfahren ist die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 in der Lage, einen rechteckigen Bereich eines (a × k) [Pixels] × (a × k) [Pixels] zu berechnen.
• Es gibt im Übrigen Fälle, in denen der Glabella-Bereich in Abhängigkeit von der Gesichtsausrichtung nicht genau berechnet wird. Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 kann auch den Glabella-Bereich auf Grundlage der durch die Gesichtsmerkmalspunkt-Extrahierungseinheit 130 berechneten Gesichtsausrichtung und des Mittelpunkts berechnen. Die Berechnung wird im Folgenden konkret erläutert. Dabei wird hier angenommen, dass das Gesicht zum Beispiel in eine linke Richtung zeigt. Wenn das Gesicht in die linke Richtung zeigt, befindet sich das Zentrum des Bereichs, in dem die Glabella-Falten entstehen, an einer Position links von dem Mittelpunkt zwischen dem linken inneren Augenwinkel und dem rechten inneren Augenwinkel. Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 berechnet Koordinaten, auf die der Mittelpunkt um 1 [Pixel] nach links verschoben wurde, als zentrale Koordinaten des Glabella-Bereichs. Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 berechnet einen rechteckigen Bereich, der auf die zentralen Koordinaten zentriert ist.
• 4(B) zeigt ein Beispiel für die Berechnung des Mund-Bereichs. Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 identifiziert linke und rechte Mundwinkel unter den Gesichtsmerkmalspunkten, die durch die Gesichtsmerkmalspunkt-Extrahierungseinheit 130 extrahiert wurden. Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 berechnet einen Mittelpunkt 210 zwischen dem linken und dem rechten Mundwinkel. Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 berechnet einen rechteckigen Bereich 211 (d. h. einen Bereich von b [Pixeln] × b [Pixeln]), der auf den Mittelpunkt 210 zentriert ist. Der rechteckige Bereich 211 ist der Mund-Bereich. Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 berechnet den Mund-Bereich wie oben erläutert.
• Zudem multipliziert die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 die Länge von jeder Seite des rechteckigen Bereichs 211 mit k, auf Grundlage des rechteckigen Bereichs, der dem durch die Gesichtsbereich-Extrahierungseinheit 120 extrahierten Gesichtsbereich entspricht. Durch dieses Verfahren ist die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 in der Lage, einen rechteckigen Bereich von (b × k) [Pixeln] × (b × k) [Pixeln] zu berechnen.
• Ferner kann die Gesichtsmerkmalspunkt-Extrahierungsbereich-Berechnungseinheit 140 auch den Mund-Bereich auf Grundlage der Gesichtsmerkmalspunkte und der durch die Gesichtsmerkmalspunkt-Extrahierungseinheit 130 berechneten Gesichtsausrichtung berechnen. Ein Verfahren der Berechnung ist wie vorstehend erläutert.
• Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 ist in der Lage, den Wangen-Bereich in einer ähnlichen Weise zu berechnen.
• Zurückkehrend zu 1 wird die Gesichtsmerkmalswert-Extrahierungseinheit 150 nachfolgend beschrieben.
• Die Gesichtsmerkmalswert-Extrahierungseinheit 150 extrahiert Gesichtsmerkmalswerte auf Grundlage des Glabella-Bereichs, des Mund-Bereichs und des Wangen-Bereichs. Die Gesichtsmerkmalswerte sind Histogramme-von-orientierten-Gradienten-(HOH)-Merkmalswerte. Die HOG-Merkmalswerte sind zum Beispiel in Nicht-Patentreferenz 3 beschrieben.
• Die Gesichtsmerkmalswerte können auch andere Merkmalswerte als die HOG-Merkmalswerte sein. Die Gesichtsmerkmalswerte können beispielsweise SIFT-Merkmalswerte (Scaled Invariance Feature Transform), SURF-Merkmalswerte (Speeded-Up Robust Feature), Haar-ähnliche Merkmalswerte oder dergleichen sein.
• Die Gesichtsmerkmalswert-Extrahierungseinheit 150 speichert die Gesichtsmerkmalswerte in der Gesichtsmerkmalswert-Speichereinheit 181. Hier folgt eine Erläuterung der Gesichtsmerkmalswert-Speichereinheit 181. Die Gesichtsmerkmalswert-Speichereinheit 181 speichert eine Gesichtsmerkmalswerttabelle.
• 5 ist ein Diagramm, das ein Beispiel der Gesichtsmerkmalswerttabelle in der ersten Ausführungsform zeigt. Die Gesichtsmerkmalswerttabelle 181a ist in der Gesichtsmerkmalswert-Speichereinheit 181 gespeichert. Die Gesichtsmerkmalswerttabelle 181a enthält Einträge eines Merkmalswerts und eines Werts. Die Gesichtsmerkmalswert-Extrahierungseinheit 150 registriert die Gesichtsmerkmalswerte in der Gesichtsmerkmalswerttabelle 181a. Insbesondere registriert die Gesichtsmerkmalswert-Extrahierungseinheit 150 Informationen, darstellend die Gesichtsmerkmalswerte, in dem Gesichtswerteintrag der Gesichtsmerkmalswerttabelle 181a. Dann registriert die Gesichtsmerkmalswert-Extrahierungseinheit 150 Werte, die den Gesichtsmerkmalswerten entsprechen, in dem Werteintrag der Gesichtsmerkmalswerttabelle 181a.
• Außerdem werden die HOG-Merkmalswerte, die jeweils n Rahmen (n: ganze Zahl größer oder gleich 2) entsprechen, die durch die Erwerbungseinheit 110 in einer vorherbestimmten Zeit erfasst wurden, in der Gesichtsmerkmalswerttabelle 181a registriert. Im Übrigen beträgt die vorherbestimmte Zeit zum Beispiel fünf Minuten.
• Zurückkehrend zu 1 wird die Zustandsbestimmungseinheit 160 nachfolgend beschrieben.
• Die Zustandsbestimmungseinheit 160 bestimmt, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet, auf Grundlage der Gesichtsmerkmalswerte in jedem von der Vielzahl von Rahmen und zuvor erzeugten Bestimmungsinformationen. Die Zustandsbestimmungseinheit 160 kann auch beschrieben sein als zu bestimmen, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet, auf Grundlage der Gesichtsmerkmalswerte, die jedem von der Vielzahl von Rahmen entsprechen, und zuvor gespeicherten Bestimmungsinformationen.
• Die Zustandsbestimmungseinheit 160 wird nachfolgend im Detail beschrieben.
• Die Zustandsbestimmungseinheit 160 führt die Bestimmung des unwachsamen Zustands auf Grundlage der HOG-Merkmalswerte durch. Konkret nimmt die Zustandsbestimmungseinheit 160 die Bestimmung des unwachsamen Zustands auf Grundlage der Anzahl der Male der oben genannten drei Aktionen vor, die der Benutzer in einer vorherbestimmten Zeit durchgeführt hat. Die drei Aktionen sind im Übrigen die Aktion des Benutzers, seine Glabella in Falten zu ziehen, die Aktion des Benutzers, seine Lippen mit der Zunge zu benetzen, um den trockenen Mund zu befeuchten, und die Aktion des Benutzers, zu gähnen. Die vorherbestimmte Zeit beträgt zum Beispiel fünf Minuten.
• Hier wurden die Informationen zum Durchführen der Bestimmung des unwachsamen Zustands in der Zustandsbestimmungsmodell-Speichereinheit 182 gespeichert. Diese Informationen wurden im Übrigen in der Zustandsbestimmungsmodell-Speichereinheit 182 zuvor gespeichert, bevor die Zustandsbestimmungseinrichtung 100 die Bestimmung des unwachsamen Zustands ausführt.
• Diese Informationen werden als eine Zustandsbestimmungsmodelltabelle bezeichnet. Die Zustandsbestimmungsmodelltabelle wird im Folgenden beschrieben.
• 6 ist ein Diagramm, das ein Beispiel für die Zustandsbestimmungsmodelltabelle in der ersten Ausführungsform zeigt. Die Zustandsbestimmungsmodelltabelle 182a wird in der Zustandsbestimmungsmodell-Speichereinheit 182 gespeichert. Die Zustandsbestimmungsmodelltabelle 182a enthält Einträge eines Unwachsamkeitsgrades, die Anzahl von Malen des in Faltenziehens der Glabella in fünf Minuten, die Anzahl von Malen der Benetzung der Lippen mit der Zunge in fünf Minuten und die Anzahl von Malen des Gähnens in fünf Minuten.
• Die Zustandsbestimmungsmodelltabelle 182a wird auch als die Bestimmungsinformationen bezeichnet. Weiterhin enthält die Zustandsbestimmungsmodelltabelle 182a Informationen zur Bestimmung eines Unwachsamkeitsgrades entsprechend der Anzahl von Malen, die der Benutzer die Glabella in Falten gezogen hat. Weiterhin enthält die Zustandsbestimmungsmodelltabelle 182a Informationen zur Bestimmung eines Unwachsamkeitsgrades entsprechend der Anzahl von Malen, die der Benutzer die Lippen mit der Zunge benetzt hat. Weiterhin enthält die Zustandsbestimmungsmodelltabelle 182a Informationen zur Bestimmung eines Unwachsamkeitsgrades entsprechend der Anzahl der Male, die der Benutzer gegähnt hat.
• Hier wird ein Verfahren beschrieben, bei dem die Zustandsbestimmungseinheit 160 bestimmt, dass die Glabella in Falten gezogen wurde. Die Zustandsbestimmungseinheit 160 berechnet die Kosinus-Ähnlichkeit Sn mit Hilfe des folgenden Ausdrucks (1):
• $${\text{S}}_{\text{n}}=\text{cos}\left(\overrightarrow{{\text{H}}_{\text{n}}},\overrightarrow{{\text{H}}_{\text{m}}}\right)=\frac{\overrightarrow{{\text{H}}_{\text{n}}}\cdot \overrightarrow{{\text{H}}_{\text{m}}}}{\left|\overrightarrow{{\text{H}}_{\text{n}}}\right|\left|\overrightarrow{{\text{H}}_{\text{m}}}\right|}=\frac{\overrightarrow{{\text{H}}_{\text{n}}}}{\overrightarrow{\left|{\text{H}}_{\text{n}}\right|}}\cdot \frac{\overrightarrow{{\text{H}}_{\text{m}}}}{\left|\overrightarrow{{\text{H}}_{\text{m}}}\right|}=\frac{{\displaystyle {\sum }_{\text{i}=1}^{\text{n}}{\text{H}}_{{\text{n}}_{\text{i}}}{\text{H}}_{{\text{m}}_{\text{i}}}}}{\sqrt{{\displaystyle {\sum }_{\text{i}=1}^{\text{n}}{\text{H}}_{{\text{n}}_{\text{i}}}{}^2}}\cdot \sqrt{{{\displaystyle {\sum }_{\text{i}=1}^{\text{n}}{\text{H}}_{{\text{m}}_i}}}^2}}$$

  
• Ein Mittelwert Hm ist ein Mittelwert von HOG-Merkmalswerten, die durch die Gesichtsmerkmalswert-Extrahierungseinheit 150 aus einer Vielzahl von Rahmen in einem sehr wachsamen Zustand (d. h. Normalzustand) extrahiert wurden. Der Mittelwert Hm wird im Übrigen zuvor berechnet, bevor die Zustandsbestimmungseinrichtung 100 die Bestimmung des unwachsamen Zustands durchführt. Der Mittelwert Hm wurde zum Beispiel in der Gesichtsmerkmalswert-Speichereinheit 181 gespeichert.
• Die HOG-Merkmalswerte Hn sind HOG-Merkmalswerte, die n Rahmen entsprechen, die durch die Erwerbungseinheit 110 in der vorherbestimmten Zeit erworben wurden.
• Hier wird ein Diagramm erläutert, das ein Beispiel für die Beziehung zwischen der Kosinus-Ähnlichkeit Sn und der Zeit zeigt.
• 7 ist ein Diagramm zur Erläuterung eines Verfahrens des Berechnens der Anzahl von Malen des in Faltenziehens der Glabella in der ersten Ausführungsform. Die vertikale Achse des Diagramms in 7 stellt die Kosinus-Ähnlichkeit Sn dar. Die horizontale Achse des Diagramms in 7 stellt die Zeit dar. Wenn die Glabella in Falten gezogen ist, erscheinen die Ränder der Falten intensiv. Wenn die Ränder der Falten intensiv erscheinen, nimmt die Kosinus-Ähnlichkeit Sn einen niedrigen Wert an.
• Wenn die Kosinus-Ähnlichkeit Sn kleiner ist als ein vorherbestimmter Schwellenwert S, bestimmt die Zustandsbestimmungseinheit 160, dass die Glabella in Falten gezogen war. Wenn die Zustandsbestimmungseinheit 160 bestimmt, dass die Glabella in Falten gezogen wurde, inkrementiert die Zustandsbestimmungseinheit 160 die Anzahl der Male des in Faltenziehens der Glabella.
• Das Verfahren des Bestimmens, dass die Glabella in Falten gezogen wurde, und ein Verfahren des Bestimmens, dass der Benutzer die Lippen mit der Zunge benetzt hat, sind ähnliche Verfahren. Zudem sind das Verfahren des Bestimmens, dass die Glabella in Falten gezogen wurde, und ein Verfahren des Bestimmens, dass der Benutzer gegähnt hat, ähnliche Verfahren. Daher entfällt die Erläuterung für das Verfahren des Bestimmens, dass der Benutzer die Lippen mit der Zunge benetzt hat, und das Verfahren des Bestimmens, dass der Benutzer gegähnt hat.
• Wie oben berechnet die Zustandsbestimmungseinheit 160 die Anzahl von Malen, die der Benutzer die Glabella in Falten gezogen hat, auf Grundlage des Gesichtsmerkmalswerts, der aus dem Glabella-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurde. Die Zustandsbestimmungseinheit 160 berechnet die Anzahl von Malen, die der Benutzer die Lippen mit der Zunge benetzt hat, auf Grundlage des Gesichtsmerkmalswerts, der aus dem Mund-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurde. Die Zustandsbestimmungseinheit 160 berechnet die Anzahl von Malen, die der Benutzer gegähnt hat, auf Grundlage der Gesichtsmerkmalswerte, die aus dem Mund-Bereich und dem Wangen-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurden.
• Die Zustandsbestimmungseinheit 160 bestimmt den Unwachsamkeitsgrad auf Grundlage der Anzahl von Malen des in Faltenziehens der Glabella und der Zustandsbestimmungsmodelltabelle 182a. Die Zustandsbestimmungseinheit 160 bestimmt den Unwachsamkeitsgrad auf Grundlage der Anzahl von Malen der Benetzung der Lippen mit der Zunge und der Zustandsbestimmungsmodelltabelle 182a. Die Zustandsbestimmungseinheit 160 bestimmt den Unwachsamkeitsgrad auf Grundlage der Anzahl von Malen des Gähnens und der Zustandsbestimmungsmodelltabelle 182a.
• 8 ist ein Diagramm, das ein konkretes Beispiel für den Unwachsamkeitsgrad in der ersten Ausführungsform zeigt. 8 gibt an, dass der auf Grundlage der Anzahl von Malen des in Faltenziehens der Glabella bestimmte Unwachsamkeitsgrad Grad 2 ist. 8 gibt an, dass der auf Grundlage der Anzahl von Malen der Benetzung der Lippen mit der Zunge bestimmte Unwachsamkeitsgrad Grad 4 ist. 8 gibt an, dass der auf Grundlage der Anzahl von Malen des Gähnens bestimmte Unwachsamkeitsgrad Grad 3 ist.
• Die Zustandsbestimmungseinheit 160 berechnet den Mittelwert der drei Unwachsamkeitsgrade. Die Zustandsbestimmungseinheit 160 berechnet zum Beispiel den Grad 3 (= (2 + 4 + 3)/3) als den Mittelwert. Die Zustandsbestimmungseinheit 160 kann den Mittelwert auch auf die nächste ganze Zahl abrunden.
• Wenn der Mittelwert größer als oder gleich wie ein vorherbestimmter Schwellenwert ist, bestimmt die Zustandsbestimmungseinheit 160, dass sich der Benutzer in dem unwachsamen Zustand befindet. Der Schwellenwert ist zum Beispiel 3. Dieser Schwellenwert wird im Übrigen auch als ein Schwellwertniveau bezeichnet. Wie oben bestimmt die Zustandsbestimmungseinheit 160, dass sich der Benutzer in dem unwachsamen Zustand befindet, wenn der Mittelwert größer ist als oder gleich ist wie Grad 3. Welcher Grad als der unwachsame Zustand bestimmt werden soll, kann im Übrigen in Abhängigkeit von dem Verfahren der Auswertung geändert werden.
• Die Zustandsbestimmungseinheit 160 speichert ein Bestimmungsergebnis in der Bestimmungsergebnis-Speichereinheit 183. Das Bestimmungsergebnis ist der Mittelwert. Hier erfolgt eine Erläuterung der Bestimmungsergebnis-Speichereinheit 183. Die Bestimmungsergebnis-Speichereinheit 183 speichert eine Bestimmungsergebnistabelle.
• 9 ist ein Diagramm, das ein Beispiel für die Bestimmungsergebnistabelle in der ersten Ausführungsform zeigt. Die Bestimmungsergebnistabelle 183a wird in der Bestimmungsergebnis-Speichereinheit 183 gespeichert. Die Bestimmungsergebnistabelle 183a enthält einen Eintrag des Unwachsamkeitsgrades. Die Zustandsbestimmungseinheit 160 registriert den berechneten Mittelwert in der Bestimmungsergebnistabelle 183a.
• Die Zustandsbestimmungseinheit 160 kann die Bestimmung des unwachsamen Zustands auch auf Grundlage von Informationen durchführen, die durch Ausführung von maschinellem Lernen unter Verwendung von Random Forest, Support Vector Machine (SVM), Adaboost, Convolutional Neural Network (CNN) oder dergleichen und den Gesichtsmerkmalswerten erhalten wurden. Im Übrigen werden diese Informationen auch als Bestimmungsinformationen bezeichnet. Die Bestimmungsinformationen sind nämlich Informationen, die mittels maschinellem Lernen zum Bestimmen, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet, erhalten werden.
• Zurückkehrend zu 1 wird die Ausgabeeinheit 170 nachfolgend beschrieben. Die Ausgabeeinheit 170 gibt das Bestimmungsergebnis aus. Die Ausgabeeinheit 170 wird nachfolgend im Detail beschrieben.
• Die Ausgabeeinheit 170 gibt den in der Bestimmungsergebnistabelle 183a registrierten Unwachsamkeitsgrad aus. Die Ausgabeeinheit 170 gibt zum Beispiel den Unwachsamkeitsgrad an die Anzeige 105 aus. Alternativ kann die Ausgabeeinheit 170 den Unwachsamkeitsgrad als Audio ausgeben. Der in der Bestimmungsergebnistabelle 183a registrierte Unwachsamkeitsgrad wird im Übrigen auch als den Mittelwert repräsentierende Information bezeichnet.
• Die Ausgabeeinheit 170 kann auch Informationen ausgeben, die anzeigen, dass sich der Benutzer in dem unwachsamen Zustand befindet, wenn der in der Bestimmungsergebnistabelle 183a registrierte Unwachsamkeitsgrad höher ist als oder gleich ist wie Grad 3. Die Ausgabeeinheit 170 kann auch Informationen ausgeben, die anzeigen, dass sich der Benutzer nicht in dem unwachsamen Zustand befindet, wenn der in der Bestimmungsergebnistabelle 183a registrierte Unwachsamkeitsgrad niedriger ist als oder gleich ist wie Grad 2.
• Im Folgenden werden die durch die Zustandsbestimmungseinrichtung 100 ausgeführten Prozesse anhand von Flussdiagrammen beschrieben.
• 10 ist ein Flussdiagramm, das einen Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungsprozess in der ersten Ausführungsform zeigt. Im Übrigen wird im Folgenden ein Glabella-Bereich-Berechnungsprozess unter Bezugnahme auf 10 beschrieben. 10 zeigt ein Beispiel für einen Prozess, der durch die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 ausgeführt ist.
• (Schritt S11) Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 erwirbt die Koordinaten des linken inneren Augenwinkels und des rechten inneren Augenwinkels und die Gesichtsausrichtung aus der Gesichtsmerkmalspunkt-Speichereinheit 180.
• (Schritt S12) Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 berechnet den Mittelpunkt zwischen dem linken inneren Augenwinkel und dem rechten inneren Augenwinkel.
• (Schritt S13) Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 berechnet die zentralen Koordinaten auf Grundlage des Mittelpunkts und der Gesichtsausrichtung. Insbesondere berechnet die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 die zentralen Koordinaten als Koordinaten, auf die der Mittelpunkt verschoben wurde.
• (Schritt S14) Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 berechnet den rechteckigen Bereich, der auf die zentralen Koordinaten zentriert ist.
• (Schritt S15) Dann erwirbt die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 den rechteckigen Bereich, der dem Gesichtsbereich entspricht, der durch die Gesichtsbereich-Extrahierungseinheit S120 extrahiert wurde.
• (Schritt S16) Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 ändert die Größe des in Schritt S14 berechneten rechteckigen Bereichs auf Grundlage des rechteckigen Bereichs, der dem Gesichtsbereich entspricht. Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 multipliziert die Länge von jeder Seite des rechteckigen Bereichs mit k, auf Grundlage des rechteckigen Bereichs, der dem Gesichtsbereich entspricht. Durch dieses Verfahren wird der Glabella-Bereich gemäß der Größe des Gesichts berechnet.
• Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 ist in der Lage, den Mund-Bereich und den Wangen-Bereich durch Prozesse, die den oben erläuterten Prozessen ähnlich sind, zu berechnen.
• 11 ist ein Flussdiagramm, das einen Gesichtsmerkmalswert-Extrahierungsprozess in der ersten Ausführungsform zeigt.
• (Schritt S21) Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 150 erwirbt die drei Gesichtsmerkmalswert-Extrahierungsbereiche, die durch die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 berechnet sind. Insbesondere sind die drei Gesichtsmerkmalswert-Extrahierungsbereiche der Glabella-Bereich, der Mund-Bereich und der Wangen-Bereich.
• (Schritt S22) Die Gesichtsmerkmalswert-Extrahierungseinheit 150 extrahiert ein HOG-Merkmal auf Grundlage des Glabella-Bereichs. Zudem extrahiert die Gesichtsmerkmalswert-Extrahierungseinheit 150 einen HOG-Merkmalswert auf Grundlage des Mund-Bereichs. Zudem extrahiert die Gesichtsmerkmalswert-Extrahierungseinheit 150 einen HOG-Merkmalswert auf Grundlage des Wangen-Bereichs.
• (Schritt S23) Die Gesichtsmerkmalswert-Extrahierungseinheit 150 speichert den auf Grundlage des Glabella-Bereichs extrahierten HOG-Merkmalswert in der Gesichtsmerkmalswert-Speichereinheit 181. Zudem speichert die Gesichtsmerkmalswert-Extrahierungseinheit 150 den auf Grundlage des Mund-Bereichs extrahierten HOG-Merkmalswert in der Gesichtsmerkmalswert-Speichereinheit 181. Zudem speichert die Gesichtsmerkmalswert-Extrahierungseinheit 150 den auf Grundlage des Wangen-Bereichs extrahierten HOG-Merkmalswert in der Gesichtsmerkmalswert-Speichereinheit 181.
• Durch diese Prozesse werden die HOG-Merkmalswerte, die jeweils auf Grundlage der drei Gesichtsmerkmalswerte-Extrahierungsbereiche extrahiert wurden, in der Gesichtsmerkmalswerttabelle 181a registriert.
• 12 ist ein Flussdiagramm, das einen Zählprozess in der ersten Ausführungsform zeigt. Ein Fall des Zählens der Anzahl von Malen des in Faltenziehens der Glabella wird nachfolgend unter Bezugnahme auf 12 erläutert.
• (Schritt S31) Die Zustandsbestimmungseinheit 160 erwirbt einen HOG-Merkmalswert, der auf Grundlage des Glabella-Bereichs aus einem Rahmen (zum Beispiel als ein erster Rahmen bezeichnet) extrahiert wurde, aus der Gesichtsmerkmalswert-Speichereinheit 181.
• (Schritt S32) Die Zustandsbestimmungseinheit 160 berechnet die Kosinus-Ähnlichkeit Sn mit Hilfe des folgenden Ausdrucks (1).
• (Schritt S33) Die Zustandsbestimmungseinheit 160 beurteilt, ob oder ob nicht die in dem Schritt S32 berechnete Kosinus-Ähnlichkeit Sn kleiner ist als der Schwellenwert S.
• Der Fall, in dem die in Schritt S32 berechnete Kosinus-Ähnlichkeit Sn geringer ist als der Schwellenwert S ist ein Fall, in dem zum Beispiel die Ränder der Falten auf der Glabella intensiv erscheinen. Anders ausgedrückt ist der Fall, in dem die in Schritt S32 berechnete Kosinus-Ähnlichkeit Sn kleiner ist als der Schwellenwert S, ein Fall, in dem der Benutzer die Glabella in Falten zieht.
• Wenn die Beurteilungsbedingung erfüllt ist, führt die Zustandsbestimmungseinheit 160 den Prozess weiter zu Schritt S34. Wenn die Beurteilungsbedingung nicht erfüllt ist, führt die Zustandsbestimmungseinheit 160 den Prozess weiter zu Schritt S35.
• (Schritt S34) Die Zustandsbestimmungseinheit 160 inkrementiert die Anzahl von Malen des in Faltenziehens der Glabella.
• (Schritt S35) Die Zustandsbestimmungseinheit 160 beurteilt, ob seit dem Start des Zählprozesses fünf Minuten abgelaufen sind oder nicht. Falls fünf Minuten abgelaufen sind, beendet die Zustandsbestimmungseinheit 160 den Prozess. Falls fünf Minuten nicht abgelaufen sind, führt die Zustandsbestimmungseinheit 160 den Prozess weiter zu Schritt S31. In diesem Schritt S31 erwirbt die Zustandsbestimmungseinheit 160 beispielsweise einen HOG-Merkmalswert, der auf Grundlage des Glabella-Bereichs extrahiert wurde, der aus einem zweiten Rahmen extrahiert wurde, der durch die Erwerbungseinheit 110 neben dem ersten Rahmen erworben wurde, aus der Gesichtsmerkmalswert-Speichereinheit 181.
• Wie oben beschrieben, erwirbt die Zustandsbestimmungseinheit 160 die HOG-Merkmalswerte, die jeweils auf Grundlage des Glabella-Bereichs in den n Rahmen, die durch die Erwerbungseinheit 110 in fünf Minuten erworben wurden, extrahiert wurden. Die Zustandsbestimmungseinheit 160 bestimmt auf Grundlage von jedem der HOG-Merkmalswerte, ob oder ob nicht die Glabella in Falten gezogen war. Durch diesen Prozess ist die Zustandsbestimmungseinheit 160 in der Lage, die Anzahl von Malen, die der Benutzer die Glabella in fünf Minuten in Falten gezogen hat, zu bestimmen.
• Die Anzahl von Malen des Benetzens der Lippen mit der Zunge wird mittels eines Verfahrens erhalten, das dem in 11 gezeigten Zählprozess ähnlich ist. Zum Beispiel wird der in Schritt S31 erwähnte Glabella-Bereich in den Mund-Bereich geändert. Durch diesen Prozess ist die Zustandsbestimmungseinheit 160 in der Lage, die Anzahl von Malen, die der Benutzer die Lippen mit der Zunge in fünf Minuten benetzt hat, zu erhalten.
• Zudem wird die Anzahl von Malen des Gähnens durch ein Verfahren erhalten, das dem in 11 gezeigten Zählprozess ähnlich ist. Zum Beispiel wird der in dem Schritt S31 erwähnte Glabella-Bereich in den Mund-Bereich und den Wangen-Bereich geändert. Im Schritt S33 führt die Zustandsbestimmungseinheit 160 beispielsweise den Prozess weiter zu Schritt S34, wenn die Kosinus-Ähnlichkeit Sn, die auf Grundlage des HOG-Merkmalswerts berechnet wurde, der dem Mund-Bereich entspricht, und die Kosinus-Ähnlichkeit Sn, die auf Grundlage des HOG-Merkmalswerts berechnet wurde, der dem Wangen-Bereich entspricht, kleiner sind als ein vorherbestimmter Schwellenwert. Durch diesen Prozess ist die Zustandsbestimmungseinheit 160 in der Lage, die Anzahl von Malen, die der Benutzer in fünf Minuten gegähnt hat, zu erhalten.
• Die vorstehend erwähnten fünf Minuten sind im Übrigen eine willkürlich festgelegte Zeit. Die als fünf Minuten angegebene Zeit kann also auch eine andere Zeit als fünf Minuten sein.
• 13 ist ein Flussdiagramm, das einen unwachsamer-Zustand-Bestimmungsprozess in der ersten Ausführungsform zeigt.
• (Schritt S41) Die Zustandsbestimmungseinheit 160 bestimmt den Unwachsamkeitsgrad auf Grundlage der Zustandsbestimmungsmodelltabelle 182a und der Anzahl von Malen des in Faltenziehens der Glabella. Die Zustandsbestimmungseinheit 160 bestimmt den Unwachsamkeitsgrad auf Grundlage der Zustandsbestimmungsmodelltabelle 182a und der Anzahl von Malen der Benetzung der Lippen mit der Zunge. Die Zustandsbestimmungseinheit 160 bestimmt den Unwachsamkeitsgrad auf Grundlage der Zustandsbestimmungsmodelltabelle 182a und der Anzahl von Malen des Gähnens.
• (S42) Die Zustandsbestimmungseinheit 160 berechnet den Mittelwert auf Grundlage der drei Unwachsamkeitsgrade. Die Zustandsbestimmungseinheit 160 kann den Mittelwert auch auf die nächste ganze Zahl abrunden.
• (Schritt S43) Die Zustandsbestimmungseinheit 160 führt die Bestimmung des unwachsamen Zustands auf Grundlage des Mittelwerts durch. Die Zustandsbestimmungseinheit 160 bestimmt zum Beispiel, dass sich der Benutzer in dem unwachsamen Zustand befindet, falls der Mittelwert größer ist als oder gleich ist wie Grad 3.
• (S44) Die Zustandsbestimmungseinheit 160 speichert das Bestimmungsergebnis in der Bestimmungsergebnis-Speichereinheit 183.
• Gemäß der ersten Ausführungsform bestimmt die Zustandsbestimmungseinrichtung 100, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet, auf Grundlage der Aktion des Benutzers des in Faltenziehens der Glabella, der Aktion des Benutzers des Benetzens der Zunge mit den Lippen, und der Aktion des Benutzers des Gähnens. Es gibt wenig oder keinen individuellen Unterschied in Bezug auf die drei Aktionen in dem unwachsamen Zustand. Da die Zustandsbestimmungseinrichtung 100 die Bestimmung des unwachsamen Zustands auf Grundlage von der Aktionen des Benutzers durchführt, bei denen es keinen individuellen Unterschied oder nur einen geringen individuellen Unterschiede gibt, kann die Bestimmung des unwachsamen Zustands mit hoher Genauigkeit durchgeführt werden.
• Weiterhin kann die Zustandsbestimmungseinheit 160 den Unwachsamkeitsgrad auf Grundlage der Anzahl von Malen, die der Benutzer die Glabella in Falten gezogen hat, und der Zustandsbestimmungsmodelltabelle 182a bestimmen und bestimmen, dass sich der Benutzer in dem unwachsamen Zustand befindet, falls der bestimmte Unwachsamkeitsgrad größer ist als oder gleich ist wie ein vorherbestimmtes Schwellenwertniveau. Das Schwellenwertniveau ist zum Beispiel 3. Die Ausgabeeinheit 170 kann den bestimmten Unwachsamkeitsgrad ausgeben.
• Weiterhin kann die Zustandsbestimmungseinheit 160 den Unwachsamkeitsgrad auf Grundlage der Anzahl der von Malen, die der Benutzer die Lippen mit der Zunge benetzt hat, und der Zustandsbestimmungsmodelltabelle 182a bestimmen und bestimmen, dass sich der Benutzer in dem unwachsamen Zustand befindet, falls der bestimmte Unwachsamkeitsgrad größer ist als oder gleich ist wie ein vorherbestimmtes Schwellenwertniveau. Das Schwellenwertniveau ist zum Beispiel 3. Die Ausgabeeinheit 170 kann den bestimmten Unwachsamkeitsgrad ausgeben.
• Darüber hinaus kann die Zustandsbestimmungseinheit 160 den Unwachsamkeitsgrad auf Grundlage der Anzahl von Malen, die der Benutzer gegähnt hat, und der Zustandsbestimmungsmodelltabelle 182a bestimmen und bestimmen, dass sich der Benutzer in dem unwachsamen Zustand befindet, falls der bestimmte Unwachsamkeitsgrad höher ist als oder gleich ist wie ein vorherbestimmtes Schwellenwertniveau. Das Schwellenwertniveau ist zum Beispiel 3. Die Ausgabeeinheit 170 kann den bestimmten Unwachsamkeitsgrad ausgeben.
• Ein Fall, in dem die Zustandsbestimmungseinheit 160 auf Grundlage des Mittelwerts der drei Unwachsamkeitsgrad bestimmt, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet, wurde oben beschrieben. Die Zustandsbestimmungseinheit 160 kann auch bestimmen, ob sich der Benutzer in dem unwachsamen Zustand befindet oder nicht, auf Grundlage eines Mittelwerts von zwei Unwachsamkeitsgraden. Beispielsweise bestimmt die Zustandsbestimmungseinheit 160, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet auf Grundlage des Mittelwerts des Unwachsamkeitsgrades auf Grundlage der Anzahl von Malen, die der Benutzer die Glabella in Falten gezogen hat, und des Unwachsamkeitsgrades auf Grundlage der Anzahl von Malen, die der Benutzer die Lippen mit der Zunge benetzt hat.
• Zum Beispiel bestimmt die Zustandsbestimmungseinheit 160, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet, auf Grundlage des Mittelwerts des Unwachsamkeitsgrades auf Grundlage der Anzahl von Malen, die der Benutzer die Glabella in Falten gezogen hat, und des Unwachsamkeitsgrades auf Grundlage der Anzahl von Malen, die der Benutzer gegähnt hat. Zum Beispiel bestimmt die Zustandsbestimmungseinheit 160, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet, auf Grundlage des Mittelwerts des Unwachsamkeitsgrades auf Grundlage der Anzahl von Malen, die der Benutzer die Lippen mit der Zunge benetzt hat, und des Unwachsamkeitsgrades auf Grundlage der Anzahl von Malen, die der Benutzer gegähnt hat.
• Zweite Ausführungsform
• Als nächstes wird eine zweite Ausführungsform beschrieben. In der folgenden Beschreibung der zweiten Ausführungsform werden hauptsächlich Merkmale beschrieben, die sich von denen der ersten Ausführungsform unterscheiden, und es wird auf die Beschreibung von Merkmalen verzichtet, die mit der ersten Ausführungsform gemeinsam sind. In der zweiten Ausführungsform wird auf die 1 bis 13 verwiesen.
• 14 ist ein funktionales Blockdiagramm, darstellend die Konfiguration einer Zustandsbestimmungseinrichtung in der zweiten Ausführungsform. Die Zustandsbestimmungseinrichtung 100a umfasst eine Extrahierungseinheit 10a. Die Extrahierungseinheit 10 umfasst eine Gesichtszustand-Beurteilungseinheit 191 und eine Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit 192.
• Weiterhin umfasst die Zustandsbestimmungseinrichtung 100a eine Durchschnittsgesicht-Merkmalspunkt-Speichereinheit 184, eine Gesichtszustand-Speichereinheit 185 und eine Extrahierungsbereich-Bestimmungsmodell-Speichereinheit 186.
• Ein Teil oder die gesamte Extrahierungseinheit 10a, die Gesichtszustand-Beurteilungseinheit 191 und die Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit 192 können durch den Prozessor 101 implementiert sein. Des Weiteren können ein Teil oder die gesamte Extrahierungseinheit 10a, die Gesichtszustand-Beurteilungseinheit 191 und die Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit 192 als ein Modul eines durch den Prozessor 101 ausgeführten Programms implementiert sein. Das durch den Prozessor 101 ausgeführte Programm wird zum Beispiel auch als ein Zustandsbestimmungsprogramm bezeichnet.
• Die Durchschnittsgesicht-Merkmalspunktmodell-Speichereinheit 184, die Gesichtszustand-Speichereinheit 185 und die Extrahierungsbereich-Bestimmungsmodell-Speichereinheit 186 können als Speicherbereiche implementiert sein, die in der flüchtigen Speichereinrichtung 102 oder der nichtflüchtigen Speichereinrichtung 103 gespeichert sind.
• In 14 sind Komponenten, die mit den in 1 dargestellten identisch sind, mit den gleichen Bezugszeichen versehen wie in 1.
• Eine Gesichtszustand-Beurteilungseinheit 191 beurteilt, ob oder ob nicht der Benutzer ein angebrachtes Objekt trägt, auf Grundlage einer Vielzahl von Rahmen. Wenn zum Beispiel kein Augenmerkmalspunkt als ein Gesichtsmerkmalspunkt extrahiert wurde, beurteilt die Gesichtszustand-Beurteilungseinheit 191, dass der Benutzer eine Sonnenbrille trägt. Wenn zum Beispiel kein Mund-Merkmalspunkt als ein Gesichtsmerkmalspunkt extrahiert wurde, beurteilt die Gesichtszustand-Beurteilungseinheit 191, dass der Benutzer eine Maske trägt.
• Die Gesichtszustand-Beurteilungseinheit 191 kann die Beurteilung auf abhängig davon vornehmen, ob oder ob nicht der Benutzer ein angebrachtes Objekt trägt, wie nachfolgend beschrieben. Zunächst wird die Durchschnittsgesicht-Merkmalspunktmodell-Speichereinheit 184 erläutert. Die Durchschnittsgesicht-Merkmalspunktmodell-Speichereinheit 184 speichert eine Durchschnittsgesicht-Merkmalspunkt-Modelltabelle.
• 15 ist ein Diagramm, das ein Beispiel für die Durchschnittsgesicht-Merkmalspunktabelle in der zweiten Ausführungsform zeigt. Die Durchschnittsgesicht-Merkmalspunkt-Modelltabelle 184a ist in der Durchschnittsgesicht-Merkmalspunktmodell-Speichereinheit 184 gespeichert. Die Durchschnittsgesicht-Merkmalspunkt-Modelltabelle 184a wurde in der Durchschnittsgesicht-Merkmalspunktmodell-Speichereinheit 184 gespeichert, bevor die Zustandsbestimmungseinrichtung 100a die Bestimmung des unwachsamen Zustands ausführt. Die Durchschnittsgesicht-Merkmalspunkt-Modelltabelle 184a wird auch als Durchschnittsgesicht-Merkmalspunkt-Modellinformationen bezeichnet.
• Die Durchschnittsgesicht-Merkmalspunkt-Modelltabelle 184a enthält Einträge von einem Merkmalspunkt und durchschnittlichen Koordinaten. Die Durchschnittsgesicht-Merkmalspunkt-Modelltabelle 184 gibt Positionen von Teilen eines Durchschnittsgesichts an. In der Durchschnittsgesicht-Merkmalspunkt-Modelltabelle 184a wurde zum Beispiel eine Tatsache registriert, dass die durchschnittliche Position des äußeren Endes der linken Augenbraue auf den Gesichtern einer großen Anzahl von Personen (100, 100) ist.
• Die Gesichtszustand-Beurteilungseinheit 191 beurteilt, ob oder ob nicht der Benutzer ein angebrachtes Objekt trägt, unter Verwendung der Durchschnittsgesicht-Merkmalspunkt-Modelltabelle 184a und der Gesichtsmerkmalspunkte. Wenn beispielsweise der Abstand zwischen der Position eines Merkmalspunktes des linken Auges und der Position der durchschnittlichen Koordinaten des linken Auges (d.h. das äußere Ende des linken Auges und das innere Ende des linken Auges), die in der Durchschnittsgesicht-Merkmalspunktmodelltabelle 184a registriert sind, größer ist als oder gleich ist wie ein Schwellenwert, beurteilt die Gesichtszustand-Beurteilungseinheit 191, dass die Zuverlässigkeit bezüglich der Position des Merkmalspunktes des linken Auges gering ist. Dann beurteilt die Gesichtszustand-Beurteilungseinheit 191, dass der Benutzer eine Sonnenbrille trägt. Wenn der Abstand zwischen der Position eines Mundmerkmalspunktes und den durchschnittlichen Koordinaten des Mundes, die in der Durchschnittsgesicht-Merkmalspunktmodelltabelle 184a registriert sind, größer ist als oder gleich ist wie ein Schwellenwert, beurteilt die Gesichtszustand-Beurteilungseinheit 191 in ähnlicher Weise, dass der Benutzer eine Maske trägt.
• Hier nutzt die Gesichtszustand-Beurteilungseinheit 191 die Euklidische-Distanz oder die Mahalanobis-Distanz, beim Vergleichen der in der Durchschnittsgesicht-Merkmalspunktmodelltabelle 184a registrierten Informationen mit einem Gesichtsmerkmalspunkt. Im Übrigen, wenn die Euklidische-Distanz oder die Mahalanobis-Distanz genutzt wird, gleicht die Gesichtszustand-Beurteilungseinheit 191 den Abstand zwischen dem äußeren Ende des linken Auges und dem äußeren Ende des rechten Auges, die durch die Gesichtsmerkmalspunkt-Extrahierungseinheit 130 extrahiert wurden, und den Abstand zwischen dem äußeren Ende des linken Auges und dem äußeren Ende des rechten Auges, die in der Durchschnittsgesicht-Merkmalspunktmodelltabelle 184a registriert sind, miteinander ab. Wie oben beschrieben, nutzt die Gesichtszustand-Beurteilungseinheit 191 den Abstand zwischen dem äußeren Ende des linken Auges und dem äußeren Ende des rechten Auges. Die Gesichtszustand-Beurteilungseinheit 191 kann auch einen anderen Abstand als den Abstand zwischen dem äußeren Ende des linken Auges und dem äußeren Ende des rechten Auges nutzen. Zum Beispiel nutzt die Gesichtszustand-Beurteilungseinheit 191 den Abstand zwischen dem äußeren Ende der linken Augenbraue und dem äußeren Ende der rechten Augenbraue.
• Außerdem beurteilt die Gesichtszustand-Beurteilungseinheit 191, ob oder ob nicht ein Schatten in irgendeinem Rahmen unter den n Rahmen enthalten ist. Darüber hinaus beurteilt die Gesichtszustand-Beurteilungseinheit 191, ob oder ob nicht ein Farbsprung in irgendeinem Rahmen unter der Vielzahl der Bilder vorhanden ist. Der Farbsprung bedeutet zum Beispiel überbelichtete Bereiche. Die überbelichteten Bereiche bedeuten, dass ein weißer Teil in dem Rahmen erscheint. Wenn zum Beispiel durch eine Beleuchtungseinrichtung von links Licht einfällt, erfolgt der Farbsprung auf einem linken Gesichtsteil in dem Rahmen.
• Wenn ein Schatten-/Farbsprungbereich in einem Rahmen enthalten ist, führt die Gesichtszustand-Beurteilungseinheit 191 Steuerung durch, um den Schatten-/Farbsprungbereich nicht als den Merkmalswert-Extrahierungsbereich festzulegen. Dementsprechend ist die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 in der Lage einen geeigneten Bereich als den Gesichtsmerkmalswert-Extrahierungsbereich zu berechnen.
• Wenn der Benutzer ferner kein angebrachtes Objekt trägt und kein Schatten-/Farbsprungbereich in dem Rahmen enthalten ist, beurteilt die Gesichtszustand-Beurteilungseinheit 191, dass der Zustand ein normaler Zustand ist.
• Die Gesichtszustand-Beurteilungseinheit 191 speichert das Beurteilungsergebnis in der Gesichtszustand-Speichereinheit 185. Hier erfolgt eine Erläuterung der Gesichtszustand-Speichereinheit 185. Die Gesichtszustand-Speichereinheit 185 speichert eine Gesichtszustandstabelle.
• 16(A) und 16(C) sind Diagramme, die Beispiele für eine Gesichtszustandstabelle zeigen. Die Gesichtszustandstabelle 185a enthält einen Eintrag eines Gesichtszustands.
• 16(A) zeigt einen Zustand, in dem die Gesichtszustand-Beurteilungseinheit 191 „NORMALER ZUSTAND“ in der Gesichtszustandstabelle 185a registriert hat. 16(B) zeigt einen Zustand, in dem die Gesichtszustand-Beurteilungseinheit 191 „MASKE TRAGEND“ in der Gesichtszustandstabelle 185a registriert hat. 16(C) zeigt einen Zustand, in dem die Gesichtszustand-Beurteilungseinheit 191 „LICHT EINFALLEND VON LINKS“ in der Gesichtszustandstabelle 185a registriert hat.
• Wenn die Gesichtszustand-Beurteilungseinheit 191 beurteilt, auf Grundlage der Gesichtsausrichtung, dass eine linke Gesichtshälfte nicht in dem Rahmen vorhanden ist, kann die Gesichtszustand-Beurteilungseinheit 191 in der Gesichtszustandstabelle 185a „Gesicht seitwärts gerichtet“ registrieren.
• Als nächstes folgt eine Erläuterung für die Extrahierungsbereich-Bestimmungsmodell-Speichereinheit 186. Die Extrahierungsbereich-Bestimmungsmodell-Speichereinheit 186 speichert eine Extrahierungsbereich-Bestimmungsmodelltabelle.
• 17 ist ein Diagramm, das ein Beispiel für die Extrahierungsbereich-Bestimmungsmodelltabelle in der zweiten Ausführungsform zeigt. Die Extrahierungsbereich-Bestimmungsmodelltabelle 186a ist in der Extrahierungsbereich-Bestimmungsmodell-Speichereinheit 186 gespeichert. Die Extrahierungsmodell-Bestimmungsmodelltabelle 186a wurde in der Extrahierungsbereich-Bestimmungsmodell-Speichereinheit 186 gespeichert, bevor die Zustandsbestimmungseinrichtung 100a die Bestimmung des unwachsamen Zustands ausführt. Die Extrahierungsbereich-Bestimmungsmodelltabelle 186a enthält Einträge eines Gesichtszustands und eines Gesichtsmerkmalswert-Extrahierungsbereichs. Die Extrahierungsbereich-Bestimmungsmodelltabelle 186a wird auch als Extrahierungsbereich-Bestimmungsmodellinformationen bezeichnet. Die Extrahierungsbereich-Bestimmungsmodelltabelle 186a sind Informationen, die anzeigen, welcher Bereich in dem Gesichtsbereich als der Gesichtsmerkmalswert-Extrahierungsbereich zu bestimmen ist, in Abhängigkeit von der Position, an der das angebrachte Objekt getragen wurde. Zudem sind die Extrahierungsbereich-Bestimmungsmodelltabelle 186a Informationen, die anzeigen, welcher Bereich in dem Gesichtsbereich als der Gesichtsmerkmalswert-Extrahierungsbereich bestimmt werden sollte, in Abhängigkeit von der Position, an der ein Schatten oder ein Farbsprung vorhanden ist.
• Wenn beurteilt wird, dass der Benutzer ein angebrachtes Objekt trägt, bestimmt die Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit 192 den Gesichtsmerkmalswert-Extrahierungsbereich auf Grundlage der Extrahierungsbereich-Bestimmungsmodelltabelle 186a. Insbesondere bestimmt die Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit 192 den Gesichtsmerkmalswert-Extrahierungsbereich auf Grundlage der Extrahierungsbereich-Bestimmungsmodelltabelle 186a und des durch die Gesichtszustand-Beurteilungseinheit 191 beurteilten Gesichtszustands.
• Wenn ferner beurteilt wird, dass ein Schatten oder ein Farbsprung in irgendeinem Rahmen aus der Vielzahl von Rahmen vorhanden ist, bestimmt die Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit 192 den Gesichtsmerkmalswert-Extrahierungsbereich auf Grundlage der Extrahierungsbereich-Bestimmungsmodelltabelle 186a.
• Wenn zum Beispiel die Gesichtszustand-Beurteilungseinheit 191 beurteilt, dass der Benutzer eine Maske trägt, bestimmt die Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit 192 den Glabella-Bereich als den Gesichtsmerkmalswert-Extrahierungsbereich. In diesem Fall, wenn der Benutzer eine Maske trägt, ist es hier für die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 schwierig, den Mund-Bereich oder den Wangen-Bereich zu berechnen. Daher führt die Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit 192 Steuerung durch, um den Mund-Bereich oder den Wangen-Bereich nicht als den Gesichtsmerkmalswert-Extrahierungsbereich zu bestimmen. Dann bestimmt die Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit 192 den Glabella-Bereich als den Gesichtsmerkmalswert-Extrahierungsbereich.
• Die Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit 140 berechnet den Gesichtsmerkmalswert-Extrahierungsbereich, der durch die Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit 192 bestimmt wurde, auf Grundlage der Gesichtsmerkmalspunkte, die durch die Gesichtsmerkmalspunkt-Extrahierungseinheit 130 extrahiert wurden.
• Als nächstes werden durch die Zustandsbestimmungseinrichtung 100a ausgeführte Prozesse anhand von Flussdiagrammen beschrieben.
• 18 ist ein Flussdiagramm, das einen Gesichtszustand-Beurteilungsprozess in der zweiten Ausführungsform zeigt. 18 zeigt ein Beispiel für einen n Prozess, der durch die Gesichtszustand-Beurteilungseinheit 191 ausgeführt ist.
• (Schritt S51) Die Gesichtszustand-Beurteilungseinheit 191 erwirbt die Gesichtsmerkmalspunkte von der Gesichtsmerkmalspunkt-Speichereinheit 180.
• (Schritt S52) Die Gesichtszustand-Beurteilungseinheit 191 beurteilt, ob oder ob nicht ein Schatten oder ein Farbsprung in dem Rahmen vorhanden ist.
• Wenn zum Beispiel die Farbe eines bestimmten Bereichs des Gesichts in dem Rahmen schwarz ist, beurteilt die Gesichtszustand-Beurteilungseinheit 191, dass ein Schatten in dem Rahmen vorhanden ist. Wenn zum Beispiel die Farbe eines bestimmten Bereichs des Gesichts in dem Bild weiß ist oder kein Gesichtsmerkmalspunkt von einem bestimmten Bereich in dem Rahmen erworben wurde, beurteilt die Gesichtszustand-Beurteilungseinheit 191, dass ein Farbsprung in dem Rahmen vorhanden ist. In 18 wird im Übrigen davon ausgegangen, dass der Schatten oder der Farbsprung durch den Einfall von Licht von links durch eine Beleuchtungseinrichtung entsteht.
• Wenn zudem Positionsinformationen, die die Installationsposition eines Illuminators angeben, erworben werden, kann die Gesichtszustand-Beurteilungseinheit 191 auf Grundlage der Positionsinformationen beurteilen, ob oder ob nicht ein Schatten oder ein Farbsprung in dem Rahmen vorhanden ist.
• Wenn ein Schatten oder ein Farbsprung in de Rahmen vorhanden ist, führt die Gesichtszustand-Beurteilungseinheit 191 den Prozess weiter zu Schritt S53. Wenn kein Schatten oder Farbsprung in dem Rahmen vorhanden ist, führt die Gesichtszustand-Beurteilungseinheit 191 den Prozess weiter zu Schritt S54.
• (Schritt S53) Die Gesichtszustand-Beurteilungseinheit 191 registriert „LICHT EINFALLEND VON LINKS“ in der Gesichtszustandstabelle 185a. Dann beendet die Gesichtszustand-Beurteilungseinheit 191 den Prozess.
• (Schritt S54) Die Gesichtszustand-Beurteilungseinheit 191 beurteilt, ob oder ob nicht der Benutzer ein angebrachtes Objekt trägt. Zum Beispiel beurteilt die Gesichtszustand-Beurteilungseinheit 191, dass der Benutzer ein angebrachtes Objekt trägt, wenn kein Augenmerkmalspunkt als ein Gesichtsmerkmalspunkt extrahiert wurde.
• Wenn der Benutzer ein angebrachtes Objekt trägt, führt die Gesichtszustand-Beurteilungseinheit 191 den Prozess weiter zu Schritt S56. Wenn der Benutzer kein angebrachtes Objekt trägt, führt die Gesichtszustand-Beurteilungseinheit 191 den Prozess weiter zu Schritt S55.
• (Schritt S55) Die Gesichtszustand-Beurteilungseinheit 191 registriert „NORMALER ZUSTAND“ in der Gesichtszustandstabelle 185a. Dann beendet die Gesichtszustand-Beurteilungseinheit 191 den Prozess.
• (Schritt S56) Die Gesichtszustand-Beurteilungseinheit 191 beurteilt, ob oder ob nicht der Benutzer eine Maske trägt. Zum Beispiel beurteilt die Gesichtszustand-Beurteilungseinheit 191, dass der Benutzer eine Maske trägt, wenn kein Mundmerkmalspunkt als ein Gesichtsmerkmalspunkt extrahiert wurde.
• Wenn der Benutzer eine Maske trägt, führt die Gesichtszustand-Beurteilungseinheit 191 den Prozess weiter zu Schritt S57. Wenn der Benutzer keine Maske trägt, führt die Gesichtszustand-Beurteilungseinheit 191 den Prozess weiter zu Schritt S58.
• (Schritt S57) Die Gesichtszustand-Beurteilungseinheit 191 registriert „MASKE TRAGEND“ in der Gesichtszustandstabelle 185a. Dann beendet die Gesichtszustand-Beurteilungseinheit 191 den Prozess.
• (Schritt S58) Die Gesichtszustand-Beurteilungseinheit 191 beurteilt, ob oder ob nicht der Benutzer eine Sonnenbrille trägt. Zum Beispiel beurteilt die Gesichtszustand-Beurteilungseinheit 191, dass der Benutzer eine Sonnenbrille trägt, wenn kein Augenmerkmalspunkt als ein Gesichtsmerkmalspunkt extrahiert wurde.
• Wenn der Benutzer keine Sonnenbrille trägt, führt die Gesichtszustand-Beurteilungseinheit 191 den Prozess weiter zu Schritt S59. Wenn der Benutzer keine Sonnenbrille trägt, beendet die Gesichtszustand-Beurteilungseinheit 191 den Prozess.
• (Schritt S59) Die Gesichtszustand-Beurteilungseinheit 191 registriert „SONNENBRILLE TRAGEND“ in der Gesichtszustandstabelle 185a. Dann beendet die Gesichtszustand-Beurteilungseinheit 191 den Prozess.
• 19 ist ein Flussdiagramm, das einen Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungsprozess in der zweiten Ausführungsform zeigt.
• (Schritt S61) Die Gesichtszustandswert-Extrahierungsbereich-Bestimmungseinheit 192 erwirbt den Gesichtszustand von der Gesichtszustandstabelle 185a.
• (Schritt S62) Die Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit 192 bestimmt den Gesichtsmerkmalswert-Extrahierungsbereich auf Grundlage der Extrahierungsbereich-Bestimmungsmodelltabelle 186a und dem Gesichtszustand. Wenn der Gesichtszustand zum Beispiel „MASKE TRAGEND“ ist, bestimmt die Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit 192 den Glabella-Bereich als den Gesichtsmerkmalswert-Extrahierungsbereich. Wenn der Gesichtszustand zum Beispiel „SONNENBRILLE TAGEND“ ist, bestimmt die Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit 192 den Mund-Bereich und den Wangen-Bereich als die Gesichtsmerkmalswert-Extrahierungsbereiche. Wenn der Gesichtszustand zum Beispiel „LICHT VON LINKS BEAUFSCHLAGT“ ist, bestimmt die Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit 192 den Glabella-Bereich, den Mund-Bereich und einen rechte-Wange-Bereich als die Gesichtsmerkmalswert-Extrahierungsbereiche. Anders ausgedrückt, legt die Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit 192 einen linke-Wange-Bereich nicht als einen Gesichtsmerkmalswert-Extrahierungsbereich fest.
• Gemäß der zweiten Ausführungsform ist die Zustandsbestimmungseinrichtung 100a in der Lage, die Bestimmung des unwachsamen Zustands unter Verwendung eines extrahierbaren Gesichtsmerkmalswert-Extrahierungsbereichs durchzuführen, selbst wenn der Benutzer ein angebrachtes Objekt trägt. Zudem ist die Zustandsbestimmungseinrichtung 100a in der Lage, die Bestimmung des unwachsamen Zustands unter Verwendung eines extrahierbaren Gesichtsmerkmalswert-Extrahierungsbereichs durchzuführen, selbst wenn auf den Benutzer Licht einfällt.
• Merkmale in den vorstehend erläuterten Ausführungsformen können in geeigneter Weise miteinander kombiniert werden.
• Bezugszeichenliste

10, 10a

Extrahierungseinheit,

100, 100a

Zustandsbestimmungseinrichtung,

101

Prozessor,

102

flüchtige Speichereinrichtung,

103

nichtflüchtige Speichereinrichtung,

104

Kamera,

105

Anzeige,

110

Erwerbungseinheit,

120

Gesichtsbereich-Extrahierungseinheit,

130

Gesichtsmerkmalspunkt- Extrahierungseinheit,

140

Gesichtsmerkmalswert-Extrahierungsbereich-Berechnungseinheit,

150

Gesichtsmerkmalswert-Extrahierungseinheit,

160

Zustandsbestimmungseinheit,

170

Ausgabeeinheit,

180

Gesichtsmerkmalspunkt-Speichereinheit,

180a

Gesichtsmerkmalspunkttabelle,

181

Gesichtsmerkmalswert-Speichereinheit,

181a

Gesichtsmerkmalswerttabelle,

182

Zustandsbestimmungsmodell-Speichereinheit,

182a

Zustandsbestimmungsmodelltabelle,

183

Bestimmungsergebnis-Speichereinheit,

183a

Bestimmungsergebnistabelle,

184

Durchschnittsgesicht-Merkmalspunktmodell-Speichereinheit,

184a

Durchschnittsgesicht-Merkmalspunktmodelltabelle,

185

Gesichtszustand-Speichereinheit,

185a

Gesichtszustandstabelle,

186

Extrahierungsbereich-Bestimmungsmodell-Speichereinheit,

186a

Extrahierungsbereich-Bestimmungsmodelltabelle,

191

Gesichtszustand-Beurteilungseinheit,

192

Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit,

200

Mittelpunkt,

201

rechteckiger Bereich,

210

Mittelpunkt,

211

rechteckiger Bereich.

Claims (15)

1. Zustandsbestimmungseinrichtung (100), umfassend: eine Extrahierungseinheit (10), die einen Gesichtsbereich, darstellend einen Bereich, der einem Gesicht entspricht, aus jedem von einer Vielzahl von Rahmen, die durch Aufnehmen von Bildern des Gesichts eines Benutzers nacheinander erhalten werden, extrahiert, Gesichtsmerkmalspunkte, darstellend Teile des Gesichts, aus dem Gesichtsbereich extrahiert, einen Gesichtsmerkmalswert-Extrahierungsbereich als einen Bereich, in dem eine Änderung in dem Gesichtsbereich auftritt, wenn sich der Benutzer in einem unwachsamen Zustand befindet, berechnet auf Grundlage der Gesichtsmerkmalspunkte, und einen Gesichtsmerkmalswert als einen Merkmalswert aus dem Gesichtsmerkmalswert-Extrahierungsbereich extrahiert; eine Zustandsbestimmungseinheit (160), die bestimmt, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet auf Grundlage des Gesichtsmerkmalswerts in jedem von der Vielzahl von Rahmen und zuvor erzeugten Bestimmungsinformationen; und eine Ausgabeeinheit (170), die ein Bestimmungsergebnis ausgibt, wobei der Gesichtsmerkmalswert-Extrahierungsbereich ein Mund-Bereich in dem Gesichtsbereich ist, die Bestimmungsinformationen Informationen zum Bestimmen eines Unwachsamkeitsgrades gemäß einer Anzahl von Malen, die der Benutzer seine Lippen mit der Zunge benetzt hat, enthalten, und die Zustandsbestimmungseinheit (160) die Anzahl von Malen, die der Benutzer die Lippen mit der Zunge benetzt hat, berechnet auf Grundlage des Gesichtsmerkmalswerts, der aus dem Mund-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurde, den Unwachsamkeitsgrad bestimmt auf Grundlage der Anzahl von Malen, die der Benutzer die Lippen mit der Zunge benetzt hat, und der Bestimmungsinformationen, und bestimmt, dass sich der Benutzer in dem unwachsamen Zustand befindet, falls der bestimmte Unwachsamkeitsgrad höher ist als oder gleich ist wie ein vorherbestimmtes Schwellenwertniveau.
2. Zustandsbestimmungseinrichtung nach Anspruch 1, wobei die Ausgabeeinheit (170) den bestimmten Unwachsamkeitsgrad ausgibt.
3. Zustandsbestimmungseinrichtung nach Anspruch 1, wobei der Gesichtsmerkmalswert-Extrahierungsbereich ein Glabella-Bereich und der Mund-Bereich in dem Gesichtsbereich ist, die Bestimmungsinformationen Informationen zum Bestimmen eines Unwachsamkeitsgrades gemäß einer Anzahl von Malen, die der Benutzer seine Glabella in Falten gezogen hat, und Informationen zum Bestimmen eines Unwachsamkeitsgrades gemäß einer Anzahl von Malen, die der Benutzer seine Lippen mit der Zunge benetzt hat, enthalten, und die Zustandsbestimmungseinheit (160) die Anzahl von Malen, die der Benutzer die Glabella in Falten gezogen hat, berechnet auf Grundlage des Gesichtsmerkmalswerts, der aus dem Glabella-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurde, den Unwachsamkeitsgrad bestimmt auf Grundlage der Anzahl von Malen, die der Benutzer die Glabella in Falten gezogen hat, und der Bestimmungsinformationen, die Anzahl von Malen, die der Benutzer die Lippen mit der Zunge benetzt hat, berechnet auf Grundlage des Gesichtsmerkmalswerts, der aus dem Mund-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurde, den Unwachsamkeitsgrad bestimmt auf Grundlage der Anzahl von Malen, die der Benutzer die Lippen mit der Zunge benetzt hat, und der Bestimmungsinformationen, einen Mittelwert der bestimmten Unwachsamkeitsgrade berechnet, und bestimmt, dass sich der Benutzer in dem unwachsamen Zustand befindet, falls der Mittelwert höher ist als oder gleich ist wie ein vorherbestimmter Schwellenwert.
4. Zustandsbestimmungseinrichtung nach Anspruch 1, wobei der Gesichtsmerkmalswert-Extrahierungsbereich der Mund-Bereich und ein Wangen-Bereich in dem Gesichtsbereich ist, die Bestimmungsinformationen Informationen zum Bestimmen eines Unwachsamkeitsgrades gemäß einer Anzahl von Malen, die der Benutzer seine Lippen mit der Zunge benetzt hat, und Informationen zum Bestimmen eines Unwachsamkeitsgrades gemäß einer Anzahl von Malen, die der Benutzer gegähnt hat, enthalten, und die Zustandsbestimmungseinheit (160) die Anzahl von Malen, die der Benutzer seine Lippen mit der Zunge benetzt hat, berechnet auf Grundlage des Gesichtsmerkmalswerts, der aus dem Mund-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurde, den Unwachsamkeitsgrad bestimmt auf Grundlage der Anzahl von Malen, die der Benutzer die Lippen mit der Zunge benetzt hat, und der Bestimmungsinformationen, die Anzahl von Malen, die der Benutzer gegähnt hat, berechnet auf Grundlage der Gesichtsmerkmalswerte, die aus dem Mund-Bereich und dem Wangen-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurden, den Unwachsamkeitsgrad bestimmt auf Grundlage der Anzahl von Malen, die der Benutzer gegähnt hat, und der Bestimmungsinformationen, einen Mittelwert der bestimmten Unwachsamkeitsgrade berechnet, und bestimmt, dass sich der Benutzer in dem unwachsamen Zustand befindet, falls der Mittelwert höher ist als oder gleich ist wie ein vorherbestimmter Schwellenwert.
5. Zustandsbestimmungseinrichtung nach Anspruch 1, wobei der Gesichtsmerkmalswert-Extrahierungsbereich ein Glabella-Bereich, ein Mund-Bereich und ein Wangen-Bereich in dem Gesichtsbereich ist, die Bestimmungsinformationen Informationen zum Bestimmen des Unwachsamkeitsgrades gemäß einer Anzahl von Malen, die der Benutzer seine Glabella in Falten gezogen hat, Information zum Bestimmen eines Unwachsamkeitsgrades gemäß einer Anzahl von Malen, die der Benutzer seine Lippen mit der Zunge benetzt hat, und Information zum Bestimmen eines Unwachsamkeitsgrades gemäß einer Anzahl von Malen, die der Benutzer gegähnt hat, enthalten, und die Zustandsbestimmungseinheit (160) die Anzahl von Malen, die der Benutzer die Glabella in Falten gezogen hat, berechnet auf Grundlage des Gesichtsmerkmalswerts, der aus dem Glabella-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurde, den Unwachsamkeitsgrad bestimmt auf Grundlage der Anzahl von Malen, die der Benutzer die Glabella in Falten gezogen hat, und der Bestimmungsinformationen, die Anzahl von Malen, die der Benutzer die Lippen mit der Zunge benetzt hat, berechnet auf Grundlage des Gesichtsmerkmalswerts, der aus dem Mund-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurde, den Unwachsamkeitsgrad bestimmt auf Grundlage der Anzahl von Malen, die der Benutzer die Lippen mit der Zunge benetzt hat, und der Bestimmungsinformationen, die Anzahl von Malen, die der Benutzer gegähnt hat, berechnet auf Grundlage der Gesichtsmerkmalswerte, die aus dem Mund-Bereich und dem Wangen-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurden, den Unwachsamkeitsgrad bestimmt auf Grundlage der Anzahl von Malen, die der Benutzer gegähnt hat, und der Bestimmungsinformationen, einen Mittelwert der bestimmten Unwachsamkeitsgrade berechnet, und bestimmt, dass sich der Benutzer in dem unwachsamen Zustand befindet, falls der Mittelwert höher ist als oder gleich ist wie ein vorherbestimmter Schwellenwert.
6. Zustandsbestimmungseinrichtung (100), umfassend: eine Extrahierungseinheit (10), die einen Gesichtsbereich, darstellend einen Bereich, der einem Gesicht entspricht, aus jedem von einer Vielzahl von Rahmen, die durch Aufnehmen von Bildern eines Gesichts eines Benutzers nacheinander erhalten werden, extrahiert, Gesichtsmerkmalspunkte, darstellend Teile des Gesichts, aus dem Gesichtsbereich extrahiert, einen Gesichtsmerkmalswert-Extrahierungsbereich als einen Bereich, in dem eine Änderung in dem Gesichtsbereich auftritt, wenn sich der Benutzer in einem unwachsamen Zustand befindet, berechnet auf Grundlage der Gesichtsmerkmalspunkte, und einen Gesichtsmerkmalswert als einen Merkmalswert aus dem Gesichtsmerkmalswert-Extrahierungsbereich extrahiert; eine Zustandsbestimmungseinheit (160), die bestimmt, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet, auf Grundlage des Gesichtsmerkmalswerts in jedem von der Vielzahl von Rahmen und zuvor erzeugten Bestimmungsinformationen; und eine Ausgabeeinheit (170), die ein Bestimmungsergebnis ausgibt, wobei der Gesichtsmerkmalswert-Extrahierungsbereich ein Glabella-Bereich, ein Mund-Bereich und ein Wangen-Bereich in dem Gesichtsbereich ist, die Bestimmungsinformationen Informationen zum Bestimmen eines Unwachsamkeitsgrades gemäß einer Anzahl von Malen, die der Benutzer seine Glabella in Falten gezogen hat, und Informationen zum Bestimmen eines Unwachsamkeitsgrades gemäß einer Anzahl von Malen, die der Benutzer gegähnt hat, enthalten, und die Zustandsbestimmungseinheit (160) die Anzahl von Malen, die der Benutzer die Glabella in Falten gezogen hat, berechnet auf Grundlage des Gesichtsmerkmalswerts, der aus dem Glabella-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurde, den Unwachsamkeitsgrad bestimmt auf Grundlage der Anzahl von Malen, die der Benutzer die Glabella in Falten gezogen hat, und der Bestimmungsinformationen, die Anzahl von Malen, die der Benutzer gegähnt hat, berechnet auf Grundlage der Gesichtsmerkmalswerte, die aus dem Mund-Bereich und dem Wangen-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurden, den Unwachsamkeitsgrad bestimmt auf Grundlage der Anzahl von Malen, die der Benutzer gegähnt hat, und der Bestimmungsinformationen, einen Mittelwert der bestimmten Unwachsamkeitsgrade berechnet, und bestimmt, dass sich der Benutzer in dem unwachsamen Zustand befindet, falls der Mittelwert höher ist als oder gleich ist wie ein vorherbestimmter Schwellenwert.
7. Zustandsbestimmungseinrichtung nach einem der Ansprüche 3 bis 6, wobei die Ausgabeeinheit Informationen (170), darstellend den Mittelwert, ausgibt.
8. Zustandsbestimmungseinrichtung nach Anspruch 1, wobei die Bestimmungsinformationen Informationen, die mittels maschinellem Lernen erhalten sind, und Informationen zum Bestimmen sind, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet.
9. Zustandsbestimmungseinrichtung nach einem der Ansprüche 1 bis 8, ferner umfassend: eine Gesichtszustand-Beurteilungseinheit (191), die beurteilt, ob oder ob nicht der Benutzer ein angebrachtes Objekt trägt, auf Grundlage der Vielzahl von Rahmen; und eine Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit (192), die den Gesichtsmerkmalswert-Extrahierungsbereich bestimmt auf Grundlage von Extrahierungsbereich-Bestimmungsmodellinformationen, angebend, welcher Bereich in dem Gesichtsbereich als der Gesichtsmerkmalswert-Extrahierungsbereich in Abhängigkeit von einer Position, an der das angebrachte Objekt getragen wurde, bestimmt werden sollte, wenn beurteilt ist, dass der Benutzer das angebrachte Objekt trägt.
10. Zustandsbestimmungseinrichtung nach Anspruch 9, wobei die Gesichtszustand-Beurteilungseinheit (191) beurteilt, ob oder ob nicht der Benutzer das angebrachte Objekt trägt auf Grundlage von Durchschnittsgesicht-Merkmalspunkt-Modellinformationen, angebend Positionen von Teilen eines Durchschnittsgesichts und Positionen der Gesichtsmerkmalspunkte.
11. Zustandsbestimmungseinrichtung nach einem der Ansprüche 1 bis 8, ferner umfassend: eine Gesichtszustand-Beurteilungseinheit (191), die beurteilt, ob oder ob nicht ein Schatten oder ein Farbsprung in irgendeinem Rahmen unter der Vielzahl von Rahmen vorhanden ist; und eine Gesichtsmerkmalswert-Extrahierungsbereich-Bestimmungseinheit (192), die den Gesichtsmerkmalswert-Extrahierungsbereich bestimmt auf Grundlage von Extrahierungsbereich-Bestimmungsmodellinformationen, anzeigend welcher Bereich in dem Gesichtsbereich als der Gesichtsmerkmalswert-Extrahierungsbereich in Abhängigkeit von einer Position, an der der Schatten oder der Farbsprung vorhanden ist, bestimmt werden sollte, wenn für den Schatten oder den Farbsprung beurteilt ist, in irgendeinem Rahmen unter der Vielzahl von Rahmen vorhanden zu sein.
12. Zustandsbestimmungsverfahren, das durch eine Zustandsbestimmungseinrichtung (100) durchgeführt wird, wobei das Zustandsbestimmungsverfahren umfasst: Extrahieren eines Gesichtsbereichs, darstellend einen Bereich, der einem Gesicht entspricht, aus jedem von einer Vielzahl von Rahmen, die durch Aufnehmen von Bildern des Gesichts eines Benutzers nacheinander erhalten werden, Extrahieren von Gesichtsmerkmalspunkten, darstellend Teile des Gesichts, aus dem Gesichtsbereich, Berechnen eines Gesichtsmerkmalswert-Extrahierungsbereichs als einen Bereich, in dem eine Änderung in dem Gesichtsbereich auftritt, wenn sich der Benutzer in einem unwachsamen Zustand befindet, auf Grundlage der Gesichtsmerkmalspunkte, Extrahieren eines Gesichtsmerkmalswerts als einen Merkmalswert aus dem Gesichtsmerkmalswert-Extrahierungsbereich, Bestimmen, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet, auf Grundlage des Gesichtsmerkmalswerts in jedem von der Vielzahl von Rahmen und zuvor erzeugten Bestimmungsinformationen, und Ausgeben eines Bestimmungsergebnisses, wobei der Gesichtsmerkmalswert-Extrahierungsbereich ein Mund-Bereich in dem Gesichtsbereich ist, die Bestimmungsinformationen Informationen zum Bestimmen eines Unwachsamkeitsgrades gemäß einer Anzahl von Malen, die der Benutzer seine Lippen mit der Zunge benetzt hat, enthalten, und wenn die Zustandsbestimmungseinheit bestimmt, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet, das Zustandsbestimmungsverfahren Berechnen der Anzahl von Malen, die der Benutzer seine Lippen mit der Zunge benetzt hat, auf Grundlage des Gesichtsmerkmalswerts, der aus dem Mund-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurde, Bestimmen des Unwachsamkeitsgrades auf Grundlage der Anzahl von Malen, die der Benutzer die Lippen mit der Zunge benetzt hat, und der Bestimmungsinformationen, und Bestimmen, dass sich der Benutzer in dem unwachsamen Zustand befindet, falls der bestimmte Unwachsamkeitsgrad höher ist als oder gleich ist wie ein vorherbestimmtes Schwellenwertniveau, umfasst.
13. Zustandsbestimmungsverfahren, das durch eine Zustandsbestimmungseinrichtung (100) durchgeführt wird, wobei das Zustandsbestimmungsverfahren umfasst: Extrahieren eines Gesichtsbereichs, darstellend einen Bereich, der einem Gesicht entspricht, aus jedem von einer Vielzahl von Rahmen, die durch Aufnehmen von Bildern des Gesichts eines Benutzers nacheinander erhalten werden, Extrahieren von Gesichtsmerkmalspunkten, darstellend Teile des Gesichts, aus dem Gesichtsbereich, Berechnen eines Gesichtsmerkmalswert-Extrahierungsbereichs als einen Bereich, in dem eine Änderung in dem Gesichtsbereich auftritt, wenn sich der Benutzer in einem unwachsamen Zustand befindet, auf Grundlage der Gesichtsmerkmalspunkte, Extrahieren eines Gesichtsmerkmalswerts als einen Merkmalswert aus dem Gesichtsmerkmalswert-Extrahierungsbereich, Bestimmen, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet, auf Grundlage des Gesichtsmerkmalswerts in jedem von der Vielzahl von Rahmen und zuvor erzeugten Bestimmungsinformationen, und Ausgeben eines Bestimmungsergebnisses, wobei der Gesichtsmerkmalswert-Extrahierungsbereich ein Glabella-Bereich, ein Mund-Bereich und ein Wangen-Bereich in dem Gesichtsbereich ist, die Bestimmungsinformationen Informationen zum Bestimmen eines Unwachsamkeitsgrades gemäß einer Anzahl von Malen, die der Benutzer seine Glabella in Falten gezogen hat, und Informationen zum Bestimmen eines Unwachsamkeitsgrades gemäß einer Anzahl von Malen, die der Benutzer gegähnt hat, enthalten, und wenn die Zustandsbestimmungseinheit bestimmt, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet, das Zustandsbestimmungsverfahren Berechnen der Anzahl von Malen, die der Benutzer die Glabella in Falten gezogen hat, berechnet auf Grundlage des Gesichtsmerkmalswerts, der aus dem Glabella-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurde, Bestimmen des Unwachsamkeitsgrades auf Grundlage der Anzahl von Malen, die der Benutzer die Glabella in Falten gezogen hat, und der Bestimmungsinformationen, Berechnen der Anzahl von Malen, die der Benutzer gegähnt hat, auf Grundlage der Gesichtsmerkmalswerte, die aus dem Mund-Bereich und dem Wangen-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurden, Bestimmen des Unwachsamkeitsgrades auf Grundlage der Anzahl von Malen, die der Benutzer gegähnt hat, und der Bestimmungsinformationen, Berechnen eines Mittelwertes der bestimmten Unwachsamkeitsgrade und Bestimmen, dass sich der Benutzer in dem unwachsamen Zustand befindet, falls der Mittelwert höher ist als oder gleich ist wie ein vorherbestimmter Schwellenwert, umfasst.
14. Zustandsbestimmungsprogramm, um eine Zustandsbestimmungseinrichtung (100) zu veranlassen, einen Prozess auszuführen des: Extrahierens eines Gesichtsbereichs, darstellend einen Bereich, der einem Gesicht entspricht, aus jedem von einer Vielzahl von Rahmen, die durch Aufnehmen von Bildern des Gesichts eines Benutzers nacheinander erhalten sind, Extrahierens von Gesichtsmerkmalspunkten, darstellend Teile des Gesichts, aus dem Gesichtsbereich, Berechnens eines Gesichtsmerkmalswert-Extrahierungsbereichs als einen Bereich, in dem eine Änderung in dem Gesichtsbereich auftritt, wenn sich der Benutzer in einem unwachsamen Zustand befindet, auf Grundlage der Gesichtsmerkmalspunkte, Extrahierens eines Gesichtsmerkmalswerts als einen Merkmalswert aus dem Gesichtsmerkmalswert-Extrahierungsbereich, Bestimmens, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet, auf Grundlage des Gesichtsmerkmalswerts in jedem von der Vielzahl von Rahmen und zuvor erzeugten Bestimmungsinformationen, und Ausgebens eines Bestimmungsergebnisses, wobei der Gesichtsmerkmalswert-Extrahierungsbereich ein Mund-Bereich in dem Gesichtsbereich ist, die Bestimmungsinformationen Informationen zum Bestimmen eines Unwachsamkeitsgrades gemäß einer Anzahl von Malen, die der Benutzer seine Lippen mit der Zunge benetzt hat, enthalten, und wenn ein Prozess des Bestimmens, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet, ausgeführt wird, das Programm, wenn es durch die Zustandsbestimmungseinrichtung ausgeführt wird, Prozesse durchführt des Berechnens der Anzahl von Malen, die der Benutzer seine Lippen mit der Zunge benetzt hat, auf Grundlage des Gesichtsmerkmalswerts, der aus dem Mund-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurde, Bestimmens des Unwachsamkeitsgrades auf Grundlage der Anzahl von Malen, die der Benutzer die Lippen mit der Zunge benetzt hat, und der Bestimmungsinformationen, und Bestimmens, dass sich der Benutzer in dem unwachsamen Zustand befindet, falls der bestimmte Unwachsamkeitsgrad höher ist als oder gleich ist wie ein vorherbestimmtes Schwellenwertniveau.
15. Zustandsbestimmungsprogramm, um eine Zustandsbestimmungseinrichtung (100) zu veranlassen, einen Prozess auszuführen des: Extrahierens eines Gesichtsbereichs, darstellend einen Bereich, der einem Gesicht entspricht, aus jedem von einer Vielzahl von Rahmen, die durch Aufnehmen von Bildern des Gesichts eines Benutzers nacheinander erhalten sind, Extrahierens von Gesichtsmerkmalspunkten, darstellend Teile des Gesichts, aus dem Gesichtsbereich, Berechnens eines Gesichtsmerkmalswert-Extrahierungsbereichs als einen Bereich, in dem eine Änderung in dem Gesichtsbereich auftritt, wenn sich der Benutzer in einem unwachsamen Zustand befindet, auf Grundlage der Gesichtsmerkmalspunkte, Extrahierens eines Gesichtsmerkmalswerts als einen Merkmalswert aus dem Gesichtsmerkmalswert-Extrahierungsbereich, Bestimmens, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet, auf Grundlage des Gesichtsmerkmalswerts in jedem von der Vielzahl von Rahmen und zuvor erzeugten Bestimmungsinformationen, und Ausgebens eines Bestimmungsergebnisses, wobei der Gesichtsmerkmalswert-Extrahierungsbereich ein Glabella-Bereich, ein Mund-Bereich und ein Wangen-Bereich in dem Gesichtsbereich ist, die Bestimmungsinformationen Informationen zum Bestimmen eines Unwachsamkeitsgrades gemäß einer Anzahl von Malen, die der Benutzer seine Glabella in Falten gezogen hat, und Informationen zum Bestimmen eines Unwachsamkeitsgrades gemäß einer Anzahl von Malen, die der Benutzer gegähnt hat, enthalten, und wenn ein Prozess des Bestimmens, ob sich oder ob sich nicht der Benutzer in dem unwachsamen Zustand befindet, ausgeführt wird, das Programm, wenn es durch die Zustandsbestimmungseinrichtung ausgeführt wird, Prozesse durchführt des Berechnens der Anzahl von Malen, die der Benutzer die Glabella in Falten gezogen hat, berechnet auf Grundlage des Gesichtsmerkmalswerts, der aus dem Glabella-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurde, Bestimmens des Unwachsamkeitsgrades auf Grundlage der Anzahl von Malen, die der Benutzer die Glabella in Falten gezogen hat, und der Bestimmungsinformationen, Berechnens der Anzahl von Malen, die der Benutzer gegähnt hat, auf Grundlage der Gesichtsmerkmalswerte, die aus dem Mund-Bereich und dem Wangen-Bereich in jedem von der Vielzahl von Rahmen extrahiert wurden, Bestimmens des Unwachsamkeitsgrades auf Grundlage der Anzahl von Malen, die der Benutzer gegähnt hat, und der Bestimmungsinformationen, Berechnens eines Mittelwerts der bestimmten Unwachsamkeitsgrade und Bestimmens, dass sich der Benutzer in dem unwachsamen Zustand befindet, falls der Mittelwert höher ist als oder gleich ist wie ein vorherbestimmter Schwellenwert.

Images