-
QUERVERWEIS ZU ZUGEHÖRIGER ANMELDUNG
-
Diese Anmeldung basiert auf der am 13. Februar 2015 beim japanischen Patentamt eingereichten
japanischen Patentanmeldung 2015-026336 , deren gesamter Inhalt durch Bezugnahme in diese Anmeldung aufgenommen ist.
-
TECHNISCHER BEREICH
-
Die vorliegende Erfindung betrifft eine Technologie der Schätzung der Emotion einer Person aus einem Gesichtsausdruck.
-
HINTERGRUND
-
Bei der Kommunikation mit Anderen wird nicht nur eine Methode zum verbalen Kommunizieren mit Anderen, sondern auch eine Kommunikation (auch als nonverbale Kommunikation bezeichnet) unter Verwendung von anderen Mitteln als Worten verwendet. Beispiele der nonverbalen Kommunikation sind ein Gesichtsausdruck, ein Blick, eine Geste und eine Artikulierung, und sie spielen eine wichtige Rolle zum Verstehen der Emotion der anderen Partei. Neuerdings werden Versuche unternommen, die nonverbale Kommunikation in einer Interaktion Mensch-Maschine zu verwenden. Es wird erwartet, dass unter Anderem die Emotionsschätzung auf der Basis des Gesichtsausdrucks eine elementare Technologie ist, die für die Implementierung einer fortgeschrittenen Kommunikation zwischen der Person und der Maschine erforderlich ist.
-
Es ist bekannt, dass viele Verfahren als Technologie zum Erkennen des Gesichtsausdrucks aus einem Bild vorgeschlagen wurden, und einige der Verfahren kommen bereits in der Praxis zum Einsatz. Beispielsweise offenbart
JP 2007-65969 A einen Algorithmus, der Formmerkmale (Fourier-Deskriptoren) von Augen und einem Mund aus einem Bild extrahiert und einen Index berechnet, der Grade von sechs Ausdrücken (Glücksgefühl, Überraschung, Angst, Ärger, Ekel und Trauer) auf der Basis der Formmerkmale angibt
-
Selbst wenn jedoch der Gesichtsausdruck aus dem Bild erkannt werden kann, ist die Emotion der Person (Geisteshaltung) nicht einfach aus einem Erkennungsergebnis des Gesichtsausdrucks zu schätzen. Da sich während der Kommunikation gewöhnlich der Ausdruck auf verschiedene Weisen ändert, kann die Emotion der Person allein aus dem Gesichtsausdruck in einem Bild nicht korrekt verstanden werden. Wie ein sogenanntes Pokerface oder ein künstliches Lächeln zeigt, erscheint nicht immer eine wirkliche Absicht (wirkliche Emotion) auf einem Gesicht.
-
ÜBERBLICK ÜBER DIE ERFINDUNG
-
Die vorliegende Erfindung wurde angesichts der vorstehend genannten Umstände gemacht, und ihr liegt die Aufgabe zugrunde, eine Technologie bereitzustellen, die es ermöglicht, die Emotion einer Person auf der Basis des aus dem Bild erkannten Gesichtsausdrucks exakt zu schätzen.
-
Eine Konfiguration, bei der ein mit einer zeitlichen Änderung des Gesichtsausdrucks der Objektperson verknüpfter Gesichtszug aus Zeitreihendaten des Gesichtsausdrucks erfasst wird, um die Emotion der Objektperson auf der Basis des erfassten Gesichtszugs zu schätzen, wird bei der vorliegenden Erfindung eingesetzt, um diese Aufgabe zu lösen.
-
Genauer gesagt ist eine Emotionsschätzvorrichtung zum Schätzen einer Emotion einer Objektperson konfiguriert, wobei die Emotionsschätzvorrichtung umfasst: eine Bildgewinnungseinheit zum Gewinnen einer Mehrzahl von Bildern, in denen die Objektperson in einer Zeitreihe fotografiert ist; einen Ausdruckserkenner zum Erkennen eines Ausdrucks der Objektperson aus jedem der Mehrzahl von durch die Bildgewinnungseinheit gewonnenen Bildern; einen Speicher, in dem Ausdruckserkennungsergebnisse der Mehrzahl von Bildern als Zeitreihendaten gespeichert sind; und einen Emotionsschätzer zum Erfassen eines Gesichtszugs, der mit einer zeitlichen Änderung des Ausdrucks der Objektperson verknüpft ist, aus den in einer Schätzzielperiode in dem Speicher gespeicherten Zeitreihendaten, und zum Schätzen der Emotion der Objektperson in der Schätzzielperiode auf der Basis des erfassten Gesichtszugs.
-
Da bei der vorliegenden Erfindung auf den Gesichtszug achtgegeben wird, der mit der zeitlichen Änderung des Gesichtsausdrucks in der Schätzzielperiode verknüpft ist, kann dementsprechend die Änderung, Reaktion und die Sichtbarmachung der Emotion in der Schätzzielperiode aufgezeichnet werden, und es kann ein Schätzergebnis mit höherer Genauigkeit und Zuverlässigkeit im Vergleich zu dem Fall gewonnen werden, dass die Schätzung nur durch den Gesichtsausdruck in einem Bild ausgeführt wird.
-
Wenn eine Änderung einer Art eines Hauptausdrucks erfasst wird, der beständig auf einem Gesicht der Objektperson als der Gesichtszug ausgedrückt wird, der mit der zeitlichen Änderung des Ausdrucks verknüpft ist, schätzt der Emotionsschätzer vorzugsweise, dass die der geänderten Art des Hauptausdrucks entsprechende Emotion die Emotion der Objektperson in der Schätzzielperiode ist. Häufig zeigt eine Person bewusst oder unbewusst den Ausdruck, wenn die Emotion (Geisteshaltung bzw. Gemütszustand) sich ändert. Dementsprechend weist die Änderung der Art des Hauptausdrucks eine starke kausale Beziehung zu der Änderung der Emotion der Person auf, und zumindest der geänderte Hauptausdruck besitzt eine hohe Wahrscheinlichkeit, dass er die Emotion der Objektperson widerspiegelt. Daher kann die Emotion der Objektperson korrekter verstanden werden, indem auf die Änderung der Art des Hauptausdrucks achtgegeben wird.
-
Wenn ein Erscheinen eines Mikroausdrucks erfasst wird, der für einen Moment auf einem Gesicht der Objektperson als der Gesichtszug ausgedrückt wird, der mit der zeitlichen Änderung des Ausdrucks verknüpft ist, schätzt der Emotionsschätzer vorzugsweise, dass die Emotion, die einer Art des als der Mikroausdruck ausgedrückten Hauptausdrucks entspricht, die Emotion der Objektperson in der Schätzzielperiode ist. Der Mikroausdruck bedeutet einen Ausdruck, der auf dem Gesicht wie ein Blitz erscheint und verschwindet. Wenn beispielsweise eine Person versucht, den Ausdruck absichtlich zu verbergen oder einen unwahren Ausdruck zu schaffen, so dass die andere Partei die wirkliche Emotion der Personen nicht wahrnimmt, erscheint die wirkliche Emotion häufig als der Mikroausdruck. Daher kann die Emotion der Objektperson korrekter verstanden werden, indem auf das Erscheinen des Mikroausdrucks achtgegeben wird.
-
Wenn sowohl eine Änderung einer Art eines Hauptausdrucks, der auf einem Gesicht der Objektperson beständig ausgedrückt wird, als auch das Erscheinen eines Mikroausdrucks, der für einen Moment auf einem Gesicht der Objektperson als der Gesichtszug ausgedrückt wird, der mit der zeitlichen Änderung des Ausdrucks verknüpft ist, erfasst werden, schätzt der Emotionsschätzer vorzugsweise, dass die Emotion, zu der die der geänderten Art des Hauptausdrucks entsprechende Emotion und die Emotion, die einer Art des als der Mikroausdruck ausgedrückten Ausdrucks entspricht, zusammengesetzt sind, die Emotion der Objektperson in der Schätzzielperiode ist. Somit kann erwartert werden, dass die komplizierte Emotion oder die wirkliche Emotion der Objektperson verstanden werden kann, indem sowohl auf die Änderung der Art des Hauptausdrucks als auch auf das Erscheinen des Mikroausdrucks achtgegeben wird.
-
Wenn sowohl eine Änderung einer Art eines Hauptausdrucks erfasst wird, der auf einem Gesicht der Objektperson beständig als der Gesichtszug ausgedrückt wird, der mit der zeitlichen Änderung des Ausdrucks verknüpft ist, und wenn das Erscheinen eines Mikroausdrucks erfasst wird, der für einen Moment auf einem Gesicht der Objektperson in einer Übergangsperiode ausgedrückt wird, in der die Art des Hauptausdrucks sich ändert, als der Gesichtszug ausgedrückt wird, der mit der zeitlichen Änderung des Ausdrucks verknüpft ist, schätzt der Emotionsschätzer vorzugsweise, dass die Emotion, zu der die der geänderten Art des Hauptausdrucks entsprechende Emotion und die Emotion, die einer Art des in der Übergangsperiode als der Mikroausdruck ausgedrückten Ausdrucks entspricht, zusammengesetzt sind, die Emotion der Objektperson in der Schätzzielperiode ist. Beispielsweise wird in dem Fall, dass die Objektperson die wirkliche Emotion absichtlich verbirgt, die Änderung des Gesichtsausdrucks, in dem die wirkliche Emotion hinter einem anderen Ausdruck verborgen ist, beobachtet, nachdem die wirkliche Emotion augenblicklich als der Mikroausdruck erscheint. Das bedeutet, es kann gesagt werden, dass der in der Übergangsperiode des Hauptausdrucks erscheinende Mikroausdruck wahrscheinlich die wirkliche Emotion der Objektperson ausdrückt. Daher kann erwartet werden, dass die wirkliche Emotion der Objektperson verstanden wird, indem auf den in der Übergangsperiode des Hauptausdrucks erscheinenden Mikroausdruck achtgegeben bzw. geachtet wird.
-
Vorzugsweise berechnet der Ausdruckserkenner eine Punktezahl, in der jedes Maß von einer Mehrzahl von Arten der Ausdrücke aus dem Bild der Objektperson digitalisiert ist, und gibt die Punktezahl jedes Ausdrucks als das Ausdruckserkennungsergebnis aus, und wenn ein maximaler Zustand der Punktezahl eines Ausdrucks von der Mehrzahl von Arten der Ausdrücke während einer vorbestimmten Zeitspanne oder länger andauert, legt der Emotionsschätzer fest, dass dieser eine Ausdruck der Hauptausdruck ist. Dementsprechend können der Gesichtsausdruck und der Hauptausdruck der Objektperson in einer quantitativen und objektiven Weise geschätzt werden. Eine winzige Änderung des Ausdrucks wie beispielsweise ein Rauschen wird ignoriert, so dass die Zuverlässigkeit der Schätzung verbessert werden kann.
-
Vorzugsweise berechnet der Ausdruckserkenner eine Punktezahl, in der jedes Maß von einer Mehrzahl von Arten der Ausdrücke aus dem Bild der Objektperson digitalisiert ist, und gibt die Punktezahl jedes Ausdrucks als das Ausdruckserkennungsergebnis aus, und wenn die Punktezahl eines bestimmten Ausdrucks einen Schwellenwert für einen Moment übersteigt, legt der Emotionsschätzer fest, dass der Ausdruck der Mikroausdruck ist. Gemäß der Konfiguration können der Gesichtsausdruck und der Mikroausdruck der Objektperson in quantitativer und objektiver Weise geschätzt werden. Wenn beispielsweise die Punktezahl eines bestimmten Ausdrucks ausgehend von einem Zustand, der niedriger als ein Schwellenwert ist, den Schwellenwert übersteigt und für einen Moment wieder zu dem Zustand zurückkehrt, der niedriger als der Schwellenwert ist, kann der Emotionsschätzer festlegen, dass der Ausdruck der Mikroausdruck ist. Beispielsweise kann der Moment eine Zeitdauer von 1 Sekunde oder weniger bedeuten.
-
Die vorliegende Erfindung kann auch als eine Emotionsschätzvorrichtung verstanden werden, die zumindest einen Teil der Konfigurationen oder Funktionen umfasst. Die vorliegende Erfindung kann auch als ein Emotionsschätzverfahren, das zumindest einen Teil der Bestandteile der Verarbeitung umfasst, ein Programm, das einen Computer veranlasst, das Emotionsschätzverfahren auszuführen, oder ein Computer-lesbares Aufzeichnungsmedium verstanden werden, auf dem das Programm nicht-flüchtig gespeichert ist. Die vorliegende Erfindung kann durch eine Kombination der Konfigurationen oder der Bestandteile der Verarbeitung implementiert werden, solange keine technische Inkonsistenz hervorgerufen wird.
-
Bei der vorliegenden Erfindung kann die Emotion einer Person auf der Basis des aus dem Bild erkannten Gesichtsausdrucks exakt geschätzt werden.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
1 ist eine Ansicht, die ein Konfigurationsbeispiel einer Emotionsschätzvorrichtung darstellt;
-
2 ist ein Flussdiagramm, das einen Ablauf einer Emotionsschätzverarbeitung darstellt;
-
3 ist eine Ansicht, die ein Beispiel von Zeitreihendaten eines in einem Speicher gespeicherten Ausdruckserkennungsergebnisses darstellt;
-
4A bis 4C sind Ansichten, die Beispiele der Zeitreihendaten und der Erfassung der Änderung des Hauptausdrucks darstellen; und
-
5 ist eine Ansicht, die ein Beispiel der Zeitreihendaten und der Erfassung des Mikroausdrucks darstellt.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Nachstehend wird eine bevorzugte Ausführungsform der vorliegenden Erfindung unter Bezug auf die Zeichnungen ausführlich beschrieben. Außer wenn es anders angemerkt ist, ist die vorliegende Erfindung jedoch nicht auf Größen, Materialien, Formen und relative Anordnungen von Komponenten beschränkt, die in der folgenden Ausführungsform beschrieben sind.
-
(Aufbau der Vorrichtung)
-
1 ist eine Ansicht, die ein Konfigurationsbeispiel einer Emotionsschätzvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung darstellt. Eine Emotionsschätzvorrichtung 1 analysiert ein Bild, auf dem eine Objektperson 2 fotografiert ist, und schätzt Emotionen der Objektperson 2. Die Emotionsschätzvorrichtung 1 kann als ein Modul verwendet werden, das die Interaktion Mensch-Maschine unter Verwendung der nonverbalen Kommunikation implementiert. Es kann beispielsweise eine solch fortschrittliche Steuerung ausgeführt werden, dass ein Roboter adaptiv seinen Betrieb ändert, während er die Reaktion eines Benutzers sieht, wenn die Emotionsschätzvorrichtung 1 an einem Hausroboter montiert ist, der Haushaltstätigkeiten und Unterstützungstätigkeiten ausführt. Außerdem kann die Emotionsschätzvorrichtung auf jedem industriellen Gebiet, wie beispielsweise künstliche Intelligenz, Computer, Smartphones, Tablet-Geräte, Spielautomaten, elektrische Heimanwendungen, industrielle Maschinen und Automobile, eingesetzt werden.
-
Die Emotionsschätzvorrichtung 1 in 1 umfasst eine Bildgewinnungseinheit 10, einen Ausdruckserkenner 11, einen Speicher 12, einen Emotionsschätzer 13 und eine Ergebnisausgabeeinheit 14 als eine Hauptkonfiguration. Der Emotionsschätzer 13 umfasst ferner einen Hauptausdrucksänderungsdetektor 130 und einen Mikroausdrucksdetektor 131.
-
Die Bildgewinnungseinheit 10 weist eine Funktion des Gewinnens eines Bildes von einer Abbildungsvorrichtung 3 auf. Beim Ausführen der Emotionsschätzung werden mehrere Bilder (beispielsweise fortlaufende Bilder mit 20 FPS), in denen ein Gesicht der Objektperson 2 vorhanden ist, nacheinander aus der Abbildungsvorrichtung 3 abgerufen. Die Abbildungsvorrichtung 3 ist mit einer Monochrom- oder Farbkamera versehen. In 1 ist die Abbildungsvorrichtung 3 gesondert von der Emotionsschätzvorrichtung 1 vorgesehen. Alternativ kann die Bindungsvorrichtung 3 an der Emotionsschätzvorrichtung 1 befestigt sein. Der Ausdruckserkenner 11 weist eine Funktion des Erkennens eines Gesichtsausdrucks aus dem Bild durch eine Bildabtastverarbeitung auf. Der Speicher 12 weist eine Funktion des Speicherns eines Ausdruckserkennungsergebnisses auf, das aus dem Ausdruckserkenner 11 als Zeitreihendaten ausgegeben wird. Der Emotionsschätzer 13 weist eine Funktion des Erfassens eines mit einer zeitlichen Änderung eines Ausdrucks der Objektperson 2 verknüpften Gesichtszugs aus den in dem Speicher 12 gespeicherten Zeitreihendaten und des Schätzens einer Emotion der Objektperson 2 auf der Basis des erfassten Gesichtszugs auf. Die Ergebnisausgabeeinheit 14 weist eine Funktion des Ausgebens eines Emotionsschätzungsergebnisses des Emotionsschätzers 13 (beispielsweise als Anzeige des Emotionsschätzungsergebnisses auf einer Anzeigevorrichtung und Übertragung von Information über das Emotionsschätzungsergebnis zu einer externen Vorrichtung) auf.
-
Die Emotionsschätzvorrichtung 1 kann mit einem Computer aufgebaut sein, der eine CPU (Prozessor), einen Speicher, eine Zusatzspeichervorrichtung, eine Eingabevorrichtung, eine Anzeigevorrichtung und eine Kommunikationsvorrichtung aufweist. Ein in der Zusatzspeichervorrichtung gespeichertes Programm wird in den Speicher geladen, und die CPU führt das Programm aus, wodurch die einzelnen Funktionen der Emotionsschätzvorrichtung 1 implementiert werden. Es kann jedoch ein Teil oder alle der Funktionen der Emotionsschätzvorrichtung 1 durch eine Schaltung wie beispielsweise ein ASIC oder ein FPGA implementiert werden. Alternativ kann ein Teil der Funktionen (beispielsweise die Funktionen des Ausdruckserkenners 11, des Speichers 12 und des Emotionsschätzers 13) der Emotionsschätzvorrichtung 1 durch eine Berechnung in der Cloud oder durch verteilte Berechnung implementiert werden.
-
(Emotionsschätzverarbeitung)
-
Ein Ablauf der durch die Emotionsschätzvorrichtung 1 ausgeführten Emotionsschätzverarbeitung wird unter Bezug auf die 2 beschrieben. 2 ist ein Flussdiagramm, das den Ablauf der Emotionsschätzverarbeitung darstellt.
-
Eine Periode (als Schätzzielperiode bezeichnet), die zu einem Emotionsschätzziel wird, wird in Schritt S200 eingestellt. Die Emotionsschätzvorrichtung 1 kann die Schätzzielperiode automatisch einstellen, die externe Vorrichtung oder eine externe Software, die das Emotionsschätzergebnis verwendet, kann der Emotionsschätzvorrichtung 1 eine Schätzzielperiode zuordnen, oder ein Benutzer kann die Schätzzielperiode manuell einstellen. Die Schätzzielperiode kann beliebig eingestellt werden, vorzugsweise wird die Schätzzielperiode auf Zeitdauern von einigen Sekunden bis einigen 10 Sekunden eingestellt. Möglicherweise kann eine Emotionsänderung nicht erfasst werden, wenn die Schätzzielperiode übermäßig kurz eingestellt wird, und das Emotionsschätzergebnis wird wegen zu vielen Emotionsänderungen kaum geschmälert, wenn die Schätzzielperiode übermäßig lang eingestellt wird. Beispielsweise kann eine Periode von einigen Sekunden bis einigen 10 Sekunden einschließlich einer Ereigniserzeugungstaktzeit eingestellt werden, um die Reaktion einer Person auf ein bestimmtes Ereignis (wie beispielsweise den Betrieb einer Maschine, eine Konversationsausgabe und die Bereitstellung eines Dienstes) zu erfahren.
-
Die nachfolgenden Teile der Verarbeitung in den Schritten S201 bis S205 werden von einem Start bis zu einem Ende der Schätzzielperiode (Schleife L1) wiederholt ausgeführt, beispielsweise alle 50 ms (entspricht 20 FPS).
-
In Schritt S201 gewinnt die Bildgewinnungseinheit 10 von der Abbildungsvorrichtung 3 das Bild, in dem die Objektperson 2 fotografiert ist. Es ist erwünscht, das Bild, in dem das Gesicht der Objektperson 2 fotografiert ist, so weit wie möglich in Vorderansicht zu gewinnen, um die Emotion auf der Basis des Gesichtsausdrucks zu schätzen. Dann erfasst der Ausdruckserkenner 11 das Gesicht aus dem Bild (Schritt S202) und erfasst ein Gesichtsorgan (wie beispielsweise Augen, Augenbrauen, eine Nase und einen Mund) (Schritt S203). Da ein beliebiger Algorithmus mit einer wohlbekannten Technik bei der Gesichtserfassung und der Gesichtsorganerfassung verwendet werden kann, wird auf dessen ausführliche Beschreibung verzichtet.
-
Der Ausdruckserkenner 11 erkennt den Gesichtsausdruck der Objektperson 2 unter Verwendung von Erfassungsergebnissen in den Schritten S202 und S203 (Schritt S204). Eine Art des Gesichtsausdrucks wird durch ein Wort ausgedrückt, das die Emotion bezeichnet. Die Erkennung des Ausdrucks bedeutet, dass die Art des Gesichtsausdrucks identifiziert ist, nämlich dass die Art des Gesichtsausdrucks, der von einem Erfassungsziel ist, durch das die Emotion bezeichnende Wort spezifiziert ist. An diesem Punkt kann der Gesichtsausdruck durch das eine einzelne Emotion bezeichnende Wort oder eine Kombination von Emotionen bezeichnenden Wörtern spezifiziert sein. Für die Kombination der die Emotionen bezeichnenden Wörter kann jedes die einzelnen Emotionen bezeichnende Wort gewichtet werden. In der Ausführungsform kann auf der Basis einer Ausdrucksanalyse von Paul Ekman der Gesichtsausdruck in sieben Arten klassifiziert werden, wozu ”ausdrucksloses Gesicht”, ”Glücksgefühl”, ”Ärger”, ”Ekel”, ”Überraschung”, ”Angst” und ”Trauer” gehören. Eine Punktezahl wird als das Ausdruckserkennungsergebnis derart ausgegeben, dass die Grade (Ausdrucksähnlichkeit, auch als Ausdrucksgrad bezeichnet) der sieben Arten von Ausdrücken zusammengenommen 100 ergeben. Die Punktezahl der einzelnen Ausdrücke wird auch als ein Ausdruckskomponentenwert bezeichnet.
-
Ein beliebiger Algorithmus mit einer wohlbekannten Technik kann bei der Ausdruckserkennung in Schritt S204 verwendet werden. Ein Beispiel der Verarbeitung der Ausdruckserkennung wird nachstehend beschrieben. Der Ausdruckserkenner
11 extrahiert auf der Basis von Positionsinformation über das Gesichtsorgan ein Gesichtszugmaß, das mit der relativen Position oder Form des Gesichtsorgans verknüpft ist. Beispielsweise können ein Haar-artiges Gesichtszugmaß, ein Abstand zwischen Gesichtszugpunkten und der in
JP 2007-65969 A offenbarte Fourier-Deskriptor als das Gesichtszugmaß verwendet werden. Das durch den Ausdruckserkenner
11 extrahierte Gesichtszugmaß wird für jede der sieben Arten der Gesichtsausdrücke in einen Klassierer eingegeben, um die Grade der Ausdrücke zu berechnen. Jeder Klassierer kann durch Lernen generiert werden, wobei ein Musterbild verwendet wird. Schließlich führt der Ausdruckserkenner
11 eine Normierung derart durch, dass Ausgangswerte der sieben Klassierer zusammengenommen 100 ergeben, und gibt die Punktezahl (Ausdruckskomponentenwert) der sieben Arten von Ausdrücken aus.
-
Der Ausdruckserkenner 11 speichert das Ausdruckserkennungsergebnis zusammen mit einer Zeitstempelinformation (Schritt S205) in einer Datenbank des Speichers 12. 3 stellt ein Beispiel der Zeitreihendaten des in dem Speicher 12 gespeicherten Ausdruckserkennungsergebnisses dar und stellt das Ausdruckserkennungsergebnis der einzelnen 50-Millisekunden-Zeilen dar.
-
Wenn die Zeitreihendaten des Ausdruckserkennungsergebnisses durch die obige Verarbeitung in der Schätzzielperiode gewonnen sind, führt der Emotionsschätzer 13 die Verarbeitung der Emotionsschätzung durch. Wie in 2 dargestellt, ist die Verarbeitung der Emotionsschätzung gemäß der Ausführungsform mit drei Schritten ausgebildet, nämlich einer Hauptausdrucksänderungsdetektion (Schritt S206), einer Mikroausdrucksdetektion (Schritt S207) und einer Emotionsschätzung (Schritt S208). Jeder Schritt wird nachstehend ausführlich beschrieben.
-
(1) Hauptausdrucksänderungsdetektion (Schritt S206)
-
Die Hauptausdrucksänderungsdetektion ist eine Verarbeitung des Erfassens der Änderung der Art des Ausdrucks (als Hauptausdruck bezeichnet), der auf dem Gesicht der Objektperson 2 beständig auftritt, als der Gesichtszug, der mit der zeitlichen Änderung des Gesichtsausdrucks verknüpft ist. Die Bezeichnung ”beständig” bedeutet, dass wenn im Allgemeinen eine Person den Ausdruck beobachtet, die Person empfindet, dass der Ausdruck über eine beständige Zeit andauert. Beispielsweise ist die beständige Zeitdauer, welche die Person empfindet, 3 Sekunden oder mehr. Die Bezeichnung ”auftritt” bedeutet, dass im Allgemeinen eine Person eine Beobachtung machen kann, um den Ausdruck zu erkennen. Ein beliebiger Ausdrucksklassifizierungsalgorithmus kann eingesetzt werden, sofern der Algorithmus ein Ergebnis ausgibt, welches einem Beobachtungsergebnis einer Person angenähert ist. Wenn die Person die Emotion (Geisteshaltung) ändert, zeigt die Person häufig bewusst oder unbewusst den Ausdruck. Demzufolge weist die Änderung der Art des Hauptausdrucks eine starke kausale Beziehung zu der Änderung der Emotion auf, und es wird davon ausgegangen, dass zumindest der geänderte Hauptausdruck eine hohe Wahrscheinlichkeit dafür aufweist, dass er die Emotion der Objektperson 2 widerspiegelt. Daher kann die Emotion der Objektperson 2 korrekter verstanden werden, indem auf die Änderung der Art des Hauptausdrucks achtgegeben wird.
-
In der Ausführungsform ist, um den Hauptausdruck quantitativ und objektiv zu evaluieren, der ”Hauptausdruck” definiert als ”der Ausdruck weist die größte Punktezahl der sieben Arten von Ausdrücken auf und sein Zustand dauert für eine vorbestimmte Zeit oder länger an”. Die ”vorbestimmte Zeit” kann beliebig eingestellt werden, und gewünschtenfalls wird die ”vorbestimmte Zeit” auf einige Sekunden bis einige 10 Sekunden unter Berücksichtigung einer allgemeinen Zeit, während der der identische Ausdruck beständig ist, eingestellt (in der Ausführungsform wird die ”vorbestimmte Zeit” auf 3 Sekunden eingestellt). Der Hauptausdruck ist nicht auf die obige Definition beschränkt. Beispielsweise kann die Zuverlässigkeit der Ermittlung des Hauptausdrucks durch Hinzufügen einer Bedingung verbessert werden, dass ”die Punktezahl des Hauptausdrucks größer als ein vorbestimmter Wert ist”, oder einer Bedingung, dass ”ein Unterschied der Punktezahl zwischen dem Hauptausdruck und einem anderen Ausdruck größer oder gleich einem vorbestimmten Wert ist”.
-
Der Hauptausdrucksänderungsdetektor 130 liest die Zeitreihendaten von dem Speicher 12, um zu überprüfen, ob der Hauptausdruck mit der Punktanzahl, die mit der obigen Definition übereinstimmt, existiert. Der Hauptausdrucksänderungsdetektor 130 gibt Information, die anzeigt, ob der Hauptausdruck erfasst wird, und Information, die anzeigt, ob die Art des Hauptausdrucks sich in der Schätzzielperiode (wenn der Hauptausdruck erfasst werden kann) ändert, als das Erfassungsergebnis aus.
-
Die 4A bis 4C sind Ansichten, die die Zeitreihendaten und das Erfassungsergebnis darstellen. In den 4A bis 4C gibt die horizontale Achse die Zeit an, die vertikale Achse gibt die Punktezahl an, und jeder Graph gibt die zeitliche Änderung der Punktezahl des Ausdrucks an (da die Ausdrücke mit Ausnahme für das ausdruckslose Gesicht, Glücksgefühl und Ärger die gleiche Punktezahl von nahezu null aufweisen, sind diese Ausdrücke nicht dargestellt). In dem Beispiel von 4A gibt es keinen Ausdruck mit extrem großer Punktezahl, und es existiert kein Hauptausdruck, da die Größenkorrelation unter den Punktezahlen der Ausdrücke sich häufig ändert. Dementsprechend gibt der Hauptausdrucksänderungsdetektor 130 das Erfassungsergebnis von ”Hauptausdruck: existiert nicht” aus. In dem Beispiel von 4B behält das ”ausdruckslose Gesicht” während der gesamten Schätzzielperiode die maximale Punktezahl bei. Dementsprechend gibt der Hauptausdrucksänderungsdetektor 130 das Erfassungsergebnis von ”Hauptausdruck: bleibt ”ausdruckslose Gesicht” aus. In dem Beispiel von 4C weist das ”ausdruckslose Gesicht” während etwa 5 Sekunden die maximale Punktezahl in einer ersten Hälfte der Schätzzielperiode auf, und das ”Glücksgefühl” weist während der zwei 5 Sekunden in einer zweiten Hälfte der Schätzzielperiode die maximale Punktezahl auf. Dementsprechend gibt der Hauptausdrucksänderungsdetektor 130 das Erfassungsergebnis von ”Hauptausdruck: Änderung von ”ausdrucksloses Gesicht” zu ”Glücksgefühl”” aus.
-
In dem Fall, dass der Ausdruck nicht fixiert ist, wie in 4A dargestellt, oder in dem Fall, dass sich der Ausdruck nicht ändert, wie in 4B dargestellt, wird die Emotion der Objektperson 2 kaum aus dem Ausdruck geschätzt. Andererseits besteht in dem Fall, dass die Änderung des Ausdrucks in der Mitte der Schätzzielperiode klar erkannt wird, wie in 4C dargestellt, eine hohe Wahrscheinlichkeit, dass eine Reaktion (Emotion) der Objektperson 2 auf irgendeine Art von Ereignis, das unmittelbar vor oder in der ersten Hälfte der Schätzzielperiode stattfindet, als der Hauptausdruck in der zweiten Hälfte der Schätzzielperiode ausgedrückt wird. Daher wird bei der Ausführungsform das Erfassungsergebnis von ”die Änderung der Art des Hauptausdrucks” bei der Emotionsschätzung verwendet.
-
(2) Mikroausdrucksdetektion (Schritt S207)
-
Die Mikroausdrucksdetektion bedeutet eine Verarbeitung des Erfassens des Erscheinens des Ausdrucks (als Mikroausdruck bezeichnet), der auf dem Gesicht der Objektperson 2 für einen Moment auftritt, als der Gesichtszug, der mit der zeitlichen Änderung des Gesichtsausdrucks verknüpft ist. Die Bezeichnung ”für einen Moment” bedeutet im Allgemeinen, dass eine Person den Ausdruck innerhalb einer Zeitspanne beobachtet, den die Person als einen Moment empfindet. Beispielsweise ist die Zeitspanne, die die Person als einen Moment empfindet, 1 Sekunde oder weniger. Die Bezeichnung ”auftritt” hat die identische Bedeutung wie bei dem Hauptausdruck. Wenn beispielsweise eine Person versucht, den Ausdruck absichtlich zu verbergen oder einen unrichtigen Ausdruck so zu erzeugen, dass die andere Partei die wirkliche Emotion der Person nicht wahrnimmt, erscheint die wirkliche Emotion häufig als der Mikroausdruck. Daher kann die Emotion der Objektperson 2 korrekter verstanden werden, indem auf das Erscheinen des Mikroausdrucks achtgegeben wird.
-
In der Ausführungsform ist, um den Mikroausdruck quantitativ und objektiv zu evaluieren, der ”Mikroausdruck” definiert als ”die Punktezahl übersteigt einen Schwellenwert für einen Moment ”. Beispielsweise kann ein Kriterium für den Moment auf 1 Sekunde oder weniger eingestellt werden. Der ”Schwellenwert” kann beliebig eingestellt werden. Beispielsweise kann der Schwellenwert auf etwa 30 bis etwa 70 eingestellt werden. Es wird berichtet, dass im Allgemeinen viele Mikroausdrücke innerhalb von 200 ms verschwinden. Daher ist in der Ausführungsform das Kriterium für den Moment auf 200 ms eingestellt. Der Schwellenwert der Punktezahl ist auf 50 eingestellt. Dementsprechend ermittelt der Mikroausdrucksdetektor 131 der Ausführungsform, dass der Ausdruck in dem Fall, dass ”die Punktezahl eines bestimmten Ausdrucks 50 übersteigt, ausgehend von dem Zustand niedriger als 50, und kehrt innerhalb 200 ms in den Zustand niedriger als 50 zurück”, der ”Mikroausdruck” ist.
-
Der Mikroausdrucksdetektor 131 liest die Zeitreihendaten von dem Speicher 12, um zu überprüfen, ob der Mikroausdruck mit der Punktanzahl, die mit der obigen Definition übereinstimmt, existiert. In der Ausführungsform kann, da das Ausdruckserkennungsergebnis alle 50 ms gewonnen wird, die Bestimmung des Mikroausdrucks ausgeführt werden, wenn die 50 übersteigende Punktezahl zumindest einmal oder dreimal oder weniger andauert. 5 stellt ein Beispiel dar, bei dem der Mikroausdruck von ”Ärger” zu einem Zeitpunkt von etwa 5 Sekunden in der Schätzzielperiode erfasst wird.
-
In dem Fall, dass eine Person versucht, den wirklichen Ausdruck absichtlich zu verbergen, wird häufig eine Änderung des Gesichtsausdrucks beobachtet, dass die wirkliche Emotion hinter einer anderen Emotion verborgen wird, nachdem sie für einen Moment als der Mikroausdruck aufgetreten ist. Beispielsweise ist in dem Fall, dass der Mikroausdruck ”Ärger” in einer Übergangsperiode erscheint, in der sich der Hauptausdruck von ”ausdrucksloses Gesicht” zu ”Glücksgefühl” ändert, wie in 5 dargestellt, zu beachten, dass, obwohl die Objektperson 2 eine leicht negative Emotion im Herzen trägt, die Objektperson 2 lächelt (erfreut ist), so dass die leicht negative Emotion nicht auf dem Gesicht als der Ausdruck erscheint. Somit ist der in der Übergangsperiode des Hauptausdrucks erscheinende Mikroausdruck die Information, die für das Verstehen der wirklichen Emotion der Objektperson 2 erforderlich ist. Dementsprechend ist für die Mikroausdrucksdetektion nicht die gesamte Schätzzielperiode auf einen Erfassungsbereich eingestellt, sondern es braucht nur die Übergangsperiode des Hauptausdrucks auf den Erfassungsbereich eingestellt zu werden. Wenn der Erfassungsbereich auf die Übergangsperiode des Hauptausdrucks beschränkt ist, kann die für das Verarbeiten der Erfassung des Mikroausdrucks erforderliche Zeit verkürzt werden, und der stark mit der Emotion der Objektperson 2 verknüpfte Mikroausdruck kann extrahiert werden.
-
(3) Emotionsschätzung (Schritt S208)
-
Der Emotionsschätzer 13 schätzt die Emotion der Objektperson 2 (Schritt S208) auf der Basis der Erfassungsergebnisse der Hauptausdrucksänderungsdetektion (Schritt S206) und der Mikroausdrucksdetektion (Schritt S207). Genauer gesagt wird die Emotionsschätzung der Objektperson 2 durch die folgende Regel ausgeführt.
- • In dem Fall, dass die Änderung der Art des Hauptausdrucks erfasst wird, während der Mikroausdruck nicht erfasst wird: Der Emotionsschätzer 13 schätzt, dass die der Art des geänderten Hauptausdrucks entsprechende Emotion die Emotion der Objektperson 2 in der Schätzzielperiode ist. Im Beispiel von 4C besitzt die Objektperson 2 die Emotion ”Glücksgefühl”. An diesem Punkt wird die Punktezahl des Ausdrucks als Information hinzugefügt, die das Maß (Stärke) der Emotion angibt, und die Emotion kann ausgedrückt werden wie ”80% Glücksgefühl”.
- • In dem Fall, dass der Mikroausdruck erfasst wird, während die Änderung der Art des Hauptausdrucks nicht erfasst wird: Der Emotionsschätzer 13 schätzt, dass die der Art des erfassten Mikroausdrucks entsprechende Emotion die Emotion der Objektperson 2 in der Schätzzielperiode ist. In ähnlicher Weise kann die Punktezahl des Ausdrucks als die Information hinzugefügt werden, die das Maß der Emotion angibt.
- • In dem Fall, dass sowohl die Änderung der Art des Hauptausdrucks als auch der Mikroausdruck erfasst werden: Der Emotionsschätzer 13 schätzt, dass die Emotion, zu der die der Art des geänderten Hauptausdrucks entsprechende Emotion und die dem Mikroausdruck entsprechende Emotion zusammengesetzt sind, die Emotion der Objektperson 2 in der Schätzzielperiode ist. In dem Beispiel von 5 ist der geänderte Hauptausdruck das ”Glücksgefühl”, und der Mikroausdruck ist der ”Ärger”. Daher wird beispielsweise geschätzt, dass die Emotion der Objektperson 2 ”Glücksgefühl, aber leichte Unzufriedenheit” ist. Alternativ kann ein Mikroausdruck-Punkt des ”Ärgers” von der Punktezahl des ”Glücksgefühls” abgezogen werden, um das Schätzergebnis von ”60% Glücksgefühl” auszugeben.
- • In dem Fall, dass weder die Änderung der Art des Hauptausdrucks noch der Mikroausdruck erfasst werden: Der Emotionsschätzer 13 gibt einen Fehler aus, da die Emotionsschätzung nicht auf der Basis des Gesichtsausdrucks ausgeführt werden kann.
-
Wenn das Emotionsschätzergebnis gewonnen ist, gibt die Ergebnisausgabeeinheit 14 das Emotionsschätzergebnis aus (Schritt S209). Wenn ein Roboter oder ein Computer auf der Basis des Emotionsschätzergebnisses gesteuert wird, kann erwartet werden, dass eine fortschrittliche Kommunikation zwischen der Person und der Maschine so implementiert werden kann, dass ”eine identische Aktion weitergeht, da die andere Partei glücklich aussieht”, oder so, dass ”ein anderes Wunschbild vorgeschlagen wird, da sich die andere Partei unzufrieden fühlt”.
-
Die Konfiguration der Ausführungsform weist die folgenden Vorteile auf. Da die Emotionsschätzvorrichtung 1 auf den Gesichtszug achtgibt, der mit der zeitlichen Änderung des Gesichtsausdrucks in der Schätzzielperiode verknüpft ist, kann die Änderung, Reaktion und Sichtbarmachung der Emotion in der Schätzzielperiode aufgezeichnet werden, und das Schätzergebnis kann im Vergleich zu dem Fall, in dem die Schätzung nur durch den Gesichtsausdruck in einem Bild ausgeführt wird, mit einer höheren Genauigkeit und Zuverlässigkeit gewonnen werden. Insbesondere die Emotion der Objektperson kann korrekter verstanden werden, indem auf die Gesichtszüge achtgegeben wird, die sich auf die Änderung der Art des Hauptausdrucks und das Erscheinen des Mikroausdrucks beziehen. Zusätzlich wird in dem Fall, dass sowohl die Änderung der Art des Hauptausdrucks als auch der Mikroausdruck erfasst werden, die Schätzung ausgeführt, während die Änderung der Art des Hauptausdrucks und der Mikroausdruck zusammengesetzt werden, so dass erwartet werden kann, dass die komplizierte Emotion oder die wirkliche Emotion der Objektperson verstanden wird.
-
Die Konfiguration der Ausführungsform stellt nur ein spezifisches Beispiel der vorliegenden Erfindung dar, beschränkt jedoch nicht den Schutzbereich der vorliegenden Erfindung. Verschiedene spezifische Konfigurationen können vorgenommen werden, ohne den Schutzbereich der vorliegenden Erfindung zu verlassen. Beispielsweise werden in der Ausführungsform sowohl die Erfassung der Änderung des Hauptausdrucks (Schritt S206) als auch die Erfassung des Mikroausdrucks (Schritt S207) ausgeführt. Alternativ kann lediglich entweder die Erfassung der Änderung des Hauptausdrucks oder die Erfassung des Mikroausdrucks ausgeführt werden. In der Ausführungsform wird die Klassierung des Ausdrucks in sieben Arten verwendet. Alternativ kann eine andere Klassierung des Ausdrucks verwendet werden.
-
Bezugszeichenliste
-
- 1
- Emotionsschätzvorrichtung
- 2
- Objektperson
- 3
- Abbildungsvorrichtung
- 10
- Bildgewinnungseinheit
- 11
- Ausdruckserkenner
- 12
- Speicher
- 13
- Emotionsschätzer
- 130
- Hauptausdrucksänderungsdetektor
- 131
- Mikroausdrucksdetektor
