DE112021003342T5

DE112021003342T5 - Vorrichtung und verfahren zur bestimmung von emotionen

Info

Publication number: DE112021003342T5
Application number: DE112021003342.5T
Authority: DE
Inventors: Ayana Tsuji; Takashi Ohta; Kazuya Urabe; Tatsuki Sawada
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2020-06-24
Filing date: 2021-05-19
Publication date: 2023-04-06
Also published as: WO2021261126A1; JP2022006253A; US20230206691A1; CN115702438A

Abstract

Eine Vorrichtung zur Bestimmung von Emotionen umfasst einen ersten Schätzer, der eine Emotion eines Benutzers basierend auf einer Änderung eines Gesichtsausdrucks des Benutzers schätzt, der von einem Gesichtsbild des Benutzers erfasst wird, einen zweiten Schätzer, der die Emotion des Benutzers basierend auf einer Änderung einer Temperatur des Benutzers schätzt, die berührungslos von dem Benutzer erfasst wird, und einen Bestimmer, der die Emotion des Benutzers basierend auf einem von dem ersten Schätzer erhaltenen Schätzergebnis und einem von dem zweiten Schätzer erhaltenen Schätzergebnis bestimmt.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft eine Technik zur Bestimmung von Emotionen eines Benutzers, wie Gelassenheit, Wut, Traurigkeit und Freude.
HINTERGRUND DER ERFINDUNG
Es wurde eine Technik entwickelt, um die Emotionen eines Benutzers zu bestimmen, beispielsweise für eine gezielte Steuerung. Eine korrekte Bestimmung von Emotionen des Benutzers ermöglicht beispielsweise die Steuerung der Operation (beispielsweise der Sprache) eines Kommunikationsroboters für die gezielte Kommunikation mit dem Benutzer.
Techniken zur Bestimmung von Emotionen sind beispielsweise in den Patentschriften 1 bis 3 beschrieben. In den Patentschriften 1 bis 3 werden Verfahren zur Bestimmung von Emotionen basierend auf verschiedener biometrischer Daten beschrieben, beispielsweise Gehirnströme und Herzschläge, die mit tragbaren Geräten gemessen werden.
Entgegenhaltungen
Patentschriften

Patentschrift 1: Die japanische Offenlegungsschrift 2014-178970
Patentschrift 2: Die japanische Offenlegungsschrift 2017-144222
Patentschrift 3: Die japanische Offenlegungsschrift 2012-059107

Erläuterung der Erfindung
Technisches Problem
Bei den in den Patentschriften 1 bis 3 beschriebenen bekannten Techniken trägt der Benutzer jedoch ein tragbares Gerät und kann somit eine geringe Benutzerfreundlichkeit aufweisen. Solche Verfahren verwenden ebenfalls zahlreiche biometrische Datensätze und sind mit einem hohen Verarbeitungsaufwand und einer langen Zeit für die Emotionsbestimmung verbunden.
Als Antwort auf das obige Problem sind ein oder mehrere Aspekte der vorliegenden Erfindung auf eine Technik zur Bestimmung von Emotionen mit hoher Genauigkeit unter Verwendung einer einfachen Struktur mit hoher Benutzerfreundlichkeit gerichtet.
Lösung der Aufgabe
Das Verfahren gemäß einem oder mehreren Aspekten der vorliegenden Erfindung hat die unten beschriebene Struktur.
Eine Vorrichtung zur Bestimmung von Emotionen gemäß einem ersten Aspekt der vorliegenden Erfindung umfasst einen ersten Schätzer, der eine Emotion eines Benutzers basierend auf einer Änderung eines Gesichtsausdrucks des Benutzers schätzt, der von einem Gesichtsbild des Benutzers erfasst wird, einen zweiten Schätzer, der die Emotion des Benutzers basierend auf einer Änderung einer Temperatur des Benutzers schätzt, die berührungslos von dem Benutzer erfasst wird, und einen Bestimmer, der die Emotion des Benutzers basierend auf einem von dem ersten Schätzer erhaltenen Schätzergebnis und einem von dem zweiten Schätzer erhaltenen Schätzergebnis bestimmt. Das Gesichtsbild ist beispielsweise ein Bild, das durch die Aufnahme eines Gesichts mit einem Bildsensor (Kamera) erfasst wird, oder ein Abschnitt eines mit einem Bildsensor aufgenommenen Bildes, das ein Gesicht enthält. Die Temperatur wird berührungslos beispielsweise mit einem Thermosensor erfasst.
In der vorstehend beschriebenen Struktur kann die Emotion mit hoher Genauigkeit bestimmt werden, indem die einfache Struktur auf den Ergebnissen der Emotionsschätzung basiert, die das Gesichtsbild und die Temperatur verwendet, ohne zahlreiche Sätze biometrischer Daten zu verwenden. Außerdem werden sowohl das Gesichtsbild als auch die Temperatur (Erkennungswert) berührungslos und mit hoher Benutzerfreundlichkeit erfasst, ohne dass der Benutzer ein tragbares Gerät trägt. Bestimmung von Emotionen mit hoher Genauigkeit allein basierend auf dem Gesichtsbild ist aufgrund individueller Unterschiede in der Veränderung des Gesichtsausdrucks und in der Übereinstimmung zwischen Emotion und Gesichtsausdruck schwierig. Bestimmung der Emotionen mit hoher Genauigkeit allein anhand der Temperatur ist ebenfalls schwierig, da die Temperatur des Benutzers je nach Umgebung (Jahreszeit und Ort wie drinnen oder draußen) und Kleidung stark schwankt. Die vorstehend Struktur schätzt die Emotion durch Kombination des Ergebnisses der Emotionsbestimmung (Emotionsschätzung) anhand des Gesichtsbildes mit dem Ergebnis der Emotionsbestimmung anhand der Temperatur und erreicht eine höhere Genauigkeit als die Emotionsbestimmung anhand des Gesichtsbildes oder der Temperatur.
Sowohl der erste Schätzer als auch der zweite Schätzer können einen Wert berechnen, der die Wahrscheinlichkeit angibt, dass der Benutzer eine Emotion aus einer Vielzahl von Emotionen hat. Der Bestimmer kann die Emotion des Benutzers basierend auf einer Punktezahl für jede der Vielzahl von Emotionen, die durch den ersten Schätzer berechnet wurde, und einer Punktezahl für jede der Vielzahl von Emotionen, die durch den zweiten Schätzer berechnet wurde, bestimmen. Die Punktezahlen sind nach den gleichen Kriterien normiert und liegen daher bei der Emotionsschätzung anhand des Gesichtsbildes und der Emotionsschätzung anhand der Temperatur im gleichen Bereich. Beispielsweise ist die maximale Punktezahl bei der Emotionsschätzung anhand des Gesichtsbildes und der Emotionsschätzung anhand der Temperatur in der Regel ein vorbestimmter Wert von beispielsweise 100. Zu den vielfältigen Emotionen gehören Gelassenheit, Wut, Traurigkeit und Freude.
Zum Beispiel kann der Bestimmer als Emotion des Benutzers eine Emotion mit der höchsten vom ersten Schätzer berechneten Punktezahl bestimmen, die mit einer Emotion mit einer höchsten vom zweiten Schätzer berechneten Punktezahl übereinstimmt. Als Reaktion darauf, dass die Emotion mit der höchsten Punktezahl, die durch den ersten Schätzer berechnet wurde, nicht mit der Emotion mit der höchsten Punktezahl, die durch den zweiten Schätzer berechnet wurde, übereinstimmt, kann der Bestimmer die Emotion des Benutzers basierend auf einer Punktezahl für jede der Vielzahl von Emotionen, die durch den ersten Schätzer berechnet wurde, und einer Punktezahl für jede der Vielzahl von Emotionen, die durch den zweiten Schätzer berechnet wurde, bestimmen.
Genauer gesagt, als Reaktion darauf, dass die Emotion mit der höchsten Punktezahl, die vom ersten Schätzer berechnet wurde, nicht mit der Emotion mit der höchsten Punktezahl, die vom zweiten Schätzer berechnet wurde, übereinstimmt, kann der Bestimmer als Emotion des Benutzers eine Emotion mit einer größeren berechneten Punktezahl für die Emotion mit der höchsten Punktezahl, die vom ersten Schätzer berechnet wurde, und die Emotion mit der höchsten Punktezahl, die vom zweiten Schätzer berechnet wurde, bestimmen. Diese Struktur führt zu einem zuverlässigeren Gefühl als Ergebnis der Bestimmung.
Als Reaktion darauf, dass die Emotion mit der höchsten Punktezahl, die durch den ersten Schätzer berechnet wurde, nicht mit der Emotion mit der höchsten Punktezahl, die durch den zweiten Schätzer berechnet wurde, übereinstimmt, kann der Bestimmer als Emotion des Benutzers eine Emotion mit einer größeren Summe einer durch den ersten Schätzer berechneten Punktezahl und einer durch den zweiten Schätzer berechneten Punktezahl der Emotion mit der höchsten Punktezahl, die durch den ersten Schätzer berechnet wurde, und der Emotion mit der höchsten Punktezahl, die durch den zweiten Schätzer berechnet wurde, bestimmen. Diese Struktur führt auch zu einer zuverlässigeren Emotion als Ergebnis der Bestimmung.
Als Reaktion darauf, dass die Emotion mit der höchsten Punktezahl, die durch den ersten Schätzer berechnet wurde, nicht mit der Emotion mit der höchsten Punktezahl übereinstimmt, die durch den zweiten Schätzer berechnet wurde, kann der Bestimmer als Emotion des Benutzers eine Emotion mit einem größeren Änderungsbetrag der Emotion mit der höchsten Punktezahl, die durch den ersten Schätzer berechnet wurde, und der Emotion mit der höchsten Punktezahl, die durch den zweiten Schätzer berechnet wurde, bestimmen. Dadurch können emotionale Veränderungen schneller erkannt werden.
Als Reaktion darauf, dass die Emotion mit der höchsten Punktezahl, die vom ersten Schätzer berechnet wurde, nicht mit der Emotion mit der höchsten Punktezahl, die vom zweiten Schätzer berechnet wurde, übereinstimmt, kann der Bestimmer als Emotion des Benutzers eine Emotion mit einem größeren Abweichungswert der Emotion mit der höchsten Punktezahl, die vom ersten Schätzer berechnet wurde, und der Emotion mit der höchsten Punktezahl, die vom zweiten Schätzer berechnet wurde, bestimmen. Diese Struktur führt auch zu einer zuverlässigeren Emotion als Ergebnis der Bestimmung. Der Abweichungswert kann hier als Grad der Punktezahl bezeichnet werden.
Die Vorrichtung zur Bestimmung von Emotionen kann ferner einen Anpasser umfassen, der eine Periode erkennt, in der ein Abweichungswert für die Periode bis zu einer vorbestimmten Zeit von Punktezahlen, die eine Wahrscheinlichkeit anzeigen, dass der Benutzer eine geschätzte Emotion hat, kleiner als ein vorbestimmter Schwellenwert ist, und der ein Schätzergebnis, das durch den ersten Schätzer erhalten wurde, und ein Schätzergebnis, das durch den zweiten Schätzer erhalten wurde, anpasst, um ein Schätzergebnis von einer ersten Periode mit dem Abweichungswert, der kleiner als der vorbestimmte Schwellenwert ist, rückwärts bis zu einer Periode unmittelbar nach einer zweiten Periode mit dem Abweichungswert, der kleiner als der vorbestimmte Schwellenwert ist, durch ein Schätzergebnis in der ersten Periode zu ersetzen. Der Bestimmer kann die Emotion des Benutzers basierend auf dem vom Anpasser erhaltenen eingestellten Schätzergebnis bestimmen. Auf diese Weise können die emotionalen Veränderungen geglättet werden, um die Tendenz mit hoher Genauigkeit zu erkennen. Dies ermöglicht eine gezielte Steuerung, bei der beispielsweise emotionale Veränderungen vorhergesagt werden können. Wenn zum Beispiel die Emotion des Benutzers von Wut zu Traurigkeit wechselt, kann das Verhalten (beispielsweise die Sprache) des Kommunikationsroboters so gesteuert werden, dass er mit einem wütenden Benutzer kommuniziert, während er erwartet, dass die Emotion des Benutzers zu Traurigkeit wechselt.
Sowohl der erste Schätzer als auch der zweite Schätzer können die Emotion des Benutzers in einem ersten Zyklus schätzen. Der Bestimmer kann das vom ersten Schätzer erhaltene Schätzergebnis und das vom zweiten Schätzer erhaltene Schätzergebnis verwenden, das in einem zweiten Zyklus aktualisiert wird, der länger als der erste Zyklus ist. Dadurch kann die Verarbeitungslast für die Emotionsbestimmung reduziert werden.
Ein Verfahren zur Bestimmung von Emotionen gemäß einem zweiten Aspekt der vorliegenden Erfindung umfasst das Schätzen einer Emotion eines Benutzers basierend auf einer Änderung eines Gesichtsausdrucks des Benutzers, der von einem Gesichtsbild des Benutzers erfasst wird, das Schätzen der Emotion des Benutzers basierend auf einer Änderung der Temperatur des Benutzers, die berührungslos von dem Benutzer erfasst wird, und das Bestimmen der Emotion des Benutzers basierend auf einem Schätzergebnis bei der Schätzung basierend auf der Änderung des Gesichtsausdrucks und einem Schätzergebnis bei der Schätzung basierend auf der Änderung der Temperatur.
Ein oder mehrere Aspekte der vorliegenden Erfindung können auf ein System zur Bestimmung von Emotionen gerichtet sein, das mindestens eine der vorstehend beschriebenen Komponenten oder Funktionen umfasst. Ein oder mehrere Aspekte der vorliegenden Erfindung können auch auf ein Verfahren zur Bestimmung von Emotionen oder ein Steuerungsverfahren für ein System zur Bestimmung von Emotionen gerichtet sein, das zumindest einen Teil der vorstehend genannten Prozesse, ein Programm, das einen Computer veranlasst, das Verfahren zu implementieren, oder ein nichttransitorisches computerlesbares Speichermedium, das das Programm speichert, umfasst. Die vorgenannten Strukturen und Verfahren können miteinander kombiniert werden, sofern sich keine technischen Widersprüche ergeben.
Vorteilhafte Wirkungen der Erfindung
Die Technik nach den oben genannten Aspekten der vorliegenden Erfindung ermöglicht die Bestimmung der Emotion mit hoher Genauigkeit unter Verwendung der einfachen Struktur mit hoher Benutzerfreundlichkeit.
Figurenliste

[1] 1 ist ein Blockdiagramm einer Vorrichtung zur Bestimmung von Emotionen gemäß einer oder mehrerer Ausführungsformen der vorliegenden Erfindung.
[2] 2A ist ein schematisches Diagramm eines Kommunikationssystems (Emotionsbestimmungssystem) gemäß einer ersten Ausführungsform, das eine allgemeine Beispielstruktur zeigt, und 2B ist ein Blockdiagramm eines Personalcomputers (PC oder einer Vorrichtung zur Bestimmung von Emotionen) gemäß der ersten Ausführungsform.
[3]3 ist ein Flussdiagramm einer beispielhaften Verfahrensweise gemäß einer ersten Ausführungsform.
[4] 4A bis 4C sind Diagramme, die Operationsbeispiele für die erste Ausführungsform zeigen.
[5] 5 ist ein Flussdiagramm einer beispielhaften Verfahrensweise gemäß einer zweiten Ausführungsform.
[6] 6A bis 6C sind Diagramme, die Operationsbeispiele für die zweite Ausführungsform zeigen.
[7] 7 ist ein Flussdiagramm einer beispielhaften Verfahrensweise gemäß einer dritten Ausführungsform.
[8] 8A bis 8C sind Diagramme, die Operationsbeispiele für die dritte Ausführungsform zeigen.
[9] 9 ist ein Flussdiagramm einer beispielhaften Verfahrensweise gemäß einer vierten Ausführungsform.
[10] 10A bis 10C sind Diagramme, die Operationsbeispiele der vierten Ausführungsform zeigen.
[11] 11 ist ein Blockdiagramm eines PC (Vorrichtung zur Bestimmung von Emotionen) gemäß einer fünften Ausführungsform.
[12] 12A bis 12C sind Diagramme, die Operationsbeispiele der fünften Ausführungsform zeigen.
[13] 13A und 13B sind Diagramme, die Operationsbeispiele in einer sechsten Ausführungsform zeigen.

Beschreibung der Ausführungsformen
<Anwendungsbeispiel>
Ein Anwendungsbeispiel der vorliegenden Erfindung wird nun beschrieben. Bei den bekannten Techniken zur Bestimmung der Emotionen des Benutzers, wie Gelassenheit, Wut, Traurigkeit und Freude, trägt der Benutzer ein tragbares Gerät und kann somit eine geringe Benutzerfreundlichkeit aufweisen. Solche Verfahren verwenden ebenfalls zahlreiche biometrische Datensätze und sind mit einem hohen Verarbeitungsaufwand und einer langen Zeit für die Emotionsbestimmung verbunden.
1 ist ein Blockdiagramm einer Vorrichtung zur Bestimmung von Emotionen 100 gemäß einer oder mehrerer Ausführungsformen der vorliegenden Erfindung. Die Vorrichtung zur Bestimmung von Emotionen 100 umfasst einen ersten Emotionsschätzer 101, einen zweiten Emotionsschätzer 102 und einen Emotionsbestimmer 103. Der erste Emotionsschätzer 101 schätzt die Emotion des Benutzers basierend auf einer Änderung des Gesichtsausdrucks des Benutzers, die im Gesichtsbild des Benutzers erkannt wird. Der zweite Emotionsschätzer 102 schätzt die Emotion des Benutzers basierend auf einer vom Benutzer berührungslos erfassten Temperaturveränderung des Benutzers. Der Emotionsbestimmer 103 bestimmt die Emotion des Benutzers basierend auf den durch den ersten Emotionsschätzer 101 und den zweiten Emotionsschätzer 102 erhaltenen Schätzergebnissen. Der erste Emotionsschätzer 101 ist ein Beispiel für einen ersten Schätzer in einem Aspekt der vorliegenden Erfindung, der zweite Emotionsschätzer 102 ist ein Beispiel für einen zweiten Schätzer in einem Aspekt der vorliegenden Erfindung, und der Emotionsbestimmer 103 ist ein Beispiel für einen Bestimmer in einem Aspekt der vorliegenden Erfindung. Das Gesichtsbild ist beispielsweise ein Bild, das durch die Aufnahme eines Gesichts mit einem Bildsensor (Kamera) erfasst wird, oder ein Abschnitt eines mit einem Bildsensor aufgenommenen Bildes, das ein Gesicht enthält. Die Temperatur wird berührungslos beispielsweise mit einem Thermosensor erfasst.
Die Vorrichtung zur Bestimmung von Emotionen (100) mit der obigen Struktur kann die Emotion mit hoher Genauigkeit bestimmen, indem sie die einfache Struktur verwendet, die auf den Ergebnissen der Emotionsschätzung unter Verwendung des Gesichtsbildes und der Temperatur basiert, ohne zahlreiche Sätze biometrischer Daten zu verwenden. Eine korrekte Bestimmung von Emotionen des Benutzers ermöglicht beispielsweise die Steuerung der Operation (beispielsweise der Sprache) eines Kommunikationsroboters für die gezielte Kommunikation mit dem Benutzer. Außerdem werden sowohl das Gesichtsbild als auch die Temperatur (Erkennungswert) berührungslos und mit hoher Benutzerfreundlichkeit erfasst, ohne dass der Benutzer ein tragbares Gerät trägt. Bestimmung von Emotionen mit hoher Genauigkeit allein basierend auf dem Gesichtsbild ist aufgrund individueller Unterschiede in der Veränderung des Gesichtsausdrucks und in der Übereinstimmung zwischen Emotion und Gesichtsausdruck schwierig. Bestimmung der Emotionen mit hoher Genauigkeit allein anhand der Temperatur ist ebenfalls schwierig, da die Temperatur des Benutzers je nach Umgebung (Jahreszeit und Ort wie drinnen oder draußen) und Kleidung stark schwankt. In der vorstehend beschriebenen Struktur ermöglicht die Kombination des Ergebnisses der Emotionsbestimmung (Emotionsschätzung) anhand des Gesichtsbildes mit dem Ergebnis der Emotionsbestimmung anhand der Temperatur eine Emotionsschätzung mit höherer Genauigkeit als die Emotionsbestimmung anhand des Gesichtsbildes oder der Temperatur.
<Erste Ausführungsform>
Eine erste Ausführungsform der vorliegenden Erfindung wird nun beschrieben.
(Struktur)
2A ist ein schematisches Diagramm eines Kommunikationssystems (Emotionsbestimmungssystem) gemäß der ersten Ausführungsform, das eine allgemeine Beispielstruktur zeigt. Das Kommunikationssystem gemäß der ersten Ausführungsform umfasst eine Kamera 10, ein Temperaturmessgerät 20, einen Personal Computer (PC) 200 (Vorrichtung zur Bestimmung von Emotionen) und einen Kommunikationsroboter 30. Die Kamera 10 und der PC 200 sind über ein Kabel oder drahtlos miteinander verbunden. Ebenso sind das Temperaturmessgerät 20 und der PC 200 drahtgebunden oder drahtlos miteinander verbunden, und der PC 200 und der Kommunikationsroboter 30 sind drahtgebunden oder drahtlos miteinander verbunden.
Die Kamera 10 nimmt ein Bild mit einem in der Kamera 10 integrierten Bildsensor auf und gibt das aufgenommene Bild an den PC 200 aus. In der ersten Ausführungsform gibt die Kamera 10 ein Gesichtsbild, das durch die Aufnahme eines Bildes des Gesichts des Benutzers erfasst wurde, an den PC 200 aus. Das Temperaturmessgerät 20 misst die Temperatur mit einem im Temperaturmessgerät 20 eingebauten Wärmesensor und gibt das Messergebnis (Temperaturinformation) an den PC 200 aus. In der ersten Ausführungsform erfasst das Temperaturmessgerät 20 die Temperatur des Benutzers (beispielsweise die Gesichtstemperatur) und gibt die Temperaturinformationen, die die erfasste Temperatur (den erfassten Wert der Temperatur) anzeigen, an den PC 200 aus. Der PC 200 bestimmt die Emotion des Benutzers anhand des Gesichtsbildes und der Temperatur des Benutzers und gibt das Ergebnis der Emotionsbestimmung an den Kommunikationsroboter 30 aus. Der Kommunikationsroboter 30 kommuniziert mit dem Benutzer basierend auf den Ergebnisses der Bestimmung der Emotion des Benutzers.
Die Kamera 10 kann einen größeren Bereich als den Gesichtsbereich erfassen. In diesem Fall kann beispielsweise die Kamera 10 oder der PC 200 einen Prozess zur Erfassung eines Gesichtsbildes aus einem mit der Kamera 10 aufgenommenen Bild durchführen (Erkennung eines Gesichts aus einem aufgenommenen Bild). Das Temperaturmessgerät 20 kann auch eine Temperaturverteilung über einen größeren Bereich als den des Benutzers (Gesicht) erfassen. In diesem Fall kann beispielsweise das Temperaturmessgerät 20 oder der PC 200 ein Verfahren zur Erfassung der Temperatur des Benutzers aus der erfassten Temperaturverteilung durchführen. Die Verwendung des Ergebnisses der Bestimmung der Emotion des Benutzers ist nicht beschränkt und muss nicht zur Steuerung des Kommunikationsroboters 30 dienen.
In der ersten Ausführungsform sind die Kamera 10, das Temperaturmessgerät 20, der PC 200 und der Kommunikationsroboter 30 separate Geräte, sind aber nicht auf diese Struktur beschränkt. So können zum Beispiel mindestens zwei oder mehr der Kamera 10, das Temperaturmessgerät 20, des PCs 200 und des Kommunikationsroboters 30 in einem Gerät enthalten sein. Genauer gesagt, können die Kamera 10, das Temperaturmessgerät 20 und der PC 200 Sensoren sein, die in den Kommunikationsroboter 30 eingebaut sind. Der PC 200 kann sich an einem beliebigen Ort befinden. Der PC 200 kann sich beispielsweise im selben Raum wie die Kamera 10, das Temperaturmessgerät 20 und der Kommunikationsroboter 30 befinden oder auch nicht. Der PC 200 kann ein Cloud-Computer sein, muss es aber nicht.
2B ist ein Blockdiagramm des PC 200. Der PC 200 umfasst einen Bilderfasser 210, einen Temperaturerfasser 220, ein Steuergerät 230, einen Speicher 240 und eine Ausgabeeinheit 250.
Der Bildberfasser 210 erfasst ein Gesichtsbild von der Kamera 10 und gibt das Gesichtsbild an das Steuergerät 230 (erster Emotionsschätzer 231) aus. In der ersten Ausführungsform nimmt die Kamera 10 ein Video auf, und der Bilderfasser 210 führt einen Prozess durch, um ein Einzelbild des Videos von der Kamera 10 zu erhalten und das Einzelbild sequentiell an das Steuergerät 230 auszugeben. Obwohl der Zyklus der Gesichtsbilderfassung durch den Bilderfasser 210 nicht begrenzt ist, erfasst der Bilderfasser 210 in der ersten Ausführungsform ein Gesichtsbild (ein Einzelbild eines Videos) synchron mit der Bildaufnahme durch die Kamera 10. Mit anderen Worten, der Bilderfasser 210 führt den Prozess zum Erhalten des Gesichtsbildes von der Kamera 10 und zur Ausgabe des Gesichtsbildes an das Steuergerät 230 mit der Bildrate der Bildaufnahme mit der Kamera 10 (z.B. 30 fps) durch. Die Kamera 10 kann Standbilder sequentiell aufnehmen. Der Bilderfasser 210 kann dann einen Prozess zur Erfassung von Standbildern von der Kamera 10 durchführen und die Standbilder nacheinander an das Steuergerät 230 ausgeben.
Der Temperaturerfasser 220 erhält die Temperaturinformationen über den Benutzer von dem Temperaturmessgerät 20 und gibt die Temperaturinformationen an das Steuergerät 230 (zweiter Emotionsschätzer 232) aus. Der Zyklus der Temperaturmessung durch das Temperaturmessgerät 20 und der Zyklus der Erfassung von Temperaturinformationen durch den Temperaturerfasser 220 sind nicht begrenzt. In der ersten Ausführungsform misst das Temperaturmessgerät 20 die Temperatur synchron mit der Bildaufnahme durch die Kamera 10, und der Temperaturerfasser 220 erhält die Temperaturinformationen synchron mit der Bildaufnahme durch die Kamera 10 (Erfassung des Gesichtsbildes durch den Bilderfasser 210). Mit anderen Worten, der Temperaturerfasser 220 führt den Prozess des Erfassens der Temperaturinformationen von dem Temperaturmessgerät 20 und die Ausgabe der Temperaturinformationen an das Steuergerät 230 mit der Bildrate der Bildaufnahme mit der Kamera 10 durch.
Das Steuergerät 230 umfasst beispielsweise eine Zentraleinheit (CPU), einen Direktzugriffsspeicher (RAM) und einen Festwertspeicher (ROM) zur Steuerung der einzelnen Geräte und zur Durchführung verschiedener Informationsprozesse. Wie später ausführlich beschrieben, bestimmt das Steuergerät 230 in der ersten Ausführungsform die Emotion des Benutzers basierend auf dem Gesichtsbild, das durch den Bilderfasser 210 erhalten wurde, und der Temperaturinformation, die durch den Temperaturerfasser 220 erhalten wurde, und gibt das Ergebnis der Emotionsbestimmung an die Ausgabeeinheit 250 aus.
Der Speicher 240 speichert ein von dem Steuergerät 230 ausführbares Programm und verschiedene Datensätze, die von dem Steuergerät 230 verwendet werden können. Der Speicher 240 ist beispielsweise ein Hilfsspeicher, wie ein Festplattenlaufwerk oder ein Solid-State-Laufwerk.
Die Ausgabeeinheit 250 gibt das von dem Steuergerät 230 ausgegebene Bestimmungsergebnis (Bestimmungsergebnis der Emotion) an den Kommunikationsroboter 30 aus.
Der Speicher 240 wird nun ausführlicher beschrieben. Der Speicher 240 enthält ein erstes Emotionsschätzungswörterbuch 241 und ein zweites Emotionsschätzungswörterbuch 242. Das erste Emotionsschätzungswörterbuch 241 speichert die Entsprechung zwischen der Änderung des Gesichtsausdrucks und der zuvor registrierten Emotion. Das zweite Emotionsschätzungswörterbuch 242 speichert die Entsprechung zwischen der Temperaturänderung und der zuvor registrierten Emotion.
Das Steuergerät 230 wird nun ausführlicher beschrieben. Das Steuergerät 230 umfasst den ersten Emotionsschätzer 231, den zweiten Emotionsschätzer 232 und einen Emotionsbestimmer 233.
Der erste Emotionsschätzer 231 führt sequenziell einen Prozess zur Erkennung des Gesichtsausdrucks des Benutzers aus dem von dem Bilderfasser 210 ausgegebenen Gesichtsbild durch (Ausdruckserkennung). Der erste Emotionsschätzer 231 bezieht sich auf das erste Emotionsschätzungswörterbuch 241, um die Emotion des Benutzers anhand einer Änderung des erkannten Gesichtsausdrucks zu schätzen. Der erste Emotionsschätzer 231 gibt dann das Ergebnis der Emotionsschätzung an den Emotionsbestimmer 233 weiter. Der erste Emotionsschätzer 231 ist ein Beispiel für den ersten Schätzer in einem Aspekt der vorliegenden Erfindung.
Für die Erkennung des Gesichtsausdrucks und die Emotionsschätzung (beides basierend auf dem Gesichtsbilde) durch den ersten Emotionsschätzer 231 kann ein beliebiger Algorithmus verwendet werden. Der Gesichtsausdruck des Benutzers kann zum Beispiel durch eine bestehende Gesichtsausdruckserkennung oder speziell mit einem Detektor (Diskriminator) erkannt werden, der ein Bildmerkmal wie ein Histogramm orientierter Gradienten (HoG) oder ein Haar-ähnliches Merkmal und Boosting kombiniert. Der Gesichtsausdruck kann mit einem trainierten Modell erkannt werden, das durch maschinelles Lernen erzeugt wurde, oder speziell mit einem trainierten Modell, das durch Deep Learning erzeugt wurde. Beispiele hierfür sind ein regionenbasiertes Faltungsneuronales Netzwerk (R-CNN), Fast R-CNN, You only look once (YOLO) oder ein Single Shot Multibox Detektor (SSD). In ähnlicher Weise kann die Emotion des Benutzers durch eine bestehende Emotionsschätzung oder durch ein trainiertes Modell, das durch maschinelles Lernen erstellt wurde, geschätzt werden. Insbesondere kann ein trainiertes Modell, das durch Deep Learning (z. B. R-CNN, Fast R-CNN, YOLO und SSD) generiert wurde, verwendet werden, um die Emotionen des Benutzers zu schätzen.
Der zweite Emotionsschätzer 232 erhält sequentiell die von dem Temperaturerfasser 220 ausgegebenen Temperaturinformationen, bezieht sich auf das zweite Emotionsschätzungswörterbuch 242 und schätzt die Emotion des Benutzers anhand der Änderung der erhaltenen Temperaturinformationen (Änderung der Temperatur des Benutzers). Der zweite Emotionsschätzer 232 gibt dann das Ergebnis der Emotionsschätzung an den Emotionsbestimmer 233 weiter. Der zweite Emotionsschätzer 232 ist ein Beispiel für den zweiten Schätzer in einem Aspekt der vorliegenden Erfindung.
Für die vom zweiten Emotionsschätzer 232 durchgeführte Emotionsschätzung (Emotionsschätzung basierend auf der Temperatur) kann jeder beliebige Algorithmus verwendet werden. Beispielsweise kann die Emotion des Benutzers durch eine bestehende Emotionsschätzung oder durch ein trainiertes Modell, das durch maschinelles Lernen erstellt wurde, geschätzt werden. Insbesondere kann ein trainiertes Modell, das durch Deep Learning (z. B. R-CNN, Fast R-CNN, YOLO und SSD) generiert wurde, verwendet werden, um die Emotionen des Benutzers zu schätzen.
Der Emotionsbestimmer 233 bestimmt die Emotion des Benutzers basierend auf den durch den ersten Emotionsschätzer 231 und den zweiten Emotionsschätzer 232 erhaltenen Schätzergebnissen und gibt das Ergebnis der Emotionsbestimmung an die Ausgabeeinheit 250 aus. Der Emotionsbestimmer 233 ist ein Beispiel für den Bestimmer in einem Aspekt der vorliegenden Erfindung.
In der ersten Ausführungsform berechnen der erste Emotionsschätzer 231 und der zweite Emotionsschätzer 232 jeweils eine Punktezahl, die die Wahrscheinlichkeit angibt, dass der Benutzer die Emotion für jede der Vielzahl von Emotionen hat, und geben die Punktezahl für jede Emotion als Schätzergebnis aus. Der Emotionsbestimmer 233 bestimmt dann die Emotion des Benutzers basierend auf den vom ersten Emotionsschätzer 231 berechneten Punktezahlen für jede Emotion und auf den vom zweiten Emotionsschätzer 232 berechneten Punktezahlen für jede Emotion.
Die Punktezahlen werden bei der Emotionsschätzung anhand des Gesichtsbildes (Emotionsschätzung durch den ersten Emotionsschätzer 231) und bei der Emotionsschätzung anhand der Temperatur (Emotionsschätzung durch den zweiten Emotionsschätzer 232) nach denselben Kriterien normiert, und der Bereich der Punktezahlen ist gleich. Beispielsweise ist die maximale Punktezahl bei der Emotionsschätzung anhand des Gesichtsbildes und der Emotionsschätzung anhand der Temperatur in der Regel ein vorbestimmter Wert von beispielsweise 100. In der ersten Ausführungsform wird die Punktezahl für jede Emotion so berechnet, dass die Summe der jeweiligen Mehrfachpunktezahlen, die den mehreren Emotionen entsprechen, sowohl bei der Emotionsschätzung anhand des Gesichtsbildes als auch bei der Emotionsschätzung anhand der Temperatur 100 beträgt. Obwohl die Anzahl der verschiedenen Emotionen und ihre Arten nicht begrenzt sind, werden in der ersten Ausführungsform die vier Emotionen Gelassenheit, Wut, Traurigkeit und Freude verwendet.
Wenn die Emotion mit der höchsten Punktezahl, die durch den ersten Emotionsschätzer 231 berechnet wurde, mit der Emotion mit der höchsten Punktezahl, die durch den zweiten Emotionsschätzer 232 berechnet wurde, übereinstimmt, ist es sehr wahrscheinlich, dass der Benutzer diese Emotion hat. Der Emotionsbestimmer 233 bestimmt somit die Emotion mit den größten Punktezahlen, die von dem ersten Emotionsschätzer 231 und dem zweiten Emotionsschätzer 232 berechnet wurden, als die Emotion des Benutzers.
Die Emotion mit der höchsten Punktezahl, die von dem ersten Emotionsschätzer 231 berechnet wurde, stimmt möglicherweise nicht mit der Emotion mit der höchsten Punktezahl überein, die von dem zweiten Emotionsschätzer 232 berechnet wurde. In diesem Fall bestimmt der Emotionsbestimmer 233 die Emotion des Benutzers basierend auf der von dem ersten Emotionsschätzer 231 berechneten Punktezahl für jede Emotion und der von dem zweiten Emotionsschätzer 232 berechneten Punktezahl für jede Emotion. Genauer gesagt, bestimmt der Emotionsbestimmer 233 die Emotion mit der größeren berechneten Punktezahl für die Emotion mit der größten Punktezahl, die von dem ersten Emotionsschätzer 231 berechnet wurde, und die Emotion mit der größten Punktezahl, die von dem zweiten Emotionsschätzer 232 berechnet wurde, als die Emotion des Benutzers. Es wird erwartet, dass eine höhere Punktezahl auf eine höhere Zuverlässigkeit hinweist (eine höhere Wahrscheinlichkeit, dass der Benutzer die entsprechende Emotion hat), was zu einer zuverlässigeren Emotion als Bestimmungsergebnis führt.
(Operation)
3 ist ein Flussdiagramm einer beispielhaften Verfahrensweise gemäß der ersten Ausführungsform. Der PC 200 wiederholt das Verfahren von 3. Obwohl der Wiederholungszyklus des Verfahrens in 3 nicht begrenzt ist, wird das Verfahren in 3 mit der Bildrate der Bildaufnahme mit der Kamera 10 (z. B. 30 fps) wiederholt.
Zunächst erfasst der Bilderfasser 210 das Gesichtsbild des Benutzers von der Kamera 10 (Schritt S301). Der erste Emotionsschätzer 231 erkennt dann den Gesichtsausdruck des Benutzers anhand des in Schritt 301 erhaltenen Gesichtsbildes und berechnet jede Punktezahl für Gelassenheit, Wut, Traurigkeit und Freude basierend auf einer Änderung des erkannten Gesichtsausdrucks (Änderung des Gesichtsausdrucks von der Vergangenheit zur Gegenwart) (Schritt S302).
Der Temperaturerfasser 220 erhält dann die Temperaturinformationen über den Benutzer (Temperatur des Benutzers) von dem Temperaturmessgerät 20 (Schritt S303). Der zweite Emotionsschätzer 232 berechnet dann jede Punktezahl für Gelassenheit, Wut, Traurigkeit und Freude basierend auf einer Änderung der Temperatur des Benutzers (Änderung der Temperatur von der Vergangenheit zur Gegenwart) (Schritt S304).
Der Emotionsbestimmer 233 bestimmt dann, ob eine Emotion E1 mit der größten Punktezahl, die von dem ersten Emotionsschätzer 231 berechnet wurde, mit einer Emotion E2 mit der größten Punktezahl, die von dem zweiten Emotionsschätzer 232 berechnet wurde, übereinstimmt (Schritt S305). Die Emotion E1 hat die höchste Punktezahl der vier Punkte (die jeweils der Gelassenheit, der Wut, der Traurigkeit und der Freude entsprechen), die in Schritt S302 basierend auf der Veränderung des Gesichtsausdrucks berechnet wurden. Die Emotion E2 hat von den vier in Schritt S304 basierend auf der Temperaturänderung berechneten Punktezahlen (die jeweils der Gelassenheit, der Wut, der Traurigkeit und der Freude entsprechen) den höchsten Wert. Wenn die Emotion E1 mit der Emotion E2 übereinstimmt (Ja in Schritt S305), geht die Verarbeitung weiter zu Schritt S306, und wenn die Emotion E1 nicht mit der Emotion E2 übereinstimmt (Nein in Schritt S305), geht die Verarbeitung weiter zu Schritt S307.
In Schritt S306 bestimmt der Emotionsbestimmer 233 die Emotion E1 = die Emotion E2 als Emotionsergebnis (endgültiges Bestimmungsergebnis) des Benutzers. Der PC 200 beendet dann das Verfahren in 3.
In Schritt S307 bestimmt der Emotionsbestimmer 233, ob die Punktezahl für die Emotion E1 (Punktezahl basierend auf der Änderung des Gesichtsausdrucks) mit der Punktezahl für die Emotion E2 (Punktezahl basierend auf der Änderung der Temperatur) übereinstimmt. Wenn die Punktezahl für die Emotion E1 nicht mit der Punktezahl für die Emotion E2 übereinstimmt (Nein in Schritt S307), wird die Verarbeitung mit Schritt S308 fortgesetzt. Sobald die Punktezahl für die Emotion E1 mit der Punktezahl für die Emotion E2 übereinstimmt (Ja in Schritt S307), beendet der PC 200 das Verfahren in 3. Die gleiche Emotion wie die vorherige Emotion wird dann als Emotion Eresult des Benutzers verwendet.
In Schritt S308 bestimmt der Emotionsbestimmer 233, ob die Punktezahl für die Emotion E1 größer ist als die Punktezahl für die Emotion E2. Wenn die Punktezahl für die Emotion E1 größer ist als die Punktezahl für die Emotion E2 (Ja in Schritt S308), wird die Verarbeitung mit Schritt S309 fortgesetzt. Wenn die Punktezahl für die Emotion E1 kleiner ist als die Punktezahl für die Emotion E2 (Nein in Schritt S308), wird die Verarbeitung mit Schritt S310 fortgesetzt.
In Schritt S309 bestimmt der Emotionsbestimmer 233 die Emotion E1 (Emotion, die basierend auf der Änderung des Gesichtsausdrucks geschätzt wird) als die Emotion Eresult des Benutzers. Der PC 200 beendet dann das Verfahren in 3.
In Schritt S310 bestimmt der Emotionsbestimmer 233 die Emotion E2 (Emotion, die basierend auf der Temperaturänderung geschätzt wird) als Emotion Eresult des Benutzers. Der PC 200 beendet dann das Verfahren in 3.
(Spezifisches Operationsbeispiel)
Die 4A bis 4C zeigen Operationsbeispiele für die erste Ausführungsform. 4A zeigt ein Beispiel für die zeitliche Veränderung der Punktezahl für jede Emotion (Punktezahl basierend auf der Veränderung des Gesichtsausdrucks), die vom ersten Emotionsschätzer 231 berechnet wurde. In 4A ist die Emotion E1 (Emotion, die anhand der Veränderung des Gesichtsausdrucks geschätzt wird) in fetten Rahmen dargestellt. 4B zeigt ein Beispiel für die zeitliche Veränderung der Punktezahl für jede Emotion (Punktezahl basierend auf der Temperaturveränderung), die vom zweiten Emotionsschätzer 232 berechnet wurde. In 4B ist die Emotion E2 (Emotion, die basierend auf der Temperaturänderung geschätzt wird) in fetten Rahmen dargestellt. 4C zeigt eine beispielhafte zeitliche Veränderung der vom Emotionsbestimmer 233 ermittelten Emotion (Emotion Eresult).
In den Beispielen in den 4A bis 4C sind die beiden Emotionen E1 und E2 Gelassenheit für die Periode von Einzelbild 0 bis Einzelbild 2, und Gelassenheit wird somit als Emotion Eresult bestimmt. Für Einzelbild 3 ist die Emotion E1 Wut, und die Emotion E2 ist Gelassenheit. Die Emotionen E1 und E2 sind unterschiedlich. Der Wert für die Emotion E1 (Wut) beträgt 55. Der Wert für die Emotion E2 (Gelassenheit) beträgt 52. Da der Wert (55) für die Emotion E1 (Wut) größer ist als der Wert (52) für die Emotion E2 (Gelassenheit), wird Wut als Emotion Eresult ermittelt. In ähnlicher Weise wird in den anderen Einzelbildern das Emotion Eresult beispielsweise basierend auf der Übereinstimmung oder Nichtübereinstimmung zwischen der Punktezahl für die Emotion E1 und der Punktezahl für die Emotion E2 sowie auf der Beziehung zwischen der Punktezahl für die Emotion E1 und der Punktezahl für die Emotion E2 bestimmt.
(Übersicht)
In der ersten Ausführungsform, wie vorstehend beschrieben, kann die Emotion mit hoher Genauigkeit bestimmt werden, indem man die einfache Struktur verwendet, die auf dem Ergebnis der Emotionsschätzung anhand des Gesichtsbildes und der Temperatur basiert, ohne zahlreiche Sätze biometrischer Daten zu verwenden. Außerdem werden sowohl das Gesichtsbild als auch die Temperatur (Erkennungswert) berührungslos und mit hoher Benutzerfreundlichkeit erfasst, ohne dass der Benutzer ein tragbares Gerät trägt. Darüber hinaus kann die Bestimmung der Emotion mit der größeren berechneten Punktezahl für die auf der Grundlage des Gesichtsbildes geschätzte Emotion und die auf der Grundlage der Temperatur geschätzte Emotion als Emotion des Benutzers eine zuverlässigere Emotion als Bestimmungsergebnis liefern.
<Zweite Ausführungsform>
Eine zweite Ausführungsform der vorliegenden Erfindung wird nun beschrieben.
(Struktur)
Die Strukturen des Kommunikationssystems und des PC 200 gemäß der zweiten Ausführungsform sind im Wesentlichen die gleichen wie bei der ersten Ausführungsform. In der zweiten Ausführungsform unterscheidet sich die von dem Emotionsbestimmer 233 durchgeführte Verarbeitung von der Verarbeitung in der ersten Ausführungsform dadurch, dass die Emotion mit der höchsten Punktezahl, die von dem ersten Emotionsschätzer 231 berechnet wurde, nicht mit der Emotion mit der höchsten Punktezahl übereinstimmt, die von dem zweiten Emotionsschätzer 232 berechnet wurde. In der zweiten Ausführungsform bestimmt der Emotionsbestimmer 233 als Emotion des Benutzers die Emotion mit der größeren Summe aus einer vom ersten Schätzer 231 berechneten Punktezahl und einer vom zweiten Schätzer 232 berechneten Punktezahl der Emotion mit der größten vom ersten Schätzer 231 berechneten Punktezahl und der Emotion mit der größten vom zweiten Schätzer 232 berechneten Punktezahl. Diese Struktur führt auch zu einer zuverlässigeren Emotion als Ergebnis der Bestimmung.
(Operation)
5 ist ein Flussdiagramm einer beispielhaften Verfahrensweise gemäß der zweiten Ausführungsform. Der PC 200 wiederholt das Verfahren von 5. Obwohl der Wiederholungszyklus des Verfahrens in 5 nicht begrenzt ist, wird das Verfahren in 5 mit der Bildrate der Bildaufnahme mit der Kamera 10 (z. B. 30 fps) wiederholt.
Die Verarbeitung in den Schritten S501 bis S507 ist die gleiche wie die Verarbeitung in den Schritten S301 bis S307 in der ersten Ausführungsform. Wenn die Punktezahl für die Emotion E1 (Punktezahl basierend auf der Änderung des Gesichtsausdrucks) nicht mit der Punktezahl für die Emotion E2 (Punktezahl basierend auf der Änderung der Temperatur) übereinstimmt (Nein in Schritt S507), geht die Verarbeitung weiter zu Schritt S508.
In Schritt S508 berechnet der Emotionsbestimmer 233 eine Gesamtpunktezahl S1, die der Emotion E1 entspricht. Die Gesamtpunktezahl S1 wird berechnet, indem die Punktezahl für die Emotion E1 (vom ersten Emotionsschätzer 231 berechnete Punktezahl, oder genauer gesagt, die Punktezahl, die auf der Änderung des Gesichtsausdrucks basiert) und die vom zweiten Emotionsschätzer 232 berechnete Punktezahl (Punktezahl, die auf der Änderung der Temperatur basiert) für dieselbe Emotion wie die Emotion E1 addiert werden.
In Schritt S509 berechnet der Emotionsbestimmer 233 eine Gesamtpunktezahl S2, die der Emotion E2 entspricht. Die Gesamtpunktezahl S2 wird berechnet, indem die Punktezahl für die Emotion E2 (vom zweiten Emotionsschätzer 232 berechnete Punktezahl, oder genauer gesagt, die Punktezahl, die auf der Veränderung der Temperatur basiert) und die vom ersten Emotionsschätzer 231 berechnete Punktezahl (Punktezahl, die auf der Veränderung des Gesichtsausdrucks basiert) für dieselbe Emotion wie die Emotion E2 addiert werden.
In Schritt S510 bestimmt der Emotionsbestimmer 233, ob die in Schritt S508 berechnete Gesamtpunktezahl S1 mit der in Schritt S509 berechneten Gesamtpunktezahl S2 übereinstimmt. Wenn die Gesamtpunktezahl S 1 nicht mit der Gesamtpunktezahl S2 (Nein in Schritt S510) übereinstimmt, geht die Verarbeitung zu Schritt S511 weiter. Sobald die Gesamtpunktezahl S1 mit der Gesamtpunktezahl S2 übereinstimmt (Ja in Schritt S510), beendet der PC 200 das Verfahren in 5. Die gleiche Emotion wie die vorherige Emotion wird dann als Emotion Eresult des Benutzers verwendet.
In Schritt S511 bestimmt der Emotionsbestimmer 233, ob die in Schritt S508 berechnete Gesamtpunktezahl S 1 größer ist als die in Schritt S509 berechnete Gesamtpunktezahl S2. Wenn die Gesamtpunktezahl S1 größer ist als die Gesamtpunktezahl S2 (Ja in Schritt S511), geht die Verarbeitung weiter zu Schritt S512. Wenn die Gesamtpunktezahl S 1 kleiner ist als die Gesamtpunktezahl S2 (Nein in Schritt S511), geht die Verarbeitung weiter zu Schritt S513.
In Schritt S512 bestimmt der Emotionsbestimmer 233 die Emotion E1, die der Gesamtpunktezahl S1 entspricht, als die Emotion Eresult des Benutzers. Der PC 200 beendet dann das Verfahren in 5.
In Schritt S513 bestimmt der Emotionsbestimmer 233 die Emotion E2, die der Gesamtpunktezahl S2 entspricht, als die Emotion Eresult des Benutzers. Der PC 200 beendet dann das Verfahren in 5.
(Spezifisches Operationsbeispiel)
Die 6A bis 6C zeigen Operationsbeispiele für die zweite Ausführungsform. 6A zeigt ein Beispiel für die zeitliche Veränderung der Punktezahl für jede Emotion (Punktezahl basierend auf der Veränderung des Gesichtsausdrucks), die vom ersten Emotionsschätzer 231 berechnet wurde. In 6A ist die Emotion E1 (Emotion, die anhand der Veränderung des Gesichtsausdrucks geschätzt wird) in fetten Rahmen dargestellt. 6B zeigt ein Beispiel für die zeitliche Veränderung der Punktezahl für jede Emotion (Punktezahl basierend auf der Temperaturveränderung), die vom zweiten Emotionsschätzer 232 berechnet wurde. In 6B ist die Emotion E2 (Emotion, die basierend auf der Temperaturänderung geschätzt wird) in fetten Rahmen dargestellt. 6C zeigt eine beispielhafte zeitliche Veränderung der vom Emotionsbestimmer 233 ermittelten Emotion (Emotion Eresult).
In den Beispielen in den 6A bis 6C sind die beiden Emotionen E1 und E2 Gelassenheit für die Periode von Einzelbild 0 bis Einzelbild 2, und Gelassenheit wird somit als Emotion Eresult bestimmt. Für Einzelbild 3 ist die Emotion E1 Wut, und die Emotion E2 ist Gelassenheit. Die Emotionen E1 und E2 sind unterschiedlich. Für die Emotion E1 (Wut) beträgt die Summe (Gesamtpunktezahl S1) der vom ersten Emotionsschätzer 231 berechneten Punktezahl (55) und der vom zweiten Emotionsschätzer 232 berechneten Punktezahl (20) 75. Für die Emotion E2 (Gelassenheit) beträgt die Summe (Gesamtpunktezahl S2) der vom ersten Emotionsschätzer 231 berechneten Punktezahl (22) und der vom zweiten Emotionsschätzer 232 berechneten Punktezahl (72) 74. Wenn die Gesamtpunktezahl S1 (75), die der Emotion E1 (Wut) entspricht, größer ist als die Gesamtpunktezahl S2 (74), die der Emotion E2 (Gelassenheit) entspricht, wird Wut als die Emotion Eresult ermittelt. In ähnlicher Weise wird in den anderen Einzelbildern die Emotion Eresult beispielsweise basierend auf der Übereinstimmung oder Nichtübereinstimmung zwischen der Punktezahl für die Emotion E1 und der Punktezahl für die Emotion E2 sowie auf dem Verhältnis zwischen der Gesamtpunktezahl S 1 und der Gesamtpunktezahl S2 bestimmt.
(Übersicht)
In der zweiten Ausführungsform, wie oben beschrieben, kann die hochgenaue Emotionsbestimmung mit der einfachen Struktur mit hoher Benutzerfreundlichkeit, wie in der ersten Ausführungsform, erreicht werden. Darüber hinaus kann die Bestimmung der Emotion mit der größeren Summe aus der auf dem Gesichtsbild basierenden Punktezahl und der auf der Temperatur basierenden Punktezahl der auf Basis des Gesichtsbildes geschätzten Emotion und der auf Basis der Temperatur geschätzten Emotion als Emotion des Benutzers eine zuverlässigere Emotion als Bestimmungsergebnis liefern.
<Dritte Ausführungsform>
Eine dritte Ausführungsform der vorliegenden Erfindung wird nun beschrieben.
(Struktur)
Die Strukturen des Kommunikationssystems und des PC 200 gemäß der dritten Ausführungsform sind im Wesentlichen die gleichen wie bei der ersten Ausführungsform. In der dritten Ausführungsform unterscheidet sich die von dem Emotionsbestimmer 233 durchgeführte Verarbeitung von der Verarbeitung in der ersten Ausführungsform dadurch, dass die Emotion mit der höchsten Punktezahl, die von dem ersten Emotionsschätzer 231 berechnet wurde, nicht mit der Emotion mit der höchsten Punktezahl übereinstimmt, die von dem zweiten Emotionsschätzer 232 berechnet wurde. In der dritten Ausführungsform bestimmt der Emotionsermittler 233 die Emotion mit dem größeren Änderungswert gegenüber dem vorherigen Wert für diese Emotionen als die Emotion des Benutzers. Dadurch kann die emotionale Veränderung schneller erkannt werden.
(Betrieb)
7 ist ein Flussdiagramm einer beispielhaften Verfahrensweise gemäß der dritten Ausführungsform. Der PC 200 wiederholt das Verfahren von 7. Obwohl der Wiederholungszyklus des Verfahrens in 7 nicht begrenzt ist, wird das Verfahren in 7 mit der Bildrate der Bildaufnahme mit der Kamera 10 (z. B. 30 fps) wiederholt.
Die Verarbeitung in den Schritten S701 bis S707 ist die gleiche wie die Verarbeitung in den Schritten S301 bis S307 in der ersten Ausführungsform. Wenn die Punktezahl für die Emotion E1 (Punktezahl basierend auf der Änderung des Gesichtsausdrucks) nicht mit der Punktezahl für die Emotion E2 (Punktezahl basierend auf der Änderung der Temperatur) übereinstimmt (Nein in Schritt S707), geht die Verarbeitung weiter zu Schritt S708.
In Schritt S708 berechnet der Emotionsermittler 233 einen Änderungsbetrag D1 von der vorherigen Punktezahl für die Emotion E1 (Punktezahl basierend auf der Ausdrucksänderung) zur aktuellen Punktezahl für die Emotion E1 (Punktezahl basierend auf der Ausdrucksänderung). Der Änderungsbetrag D1 ist ein Differenzwert, der sich aus der Subtraktion der vorherigen Punktezahl für die Emotion E1 von der aktuellen Punktezahl für die Emotion E1 ergibt.
In Schritt S709 berechnet der Emotionsbestimmer 233 einen Änderungsbetrag D2 von der vorherigen Punktezahl für die Emotion E2 (Punktezahl basierend auf der Änderung der Temperatur) zur aktuellen Punktezahl für die Emotion E2 (Punktezahl basierend auf der Änderung der Temperatur). Der Änderungsbetrag D2 ist ein Differenzwert, der sich aus der Subtraktion der vorherigen Punktezahl für die Emotion E2 von der aktuellen Punktezahl für die Emotion E2 ergibt.
In Schritt S710 bestimmt der Emotionsbestimmer 233, ob der in Schritt S708 berechnete Änderungsbetrag D1 mit dem in Schritt S709 berechneten Änderungsbetrag D2 übereinstimmt. Wenn der Änderungsbetrag D1 nicht mit dem Änderungsbetrag D2 (Nein in Schritt S710) übereinstimmt, geht die Verarbeitung weiter zu Schritt S711. Sobald der Änderungsbetrag D1 mit dem Änderungsbetrag D2 übereinstimmt (Ja in Schritt S710), beendet der PC 200 das Verfahren in 7. Die gleiche Emotion wie die vorherige Emotion wird dann als Emotion Eresult des Benutzers verwendet.
In Schritt S711 bestimmt der Emotionsbestimmer 233, ob der in Schritt S708 berechnete Änderungsbetrag D1 größer ist als der in Schritt S709 berechnete Änderungsbetrag D2. Wenn der Änderungsbetrag D1 größer ist als der Änderungsbetrag D2 (Ja in Schritt S711), geht die Verarbeitung weiter zu Schritt S712. Wenn der Änderungsbetrag D1 kleiner ist als der Änderungsbetrag D2 (Nein in Schritt S711), geht die Verarbeitung weiter zu Schritt S713.
In Schritt S712 ermittelt der Emotionsbestimmer 233 die dem Änderungsbetrag D1 entsprechende Emotion E1 als Emotion Eresult des Benutzers. Der PC 200 beendet dann das Verfahren in 7.
In Schritt S713 ermittelt der Emotionsbestimmer 233 die dem Änderungsbetrag D2 entsprechende Emotion E2 als Emotion Eresult des Benutzers. Der PC 200 beendet dann das Verfahren in 7.
(Spezifisches Operationsbeispiel)
Die 8A bis 8C zeigen Operationsbeispiele für die dritte Ausführungsform. 8A zeigt ein Beispiel für die zeitliche Veränderung der Punktezahl für jede Emotion (Punktezahl basierend auf der Veränderung des Gesichtsausdrucks), die vom ersten Emotionsschätzer 231 berechnet wurde. In 8A ist die Emotion E1 (Emotion, die anhand der Veränderung des Gesichtsausdrucks geschätzt wird) in fetten Rahmen dargestellt. 8B zeigt ein Beispiel für die zeitliche Veränderung der Punktezahl für jede Emotion (Punktezahl basierend auf der Temperaturveränderung), die vom zweiten Emotionsschätzer 232 berechnet wurde. In 8B ist die Emotion E2 (Emotion, die basierend auf der Temperaturänderung geschätzt wird) in fetten Rahmen dargestellt. 8C zeigt eine beispielhafte zeitliche Veränderung der vom Emotionsbestimmer 233 ermittelten Emotion (Emotion Eresult).
In den Beispielen in den 8A bis 8C sind die beiden Emotionen E1 und E2 Gelassenheit für die Periode von Einzelbild 0 bis Einzelbild 2, und Gelassenheit wird somit als Emotion Eresult bestimmt. Für Einzelbild 3 ist die Emotion E1 Wut, und die Emotion E2 ist Gelassenheit. Die Emotionen E1 und E2 sind unterschiedlich. Für die Emotion E1 (Wut) beträgt der Änderungsbetrag D1 von der vorherigen, durch den ersten Emotionsschätzer 231 berechneten Punktezahl (23, oder genauer gesagt, die Punktezahl für Einzelbild 2) bis zur aktuellen, durch den ersten Emotionsschätzer 231 berechneten Punktezahl (55, oder genauer gesagt, die Punktezahl für Einzelbild 3) 32 (= 55 - 23). Für die Emotion E2 (Gelassenheit) beträgt der Änderungsbetrag D2 von der vorherigen, durch den zweiten Emotionsschätzer 232 berechneten Punktezahl (52, oder genauer gesagt, die Punktezahl für Einzelbild 2) zu der aktuellen, durch den zweiten Emotionsschätzer 232 berechneten Punktezahl (50, oder genauer gesagt, die Punktezahl für Einzelbild 3) -2 (= 50 - 52). Wenn der Änderungsbetrag D1 (32), der der Emotion E1 (Wut) entspricht, größer ist als der Änderungsbetrag D2 (-2), der der Emotion E2 (Gelassenheit) entspricht, wird Wut als Emotion Eresult ermittelt. In anderen Einzelbildern wird das Emotionsergebnis beispielsweise basierend auf der Übereinstimmung oder Nichtübereinstimmung zwischen der Punktezahl für die Emotion E1 und der Punktezahl für die Emotion E2 sowie auf dem Verhältnis zwischen dem Änderungsbetrag D1 und dem Änderungsbetrag D2 bestimmt.
(Übersicht)
In der dritten Ausführungsform, wie oben beschrieben, kann die hochgenaue Emotionsbestimmung mit der einfachen Struktur mit hoher Benutzerfreundlichkeit, wie in der ersten Ausführungsform, erreicht werden. Darüber hinaus kann durch die Bestimmung der Emotion mit dem größeren Änderungswert gegenüber dem vorherigen Wert für die basierend auf dem Gesichtsbild geschätzte Emotion und die basierend auf der Temperatur geschätzte Emotion als Emotion des Benutzers die emotionale Veränderung schneller erfasst werden.
< vierte Ausführungsform>
Eine vierte Ausführungsform der vorliegenden Erfindung wird nun beschrieben.
(Struktur)
Die Strukturen des Kommunikationssystems und des PC 200 gemäß der vierten Ausführungsform sind im Wesentlichen die gleichen wie bei der ersten Ausführungsform. In der vierten Ausführungsform unterscheidet sich die von dem Emotionsbestimmer 233 durchgeführte Verarbeitung von der Verarbeitung in der ersten Ausführungsform dadurch, dass die Emotion mit der höchsten Punktezahl, die von dem ersten Emotionsschätzer 231 berechnet wurde, nicht mit der Emotion mit der höchsten Punktezahl übereinstimmt, die von dem zweiten Emotionsschätzer 232 berechnet wurde. In der vierten Ausführungsform bestimmt der Emotionsbestimmer 233 die Emotion mit dem größeren Abweichungswert unter den mehreren Emotionen dieser Emotionen als die Emotion des Benutzers. Der Abweichungswert kann hier als Grad der Punktezahl bezeichnet werden. Ein größerer Wert für die Varianz zwischen mehreren Emotionen, oder mit anderen Worten, ein höherer Wert für die größte Punktezahl, deutet auf eine höhere Zuverlässigkeit hin (Wahrscheinlichkeit, dass der Benutzer die entsprechende Emotion hat) und somit auf eine zuverlässigere Emotion als Bestimmungsergebnis. Ein Abweichungswert V von n Punktezahl Xi (i ist eine ganze Zahl von 1 bis einschließlich n) kann beispielsweise nach der unten beschriebenen Formel 1 berechnet werden. In Formel 1 ist Xave der Durchschnitt der n Punktezahl Xi.
Formel 1 $V = \frac{1}{n} \sum_{i = 1}^{n} {(Xi - Xave)}^{2}$
(Operation)
9 ist ein Flussdiagramm einer beispielhaften Verfahrensweise gemäß der vierten Ausführungsform. Der PC 200 wiederholt das Verfahren von 9. Obwohl der Wiederholungszyklus des Verfahrens in 9 nicht begrenzt ist, wird das Verfahren in 9 mit der Bildrate der Bildaufnahme mit der Kamera 10 (z. B. 30 fps) wiederholt.
Die Verarbeitung in den Schritten S901 bis S907 ist die gleiche wie die Verarbeitung in den Schritten S301 bis S307 in der ersten Ausführungsform. Wenn die Punktezahl für die Emotion E1 (Punktezahl basierend auf der Änderung des Gesichtsausdrucks) nicht mit der Punktezahl für die Emotion E2 (Punktezahl basierend auf der Änderung der Temperatur) übereinstimmt (Nein in Schritt S907), geht die Verarbeitung weiter zu Schritt S908.
In Schritt S908 berechnet der Emotionsbestimmer 233 jeden Abweichungswert von mehreren Punktezahlen (mehrere Punktezahlen basierend auf der Änderung des Gesichtsausdrucks), die vom ersten Emotionsschätzer 231 für mehrere Emotionen (Gelassenheit, Wut, Traurigkeit und Freude) berechnet wurden, als einen Abweichungswert V1, der der Emotion E1 entspricht.
In Schritt S909 berechnet der Emotionsbestimmer 233 jeden Abweichungswert von mehreren Punktezahlen (mehrere Punktezahlen basierend auf der Änderung der Temperatur), die von dem zweiten Emotionsschätzer 232 für mehrere Emotionen (Gelassenheit, Wut, Traurigkeit und Freude) berechnet wurden, als einen Abweichungswert V2, der der Emotion E2 entspricht.
In Schritt S910 bestimmt der Emotionsbestimmer 233, ob der in Schritt S908 berechnete Abweichungswert V1 mit dem in Schritt S909 berechneten Abweichungswert V2 übereinstimmt. Wenn der Abweichungswert V1 nicht mit dem Abweichungswert V2 (Nein in Schritt S910) übereinstimmt, geht die Verarbeitung weiter zu Schritt S911. Sobald der Abweichungswert V1 mit dem Abweichungswert V2 übereinstimmt (Ja in Schritt S910), beendet der PC 200 das Verfahren in 9. Die gleiche Emotion wie die vorherige Emotion wird dann als Emotion Eresult des Benutzers verwendet.
In Schritt S911 bestimmt der Emotionsbestimmer 233, ob der in Schritt S908 berechnete Abweichungswert V1 größer ist als der in Schritt S909 berechnete Abweichungswert V2. Wenn der Abweichungswert V1 größer ist als der Abweichungswert V2 (Ja in Schritt S911), geht die Verarbeitung weiter zu Schritt S912. Wenn der Abweichungswert V1 kleiner ist als der Abweichungswert V2 (Nein in Schritt S911), geht die Verarbeitung weiter zu Schritt S913.
In Schritt S912 bestimmt der Emotionsbestimmer 233 die dem Abweichungswert V1 entsprechende Emotion E1 als Emotion Eresult des Benutzers. Der PC 200 beendet dann das Verfahren in 9.
In Schritt S913 bestimmt der Emotionsbestimmer 233 die dem Varianzwert V2 entsprechende Emotion E2 als Emotion Eresult des Benutzers. Der PC 200 beendet dann das Verfahren in 9.
(Spezifisches Operationsbeispiel)
Die 10A bis 10C zeigen Operationsbeispiele für die vierte Ausführungsform. 10A zeigt ein Beispiel für die zeitliche Veränderung der Punktezahl für jede Emotion (Punktezahl basierend auf der Veränderung des Gesichtsausdrucks), die vom ersten Emotionsschätzer 231 berechnet wurde. In 10A ist die Emotion E1 (Emotion, die anhand der Veränderung des Gesichtsausdrucks geschätzt wird) in fetten Rahmen dargestellt. 10B zeigt ein Beispiel für die zeitliche Veränderung der Punktezahl für jede Emotion (Punktezahl basierend auf der Temperaturveränderung), die vom zweiten Emotionsschätzer 232 berechnet wurde. In 10B ist die Emotion E2 (Emotion, die basierend auf der Temperaturänderung geschätzt wird) in fetten Rahmen dargestellt. 10C zeigt eine beispielhafte zeitliche Veränderung der vom Emotionsbestimmer 233 ermittelten Emotion (Emotion Eresult).
In den Beispielen in den 10A bis 10C sind die beiden Emotionen E1 und E2 Gelassenheit für die Periode von Einzelbild 0 bis Einzelbild 2, und Gelassenheit wird somit als Emotion Eresult bestimmt. Für Einzelbild 3 ist die Emotion E1 Wut, und die Emotion E2 ist Gelassenheit. Die Emotionen E1 und E2 sind unterschiedlich. Für die Emotion E1 (Wut) beträgt der Abweichungswert V1, der aus den vier vom ersten Emotionsschätzer 231 berechneten Punktezahlen (22, 55, 12 und 11) berechnet wird, 319. Für die Emotion E2 (Gelassenheit) beträgt der Abweichungswert V2, der aus den vier vom zweiten Emotionsschätzer 232 berechneten Punktezahlen (52, 20, 8 und 20) berechnet wird, 267. Der Abweichungswert V 1 (319), der der Emotion E1 (Wut) entspricht, ist größer als der Abweichungswert V2 (267), der der Emotion E2 (Gelassenheit) entspricht, und somit wird Wut als Emotion Eresult ermittelt. In anderen Einzelbildern wird das Emotionsergebnis beispielsweise basierend auf der Übereinstimmung oder Nichtübereinstimmung zwischen dem Ergebnis für die Emotion E1 und dem Ergebnis für die Emotion E2 sowie auf dem Verhältnis zwischen dem Abweichungswert V1 und dem Abweichungswert V2 bestimmt.
(Übersicht)
In der vierten Ausführungsform, wie oben beschrieben, kann die hochgenaue Emotionsbestimmung mit der einfachen Struktur mit hoher Benutzerfreundlichkeit, wie in der ersten Ausführungsform, erreicht werden. Darüber hinaus kann die Bestimmung der Emotion mit dem größeren Abweichungswert unter mehreren Emotionen der Emotion, die basierend auf dem Gesichtsbild geschätzt wird, und der Emotion, die basierend auf der Temperatur geschätzt wird, als die Emotion des Benutzers eine zuverlässigere Emotion als Bestimmungsergebnis liefern.
<fünfte Ausführungsform>
Eine fünfte Ausführungsform der vorliegenden Erfindung wird nun beschrieben.
(Struktur)
Der Aufbau des Kommunikationssystems gemäß der fünften Ausführungsform ist im Wesentlichen derselbe wie bei der ersten Ausführungsform. 11 ist ein Blockdiagramm des PC 200 gemäß der fünften Ausführungsform. In der fünften Ausführungsform umfasst der PC 200 wie in der ersten Ausführungsform auch den Bilderfasser 210, den Temperaturerfasser 220, das Steuergerät 230, den Speicher 240 und die Ausgabeeinheit 250. In der fünften Ausführungsform umfasst das Steuergerät 230 jedoch auch einen Anpasser für das Schätzergebnis 234. In der fünften Ausführungsform sind die anderen als die nachfolgend beschriebenen Verarbeitungsschritte die gleichen wie in der ersten Ausführungsform.
In der fünften Ausführungsform speichert jeder der ersten Emotionsschätzer 231 und der zweiten Emotionsschätzer 232 das Schätzergebnis der Emotion des Benutzers im Speicher 240 (zeichnet es auf oder akkumuliert es).
Der Schätzergebnis-Anpasser 234 passt das vom ersten Emotionsschätzer 231 erhaltene Schätzergebnis und das vom zweiten Emotionsschätzer 232 erhaltene und im Speicher 240 gespeicherte Schätzergebnis an. Der Übersichtlichkeit halber zeigen in 11 die Pfeile vom ersten Emotionsschätzer 231 und vom zweiten Emotionsschätzer 232 zum Schätzergebnis-Anpasser 234 anstelle der Pfeile zum Schreiben oder Lesen der Schätzergebnisse im Speicher 240. Genauer gesagt erkennt der Schätzergebnis-Anpasser 234 eine Periode, in der der Abweichungswert der Punktezahlen (geschätzte Punktezahlen der Emotionen) für die Periode, die einer vorbestimmten Zeit vorausgeht, kleiner ist als ein vorbestimmter Schwellenwert. Eine solche Periode kann als die Periode mit einem stabilen Schätzergebnis der Emotion des Benutzers bestimmt werden. Der Schätzergebnis-Anpasser 234 ersetzt dann das Schätzergebnis von einer ersten Periode mit dem Abweichungswert kleiner als der vorbestimmte Schwellenwert rückwärts bis zu der Periode unmittelbar nach einer zweiten Periode mit dem Abweichungswert kleiner als der vorbestimmte Schwellenwert durch das Schätzergebnis in der ersten Periode. Der Schätzergebnis-Anpasser 234 passt das vom ersten Emotionsschätzer 231 erhaltene Schätzergebnis und das vom zweiten Emotionsschätzer 232 erhaltene Schätzergebnis an, um eine solche Periode zu erkennen und das Schätzergebnis zu ersetzen. Der Schätzergebnis-Anpasser 234 ist ein Beispiel für einen Anpasser in einem Aspekt der vorliegenden Erfindung.
Der Emotionsbestimmer 233 bestimmt die Emotion des Benutzers basierend auf dem angepassten Schätzergebnis, das durch den Schätzergebnis-Anpasser 234 erhalten wurde. Die Emotion des Benutzers wird beispielsweise durch eine der in der ersten bis vierten Ausführungsform beschriebenen Methoden ermittelt.
Auf diese Weise können die emotionalen Veränderungen geglättet werden, um die Tendenz mit hoher Genauigkeit zu erkennen. Dies ermöglicht eine gezielte Steuerung, bei der beispielsweise emotionale Veränderungen vorhergesagt werden können. Wenn zum Beispiel die Emotion des Benutzers von Wut zu Traurigkeit wechselt, kann das Verhalten (beispielsweise die Sprache) des Kommunikationsroboters 30 so gesteuert werden, dass er mit einem wütenden Benutzer kommuniziert, während er erwartet, dass die Emotion des Benutzers zu Traurigkeit wechselt.
(Spezifisches Operationsbeispiel)
Die 12A bis 12C zeigen Operationsbeispiele für die fünfte Ausführungsform. Im Folgenden wird nun ein Beispielprozess zur Anpassung des Schätzergebnisses des ersten Emotionsschätzers 231 beschrieben. Das Schätzergebnis des zweiten Emotionsschätzers 232 wird ebenfalls auf die gleiche Weise angepasst, wie unten beschrieben.
12A zeigt eine beispielhafte zeitliche Änderung der Punktezahl vor der Änderung durch den Schätzergebnis-Anpasser 234 und eine beispielhafte zeitliche Änderung der Punktezahl für jede Emotion (Punktezahl basierend auf der Änderung des Gesichtsausdrucks), die durch den ersten Emotionsschätzer 231 berechnet wurde. In 12A ist die Emotion E1 (Emotion, die anhand der Veränderung des Gesichtsausdrucks geschätzt wird) in fetten Rahmen dargestellt.
Zunächst berechnet der Schätzergebnis-Anpasser 234 den Abweichungswert der durch den Schätzergebnis-Anpasser 234 geschätzten Emotion E1 für die Periode bis zu einer vorbestimmten Zeit basierend auf der zeitlichen Änderung in 12A. Die vorbestimmte Zeit ist nicht begrenzt, soll hier aber die Zeit für drei Einzelbilder sein. Zum Beispiel ist die Emotion E1 (Emotion mit der höchsten Punktezahl) die Gelassenheit für Einzelbild 2. Der Schätzergebnis-Anpasser 234 berechnet also den Abweichungswert (16.9) aus dem Beruhigungswert für Einzelbild 2 (56), dem Beruhigungswert für Einzelbild 1 (50) und dem Beruhigungswert für Einzelbild 0 (60). Die Emotion E1 (Emotion mit der höchsten Punktezahl) ist Wut für Einzelbild 3. Der Schätzergebnis-Anpasser 234 berechnet also den Abweichungswert (251) aus der Wut-Punktezahl (55) für Einzelbild 3, der Wut-Punktezahl (23) für Einzelbild 2 und der Wut-Punktezahl (20) für Einzelbild 1. Der Schätzergebnis-Anpasser 234 berechnet die Abweichungswerte für andere Einzelbilder auf die gleiche Weise. 12B zeigt ein Beispiel für die zeitliche Veränderung der berechneten Abweichungswerte.
Der Schätzergebnis-Anpasser 234 erkennt dann die Periode (Einzelbild) mit dem Abweichungswert, der unter dem vorbestimmten Schwellenwert liegt. Der vorbestimmte Schwellenwert ist nicht begrenzt, soll aber hier 50 betragen. In 12B sind Abweichungswerte, die unter dem vorgegebenen Schwellenwert (50) liegen, in fetten Rahmen dargestellt. Im Einzelnen werden die Einzelbilder 2, 7, 13 und 14 erkannt.
Schließlich ersetzt der Schätzergebnis-Anpasser 234 dann das Schätzergebnis von einer ersten Periode mit dem Abweichungswert kleiner als der vorbestimmte Schwellenwert (50) rückwärts bis zu der Periode unmittelbar nach einer zweiten Periode mit dem Abweichungswert kleiner als der vorbestimmte Schwellenwert (50) durch das Schätzergebnis in der ersten Periode. Wie oben beschrieben, werden die Einzelbilder 2, 7, 13 und 14 als Perioden mit einem Abweichungswert kleiner als der vorbestimmte Schwellenwert (50) in 12B erkannt. Auf diese Weise ersetzt der Schätzergebnis-Anpasser 234 die Punktezahlen für die Einzelbilder 0 bis 2 durch die Punktezahl für Einzelbild 2, die Punktezahlen für die Einzelbilder 3 bis 7 durch die Punktezahl für Einzelbild 7 und die Punktezahlen für die Einzelbilder 8 bis 13 durch die Punktezahl für Einzelbild 13. 12C zeigt eine beispielhafte zeitliche Änderung der Punktezahl nach der Änderung durch den Schätzergebnis-Anpasser 234.
Obwohl 12C nur die Punktezahl für die Emotion E1 zeigt (Emotion, die vom Benutzer geschätzt wird), kann die obige Ersetzung auch für andere Punktezahlen als die Emotion E1 durchgeführt werden. Bei einer Serie von mehreren Einzelbildern mit der gleichen Emotion E1 können die Punktezahlen ersetzt werden, um die Punktezahlen der mehreren Einzelbilder abzugleichen. In den 12A bis 12C zum Beispiel sind sowohl die Emotionen E1 für Einzelbild 13 als auch für Einzelbild 14 Traurigkeit. Der Schätzergebnis-Anpasser 234 kann daher die Punktezahlen für Einzelbilder 8 bis 14 durch die Punktezahl für Einzelbild 13 oder Einzelbild 14 ersetzen.
(Übersicht)
In der fünften Ausführungsform, wie oben beschrieben, kann die hochgenaue Emotionsbestimmung mit der einfachen Struktur mit hoher Benutzerfreundlichkeit, wie in der ersten Ausführungsform, erreicht werden. Darüber hinaus wird das Ergebnis der Emotionsschätzung angepasst, um geglättete emotionale Veränderungen zu erkennen und die Tendenz mit hoher Genauigkeit zu ermitteln.
< sechste Ausführungsform>
Eine sechste Ausführungsform der vorliegenden Erfindung wird nun beschrieben.
(Struktur)
Die Strukturen des Kommunikationssystems und des PC 200 gemäß der sechsten Ausführungsform sind im Wesentlichen die gleichen wie bei der ersten Ausführungsform. In der sechsten Ausführungsform schätzen sowohl der erste Emotionsschätzer 231 als auch der zweite Emotionsschätzer 232 die Emotion des Benutzers in einem ersten Zyklus. Der Emotionsbestimmer 233 verwendet das vom ersten Emotionsschätzer 231 erhaltene Schätzergebnis und das vom zweiten Emotionsschätzer 232 erhaltene Schätzergebnis, das in einem zweiten Zyklus aktualisiert wird, der länger ist als der erste Zyklus. Der zweite Zyklus ist zum Beispiel dreimal so lang wie der erste. Wenn die Bildrate des mit der Kamera 10 aufgenommenen Bildes 30 fps beträgt und der erste Zyklus der Bildrate entspricht, entspricht der zweite Zyklus 1/3 der Bildrate (10 fps). Die andere Struktur (Verarbeitung) ist die gleiche wie in einer der ersten bis vierten Ausführungsformen.
Dadurch kann die Häufigkeit der Verarbeitung durch den Emotionsbestimmer 233 reduziert werden, beispielsweise bei der Aktualisierung des durch den ersten Emotionsschätzer 231 erhaltenen Schätzergebnisses und des durch den zweiten Emotionsschätzer 232 erhaltenen Schätzergebnisses, um die Verarbeitungslast für die Emotionsbestimmung zu verringern. Der Emotionsbestimmer 233 kann die Emotionsbestimmung durchführen und die Ergebnisse im ersten Zyklus oder im zweiten Zyklus ausgeben. Wenn die Bestimmung und die Ausgabe im zweiten Zyklus durchgeführt werden, kann die Verarbeitungslast im Emotionsbestimmer 233 weiter reduziert werden.
(Spezifisches Operationsbeispiel)
Die 13A und 13B zeigen Operationsbeispiele der sechsten Ausführungsform. Nachfolgend wird ein Beispielprozess für den Emotionsbestimmer 233 beschrieben, der das vom ersten Emotionsschätzer 231 erhaltene Schätzergebnis aktualisiert. Der Emotionsbestimmer 233 aktualisiert auch das vom zweiten Emotionsschätzer 232 erhaltene Schätzergebnis auf die gleiche Weise wie unten beschrieben.
13A zeigt ein Beispiel für die zeitliche Veränderung der Punktezahl für jede Emotion (Punktezahl basierend auf der Veränderung des Gesichtsausdrucks), die vom ersten Emotionsschätzer 231 berechnet wurde. In 13A ist die Emotion E1 (Emotion, die anhand der Veränderung des Gesichtsausdrucks geschätzt wird) in fetten Rahmen dargestellt.
13B zeigt ein Beispiel für die zeitliche Veränderung der Punktezahl für jede Emotion (Punktezahl basierend auf der Veränderung des Gesichtsausdrucks), die im Emotionsbestimmer 233 verwendet wird. In 13B ist die Emotion E1 (Emotion, die anhand der Veränderung des Gesichtsausdrucks geschätzt wird) ebenfalls in fetten Rahmen dargestellt.
Wie in 13A dargestellt, berechnet und aktualisiert der erste Emotionsschätzer 231 die Punktezahl für jedes Einzelbild. Im Gegensatz dazu aktualisiert der Emotionsbestimmer 233, wie in 13B gezeigt, die Punktezahl alle drei Einzelbilder. Genauer gesagt, verwendet der Emotionsbestimmer 233 auch die Punktezahl für Einzelbild 0 als Punktezahlen für die Einzelbilder 1 und 2. Der Emotionsbestimmer 233 kann also die Verarbeitung für die Einzelbilder 1 und 2 für eine Periode durchführen, die den Einzelbildern 1 und 2 vorausgeht. Mit anderen Worten: Das Ergebnis der Emotionsbestimmung kann schneller erreicht werden. Die Punktezahl wird für Einzelbild 3 aktualisiert, und die Punktezahl für Einzelbild 3 wird auch als Punktezahl für die Einzelbilder 4 und 5 verwendet. Auch danach wird der Punktezahl auf dieselbe Weise aktualisiert.
(Übersicht)
In der sechsten Ausführungsform, wie oben beschrieben, kann die hochgenaue Emotionsbestimmung mit der einfachen Struktur mit hoher Benutzerfreundlichkeit, wie in der ersten Ausführungsform, erreicht werden. Darüber hinaus kann die Verringerung der Aktualisierungshäufigkeit des für die Emotionsbestimmung verwendeten Emotionsschätzungsergebnisses die Verarbeitungslast für die Emotionsbestimmung verringern und die Verarbeitungsgeschwindigkeit der Emotionsbestimmung erhöhen (die für die Ermittlung des Emotionsbestimmungsergebnisses benötigte Zeit kann verringert werden).
<Sonstiges>
Die vorstehend beschriebenen Ausführungsformen sind lediglich Beispiele für die vorliegende Erfindung. Die vorliegende Erfindung ist nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt, sondern kann im Rahmen der technischen Ideen der Erfindung auf verschiedene Weise modifiziert werden. Die Verfahren der ersten bis sechsten Ausführungsform können gegebenenfalls kombiniert werden.
<Anhang 1>
Vorrichtung zur Bestimmung von Emotionen (100, 200), umfassend:

einen ersten Schätzer (101, 231), der derart ausgebildet ist, dass er eine Emotion eines Benutzers basierend auf einer Änderung in einem Gesichtsausdruck des Benutzers, der von einem Gesichtsbild des Benutzers erfasst wird, schätzt;
einen zweiten Schätzer (102, 232), der derart ausgebildet ist, dass er die Emotion des Benutzers basierend auf einer Änderung der Temperatur des Benutzers, die berührungslos vom Benutzer erfasst wird, schätzt; und
einen Bestimmer (103, 233), der derart ausgebildet ist, dass er die Emotion des Benutzers basierend auf einem durch den ersten Schätzer erhaltenen Schätzergebnis und einem durch den zweiten Schätzer erhaltenen Schätzergebnis bestimmt.

<Anhang 2>
Verfahren zur Bestimmung von Emotionen, umfassend:

(S302, S502, S702, S902) Schätzen einer Emotion eines Benutzers basierend auf einer Änderung eines Gesichtsausdrucks des Benutzers, der von einem Gesichtsbild des Benutzers erfasst wird;
(S304, S504, S704, S904) Schätzen der Emotion des Benutzers basierend auf einer Temperaturänderung des Benutzers, die berührungslos vom Benutzer erfasst wird; und
(S305 to S310, S505 to S513, S705 to S713, S905 to S913) Bestimmen der Emotion des Benutzers basierend auf einem Schätzergebnis bei der Schätzung basierend auf der Änderung des Gesichtsausdrucks und einem Schätzergebnis bei der Schätzung basierend auf der Änderung der Temperatur.

Bezugszeichenliste

100: Vorrichtung zur Bestimmung von Emotionen
101: erster Emotionsschätzer
102: zweiter Emotionsschätzer
103: Emotionsbestimmer
10: Kamera
20: Temperaturmessgerät
30: Kommunikationsroboter
200: PC (Vorrichtung zur Bestimmung von Emotionen)
210: Bilderfasser
220: Temperaturerfasser
230: Steuergerät
240: Speicher
250: Ausgabeeinheit
231: erster Emotionsschätzer
232: zweiter Emotionsschätzer
233: Emotionsbestimmer
234: Schätzergebnis-Anpasser
241: erstes Emotionsschätzungswörterbuch
242: zweites Emotionsschätzungswörterbuch

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2014178970 [0003]
JP 2017144222 [0003]
JP 2012059107 [0003]

Claims

Vorrichtung zur Bestimmung von Emotionen, umfassend: einen ersten Schätzer, der derart ausgebildet ist, dass er eine Emotion eines Benutzers basierend auf einer Änderung in einem Gesichtsausdruck des Benutzers, der von einem Gesichtsbild des Benutzers erfasst wird, schätzt; einen zweiten Schätzer, der derart ausgebildet ist, dass er die Emotion des Benutzers basierend auf einer Änderung der Temperatur des Benutzers, die berührungslos vom Benutzer erfasst wird, schätzt; und einen Bestimmer, der derart ausgebildet ist, dass er die Emotion des Benutzers basierend auf einem durch den ersten Schätzer erhaltenen Schätzergebnis und einem durch den zweiten Schätzer erhaltenen Schätzergebnis bestimmt.
Vorrichtung zur Bestimmung von Emotionen nach Anspruch 1, wobei jeweils der erste Schätzer und der zweite Schätzer eine Punktezahl berechnet, die eine Wahrscheinlichkeit angibt, dass der Benutzer eine Emotion aus einer Vielzahl von Emotionen hat; und der Bestimmer die Emotion des Benutzers basierend auf einer Punktezahl für jede der Vielzahl von Emotionen, die durch den ersten Schätzer berechnet wurde, und einer Punktezahl für jede der Vielzahl von Emotionen, die durch den zweiten Schätzer berechnet wurde bestimmt.
Vorrichtung zur Bestimmung von Emotionen nach Anspruch 2, wobei der Bestimmer bestimmt als die Emotion des Benutzers eine Emotion mit einer höchsten Punktezahl, die durch den ersten Schätzer berechnet wurde, die mit einer Emotion mit einer höchsten Punktezahl übereinstimmt, die durch den zweiten Schätzer berechnet wurde; und in Reaktion darauf, dass die Emotion mit der höchsten vom ersten Schätzer berechneten Punktezahl nicht mit der Emotion mit der höchsten vom zweiten Schätzer berechneten Punktezahl übereinstimmt, bestimmt der Bestimmer die Emotion des Benutzers basierend auf einer Punktezahl für jede der Vielzahl von Emotionen, die vom ersten Schätzer berechnet wurde, und einer Punktezahl für jede der Vielzahl von Emotionen, die vom zweiten Schätzer berechnet wurde.
Vorrichtung zur Bestimmung von Emotionen nach Anspruch 3, wobei als Reaktion darauf, dass die Emotion mit der höchsten Punktezahl, die vom ersten Schätzer berechnet wurde, nicht mit der Emotion mit der höchsten Punktezahl, die vom zweiten Schätzer berechnet wurde, übereinstimmt, bestimmt der Bestimmer als Emotion des Benutzers eine Emotion mit einer größeren berechneten Punktezahl für die Emotion mit der höchsten Punktezahl, die vom ersten Schätzer berechnet wurde, und die Emotion mit der höchsten Punktezahl, die vom zweiten Schätzer berechnet wurde.
Vorrichtung zur Bestimmung von Emotionen nach Anspruch 3, wobei als Reaktion darauf, dass die Emotion mit der höchsten Punktezahl, die durch den ersten Schätzer berechnet wurde, nicht mit der Emotion mit der höchsten Punktezahl, die durch den zweiten Schätzer berechnet wurde, übereinstimmt, bestimmt der Bestimmer als Emotion des Benutzers eine Emotion mit einer größeren Summe einer durch den ersten Schätzer berechneten Punktezahl und einer durch den zweiten Schätzer berechneten Punktezahl der Emotion mit der höchsten Punktezahl, die durch den ersten Schätzer berechnet wurde, und der Emotion mit der höchsten Punktezahl, die durch den zweiten Schätzer berechnet wurde.
Vorrichtung zur Bestimmung von Emotionen nach Anspruch 3, wobei als Reaktion darauf, dass die Emotion mit der höchsten Punktezahl, die durch den ersten Schätzer berechnet wurde, nicht mit der Emotion mit der höchsten Punktezahl übereinstimmt, die durch den zweiten Schätzer berechnet wurde, bestimmt der Bestimmer als Emotion des Benutzers eine Emotion mit einem größeren Änderungsbetrag der Emotion mit der höchsten Punktezahl, die durch den ersten Schätzer berechnet wurde, und der Emotion mit der höchsten Punktezahl, die durch den zweiten Schätzer berechnet wurde.
Vorrichtung zur Bestimmung von Emotionen nach Anspruch 3, wobei als Reaktion darauf, dass die Emotion mit der höchsten Punktezahl, die durch den ersten Schätzer berechnet wurde, nicht mit der Emotion mit der höchsten Punktezahl übereinstimmt, die durch den zweiten Schätzer berechnet wurde, bestimmt der Bestimmer als Emotion des Benutzers eine Emotion mit einem größeren Abweichungswert der Emotion mit der höchsten Punktezahl, die durch den ersten Schätzer berechnet wurde, und der Emotion mit der höchsten Punktezahl, die durch den zweiten Schätzer berechnet wurde.
Die Vorrichtung zur Bestimmung von Emotionen nach einem der Ansprüche 1 bis 7, umfassend: einen Anpasser, der dazu eingerichtet ist, eine Periode zu erkennen, in der ein Abweichungswert für die Periode bis zu einer vorbestimmten Zeit von Punktzahlen, die eine Wahrscheinlichkeit anzeigen, dass der Benutzer eine geschätzte Emotion hat, kleiner als ein vorbestimmter Schwellenwert ist, und ein Schätzergebnis, das durch den ersten Schätzer erhalten wurde, und ein Schätzergebnis, das durch den zweiten Schätzer erhalten wurde, anzupassen, um ein Schätzergebnis aus einer ersten Periode mit dem Abweichungswert, der kleiner als der vorbestimmte Schwellenwert ist, rückwärts bis zu einer Periode unmittelbar nach einer zweiten Periode mit dem Abweichungswert, der kleiner als der vorbestimmte Schwellenwert ist, durch ein Schätzergebnis in der ersten Periode zu ersetzen, wobei der Emotionsbestimmer die Emotion des Benutzers basierend auf dem durch den Anpasser erhaltenen angepassten Schätzergebnis bestimmt.
Die Vorrichtung zur Bestimmung von Emotionen nach einem der Ansprüche 1 bis 7, wobei jeweils der erste Schätzer und der zweite Schätzer die Emotion des Benutzers in einem ersten Zyklus schätzen; und der Bestimmer das vom ersten Schätzer erhaltene Schätzergebnis und das vom zweiten Schätzer erhaltene Schätzergebnis verwendet, das in einem zweiten Zyklus aktualisiert wird, der länger als der erste Zyklus ist.
Verfahren zur Bestimmung von Emotionen, umfassend: Schätzen eine Emotion eines Benutzers basierend auf einer Änderung in einem Gesichtsausdruck des Benutzers, der von einem Gesichtsbild des Benutzers erfasst wird; Schätzen der Emotion des Benutzers basierend auf einer Temperaturänderung des Benutzers, die berührungslos vom Benutzer erfasst wird; und Bestimmen der Emotion des Benutzers basierend auf einem Schätzergebnis bei der Schätzung basierend auf der Änderung des Gesichtsausdrucks und einem Schätzergebnis bei der Schätzung basierend auf der Änderung der Temperatur.
Programm, das einen Computer veranlasst, Operationen durchzuführen, die in dem Verfahren zur Bestimmung von Emotionen nach Anspruch 10 enthalten sind.