DE112015005688T5

DE112015005688T5 - Bilderkennungssystem

Info

Publication number: DE112015005688T5
Application number: DE112015005688.2T
Authority: DE
Inventors: Seiichi Manabe; Tatsuya Murakami; Yanping Lu
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2014-12-17
Filing date: 2015-11-25
Publication date: 2017-08-31
Also published as: US20170316193A1; WO2016098547A1; US10262125B2; JP2016116174A; JP6547290B2

Abstract

Eine Erkennungsvorrichtung umfasst eine Bilderzeugungsvorrichtung; eine Bildverarbeitungseinheit, die eingerichtet ist, eine als Erkennungsziel dienende Person ganz oder teilweise in einem mit der Bilderzeugungsvorrichtung erfassten Bild zu erkennen, und Informationen zum erkannten Erkennungsziel zu extrahieren; und eine drahtlose Kommunikationseinheit, die eingerichtet ist, ein Erkennungsergebnis per drahtloser Kommunikation zu übertragen, dass die mittels der Bildverarbeitungseinheit extrahierten Informationen umfasst. Eine Anwendungsvorrichtung umfasst eine Kommunikationseinheit, die eingerichtet ist, das Erkennungsergebnis von der Erkennungsvorrichtung zu empfangen; und eine Anwendungsverarbeitungseinheit, die eingerichtet ist, die Verarbeitung unter Verwendung von Informationen durchzuführen, die in dem mittels der Kommunikationseinheit empfangenen Erkennungsergebnis enthalten sind. Die von der Erkennungsvorrichtung als Erkennungsergebnis übertragenen Informationen umfassen weder das Bild der Person noch Informationen, mit denen die Person direkt identifizierbar ist.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung betrifft eine Technologie zum Erfassen von Informationen zu einem Menschen oder einem Gesicht auf einem mit einer Bilderzeugungsvorrichtung aufgenommenen Bild.
STAND DER TECHNIK
Eine Bilderkennung genannte Technologie wurde in den praktischen Einsatz gebracht. Bilderkennung bezeichnet eine Technologie zum Durchführen der Erkennung eines Gesichts, eines menschlichen Körpers und der Hand einer Person, zur Identifikation von Personen und zum Abschätzen von Ausdruck, Alter, Sichtlinie und Gesichtsausrichtung durch Analysieren des mit der Bilderzeugungsvorrichtung aufgenommenen Bildes. Diese Art von Technologie wird zum Beispiel auf Vorrichtungen in diversen Bereichen, wie beispielsweise einer Funktion zur Gesichtserkennung einer Digitalkamera, einer Authentifizierungsfunktion einer Überwachungskamera anhand des Gesichts und einer Authentifizierung von Personen und einer Anwendung zur Eingabe einer Sichtlinie in ein Smartphone angewendet (siehe zum Beispiel das Patentdokument 1).
VORBEKANNTE TECHNISCHE DOKUMENTE
PATENTDOKUMENTE

Patentdokument 1: JP 2014-206932A

ZUSAMMENFASSUNG DER ERFINDUNG
TECHNISCHE AUFGABE
Herkömmlicherweise ist ein Bilderkennungsmodul im Allgemeinen in einer Form vorgesehen, in der es in eine Vorrichtung eingebaut ist, welche das Bilderkennungsmodul verwendet (nachfolgend als „eingebauter Typ“ bezeichnet). Andererseits treiben die Erfinder die Entwicklung von Vorrichtungen mit einer neuen Form (nachfolgend als „unabhängiger Typ“ bezeichnet) voran, bei der lediglich eine Bilderkennungsfunktion unabhängig wird. Das heißt, dass eine spezifisch vorgesehene Vorrichtung (nachfolgend als „Erkennungsvorrichtung“ bezeichnet), die mit einer Bildverarbeitungsvorrichtung und einem Bildverarbeitungsmodul speziell zur Bilderkennung eingerichtet ist, unabhängig von einer Vorrichtung (wie beispielsweise einem Smartphone, einem PC, einem elektrischen Haushaltsgerät oder einer Industrievorrichtung ist; nachfolgend als „Anwendungsvorrichtung“ bezeichnet), und die das Erkennungsergebnis verwendet, wobei drahtlose Kommunikation bei der Datenübertragung zwischen der Erkennungsvorrichtung und der Anwendungsvorrichtung verwendet wird. Neue Nutzungsformen und neue Werte können unter Verwendung einer solchen Erkennungsvorrichtung des unabhängigen Typs geschaffen werden; z.B. kann eine Anwendung, die eine fortschrittliche Bilderkennung verwendet, auf einfache Weise mit einem Smartphone realisiert werden, oder Erkennungsergebnis einer Erkennungsvorrichtung kann von mehreren Anwendungsvorrichtungen empfangen werden, oder eine Funktion, in deren Rahmen die Bilderkennung verwendet wird, kann sogar in eine Vorrichtung eingebaut werden, die keine Bilderzeugungsvorrichtung aufweist, oder auch in eine Vorrichtung, die einen Prozessor mit niedriger Geschwindigkeit aufweist.
Für eine Konfiguration, in der das Erkennungsergebnis zwischen den Vorrichtungen übertragen und empfangen wird, ist es notwendig, dass eine unerwünschte Offenlegung personenbezogener Daten oder eine Verwendung der personenbezogenen Daten für andere Zwecke ausreichend berücksichtigt wird. Der Grund hierfür ist, dass Daten, wie beispielsweise das Bild eines Gesichts, welche ein Individuum identifizieren können, als solche „personenbezogenen Daten“ angesehen werden können. Zum Beispiel ist es vorstellbar, dass als Maßnahme gegen dieses Problem ein Protokoll mit starker Verschlüsselung zwischen der Erkennungsvorrichtung und der Anwendungsvorrichtung verwendet wird. Jedoch ist es nicht wünschenswert, dass Ressourcen auf der Anwendungsvorrichtung zum Zweck der Verschlüsselung und Entschlüsselung beansprucht werden. Das Erkennungsergebnis kann auch nicht in Vorrichtungen verwendet werden, die nicht mit dem Kommunikationsprotokoll zur Verschlüsselung kompatibel sind, was einer weiten Verbreitung der Erkennungsvorrichtung des unabhängigen Typs im Wege steht. Da das Risiko der unerwünschten Offenlegung von Informationen aufgrund einer fehlgeleiteten Übertragung oder eines Abfangens der Kommunikation selbst dann nicht beseitigt ist, wenn die Informationen verschlüsselt werden, ist es schwierig, den Widerstand von Nutzern auszuräumen, die einer Weiterreichung von personenbezogenen Daten sehr kritisch gegenüberstehen.
Eine Aufgabe der vorliegenden Erfindung besteht darin, eine Technologie, mit der sowohl die Verhinderung des unerwünschten Offenlegung personenbezogener Daten als auch eine Verbesserung der Nutzbarkeit des Erkennungsergebnisses erreicht wird, in einem System vorzusehen, in dem die Erkennungsvorrichtung, welche die Bilderkennung durchführt, und die Anwendungsvorrichtung, welche das Erkennungsergebnis verwendet, getrennt voneinander vorgesehen sind.
LÖSUNG DER AUFGABE
[0007 ] Um die voranstehend beschriebene Aufgabe zu lösen, wird mit der vorliegenden Erfindung ein Bilderkennungssystem mit einer Erkennungsvorrichtung und einer Anwendungsvorrichtung bereitgestellt, die getrennt voneinander vorgesehen sind. Die Erkennungsvorrichtung umfasst eine Bilderzeugungsvorrichtung; eine Bildverarbeitungseinheit, die eingerichtet ist, eine als Erkennungsziel dienende Person ganz oder teilweise in einem mit der Bilderzeugungsvorrichtung erfassten Bild zu erkennen, und Informationen zum erkannten Erkennungsziel zu extrahieren; und eine drahtlose Kommunikationseinheit, die eingerichtet ist, ein Erkennungsergebnis per drahtloser Kommunikation zu übertragen, dass die mittels der Bildverarbeitungseinheit extrahierten Informationen umfasst. Die Anwendungsvorrichtung umfasst eine Kommunikationseinheit, die eingerichtet ist, das Erkennungsergebnis von der Erkennungsvorrichtung zu empfangen; und eine Anwendungsverarbeitungseinheit, die eingerichtet ist, die Verarbeitung unter Verwendung von Informationen durchzuführen, die in dem mittels der Kommunikationseinheit empfangenen Erkennungsergebnis enthalten sind. Dabei umfassen die von der Erkennungsvorrichtung als Erkennungsergebnis übertragenen Informationen weder das mit der Bilderzeugungsvorrichtung erfasste Bild noch Informationen, mit denen eine Person, die als Erkennungsziel gedient hat, direkt identifizierbar ist.
Da die von der Erkennungsvorrichtung an die Anwendungsvorrichtung übertragenen Informationen das Bild, in dem die Person fotografiert wurde, oder die Informationen, welche das Individuum identifizieren, nicht umfassen, entsteht mit dieser Konfiguration die unerwünschte Offenlegung der personenbezogenen Informationen nicht einmal dann, wenn eine fehlgeleitete Übertragung oder ein Abfangen der Kommunikation auftritt. Demgemäß ist es nicht notwendig, für die Kommunikation zwischen der Erkennungsvorrichtung und der Anwendungsvorrichtung eine erweiterte Sicherheit vorzusehen, und die Kommunikationsmodule sowohl der Erkennungsvorrichtung als auch der Anwendungsvorrichtung können vereinfacht werden. Da eine Vorrichtung mit einem geringen Durchsatz oder mit geringen Ressourcen die Anwendungsvorrichtung bilden kann, wenn der für die Kommunikation notwendige Aufwand verringert ist, werden die Nutzungsmöglichkeiten der Erkennungsvorrichtung und des Erkennungsergebnisses erweitert, wodurch sich der Vorteil ergibt, dass die Verbreitung der Erkennungsvorrichtung des unabhängigen Typs gefördert werden kann. Bei der vorliegenden Erfindung kann außerdem eine sichere Kommunikation, wie beispielsweise Verschlüsselung, verwendet werden, um die Sicherheit der Informationsübertragung und des Informationsempfangs zu verbessern. Das heißt, dass die vorliegende Erfindung auf breiter Front, von einem Kommunikationssystem mit geringer Sicherheit bis zu einem Kommunikationssystem mit hoher Sicherheit, angewendet werden kann.
Zum Beispiel, ist „eine Person ganz oder teilweise“, die das Erkennungsziel bildet, der gesamte Körper einer Person, der halbe Körper einer Person, das Gesicht einer Person oder die Hand einer Person. Vorzugsweise wird das Gesicht einer Person als das Erkennungsziel erkannt, und es werden Informationen von einem Gesicht (Gesichtsinformationen) extrahiert.
Vorzugsweise umfassen die von der Erkennungsvorrichtung als Erkennungsergebnis empfangenen Information Informationen zum Gesichtszustand, die einen Zustand des erkannten Gesichts ausdrücken, und die Anwendungsverarbeitungseinheit führt eine Verarbeitung durch zum Ausgeben des Zustands des erkannten Gesichts auf einer Anzeigevorrichtung auf der Grundlage der Informationen zum Gesichtszustand. Mit dieser Konfiguration kann das Erkennungsergebnis der Erkennungsvorrichtung auf der Anwendungsvorrichtungsseite geprüft werden, und der Komfort der Anwendungsvorrichtung für den Nutzer kann verbessert werden.
Dabei bedeutet der „Gesichtszustand“ einen Zustand (wie das Gesicht im Bild aufgenommen wurde) des erkannten Gesichts im Bild. Die Art (wie beispielsweise ein ernster Blick, Freude, Überraschung, Ärger und Traurigkeit) des Ausdrucks, der Lächelgrad, die Gesichtsausrichtung, die Richtung einer Sichtlinie und das Schließen der Augen können als Beispiel für den Gesichtszustand angeführt werden. Bei den von der Erkennungsvorrichtung als Erkennungsergebnis übertragenen Informationen zum Gesichtszustand handelt es sich um Daten, in denen der Gesichtszustand unter Verwendung eines Zahlenwertes (Punktezahl) oder eines Codes beschrieben wird, zum Beispiel „Ausdruck = Freude 50“, „Lächelgrad = 30“ und „Gesichtsausrichtung = nach rechts 30“.
Wenn der Gesichtszustand auf der Anwendungsvorrichtungsseite ausgegeben wird, ist die Benutzerfreundlichkeit äußerst niedrig, wenn einfach nur ein Zahlenwert oder ein Code angezeigt wird. Der Grund dafür ist, dass es schwierig für den Nutzer ist, den Gesichtszustand lediglich aus dem Zahlenwert oder dem Code herauszulesen und zu überprüfen, ob das Erkennungsergebnis richtig ist. Im Fall, dass ein in der Erkennung verwendetes Originalbild, wie bei der herkömmlichen Vorrichtung vom eingebauten Typ, vorhanden ist, kann das Erkennungsergebnis durch gleichzeitiges Anzeigen des Originalbildes und des Erkennungsergebnisses problemlos geprüft werden. Da andererseits bei der Vorrichtung vom unabhängigen Typ, wie in der vorliegenden Erfindung, das Originalbild auf der Anwendungsvorrichtungsseite nicht verwendet werden kann, sind zum Verbessern der Benutzerfreundlichkeit spezielle Maßnahmen erforderlich.
Demgemäß umfasst die Anwendungsvorrichtung vorzugsweise ferner eine Speichereinheit, in welcher Daten von virtuellen Gesichtern gespeichert sind, mit welchen unter Verwendung einer Animation, eines Avatars oder eines Gesichtsbildes mehrere Gesichtszustände ausdrückbar sind. Dabei drückt die Anwendungsverarbeitungseinheit den Zustand des erkannten Gesichts durch Ausgeben eines der virtuellen Gesichter an die Anzeigevorrichtung gemäß den von der Erkennungsvorrichtung empfangenen Informationen zum Gesichtszustand aus. Mit dieser Konfiguration wird der Gesichtszustand unter Verwendung der Animation, des Avatars oder des Gesichtsbildes (anstelle des Originalbildes) mittels des virtuellen Gesichts so ausgedrückt, dass der Nutzer das Erkennungsergebnis intuitiv und augenblicklich prüfen kann. Die voranstehend beschriebene Konfiguration ist für eine Konfiguration hilfreich, in der das bei der Erkennung verwendete Originalbild, wie in der vorliegenden Erfindung, nicht verwendet werden kann.
Vorzugsweise ändert die Anwendungsverarbeitungseinheit die Ausgabe des virtuellen Gesichts an die Anzeigevorrichtung gemäß der Änderung der fortlaufend von der Erkennungsvorrichtung empfangenen Informationen zum Gesichtszustand. Mit dieser Konfiguration kann die Änderung des Gesichtszustandes des Erkennungsziels problemlos in Echtzeit durch Betrachten des auf der Anwendungsvorrichtungsseite angezeigten virtuellen Gesichts geprüft werden.
Vorzugsweise umfassen die Informationen zum Gesichtszustand Informationen zum Lächelgrad, die einen Lächelgrad des erkannten Gesichts angeben, und die Anwendungsverarbeitungseinheit gibt eines der virtuellen Gesichter, das ein dem von der Erkennungsvorrichtung empfangenen Lächelgrad entsprechendes Lächeln ausdrückt, an die Anzeigevorrichtung aus. Mit dieser Konfiguration kann durch Betrachten des Ausdrucks des auf der Anwendungsvorrichtungsseite angezeigten virtuellen Gesichts problemlos geprüft werden, ob das Erkennungsziel lächelt oder wie intensiv das Lächeln ist.
Es ist zu erwarten, dass die Technologie zur Bestimmung des Lächelgrades auf diverse Anwendungen angewendet werden kann. Zum Beispiel sieht die Anwendungsverarbeitungseinheit vorzugsweise eine Bestimmungsanwendung vor, in welcher der Lächelgrad verwendet wird, und die Bestimmungsanwendung überwacht eine Änderung des Grades des fortlaufend von der Erkennungsvorrichtung empfangenen Lächelns und bestimmt, ob der Lächelgrad innerhalb eines Zeitlimits einen Schwellwert überschreitet.
Die vorliegende Erfindung kann als Anwendungsvorrichtung oder Erkennungsvorrichtung verstanden werden, welche mindestens einen Teil der voranstehend beschriebenen Konfiguration und Funktion aufweist, oder als Bilderkennungssystem, welches mit der Anwendungsvorrichtung und der Erkennungsvorrichtung aufgebaut ist. Die vorliegende Erfindung kann außerdem als Bilderkennungsverfahren verstanden werden, welches mindestens einen Teil der voranstehend beschriebenen Verarbeitungen umfasst, als Programm, welches bewirkt, dass ein Computer das Verfahren durchführt oder als computerlesbares Aufnahmemedium, bei dem das Programm in nichtflüchtiger Weise aufgezeichnet ist. Eine Kombination aus den voranstehend beschriebenen Konfigurationen und Verarbeitungen kann die vorliegende Erfindung bilden, solange keine technische Inkonsistenz erzeugt wird.
WIRKUNG DER ERFINDUNG
Demgemäß kann mit der vorliegenden Erfindung sowohl die Verhinderung der unerwünschten Offenlegung personenbezogener Daten als auch die Verbesserung der Nutzbarkeit des Erkennungsergebnisses in dem System erreicht werden, in welchem die Erkennungsvorrichtung, welche die Bilderkennung durchführt, und die Anwendungsvorrichtung, welche das Erkennungsergebnis verwendet, getrennt voneinander vorgesehen sind.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist eine Ansicht, die ein Konfigurationsbeispiel eines Bilderkennungssystems gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht;
2 ist eine Ansicht, die interne Konfigurationen einer Erkennungsvorrichtung und einer Anwendungsvorrichtung veranschaulicht;
3 ist eine Ansicht, die einen Vorgang der Zusammenarbeit und Datenkommunikation zwischen der Erkennungsvorrichtung und der Anwendungsvorrichtung veranschaulicht;
4 ist eine Ansicht, die ein Beispiel für ein Erkennungsergebnis veranschaulicht;
5 ist eine Ansicht, die einen Verarbeitungsablauf einer Bestimmungsanwendung veranschaulicht, in welcher ein Lächelgrad verwendet wird;
6 ist eine Ansicht, die ein Beispiel für die Daten eines virtuellen Gesichts veranschaulicht, welche in der Bestimmungsanwendung verwendet werden;
7 ist eine Ansicht, die einen Bildschirmübergang der Bestimmungsanwendung veranschaulicht; und
8 ist eine Ansicht, die den Betrieb einer Anwendung veranschaulicht, welche chroologische Daten des Lächelgrades aufzeichnet.
BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Gesamtsystemkonfiguration
1 ist eine Ansicht, die ein Konfigurationsbeispiel eines Bilderkennungssystems gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht. Im Bilderkennungssystem werden mittels Bilderkennung diverse Informationen zu einem Erkennungsziel bzw. Erkennungsobjekt (wie beispielsweise dem Gesicht einer Person) erfasst. Obwohl in der 1 ein Erkennungsziel und ein Systemnutzer getrennt voneinander veranschaulicht sind, kann der Nutzer an sich zum Erkennungsziel werden.
Das Bilderkennungssystem der vorliegenden Ausführungsform ist mit zwei Arten von Vorrichtungen, nämlich einer Erkennungsvorrichtung 1 und einer Anwendungsvorrichtung (engl.: application device) 2, aufgebaut. Die Erkennungsvorrichtung 1 ist eine speziell für die Bilderkennung vorgesehene Vorrichtung des unabhängigen Typs, und sie weist eine Funktion zum Bereitstellen eines Erkennungsergebnisses an eine externe Vorrichtung, wie beispielsweise die Anwendungsvorrichtung 2, auf. Andererseits wird das von der Erkennungsvorrichtung 1 erfasste Erkennungsergebnis in der Anwendungsvorrichtung 2 verwendet. Die Datenübertragung und der Datenempfang zwischen der Erkennungsvorrichtung 1 und der Anwendungsvorrichtung 2 werden mittels drahtloser Kommunikation, wie beispielsweise Bluetooth, WiFi und Infrarot-Kommunikation, durchgeführt. Vorzugsweise erfolgt die Kommunikation hinsichtlich der Sicherheit und der Einfachheit der Kommunikationsverarbeitung direkt zwischen der Erkennungsvorrichtung 1 und der Anwendungsvorrichtung 2. Alternativ kann die Kommunikation zwischen der Erkennungsvorrichtung 1 und der Anwendungsvorrichtung 2 über andere Netzwerkvorrichtungen, wie beispielsweise einen Router für ein drahtloses LAN und einen Zugangspunkt oder das Internet, erfolgen. Alternativ sind die Erkennungsvorrichtung 1 und die Anwendungsvorrichtung 2 mittels eines USB-Kabels verbunden, um die Datenübertragung und den Datenempfang mittels drahtgebundener Kommunikation durchzuführen.
Obwohl in der 1 ein Smartphone als Beispiel für die Anwendungsvorrichtung 2 veranschaulicht ist, können diverse Arten von Vorrichtungen, wie beispielsweise ein PC, ein Tablet-Endgerät, ein Mobiltelefon, ein Spielgerät, ein elektrisches Haushaltsgerät und eine Industrievorrichtung, welche eine Funktion zur drahtlosen Kommunikation aufweisen, die Anwendungsvorrichtung 2 bilden. 1 veranschaulicht eine Eins-zu-Eins-Systemkonfiguration mit genau einer Erkennungsvorrichtung 1 und genau einer Anwendungsvorrichtung 2. Alternativ können Systemkonfigurationen, wie eine Erkennungsvorrichtung 1 und mehrere Anwendungsvorrichtungen 2, mehrere Erkennungsvorrichtungen 1 und eine Anwendungsvorrichtung 2 und mehrere Erkennungsvorrichtungen 1 und mehrere Anwendungsvorrichtungen 2, verwendet werden.
Erkennungsvorrichtung
2 veranschaulicht schematisch eine interne Konfiguration der Erkennungsvorrichtung 1.
Die Erkennungsvorrichtung 1 umfasst hauptsächlich eine Bilderzeugungsvorrichtung 10, eine Bildverarbeitungseinheit 11 und eine drahtlose Kommunikationseinheit 12. Bei der Bilderzeugungsvorrichtung 10 handelt es sich um eine Bilderzeugungseinheit, die ein Farb- oder Monochrombild erfasst. Zum Beispiel ist die Bilderzeugungsvorrichtung 10 mit einem CCD-Modul mit integrierter Linse aufgebaut. Die Bildverarbeitungseinheit 11 weist eine Funktion zum Erkennen einer Person ganz oder teilweise als Erkennungsziel aus dem mittels der Bilderzeugungsvorrichtung 10 erfassten Bild und zum Extrahieren von Informationen auf dem erkannten Erkennungsziel auf. Die drahtlose Kommunikationseinheit 12 überträgt und empfängt Daten drahtlos zu und von der Anwendungsvorrichtung 2. Zum Beispiel ist die drahtlose Kommunikationseinheit 12 mit einem Bluetooth-Kommunikationsmodul oder einem WiFi-Kommunikationsmodul aufgebaut.
In der vorliegenden Ausführungsform ist die Bildverarbeitungseinheit 11 mit einer CPU (zentrale Verarbeitungseinheit, englisch: Central Processing Unit), einem Speicher und einem ROM (Nur-Lese-Speicher, englisch: Read-Only Memory) aufgebaut, in dem ein Programm für die Bilderkennungsverarbeitung gespeichert ist. Während des Betriebs der Erkennungsvorrichtung 1 liest die CPU das notwendige Programm aus dem ROM und führt das Programm aus, wodurch die Funktion der Bildverarbeitungseinheit 11 implementiert wird. Jedoch ist die Konfiguration der vorliegenden Ausführungsform nur beispielhaft veranschaulicht. Alternativ kann zum Beispiel getrennt von der CPU ein speziell zur Bilderkennungsverarbeitung vorgesehener Prozessor vorgesehen werden, der die Bilderzeugungsvorrichtung 10 und die drahtlose Kommunikationseinheit 12 steuert.
Beispiele für die Bilderkennungsverarbeitung, die mittels der Bildverarbeitungseinheit 11 ausgeführt werden kann, umfassen Gesichtserkennung, Erkennung des menschlichen Körpers, Handerkennung, Geschlechtsschätzung, Altersschätzung, Sichtlinienschätzung, Schätzung der Gesichtsausrichtung, Ausdrucksschätzung, Bestimmung des Lächelgrades und Schätzung des Augenschließzustandes. Gesichtserkennung bedeutet das Verarbeiten zum Erkennen eines Gesichts einer Person aus dem Bild (also Erkennen, dass in dem Bild das Gesicht einer Person enthalten ist). Erkennung des menschlichen Körpers bedeutet das Verarbeiten zum Erkennen des gesamten Körpers einer Person oder der oberen Hälfte des Körpers aus dem Bild, und Handerkennung bedeutet das Verarbeiten zum Erkennen einer Hand einer Person aus dem Bild. Geschlechtsschätzung bedeutet das Verarbeiten zur Schätzung des Geschlechts einer aus dem Bild erkannten Person (bzw. des Gesichts), und Altersschätzung bedeutet das Verarbeiten zur Schätzung des Alters einer aus dem Bild erkannten Person (bzw. Gesichts). Schätzung der Sichtlinie bedeutet das Verarbeiten zur Schätzung einer Sichtlinienrichtung eines aus dem Bild erkannten Gesichts, und Schätzung der Gesichtsausrichtung bedeutet das Verarbeiten zur Schätzung einer Ausrichtung (wie beispielsweise nach vorne, nach oben, nach unten, nach rechts und nach links) des auf dem Bild erkannten Gesichts. Ausdrucksschätzung bedeutet das Verarbeiten zur Schätzung des Gesichtsausdrucks (Einordnung in Zufriedenheit und Unzufriedenheit oder Einordnen in die fünf Ausdrucksformen ernster Blick, Freude, Überraschung, Ärger und Traurigkeit) des auf dem Bild erkannten Gesichts. Bestimmung des Lächelgrades bedeutet das Verarbeiten zur Bestimmung eines Grades des Lächelns des auf dem Bild erkannten Gesichts. Schätzung des Augenschließzustands bedeutet das Verarbeiten zur Bestimmung, ob die Augen des auf dem Bild erkannten Gesichts geöffnet oder geschlossen sind. Da bei diesen Verarbeitungen ein bekannter Algorithmus verwendet werden kann, wird ihre ausführliche Beschreibung weggelassen.
Anwendungsvorrichtung
2 veranschaulicht schematisch eine interne Konfiguration der Anwendungsvorrichtung 2.
Die Anwendungsvorrichtung 2 umfasst hauptsächlich eine Kommunikationseinheit 20, eine Anwendungsverarbeitungseinheit 21, eine Speichereinheit 22, eine Anzeigevorrichtung 23 und eine Eingabevorrichtung 24. Die Kommunikationseinheit 20 überträgt und empfängt die Daten per drahtloser Kommunikation an die und von der Erkennungsvorrichtung 1. Die Kommunikationseinheit 20 ist zum Beispiel mit einem Bluetooth-Kommunikationsmodul oder einem WiFi-Kommunikationsmodul aufgebaut. Die Anwendungsverarbeitungseinheit 21 führt eine Verarbeitung aus, bei welcher die Informationen verwendet werden, die in dem von der Erkennungsvorrichtung 1 empfangenen Erkennungsergebnis enthalten sind. Bei der Speichereinheit 22 handelt es sich um eine Einheit, in der diverse in der Anwendungsverarbeitungseinheit 21 verwendete Daten gespeichert werden. Zum Beispiel werden die Daten eines in einer später beschriebenen Be stimmungsanwendung für den Lächelgrad verwendeten, virtuellen Gesichts in der Speichereinheit 22 gespeichert. Die Anzeigevorrichtung 23 zeigt die erfassten Gesichtsinformationen und das Verarbeitungsergebnis der Anzeigevorrichtung 2 an. Die Eingabevorrichtung 24 wird zur Eingabe der Informationen in die Anwendungsvorrichtung 2 verwendet.
Bei der vorliegenden Ausführungsform wird ein Smartphone als Anwendungsvorrichtung 2 verwendet. Demgemäß ist die Kommunikationseinheit 20 mit einem eingebauten drahtlosen Kommunikationsmodul aufgebaut, die Speichereinheit 22 ist mit einem eingebauten Speicher oder Flash-Speicher aufgebaut, und die Anzeigevorrichtung 23 und die Eingabevorrichtung 24 sind mit einem Touchpanel-Display aufgebaut. Die Anwendungsverarbeitungseinheit 21 ist mit einer CPU (Prozessor), einem Speicher und einem in der Anwendungsvorrichtung 2 installierten Anwendungsprogramm (auch einfach als „Anwendung“ bezeichnet) aufgebaut. Die Anwendungsvorrichtung 2 kann durch Ändern oder Hinzufügen von Anwendungen verschiedene Funktionen vorsehen, in denen die Gesichtsinformationen verwendet werden.
Betrieb des Systems
Der Betrieb des Bilderkennungssystems, insbesondere das Zusammenwirken und die Datenkommunikation zwischen der Erkennungsvorrichtung 1 und der Anwendungsvorrichtung 2, wird unter Bezugnahme auf 3 beschrieben.
Zunächst wird eine Verbindungsverarbeitung zwischen der drahtlosen Kommunikationseinheit 12 der Erkennungsvorrichtung 1 und der Kommunikationseinheit 20 der Anwendungsvorrichtung 2 durchgeführt, um die Datenkommunikation zu aktivieren. 3 veranschaulicht einen Vorgang zum Einrichten einer Verbindung über Bluetooth LE, wobei beispielshalber die Anwendungsvorrichtung 2 als Master (Zentraleinheit) dient, während die Erkennungsvorrichtung 1 als Slave (Peripherieeinheit) dient.
Wenn die Erkennungsvorrichtung 1 eingeschaltet wird, geht der Slave (Erkennungsvorrichtung 1) unmittelbar in einen Verbindungsanforderungszustand und sendet in regelmäßigen Abständen (zum Beispiel in Intervallen von 100 Millisekunden) ein Ankündigungspaket (engl.: advertising packet) rund, um die benachbarten Einheiten über seine eigene Existenz zu informieren. Andererseits geht der Master (Anwendungsvorrichtung 2) nach dem Systemstart in einen Verbindungssuchzustand und wartet auf den Empfang von Ankündigungspaketen. Wenn der Master ein Ankündigungspaket von einem in der Nähe des Masters vorhandenen Slave empfängt, bestimmt der Master auf der Grundlage von im Ankündigungspaket enthaltenen Informationen, ob es sich bei dem Slave um eine Vorrichtung handelt, zu der eine Verbindung hergestellt werden kann. Wenn er eine Vorrichtung findet, zu der eine Verbindung hergestellt werden kann, sendet der Master eine Teilnahmeanforderung, und geht in einen Verbindungszustand. Wenn der Slave die Teilnahmeanforderung vom Master empfängt, geht er in den Verbindungszustand. Somit wird die Verbindung zwischen dem Master und dem Slave hergestellt, und unter Verwendung eines Datenkanals kann die Paketkommunikation durchgeführt werden.
Im Verbindungszustand erfasst die Erkennungsvorrichtung 1 das Bild von der Bilderzeugungsvorrichtung 10, und beginnt mit der Verarbeitung der Bilderkennung durch die Bildverarbeitungseinheit 11. Die Bilderfassung und die Verarbeitung der Bilderkennung werden in regelmäßigen Abständen (zum Beispiel in Intervallen von 1 Sekunde) so lange durchgeführt, bis die Verbindung getrennt wird. In den Bilddaten und den Erkennungsergebnisdaten werden die älteren Daten fortlaufend gelöscht (verworfen), während die Daten der letzten paar Frames im Speicher verbleiben.
Die Anwendungsvorrichtung 2 kann jederzeit eine Erkennungsanforde rung an die Erkennungsvorrichtung 1 übertragen. Beim Empfangen der Erkennungsanforderung von der Anwendungsvorrichtung 2 liest die Erkennungsvorrichtung 1 die Daten des letzten Erkennungsergebnisses aus dem Speicher und überträgt diese Erkennungsergebnisdaten an die Anwendungsvorrichtung 2. Somit kann die Anwendungsvorrichtung 2, wenn notwendig, die Informationen zum Erkennungsziel im Wesentlichen in Echtzeit erfassen und die Anwendungsverarbeitung unter Verwendung der Informationen zum Erkennungsziel durchführen.
Zum Beispiel können Verarbeitungsergebnisse der Gesichtserkennung, Erkennung des menschlichen Körpers, Handerkennung, Geschlechtsschätzung, Altersschätzung, Sichtlinienschätzung, Schätzung der Gesichtsausrichtung, Ausdrucksschätzung, Bestimmung des Lächelgrades und Schätzung des Augenschließzustandes als Informationen zum Erkennungsziel erfasst werden. Zum Beispiel können die Anzahl erkannter Elemente, Rechteck-Positionskoordinaten (linke obere und rechte untere Koordinaten eines Rechtecks, welches ein Gesicht, einen menschlichen Körper oder eine Hand enthält), Rechteck-Mittenkoordinaten, eine Rechteckgröße (Pixelanzahl) und/oder die Erkennungszuverlässigkeit als Ergebnisse der Gesichtserkennung, der Erkennung des menschlichen Körpers oder der Handerkennung ausgegeben werden. Als Ergebnis der Geschlechtsschätzung können zum Beispiel das Geschlecht (männlich/weiblich) und/oder die Zuverlässigkeit der Schätzung ausgegeben werden. Als Ergebnis der Altersschätzung können zum Beispiel ein Alter (Zahlenwert), ein Altersbereich (Zahlenbereich) und/oder die Zuverlässigkeit der Schätzung ausgegeben werden. Als Ergebnis der Sichtlinienschätzung können zum Beispiel ein horizontaler oder vertikaler Winkel der Sichtlinie und/oder die Zuverlässigkeit der Schätzung ausgegeben werden. Als Ergebnis der Schätzung der Gesichtsausrichtung können zum Beispiel ein horizontaler Winkel, ein vertikaler Winkel, ein Kippwinkel (Drehwinkel) und/oder die Zuverlässigkeit der Schätzung ausgegeben werden. Als Ergebnis der Ausdrucksschätzung können zum Beispiel eine von fünf Aus drucksformen (ernster Blick, Freude, Überraschung, Ärger und Traurigkeit) und ihre Punktezahl (zum Beispiel 0 bis 100), ein Grad der Zufriedenheit (positiv) oder Unzufriedenheit (negativ) ausgegeben werden. Als Ergebnis der Bestimmung des Lächelgrades kann der Lächelgrad (zum Beispiel eine Punktezahl von 0 bis 100) ausgegeben werden. Als Ergebnis der Schätzung des Augenschließzustandes kann ein Öffnungsgrad von jedem der Augen (zum Beispiel geschlossener Zustand = 0 bis vollständig geöffneter Zustand = Punktezahl von 1000) ausgegeben werden.
4(A) veranschaulicht schematisch ein Beispiel des von der Erkennungsvorrichtung 1 übertragenen Erkennungsergebnisses. Im Beispiel von 4(A) sind Datum und Uhrzeit der Erfassung des Erkennungsergebnisses, die Anzahl von auf dem Bild erkannten Gesichtern, und Gesichtsinformationen zu jedem Gesicht in Textform beschrieben. Eine von „[]“ umschlossene Zeichenfolge drückt die Art (Kategorie) der Gesichtsinformationen aus, und ein Zahlenwert oder ein Zeichen, das „=“ folgt, drückt einen Wert der Gesichtsinformationen aus. Das Erkennungsergebnis in der 4(A) zeigt, dass im Bild zwei Gesichter erkannt wurden, dass „Gesicht 1“ die Werte (30, 60) und (60, 90) als linke obere und rechte untere Rechteck-XY-Koordinaten aufweist, dass sein Geschlecht männlich ist, dass sein Alter 30 Jahre ist, dass die Gesichtsausrichtung 30 Grad nach rechts ist, dass die Ausrichtung der Sichtlinie 30 Grad nach rechts und 10 Grad nach unten ist, dass das linke und das rechte Auge einen Schließgrad von 200 bzw. 250 aufweisen, dass der Ausdruck 70 % Freude zeigt und dass der Lächelgrad 65 Punkte beträgt.
Somit werden in der vorliegenden Ausführungsform nur die Daten, in denen die aus dem Bild extrahierten Informationen digitalisiert oder codiert sind, als Erkennungsergebnis übertragen, aber weder die Bilddaten noch Informationen, die geeignet sind, die Person im Bild direkt zu identifizieren, werden nach außen übertragen. Demgemäß kann das Risiko einer unerwünschten Offenlegung personenbezogener Daten minimiert werden.
4(B) veranschaulicht ein Beispiel einer Teilmenge des Erkennungsergebnisses. In dem Fall, dass die Anwendungsvorrichtung 2 nicht die Informationen zu allen Kateorien zu empfangen braucht, kann, wie in der 4(B) veranschaulicht ist, nur ein Teil der Gesichtsinformationen erfasst werden, indem die gewünschten Kategorien in der Erkennungsanforderung zugewiesen werden. Die Kommunikationslast zwischen der Anwendungsvorrichtung 2 und der Erkennungsvorrichtung 1 kann somit verringert werden, wenn die Steuerung solchermaßen durchgeführt wird, dass nur die notwendigen Gesichtsinformationen erfasst werden. Das ist effektiv, falls eine eins-zu-viele-Kommunikation oder eine viele-zu-viele-Kommunikation erfolgt oder falls die Anwendungsvorrichtung 2 einen niedrigen Durchsatz aufweist.
Beispiel einer Bestimmungsanwendung, in welcher der Lächelgrad verwendet wird
Ein Beispiel der mittels der Anwendungsvorrichtung 2 vorgesehenen Anwendung wird nachfolgend unter Bezugnahme auf 5 bis 7 beschrieben. 5 veranschaulicht einen Verarbeitungsablauf der Bestimmungsanwendung, in welchem der Lächelgrad verwendet wird, 6 veranschaulicht ein Beispiel der in der Bestimmungsanwendung verwendeten Daten von virtuellen Gesichtern, und 7 ist ein Diagramm mit Bildschirmübergängen der Bestimmungsanwendung.
Wenn die Bestimmungsanwendung gestartet wird, zeigt die Anwendungsverarbeitungseinheit 21 auf der Anzeigevorrichtung 23 einen Anfangsbildschirm wie in der 7(A) an. Bei der Bestimmungsanwendung handelt es sich um eine Spielanwendung mit einer Regel, dass ein Spiel dann erfolgreich ist, wenn der Lächelgrad innerhalb eines Zeitlimits einen Referenzpunkt (Schwellwert) überschreitet. Eine Startschaltfläche und eine Einstellungsschaltfläche werden zusammen mit einer Beschreibung der Spielregel auf einem Anfangs bildschirm angezeigt. In einem Anfangszustand ist das Zeitlimit auf 5 Minuten eingestellt, und der Referenzpunkt für das Erreichen des Spielziels ist auf 80 Punkte eingestellt. Das Zeitlimit und der Referenzpunkt können jedoch auf einem Bildschirm zum Einstellen des Schwierigkeitsgrads, welcher durch Tippen auf die Einstellungsschaltfläche angezeigt wird, geändert werden.
Der Ablauf in der 5 wird gestartet, wenn ein Nutzer auf die Startschaltfläche tippt. In Schritt S500 erfasst die Anwendungsverarbeitungseinheit 21 über die Kommunikationseinheit 20 das Erkennungsergebnis von der Erkennungsvorrichtung 1. Wenn das Gesicht nicht erkannt werden kann (N in Schritt S501), wird eine Fehlermeldung „Kein Gesicht wurde gefunden“ angezeigt, und die Verarbeitung in Schritt S500 wird wiederholt. Wenn das Gesicht eines Spielteilnehmers erkannt wird (J in Schritt S501), zeigt die Anwendungsverarbeitungseinheit 21 auf der Anzeigevorrichtung 23 als Zeichen für den Spielbeginn eine Animation „3, 2, 1, Los!“ an und beginnt die seit dem Spielbeginn abgelaufene Zeit zu zählen (Schritt S502). Die verbleibende Spielzeit wird, wie in der 7(B) veranschaulicht, auf dem Bildschirm angezeigt (Schritt S503).
Die Anwendungsverarbeitungseinheit 21 erfasst in regelmäßigen Abständen (zum Beispiel in Intervallen von 1 Sekunde) über die Kommunikationseinheit 20 das Erkennungsergebnis von der Erkennungsvorrichtung 1 (Schritt S504). Wenn kein Gesicht inmitten des Spiels erkannt werden kann (N in Schritt S505), wird das Spiel unterbrochen (Schritt S510). Wenn ein Gesicht erkannt wird (J in Schritt S505), extrahiert die Anwendungsverarbeitungseinheit 21 die Daten des Lächelgrades aus dem Erkennungsergebnis und zeigt, wie in der 7(B) veranschaulicht, den Lächelgrad (Punktezahl) auf dem Bildschirm an (Schritt S506).
Wenn dabei das mit der Erkennungsvorrichtung 1 aufgenommene Bild (Originalbild) des Spielteilnehmers zusammen mit dem Lächelgrad auf dem Bildschirm angezeigt würde, dann könnte zwar der tatsächliche Ausdruck des Spielteilnehmers mit dem Bestimmungsergebnis der Anwendung auf einfache Weise verglichen werden. Im System der vorliegenden Ausführungsform kann jedoch das Originalbild auf der Seite der Anwendungsvorrichtung 2 nicht verwendet werden, um die unerwünschte Offenlegung von personenbezogenen Daten zu verhindern. Daher wird im System der vorliegenden Ausführungsform auf der Seite der Anwendungsvorrichtung 2 gemäß den im Erkennungsergebnis enthaltenen Informationen zum Gesichtszustand ein virtuelles Gesicht erzeugt und anstelle des Originalbildes auf dem Bildschirm angezeigt.
Dabei handelt es sich bei dem virtuellen Gesicht um ein Bild, das den Gesichtszustand ausdrückt (wie beispielsweise den Ausdruck, den Lächelgrad, die Richtung der Sichtlinie und die Gesichtsausrichtung). Eine Illustration (Strichzeichnung), wie beispielsweise eine Animation oder ein Avatar, kann als virtuelles Gesicht verwendet werden, oder ein fotografisches Bild, wie beispielsweise das Bild eines Gesichts (zum Beispiel wird das Gesicht des Spielteilnehmers von der Anwendungsvorrichtung 2 fotografiert, und das virtuelle Gesicht kann unter Verwendung des Bildes des Gesichts des Spielteilnehmers erzeugt werden) kann als virtuelles Gesicht verwendet werden. Diverse Arten von Daten von virtuellen Gesichtern sind in der Speichereinheit 22 registriert, damit mehrere Arten von Gesichtszuständen ausgedrückt werden können. Zum Beispiel veranschaulicht die 6 Daten von virtuellen Gesichtern „egao00.gif“ bis „egao03.gif“ zum Ausdrücken von vier Gradstufen der Ausprägung des Lächelns und Daten von virtuellen Gesichtern „normal.gif“, „up.gif“, ... zum Ausdrücken mehrerer Gesichtsausrichtungen.
Zum Beispiel wird in dem Fall, dass der Lächelgrad eine Punktezahl von 30 Punkten aufweist, „egao00.gif“ aus der Speichereinheit 22 gelesen und auf dem Bildschirm angezeigt (siehe 7(B)). In dem Fall, dass der Lächelgrad eine Punktezahl von 55 Punkten aufweist, wird „egao01.gif“ gelesen und auf dem Bildschirm angezeigt (siehe 7(C)). Somit kann eine leicht verständliche Schnittstelle, über die der Lächelgrad des Spielteilnehmers intuitiv und umgehend dargestellt werden kann, durch Anzeigen nicht nur der Punktezahl des Lächelgrades sondern auch des dem Lächelgrad entsprechenden virtuellen Gesichts vorgesehen werden.
Dann vergleicht die Anwendungsverarbeitungseinheit 21 den Lächelgrad mit dem Referenzpunkt (Schritt S507). Wenn der Lächelgrad höher ist als der Referenzpunkt, wird, wie in der 7(D) veranschaulicht ist, auf dem Bildschirm die Erfolgsanimation „GESCHAFFT!!“ angezeigt (Schritt S508), und das Spiel wird beendet. Wenn andererseits der Lächelgrad niedriger ist als der Referenzpunkt (N in Schritt S507), kehrt der Ablauf zu Schritt S503 zurück, und die Verarbeitung wird wiederholt, bis der Lächelgrad höher ist als der Referenzpunkt. Wenn der Lächelgrad innerhalb des Zeitlimits den Referenzpunkt nicht überschreitet (J in Schritt S509), wird, wie in der 7(E) veranschaulicht, auf dem Bildschirm die Animation für Misserfolg „NICHT GESCHAFFT“ angezeigt (Schritt S510), und das Spiel wird beendet.
Vorteil der vorliegenden Ausführungsform
Die Konfiguration der vorliegenden Ausführungsform weist die folgenden Vorteile auf. Da die von der Erkennungsvorrichtung 1 an die Anwendungsvorrichtung 2 übertragenen Informationen das Bild, in dem die Person fotografiert ist, oder die Informationen, die ein Individuum direkt identifizieren können, nicht umfassen, wird eine unerwünschte Offenlegung von personenbezogenen Daten sogar dann nicht erfolgen, wenn eine fehlgeleitete Übertragung oder ein Abfangen der Kommunikation erfolgt. Demgemäß ist es nicht notwendig, eine erweiterte Sicherheit in der Kommunikation zwischen der Erkennungsvorrichtung 1 und der Anwendungsvorrichtung 2 vorzusehen, und die Kommunikationsmodule sowohl der Erkennungsvorrichtung 1 als auch der Anwendungsvorrichtung 2 können vereinfacht werden. Wenn der für die Kommunikation notwendige Aufwand verringert ist, kann eine Vorrichtung, wie beispielsweise ein in elektronische Haus haltsgeräten eingebauter Mikrocomputer, der eine niedrige Leistungsfähigkeit hinsichtlich der Verarbeitung oder wenig Ressourcen aufweist, als Anwendungsvorrichtung 2 dienen. Wenn sich der Anwendungsbereich der Anwendungsvorrichtung 2 vergrößert, sind die Verwendungsmöglichkeiten der Erkennungsvorrichtung 1 und des Erkennungsergebnisses erweitert, wodurch der Vorteil entsteht, dass die Verbreitung der Erkennungsvorrichtung 1 gefördert werden kann.
Wenn der Zustand des Erkennungsziels wie bei der Anwendungsvorrichtung 2 der vorliegenden Ausführungsform auf dem Bildschirm angezeigt wird, kann das Erkennungsergebnis der Erkennungsvorrichtung 1 auf der Seite der Anwendungsvorrichtung 2 geprüft werden, und der Komfort für den Nutzer kann erhöht werden. An dieser Stelle kann, wenn der Gesichtszustand unter Verwendung der Animation, des Avatars oder des virtuellen Gesichtsbildes wie bei der Bestimmungsanwendung ausgedrückt wird, das intuitive Erfassen des Erkennungsergebnisses erleichtert werden, und somit die Benutzerfreundlichkeit verbessert werden.
Weitere Anwendungsbeispiele
Die Technologie zur Bestimmung des Lächelgrades kann von diversen Anwendungen genutzt werden. Ein Beispiel wird nachfolgend beschrieben.
8(A) ist ein Ablaufdiagramm, das eine Anwendung veranschaulicht, die chronologische Daten des Lächelgrades aufzeichnet.
Wenn der Nutzer eine Anweisung „Aufzeichnung beginnen“ an die Anwendung gibt (Schritt S801), erfasst die Anwendungsverarbeitungseinheit 21 das Erkennungsergebnis von der Erkennungsvorrichtung 1 (Schritt S802) und zeichnet die Punktezahl des Lächelgrades zusammen mit der Angabe des Zeitpunkts in der Speichereinheit 22 auf (Schritt S803). Der Lächelgrad wird in regelmäßigen Abständen (zum Beispiel in Intervallen von 1 Sekunde) erfasst und aufgezeichnet, bis der Nutzer eine Anweisung „Aufzeichnung beenden“ ausgibt oder die Aufzeichnung eine vorbestimmte Aufzeichnungsdauer erreicht (Schritt S804). Wenn die Aufzeichnung beendet ist, zeigt die Anwendungsverarbeitungseinheit 21 einen Graphen der aufgezeichneten chronologischen Daten des Lächelgrades auf der Anzeigevorrichtung 23 an (Schritt S805).
8(B) veranschaulicht ein Beispiel der chronologischen Daten des auf der Anzeigevorrichtung 23 angezeigten Lächelgrades. Ein Verlauf des Lächelgrades der Person ist problemlos durch Betrachten des Graphen der chronologischen Daten erkennbar. Im Beispiel der 8(B) übersteigt der Lächelgrad einen Schwellwert (gestrichelte Linie) zweimal.
Die Anwendung in der 8 kann als Gradmesser (Lachmeter) verwendet werden, der die Lustigkeit eines Komikers oder einer Comedy-Show aufzeichnet oder bewertet. Zum Beispiel ist die Erkennungsvorrichtung 1 so installiert, dass sie die Gesichter des Publikums (Bewerter) fotografiert, und der Lächelgrad des Publikums mit der Anwendungsvorrichtung 2 aufgezeichnet wird, während der Komiker (Künstler) live auftritt. Wenn die chronologischen Daten des Lächelgrades wie in der 8(B) veranschaulicht erhalten werden, kann das Interesse an dem Künstler oder an einem Programm mit einem objektiven Index ausgewertet werden. Demgemäß kämpfen zum Beispiel in einem Wettbewerb, in dem mehrere Künstler gegeneinander antreten, die Künstler anhand des höchsten mit dem Gradmesser aufgezeichneten Lächelgrades oder anhand der Zeitdauer, in welcher der Lächelgrad den Schwellwert überschreitet, um den Sieg, oder der Sieg wird auf der Grundlage dessen entschieden, ob der Künstler eine Punktezahl erreicht, die näher bei dem zuvor angegebenen Lächelgrad ist. Da der Verlauf des Lächelgrades in Echtzeit überwacht wird, kann zum Beispiel derjenige, der das Publikum als erster zum Lachen bringt, mittels eines Vergleichs der Zeit, in welcher der Lächelgrad den Schwellwert überschreitet, im Wettbewerb ermittelt werden. Mehrere Künstler können eine Mannschaft bilden, und ein Wettkampf zwischen Mannschaften kann mittels eines Gesamtwertes oder eines Mittelwer tes der Lächelgrade entschieden werden.
Die Konfiguration der vorliegenden Ausführungsform ist lediglich als ein spezifisches Beispiel der vorliegenden Erfindung beschrieben, aber der Schutzumfang der vorliegenden Erfindung ist nicht auf die Konfiguration der vorliegenden Ausführungsform beschränkt. Diverse spezifische Konfigurationen können angewendet werden, ohne dass vom Schutzumfang des technischen Konzepts der vorliegenden Erfindung abgewichen wird.
Bezugszeichenliste

1: Erkennungsvorrichtung;
2: Anwendungsvorrichtung
10: Bilderzeugungsvorrichtung
11: Bildverarbeitungseinheit
12: Drahtlose Kommunikationseinheit
20: Kommunikationseinheit
21: Anwendungsverarbeitungseinheit
22: Speichereinheit
23: Anzeigevorrichtung
24: Eingabevorrichtung

Claims

Bilderkennungssystem, welches aufweist: eine Erkennungsvorrichtung, welche aufweist: eine Bilderzeugungsvorrichtung; eine Bildverarbeitungseinheit, die eingerichtet ist, eine als Erkennungsziel dienende Person ganz oder teilweise in einem mit der Bilderzeugungsvorrichtung erfassten Bild zu erkennen, und Informationen zum erkannten Erkennungsziel zu extrahieren; und eine drahtlose Kommunikationseinheit, die eingerichtet ist, ein Erkennungsergebnis per drahtloser Kommunikation zu übertragen, dass die mittels der Bildverarbeitungseinheit extrahierten Informationen umfasst; und eine Anwendungsvorrichtung, welche aufweist: eine Kommunikationseinheit, die eingerichtet ist, das Erkennungsergebnis von der Erkennungsvorrichtung zu empfangen; und eine Anwendungsverarbeitungseinheit, die eingerichtet ist, die Verarbeitung unter Verwendung von Informationen durchzuführen, die in dem mittels der Kommunikationseinheit empfangenen Erkennungsergebnis enthalten sind, wobei die von der Erkennungsvorrichtung als Erkennungsergebnis übertragenen Informationen weder das mit der Bilderzeugungsvorrichtung erfasste Bild noch Informationen umfassen, mit denen eine Person, die als Erkennungsziel gedient hat, direkt identifizierbar ist.
Erkennungsvorrichtung, welche aufweist: eine Bilderzeugungsvorrichtung; eine Bildverarbeitungseinheit, die eingerichtet ist, eine als Erkennungsziel dienende Person ganz oder teilweise in einem mit der Bilderzeugungsvorrichtung erfassten Bild zu erkennen, und Informationen zum erkannten Erkennungsziel zu extrahieren; eine drahtlose Kommunikationseinheit, die eingerichtet ist, ein Erkennungsergebnis per drahtloser Kommunikation zu übertragn, das die mittels der Bildverarbeitungseinheit extrahierten Informationen umfasst, wobei die Erkennungsvorrichtung das Erkennungsergebnis einer Anwendungsvorrichtung bereitstellt, welche eine zum Durchführen der Verarbeitung unter Verwendung des Erkennungsergebnisses eingerichtete Anwendung aufweist, und die als Erkennungsergebnis übertragenen Informationen weder das mit der Bilderzeugungsvorrichtung erfasste Bild noch Informationen umfassen, mit denen eine Person, die als Erkennungsziel gedient hat, direkt identifizierbar ist.
Anwendungsvorrichtung, welche aufweist: eine Kommunikationseinheit, welche eingerichtet ist, ein Erkennungsergebnis von einer Erkennungsvorrichtung zu empfangen, wobei die Erkennungsvorrichtung aufweist: eine Bilderzeugungsvorrichtung; eine Bildverarbeitungseinheit, die eingerichtet ist, eine als Erkennungsziel dienende Person ganz oder teilweise in einem mit der Bilderzeugungsvorrichtung erfassten Bild zu erkennen, und Informationen zum erkannten Erkennungsziel zu extrahieren; und eine drahtlose Kommunikationseinheit, die eingerichtet ist, ein Erkennungsergebnis per drahtloser Kommunikation zu überträgen, das die mittels der Bildverarbeitungseinheit extrahierten Informationen; umfasst und eine Anwendungsverarbeitungseinheit, die so konfiguriert ist, dass sie die Verarbeitung unter Verwendung von Informationen durchführt, die in dem mittels der Kommunikationseinheit empfangenen Erkennungsergebnis enthalten sind, wobei die von der Erkennungsvorrichtung als Erkennungsergebnis übertragenen Informationen weder das mit der Bilderzeugungsvorrichtung erfasste Bild noch Informationen umfassen, mit denen eine Person, die als Erkennungsziel gedient hat, direkt identifizierbar ist.
Anwendungsvorrichtung nach Anspruch 3, wobei das Erkennungsziel das Gesicht einer Person ist.
Anwendungsvorrichtung nach Anspruch 4, wobei die von der Erkennungsvorrichtung als Erkennungsergebnis empfangenen Information Informationen zum Gesichtszustand umfassen, die einen Zustand des erkannten Gesichts ausdrücken, und die Anwendungsverarbeitungseinheit eine Verarbeitung zum Ausgeben des Zustands des erkannten Gesichts auf einer Anzeigevorrichtung auf der Grundlage der Informationen zum Gesichtszustand durchführt.
Anwendungsvorrichtung nach Anspruch 5, welche ferner eine Speichereinheit aufweist, in welcher Daten von virtuellen Gesichtern gespeichert sind, mit welchen unter Verwendung einer Animation, eines Avatars oder eines Gesichtsbildes mehrere Gesichtszustände ausdrückbar sind, wobei die Anwendungsverarbeitungseinheit den Zustand des erkannten Gesichts durch Ausgeben eines der virtuellen Gesichter an die Anzeigevorrichtung gemäß den von der Erkennungsvorrichtung empfangenen Informationen zum Gesichtszustand ausdrückt.
Anwendungsvorrichtung nach Anspruch 6, wobei die Anwendungsverarbeitungseinheit die Ausgabe des virtuellen Gesichts an die Anzeigevorrichtung gemäß der Änderung der fortlaufend von der Erkennungsvorrichtung empfangenen Informationen zum Gesichtszustand ändert.
Anwendungsvorrichtung nach einem der Ansprüche 6 oder 7, wobei die Informationen zum Gesichtszustand Informationen zum Lächelgrad umfassen, die einen Lächelgrad des erkannten Gesichts angeben, und die Anwendungsverarbeitungseinheit eines der virtuellen Gesichter, das ein dem von der Erkennungsvorrichtung empfangenen Lächelgrad entsprechendes Lächeln ausdrückt, an die Anzeigevorrichtung ausgibt.
Anwendungsvorrichtung nach Anspruch 8, wobei die Anwendungsverarbeitungseinheit eine Bestimmungsanwendung bereitstellt, in welcher der Lächelgrad verwendet wird, und die Bestimmungsanwendung die Änderung des Grades des fortlaufend von der Erkennungsvorrichtung empfangenen Lächelns überwacht und bestimmt, ob der Lächelgrad innerhalb eines Zeitlimits einen Schwellwert überschreitet.
Programm, das eingerichtet ist, einen Computer als Kommunikationseinheit und als Anwendungsverarbeitungseinheit fungieren zu lassen, wobei die Kommunikationseinheit eingerichtet ist, ein Erkennungsergebnis von einer Erkennungsvorrichtung zu empfangen, wobei die Erkennungsvorrichtung eine Bildverarbeitungsvorrichtung, eine Bilderzeugungsvorrichtung und eine drahtlose Kommunikationseinheit aufweist, wobei die Bildverarbeitungseinheit eingerichtet ist, eine als Erkennungsziel dienende Person ganz oder teilweise in einem mit der Bilderzeugungsvorrichtung erfassten Bild zu erkennen, und Informationen zum erkannten Erkennungsziel zu extrahieren, wobei die drahtlose Kommunikationseinheit eingerichtet ist, ein Erkennungsergebnis per drahtloser Kommunikation zu übertragen, dass die mittels der Bildverarbeitungseinheit extrahierten Informationen umfasst, wobei die Anwendungsverarbeitungseinheit eingerichtet ist, eine Verarbeitung unter Verwendung von Informationen durchzuführen, welche in dem mittels der Kommunikationseinheit empfangenen Erkennungsergebnis enthalten sind, wobei die von der Erkennungsvorrichtung als Erkennungsergebnis übertragenen Informationen weder das mit der Bilderzeugungsvorrichtung erfasste Bild noch Informationen umfassen, mit denen eine Person, die als Erkennungsziel gedient hat, direkt identifizierbar ist.