DE112016001499T5

DE112016001499T5 - Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Programm

Info

Publication number: DE112016001499T5
Application number: DE112016001499.6T
Authority: DE
Inventors: Naoyuki Sato; Akihiko Izumi; Kuniaki Torii; Ryo Fukazawa; Katsuya HYODO
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2015-03-31
Filing date: 2016-03-04
Publication date: 2018-02-22
Also published as: US10789476B2; WO2016158206A1; US10360453B2; US20190303675A1; US20180060661A1; JP2016194756A

Abstract

[Aufgabe] Zum Verknüpfen von Einrichtungen durch Erkennen des Aussehens einer Einrichtung wie etwa einer unbekannten Applikation oder einer sich dynamisch ändernden Applikation. [Lösung] Eine Informationsverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung enthält: eine Aussehensinformationserfassungseinheit, die konfiguriert ist zum Erfassen von Aussehensinformationen, die ein Merkmal des Aussehens einer eigenen Einrichtung anzeigen; und eine Sendeeinheit, die konfiguriert ist zum Senden der Aussehensinformationen zum Kommunizieren mit einer anderen Einrichtung, die das Aussehen der eigenen Einrichtung abgebildet hat. Gemäß einer derartigen Konfiguration ist es möglich, Einrichtungen zu verknüpfen durch Erkennen des Aussehens einer Einrichtung wie etwa einer unbekannten Applikation oder einer sich dynamisch ändernden Applikation.

Description

Erfindungsgebiet
Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm.
Allgemeiner Stand der Technik
Technologie, die die durch eine Kamera oder dergleichen erhaltene reale Umgebung unter Verwendung eines Computers augmentiert, wird als augmentierte Realität (AR) untersucht. Insbesondere werden viele AR-Applikationen, die ein Objekt erkennen und entsprechende Informationen auf überlagerte Weise anzeigen, durch Halten einer Kamera eines mobilen Endgeräts über dem Objekt, aufgrund der Tatsache entwickelt, dass sich mit Kameras ausgestattete mobile Endgeräte infolge der Popularisierung von Smartphones in vergangenen Jahren leichter verwenden lassen. Somit beschreibt die Patentliteratur 1 unten eine Technologie, die ein Programm annimmt, das selbst als ein Authentifizierungsschlüssel fungiert.
Entgegenhaltungsliste
Patentliteratur

Patentliteratur 1: JP 2002-344444A

Offenbarung der Erfindung
Technisches Problem
Bei einer AR-Applikation war es notwendig, einem Objekt, das als das Subjekt dient, ein spezielles Tag-Bild oder ein Marker-Bild hinzuzufügen, um mit einem von einer Kamera erhaltenen Bild eine Objekterkennung durchzuführen. Deshalb ist ein Marker-loses AR-Verfahren, das ein Objekt durch Analysieren von aus dem Bild erhaltenen Merkmalen erkennt, auch ohne Verwendung eines Marker-Bilds denkbar.
Bei beiden Ansätzen war es jedoch notwendig, die zu erkennenden Merkmale zuvor als Wörterbuchdaten aufzuzeichnen, um das Objekt zu erkennen. Deshalb war es schwierig, Objekte, bei denen es schwierig ist, Merkmale zuvor zu erfassen, wie etwa unbekannte Applikationen, die auf einem anderen Endgerät laufen, und Applikationen, bei denen sich der Zustand eines Schirms dynamisch ändert, als zu erkennende Objekte zu verwenden.
Es bestand deshalb der Wunsch, Einrichtungen durch das Erkennen des Aussehens einer Einrichtung zu verknüpfen, wie etwa eine unbekannte Applikation oder eine sich dynamisch verändernde Applikation.
Lösung des Problems
Gemäß der vorliegenden Offenbarung wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die Folgendes enthält: eine Aussehensinformationserfassungseinheit, die konfiguriert ist zum Erfassen von Aussehensinformationen, die ein Merkmal des Aussehens einer eigenen Einrichtung anzeigen; und eine Sendeeinheit, die konfiguriert ist zum Senden der Aussehensinformationen zum Kommunizieren mit einer anderen Einrichtung, die das Aussehen der eigenen Einrichtung abgebildet hat.
Die Informationsverarbeitungsvorrichtung kann einen Displayschirm enthalten. Die Aussehensinformationserfassungseinheit kann eine Bildinformationsgenerierungseinheit enthalten, die konfiguriert ist zum Generieren von Bildinformationen, die ein Merkmal eines auf dem Displayschirm angezeigten Schirms als die Aussehensinformationen anzeigen.
Außerdem kann die Sendeeinheit zusammen mit den Bildinformationen Kommunikationsinformationen zum Kommunizieren mit der anderen Einrichtung senden.
Außerdem können mehrere Applikationen auf dem Displayschirm angezeigt werden, die Bildinformationsgenerierungseinheit kann die Bildinformationen für jede der mehreren Applikationen generieren, und die Sendeeinheit kann die für jede Applikation generierten Bildinformationen senden.
Außerdem kann die Kommunikation mit der anderen Einrichtung durchgeführt werden, für die bestimmt wurde, dass ein erfasstes Bild des Displayschirms und die Bildinformationen übereinstimmen.
Außerdem kann die Informationsverarbeitungsvorrichtung eine Identifikationsinformationserfassungseinheit enthalten, die konfiguriert ist zum Erfassen von Identifikationsinformationen zum Identifizieren der anderen Einrichtung. Die Sendeeinheit kann die Identifikationsinformationen zusammen mit den Bildinformationen senden.
Außerdem können die Identifikationsinformationen mindestens einen Abschnitt einer IP-Adresse der anderen Einrichtung enthalten.
Außerdem kann die Identifikationsinformationserfassungseinheit die durch Beacon, Schall oder Licht gesendeten Identifikationsinformationen erfassen.
Außerdem kann die Informationsverarbeitungsvorrichtung eine Positionsinformationserfassungseinheit enthalten, die konfiguriert ist zum Erfassen von Positionsinformationen. Die Sendeeinheit kann die Positionsinformationen zusammen mit den Bildinformationen senden.
Außerdem wird gemäß der vorliegenden Offenbarung ein Informationsverarbeitungsverfahren bereitgestellt, das Folgendes beinhaltet: Erfassen von Aussehensinformationen, die ein Merkmal des Aussehens einer eigenen Einrichtung anzeigen; und Senden der Aussehensinformationen zum Kommunizieren mit einer anderen Einrichtung, die das Aussehen der eigenen Einrichtung abgebildet hat.
Außerdem wird gemäß der vorliegenden Offenbarung ein Programm bereitgestellt, um zu bewirken, dass ein Computer funktioniert als Mittel zum Erfassen von Aussehensinformationen, die ein Merkmal des Aussehens einer eigenen Einrichtung anzeigen, und Mittel zum Senden der Aussehensinformationen zum Kommunizieren mit einer anderen Einrichtung, die das Aussehen der eigenen Einrichtung abgebildet hat.
Vorteilhafte Effekte der Erfindung
Wie oben beschrieben ist es gemäß der vorliegenden Offenbarung möglich, Einrichtungen zu verknüpfen durch Erkennen des Aussehens einer Einrichtung wie etwa einer unbekannten Applikation oder einer sich dynamisch ändernden Applikation. Man beachte, dass die oben beschriebenen Effekte nicht notwendigerweise begrenzend sind. Mit den obigen Effekten oder anstelle der obigen Effekte kann ein beliebiger der in dieser Patentschrift beschriebenen Effekte oder andere Effekte, die anhand dieser Patentschrift verstanden werden können, erzielt werden.
Kurze Beschreibung der Zeichnungen
1A ist eine schematische Ansicht eines Umrisses eines Systems gemäß einer Ausführungsform der vorliegenden Offenbarung.
1B ist eine schematische Ansicht eines Umrisses eines Systems gemäß einer Ausführungsform der vorliegenden Offenbarung.
2 ist eine schematische Ansicht der Konfiguration des Systems gemäß der Ausführungsform.
3 ist ein Flussdiagramm, das den Prozess des Generierens und Aufzeichnens von Bildinformationen durch ein zu erkennendes Endgerät darstellt.
4 ist ein Flussdiagramm zum Erläutern des Prozesses der Bilderkennung durch ein erkennendes Endgerät.
5 ist ein Flussdiagramm zum Erläutern des Prozesses einer Wörterbuchdatenablagefunktion eines Servers.
6 ist eine schematische Ansicht von Beispielen von Kommunikationsinformationen.
7 ist eine schematische Ansicht eines Systems, bei dem ein interaktives Tischsystem und ein Endgerät wie etwa ein Smartphone verknüpft werden.
8 ist eine erläuternde Ansicht, die ein Funktionskonfigurationsbeispiel eines Informationsverarbeitungssystems in 7 darstellt.
9 ist eine schematische Ansicht eines Beispiels des Verknüpfens eines unabhängigen Displays mit einer Wearable-Einrichtung (am Körper tragbaren Einrichtung).
10 ist eine schematische Ansicht, die einen Fall darstellt, bei der Applikationen auf einem an einer Wand installierten großen Schirmdisplay erkannt werden.
11 ist eine schematische Ansicht von Objekten wie etwa elektrischen Haushaltsgeräten, die mit einem Netzwerk zuhause verbunden sind.
Modus (Modi) zum Ausführen der Erfindung
Im Folgenden wird/werden (eine) bevorzugte Ausführungsform(en) der vorliegenden Offenbarung unter Bezugnahme auf die beigefügten Zeichnungen ausführlich beschrieben. In dieser Patentschrift und den beigefügten Zeichnungen sind Strukturelemente, die im Wesentlichen die gleiche Funktion und Struktur besitzen, mit den gleichen Bezugszahlen bezeichnet, und eine wiederholte Erläuterung dieser Strukturelemente entfällt.
Man beachte, dass die Beschreibung in der folgenden Reihenfolge erfolgt.

1. Konfigurationsbeispiel des Systems
2. Endgerät- und Serverprozesse
3. Beispiele von Kommunikationsinformationen
4. Fall, bei dem der Applikationsschirm ein sich bewegendes Bild ist
5. Eingrenzen von aufgezeichneten Informationen
6. Beispiele einer Anwendung der Ausführungsform
6.1. Anwendung auf ein interaktives Tischsystem
6.2. Wearable-Einrichtungen und andere Displayeinrichtungen
6.3. Erkennung von Applikationen auf einem an einer Wand installierten großen Schirmdisplay
6.4. Wearable-Kameras und elektrische Haushaltsgeräte

1. Konfigurationsbeispiel des Systems
1B und 1A sind schematische Ansichten eines Umrisses eines Systems gemäß einer Ausführungsform der vorliegenden Offenbarung. Dieses System führt eine Kommunikation zwischen einem erkannten Endgerät und einem erkennenden Endgerät durch, die durch ein Endgerät verknüpft sind, das über ein Kamerabild eine auf einem anderen Endgerät laufende Applikation erkennt, beim Verknüpfen mehrerer Endgeräte. Wie in 1A dargestellt, bildet bei diesem System eine mobile Einrichtung, die als ein erkennendes Endgerät 200 dient, einen Applikationsschirm 110 eines Tablet-Endgeräts ab, das als ein zu erkennendes Endgerät 100 dient.
Wie in 1B dargestellt, zeichnet das zu erkennende Endgerät 100 den Applikationsschirm 110 sequenziell als Wörterbuchdaten auf einem Server 300 auf. Das erkennende Endgerät 200 erfasst die Wörterbuchdaten von dem Server 300 und vergleicht die Wörterbuchdaten mit einem durch die Abbildung erhaltenen Bild. Wenn dann das Ergebnis des Vergleichs derart ist, dass die Wörterbuchdaten und die Bilddaten übereinstimmen, beginnen das Endgerät 100 und das Endgerät 200 dann mit dem Kommunizieren.
2 ist eine schematische Ansicht der Konfiguration eines Systems 1000 gemäß der Ausführungsform. Wie in 2 dargestellt, enthält das System 1000 das zu erkennende Endgerät 100, das erkennende Endgerät 200 und den Server 300. Das zu erkennende Endgerät 100 zeigt auf einem Displayschirm eine Applikation oder dergleichen an. Das zu erkennende Endgerät 100 enthält auch eine Bildinformationsgenerierungseinheit 102, die den Applikationsschirm auf dem Endgerät 100 als Bildinformationen (Wörterbuchdaten) generiert. Das Endgerät 100 zeichnet die Bildinformationen auf dem Server 300 auf durch Senden der Bildinformationen von einer Kommunikationseinheit 104 zu einer Kommunikationseinheit 304 des Servers 300. Der Server 300 besitzt eine Ablageeinheit 302 für Bildinformationen. Man beachte, dass Bestandselemente der Endgeräte 100 und 200 und des Servers 300, in 1 dargestellt, durch Hardware (Schaltungen) oder durch eine zentrale Verarbeitungseinheit wie etwa eine CPU und ein Programm (Software), das das Funktionieren der zentralen Verarbeitungseinheit bewirkt, gebildet werden können. In diesem Fall kann das Programm auf einem Aufzeichnungsmedium wie etwa einem in einer Einrichtung vorgesehenen Speicher oder einem von außerhalb angeschlossenen Speicher gespeichert werden.
Die Bildinformationsgenerierungseinheit 102 des Endgeräts 100 generiert Bildinformationen bezüglich Merkmalen für die Bilderkennung und einen Schnappschuss einer durch das Endgerät 100 angezeigten Applikation und zeichnet die Daten auf einer Ablageeinheit 302 des Servers 300 auf. Falls mehrere Applikationsschirme auf dem Endgerät 100 angezeigt werden, werden Bildinformationen für jeden Applikationsschirm gesendet. Das Endgerät 100 zeichnet gleichzeitig auf dem Server 300 sowohl Kommunikationsinformationen für das Endgerät 100 und das Endgerät 200 auf, um miteinander zu kommunizieren, als auch Kommunikationsinformationen für das Endgerät 200, um mit einer auf dem Endgerät 100 angezeigten Applikation zu kommunizieren. Die Bildinformationen können auch unter Verwendung von Schnappschussdaten auf dem Server 300 generiert werden, anstatt auf dem zu erkennenden Endgerät 100 generiert zu werden. Der Applikationsschirm kann ein Standbild oder ein sich bewegendes Bild sein.
Das erkennende Endgerät 200 besitzt eine Kamera 202, eine Bilderkennungseinheit 204 und eine Kommunikationseinheit 206. Die Kamera 202 bildet den auf dem Endgerät 100 angezeigten Applikationsschirm ab und die Bilderkennungseinheit 204 erkennt ein durch das Abbilden erhaltenes Bild. Die Kommunikationseinheit 206 kommuniziert mit der Kommunikationseinheit 304 des Servers 300 und erfasst die auf der Ablageeinheit 302 gespeicherten Bildinformationen. Die Bilderkennungseinheit 204 erkennt die auf dem Endgerät 100 angezeigte Applikation durch Vergleichen der Bildinformationen mit den von der Kamera 202 eingegebenen Bilddaten. Falls der durch die Kamera 202 abgebildete Applikationsschirm dann den von dem Server 300 erfassten Bildinformationen entspricht, werden Informationen zum Kommunizieren mit dem Endgerät 100 und Informationen zum Kommunizieren mit der auf dem Endgerät 100 angezeigten Applikation von der Ablageeinheit 302 des Servers 300 erfasst und die Kommunikation mit dem zu erkennenden Endgerät 100 beginnt.
Die Ablageeinheit 302 des Servers 300 speichert von dem zu erkennenden Endgerät 100 aufzuzeichnende Bildinformationen, Informationen für das Endgerät 100 und das Endgerät 200, um miteinander zu kommunizieren, und Informationen für das Endgerät 200 zum Kommunizieren mit der Applikation des Endgeräts 100 und liefert die gespeicherten Daten als Reaktion auf eine Aufforderung von der Bilderkennungseinheit 202 des erkennenden Endgeräts 200.
Man beachte, dass eine Wörterbuchdaten-Ablagefunktion des Servers 300 auf dem Endgerät 100 mit einer Wörterbuchdaten-Generierungsfunktion oder auf dem Endgerät 200 mit einer bilderkennenden Funktion konfiguriert sein kann.
Dementsprechend können gemäß dem System der Ausführungsform das erkennende Endgerät 200 und das zu erkennende Endgerät 100 dadurch verknüpft werden, dass das erkennende Endgerät 200 über ein Kamerabild eine auf dem zu erkennenden Endgerät 100 laufende Applikation erkennt, wenn mehrere Endgeräte verknüpft sind.
Das Endgerät 100, auf dem der zu erkennende Applikationsschirm läuft, sendet die Bildinformationen wie etwa die Merkmale für die Bilderkennung und den Schnappschuss des Applikationsschirms an den Server 300 in Echtzeit gemäß einer Änderung des Schirms. Eine unbekannte Applikation oder eine Applikation mit einem sich dynamisch ändernden Zustand kann dann durch die Bilderkennung identifiziert werden, ohne zuvor Wörterbuchdaten zu generieren und aufzuzeichnen, indem das erkennende Endgerät 200 diese Bildinformationen mit dem Bild von der Kamera 202 vergleicht.
Als eine Vorbedingung beim Ausführen der Ausführungsform werden das zu erkennende Endgerät 100, das erkennende Endgerät 200 und der Server 300 zuvor durch ein Netzwerk oder P2P verbunden, damit sie miteinander kommunizieren können. Das Verfahren der Verbindung ist jedoch nicht besonders beschränkt.
2. Endgerät- und Serverprozesse
Als Nächstes wird der Prozess des Generierens des Aufzeichnens der Bildinformationen durch das zu erkennende Endgerät 100 unter Bezugnahme auf 3 beschrieben. Zuerst wird bei Starten einer Applikation auf dem zu erkennenden Endgerät 100 im Schritt S10 bestimmt, ob sich der Displayschirm geändert hat. Falls sich der Displayschirm geändert hat, geht der Prozess weiter zu Schritt S12, wo Bildinformationen bezüglich der Merkmale für die Bilderkennung und der Schnappschuss des Displayschirms generiert werden. Falls andererseits keine Änderung beim Displayschirm vorliegt, wartet der Prozess in Schritt S19 während einer gewissen Zeitperiode und kehrt dann zu Schritt S10 zurück, wo wieder bestimmt wird, ob sich der Displayschirm geändert hat.
Nach Schritt S12 geht der Prozess weiter zu Schritt S14, wo der Server 300 den Schnappschuss und die Merkmale für die Bilderkennung, in Schritt S12 generiert, aufzeichnet. Zu diesem Zeitpunkt werden auch Kommunikationsinformationen aufgezeichnet. Die Kommunikationsinformationen sind Informationen für das Endgerät 200 zum Kommunizieren mit dem Endgerät 100 und Informationen für das Endgerät 200 zum Kommunizieren mit der Applikation des Endgeräts 100.
In dem nächsten Schritt, Schritt S16, wird bestimmt, ob die Funktion der Applikation geendet hat. Falls die Funktion der Applikation geendet hat, wird der Server 300 darüber benachrichtigt, und der Prozess geht weiter zu Schritt S18. In Schritt S18 werden die auf dem Server 300 aufgezeichneten Daten gelöscht. Nach Schritt S18 endet der Prozess.
Außerdem wartet, wenn in Schritt S16 die Funktion der Applikation nicht geendet hat, der Prozess in Schritt S19 während einer gewissen Zeitperiode und kehrt dann zu Schritt S10 zurück, und die Prozesse danach werden wieder ausgeführt.
Als Nächstes wird der Prozess der Bilderkennung durch das erkennende Endgerät 200 unter Bezugnahme auf 4 beschrieben. Zuerst wird bei Starten einer Applikation auf dem erkennenden Endgerät 200 in Schritt S20 bestimmt, ob es notwendig ist, das zu erkennende Endgerät 100 zu erkennen, um mit dem zu erkennenden Endgerät 100 zu kommunizieren. Falls es notwendig ist, das zu erkennende Endgerät 100 zu erkennen, geht der Prozess weiter zu Schritt S22, wo die Bildinformationen bezüglich der Bildmerkmale und des Schnappschusses vom Server 300 erfasst werden. Falls es andererseits nicht notwendig ist, das zu erkennende Endgerät 100 zu erkennen, wartet der Prozess in Schritt S32 während einer gewissen Zeitperiode und kehrt dann zu Schritt S20 zurück, und die Prozesse werden danach wieder durchgeführt.
Nach dem Schritt S22 geht der Prozess weiter zu Schritt S24, wo das von der Kamera 202 eingegebene Bild mit den in Schritt S22 erfassten Bildinformationen verglichen wird. Wenn das Ergebnis des Vergleichs derart ist, dass das von der Kamera 202 eingegebene Bild mit den in Schritt S22 erfassten Bildinformationen übereinstimmt, geht der Prozess weiter zu Schritt S26 und die auf dem Server 300 gespeicherten Kommunikationsinformationen werden erfasst. Wenn andererseits das von der Kamera 202 eingegebene Bild nicht mit den in Schritt S22 eingegebenen Bildinformationen übereinstimmt, wartet der Prozess in Schritt S32 während einer gewissen Zeitperiode und kehrt dann zu Schritt S20 zurück, und die Prozesse danach werden wieder durchgeführt. Bei dieser Übereinstimmungsbestimmung wird das erfasste Bild analysiert, die Merkmale werden extrahiert und diese Merkmale werden mit den Merkmalen in den Bildinformationen durch ein Verfahren ähnlich beispielsweise einem wohlbekannten Gesichtsdetektionsalgorithmus oder dergleichen verglichen. Dann wird auf der Basis des Korrelationsgrads durch einen Schablonenübereinstimmungsprozess oder dergleichen bestimmt, ob die Bilder übereinstimmen.
Nach Schritt S26 geht der Prozess weiter zu Schritt S28. In Schritt S28 kommuniziert das Endgerät 200 mit dem Endgerät 100 auf der Basis der Kommunikationsinformationen. Infolgedessen kann das Endgerät 200 mit der auf dem Endgerät 100 angezeigten Applikation kommunizieren. Im nächsten Schritt, Schritt S30, wird bestimmt, ob die Funktion der Applikation geendet hat. Falls die Funktion der Applikation geendet hat, endet der Prozess.
Wenn andererseits die Funktion der Applikation nicht geendet hat, wartet der Prozess in Schritt S32 während einer gewissen Zeitperiode und kehrt dann zu Schritt S20 zurück, und die Prozesse danach werden wieder durchgeführt.
Als Nächstes wird der Prozess der Wörterbuchdaten-Ablagefunktion des Servers 300 unter Bezugnahme auf 5 beschrieben. Zuerst wartet der Prozess, wenn die Wörterbuchdaten-Ablagefunktion des Servers 300 startet, auf eine Kommunikationsaufforderung von einer Applikation auf dem zu erkennenden Endgerät 100 oder eine Applikation auf dem erkennenden Endgerät 200 in Schritt S40. Falls im nächsten Schritt, Schritt S42, eine Aufforderung zum Aufzeichnen von Bildinformationen von dem zu erkennenden Endgerät 100 vorliegt, geht der Prozess weiter zu Schritt S44 und die Bildinformationen werden aufgezeichnet.
Wenn außerdem in Schritt S46 eine Aufforderung zum Aufzeichnen von Kommunikationsinformationen von dem Endgerät 100 vorliegt, geht der Prozess weiter zu Schritt S48. In Schritt S48 werden die Kommunikationsinformationen aufgezeichnet.
Wenn außerdem in Schritt S50 eine Aufforderung von dem Endgerät 200 vorliegt, Bildinformationen zu erfassen, geht der Prozess weiter zu Schritt S52. In Schritt S52 werden die Bildinformationen an das Endgerät 200 geliefert.
Wenn außerdem in Schritt S54 eine Aufforderung vorliegt zum Erfassen von Kommunikationsinformationen von dem Endgerät 200, geht der Prozess weiter zu Schritt S56. In Schritt S56 werden die Kommunikationsinformationen an das Endgerät 200 geliefert.
In Schritt S58 wird bestimmt, ob die Funktion der Applikation geendet hat. Falls die Funktion der Applikation geendet hat, endet der Prozess. Wenn andererseits die Funktion der Applikation nicht geendet hat, kehrt der Prozess zurück zu Schritt S40, und die Prozesse danach werden wieder durchgeführt.
3. Beispiele für Kommunikationsinformationen
Informationen wie etwa Protokollname, Portnummer und IP-Adresse sind Beispiele für Kommunikationsinformationen. 6 ist eine schematische Ansicht von Beispielen von Kommunikationsinformationen. 6 ist eine schematische Ansicht von Kommunikationsinformationen für eine Einrichtung A, eine Einrichtung B beziehungsweise eine Einrichtung C. Die Kommunikationsinformationen sind für jede einer Netzwerkschnittstelle, einer Internetschicht, einer Transportschicht, einer Applikationsschicht und eines Kommunikationsformats definiert. Zu Informationen bezüglich der Netzwerkschnittstelle zählen Wi-Fi, Bluetooth (registriertes Warenzeichen), Ethernet (registriertes Warenzeichen) und WiFi Direct, und dergleichen. Zu Informationen bezüglich der Internetschicht zählen eine IP-Adresse und eine Portnummer (IPv4 und IPv6). Informationen bezüglich der Transportschicht sind TCP- oder UDP-Informationen. Zu Informationen bezüglich der Applikationsschicht zählen HTTP, HTTPS, WebSocket (ws) und Secure WebSocket (wss) und dergleichen. Zu Informationen des Kommunikationsformats zählen JSON PRC, SOAP und REST und dergleichen.
Das zu erkennende Endgerät 100 und das erkennende Endgerät 200 können miteinander kommunizieren, indem sie sich Kommunikationsinformationen über den Server 300 teilen. Das Endgerät 200 erkennt das Endgerät 100 durch die in den Kommunikationsinformationen enthaltene IP-Adresse. Das Endgerät 200 erkennt auch die Applikation des Endgeräts 100 durch die in den Kommunikationsinformationen enthaltene Portnummer. Die Kommunikationsinformationen werden mit den Bildinformationen verknüpft und für jeden Applikationsschirm von dem Endgerät 100 zu dem Endgerät 200 gesendet und werden zusammen mit den Bildinformationen auf der Ablageeinheit 302 gespeichert. Die Bildinformationen werden zusammen mit den verknüpften Kommunikationsinformationen als Reaktion auf eine Aufforderung von dem Endgerät 200 zum Erfassen der Bildinformationen zum Endgerät 200 geschickt. Selbst wenn auf dem Endgerät 100 mehrere Applikationsschirme vorliegen, kann das Endgerät 200 deshalb mit der durch die Kamera 202 abgebildeten Applikation unter den mehreren Applikationen kommunizieren durch Erfassen der den Bildinformationen entsprechenden Portnummern.
4. Ein Fall, bei dem der Applikationsschirm ein sich bewegendes Bild ist
Wie oben beschrieben kann der Applikationsschirm ein sich bewegendes Bild sein. Falls der Applikationsschirm ein sich bewegendes Bild ist, kann ein Mechanismus zum Absorbieren einer Zeitverzögerung in der Kommunikation eingeführt werden. Beispielsweise kann vor den Bildinformationen eine Einzelbildnummer von dem zu erkennenden Endgerät 100 zu dem Server 300 gesendet werden. Bei der Übertragung der Einzelbildnummer gibt es keine Zeitverzögerung. Zeitinformationen werden mit der Einzelbildnummer verknüpft, so dass der Server 300 im Voraus erkennen kann, dass Bildinformationen empfangen werden. Der Server 300 empfängt die Bildinformationen von dem Endgerät 100 nach der Einzelbildnummer. Wenn der Server 300 die Bildinformationen von dem Endgerät 100 empfängt, werden dann die Bildinformationen für das der angeforderten Zeit entsprechende Einzelbild extrahiert und als Reaktion auf die bereits von dem Endgerät 200 empfangene Aufforderung zum Endgerät 200 geschickt. Infolgedessen kann das Endgerät 200 bestimmen, ob das Bild von der Kamera zu der angeforderten Zeit den von dem Server 300 geschickten Bildinformationen entspricht.
Alternativ kann ein durch die Kamera 202 erfasstes, sich bewegendes Bild lediglich für eine gewisse Zeitperiode in dem erkennenden Endgerät 200 gespeichert (zwischengespeichert) werden. Selbst falls es eine Zeitverzögerung gibt, wenn das Endgerät 200 die Bildinformationen von dem Server 300 empfängt, ist es infolgedessen möglich zu bestimmen, ob die Bildinformationen dem zwischengespeicherten, sich bewegenden Bild entsprechen, durch Vergleichen der empfangenen Bildinformationen mit dem gespeicherten, sich bewegenden Bild auf der Basis der Zeitinformationen für das Einzelbild auf der Seite des Endgeräts 200.
5. Eingrenzen von aufgezeichneten Informationen
In einem Fall, wenn mehrere zu erkennende Endgeräte 100 Bildinformationen und Kommunikationsinformationen auf dem Server 300 aufgezeichnet haben, grenzt der Server 300, der eine Aufforderung zum Erfassen der Bildinformationen und Kommunikationsinformationen von dem erkennenden Endgerät 200 empfangen hat, die Informationen unter der großen Menge von aufgezeichneten Bildinformationen und Kommunikationsinformationen ein und sendet die Informationen an das Endgerät 200, der die Aufforderung zum Erfassen der Informationen gesendet hat.
Bei der Ausführungsform kann eine Suche auf der Seite des Servers 300 durch Verwenden von ergänzenden Informationen zum Eingrenzen der Informationen erleichtert werden. Positionsinformationen sind ein Beispiel für derartige ergänzende Informationen. Das zu erkennende Endgerät 100 sendet zusammen mit den Wörterbuchdaten durch eine Positionsinformationserfassungseinheit (GPS) 106 erfasste Positionsinformationen für das Endgerät 100 an den Server 300. Der Server 300 zeichnet die Positionsinformationen zusammen mit den Bildinformationen und den Kommunikationsinformationen auf.
Wenn das erkennende Endgerät 200 Bildinformationen von dem Server 300 anfordert, sendet das erkennende Endgerät 200 die durch eine Positionsinformationserfassungseinheit (GPS) 208 erfassten Positionsinformationen für das Endgerät 200 an den Server 300. Eine Informationsextraktionseinheit 306 des Servers 300 grenzt die Bildinformationen und die Kommunikationsinformationen auf der Basis der von dem Endgerät 200 erfassten Positionsinformationen ein. Beispielsweise extrahiert der Server 300 Bildinformationen und Kommunikationsinformationen für ein innerhalb eines 10-Meter-Radius der Position des Endgeräts 200 positioniertes Endgerät auf der Basis der von dem Endgerät 200 erfassten Positionsinformationen und sendet diese Bildinformationen und Kommunikationsinformationen zu dem Endgerät 200. Durch Eingrenzen der Bildinformationen und Kommunikationsinformationen für mehrere Endgeräte 100 auf der Basis von Positionsinformationen auf diese Weise kann ein Vergleich zwischen den Bildinformationen und den Abbildungsinformationen auf der Seite des Endgeräts 200 leicht durchgeführt werden, was eine signifikante Reduktion der Verarbeitungslast ermöglicht.
Neben Positionsinformationen können verschiedene Arten von Informationen als die ergänzenden Informationen verwendet werden. Beispielsweise sendet eine Identifikationsinformationsausgabeeinheit 209 des Endgeräts 200 Identifikationsinformationen an das Endgerät 100 unter Verwendung von Beacon WiFi, Schall oder Licht oder dergleichen von dem erkennenden Endgerät 200 zu dem zu erkennenden Endgerät. Eine Identifikationsinformationserfassungseinheit 108 des zu erkennenden Endgeräts 100 erfasst die Identifikationsinformationen. Das Endgerät 100 sendet die Identifikationsinformationen zusammen mit den Bildinformationen und den Kommunikationsinformationen zu dem Server 300, und der Server 300 zeichnet dann diese Identifikationsinformationen zusammen mit den Bildinformationen und den Kommunikationsinformationen auf.
Wenn das erkennende Endgerät 200 Bildinformationen von dem Server 300 anfordert, sendet das erkennende Endgerät 200 die Identifikationsinformationen zu dem Server 300. Der Server 300 grenzt dann die Bildinformationen auf der Basis der von dem Endgerät 200 erfassten Identifikationsinformationen ein und sendet die Bildinformationen und Kommunikationsinformationen, mit den Identifikationsinformationen verknüpft, die den von dem Endgerät 200 gesendeten Identifikationsinformationen entsprechen, unter den aufgezeichneten Bildinformationen und Kommunikationsinformationen, zu dem Endgerät 200. Infolgedessen kann das Endgerät 200 nur die Bildinformationen für das abgebildete Endgerät 100 unter der großen Menge von aufgezeichneten Bildinformationen extrahieren. Die IP-Adresse oder ein Abschnitt der IP-Adresse des Endgeräts 200 kann als die Identifikationsinformationen verwendet werden. Durch Eingrenzen der Bildinformationen für mehrere Endgeräte 100 auf der Basis von Identifikationsinformationen auf diese Weise kann ein Vergleich zwischen den Bildinformationen und den Abbildungsinformationen auf der Seite des Endgeräts 200 leicht durchgeführt werden, was ein signifikantes Reduzieren der Verarbeitungslast ermöglicht.
Außerdem können die Wörterbuchdaten in der Reihenfolge von den jüngst aufgezeichneten auf der Basis der Reihenfolge, in der die Wörterbuchdaten auf dem Server 300 aufgezeichnet werden, durchsucht werden.
6. Beispiele für eine Anwendung der Ausführungsform
6.1. Anwendung auf ein interaktives Tischsystem
Mehrere Beispiele, bei denen die Ausführungsform angewendet worden ist, werden unten beschrieben. 7 ist eine schematische Ansicht eines Systems, bei dem ein interaktives Tischsystem und ein Endgerät wie etwa ein Smartphone verknüpft werden. Wie in 7 dargestellt, enthält dieses System 1100a eine Eingabeeinheit 1110a und eine Ausgabeeinheit 1130a. Das Informationsverarbeitungssystem 1100a gemäß einer in 7 dargestellten Ausführungsform der vorliegenden Offenbarung zeigt Informationen auf einer oberen Oberfläche eines Tischs 1140a an und gestattet einem das Informationsverarbeitungssystem 1100a verwendeten Benutzer, die auf dem Tisch 1140a angezeigten Informationen zu manipulieren. Wie in 7 dargestellt, wird das Verfahren zum Anzeigen der Informationen auf der oberen Oberfläche des Tischs 1140a auch als ein "Projektionstyp" bezeichnet.
Die Eingabeeinheit 1110a ist eine Einrichtung, die einen Inhalt einer Operation durch den das Informationsverarbeitungssystem 1100a verwendenden Benutzer eingibt, und die Form und das Muster und dergleichen eines auf dem Tisch 1140a platzierten Objekts. Weiterhin in dem in 7 dargestellten Beispiel ist die Eingabeeinheit 1110a beispielsweise in einem von einer Decke hängenden Zustand über dem Tisch 1140a vorgesehen. Das heißt, die Eingabeeinheit 1110a ist weg von dem Tisch 1140a vorgesehen, auf dem die Informationen angezeigt werden sollen. Eine Kamera, die den Tisch 1140a mit einem einzelnen Objektiv abbildet, eine Stereokamera, die den Tisch 1140a mit zwei Objektiven abbilden kann und Informationen in der Tiefenrichtung aufzeichnen kann, oder ein Mikrofon zum Aufzeichnen von durch einen das Informationsverarbeitungssystem 1100a verwendenden Benutzer gesprochene Töne oder Umgebungstöne der Umgebung, wo das Informationsverarbeitungssystem 1100a platziert ist, oder dergleichen können als die Eingabeeinheit 1110a verwendet werden.
Falls eine Kamera, die den Tisch 1140a mit einem Einzelobjektiv abbildet, als die Eingabeeinheit 1110a verwendet wird, kann das Informationsverarbeitungssystem 1100a ein auf dem Tisch 1140a platziertes Objekt durch Analysieren des durch die Kamera erfassten Bilds detektieren. Wenn eine Stereokamera als die Eingabeeinheit 1110a verwendet wird, kann beispielsweise auch eine Kamera für sichtbares Licht oder eine Infrarotkamera oder dergleichen als Beispiel als die Stereokamera verwendet werden. Durch Verwenden einer Stereokamera als die Eingabeeinheit 1110a kann die Eingabeeinheit 1110a Tiefeninformationen erfassen. Durch Erfassen von Tiefeninformationen mit der Eingabeeinheit 1110a kann das Informationsverarbeitungssystem 1100a eine Hand oder ein auf dem Tisch 1140a platziertes Objekt detektieren, als Beispiel. Außerdem kann durch Erfassen von Tiefeninformationen mit der Eingabeeinheit 1110a das Informationsverarbeitungssystem 1100a detektieren, wann eine Hand des Benutzers den Tisch 1140a berührt oder sich nahe an diesem befindet, und detektieren, wenn die Hand den Tisch 1140a verlässt. Man beachte, dass in der folgenden Beschreibung Bewegungen, bei denen der Benutzer einen betätigenden Körper wie etwa eine Hand in Kontakt mit einer Informationsdisplayoberfläche oder nahe dazu bringt, auch kollektiv einfach als eine "Berührung" bezeichnet werden können.
Wenn als die Eingabeeinheit 1110a ein Mikrofon verwendet wird, kann außerdem ein Mikrofonarray zum Erfassen von Tönen in einer spezifischen Richtung als das Mikrofon verwendet werden. Falls ein Mikrofonarray als die Eingabeeinheit 1110a verwendet wird, kann das Informationsverarbeitungssystem 1110a die Aufnahmerichtung des Mikrofonarrays auf eine geeignete Richtung einstellen.
Im Folgenden wird hauptsächlich ein Fall beschrieben, bei dem eine Operation durch den Benutzer in einem durch die Eingabeeinheit 1110a erfassten Bild detektiert wird, doch ist die vorliegende Offenbarung nicht auf dieses Beispiel beschränkt. Die Operation durch den Benutzer kann auch durch ein Touchpanel detektiert werden, das die Berührung eines Fingers oder dergleichen des Benutzers detektiert. Abgesehen davon kann eine Benutzeroperation, die durch die Eingabeeinheit 1110a erfasst wird, eine Stiftoperation bezüglich einer Informationsdisplayoberfläche oder eine Geste bezüglich einer Kamera oder dergleichen beinhalten, als Beispiel.
Die Ausgabeeinheit 1130a ist eine Einrichtung, die Informationen auf dem Tisch 1140a anzeigt und Audio ausgibt gemäß durch die Eingabeeinheit 1110a eingegebenen Informationen, wie etwa dem Inhalt einer Operation durch den das Informationsverarbeitungssystem 1100a verwendenden Benutzer, wobei der Inhalt der Informationen durch die Ausgabeeinheit 130a ausgegeben wird, und der Form und dem Muster und dergleichen eines auf dem Tisch 1140a platzierten Objekts. Beispielsweise wird ein Projektor oder ein Lautsprecher oder dergleichen als die Ausgabeeinheit 1130a verwendet. Bei dem in 7 verwendeten Beispiel ist die Ausgabeeinheit 1130a in einem von einer Decke hängenden Zustand, beispielsweise über dem Tisch 140a, vorgesehen. Falls die Ausgabeeinheit 1130a durch einen Projektor konfiguriert ist, projiziert die Ausgabeeinheit 1130a Informationen auf die obere Oberfläche des Tischs 1140a. Falls die Ausgabeeinheit 1130a durch einen Lautsprecher konfiguriert ist, gibt die Ausgabeeinheit 1130a Audio auf der Basis eines Audiosignals aus. Falls die Ausgabeeinheit 1130a durch einen Lautsprecher konfiguriert ist, kann die Anzahl der Lautsprecher einen oder mehrere betragen. Falls die Ausgabeeinheit 1130a durch mehrere Lautsprecher konfiguriert ist, kann das Informationsverarbeitungssystem 1100a die Lautsprecher begrenzen, von denen Audio ausgegeben wird, oder kann die Richtung verstellen, in der das Audio ausgegeben wird.
Falls das Informationsverarbeitungssystem 1100a ein System von Projektionstyp ist, wie in 7 dargestellt, kann die Ausgabeeinheit 1130a zudem auch eine Beleuchtungsausrüstung enthalten. Falls die Ausgabeeinheit 1130a eine Beleuchtungsausrüstung enthält, kann das Informationsverarbeitungssystem 1100a den Ein/Aus-Zustand und dergleichen der Beleuchtungsausrüstung auf der Basis der durch die Eingabeeinheit 1110a eingegebenen Informationen steuern.
Der das Informationsverarbeitungssystem 1100a verwendende Benutzer kann die auf dem Tisch 1140a durch die Ausgabeeinheit 1130a angezeigten Informationen durch Platzieren eines Fingers oder dergleichen auf dem Tisch 1140a manipulieren. Durch Platzieren eines Objekts auf dem Tisch 1140a und dadurch, dass die Eingabeeinheit 1110a das Objekt erkennt, ist der das Informationsverarbeitungssystem 1100a verwendende Benutzer auch in der Lage, verschiedene Operationen bezüglich des erkannten Objekts auszuführen.
Man beachte, dass, wenngleich in 7 nicht dargestellt, eine andere Einrichtung mit dem Informationsverarbeitungssystem 1100a verbunden sein kann. Beispielsweise kann eine Beleuchtungsausrüstung zum Beleuchten des Tischs 1140a mit dem Informationsverarbeitungssystem 1100a verbunden sein. Durch Verbinden der Beleuchtungsausrüstung zum Beleuchten des Tischs 1140a mit dem Informationsverarbeitungssystem 1100a kann das Informationsverarbeitungssystem 1100a den Beleuchtungszustand der Beleuchtungsausrüstung gemäß dem Zustand der Informationsdisplayoberfläche steuern.
8 ist eine erläuternde Ansicht, die ein Funktionskonfigurationsbeispiel eines Informationsverarbeitungssystems 1100 in 7 darstellt. Unten wird ein Funktionskonfigurationsbeispiel eines Bildverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 8 beschrieben.
Wie in 8 dargestellt, enthält das Informationsverarbeitungssystem 1100 gemäß einer Ausführungsform der vorliegenden Offenbarung eine Eingabeeinheit 1110, eine Steuereinheit 1120 und eine Ausgabeeinheit 1130.
Die Eingabeeinheit 1110 gibt einen Inhalt einer Operation bezüglich des Informationsverarbeitungssystems 1100 durch einen das Informationsverarbeitungssystem 1100 verwendenden Benutzer und der Form und dem Muster und dergleichen eines auf einer Oberfläche (z.B. dem in 7 dargestellten Tisch 1140a), auf die Informationen durch die Ausgabeeinheit 1130 ausgegeben werden, platzierten Objekts ein. Der Inhalt einer Operation bezüglich des Informationsverarbeitungssystems 1100 durch einen das Informationsverarbeitungssystem 1100 verwendenden Benutzer enthält den Inhalt einer Operation bezüglich einer GUI, den das Informationsverarbeitungssystem 1100 auf die Informationsdisplayoberfläche ausgibt. Durch die Eingabeeinheit 1110 eingegebene Informationen, wie etwa der Inhalt einer Operation bezüglich des Informationsverarbeitungssystems 1100, und die Form und das Muster und dergleichen des Objekts, werden an die Steuereinheit 1120 gesendet.
Falls das Informationsverarbeitungssystem 1100 ein System vom Projektionstyp ist, kann die Eingabeeinheit 1110 durch eine Kamera mit einem einzelnen Objektiv, eine Stereokamera mit zwei Objektiven oder ein Mikrofon oder dergleichen konfiguriert sein.
Die Steuereinheit 1120 steuert die verschiedenen Einheiten des Informationsverarbeitungssystems 1100. Beispielsweise generiert die Steuereinheit 1120 von der Ausgabeeinheit 1130 auszugebende Informationen unter Verwendung von durch die Eingabeeinheit 1110 eingegebenen Informationen. Wie in 8 dargestellt, enthält die Steuereinheit 1120 eine Detektionseinheit 1121 und eine Ausgabesteuereinheit 1122. Die Detektionseinheit 1121 führt einen Prozess zum Detektieren des Inhalts einer Operation bezüglich des Informationsverarbeitungssystems 1100 durch einen das Informationsverarbeitungssystem 1100 verwendenden Benutzer aus, wobei der Inhalt der Informationen durch die Ausgabeeinheit 1130 ausgegeben wird, und der Form und dem Muster und dergleichen eines auf einer Oberfläche (z.B. dem in 7 dargestellten Tisch 1140a), auf die Informationen durch die Ausgabeeinheit 1130 ausgegeben werden, platzierten Objekts aus. Der durch die Detektionseinheit 1121 detektierte Inhalt wird an die Ausgabesteuereinheit 1122 gesendet. Die Ausgabesteuereinheit 1122 führt eine Steuerung durch zum Generieren von von der Ausgabeeinheit 1130 auszugebenden Informationen auf der Basis des durch die Detektionseinheit 1121 detektierten Inhalts aus. Die durch die Ausgabesteuereinheit 1122 generierten Informationen werden an die Ausgabeeinheit 1130 gesendet.
Wenn beispielsweise das Informationsverarbeitungssystem 1100 das in 7 dargestellte System vom Projektionstyp ist, kann die Detektionseinheit 1121 detektieren, welchen Teil der GUI ein arbeitender Körper wie etwa eine Hand des Benutzers berührt hat, und zwar durch eine zuvor angestellte Korrektur, so dass die Koordinaten auf der Informationsdisplayoberfläche den Koordinaten entsprechen, wo der arbeitenden Körper wie etwa die Hand des Benutzers die Displayoberfläche berührt hat.
Die Steuereinheit 1120 kann beispielsweise auch durch eine zentrale Verarbeitungseinheit (CPU) oder dergleichen konfiguriert sein. Falls die Steuereinheit 1120 durch eine Einrichtung wie etwa eine CPU konfiguriert ist, kann die Einrichtung durch eine Elektronikschaltung konfiguriert sein.
Wenngleich in 8 nicht dargestellt, kann die Steuereinheit 1120 eine Kommunikationsfunktion zum Durchführen einer drahtlosen Kommunikation mit einer anderen Einrichtung und eine Funktion zum Steuern der Operation einer anderen Einrichtung, zum Beispiel der Beleuchtungsausrüstung, die mit dem Informationsverarbeitungssystem 1100 verbunden ist, enthalten.
Die Ausgabeeinheit 1130 gibt durch die Eingabeeinheit 1110 eingegebene Informationen gemäß Informationen wie etwa dem Inhalt einer Operation durch den das Informationsverarbeitungssystem 1100 verwendenden Benutzer, wobei der Inhalt der Informationen durch die Ausgabeeinheit 1130 ausgegeben wird, und der Form und dem Muster und dergleichen eines auf einer Oberfläche (z.B. dem in 7 dargestellten Tisch 1140a), auf die die Ausgabeeinheit 1130 Informationen ausgibt, platzierten Objekt aus. Die Ausgabeeinheit 1130 gibt die Informationen auf der Basis der durch die Ausgabesteuereinheit 1122 generierten Informationen aus. Die durch die Ausgabeeinheit 1130 ausgegebenen Informationen enthalten auf der Informationsdisplayoberfläche anzuzeigende Informationen und von einem nicht gezeigten Lautsprecher oder dergleichen auszugebendes Audio und so weiter.
Das in 8 dargestellte Informationsverarbeitungssystem 1100 kann als eine einzelne Einrichtung konfiguriert sein, oder ein Abschnitt des Informationsverarbeitungssystems 1100 oder das Ganze, in 8 dargestellte Informationsverarbeitungssystem 1100 kann durch separate Einrichtungen konfiguriert sein. Beispielsweise kann in dem Funktionskonfigurationsbeispiel des in 8 dargestellten Informationsverarbeitungssystems 1100 die Steuereinheit 1120 in einer Einrichtung wie etwa einem Server vorgesehen sein, der mit der Eingabeeinheit 1110 und der Ausgabeeinheit 1130 durch ein Netzwerk oder dergleichen verbunden ist. In dem Fall, dass die Steuereinheit 1120 in einer Einrichtung wie etwa einem Server vorgesehen ist, werden Informationen von der Eingabeeinheit 1110 zu der Einrichtung wie etwa dem Server über das Netzwerk oder dergleichen gesendet. Die Steuereinheit 1120 verarbeitet dann die Informationen von der Eingabeeinheit 1110, und durch die Ausgabeeinheit 1130 auszugebende Informationen werden von der Einrichtung wie etwa dem Server zu der Ausgabeeinheit 1130 über das Netzwerk oder dergleichen gesendet.
Falls das Informationsverarbeitungssystem 1100 gemäß einer Ausführungsform der vorliegenden Offenbarung konfiguriert ist zum Projizieren von Informationen auf einem Tisch und Ermöglichen, dass ein Benutzer die Informationen manipuliert, wie in 7 dargestellt, als Beispiel, kann das Informationsverarbeitungssystem 1100 mit einem mobilen Endgerät wie etwa einem Smartphone auf dem Tisch verknüpft sein. Beispielsweise kann das Informationsverarbeitungssystem 100 gemäß einem Beispiel der vorliegenden Offenbarung ein mobiles Endgerät wie etwa ein Smartphone identifizieren und mit dem identifizierten mobilen Endgerät verknüpfen, indem der Benutzer das mobile Endgerät auf dem Tisch platziert und die Eingabeeinheit 1110 das mobile Endgerät erkennen lässt.
Falls jedoch mehrere Benutzer, die genau das gleiche mobile Endgerät besitzen, diese gleichen mobilen Endgeräte gleichzeitig separat auf dem Tisch platzieren und versuchen, dass das Informationsverarbeitungssystem 1100 diese mobilen Endgeräte erkennt, wird das Informationsverarbeitungssystem 1100 nicht in der Lage sein zu bestimmen, mit welchem der mobilen Endgeräte es sich verknüpfen soll.
Bei einer Ausführungsform der vorliegenden Offenbarung, selbst wenn mehrere Benutzer, die genau das gleiche mobile Endgerät besitzen, diese gleichen mobilen Endgeräte gleichzeitig separat auf dem Tisch platzieren, ist es daher möglich, leicht zu bestimmen, mit welchem mobilen Endgerät verknüpft werden soll, indem die Bestimmung unter Verwendung der oben beschriebenen Bildinformationen erfolgt. In diesem Fall entspricht das zu erkennende Endgerät 100 dem mobilen Endgerät und das erkennende Endgerät 100 entspricht dem Informationsverarbeitungssystem 1100. Deshalb kann das Informationsverarbeitungssystem 1100 mit jedem der mobilen Endgeräte verknüpft werden.
6.2. Wearable-Einrichtungen (am Körper tragbare) und andere Displayeinrichtungen
9 ist eine schematische Ansicht eines Beispiels, bei dem ein unabhängiges Display 400 und eine Wearable-Einrichtung 450 verknüpft sind. Hier entspricht das unabhängige Display 400 dem zu erkennenden Endgerät 100, und die Wearable-Einrichtung 450 entspricht dem erkennenden Endgerät 200. Die Wearable-Einrichtung 450 bildet einen auf dem unabhängigen Display 400 angezeigten Applikationsschirm 410, 420 oder 430 unter Verwendung der Kamera 202 ab und vergleicht die zuvor auf dem Server 300 aufgezeichneten Bildinformationen mit den Abbildungsinformationen. Falls bei diesem Vergleich die zuvor auf dem Server 300 aufgezeichneten Bildinformationen und die Abbildungsinformationen übereinstimmen, kann die Wearable-Einrichtung 450 mit der Applikation kommunizieren.
6.3. Erkennung von Applikationen auf einem an einer Wand installierten großen Schirmdisplay
10 ist eine schematische Ansicht, die einen Fall darstellt, bei dem Applikationen auf einem an einer Wand installierten großen Schirmdisplay 500 erkannt werden. Wie in 10 dargestellt, ist das große Schirmdisplay 500 mit einem Schirm 502 vertikal zum Boden installiert. Mehrere Applikationen 510, 520 und 530 laufen auf dem Schirm 502.
Bildinformationen für jede Applikation oder eine oder mehrere willkürliche Applikationen, die auf dem Schirm 502 des großen Schirmdisplays 500 angezeigt werden, werden zusammen mit den Kommunikationsinformationen an den Server 300 geschickt und auf dem Server 300 aufgezeichnet.
Andererseits verwendet der Benutzer eine Applikation auf seinem Smartphone 600 und bildet den auf dem Schirm 502 angezeigten Applikationsschirm ab. Infolgedessen erkennt das Smartphone 600 die Schirme der Applikationen 510, 520 und 530.
Das Smartphone 600 entspricht dem oben beschriebenen erkennenden Endgerät 200. Das Smartphone 600 vergleicht die auf dem Server 300 aufgezeichneten Bildinformationen für die Applikationen 510, 520 und 530 mit dem erfassten Bild. Wenn bei diesem Vergleich die auf dem Server 300 aufgezeichneten Bildinformationen für die Applikationen 510, 520 und 530 und das erfasste Bild übereinstimmen, wird eine Kommunikation zwischen dem Smartphone 600 und der Applikation 510 realisiert.
Verschiedene verknüpfte Applikationen können unter Verwendung einer durch das den Applikationsschirm erkennenden Smartphone 600 erhaltenen Kommunikation ausgeführt werden. Beispielsweise können Bild-, Video- und Musikdaten auf dem Smartphone 600 auf der Applikation 510 des großen Schirmdisplays 500 abgespielt werden. Außerdem können mehrere Benutzer auch Kartenspiele und dergleichen spielen, indem von den mehreren Benutzern besessene Smartphones eine Applikation 510 auf dem großen Schirmdisplay 500 erkennen und miteinander kommunizieren.
Man beachte, dass in 10 die Applikationen 510, 520 und 530 auf dem großen Schirmdisplay 500 erkannt werden, aber eine Applikation auf einem Schirm des Smartphones 600 des Benutzers kann auch durch eine auf dem großen Schirmdisplay 500 platzierte Kamera erkannt werden. In diesem Fall entspricht das große Schirmdisplay 500 dem erkennenden Endgerät 200 und das Smartphone 600 entspricht dem zu erkennenden Endgerät 100.
6.4. Wearable-Kameras und elektrische Haushaltsgeräte
11 ist eine schematische Ansicht von Objekten 700, wie etwa elektrischen Haushaltsgeräten, die an ein Netzwerk zuhause angeschlossen sind. Diese Objekte 700, die an das Netzwerk angeschlossen sind, entsprechen dem zu erkennenden Endgerät 100. Die Objekte 700, wie etwa elektrische Haushaltsgeräte, zeichnen Bilder des Aussehens und 3D-Modelldaten von sich selbst in der Wörterbuchdaten-Ablagefunktion des Servers 300 auf.
Deshalb erfassen bei dem in 11 dargestellten System die Objekte 700 entsprechend dem zu erkennenden Endgerät 100 Aussehensinformationen bezüglich Aussehensmerkmalen von sich selbst und zeichnen diese Aussehensinformationen auf dem Server 300 auf. Der Benutzer trägt eine Wearable-Einrichtung 450 ähnlich der Wearable-Einrichtung in 9. Diese Wearable-Einrichtung 450 entspricht dem erkennenden Endgerät 100. Die Wearable-Einrichtung 450 erfasst Bilder dieser Objekte 700 durch Abbilden der Objekte 700 mit der Kamera 202 und bestimmt, ob die Bilder den durch den Server 300 gelieferten Aussehensinformationen entsprechen. Falls die Bilder den durch den Server 300 gelieferten Aussehensinformationen entsprechen, kommuniziert die Wearable-Einrichtung 450 mit den Objekten 700.
Verschiedene Applikationen können unter Verwendung einer durch Erkennung erhaltenen Kommunikation ausgeführt werden. Beispielsweise kann eine Applikation zum Einstellen einer Klimaanlage durch eine Operation von der Wearable-Einrichtung 450 ausgeführt werden infolge des Erkennens der Klimaanlage. Außerdem kann eine Applikation zum Aufschließen eines Schlosses in einem Türknopf durch eine Operation von der Wearable-Einrichtung 450 ausgeführt werden infolge des Erkennens des Schlosses. Man beachte, dass in 10 durch die Wearable-Einrichtung 450 eine Erkennung durchgeführt wird, doch kann die Erkennung auch durch eine mobile Einrichtung wie etwa ein Smartphone durchgeführt werden. Außerdem ist die an das Netzwerk in 10 angeschlossene Einrichtung ein Beispiel und ist nicht darauf beschränkt, eine angeschlossene Einrichtung oder ein angeschlossenes Objekt zu sein.
Wie oben beschrieben, kann gemäß der Ausführungsform eine unbekannte Applikation oder eine sich dynamisch ändernde Applikation über Bilderkennung erkannt werden, indem Merkmale und ein Schnappschuss der Applikation, die erkannt werden soll, in Echtzeit gesendet werden und die Merkmale und der Schnappschuss als Wörterbuchdaten in dem Endgerät 100 verwendet werden, der die Erkennung durchführt.
Zudem kann auch eine verknüpfende Applikation unter Verwendung mehrerer Einrichtungen ausgeführt werden durch Erkanntwerden durch die mehreren Einrichtungen. Wenn eine Einrichtung oder ein Objekt mit einem Netzwerk verbunden ist, kann die Einrichtung oder das Objekt auch durch eine andere Einrichtung erkannt und mit ihr verknüpft werden, ohne die Aufzeichnungsoperation zuvor durchzuführen, indem ein Bild des Aussehens und 3D-Modelldaten der Einrichtung oder des Objekts als Wörterbuchdaten dynamisch aufgezeichnet werden.
Die bevorzugte(n) Ausführungsform(en) der vorliegenden Offenbarung wurden unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben, wobei die vorliegende Offenbarung nicht auf die obigen Beispiele beschränkt ist. Ein Fachmann kann verschiedene Abänderungen und Modifikationen innerhalb des Schutzbereichs der beigefügten Ansprüche finden, und es versteht sich, dass sie natürlich unter den technischen Schutzbereich der vorliegenden Offenbarung fallen. Weiterhin sind die in dieser Patentschrift beschriebenen Effekte lediglich veranschaulichende oder exemplifizierte Effekte und sind nicht beschränkend. Das heißt, mit den obigen Effekten oder an deren Stelle kann die Technologie gemäß der vorliegenden Offenbarung andere Effekte erzielen, die für den Fachmann anhand der Beschreibung dieser Patentschrifte klar sind.
Zudem kann die vorliegende Technologie wie unten konfiguriert sein.

(1) Eine Informationsverarbeitungsvorrichtung, die Folgendes enthält: eine Aussehensinformationserfassungseinheit, die konfiguriert ist zum Erfassen von Aussehensinformationen, die ein Merkmal des Aussehens einer eigenen Einrichtung anzeigen; und eine Sendeeinheit, die konfiguriert ist zum Senden der Aussehensinformationen zum Kommunizieren mit einer anderen Einrichtung, die das Aussehen der eigenen Einrichtung abgebildet hat.
(2) Die Informationsverarbeitungsvorrichtung gemäß (1), die Folgendes enthält: einen Displayschirm, wobei die Aussehensinformationserfassungseinheit eine Bildinformationsgenerierungseinheit enthält, die konfiguriert ist zum Generieren von Bildinformationen, die ein Merkmal eines auf dem Displayschirm angezeigten Schirms als die Aussehensinformationen anzeigen.
(3) Die Informationsverarbeitungsvorrichtung gemäß (2), wobei die Sendeeinheit zusammen mit den Bildinformationen Kommunikationsinformationen zum Kommunizieren mit der anderen Einrichtung sendet.
(4) Die Informationsverarbeitungsvorrichtung gemäß (2), bei der mehrere Applikationen auf dem Displayschirm angezeigt werden, die Bildinformationsgenerierungseinheit die Bildinformationen für jede der mehreren Applikationen generiert, und die Sendeeinheit die für jede Applikation generierten Bildinformationen sendet.
(5) Die Informationsverarbeitungsvorrichtung nach (2), bei der eine Kommunikation mit der anderen Einrichtung durchgeführt wird, für die bestimmt wurde, dass ein erfasstes Bild des Displayschirms und die Bildinformationen übereinstimmen.
(6) Die Informationsverarbeitungsvorrichtung gemäß (2), die Folgendes enthält: eine Identifikationsinformationserfassungseinheit, die konfiguriert ist zum Erfassen von Identifikationsinformationen zum Identifizieren der anderen Einrichtung, wobei die Sendeeinheit die Identifikationsinformationen zusammen mit den Bildinformationen sendet.
(7) Die Informationsverarbeitungsvorrichtung gemäß (6), bei der die Identifikationsinformationen mindestens einen Teil einer IP-Adresse der anderen Einrichtung enthalten.
(8) Die Informationsverarbeitungsvorrichtung gemäß (6), bei der die Identifikationsinformationserfassungseinheit die durch Beacon, Schall oder Licht gesendeten Identifikationsinformationen erfasst.
(9) Die Informationsverarbeitungsvorrichtung gemäß (2), die Folgendes enthält: eine Positionsinformationserfassungseinheit, die konfiguriert ist zum Erfassen von Positionsinformationen, wobei die Sendeeinheit die Positionsinformationen zusammen mit den Bildinformationen sendet.
(10) Ein Informationsverarbeitungsverfahren, das Folgendes beinhaltet: Erfassen von Aussehensinformationen, die ein Merkmal des Aussehens einer eigenen Einrichtung anzeigen; und Senden der Aussehensinformationen zum Kommunizieren mit einer anderen Einrichtung, die das Aussehen der eigenen Einrichtung abgebildet hat.
(11) Ein Programm zum Bewirken, dass ein Computer funktioniert als Mittel zum Erfassen von Aussehensinformationen, die ein Merkmal des Aussehens einer eigenen Einrichtung anzeigen, und Mittel zum Senden der Aussehensinformationen zum Kommunizieren mit einer anderen Einrichtung, die das Aussehen der eigenen Einrichtung abgebildet hat.
(12) Eine Informationsverarbeitungsvorrichtung, die Folgendes enthält: eine Abbildungseinheit, die konfiguriert ist zum Abbilden einer anderen Einrichtung; eine Aussehensinformations-Erfassungseinheit, die konfiguriert ist zum Erfassen von Aussehensinformationen, die ein Merkmal des Aussehens der anderen Einrichtung anzeigen, von einem Server; eine Bilderkennungseinheit, die konfiguriert ist zum Vergleichen des durch die durch die Abbildungseinheit durchgeführte Abbildung erhaltenen aufgenommenen Bilds mit den Aussehensinformationen; und eine Kommunikationseinheit, die konfiguriert ist zum Kommunizieren mit der anderen Einrichtung, falls das Ergebnis des Vergleichs durch die Bilderkennungseinheit derart ist, dass das durch die durch die Abbildungseinheit durchgeführte Abbildung erhaltene Bild und die Aussehensinformationen übereinstimmen.
(13) Informationsverarbeitungsvorrichtung, die Folgendes enthält: eine Aussehensinformations-Erfassungseinheit, die konfiguriert ist zum Erfassen von Aussehensinformationen, die ein Merkmal des Aussehens eines ersten Endgeräts anzeigen, von dem ersten Endgerät; eine Ablageeinheit, die konfiguriert ist zum Speichern der Aussehensinformationen; und eine Sendeeinheit, die konfiguriert ist zum Senden, als Reaktion auf eine Aufforderung von einem zweiten Endgerät, der Aussehensinformationen an das zweite Endgerät, um zu bewirken, dass das zweite Endgerät durch das Abbilden des Aussehens des ersten Endgeräts erhaltene Abbildungsinformationen mit den Aussehensinformationen vergleicht.

Bezugszeichenliste

100: zu erkennendes Endgerät
102: Bildinformations-Generierungseinheit
104: Kommunikationseinheit
106: GPS
108: Identifikationsinformations-Erfassungseinheit
200: erkennendes Endgerät

Claims

Informationsverarbeitungsvorrichtung, umfassend: eine Aussehensinformationserfassungseinheit, die konfiguriert ist zum Erfassen von Aussehensinformationen, die ein Merkmal des Aussehens einer eigenen Einrichtung anzeigen; und eine Sendeeinheit, die konfiguriert ist zum Senden der Aussehensinformationen zum Kommunizieren mit einer anderen Einrichtung, die das Aussehen der eigenen Einrichtung abgebildet hat.
Informationsverarbeitungsvorrichtung nach Anspruch 1, umfassend: einen Displayschirm, wobei die Aussehensinformationserfassungseinheit eine Bildinformationsgenerierungseinheit enthält, die konfiguriert ist zum Generieren von Bildinformationen, die ein Merkmal eines auf dem Displayschirm angezeigten Schirms als die Aussehensinformationen anzeigen.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Sendeeinheit zusammen mit den Bildinformationen Kommunikationsinformationen zum Kommunizieren mit der anderen Einrichtung sendet.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei mehrere Applikationen auf dem Displayschirm angezeigt werden, die Bildinformationsgenerierungseinheit die Bildinformationen für jede der mehreren Applikationen generiert, und die Sendeeinheit die für jede Applikation generierten Bildinformationen sendet.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei eine Kommunikation mit der anderen Einrichtung durchgeführt wird, für die bestimmt wurde, dass ein erfasstes Bild des Displayschirms und die Bildinformationen übereinstimmen.
Informationsverarbeitungsvorrichtung nach Anspruch 2, umfassend: eine Identifikationsinformationserfassungseinheit, die konfiguriert ist zum Erfassen von Identifikationsinformationen zum Identifizieren der anderen Einrichtung, wobei die Sendeeinheit die Identifikationsinformationen zusammen mit den Bildinformationen sendet.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei die Identifikationsinformationen mindestens einen Teil einer IP-Adresse der anderen Einrichtung enthalten.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei die Identifikationsinformationserfassungseinheit die durch Beacon, Schall oder Licht gesendeten Identifikationsinformationen erfasst.
Informationsverarbeitungsvorrichtung nach Anspruch 2, umfassend: eine Positionsinformationserfassungseinheit, die konfiguriert ist zum Erfassen von Positionsinformationen, wobei die Sendeeinheit die Positionsinformationen zusammen mit den Bildinformationen sendet.
Informationsverarbeitungsverfahren, umfassend: Erfassen von Aussehensinformationen, die ein Merkmal des Aussehens einer eigenen Einrichtung anzeigen; und Senden der Aussehensinformationen zum Kommunizieren mit einer anderen Einrichtung, die das Aussehen der eigenen Einrichtung abgebildet hat.
Programm zum Bewirken, dass ein Computer funktioniert als Mittel zum Erfassen von Aussehensinformationen, die ein Merkmal des Aussehens einer eigenen Einrichtung anzeigen, und Mittel zum Senden der Aussehensinformationen zum Kommunizieren mit einer anderen Einrichtung, die das Aussehen der eigenen Einrichtung abgebildet hat.