DE102018105289A1

DE102018105289A1 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm

Info

Publication number: DE102018105289A1
Application number: DE102018105289.8A
Authority: DE
Inventors: Ryo Yokoyama; Osamu Ito; Yosuke MATSUZAKI; Ikuo Yamano
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2016-07-12
Filing date: 2018-03-07
Publication date: 2018-09-13
Also published as: WO2018012062A1; US20180256974A1; CN108572728A; JP2018014078A; US20190291002A1; JP6834614B2; US10668372B2; US11027195B2; CN108572728B; DE112017003556T5

Abstract

Eine Informationsverarbeitungsvorrichtung enthält Folgendes: eine Erfassungseinheit, die dazu ausgelegt ist, mehrere Pointer-Informationen auf der Basis von Daten eines oder mehrerer Sensoren zu erfassen; eine Bestimmungseinheit, die dazu ausgelegt ist, eine jedem Pointer entsprechende Eingabeeinrichtung auf der Basis von Merkmalen der mehreren Pointer-Informationen zu bestimmen; und eine Erzeugungseinheit, die dazu ausgelegt ist, ein vorbestimmtes taktiles Stimulationssignal zur Ausgabe an eine dem Pointer entsprechende Eingabeeinrichtung zu erzeugen, in einem Fall, dass eine Position eines Pointers eine vorbestimmte Bedingung erfüllt.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht den Vorteil der japanischen Patent-Prioritätsanmeldung JP 2017-043989 , eingereicht am 8. März 2017, deren gesamte Inhalte hier durch Bezugnahme aufgenommen werden.
Hintergrund
Die vorliegende Offenbarung bezieht sich auf eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm.
Eine Fernsteuerung, die mit einem Fernsehempfänger oder Ähnlichem über drahtlose Kommunikation verbunden ist und eine Bedienung durchführt, ist bekannt.
Des Weiteren hat sich eine Technologie eingebürgert, bei der eine taktile Ausgabe, wie zum Beispiel Vibration, in Übereinstimmung mit Video- oder Audiosignalen für einen Nutzer bereitgestellt wird, um den Realismus des Content, wie zum Beispiel von Filmen und Videospielen, zu verbessern. Zum Beispiel wird in der japanischen Patentanmeldung, Offenlegungsnummer 2015-166890 , eine Technologie offenbart, um den Realismus des Content durch Verzögern der taktilen Ausgabe aus einer Steuerung auf der Basis einer Position, an der ein Ereignis im virtuellen Raum des Content stattfindet, zu verbessern.
Kurzfassung
Allerdings wird in der oben erwähnten verwandten Technik angenommen, dass eine kleine Anzahl Nutzer in einer Wohnung oder einer Unterhaltungseinrichtung Steuerungen bedienen, und es ist schwierig gewesen, viele Steuerungen zu unterscheiden und zu bewirken, dass die jeweiligen Steuerungen entsprechende taktile Stimulation, wie zum Beispiel Vibration, ausgeben.
Angesichts des oben Genannten schlägt die vorliegende Offenbarung eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm vor, die in der Lage sind, eine intuitive taktile Schnittstelle mit mehr Realismus zu erreichen, die auf der Basis von Eingaben aus vielen Eingabeeinrichtungen vorbestimmte taktile Stimulation für entsprechende Eingabeeinrichtungen darstellt.
Gemäß einer Ausführungsform der vorliegenden Offenbarung wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die Folgendes enthält: eine Erfassungseinheit, die dazu ausgelegt ist, mehrere Pointer-Informationen auf der Basis von Daten eines oder mehrerer Sensoren zu erfassen; eine Bestimmungseinheit, die dazu ausgelegt ist, eine jedem Pointer entsprechende Eingabeeinrichtung auf der Basis von Merkmalen der mehreren Pointer-Informationen zu bestimmen; und eine Erzeugungseinheit, die dazu ausgelegt ist, ein vorbestimmtes taktiles Stimulationssignal zur Ausgabe an eine dem Pointer entsprechende Eingabeeinrichtung zu erzeugen, in einem Fall, dass eine Position eines Pointers eine vorbestimmte Bedingung erfüllt.
Gemäß einer Ausführungsform der vorliegenden Offenbarung wird ein Informationsverarbeitungsverfahren bereitgestellt, das Folgende beinhaltet: durch einen Prozessor mehrere Pointer-Informationen auf der Basis von Daten eines oder mehrerer Sensoren zu erfassen; eine jedem Pointer entsprechende Eingabeeinrichtung auf der Basis von Merkmalen der mehreren Pointer-Informationen zu bestimmen; und in einem Fall, dass eine Position eines Pointers eine vorbestimmte Bedingung erfüllt, ein vorbestimmtes taktiles Stimulationssignal zur Ausgabe an eine dem Pointer entsprechende Eingabeeinrichtung zu erzeugen.
Gemäß einer Ausführungsform der vorliegenden Offenbarung wird ein Programm bereitgestellt, das bewirkt, dass ein Computer als Folgendes funktioniert: eine Erfassungseinheit, die dazu ausgelegt ist, mehrere Pointer-Informationen auf der Basis von Daten eines oder mehrerer Sensoren zu erfassen; eine Bestimmungseinheit, die dazu ausgelegt ist, eine jedem Pointer entsprechende Eingabeeinrichtung auf der Basis von Merkmalen der mehreren Pointer-Informationen zu bestimmen; und eine Erzeugungseinheit, die dazu ausgelegt ist, ein vorbestimmtes taktiles Stimulationssignal zur Ausgabe an eine dem Pointer entsprechende Eingabeeinrichtung zu erzeugen, in einem Fall, dass eine Position eines Pointers eine vorbestimmte Bedingung erfüllt.
Wie oben beschrieben wird, ist es gemäß der vorliegenden Offenbarung möglich, eine intuitive taktile Schnittstelle mit mehr Realismus zu erreichen, die auf der Basis von Eingaben aus mehreren Eingabeeinrichtungen vorbestimmte taktile Stimulation für entsprechende Eingabeeinrichtungen darstellt.
Es sei angemerkt, dass die oben erwähnten Wirkungen nicht notwendigerweise einschränkend sind und dass jede hier beschriebene Wirkung oder eine andere Wirkung, die hier bekannt sein kann, mit den oben genannten Wirkungen oder stattdessen ausgeübt werden kann.
Diese und andere Ziele, Merkmale und Vorteile der vorliegenden Offenbarung werden angesichts der folgenden ausführlichen Beschreibung ihrer besten Ausführungsformen klarer werden, wie in den zugehörigen Zeichnungen veranschaulicht wird.
Figurenliste

1 ist eine grafische Darstellung, die einen Überblick über ein Informationsverarbeitungssystem gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
2 ist eine grafische Darstellung, die ein Beispiel für die Anordnung einer Anzeigevorrichtung, eines 3D-Projektors und von Nutzern in dieser Ausführungsform zeigt;
3 ist eine grafische Darstellung, die ein Beispiel für eine Vibrationseinheit, die in einer Eingabeeinrichtung integriert ist, und eine Ausgabeeinrichtung für taktile Stimulation in dieser Ausführungsform zeigt;
4 ist eine grafische Darstellung, die eine jackenartige Ausgabeeinrichtung für taktile Stimulation in dieser Ausführungsform zeigt;
5 ist eine grafische Darstellung, die eine Konfiguration des gesamten Informationsverarbeitungssystems gemäß dieser Ausführungsform beschreibt;
6 ist ein Blockschaltbild, das ein Beispiel für eine Konfiguration einer Informationsverarbeitungsvorrichtung gemäß dieser Ausführungsform zeigt;
7 ist eine grafische Darstellung, die einen Überblick über ein Informationsverarbeitungssystem gemäß einer ersten Ausführungsform der vorliegenden Offenbarung beschreibt;
8 ist ein Blockschaltbild, das ein Beispiel für eine Konfiguration einer Eingabeeinrichtung in der ersten Ausführungsform zeigt;
9 ist ein Flussdiagramm, das die operative Verarbeitung in der ersten Ausführungsform zeigt;
10 ist eine grafische Darstellung, die einen Fall beschreibt, dass in der ersten Ausführungsform drei Eingabeeinrichtungen unter Verwendung von zwei Wellenlängenarten unterschieden werden;
11 ist eine grafische Darstellung, die in der ersten Ausführungsform ein Beispiel für eine Kombination von Lichtemissionswellenlängen von Eingabeeinrichtungen in dem Fall beschreibt, dass drei Wellenlängenarten verwendet werden;
12 ist eine grafische Darstellung, die einen Fall beschreibt, dass in der ersten Ausführungsform neun Eingabeeinrichtungen unter Verwendung von zwei Wellenlängenarten unterschieden werden;
13 ist eine grafische Darstellung, die in der ersten Ausführungsform ein Verfahren zum Unterscheiden von Eingabeeinrichtungen in dem Fall beschreibt, dass eine High Frame Rate-Kamera verwendet wird;
14 ist ein Blockschaltbild, das ein Beispiel für eine Konfiguration einer Eingabeeinrichtung in einer zweiten Ausführungsform zeigt;
15 ist ein Flussdiagramm, das die operative Verarbeitung in der zweiten Ausführungsform zeigt;
16 ist eine grafische Darstellung, die die Geschwindigkeitsberechnung in einem Unterscheidungsverfahren in der zweiten Ausführungsform beschreibt;
17 ist eine grafische Darstellung, die die Winkelberechnung im Unterscheidungsverfahren in der zweiten Ausführungsform beschreibt;
18 ist eine grafische Darstellung, die ein anderes Beispiel für die Geschwindigkeitsberechnung im Unterscheidungsverfahren in der zweiten Ausführungsform beschreibt;
19 ist ein Flussdiagramm, das die operative Verarbeitung in einem ersten modifizierten Beispiel der zweiten Ausführungsform zeigt;
20 ist eine grafische Darstellung, die die Geschwindigkeitsberechnung und die Winkelberechnung in einem Unterscheidungsverfahren im ersten modifizierten Beispiel der zweiten Ausführungsform beschreibt;
21 ist eine grafische Darstellung, die einen Überblick über ein zweites modifiziertes Beispiel der zweiten Ausführungsform beschreibt;
22 ist eine grafische Darstellung, die die Berechnung der geschätzten Geschwindigkeit einer Lichtemissionstrajektorie in diesem modifizierten Beispiel beschreibt;
23 ist eine grafische Darstellung, die ein anderes Beispiel für die Anordnung von IR-Sensoren in diesem modifizierten Beispiel beschreibt;
24 ist eine grafische Darstellung, die einen Fall beschreibt, dass mehrere IR-Sensoren das IR zur gleichen Zeit detektieren;
25 ist eine grafische Darstellung, die die Synchronisationssteuerung des Timings der Lichtemission und des Timings der Detektion in diesem modifizierten Beispiel beschreibt;
26 ist ein Blockschaltbild, das eine Konfiguration eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
27 ist eine schematische Darstellung, die einen Betrieb des Informationsverarbeitungssystems gemäß dieser Ausführungsform zeigt;
28 ist eine schematische Darstellung, die einen Betrieb des Informationsverarbeitungssystems gemäß dieser Ausführungsform zeigt;
29 ist ein Blockschaltbild, das einen Betrieb eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
30 ist eine schematische Darstellung, die einen Betrieb des Informationsverarbeitungssystems gemäß dieser Ausführungsform zeigt;
31 ist eine schematische Darstellung, die einen Betrieb des Informationsverarbeitungssystems gemäß dieser Ausführungsform zeigt; und
32 ist eine schematische Darstellung, die einen Betrieb des Informationsverarbeitungssystems gemäß dieser Ausführungsform zeigt.

Ausführliche Beschreibung von Ausführungsformen
Hier werden nachstehend vorteilhafte Ausführungsformen der vorliegenden Offenbarung ausführlich unter Bezugnahme auf die zugehörigen Zeichnungen beschrieben. Es sei angemerkt, dass die Komponenten, die im Wesentlichen die gleiche funktionale Konfiguration aufweisen, mit den gleichen Referenzsymbolen bezeichnet werden, und eine doppelte Beschreibung wird hier und in den Zeichnungen weggelassen.
Es sei angemerkt, dass die Beschreibung in der folgenden Reihenfolge erfolgt.

1. Überblick über das Informationsverarbeitungssystem gemäß der Ausführungsform der vorliegenden Offenbarung
2. Konfiguration
- 2-1. Gesamte Konfiguration
- 2-2. Konfiguration der Informationsverarbeitungsvorrichtung
3. Erste Ausführungsform
- 3-1. Überblick
- 3-2. Konfiguration der Eingabeeinrichtung
- 3-3. Operative Verarbeitung
- 3-4. Anderes
4. Zweite Ausführungsform
- 4-1. Konfiguration der Eingabeeinrichtung
- 4-2. Operative Verarbeitung
- 4-3. Erstes modifiziertes Beispiel
- 4-4. Zweites modifiziertes Beispiel
5. Ergänzende Anmerkung
6. Fazit
7. Zur Übertragungsverzögerung
8. Zur Unterscheidung von Eingabeeinrichtungen
9. Modifiziertes Beispiel

<<Überblick über das Informationsverarbeitungssystem gemäß der Ausführungsform der vorliegenden Offenbarung>>
Ein Überblick über ein Informationsverarbeitungssystem gemäß einer Ausführungsform der vorliegenden Offenbarung wird unter Bezugnahme auf die 1 beschrieben. Im Informationsverarbeitungssystem gemäß dieser Ausführungsform halten viele Nutzer jeweilige Eingabeeinrichtungen 2 (2A bis 2K) und führen Bedienungen durch, wie zum Beispiel Schütteln der Eingabeeinrichtungen 2 in Bezug auf ein stereoskopisches Objekt 30, das auf einer vorderen Bildwand 3 angezeigt wird. Jede der Eingabeeinrichtungen 2 enthält eine Lichtemissionseinheit, die nicht sichtbares Licht emittiert, wie zum Beispiel Infrarotstrahlen, und die in der Lage ist, zu bewirken, dass die Bildwand 3 mit einem Pointer angestrahlt wird.
Weil von einem Projektor 5 dreidimensionale (3D-) Videosignale auf die Bildwand 3 projiziert werden, ist der Nutzer in der Lage, eine Bedienung durchzuführen, wie zum Beispiel Schwenken der Eingabeeinrichtung 2 in Bezug auf das stereoskopische Objekt 30, das ihm nahekommt, und es anzugreifen.
Als Nächstes wird in der 2 ein Beispiel für die Anordnung der Bildwand 3, des Projektors 5 und der Nutzer in dieser Ausführungsform gezeigt. Wie in der 2 gezeigt wird, halten viele Nutzer die Eingabeeinrichtungen 2 und sind der großen Bildwand 3 zugewandt, und der Projektor 5 ist über den Nutzern platziert und projiziert 3D-Videosignale auf die Bildwand 3. Obwohl dies in der 1 und der 2 nicht gezeigt wird, ist des Weiteren im Randbereich ein Lautsprecher 7 (5) platziert. In dem in der 2 gezeigten Beispiel stehen die Nutzer. Allerdings können die Nutzer sitzen. In dem in der 2 gezeigten Beispiel ist des Weiteren der Projektor 5 an der Decke platziert. Allerdings kann der Projektor 5 an einer anderen Stelle platziert sein.
Des Weiteren kann die Eingabeeinrichtung 2, die von jedem Nutzer gehalten wird, zum Beispiel die Form eines Stabs, wie in der 1 und der 2 gezeigt wird, oder eine Form, die eine Waffe imitiert, wie zum Beispiel eine Stange und ein Gewehr, aufweisen. Die Eingabeeinrichtung 2 weist eine Struktur auf, die unter der Steuerung einer Informationsverarbeitungsvorrichtung 1 (siehe 5) vibriert und die in der Lage ist, den Realismus umzusetzen, wie zum Beispiel das Gefühl für ein virtuelles Objekt im virtuellen Raum, indem in dem Fall eine Rückmeldung durch vorbestimmte Vibration zurückgegeben wird, dass der Nutzer eine vorbestimmte Bedienung an dem stereoskopischen Objekt 30 durchführt. Eine Lichtemissionseinheit 22 (siehe 8), die Licht emittiert, wie zum Beispiel Infrarotstrahlen, wird an der Spitze der Eingabeeinrichtung 2 bereitgestellt. Unter Verwendung der Lichtemissionseinheit 22 kann die Bildwand 3 mit einem Infrarot-Pointer angestrahlt werden, wenn der Nutzer die Eingabeeinrichtung 2 in Bezug auf die Bildwand 3 bedient. Zum Beispiel stellt in dem Fall, dass der Pointer das stereoskopischen Objekt 30 überschneidet, die Informationsverarbeitungsvorrichtung 1 auf der Basis der Position des Pointers, der auf die Bildwand 3 angewendet wird, und der Anzeigeposition des stereoskopischen Objekts 30 eine Rückmeldung durch Vibration bereit, die bewirkt, dass der Nutzer wahrnimmt, dass die Eingabeeinrichtung 2 in Berührung mit dem stereoskopischen Objekt 30 kommt.
Als Nächstes wird die Vibrationsfunktion der Eingabeeinrichtung 2 unter Bezugnahme auf die 3 beschrieben. Die 3 ist eine grafische Darstellung, die ein Beispiel für eine Vibrationseinheit, die in einer Eingabeeinrichtung integriert ist, und eine Ausgabeeinrichtung für taktile Stimulation in dieser Ausführungsform zeigt. Wie in der 3 gezeigt wird, sind in der Eingabeeinrichtung 2 mehrere Vibrationseinheiten 24 integriert, zusätzlich zu der oben erwähnten Lichtemissionseinheit, und vibrieren unter Steuerung durch die Informationsverarbeitungsvorrichtung 1 (siehe 5). Die Eingabeeinrichtung 2 und die Informationsverarbeitungsvorrichtung 1 sind miteinander durch drahtgebundene oder drahtlose Verbindung verbunden und sind in der Lage, Daten zueinander zu übertragen bzw. voneinander zu empfangen. Die Anzahl an Vibrationseinheiten 24, die in die Eingabeeinrichtung 2 integriert werden sollen, kann eins oder mehr sein. Die Vibrationseinheiten 24 können des Weiteren im Griffbereich, der vom Nutzer der Eingabeeinrichtung 2 gehalten wird, oder an einer anderen Stelle der Eingabeeinrichtung 2 integriert sein.
In dieser Ausführungsform ist des Weiteren eine Ausgabeeinrichtung 4 für taktile Stimulation am Körper jedes Nutzers befestigt, wie in der 3 gezeigt wird. Jede Ausgabeeinrichtung 4 für taktile Stimulation und die Informationsverarbeitungsvorrichtung 1 sind miteinander durch drahtgebundene oder drahtlose Verbindung verbunden und sind in der Lage, Daten zueinander zu übertragen bzw. voneinander zu empfangen. Die Form der Ausgabeeinrichtung 4 für taktile Stimulation ist nicht besonders beschränkt. Zum Beispiel kann die Ausgabeeinrichtung 4 für taktile Stimulation eine gurtartige sein, wie in der 3 gezeigt wird. Eine oder mehrere Vibrationseinheiten 41 sind in einer gurtartigen Ausgabeeinrichtung 4-1 für taktile Stimulation integriert und vibrieren unter Steuerung durch die Informationsverarbeitungsvorrichtung 1. Es sei angemerkt, dass die Form der Ausgabeeinrichtung 4 für taktile Stimulation nicht darauf beschränkt ist, und die Ausgabeeinrichtung 4 für taktile Stimulation kann zum Beispiel eine jackenartige sein, wie in der 4 gezeigt wird.
Wie in der 4 zum Beispiel gezeigt wird, sind in einer jackenartigen Ausgabeeinrichtung 4-2 für taktile Stimulation mehrere Vibrationseinheiten 42 platziert. Die Anzahl und Anordnung der Vibrationseinheiten 42 ist nicht auf das in der 4 gezeigte Beispiel beschränkt. Zum Beispiel können die Vibrationseinheiten 42 an der hinteren Oberfläche oder der seitlichen Oberfläche bereitgestellt werden. Im Fall der jackenartigen Ausgabeeinrichtung für taktile Stimulation kann des Weiteren bekannt sein, an welcher Position des Körpers jede Vibrationseinheit 42 platziert ist, wenn der Nutzer die jackenartige Ausgabeeinrichtung für taktile Stimulation trägt, anders als bei der gurtartigen Ausgabeeinrichtung für taktile Stimulation. Daher ist es möglich, Vibration genauer an einem Zielteil des Körpers bereitzustellen. Es sei angemerkt, dass, obwohl die jackenartige Ausgabeeinrichtung für taktile Stimulation in dem in der 4 gezeigten Beispiel gezeigt wird, diese Ausführungsform nicht darauf beschränkt ist. Zum Beispiel kann die Ausgabeeinrichtung 4 für taktile Stimulation ein anderes Kleidungsstück sein, wie zum Beispiel Jacken mit Ärmeln, Tops, Hosen, Handschuhe, Hüte, Socken und Schuhe. Des Weiteren kann die gurtartige Ausgabeeinrichtung 4-1 für taktile Stimulation auch an einem Fuß, einem Rumpf, einem Kopf und Ähnlichem, zusätzlich zum Arm, befestigt sein.
Wie in der 4 gezeigt wird, ist des Weiteren ein Stereolautsprecher 43 am Schulterteil der jackenartigen Ausgabeeinrichtung 4-2 für taktile Stimulation platziert. Der Stereolautsprecher 43 gibt Audiosignale aus, die von der Informationsverarbeitungsvorrichtung 1 übertragen werden. Die Audiosignale (Geräusche) können jedem Nutzer zum Beispiel abhängig von der Bedienung der Eingabeeinrichtung 2 durch den Nutzer dargestellt werden.
Wie oben beschrieben wird, ist es in dieser Ausführungsform möglich, das plastische Gefühl in den virtuellen Raum hinein zu verbessern und größeren Realismus zu erreichen, indem mehrere Empfindungen für den Nutzer dargestellt werden, wie zum Beispiel 3D-Videosignale, Audiosignale und Vibration.
In dem oben beschrieben Beispiel wird „Vibration“ als ein Beispiel für taktile Stimulation durch die Ausgabeeinrichtung 4 für taktile Stimulation verwendet. Allerdings ist diese Ausführungsform nicht darauf beschränkt, und andere taktile Stimulation kann verwendet werden, wie zum Beispiel elektrische Stimulation, Temperatur, Wind und Wasser.
In dieser Ausführungsform werden des Weiteren 3D-Videosignale auf die Bildwand 3 projiziert. Allerdings kann stattdessen eine große Anzeigevorrichtung platziert werden.
Als Nächstes wird jede Konfiguration eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung speziell unter Bezugnahme auf die Zeichnungen beschrieben.
«2. Konfiguration»
<Gesamtkonfiguration>
Die 5 ist eine grafische Darstellung, die eine Konfiguration des gesamten Informationsverarbeitungssystems gemäß dieser Ausführungsform zeigt. Wie in der 5 gezeigt wird, enthält das Informationsverarbeitungssystem gemäß dieser Ausführungsform die Informationsverarbeitungsvorrichtung 1, viele Eingabeeinrichtungen 2 (2A bis 2C), viele Ausgabeeinrichtungen 4 für taktile Stimulation (4A bis 4C), den Projektor 5, eine Kamera 6 und den Lautsprecher 7.
Die Kamera 6 ist zum Beispiel eine IR-Kamera, die die Bildwand 3 abbildet und ein aufgenommenes Bild an die Informationsverarbeitungsvorrichtung 1 ausgibt.
Die Informationsverarbeitungsvorrichtung 1 ist mit den Eingabeeinrichtungen 2, den Ausgabeeinrichtungen 4 für taktile Stimulation, der Kamera 6, dem Projektor 5 und dem Lautsprecher 7 verbunden und steuert jede der Peripherieeinrichtungen an. Zum Beispiel steuert die Informationsverarbeitungsvorrichtung 1 die 3D-Videoprojektion auf die Bildwand 3 durch den Projektor 5 und die Audioausgabe aus dem Lautsprecher 7 an. Des Weiteren erfasst die Informationsverarbeitungsvorrichtung 1 auf der Basis des aufgenommenen Bildes, das von der Kamera 6 ausgegeben wird, den Eingabezustand jeder Eingabeeinrichtung 2 in Bezug auf die Anzeigebildwand der Bildwand 3 und führt Steuern so durch, dass die entsprechende Eingabeeinrichtung 2 und die Ausgabeeinrichtung 4 für taktile Stimulation des Nutzers, der diese Eingabeeinrichtung hält, abhängig vom Eingabezustand vorbestimmte taktile Stimulation ausgeben.
Die Eingabeeinrichtung 2 ist eine Eingabeeinrichtung, die die Lichtemissionseinheit 22 und die Vibrationseinheit 24 (siehe 8) enthält und von jedem Nutzer gehalten wird. Des Weiteren ist die Eingabeeinrichtung 2 in der Lage, Vibrationsausgabe aus der Vibrationseinheit 24 unter der Steuerung durch die Informationsverarbeitungsvorrichtung 1 durchzuführen.
Die Ausgabeeinrichtung 4 für taktile Stimulation ist eine Ausgabeeinrichtung, die die Vibrationseinheit 42 enthält (siehe 3 und 4) und an jedem Nutzer befestigt ist. Des Weiteren ist die Ausgabeeinrichtung 4 für taktile Stimulation in der Lage, Vibrationsausgabe aus der Vibrationseinheit 42 unter Steuerung durch die Informationsverarbeitungsvorrichtung 1 durchzuführen.
Der Projektor 5 ist eine Ausgabeeinrichtung, die eine Projektionseinheit enthält und zum Beispiel unter Steuerung durch die Informationsverarbeitungsvorrichtung 1 3D-Videosignale auf die Bildwand 3 projiziert.
Der Lautsprecher 7 ist eine Ausgabeeinrichtung, die Audiosignale ausgibt und die ein Audiosignal unter Steuerung durch die Informationsverarbeitungsvorrichtung 1 ausgibt.
<Konfiguration der Informationsverarbeitungsvorrichtung>
Die 6 ist ein Blockschaltbild, das ein Beispiel für eine Konfiguration der Informationsverarbeitungsvorrichtung 1 gemäß dieser Ausführungsform zeigt. Wie in der 6 gezeigt wird, enthält die Informationsverarbeitungsvorrichtung 1 eine Steuereinheit 10, eine Kommunikationseinheit 11, eine Eingabeeinheit 12, eine Ausgabeeinheit 13 und eine Speichereinheit 14.
Die Steuereinheit 10 funktioniert als eine Arithmetikverarbeitungseinrichtung und eine Steuereinrichtung und führt die Gesamtsteuerung der Operationen der Informationsverarbeitungsvorrichtung 1 gemäß verschiedenen Programmen durch. Die Steuereinheit 10 wird zum Beispiel durch eine elektronische Schaltung erreicht, wie zum Beispiel eine CPU (Central Processing Unit, Hauptprozessoreinheit) und einen Mikroprozessor. Des Weiteren kann die Steuereinheit 10 ein ROM (Read-Only Memory, Nur-Lese-Speicher) enthalten, das zu verwendende Programme, arithmetische Parameter und Ähnliches speichert, und ein RAM (Random Access Memory, Direktzugriffsspeicher), das geeignet sich ändernde Parameter und Ähnliches temporär speichert.
Des Weiteren funktioniert in dieser Ausführungsform die Steuereinheit 10 auch als eine Informationsanalyseeinheit 101, eine Bestimmungseinheit 102 und eine Ausgabesignalerzeugungseinheit 103.
Die Informationsanalyseeinheit 101 analysiert die Daten eines oder mehrerer Sensoren und erfasst die Informationen mehrerer Pointer in Bezug auf die Anzeigebildwand der Bildwand 3. Insbesondere identifiziert die Informationsanalyseeinheit 101 eine Positionskoordinate eines Pointers auf der Anzeigebildwand und Merkmale des Pointers (Kombination von mehreren der Folgenden: Wellenlängen, eine Markierungsform, einen Zustand während des Schwenkens, einen Zustand einer Markierung, eine Trajektorie und Ähnliches). Die Sensordaten stellen zum Beispiel ein IR-Bild dar, das von einer oder mehreren Kameras 6 aufgenommen worden ist.
Die Bestimmungseinheit 102 bestimmt die Eingabeeinrichtungen 2, die den Pointern entsprechen, auf der Basis der Merkmale der mehreren Pointer-Informationen, die von der Informationsanalyseeinheit 101 erfasst worden sind. In dieser Ausführungsform werden Eingaben (z. B. Lichtemission durch Infrarotstrahlen) aus vielen Eingabeeinrichtungen 2 auf einer Anzeigebildwand durchgeführt, und die Bestimmungseinheit 102 der Informationsverarbeitungsvorrichtung 1 bestimmt, welcher Pointer auf der Anzeigebildwand aus welcher Eingabeeinrichtung angewendet wird. Zu dieser Zeit führt die Bestimmungseinheit 102 die Bestimmung jeder der Eingabeeinrichtungen 2 unter Verwendung der Merkmale der Pointer-Informationen, die von der Informationsanalyseeinheit 101 analysiert worden sind, und der Ausgabeinformationen (z. B. Sensorinformationen) aus der Eingabeeinrichtung 2 durch. Das spezifische Unterscheidungsverfahren wird in jeder Ausführungsform speziell beschrieben.
In dem Fall, dass die Position des Pointers eine vorbestimmte Bedingung erfüllt, erzeugt die Ausgabesignalerzeugungseinheit 103 ein vorbestimmtes taktiles Stimulationssignal zur Ausgabe an die dem Pointer entsprechende Eingabeeinrichtung. Insbesondere erzeugt zum Beispiel in dem Fall, dass die Position oder die Umlaufbahn des Pointers das stereoskopische Objekt 30 überschneidet, die Ausgabesignalerzeugungseinheit 103 ein taktiles Stimulationssignal, um zu bewirken, dass der Nutzer wahrnimmt, dass die Eingabeeinrichtung 2 in Berührung mit dem stereoskopischen Objekt 30 kommt. Zu dieser Zeit wird ein taktiles Stimulationssignal erzeugt, um zu bewirken, dass der Nutzer eine virtuelle Empfindung (Struktur, wie zum Beispiel Härte oder Weichheit) wahrnimmt, wenn die Eingabeeinrichtung 2 in Berührung mit dem stereoskopischen Objekt 30 kommt. Des Weiteren kann die Ausgabesignalerzeugungseinheit 103 auch ein Audiosignal erzeugen, um zu bewirken, dass der Nutzer virtuelle Geräusche wahrnimmt, wenn die Eingabeeinrichtung 2 in Berührung mit dem stereoskopischen Objekt 30 kommt. Das erzeugte taktile Stimulationssignal wird aus der Kommunikationseinheit 11 an die entsprechende Eingabeeinrichtung 2 ausgegeben (übertragen). Des Weiteren wird das erzeugte Audiosignal an die entsprechende Ausgabeeinrichtung 4 für taktile Stimulation ausgegeben (übertragen), die einen Lautsprecher enthält.
Des Weiteren kann in dem Fall, dass die Position des Pointers die vorbestimmte Bedingung erfüllt, die Ausgabesignalerzeugungseinheit 103 weiterhin ein vorbestimmtes taktiles Stimulationssignal zur Ausgabe an die Ausgabeeinrichtung 4 für taktile Stimulation erzeugen, die an dem Nutzer befestigt ist, der die dem Pointer entsprechende Eingabeeinrichtung 2 hält. Das erzeugte taktile Stimulationssignal wird aus der Kommunikationseinheit 11 an die entsprechende Ausgabeeinrichtung 4 für taktile Stimulation ausgegeben.
In dem Fall eines Spiels, bei dem der Nutzer das stereoskopische Objekt 30 virtuell mit der Eingabeeinrichtung 2 schlägt, ist dementsprechend die Informationsverarbeitungseinheit 1 gemäß dieser Ausführungsform zum Beispiel in der Lage, für den Nutzer Vibration und Geräusche darzustellen, um zu bewirken, dass der Nutzer wahrnimmt, dass er das stereoskopische Objekt 30 tatsächlich mit der Eingabeeinrichtung 2 schlägt. Des Weiteren ist die Informationsverarbeitungsvorrichtung 1 in der Lage, vorbestimmte Vibration aus der jackenartigen Ausgabeeinrichtung 4-2 für taktile Stimulation (siehe 4) auszugeben, so dass beim Schlagen ein Stoß auf den Körper des Nutzers ausgegeben wird. Des Weiteren ist die Informationsverarbeitungsvorrichtung 1 in der Lage aus der jackenartigen Ausgabeeinrichtung 4-2 für taktile Stimulation auch vorbestimmte Vibration auszugeben, um zu bewirken, dass der Nutzer wahrnimmt, dass der Angriff scheitert und dass das stereoskopische Objekt 30 den Nutzer schlägt oder dass ein spezifischer Teil des Körpers tatsächlich angegriffen wird, zusammen mit Videosignalen, dass das stereoskopische Objekt 30 den Nutzer angreift.
Die Kommunikationseinheit 11 ist ein Kommunikationsmodul zum Übertragen/Empfangen von Daten von/an einer/eine anderen/andere Vorrichtung über drahtgebundene oder drahtlose Kommunikation. Die Kommunikationseinheit 11 kommuniziert drahtlos mit einer externen Vorrichtung direkt oder über einen Netzwerkzugangspunkt unter Verwendung eines Verfahrens, wie zum Beispiel drahtgebundenes LAN (Local Area Network), drahtloses LAN, Wi-Fi (eingetragene Handelsmarke), Infrarotkommunikation, Bluetooth (eingetragene Handelsmarke) und Kurzstrecken-/kontaktlose Kommunikation. In dieser Ausführungsform überträgt die Kommunikationseinheit 11 zum Beispiel ein taktiles Stimulationssignal an die Eingabeeinrichtung 2 und die Ausgabeeinrichtung 4 für taktile Stimulation.
Die Eingabeeinheit 12 empfängt eine Bedienungsanweisung von einem Administrator oder Ähnlichem und gibt den Inhalt der Bedienung an die Steuereinheit 10 aus. Die Eingabeeinheit 12 kann ein Touchsensor, Drucksensor oder Näherungssensor sein, die integriert mit einer Anzeige bereitgestellt werden. Alternativ kann die Eingabeeinheit 12 eine physikalische Konfiguration aufweisen, z. B. eine Tastatur, einen Taster, einen Schalter und einen Hebel. Des Weiteren kann die Eingabeeinheit 12 ein Mikrofon sein.
Die Ausgabeeinheit 13 ist zum Beispiel eine Anzeige, die eine Bedienungsbildwand oder eine Menübildwand für einen Administrator oder Ähnliches ausgibt. Zu spezifischen Beispielen für die Ausgabeeinheit 13 zählen eine Flüssigkristallanzeige (LCD: Liquid Crystal Display) und eine organisches EL- (Elektroluminiszenz-) Anzeige. Des Weiteren kann die Ausgabeeinheit 13 weiterhin einen Lautsprecher enthalten, der Audiosignale ausgibt.
Die Speichereinheit 14 speichert ein Programm für die oben erwähnte Steuereinheit 10 zum Ausführen jeder Funktion und einen Parameter. Des Weiteren enthält die Speichereinrichtung 14 eine Speichereinrichtung, die ein Speichermedium enthält, eine Aufzeichnungseinrichtung, die Daten in das Speichermedium aufzeichnet, eine Leseeinrichtung, die die Daten aus dem Speichermedium liest, eine Löscheinrichtung, die die im Speichermedium aufgezeichneten Daten löscht, und Ähnliches. Es sei angemerkt, dass die Speichereinheit 14 ein Speichermedium sein kann, wie zum Beispiel ein nichtflüchtiger Speicher, wie zum Beispiel ein Flash-ROM (oder Flash-Speicher), ein EEPROM (Electrically Erasable Programmable Read-Only Memory, elektrisch löschbarer programmierbarer Nur-Lese-Speicher), ein EPROM (Erasable Programmable ROM), eine Magnetplatte, wie zum Beispiel eine Festplatte und eine scheibenförmige Magnetplatte, eine optische Disc, wie zum Beispiel eine CD (Compact Disc), eine DVD-R (Digital Versatile Disk Recordable) und eine BD (Blue Ray Disc (eingetragene Handelsmarke)) und eine MO (magnetooptische) Disc.
Jede Konfiguration des Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung ist hier bisher speziell beschrieben worden. Als Nächstes werden Ausführungsformen des Informationsverarbeitungssystems gemäß dieser Ausführungsform speziell unter Bezugnahme auf die Zeichnungen beschrieben.
«3. Erste Ausführungsform»
<Überblick>
Wie oben beschrieben wird, ist die Informationsverarbeitungsvorrichtung 1 gemäß dieser Ausführungsform in der Lage, über eine vorbestimmte Ausgabe von taktiler Stimulation an jede Eingabeeinrichtung 2 eine Rückmeldung abhängig von der Eingabe (d. h. der Position oder der Bewegung des Pointers) der Eingabeeinrichtung 2 bereitzustellen, indem von der Bestimmungseinheit 102 bestimmt wird, welcher Pointer auf die Anzeigebildwand aus welcher Eingabeeinrichtung 2 angewendet wird.
Es sei angemerkt, dass es unter Verwendung von IR-Emissionsvorrichtungen mit unterschiedlichen Wellenlängen und von Kameras mit Bandpassfiltern, die diesen Wellenlängen entsprechen, möglich ist, die Position des Pointers auf der Anzeigebildwand und die Verknüpfung des Pointers mit der entsprechenden IR-Emissionsvorrichtung zu bestimmen. Unter Berücksichtigung der Genauigkeit der Filter ist es allerdings nötig, den Wellenlängenbereich in gewissem Maße zu trennen, wobei die Anzahl der Wellenlängenbänder meist bei vier liegt, z. B. 800 nm, 850 nm, 900 nm und 950 nm, und nur vier IR-Emissionsvorrichtungen unterschieden werden können. Daher ist es schwierig gewesen, viele Personen zeitgleich zu unterscheiden.
In dieser Beziehung ermöglicht es eine erste Ausführungsform unter Verwendung von Eingabeeinrichtungen, die Licht mit einer oder mehreren IR-Wellenlängen von n IR-Wellenlängenarten emittieren, und Kameras mit Bandpassfiltern für n Wellenlängen zeitgleich viele Personen zu unterscheiden. Die 7 ist eine grafische Darstellung, die einen Überblick über ein Informationsverarbeitungssystem gemäß der ersten Ausführungsform beschreibt.
Wie in der 7 gezeigt wird, werden in dieser Ausführungsform viele Eingabeeinrichtungen 2-1 (2-1A, 2-1B, ...), die Licht mit einer oder mehreren IR-Wellenlängen emittieren, und Kameras 6A bis 6n mit Bandpassfiltern unterschiedlicher Wellenlänge, die die Bildwand 3 abbilden, verwendet.
Die Informationsverarbeitungsvorrichtung 1 gemäß dieser Ausführungsform analysiert jedes der aufgenommenen Bilder, die von den Kameras 6A bis 6n ausgegeben werden, und bestimmt die Eingabeeinrichtungen 2 entsprechend den jeweiligen Pointern auf der Anzeigebildwand. In dieser Ausführungsform ist es unter Verwendung der Eingabeeinrichtungen 2, die Licht mit mehreren IR-Wellenlängen emittieren, möglich, 2ⁿ-1 Personen in dem Fall zu unterscheiden, dass n Wellenlängenarten verwendet werden.
<Konfiguration der Eingabeeinrichtung>
Zunächst wird eine Konfiguration der Eingabeeinrichtung 2-1 in dieser Ausführungsform unter Bezugnahme auf die 8 beschrieben. Die 8 ist ein Blockschaltbild, das ein Beispiel für eine Konfiguration der Eingabeeinrichtung 2-1 in dieser Ausführungsform zeigt. Wie in der 8 gezeigt wird, enthält die Eingabeeinrichtung 2-1 eine Steuereinheit 20, eine Bedieneinheit 21, die Lichtemissionseinheit 22, eine Kommunikationseinheit 23 und die Vibrationseinheit 24.
Die Steuereinheit 20 funktioniert als eine Arithmetikverarbeitungseinrichtung und eine Steuereinrichtung und führt die Gesamtsteuerung der Bedienungen der Eingabeeinrichtung 2-1 in Übereinstimmung mit verschiedenen Programmen durch. Die Steuereinheit 20 wird zum Beispiel durch eine elektronische Schaltung erreicht, wie zum Beispiel eine CPU und einen Mikroprozessor. Des Weiteren kann die Steuereinheit 20 ein ROM enthalten, das zu verwendende Programme, arithmetische Parameter und Ähnliches speichert, und ein RAM, das geeignet sich ändernde Parameter und Ähnliches temporär speichert.
Die Steuereinheit 20 in dieser Ausführungsform steuert das Ein/Aus der Lichtemission der Lichtemissionseinheit 22 zum Beispiel in Übereinstimmung mit der Bedienung, die über die Bedieneinheit 21 eingegeben wird, und steuert Vibrationsausgabe der Vibrationseinheiten 24 in Übereinstimmung mit dem taktilen Stimulationssignal, das aus der Informationsverarbeitungsvorrichtung 1 über die Kommunikationseinheit 23 übertragen wird.
Die Bedieneinheit 21 schaltet in Übereinstimmung mit einer Bedienung vom Nutzer die Leistungsquelle der Eingabeeinrichtung 2-1 ein/aus und die Lichtemission der Lichtemissionseinheit 22 ein/aus. Die Bedieneinheit 21 wird zum Beispiel durch einen Schalter, einen Taster, einen Hebel, einen Touchsensor, einen Drucksensor oder Ähnliches erreicht.
Die Lichtemissionseinheit 22 emittiert nicht sichtbares Licht, wie zum Beispiel Infrarotstrahlen. Die Lichtemissionseinheit 22 hat in dieser Ausführungsform eine Funktion, zum Beispiel Licht mit n IR-Wellenlängenarten zu emittieren.
Die Kommunikationseinheit 23 ist mit der Informationsverarbeitungsvorrichtung 1 über drahtgebundene oder drahtlose Verbindung verbunden und überträgt/empfängt Daten an/von die/der Informationsverarbeitungsvorrichtung 1. Zum Beispiel empfängt die Kommunikationseinheit 23 ein taktiles Stimulationssignal aus der Informationsverarbeitungsvorrichtung 1.
Die Vibrationseinheit 24 ist ein kleiner Vibrationsaktuator, der Vibrationsstimulation ausgibt, als ein Beispiel für die taktile Stimulation. Die Vibrationseinheit 24 enthält einen oder mehrere Vibrationsaktuatoren.
<Operative Verarbeitung>
Als Nächstes wird die operative Verarbeitung in der ersten Ausführungsform unter Bezugnahme auf die 9 beschrieben. Die 9 ist ein Flussdiagramm, das die operative Verarbeitung in dieser Ausführungsform zeigt.
Wie in der 9 gezeigt wird, erfasst die Informationsverarbeitungsvorrichtung 1 zuerst Bilder, die von den Kameras 6A bis 6n aufgenommen werden (Schritt S103) .
Als Nächstes führt die Informationsanalyseeinheit 101 der Informationsverarbeitungsvorrichtung 1 Bildanalyse am aufgenommenen Bild durch, um eine Koordinatenposition eines Pointers (Lichtemissionspunkt) zu identifizieren (Schritt S106).
Als Nächstes vergleicht die Bestimmungseinheit 102 der Informationsverarbeitungsvorrichtung 1 Koordinatenpaare von Pointern in zwei oder mehr aufgenommenen Bildern miteinander (Schritt S109) und bestimmt die dem Pointer entsprechende Eingabeeinrichtung (Schritt S112). Ein Verfahren zum Bestimmen der Eingabeeinrichtung, die dem Vergleich von Koordinatenpaaren der Pointer entspricht, wird nachstehend unter Bezugnahme auf die 10 und die 11 beschrieben.
Die 10 ist eine grafische Darstellung, die einen Fall beschreibt, dass drei Eingabeeinrichtungen 2 unter Verwendung von zwei Wellenlängenarten unterschieden werden. In dem in der 10 gezeigten Beispiel wird IR mit einer Wellenlänge 1 aus der Eingabeeinrichtung 2-1A emittiert, IR mit einer Wellenlänge 2 wird aus einer Eingabeeinrichtung 2-1B emittiert, und IR mit der Wellenlänge 1 und der Wellenlänge 2 wird aus einer Eingabeeinrichtung 2-1C emittiert. Des Weiteren werden in der 10 ein Bild 60, das von einer Kamera 6A mit einem Bandpassfilter der Wellenlänge 1 aufgenommen wird, und ein Bild 61, das von einer Kamera 6B mit einem Bandpassfilter der Wellenlänge 2 aufgenommen wird, gezeigt.
Die Bestimmungseinheit 102 vergleicht jeweils die Pointer-Koordinatenpaare P1 (x1, y1) und P2 (x2, y2) des Bildes 60, die von der Informationsanalyseeinheit 101 identifiziert worden sind, und die Pointer-Koordinatenpaare P3 (x'2, y'2) und P4 (x3, y3) des Bildes 61, die von der Informationsanalyseeinheit 101 identifiziert worden sind, miteinander und bestimmt, dass der Pointer auf das im Wesentlichen gleiche Koordinatenpaar in mehreren aufgenommenen Bildern von der ihm entsprechenden Eingabeeinrichtung 2-1C angewendet wird, die IR mit den mehreren Wellenlängenarten emittiert. Informationen in Bezug auf die IR-Emissionswellenlänge jeder der Eingabeeinrichtungen 2-1 werden zum Beispiel im Voraus in der Speichereinheit 14 registriert.
Ein Beispiel für die Berechnungsformel zum Identifizieren des im Wesentlichen gleichen Koordinatenpaars wird nachstehend gezeigt. Es sei angemerkt, dass die Berechnungsformel in dem Fall, dass die Koordinatenpaare P2 (x2, y2) und P3 (x'2, y'2) verglichen werden, als ein Beispiel gezeigt wird. In dem Fall, dass die folgende Formel erfüllt ist, bestimmt die Bestimmungseinheit 102, dass die Pointer sich am im Wesentlichen gleichen Koordinatenpaar befinden, und dass die Eingabeeinrichtung 2-1C, die IR mit der Wellenlänge 1 und der Wellenlänge 2 emittiert, die entsprechende Eingabeeinrichtung ist. $w e n n \sqrt{{(x_{2} - x'_{2})}^{2} + {(y_{2} - y'_{2})}^{2}} < ε$
Die 11 ist eine grafische Darstellung, die ein Beispiel für eine Kombination von Lichtemissionswellenlängen von Eingabeeinrichtungen in dem Fall beschreibt, dass drei Wellenlängenarten verwendet werden. Wie in der 11 gezeigt wird, ist es in dem Fall, dass drei IR-Wellenlängenarten der Wellenlänge 1, der Wellenlänge 2 und einer Wellenlänge 3 verwendet werden, möglich, sieben Eingabeeinrichtungen der Eingabeeinrichtung 2-1A bis 2-1C und der Eingabeeinrichtungen 2-1D bis 2-1G zu unterscheiden, mit anderen Worten, sieben Personen. In diesem Fall werden als die IR-Kamera die Kamera 6A mit einem Bandpassfilter der Wellenlänge 1, die Kamera 6B mit einem Bandpassfilter der Wellenlänge 2 und eine Kamera 6C mit einem Bandpassfilter der Wellenlänge 3 verwendet.
Obwohl dies nicht gezeigt wird, ist es des Weiteren in dem Fall, dass vier IR-Wellenlängenarten verwendet werden, möglich, 15 Eingabeeinrichtungen zu unterscheiden, mit anderen Worten, 15 Personen.
Das Verfahren zum Unterscheiden der Eingabeeinrichtungen 2-1 ist hier bisher speziell beschrieben worden.
Als Nächstes erzeugt die Ausgabesignalerzeugungseinheit 103 der Informationsverarbeitungsvorrichtung 1 in dem Fall, dass die Position des identifizierten Pointers eine vorbestimmte Bedingung erfüllt, ein vorbestimmtes taktiles Stimulationssignal zur Ausgabe an die diesem Pointer entsprechende Eingabeeinrichtung 2-1 (Schritt S115). Zum Beispiel erzeugt in dem Fall, dass der Pointer das stereoskopische Objekt 30 überschneidet, die Ausgabesignalerzeugungseinheit 103 ein taktiles Stimulationssignal, um zu bewirken, dass der Nutzer wahrnimmt, dass die Eingabeeinrichtung 2-1 in Berührung mit dem stereoskopischen Objekt 30 kommt.
Dann überträgt die Informationsverarbeitungsvorrichtung 1 das erzeugte taktile Stimulationssignal aus der Kommunikationseinheit 11 zur Ziel-Eingabeeinrichtung 2-1 und bewirkt, dass die Eingabeeinrichtung 2-1 die taktile Stimulation ausgibt (Schritt S118).
<Anderes>
In dem oben beschriebenen Beispiel können 2ⁿ-1 Personen unter Verwendung von n Wellenlängenarten unterschieden werden. Indem allerdings die folgenden Pointer-Merkmale bereitgestellt werden, ist es möglich, viele weitere Personen zu unterscheiden.
(Markierungsform)
Es ist zum Beispiel unter Verwendung der Markierungsform des Pointers, der Größe der Markierung, der Ausrichtung der Markierung, der Position einer Punktlichtquelle, eines Zeichens aus einer linearen Lichtquelle oder Ähnliches möglich, die Anzahl der zu unterscheidenden Eingabeeinrichtungen weiter zu erhöhen. Die 12 ist eine grafische Darstellung, die einen Fall beschreibt, dass neun Eingabeeinrichtungen unter Verwendung von zwei Wellenlängenarten unterschieden werden.
In dem in der 12 gezeigten Beispiel wenden die Eingabeeinrichtungen 2-1A bis 2-1C, die Licht mit der Wellenlänge 1 emittieren, jeweils erste bis dritte Markierungen an, die Eingabeeinrichtungen 2-1D bis 2-1F, die Licht mit der Wellenlänge 2 emittieren, wenden jeweils die erste bis dritte Markierung an, und die Eingabeeinrichtung 2-1G und die Eingabeeinrichtungen 2-1H und 2-1I, die Licht mit der Wellenlänge 1 und der Wellenlänge 2 emittieren, wenden jeweils die erste bis dritte Markierung an.
Die Bestimmungseinheit 102 unterscheidet die Eingabeeinrichtungen 2-1 auf der Basis der Positionen und der Markierungsformen der Pointer-Koordinatenpaare P11 bis P16 eines Bildes 62, das von der Kamera 6A mit einem Bandpassfilter der Wellenlänge 1 aufgenommen wird, und der Pointer-Koordinatenpaare von P17 bis P22 eines Bildes 63, das von der Kamera 6B mit einem Bandpassfilter der Wellenlänge 2 aufgenommen wird. Die Lichtemissionswellenlänge und die Markierungsform jeder der Eingabeeinrichtungen 2-1 werden zum Beispiel im Voraus in der Speichereinheit 14 gespeichert.
Die Bestimmungseinheit 102 ist zum Beispiel in der Lage, unter Verwendung der Unterschiede der entsprechenden Wellenlängen und der entsprechenden Markierungsformen, die Eingabeeinrichtungen 2-1A bis 2-1C mit Bezug auf die Pointer-Koordinatenpaare P11 bis P13 im Bild 62 bzw. die Eingabeeinrichtungen 2-1D bis 2-1F mit Bezug auf die Pointer-Koordinatenpaare P17 bis P19 im Bild 63 zu bestimmen. Weil die Pointer-Koordinatenpaare P14 bis P16 des Bildes 62 im Wesentlichen die gleichen sind wie die Pointer-Koordinatenpaare P20 bis P22 des Bildes 63 bzw. die Markierungsformen der Pointer-Koordinatenpaare P14 bis P16 die gleichen sind wie die der Pointer-Koordinatenpaare P20 bis P22, ist des Weiteren die Bestimmungseinheit 102 in der Lage, die ihnen entsprechenden Eingabeeinrichtungen 2-1G bis 2-1I zu bestimmen.
(Merkmale während des Schwenkens)
Die Bestimmungseinheit 102 ist in der Lage, die Unterschiede auf der Basis des Zustands der Lichtemissionstrajektorie des Pointers zu erkennen, um die Eingabeeinrichtungen auch während des Schwenkens der Eingabeeinrichtungen 2 zu unterscheiden. Wenn der Pointer feststehend ist, kann jede Markierungsform erkannt werden, wie in der 12 gezeigt wird. Weil der Pointer abhängig vom Belichtungszeitraum unscharf wird, unterscheidet sich allerdings während des Schwenkens die Lichtemissionstrajektorie abhängig von den unterschiedlichen Markierungsformen und der Größe der Markierungen. Die Bestimmungseinheit 102 ist in der Lage, die entsprechenden Eingabeeinrichtungen 2 auf der Basis der Pointer-Merkmale zu bestimmen, wie zum Beispiel der Stärke oder der Hauptlinie der Lichtemissionstrajektorie und der Richtung, in der er geschwenkt wird.
(Zustand der Markierung)
Des Weiteren ist es möglich, die entsprechende Eingabeeinrichtung 2-1 auch zu bestimmen, indem die Helligkeitswerte des IR, das aus den Eingabeeinrichtungen 2-1 emittiert wird, unterschiedlich angelegt werden (das heißt, Unterschied der Helligkeit).
Des Weiteren ist es möglich, die entsprechende Eingabeeinrichtung 2-1 auch unter Verwendung des Unterschieds von Blinkmustern zu bestimmen, die durch blinkendes IR gewonnen werden, das aus den Eingabeeinrichtungen 2-1 emittiert wird.
(Verwenden einer High Frame Rate-Kamera)
Sogar in dem Fall, dass eine einzige Wellenlänge verwendet wird, ist die Informationsverarbeitungsvorrichtung 1 in der Lage, mehrere Eingabeeinrichtungen 2-1 zu unterscheiden, indem das Timing der Lichtemission der Eingabeeinrichtung 2-1 und das Timing des Verschlusses der Kamera 6 miteinander synchronisiert werden, so dass jeweilige Pointer jeweils nur in den Frames mit vorbestimmter Nummer (z. B. ein Vielfaches) abgebildet werden. Dies wird hier nachstehend speziell unter Bezugnahme auf die 13 beschrieben.
Die 13 ist eine grafische Darstellung, die in dieser Ausführungsform ein Verfahren zum Unterscheiden der Eingabeeinrichtungen in dem Fall beschreibt, dass eine High Frame Rate-Kamera verwendet wird. Die Informationsverarbeitungsvorrichtung 1 führt das Steuern durch, so dass jeweilige Pointer jeweils nur in den Frames mit vorbestimmter Nummer (z. B. ein Vielfaches) abgebildet werden, wie in der 13 gezeigt wird, indem das Timing der Lichtemission jeder Eingabeeinrichtung 2-1 und das Timing des Abbildens der Anzeigebildwand durch die Kamera 6 miteinander synchronisiert werden. Dementsprechend ist die Bestimmungseinheit 102 der Informationsverarbeitungsvorrichtung 1 in der Lage, zum Beispiel zu bestimmen, dass ein Pointer A, der in einem Frame 1 abgebildet wird, der zum Timing der Lichtemission der Eingabeeinrichtung 2-1A ermittelt wird, der Eingabeeinrichtung 2-1A entspricht, und dass ein Pointer B, der in einem Frame 2 abgebildet wird, der zum Timing der Lichtemission der Eingabeeinrichtung 2-1B ermittelt wird, der Eingabeeinrichtung 2-1B entspricht.
(Kombination in jedem Verfahren)
Es ist auch möglich, die Anzahl von zu unterscheidenden Eingabeeinrichtungen 2-1 unter Verwendung der Kombination von Mustern in jedem der oben erwähnten Verfahren weiter zu erhöhen. Zum Beispiel ist die Kombination mehrerer Wellenlängen, die in der oben erwähnten Ausführungsform beschrieben wird, vorstellbar.
(Kombination unterschiedlicher Verfahren)
Es ist auch möglich, die Anzahl von zu unterscheidenden Eingabeeinrichtungen 2-1 weiter zu erhöhen, indem die oben erwähnten unterschiedlichen Verfahren kombiniert werden. Zum Beispiel ist es in dem Fall, das zwei IR-Wellenlängenarten verwendet werden, möglich, viele weitere Personen zu unterscheiden, indem viele Unterscheidungsverfahren unter Verwendung der Form, Größe, Helligkeit, Blinken der Markierung und Ähnlichem kombiniert werden.
«4. Zweite Ausführungsform»
Als Nächstes wird eine Informationsverarbeitungsvorrichtung gemäß einer zweiten Ausführungsform unter Bezugnahme auf die 14 bis 20 beschrieben. In dieser Ausführungsform wird eine Eingabeeinrichtung 2-2, die eine IR-Emissionsfunktion aufweist, des Weiteren mit einem Sensor bereitgestellt, der Bewegung, Stellung oder Ähnliches detektiert, und die den jeweiligen Pointern entsprechenden Eingabeeinrichtungen 2-2 werden auf der Basis von Bewegung der Eingabeeinrichtungen 2-2 und des Bildes auf der Anzeigebildwand, das von der Kamera 6 aufgenommen wird, unterschieden.
<Konfiguration der Eingabeeinrichtung>
Die 14 ist ein Blockschaltbild, das ein Beispiel für eine Konfiguration der Eingabeeinrichtung 2-2 in dieser Ausführungsform zeigt. Wie in der 14 gezeigt wird, enthält die Eingabeeinrichtung 2-2 die Steuereinheit 20, die Bedieneinheit 21, die Lichtemissionseinheit 22, die Kommunikationseinheit 23, die Vibrationseinheit 24 und eine Sensoreinheit 25. Es sei angemerkt, dass die Komponenten, die sich von denen der Eingabeeinrichtung 2-1 in der ersten Ausführungsform unterscheiden, beschrieben werden und die Beschreibung gemeinsamer Komponenten weggelassen wird.
Die Steuereinheit 20 führt Steuern durch, so dass von der Sensoreinheit 25 detektierte Sensorinformationen über die Kommunikationseinheit 23 zur Informationsverarbeitungsvorrichtung 1 übertragen werden, zusätzlich zum Steuern der Lichtemissionseinheit 22 und der Vibrationseinheit 24.
Die Sensoreinheit 25 ist ein Sensor, der Bewegung oder Stellung der Eingabeeinrichtung 2-2 detektiert und zum Beispiel ein Sechs-Achsen-Sensor (insbesondere ein Beschleunigungssensor und ein Gyrosensor) und ein Stellungssensor (insbesondere ein Erdmagnetfeldsensor) sein kann. Es sei angemerkt, dass der Sechs-Achsen-Sensor und der Stellungssensor ein Beispiel für die Sensoreinheit 25 sind und dass diese Ausführungsform nicht darauf beschränkt ist. Zum Beispiel kann wenigstens einer von Folgenden, ein Beschleunigungssensor, ein Gyrosensor und ein Erdmagnetfeldsensor, verwendet werden, und ein Beschleunigungssensor, ein Vibrationssensor und Ähnliches kann des Weiteren verwendet werden.
<Operative Verarbeitung>
Als Nächstes wird die operative Verarbeitung in dieser Ausführungsform beschrieben. Die 15 ist ein Flussdiagramm, das die operative Verarbeitung in dieser Ausführungsform zeigt.
Wie in der 15 gezeigt wird, erfasst die Informationsverarbeitungsvorrichtung 1 zuerst von der Sensoreinheit 25 detektierte Informationen des Sechs-Achsen-Sensors, der an der Spitze der Eingabeeinrichtung 2-2 bereitgestellt wird (Schritt S203), und berechnet eine Geschwindigkeit v der Spitze der Eingabeeinrichtung 2-2 durch die Bestimmungseinheit 102. Die Eingabeeinrichtung 2-2 überträgt die von der Sensoreinheit 25 detektierten Sensorinformationen kontinuierlich zur Informationsverarbeitungsvorrichtung 1. Die 16 ist eine grafische Darstellung, die die Geschwindigkeitsberechnung in dem Unterscheidungsverfahren in dieser Ausführungsform beschreibt. Wie in der 16 gezeigt wird, wird die Sensoreinheit 25 an der Spitze der Eingabeeinrichtung 2-2 bereitgestellt. Der Nutzer schwenkt zum Beispiel die Eingabeeinrichtung 2-2, wobei er die Form einer Waffe, wie zum Beispiel eine Keule, imitiert, um ein stereoskopisches Objekt (in der 16 nicht gezeigt) vor seinen Augen anzugreifen, das auf die Bildwand 3 projiziert wird. Zu dieser Zeit berechnet die Bestimmungseinheit 102 die Geschwindigkeit v der Spitze der Eingabeeinrichtung 2-2 auf der Basis der Informationen des Sechs-Achsen-Sensors (insbesondere die Winkelgeschwindigkeit) und einer Länge 1 der Eingabeeinrichtung 2-2 durch folgende Formel. $v = \frac{Δ l θ}{Δ t}$
Als Nächstes erfasst die Informationsverarbeitungsvorrichtung 1 aus der Kamera 6 ein Bild der Bildwand 3, das im Wesentlichen zur gleichen Zeit wie der Zeit aufgenommen wird, zu der die Informationen des Sechs-Achsen-Sensors, die verwendet werden, wenn die Geschwindigkeit der Spitze berechnet wird, detektiert werden (Schritt S209).
Als Nächstes berechnet die Bestimmungseinheit 102 die Geschwindigkeit v einer Lichtemissionstrajektorie auf der Basis des Ergebnisses der Analyse des erfassten aufgenommenen Bildes durch die Informationsanalyseeinheit 101 (Schritt S212). Weil das IR von der Spitze der Eingabeeinrichtung 2-2 emittiert wird, wie in der 16 gezeigt wird, wird eine Lichtemissionstrajektorie 31 durch das IR auf der Bildwand 3 erzeugt, wenn der Nutzer die Eingabeeinrichtung 2-2 in Bezug auf die Bildwand 3 abwärts schwenkt. Die Bestimmungseinheit 102 berechnet die Geschwindigkeit v der Lichtemissionstrajektorie auf der Basis der Länge (Länge vom Startpunkt zum Endpunkt) und des Zeitraums (Zeitraum, während sich der Pointer vom Startpunkt zum Endpunkt bewegt) der Lichtemissionstrajektorie 31 im aufgenommenen IR-Bild zum Timing des Abwärtsschwenkens.
Unterdessen erfasst die Informationsverarbeitungsvorrichtung 1 Informationen des Stellungssensors zur gleichen Zeit (dem Timing, wenn der Nutzer die Eingabeeinrichtung 2-2 abwärts schwenkt) (Schritt S215), die von der Sensoreinheit 25 erfasst werden, die an der Spitze der Eingabeeinrichtung 2-2 bereitgestellt wird, und berechnet einen Abwärtsschwenkwinkel φ der Spitze der Eingabeeinrichtung 2-2 durch die Bestimmungseinheit 102.
Als Nächstes erfasst die Informationsverarbeitungsvorrichtung 1 aus der Kamera 6 ein Bild der Bildwand 3, das im Wesentlichen zur gleichen Zeit wie der Zeit aufgenommen wird, zu der die Informationen des Stellungssensors, die verwendet werden, wenn die Abwärtsschwenkwinkelinformationen berechnet werden, detektiert werden (Schritt S221).
Als Nächstes berechnet die Bestimmungseinheit 102 einen Winkel Φ der Lichtemissionstrajektorie auf der Basis des Ergebnisses der Analyse des erfassten aufgenommenen Bildes durch die Informationsanalyseeinheit 101 (Schritt S224).
Die 17 ist eine grafische Darstellung, die die Winkelberechnung im Unterscheidungsverfahren in dieser Ausführungsform beschreibt. Wie im oberen Teil der 17 gezeigt wird, wird die Lichtemissionstrajektorie 31 in einem IR-Kamerabild 65 abgebildet, das von der Kamera 6 aufgenommen wird. Die Bestimmungseinheit 102 ist in der Lage, den Winkel Φ der Lichtemissionstrajektorie 31 zur Zeit des Abwärtsschwenkens auf der Basis des Ergebnisses der Bildanalyse zu berechnen. Des Weiteren zeigt der untere Teil der 17 eine Ansicht von hinten, wenn der Nutzer die Eingabeeinrichtung 2-2 abwärts schwenkt. Die Bestimmungseinheit 102 berechnet den Abwärtsschwenkwinkel φ der Spitze der Eingabeeinrichtung 2-2 auf der Basis der von der Sensoreinheit 25 detektierten Informationen des Stellungssensors, die der Eingabeeinrichtung 2-2 bereitgestellt werden.
Als Nächstes bestimmt die Bestimmungseinheit 102 die der Lichtemissionstrajektorie entsprechende Eingabeeinrichtung 2-2 auf der Basis der Geschwindigkeit der Spitze der Eingabeeinrichtung 2-2 und der Geschwindigkeit der Lichtemissionstrajektorie 31 zur Zeit der Bedienung der Eingabeeinrichtung 2-2 und des Winkels der Spitze der Eingabeeinrichtung 2-2 und des Winkels der Lichtemissionstrajektorie 31 zur Zeit der Bedienung der Eingabeeinrichtung 2-2 (Schritt S227). In der 16 und der 17 werden der Einfachheit der Beschreibung halber nur eine Eingabeeinrichtung 2-2 und eine Lichtemissionstrajektorie 31 gezeigt. Weil tatsächlich viele Nutzer die Eingabeeinrichtungen 2-2 halten und die Eingabeeinrichtungen 2-2 bedienen, indem sie sie in Bezug auf das stereoskopische Objekt 30 schwenken, das auf die Bildwand 3 projiziert wird, wie in der 1 und in der 2 gezeigt wird, wird allerdings erwartet, dass viele Lichtemissionstrajektorien 31 im IR-Kamerabild 65 der Bildwand 3 zur gleichen Zeit erzeugt werden. Die Bestimmungseinheit 102 vergleicht die Geschwindigkeit und den Winkel zur Zeit der Bedienung der Eingabeeinrichtungen 2-2 mit der Geschwindigkeit und dem Winkel der Lichtemissionstrajektorien, um die der Lichtemissionstrajektorie entsprechende Eingabeeinrichtung 2-2 zu bestimmen. Genauer gesagt, bestimmt die Bestimmungseinheit 102 zum Beispiel in dem Fall, dass die folgende Formel erfüllt ist, dass die Eingabeeinrichtung 2-2 und die Lichtemissionstrajektorie einander entsprechen. Die linke Seite der folgenden Formel basiert darauf, dass die Geschwindigkeit v der Lichtemissionstrajektorie 31 abhängig von der Geschwindigkeit v der Spitze der Eingabeeinrichtung 2-2 geschätzt werden kann, indem der Abstand von einer Position des Nutzers zur Bildwand 3 in dem Fall berücksichtigt wird, dass der Bereich der Position des Nutzers im Voraus bekannt ist. $| V - \frac{L}{l} v | < ε_{1} U N D | Φ - φ | < ε_{2}$
Als Nächstes erzeugt die Ausgabesignalerzeugungseinheit 103 der Informationsverarbeitungsvorrichtung 1 in dem Fall, dass die Position oder die Bewegung der bestimmten Lichtemissionstrajektorie eine vorbestimmte Bedingung erfüllt, ein vorbestimmtes taktiles Stimulationssignal zur Ausgabe an die der Lichtemissionstrajektorie entsprechende Eingabeeinrichtung 2-2 (Schritt S230). Zum Beispiel erzeugt in dem Fall, dass die Lichtemissionstrajektorie das stereoskopische Objekt 30 überschneidet, die Ausgabesignalerzeugungseinheit 103 ein taktiles Stimulationssignal, das bewirkt, dass der Nutzer wahrnimmt, dass die Eingabeeinrichtung 2-2 in Berührung mit dem stereoskopischen Objekt 30 kommt.
Dann überträgt die Informationsverarbeitungsvorrichtung 1 das erzeugte taktile Stimulationssignal aus der Kommunikationseinheit 11 zur Ziel-Eingabeeinrichtung 2-2 und bewirkt, dass die Eingabeeinrichtung 2-2 die taktile Stimulation ausgibt (Schritt S233).
Die operative Verarbeitung in der zweiten Ausführungsform ist hier bisher speziell beschrieben worden. Es sei angemerkt, dass, obwohl die Genauigkeit der Bestimmung erhöht wird, indem beide Bedingungen der Geschwindigkeit und des Winkels in der oben erwähnten operativen Verarbeitung verwendet werden, diese Ausführungsform nicht darauf beschränkt ist, und es ist möglich, die Bestimmung unter Verwendung nur einer der Bedingungen durchzuführen.
Weil das Unterscheidungsverfahren des Weiteren auf der Geschwindigkeit der Bedienung der Eingabeeinrichtung basiert, ist es auch möglich, eine Geschwindigkeit v' zu berechnen, die nicht von der Länge 1 abhängig ist, um die entsprechende Eingabeeinrichtung 2-2 zu bestimmen. Dies wird hier nachstehend unter Bezugnahme auf die 18 beschrieben.
Die 18 ist eine grafische Darstellung, die ein anderes Beispiel für die Geschwindigkeitsberechnung im Unterscheidungsverfahren in dieser Ausführungsform beschreibt. Unter Berücksichtigung eines Abstands L von der Position des Nutzers zur Bildwand 3 in dem Fall, dass der Bereich der Position des Nutzers und die von der Sensoreinheit 25 detektierten Informationen des Sechs-Achsen-Sensors (insbesondere die Winkelgeschwindigkeit), die der Eingabeeinrichtung 2-2 bereitgestellt werden, bekannt sind, ermittelt die Bestimmungseinheit 102, wie in der 18 gezeigt wird, die Geschwindigkeit v', die nicht von der Länge der Eingabeeinrichtung 2-2 abhängig ist, unter Verwendung der folgenden Formel. $V' = \frac{Δ θ}{Δ t} L$
In dem Fall, dass zur gleichen Zeit die folgende Formel erfüllt ist, bestimmt die Bestimmungseinheit 102 dann, dass die Eingabeeinrichtung 2-2 und die Lichtemissionstrajektorie einander entsprechen. $| V - \frac{L}{l} v | < ε_{1} O D E R | V - V' | < ε_{2}$
< Erstes modifiziertes Beispiel>
Obwohl ein Unterscheidungsverfahren unter Verwendung von Sensorinformationen, die von der Sensoreinheit 25 der Eingabeeinrichtung 2-2 detektiert werden, in dem oben beschriebenen Beispiel beschrieben worden ist, ist diese Ausführungsform nicht darauf beschränkt. Indem zum Beispiel eine IR-Kamera bereitgestellt wird, die einen Nutzer abbildet, und ein Bild, das von der IR-Kamera aufgenommen wird, verwendet wird, ist es möglich, eine der Lichtemissionstrajektorie entsprechende Eingabeeinrichtung zu bestimmen, ohne von der Sensoreinheit 25 ermittelte Sensorinformationen zu verwenden. Dies wird hier nachstehend unter Bezugnahme auf die 19 und die 20 beschrieben.
Die 19 ist ein Flussdiagramm, das die operative Verarbeitung in einem ersten modifizierten Beispiel der zweiten Ausführungsform zeigt. Wie in der 19 gezeigt wird, erfasst zuerst die Informationsverarbeitungsvorrichtung 1 ein Bild (IR-Kamerabild 67), das von einer Kamera 6b (z. B. einer IR-Kamera) aufgenommen wird, das Bewegung eines Nutzers von vorne abbildet (Schritt S303). Die 20 ist eine grafische Darstellung, die die Geschwindigkeitsberechnung und die Winkelberechnung in einem Unterscheidungsverfahren in diesem modifizierten Beispiel beschreibt. Wie in der 20 gezeigt wird, sind in diesem modifizierten Beispiel eine Kamera 6a (IR-Kamera), die die Bildwand 3 abbildet, und die Kamera 6b (IR-Kamera), die die Bewegung des Nutzers (d. h. die Bewegung der Eingabeeinrichtung 2-1) von vorne abbildet, platziert. Die Konfiguration der Eingabeeinrichtung 2-1 ist ähnlich der in der ersten Ausführungsform, die unter Bezugnahme auf die 8 beschrieben wird. An der Spitze der Eingabeeinrichtung 2-1 wird die Lichtemissionseinheit 22, die IR emittiert, bereitgestellt.
Als Nächstes analysiert die Informationsanalyseeinheit 101 das aufgenommene Bild (IR-Kamerabild 66), das von der Kamera 6b erfasst wird, und erkennt die Bewegungstrajektorie der Eingabeeinrichtung 2-1 (Schritt S306). Die Bewegungstrajektorie der Eingabeeinrichtung 2-1 ist zum Beispiel die Trajektorie der Spitze der Eingabeeinrichtung 2-1.
Als Nächstes berechnet die Bestimmungseinheit 102 die Geschwindigkeit und den Winkel der Bewegungstrajektorie auf der Basis des Ergebnisses der Bildanalyse (Schritt S309). Wie in der 20 gezeigt wird, berechnet die Bestimmungseinheit 102 insbesondere die Geschwindigkeit v und den Winkel φ einer Bewegungstrajektorie 29, die anhand des IR-Kamerabilds 66 erkannt wird.
Unterdessen erfasst die Informationsverarbeitungsvorrichtung 1 ein von der Kamera 6a (IR-Kamera) aufgenommenes Bild, das die Anzeigebildwand der Bildwand 3 abbildet (Schritt S312).
Als Nächstes analysiert die Informationsanalyseeinheit 101 das von der Kamera 6a erfasste, aufgenommene Bild und erkennt die Lichtemissionstrajektorie (Schritt S315).
Als Nächstes berechnet die Bestimmungseinheit 102 die Geschwindigkeit und den Winkel der Lichtemissionstrajektorie auf der Basis des Ergebnisses der Bildanalyse (Schritt S318). Wie in der 20 gezeigt wird, berechnet die Bestimmungseinheit 102 insbesondere die Geschwindigkeit v und den Winkel Φ der Lichtemissionstrajektorie 31, die anhand des IR-Kamerabilds 67 erkannt wird.
Als Nächstes bestimmt die Bestimmungseinheit 102 die der Lichtemissionstrajektorie entsprechende Eingabeeinrichtung 2-1 auf der Basis der Geschwindigkeit der Spitze der Eingabeeinrichtung 2-1 (d. h. der Geschwindigkeit der Bewegungstrajektorie 29) und der Geschwindigkeit der Lichtemissionstrajektorie 31 zur Zeit der Bedienung der Eingabeeinrichtung 2-1 und des Winkels der Spitze der Eingabeeinrichtung 2-1 (d. h. des Winkels der Bewegungstrajektorie 29) und des Winkels der Lichtemissionstrajektorie 31 zur Zeit der Bedienung der Eingabeeinrichtung 2-1 (Schritt S321). In der 20 werden der Einfachheit der Beschreibung halber nur eine Eingabeeinrichtung 2-1 und eine Lichtemissionstrajektorie 31 gezeigt. Weil tatsächlich viele Nutzer die Eingabeeinrichtungen 2-1 halten und die Eingabeeinrichtungen 2-1 bedienen, indem sie sie in Bezug auf das stereoskopische Objekt 30 schwenken, das auf die Bildwand 3 projiziert wird, wie in der 1 und in der 2 gezeigt wird, wird allerdings erwartet, dass viele Lichtemissionstrajektorien 31 im IR-Kamerabild 67 der Bildwand 3 zur gleichen Zeit erzeugt werden. Die Bestimmungseinheit 102 vergleicht die Geschwindigkeit und den Winkel der Bewegungstrajektorie der Eingabeeinrichtungen 2-1 mit der Geschwindigkeit und dem Winkel der Lichtemissionstrajektorien, um die der Lichtemissionstrajektorie entsprechende Eingabeeinrichtung 2-1 zu bestimmen. Die Kamera 6b kann für jeden Nutzer platziert werden. Alternativ können mehrere Personen zusammen abgebildet werden. In dem Fall, dass Positionen der Nutzer größtenteils bestimmt sind, kann zum Beispiel auf der Basis der Reihenfolge der Anordnung bestimmt werden, welche Bewegungstrajektorie welcher Eingabeeinrichtung entspricht.
Genauer gesagt, bestimmt die Bestimmungseinheit 102 zum Beispiel in Bezug auf die Bestimmung der der Lichtemissionstrajektorie entsprechenden Eingabeeinrichtung 2-1, dass die Eingabeeinrichtung 2-1 und die Lichtemissionstrajektorie 31 einander in dem Fall entsprechen, dass die Geschwindigkeit und der Winkel die folgende Formel erfüllen. Die linke Seite der folgenden Formel basiert darauf, dass die Geschwindigkeit v der Lichtemissionstrajektorie 31 abhängig von der Geschwindigkeit v der Spitze der Eingabeeinrichtung 2-1 geschätzt werden kann, indem der Abstand L von einer Position des Nutzers zur Bildwand 3 in dem Fall berücksichtigt wird, dass der Bereich der Position des Nutzers im Voraus bekannt ist. $| V - \frac{L}{l} v | < ε_{1} U N D | Φ - φ | < ε_{2}$
Als Nächstes erzeugt die Ausgabesignalerzeugungseinheit 103 der Informationsverarbeitungsvorrichtung 1 in dem Fall, dass die Position oder die Bewegung der bestimmten Lichtemissionstrajektorie eine vorbestimmte Bedingung erfüllt, ein vorbestimmtes taktiles Stimulationssignal zur Ausgabe an die der Lichtemissionstrajektorie entsprechende Eingabeeinrichtung 2-1 (Schritt S324). Zum Beispiel erzeugt in dem Fall, dass die Lichtemissionstrajektorie das stereoskopische Objekt 30 überschneidet, die Ausgabesignalerzeugungseinheit 103 ein taktiles Stimulationssignal, das bewirkt, dass der Nutzer wahrnimmt, dass die Eingabeeinrichtung 2-1 in Berührung mit dem stereoskopischen Objekt 30 kommt.
Dann überträgt die Informationsverarbeitungsvorrichtung 1 das erzeugte taktile Stimulationssignal aus der Kommunikationseinheit 11 zur Ziel-Eingabeeinrichtung 2-1 und bewirkt, dass die Eingabeeinrichtung 2-1 die taktile Stimulation ausgibt (Schritt S327).
<Zweites modifiziertes Beispiel>
Obwohl in dem oben beschriebenen Beispiel ein von der Kamera 6 aufgenommenes IR-Bild, das die Bildwand 3 abbildet, analysiert wird, um die Lichtemissionstrajektorie auf der Bildwand 3 zu erkennen, ist diese Ausführungsform nicht darauf beschränkt. Indem zum Beispiel IR-Sensoren um die Bildwand 3 angeordnet werden, kann die Lichtemissionstrajektorie auf der Bildwand 3 auf der Basis der Detektionsergebnisse der IR-Sensoren geschätzt werden, ohne die Kamera 6 zu verwenden, die die Bildwand 3 abbildet. Dies wird hier nachstehend speziell unter Bezugnahme auf die 21 bis 25 beschrieben.
Die 21 ist eine grafische Darstellung, die einen Überblick über dieses modifizierte Beispiel beschreibt. Wie in der 21 gezeigt wird, sind IR-Sensoren 8 um die Bildwand 3 angeordnet. Die IR-Sensoren 8 sind in zwei Spalten um die Bildwand 3 angeordnet, und die beiden Spalten enthalten zum Beispiel eine äußere Spalte 80 IR-Sensoren und eine innere Spalte 81 IR-Sensoren. In dem in der 21 gezeigten Beispiel sind des Weiteren die Spalte 80 IR-Sensoren und die Spalte 81 IR-Sensoren auf der oberen Seite und sowohl auf der rechten als auch auf der linken Seite der Bildwand angeordnet. Jeder der IR-Sensoren überträgt das Detektionsergebnis an die Informationsverarbeitungsvorrichtung 1.
Wenn ein Nutzer zum Beispiel eine Eingabeeinrichtung 2A, die IR emittiert, in Bezug auf die Bildwand 3 schwenkt, wird das emittierte IR sequentiell von einem äußeren IR-Sensor 80-1 und einem inneren IR-Sensor 81-1 auf der oberen Seite detektiert. In diesem Fall schätzt die Steuereinheit 10 der Informationsverarbeitungsvorrichtung 1, dass eine Lichtemissionstrajektorie 32 auf einer Verlängerungslinie einer Linie erzeugt wird, die den äußeren IR-Sensor 80-1 und den inneren IR-Sensor 81-1 verbindet.
Wenn des Weiteren ein anderer Nutzer zum Beispiel eine Eingabeeinrichtung 2B in Bezug auf die Bildwand 3 schwenkt, wird das emittierte IR sequentiell von einem äußeren IR-Sensor 80-2 und einem inneren IR-Sensor 81-2 auf der linken Seite detektiert. In diesem Fall schätzt die Steuereinheit 10 der Informationsverarbeitungsvorrichtung 1, dass eine Lichtemissionstrajektorie 33 auf einer Verlängerungslinie einer Linie erzeugt wird, die den äußeren IR-Sensor 80-2 und den inneren IR-Sensor 81-2 verbindet.
Ein Fall, dass das aus der Eingabeeinrichtung 2 emittierte IR sequentiell von einem inneren IR-Sensor 81-n und einem äußeren IR-Sensor 80-n detektiert wird, nachdem er über die Bildwand 3 gelaufen ist, wird ebenfalls angenommen. Des Weiteren wird berücksichtigt, dass es sich in dem Fall, dass der Zeitraum von seiner Detektion durch den äußeren IR-Sensor 80-n bis zu seiner Detektion durch den inneren IR-Sensor 81-n lang ist und die Bewegung der Eingabeeinrichtung 2 zu langsam ist, nicht um eine Bedienung, wie zum Beispiel einen Angriff auf das stereoskopische Objekt 30, handelt. In dieser Beziehung kann die Steuereinheit 10 in dem Fall, dass eine Detektionszeit t1 vom äußeren IR-Sensor 80-n und eine Detektionszeit t2 vom inneren IR-Sensor 81-n die folgende Formel erfüllen, die Lichtemissionstrajektorie durch Bezugnahme darauf schätzen, dass das IR von der Seite eintritt, auf der diese IR-Sensoren angeordnet sind. $0 < t2 - t1 < Tth$
Unter Verwendung der IR-Sensoren 8, die um die Bildwand 3 wie beschrieben angeordnet sind, kann die Lichtemissionstrajektorie genauer geschätzt werden, weil sie nicht auf dem von der Bildwand 3 reflektierten Licht des IR basiert, sondern auf dem Ergebnis des direkten Detektierens des IR.
In Bezug auf die Bestimmung der der geschätzten Lichtemissionstrajektorie entsprechenden Eingabeeinrichtung 2, zum Beispiel durch Vergleichen der Geschwindigkeit (die vom Sechs-Achsen-Sensor der Eingabeeinrichtung 2 detektiert oder durch Analysieren des Bildes des Nutzers berechnet werden kann) der Eingabeeinrichtung 2 und der Geschwindigkeit der Lichtemissionstrajektorie, wird des Weiteren die entsprechende Eingabeeinrichtung 2 in dem Fall bestimmt, dass die linke Seite der in „Formel 3“ gezeigten Formel oder die linke Seite der in „Formel 6“ gezeigten Formel erfüllt ist.
Jetzt wird die Berechnung der Geschwindigkeit der geschätzten Lichtemissionstrajektorie unter Bezugnahme auf die 22 beschrieben. In dem Fall, dass sie sequentiell vom äußeren IR-Sensor 80-1 und dem inneren IR-Sensor 81-1, wie in der 22 gezeigt, detektiert wird, wird die durch die folgende Formel ermittelte Geschwindigkeit v als die Geschwindigkeit der Lichtemissionstrajektorie geschätzt. In der folgenden Formel stellt t1 eine Detektionszeit durch den äußeren IR-Sensor 80-1 dar, t2 stellt eine Detektionszeit durch den inneren IR-Sensor 81-1 dar, x stellt einen Trennabstand zwischen dem äußeren IR-Sensor 80-1 und dem inneren IR-Sensor 81-1 in der horizontalen Richtung, wie in der 22 gezeigt, dar, y stellt einen Trennabstand zwischen dem äußeren IR-Sensor 80-1 und dem inneren IR-Sensor 81-1 in der vertikalen Richtung dar, und ein Abstand L stellt einen linearen Abstand zwischen dem äußeren IR-Sensor 80-1 und dem inneren IR-Sensor 81-1 dar. $\begin{matrix} Z e i t T = t_{2} - t_{1} \\ W i n k e l θ = arctan (\frac{x}{y}) \\ A b s t a n d L = \sqrt{x^{2} + y_{2}} \\ G e s c h w i n d i g k e i t v = \frac{L}{T} \end{matrix}$
Des Weiteren ist die Anordnung der IR-Sensoren 8, die um die Bildwand 3 angeordnet sind, nicht auf das in der 21 gezeigte Beispiel beschränkt. Wie zum Beispiel in der 23 gezeigt wird, können die IR-Sensoren 8 in drei oder mehr Spalten angeordnet sein. In der 23 werden IR-Sensoren 8A gezeigt, die eine äußere Spalte 82 IR-Sensoren, eine mittlere Spalte 83 IR-Sensoren und eine innere Spalte IR-Sensoren 84 enthalten. In diesem Fall wird das IR sequentiell von einem äußeren IR-Sensor 82-1, einem mittleren IR-Sensor 83-1 und einem inneren IR-Sensor 84-1 detektiert, und es wird geschätzt, dass die Lichtemissionstrajektorie auf einer Verlängerungslinie einer Linie liegt, die diese IR-Sensoren verbindet. Es sei angemerkt, dass, weil die Detektion von wenigstens zwei Spalten nötig ist, um die Lichtemissionstrajektorie zu schätzen, es durch Anordnen der IR-Sensoren in drei oder mehr Spalten möglich ist, die Lichtemissionstrajektorie sogar in dem Fall zu schätzen, dass die Detektion irgendeiner der Spalten scheitert.
Die 24 ist eine grafische Darstellung, die einen Fall beschreibt, dass mehrere IR-Sensoren das IR zur gleichen Zeit detektieren. Es wird zum Beispiel erwartet, dass in dem Fall, dass IR durch die IR-Sensoren 8A in drei Spalten mit einer ausreichend hohen Geschwindigkeit läuft, das IR von mehreren IR-Sensoren 82-1, 83-1 und 84-1 zur gleichen Zeit detektiert wird, wie in der 24 gezeigt wird. Des Weiteren wird erwartet, dass in dem Fall, dass die Größe der Abstrahlung groß ist, das IR auch von den umgebenden IR-Sensoren 82-2, 82-3, 83-2, 83-3, 84-2 und 84-3 detektiert wird, wie in der 24 gezeigt wird. In diesem Fall ist die Steuereinheit 10 der Informationsverarbeitungsvorrichtung 1 in der Lage, die Lichtemissionstrajektorie zu schätzen, indem sie die Mittelachse anhand der Intensitätsverteilung auf der Basis der Detektionsergebnisse der IR-Sensoren bestimmt.
Die 25 ist eine grafische Darstellung, die die Synchronisationssteuerung des Timings der Lichtemission und des Timings der Detektion beschreibt. In diesem modifizierten Beispiel ist es dadurch, dass das Timing der IR-Emission der Eingabeeinrichtung 2 und das Timing der IR-Detektion des IR-Sensors 8 miteinander so synchronisiert werden, dass das IR aus jeder Eingabeeinrichtung 2 nur zu spezifischem Timing detektiert wird, möglich, mehrere Personen sogar mit einer einzelnen Wellenlänge zu unterscheiden (mehrere Eingabeeinrichtungen 2 zu unterscheiden). Die Steuereinheit 10 der Informationsverarbeitungsvorrichtung 1 bestimmt zum Beispiel, dass das Detektionsergebnis des IR-Sensors, das zum Timing der Lichtemission der Eingabeeinrichtung 2A erfasst wird, der Eingabeeinrichtung 2A entspricht und dass das Detektionsergebnis des IR-Sensors, das zum Timing der Lichtemission der Eingabeeinrichtung 2B erfasst wird, der Eingabeeinrichtung 2B entspricht. Wenn dann zum Beispiel Detektionsergebnisse des äußeren IR-Sensors und des inneren IR-Sensors erfasst werden, die der Eingabeeinrichtung 2A entsprechen, schätzt die Steuereinheit 10, dass die Lichtemissionstrajektorie der Eingabeeinrichtung 2A auf einer Verlängerungslinie einer Linie liegt, die diese IR-Sensoren verbindet.
Obwohl der IR-Sensor als ein Beispiel für den Sensor verwendet wird, der im zweiten modifizierten Beispiel nicht sichtbares Licht detektiert, ist diese Ausführungsform nicht darauf beschränkt, und andere Sensoren, die in der Lage sind, Licht zu detektieren, das aus der Eingabeeinrichtung 2 emittiert wird, können angeordnet werden.
«5. Ergänzende Anmerkung»
Als Nächstes wird zusätzlich ein Informationsverarbeitungssystem gemäß einer Ausführungsform der vorliegenden Offenbarung beschrieben.
Obwohl ein Fall, dass nicht sichtbares Licht, wie zum Beispiel Infrarotstrahlen, als eine Eingabe der Eingabeeinrichtung 2 emittiert wird, in der oben erwähnten Ausführungsform beschrieben worden ist, ist die vorliegende Offenbarung nicht darauf beschränkt, und die Lichtquelle kann eine Quelle sichtbaren Lichts sein oder eine Geräuschquelle mit einer Richtcharakteristik. In dem Fall, dass sichtbares Licht emittiert wird, wird die Bildwand beeinflusst und der Nutzer kann die Rückmeldung empfinden, weil der Nutzer sehen kann, wo auf der Bildwand seine Eingabeeinrichtung 2 das sichtbare Licht anwendet.
Die Lichtquelle oder die Geräuschquelle aus der Eingabeeinrichtung 2 kann nur während der Zeit ausgegeben werden, in der der Nutzer die Eingabeeinrichtung 2 durch die Bedieneinheit 21 bedient, die an der Eingabeeinrichtung 2 bereitgestellt ist, und die Eingabe eingeschaltet ist.
Als Nutzungsform dieses Informationsverarbeitungssystems wird ein Fall angenommen, dass mehrere Personen eine Anzeigebildwand oder eine spezifische Fläche oder ein Objekt (einschließlich einem realen Objekt) gemeinsam nutzen.
Die Bestimmungseinheit 102 ist in der Lage, die Eingabeeinrichtung auch dadurch zu bestimmen, dass die Projektionsrichtung (Einfallswinkel) in Bezug auf die Bildwand 3 auf der Basis der Reflexionsstärke auf der Bildwand 3 geschätzt wird. Insbesondere, wenn die Helligkeit (Helligkeitswerte) der Eingabeeinrichtungen 2 unterschiedlich angelegt werden, um die entsprechende Eingabeeinrichtung 2 unter Verwendung des Helligkeitsunterschieds zu bestimmen, ist die Bestimmungseinheit 102 in der Lage, die Eingabeeinrichtung auf der Basis der Reflexionsstärke und der Projektionsrichtung auf der Bildwand 3 in einem aufgenommenen Bild der Bildwand 3 zu bestimmen. Zu dieser Zeit ist die Position des Nutzers in Bezug auf die Bildwand 3 größtenteils fest und bekannt.
Die Eingabeeinrichtung 2 kann Licht aus der Lichtemissionseinheit 22 emittieren und Echtzeitsensorinformationen, die von der Sensoreinheit 25 detektiert werden, von der Kommunikationseinheit 23 zur Informationsverarbeitungsvorrichtung 1 nur übertragen, wenn die Bedieneinheit 21 bedient wird und die Eingabe eingeschaltet ist. Des Weiteren kann die Eingabeeinrichtung 2 vorbestimmte Schwellenwertbestimmung oder vorbestimmte Gestenerkennung auf der Basis von Sensorinformationen durchführen und Steuern durchführen, so dass die Eingabe eingeschaltet wird und Licht aus der Lichtemissionseinheit 22 nur in dem Fall emittiert wird, dass Bedingungen erfüllt sind. Zum Beispiel kann die Eingabeeinrichtung 2 Steuern durchführen, so dass Licht aus der Lichtemissionseinheit 22 emittiert wird und Sensorinformationen nur in dem Fall übertragen werden, dass die Eingabeeinrichtung 2 mit einer Geschwindigkeit geschwenkt wird, deren Wert gleich oder größer als ein vorbestimmter Wert ist, oder dass vorbestimmte Bewegung durchgeführt wird. Es sei angemerkt, dass sich die Eingabeeinrichtung 2, nachdem einmal Sensorinformationen übertragen worden sind oder Licht emittiert worden ist, für einen vorbestimmten Zeitraum in einem Ruhemodus befinden kann.
Des Weiteren ist die Informationsverarbeitungsvorrichtung 1 in der Lage, die Genauigkeit der Bestimmung der Eingabeeinrichtung 2 zu verbessern, indem sie für jeden Nutzer lernt, wie der Nutzer die Eingabeeinrichtung 2 schwenkt.
In dem Fall, dass Nutzer einzeln identifiziert werden können, ist es auch möglich, für jeden Nutzer unterschiedliche taktile Stimulationssignale oder Audiosignale darzustellen. Weil zum Beispiel Erwachsene und Kinder in einigen Fällen unterschiedliche Kräfte zum Wahrnehmen von Vibration aufweisen, kann das taktile Stimulationssignal abhängig von der Situation geändert werden, so dass die Erwachsenen und die Kinder ähnliche Vibration wahrnehmen können. Des Weiteren ist es auch möglich, die verwendete Sprache und Ähnliches der dargestellten Informationen abhängig von der Attributierung des Nutzers zu ändern. Des Weiteren kann ein schwaches taktiles Stimulationssignal für Senioren, Schwangere, Verletzte, Körperbehinderte und Ähnliche erzeugt werden.
Weil die Informationsverarbeitungsvorrichtung 1 durch die Bestimmung der Eingabeeinrichtung 2 weiß, wer welches stereoskopische Objekt 30 angreift, kann die visuelle Rückmeldung oder die visuelle Wirkung auf der Bildwand 3 abhängig davon, wer angreift, geändert werden.
Die Kombination der n Wellenlängenarten und der in der ersten Ausführungsform beschriebenen Eingabeeinrichtungen 2 kann dynamisch geändert werden. Zum Beispiel bewirkt in dem Fall, dass ein erster Nutzer die Eingabeeinrichtung 2a bedient, die Informationsverarbeitungsvorrichtung 1, dass die Eingabeeinrichtung 2a Licht mit einer ersten Wellenlänge emittiert. In dem Fall, dass ein zweiter Nutzer die Eingabeeinrichtung 2b während der Bedienung durch den ersten Nutzer bedient, bewirkt die Informationsverarbeitungsvorrichtung 1, dass die Eingabeeinrichtung 2b Licht mit einer zweiten Wellenlänge emittiert. Als Nächstes bewirkt in dem Fall, dass der erste Nutzer die Bedienung der Eingabeeinrichtung 2a beendet und ein dritter Nutzer eine Eingabeeinrichtung 2c während der Bedienung der Eingabeeinrichtung 2b durch den zweiten Nutzer bedient, die Informationsverarbeitungsvorrichtung 1, dass die Eingabeeinrichtung 2c Licht mit der ersten Wellenlänge emittiert. Als Nächstes bewirkt in dem Fall, dass der erste Nutzer die Eingabeeinrichtung 2a während der Bedienung durch den zweiten Nutzer und den dritten Nutzer erneut bedient, die Informationsverarbeitungsvorrichtung 1, dass die Eingabeeinrichtung 2a Licht mit der ersten Wellenlänge und der zweiten Wellenlänge (mehrere Wellenlängen) emittiert. Wie oben beschrieben wird, ist die Informationsverarbeitungsvorrichtung 1 in der Lage, wenn sie Steuern der Lichtemission während der Bedienungen der Eingabeeinrichtungen 2 (oder wenn Eingaben eingeschaltet sind) durchführt, die Anzahl der Personen zu erhöhen, die zur gleichen Zeit zu unterscheiden sind, indem sie Steuern durchführt, so dass Licht mit einer Wellenlänge emittiert wird, die keine Wellenlänge ist, mit der anderes Licht emittiert wird. Zum Beispiel ist es unter Verwendung von zwei Wellenlängenarten möglich, vier oder mehr Personen zu unterscheiden.
In dem Fall, dass das Bestimmen der dem Pointer entsprechenden Eingabeeinrichtung 2 scheitert, kann die Informationsverarbeitungsvorrichtung 1 des Weiteren die Rückmeldung eines besseren Pointers (eines Pointers, der Bedingungen erfüllt) von mehreren Pointern an die Eingabeeinrichtungen 2 übertragen, bei der das Bestimmen durch die Informationsverarbeitungsvorrichtung 1 scheitert.
Des Weiteren kann die Informationsverarbeitungsvorrichtung 1 verschiedene Schwellenwerte für jede Eingabeeinrichtung 2 im Voraus kalibrieren. Dementsprechend ist es zum Beispiel möglich, den Fall zu unterstützen, dass die Lichtemissionsintensität abgeschwächt ist, und den einzelnen Unterschied vieler Eingabeeinrichtungen 2 zu reduzieren. Für jede Attributierung des Nutzers (Erwachsener, Kind oder Senior) können des Weiteren verschiedene Schwellenwerte kalibriert werden. Zum Beispiel wird in dem Fall, dass Steuern der Lichtemission durchgeführt wird, wenn die Eingabeeinrichtung 2 mit einer gewissen Geschwindigkeit oder mehr geschwenkt wird, der Schwellenwert zum Durchführen des Steuerns der Lichtemission abhängig von der Attributierung des Nutzers eingestellt, weil es einen Unterschied in der Kraft zwischen Erwachsenen und Kindern gibt.
Durch Kombinieren der oben erwähnten Unterscheidungsverfahren ist es des Weiteren möglich, die Anzahl der zu unterscheidenden Eingabeeinrichtungen 2 zu erhöhen (d. h. die Anzahl der einzeln zu identifizierenden Personen).
<<Fazit>>
Wie oben beschrieben wird, ist es in einem Informationsverarbeitungssystem gemäß einer Ausführungsform der vorliegenden Offenbarung möglich, eine intuitive taktile Schnittstelle mit mehr Realismus zu erreichen, die auf der Basis von Eingaben aus mehreren Eingabeeinrichtungen vorbestimmte taktile Stimulation für entsprechende Eingabeeinrichtungen darstellt.
Obwohl vorteilhafte Ausführungsformen der vorliegenden Offenbarung ausführlich unter Bezugnahme auf die zugehörigen Zeichnungen beschrieben worden sind, ist die vorliegende Offenbarung nicht auf solche Ausführungsformen beschränkt. Es ist offensichtlich, dass sich ein Fachmann auf dem technischen Gebiet der vorliegenden Offenbarung verschiedene modifizierte Beispiele innerhalb des Schutzbereichs der technischen Idee vorstellen kann, die im Schutzbereich der beigefügten Ansprüche beschrieben wird, und es versteht sich, dass diese Beispiele natürlich in den technischen Schutzbereich der vorliegenden Offenbarung gehören.
Es ist zum Beispiel möglich, ein Computerprogramm zu erstellen, das bewirkt, dass Hardware, wie zum Beispiel die CPU (Central Processing Unit), das ROM (Read-Only Memory) und das RAM (Random Access Memory), die in der Informationsverarbeitungsvorrichtung 1 oder der Eingabeeinrichtung 2, die oben beschrieben werden, integriert ist, die Funktion der Informationsverarbeitungsvorrichtung 1 oder der Eingabeeinrichtung 2 ausübt. Des Weiteren wird auch ein computerlesbares Speichermedium bereitgestellt, das das Computerprogramm speichert.
Des Weiteren sind die hier beschriebenen Wirkungen lediglich beschreibend oder beispielhaft und nicht einschränkend. Das heißt, die Technologie gemäß der vorliegenden Offenbarung kann andere Wirkungen ausüben, wie für einen Fachmann anhand der Beschreibung der vorliegenden Spezifikation offensichtlich ist und die zusätzlich zu oder anstelle der oben erwähnten Wirkungen bereitgestellt werden können.
<< Zur Übertragungsverzögerung>>
In jeder der oben erwähnten Ausführungsformen tritt Verzögerung auf, wenn die Kommunikationseinheit 11 der Informationsverarbeitungsvorrichtung 1 und die Kommunikationseinheit 23 der Eingabeeinrichtung 2 drahtlose Kommunikation durchführen. Mit dieser Verzögerung kann wie folgt umgegangen werden.
Die 26 ist ein Blockschaltbild, das eine Konfiguration eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Erfindung zeigt. Wie in der 26 gezeigt wird, enthält die Informationsverarbeitungsvorrichtung 1 die Kommunikationseinheit 11, eine Timing-Erzeugungseinheit 111 und eine Belichtungssteuerung 112. Des Weiteren enthält die Eingabeeinrichtung 2 die Kommunikationseinheit 23, eine Lichtemissionssteuerung 211 und die Lichtemissionseinheit 22. Andere Konfigurationen der Informationsverarbeitungsvorrichtung 1 und der Eingabeeinrichtungen 2 sind ähnlich wie die in den oben erwähnten Ausführungsformen.
Die Timing-Erzeugungseinheit 111 erzeugt ein Timing-Signal und führt der Belichtungssteuerung 112 und der Lichtemissionssteuerung 211 das erzeugte Timing-Signal zu.
Die Belichtungssteuerung 112 ist mit der Kamera 6 verbunden und steuert die Belichtung (Verschluss) der Kamera als Reaktion auf das Timing-Signal, das aus der Timing-Erzeugungseinheit 111 zugeführt wird. Die Lichtemissionssteuerung 211 steuert die Lichtemission der Lichtemissionseinheit 22 als Reaktion auf das Timing-Signal, das aus der Timing-Erzeugungseinheit 111 zugeführt wird.
Die 27 und die 28 sind jeweils eine schematische Darstellung, die einen Betrieb des Informationsverarbeitungssystems zeigen. Wie in der 27 gezeigt wird, erzeugt die Timing-Erzeugungseinheit 111 Timing-Signale in vorbestimmten Intervallen (nHz) und führt der Belichtungssteuerung 112 und der Lichtemissionssteuerung 211 die erzeugten Timing-Signale zu.
Die Belichtungssteuerung 112 startet die Belichtung der Kamera 6, wenn ihr das Timing-Signal zugeführt wird. Des Weiteren wird das Timing-Signal drahtlos aus der Kommunikationseinheit 11 zur Kommunikationseinheit 23 übertragen und der Lichtemissionssteuerung 211 zugeführt. Die Lichtemissionssteuerung 211 startet die Lichtemission der Lichtemissionseinheit 22, wenn ihr das Timing-Signal zugeführt wird.
Es sei angemerkt, dass das Timing, wann die Lichtemissionssteuerung 211 die Lichtemission startet, gegenüber dem Belichtungs-Timing verzögert ist, weil eine gewisse Verzögerung bei der drahtlosen Kommunikation zwischen der Kommunikationseinheit 11 und der Kommunikationseinheit 23 auftritt. Aufgrund dessen tritt eine Verschiebung zwischen dem Belichtungs-Timing der Kamera 6 und dem Lichtemissions-Timing der Lichtemissionseinheit 22 auf, und ein solches Problem tritt auf, dass ein Pointer, der durch Lichtemission der Lichtemissionseinheit 22 erzeugt wird, nicht in einem Bild abgebildet wird, das von der Kamera 6 aufgenommen wird, oder die Lichtmenge des Pointers reduziert wird.
In dieser Beziehung führt die Timing-Erzeugungseinheit 111 der Lichtemissionssteuerung 211 das Timing-Signal einschließlich Verzögerungsinformationen zu. Die Verzögerungsinformationen stellen einen Verzögerungszeitraum dar, der durch drahtlose Kommunikation zwischen der Kommunikationseinheit 11 und der Kommunikationseinheit 23 erzeugt wird. Die Timing-Erzeugungseinheit 111 bewirkt, dass die Kommunikationseinheit 11 an die Kommunikationseinheit 23 Daten vom gleichen Umfang wie die des Timing-Signals im Voraus überträgt. Der Verzögerungszeitraum kann der halbe Zeitraum von dann, wenn die Kommunikationseinheit 11 die Daten überträgt, bis dann sein, wenn die Daten aus der Kommunikationseinheit 23 zur Kommunikationseinheit 11 zurückgegeben werden.
Wie in der 28 gezeigt wird, verschiebt die Lichtemissionssteuerung 211 das Lichtemissions-Timing auf der Basis der Verzögerungsinformationen und steuert die Lichtemissionseinheit 22 dazu an, Licht in Übereinstimmung mit dem nächsten Belichtungs-Timing der Kamera 6 zu emittieren. Dementsprechend entspricht das Lichtemissions-Timing der Lichtemissionseinheit 22 dem Belichtungs-Timing der Kamera 6, was gestattet, dass ein Bild von der Kamera 6 so aufgenommen wird, dass es zuverlässig den Pointer enthält. Es sei angemerkt, dass in dem Fall, dass der Verzögerungszeitraum lang ist, die Lichtemissionssteuerung 211 bewirken kann, dass die Lichtemissionseinheit 22 Licht in Übereinstimmung mit dem Belichtungs-Timing nach dem nächsten Verzögerungszeitraum emittiert.
Des Weiteren kann die Timing-Erzeugungseinheit 111 bewirken, dass das Timing-Signal Einrichtungsidentifikationsinformationen zum Identifizieren der Eingabeeinrichtung 2 enthält. Sogar in dem Fall, dass mehrere Eingabeeinrichtungen 2 die Timing-Signale empfangen, ist dementsprechend die Lichtemissionssteuerung 211 in der Lage, die Timing-Informationen zu identifizieren, denen von der Lichtemissionssteuerung 211 selbst vertraut werden kann.
Des Weiteren kann die Eingabeeinrichtung 2 einen Zeitgeber enthalten. Die Timing-Erzeugungseinheit 111 überträgt das Timing-Signal einschließlich Frequenzinformationen an die Eingabeeinrichtung 2, was es der Eingabeeinrichtung selbst gestattet, das Timing zu takten.
Des Weiteren kann die Timing-Erzeugungseinheit 111 bewirken, dass das Timing-Signal ein Timing-Signal für eine Eingabeeinrichtung von den mehreren Eingabeeinrichtungen 2 und die Anzahl der Eingabeeinrichtungen 2 enthält. Die Lichtemissionssteuerung 211 berechnet einen Verzögerungszeitraum anhand des Unterschieds zwischen den Einrichtungsidentifikationsinformationen, die im Timing-Signal enthalten sind, und ihren eigenen Einrichtungsidentifikationsinformationen und ist in der Lage, zu bewirken, dass die Lichtemissionseinheit 22 Licht mit ihrem eigenen Timing emittiert. Zum Beispiel ist in dem Fall, dass das Timing-Signal für die Eingabeeinrichtung 2 übertragen wird, deren Einrichtungsnummer 1 ist, die Lichtemissionssteuerung 211 der Eingabeeinrichtung 2, deren Einrichtungsnummer 5 ist, in der Lage zu bewirken, dass die Lichtemissionseinheit 22 Licht emittiert, nachdem sie in Bereitschaft war, bis der Auftrag der Eingabeeinrichtung 2 selbst eintrifft.
Des Weiteren kann die Timing-Erzeugungseinheit 111 die gleichen zwei Timing-Signale sequentiell in einem kurzen Intervall übertragen (z. B. 100 ms). In dem Fall, dass die beiden Timing-Signale in dem Intervall erfolgreich empfangen werden, ist die Lichtemissionssteuerung 211 in der Lage, dies nicht als Übertragungsfehler anzusehen. In dem Fall, dass das Empfangen der beiden Timing-Signale in dem Intervall scheitert, ist die Lichtemissionssteuerung 211 in der Lage, das Timing-Signal als unzuverlässig anzusehen.
Des Weiteren kann die Timing-Erzeugungseinheit 111 das gleiche Timing-Signal mehrere Male übertragen oder das Intervall des Timing-Signals für das wichtige Timing verlängern. Das wichtige Timing kann im Voraus programmiert werden, oder Intervallinformationen können in einem Header enthalten sein.
Des Weiteren kann in dem Fall, dass sich der Zustand der drahtlosen Kommunikation ändert, z. B. sich die Kommunikationsumgebung verschlechtert, das Intervall des Timing-Signals verlängert werden, oder die Eingabeeinrichtung 2 kann selbst eine Beurteilung durchführen und zu blinken beginnen. Des Weiteren ist es in dem Fall, dass die Kommunikation unterbrochen wird, möglich, auf lokale Verarbeitung umzuschalten und die Verwendung von drahtloser Kommunikation zu unterlassen. In dem Fall, dass keine drahtlose Kommunikation verwendet wird, ist es möglich, Daten nach einem vorbestimmten Zeitraum (z. B. 10 Minuten) zusammen zu übertragen oder das Kommunikationsintervall zu verlängern. Die Verarbeitung kann abhängig von der Zuverlässigkeit des Übertragungssignals geändert werden.
Des Weiteren kann in dem Fall, dass die drahtlose Verzögerung erheblich ist, der Content umgeschaltet werden. Zum Beispiel kann in dem Fall, dass das drahtlose Empfangen eines Signals mehrere Male scheitert, der Content mit anderem Content ersetzt werden oder auf den Content umgeschaltet werden, bei dem Verzögerung nicht lästig ist.
Die Timing-Erzeugungseinheit 111 steuert das Lichtemissions-Timing der mehreren Eingabeeinrichtungen 2 in der oben erwähnten Konfiguration. Allerdings können die Eingabeeinrichtungen 2 miteinander kommunizieren, um das Lichtemissions-Timing zu bestimmen, um so Kontinuität sicherzustellen. In dem Fall eines Synchronisationsmodus, bei dem die Eingabeeinrichtungen 2 miteinander kommunizieren, kann, nachdem das Lichtemissionsintervall verlängert worden ist und die Synchronisation abgeschlossen ist, das Lichtemissionsintervall verkürzt werden.
<< Identifizierung der Eingabeeinrichtung>>
Die Identifizierung der Eingabeeinrichtung 2 wird in dem Fall beschrieben, dass das Belichtungs-Timing der Kamera 6 und das Lichtemissions-Timing der Lichtemissionseinheit 22 wie oben beschrieben gesteuert werden. Die 29 bis 32 sind jeweils eine schematische Darstellung, die ein Verfahren zum Identifizieren der Eingabeeinrichtung 2 zeigen. Obwohl die Kommunikationseinheit 11 und die Kommunikationseinheit 23 im folgenden Beispiel drahtgebundene Kommunikation durchführen, kann drahtlose Kommunikation durchgeführt werden. Des Weiteren wird die Annahme gemacht, dass zu den mehreren Eingabeeinrichtungen 2 die Eingabeeinrichtungen 2a, 2b und 2c zählen.
Wie in der 30 gezeigt wird, erzeugt die Timing-Erzeugungseinheit 111 Timing-Signale in einem vorbestimmten Intervall (nHz) und führt der Belichtungssteuerung 112 und der Lichtemissionssteuerung 211 die erzeugten Timing-Signale zu.
Wenn ihr das Timing-Signal zugeführt wird, startet die Belichtungssteuerung 112 die Belichtung der Kamera 6. Wenn ihr das Timing-Signal zugeführt wird, startet die Lichtemissionssteuerung 211 des Weiteren die Lichtemission. Die Kamera 6 überträgt Daten zur Steuereinheit 10, die ein Bild beinhalten, das durch die Belichtung erzeugt wird (hier nachstehend als das Abtastergebnis bezeichnet). Die Kamera 6 kann bewirken, dass das Abtastergebnis eine ID enthält, um das Bild zu identifizieren (hier nachstehend als die Abtast-ID bezeichnet).
In diesem Fall ist die Steuereinheit 10 in der Lage, die Abtast-ID anhand des Abtastergebnisses zu bestimmen. Allerdings weist die Steuereinheit 10 ein Problem bei der Bestimmung auf, welche Eingabeeinrichtung 2 bei Lichtemission den Pointer erzeugt, der in dem durch die Abtast-ID dargestellten Bild enthalten ist.
In dieser Beziehung bewirkt, wie in 31 gezeigt, nur die Lichtemissionssteuerung 211 einer Eingabeeinrichtung 2 (in der 31 die Eingabeeinrichtung 2a), dass die Lichtemissionseinheit 22 Licht emittiert, und die Kamera 6 überträgt das Abtastergebnis zur Steuereinheit 10. Dementsprechend ist die Steuereinheit 10 in der Lage zu bestimmen, dass ein spezifisches Abtastergebnis (z. B. alle zwei Frames) den Pointer enthält, der durch Lichtemission der Eingabeeinrichtung 2a erzeugt wird. Indem gleichermaßen bewirkt wird, dass nur die Eingabeeinrichtung 2 Licht emittiert, ist es auch in dem Fall der anderen Eingabeeinrichtungen (der Eingabeeinrichtung 2b und der Eingabeeinrichtung 2c) möglich, das Abtastergebnis und die Eingabeeinrichtung 2 miteinander zu verknüpfen und die Abtast-ID und einen Identifizierer (hier nachstehend als die Steuer-ID bezeichnet) der Eingabeeinrichtung 2 miteinander zu synchronisieren.
Als ein anderes Verfahren, wie in der 29 und der 32 gezeigt wird, überträgt des Weiteren, wenn die Timing-Erzeugungseinheit 111 bewirkt, dass die Kamera 6 Belichtung durchführt, die Kamera 6 die Abtast-ID an die Timing-Erzeugungseinheit 111. Zur gleichen Zeit bewirkt die Timing-Erzeugungseinheit 111, dass jede der Eingabeeinrichtungen 2 Licht emittiert und die Steuer-ID der Eingabeeinrichtung und die von der Kamera 6 gesendete Abtast-ID miteinander verknüpft. Die Timing-Erzeugungseinheit 111 überträgt ein Paar aus der Steuer-ID und der Abtast-ID an die Steuereinheit 10. Dementsprechend ist die Steuereinheit 10 in der Lage, die Steuer-ID und die Abtast-ID miteinander zu synchronisieren.
<< Modifiziertes Beispiel>>
In einem Informationsverarbeitungssystem gemäß einer Ausführungsform der vorliegenden Offenbarung können die Informationsverarbeitungsvorrichtung 1 und die Eingabeeinrichtung 2 an entfernten Stellen platziert sein. Der Betrieb jeder Konfiguration kann unter Verwendung eines Cloud-Servers oder Ähnlichem umgesetzt werden.
Obwohl die Kamera 6 in der oben genannten Beschreibung Lichtemission (Infrarotstrahlen) der Eingabeeinrichtung 2 abbildet, ist die vorliegende Offenbarung nicht darauf beschränkt. Verschiedene Sensoren können stattdessen von der Kamera 6 verwendet werden, so lange die Eingabeeinrichtung 2 eine Bedienung durchführt, die von verschiedenen Sensoren detektiert werden kann.
Wie oben beschrieben wird, verschiebt die Lichtemissionssteuerung 211 das Lichtemissions-Timing auf der Basis der Verzögerungsinformationen und steuert die Lichtemissionseinheit 22 dazu an, Licht in Übereinstimmung mit dem nächsten Belichtungs-Timing der Kamera 6 zu emittieren. Indem allerdings das Protokoll des Lichtemissions-Timings der Lichtemissionseinheit 22 und des Belichtungs-Timings der Kamera 6 gespeichert wird, ist es möglich, die Latenzzeit mittels Maschinenlernen oder Ähnlichem zu reduzieren.
Es sei angemerkt, dass die vorliegende Offenbarung auch die folgenden Konfigurationen annehmen kann.

(1) Eine Informationsverarbeitungsvorrichtung, die Folgendes enthält:
- eine Erfassungseinheit, die dazu ausgelegt ist, mehrere Pointer-Informationen auf der Basis von Daten eines oder mehrerer Sensoren zu erfassen;
- eine Bestimmungseinheit, die dazu ausgelegt ist, eine jedem Pointer entsprechende Eingabeeinrichtung auf der Basis von Merkmalen der mehreren Pointer-Informationen zu bestimmen; und
- eine Erzeugungseinheit, die dazu ausgelegt ist, ein vorbestimmtes taktiles Stimulationssignal zur Ausgabe an eine dem Pointer entsprechende Eingabeeinrichtung zu erzeugen, in einem Fall, dass eine Position eines Pointers eine vorbestimmte Bedingung erfüllt.
(2) Die Informationsverarbeitungsvorrichtung gemäß (1) oben, bei der die Erzeugungseinheit dazu ausgelegt ist, das vorbestimmte taktile Stimulationssignal in einem Fall zu erzeugen, dass die Position des Pointers oder eine Trajektorie des Pointers ein spezifisches stereoskopisches Objekt überschneidet.
(3) Die Informationsverarbeitungsvorrichtung gemäß (1) oder (2) oben, die des Weiteren Folgendes enthält:
- eine Übertragungseinheit, die dazu ausgelegt ist, das erzeugte taktile Stimulationssignal an eine entsprechende Eingabeeinrichtung zu übertragen.
(4) Die Informationsverarbeitungsvorrichtung gemäß irgendeinem von (1) bis (3) oben, bei der die Erzeugungseinheit dazu ausgelegt ist, des Weiteren ein vorbestimmtes taktiles Stimulationssignal zur Ausgabe an eine Ausgabeeinrichtung für taktile Stimulation, die an einem Nutzer befestigt ist, der eine dem Pointer entsprechende Eingabeeinrichtung hält, in einem Fall zu erzeugen, dass die Position des Pointers die vorbestimmte Bedingung erfüllt.
(5) Die Informationsverarbeitungsvorrichtung gemäß irgendeinem von (1) bis (4) oben, bei der die Daten des einen oder der mehreren Sensoren Informationen in Bezug auf ein aufgenommenes Bild einer Anzeigebildwand sind, wobei der Pointer auf die Anzeigebildwand angewendet wird.
(6) Die Informationsverarbeitungsvorrichtung gemäß irgendeinem von (1) bis (5) oben, bei der die Merkmale der mehreren Pointer-Informationen eine Kombination von mehreren Wellenlängen sind.
(7) Die Informationsverarbeitungsvorrichtung gemäß (6) oben, bei der die Merkmale der mehreren Pointer-Informationen eine Markierungsform sind.
(8) Die Informationsverarbeitungsvorrichtung gemäß (6) oben, bei der die Merkmale der mehreren Pointer-Informationen ein Zustand während des Schwenkens sind.
(9) Die Informationsverarbeitungsvorrichtung gemäß (6) oben, bei der die Merkmale der mehreren Pointer-Informationen ein Zustand einer Markierung sind.
(10) Die Informationsverarbeitungsvorrichtung gemäß (6) oben, bei der den mehreren Wellenlängen entsprechende Kombinationen der mehreren Wellenlängen und Eingabeeinrichtungen dynamisch strukturiert sind.
(11) Die Informationsverarbeitungsvorrichtung gemäß irgendeinem von (6) bis (10) oben, bei der die Bestimmungseinheit auf der Basis von Informationen in Bezug auf mehrere aufgenommene Bilder, die von mehreren Abbildungseinrichtungen, einschließlich jeweiligen unterschiedlichen Wellenlängen entsprechender Bandpassfilter, aufgenommen werden, eine Eingabeeinrichtung bestimmt, die einem Pointer auf im Wesentlichen dem gleichen Koordinatenpaar in den mehreren aufgenommenen Bildern entspricht.
(12) Die Informationsverarbeitungsvorrichtung gemäß irgendeinem von (1) bis (11) oben, bei der die Erfassungseinheit dem Timing der Eingabe durch die Eingabeeinrichtung entsprechende Pointer-Informationen erfasst.
(13) Die Informationsverarbeitungsvorrichtung gemäß irgendeinem von (1) bis (12) oben, bei der die Bestimmungseinheit die jedem Pointer entsprechende Eingabeeinrichtung auf der Basis von Sensorinformationen bestimmt, die von einem Sensor der Eingabeeinrichtung detektiert werden, und der Merkmale der mehreren Pointer-Informationen.
(14) Die Informationsverarbeitungsvorrichtung gemäß irgendeinem von (1) bis (13) oben, bei der die Eingabeeinrichtung eine Eingabe in einem Fall durchführt, dass von einem Sensor der Eingabeeinrichtung detektierte Sensorinformationen eine vorbestimmte Bedingung erfüllen.
(15) Die Informationsverarbeitungsvorrichtung gemäß irgendeinem von (12) bis (14) oben, bei der die von der Eingabeeinrichtung durchgeführte Eingabe eine Lichtemission aus einer der Eingabeeinrichtung bereitgestellten Lichtemissionseinheit ist.
(16) Die Informationsverarbeitungsvorrichtung gemäß irgendeinem von (13) bis (15) oben, bei der die Bestimmungseinheit die dem Pointer entsprechende Eingabeeinrichtung auf der Basis von wenigstens irgendeinem von Folgenden bestimmt, Bewegungssensorinformationen und Stellungssensorinformationen und einer Trajektorie des Pointers oder einem Winkel der Trajektorie, wobei die Bewegungssensorinformationen und die Stellungssensorinformationen von der Eingabeeinrichtung ausgegeben werden, wobei die Trajektorie des Pointers und der Winkel der Trajektorie durch die Merkmale der mehreren Pointer-Informationen dargestellt werden.
(17) Die Informationsverarbeitungsvorrichtung gemäß (3) oben, bei der die Übertragungseinheit in einem Fall, dass die Bestimmungseinheit scheitert, mehreren Pointern entsprechende Eingabeeinrichtungen zu bestimmen, ein vorbestimmtes taktiles Stimulationssignal, das an eine Eingabeeinrichtung auszugeben ist, die einem Pointer entspricht, der die vorbestimmte Bedingung unter den mehreren Pointern erfüllt, an alle Eingabeeinrichtungen, deren Bestimmen durch die Bestimmungseinheit scheitert, überträgt.
(18) Ein Informationsverarbeitungsverfahren, das Folgendes beinhaltet:
- durch einen Prozessor
- mehrere Pointer-Informationen auf der Basis von Daten eines oder mehrerer Sensoren zu erfassen;
- eine jedem Pointer entsprechende Eingabeeinrichtung auf der Basis von Merkmalen der mehreren Pointer-Informationen zu bestimmen; und
- in einem Fall, dass eine Position eines Pointers eine vorbestimmte Bedingung erfüllt, ein vorbestimmtes taktiles Stimulationssignal zur Ausgabe an eine dem Pointer entsprechende Eingabeeinrichtung zu erzeugen.
(19) Ein Programm, das bewirkt, dass ein Computer als Folgendes funktioniert:
- eine Erfassungseinheit, die dazu ausgelegt ist, mehrere Pointer-Informationen auf der Basis von Daten eines oder mehrerer Sensoren zu erfassen;
- eine Bestimmungseinheit, die dazu ausgelegt ist, eine jedem Pointer entsprechende Eingabeeinrichtung auf der Basis von Merkmalen der mehreren Pointer-Informationen zu bestimmen; und
- eine Erzeugungseinheit, die dazu ausgelegt ist, ein vorbestimmtes taktiles Stimulationssignal zur Ausgabe an eine dem Pointer entsprechende Eingabeeinrichtung zu erzeugen, in einem Fall, dass eine Position eines Pointers eine vorbestimmte Bedingung erfüllt.
- Fachleute werden verstehen, dass verschiedene Modifikationen, Kombinationen, Unterkombinationen und Abänderungen abhängig von den Bauartanforderungen und anderen Faktoren insofern vorgenommen werden können, dass sie im Schutzbereich der beigefügten Ansprüche oder ihrer Äquivalente liegen.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2017043989 [0001]
JP 2015166890 [0004]

Claims

Informationsverarbeitungsvorrichtung, die Folgendes umfasst: eine Erfassungseinheit, die dazu ausgelegt ist, mehrere Pointer-Informationen auf der Basis von Daten eines oder mehrerer Sensoren zu erfassen; eine Bestimmungseinheit, die dazu ausgelegt ist, eine jedem Pointer entsprechende Eingabeeinrichtung auf der Basis von Merkmalen der mehreren Pointer-Informationen zu bestimmen; und eine Erzeugungseinheit, die dazu ausgelegt ist, ein vorbestimmtes taktiles Stimulationssignal zur Ausgabe an eine dem Pointer entsprechende Eingabeeinrichtung zu erzeugen, in einem Fall, dass eine Position eines Pointers eine vorbestimmte Bedingung erfüllt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Erzeugungseinheit dazu ausgelegt ist, das vorbestimmte taktile Stimulationssignal in einem Fall zu erzeugen, dass die Position des Pointers oder eine Trajektorie des Pointers ein spezifisches stereoskopisches Objekt überschneidet.
Informationsverarbeitungsvorrichtung nach Anspruch 1, die des Weiteren Folgendes umfasst: eine Übertragungseinheit, die dazu ausgelegt ist, das erzeugte taktile Stimulationssignal an eine entsprechende Eingabeeinrichtung zu übertragen.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Erzeugungseinheit dazu ausgelegt ist, des Weiteren ein vorbestimmtes taktiles Stimulationssignal zur Ausgabe an eine Ausgabeeinrichtung für taktile Stimulation, die an einem Nutzer befestigt ist, der eine dem Pointer entsprechende Eingabeeinrichtung hält, in einem Fall zu erzeugen, dass die Position des Pointers die vorbestimmte Bedingung erfüllt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Daten des einen oder der mehreren Sensoren Informationen in Bezug auf ein aufgenommenes Bild einer Anzeigebildwand sind, wobei der Pointer auf die Anzeigebildwand angewendet wird.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Merkmale der mehreren Pointer-Informationen eine Kombination von mehreren Wellenlängen sind.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei die Merkmale der mehreren Pointer-Informationen eine Markierungsform sind.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei die Merkmale der mehreren Pointer-Informationen ein Zustand während des Schwenkens sind.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei die Merkmale der mehreren Pointer-Informationen ein Zustand einer Markierung sind.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei den mehreren Wellenlängen entsprechende Kombinationen der mehreren Wellenlängen und Eingabeeinrichtungen dynamisch strukturiert sind.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei die Bestimmungseinheit auf der Basis von Informationen in Bezug auf mehrere aufgenommene Bilder, die von mehreren Abbildungseinrichtungen, einschließlich jeweiligen unterschiedlichen Wellenlängen entsprechenden Bandpassfilter, aufgenommen werden, eine Eingabeeinrichtung bestimmt, die einem Pointer auf im Wesentlichen dem gleichen Koordinatenpaar in den mehreren aufgenommenen Bildern entspricht.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Erfassungseinheit dem Timing der Eingabe durch die Eingabeeinrichtung entsprechende Pointer-Informationen erfasst.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Bestimmungseinheit die jedem Pointer entsprechende Eingabeeinrichtung auf der Basis von Sensorinformationen bestimmt, die von einem Sensor der Eingabeeinrichtung detektiert werden, und der Merkmale der mehreren Pointer-Informationen.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Eingabeeinrichtung eine Eingabe in einem Fall durchführt, dass von einem Sensor der Eingabeeinrichtung detektierte Sensorinformationen eine vorbestimmte Bedingung erfüllen.
Informationsverarbeitungsvorrichtung nach Anspruch 12, wobei die von der Eingabeeinrichtung durchgeführte Eingabe eine Lichtemission aus einer der Eingabeeinrichtung bereitgestellten Lichtemissionseinheit ist.
Informationsverarbeitungsvorrichtung nach Anspruch 13, wobei die Bestimmungseinheit die dem Pointer entsprechende Eingabeeinrichtung auf der Basis von wenigstens irgendeinem von Folgenden bestimmt, Bewegungssensorinformationen und Stellungssensorinformationen und einer Trajektorie des Pointers oder einem Winkel der Trajektorie, wobei die Bewegungssensorinformationen und die Stellungssensorinformationen von der Eingabeeinrichtung ausgegeben werden, wobei die Trajektorie des Pointers und der Winkel der Trajektorie durch die Merkmale der mehreren Pointer-Informationen dargestellt werden.
Informationsverarbeitungsvorrichtung nach Anspruch 3, wobei die Übertragungseinheit in einem Fall, dass die Bestimmungseinheit scheitert, mehreren Pointern entsprechende Eingabeeinrichtungen zu bestimmen, ein vorbestimmtes taktiles Stimulationssignal, das an eine Eingabeeinrichtung auszugeben ist, die einem Pointer entspricht, der die vorbestimmte Bedingung unter den mehreren Pointern erfüllt, an alle Eingabeeinrichtungen, deren Bestimmen durch die Bestimmungseinheit scheitert, überträgt.
Informationsverarbeitungsverfahren, das Folgendes umfasst: durch einen Prozessor mehrere Pointer-Informationen auf der Basis von Daten eines oder mehrerer Sensoren zu erfassen; eine jedem Pointer entsprechende Eingabeeinrichtung auf der Basis von Merkmalen der mehreren Pointer-Informationen zu bestimmen; und in einem Fall, dass eine Position eines Pointers eine vorbestimmte Bedingung erfüllt, ein vorbestimmtes taktiles Stimulationssignal zur Ausgabe an eine dem Pointer entsprechende Eingabeeinrichtung zu erzeugen.
Programm, das bewirkt, dass ein Computer als Folgendes funktioniert: eine Erfassungseinheit, die dazu ausgelegt ist, mehrere Pointer-Informationen auf der Basis von Daten eines oder mehrerer Sensoren zu erfassen; eine Bestimmungseinheit, die dazu ausgelegt ist, eine jedem Pointer entsprechende Eingabeeinrichtung auf der Basis von Merkmalen der mehreren Pointer-Informationen zu bestimmen; und eine Erzeugungseinheit, die dazu ausgelegt ist, ein vorbestimmtes taktiles Stimulationssignal zur Ausgabe an eine dem Pointer entsprechende Eingabeeinrichtung zu erzeugen, in einem Fall, dass eine Position eines Pointers eine vorbestimmte Bedingung erfüllt.