DE112017001781T5 - Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und nicht transientes, computerlesbares Medium - Google Patents

Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und nicht transientes, computerlesbares Medium Download PDF

Info

Publication number
DE112017001781T5
DE112017001781T5 DE112017001781.5T DE112017001781T DE112017001781T5 DE 112017001781 T5 DE112017001781 T5 DE 112017001781T5 DE 112017001781 T DE112017001781 T DE 112017001781T DE 112017001781 T5 DE112017001781 T5 DE 112017001781T5
Authority
DE
Germany
Prior art keywords
tactile
virtual
information
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE112017001781.5T
Other languages
English (en)
Inventor
Masakazu Ukita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of DE112017001781T5 publication Critical patent/DE112017001781T5/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Es wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die Folgendes enthält: eine Erzeugungseinheit, die konfiguriert ist, um taktile Informationen, die eine von einem Benutzer wahrzunehmende taktile Empfindung angeben, basierend auf einer relativen Bewegungsrichtung einer Referenzposition relativ zu einem ersten virtuellen Objekt in einem virtuellen Raum zu erzeugen, wobei die Referenzposition im virtuellen Raum als Reaktion auf eine Bewegung eines Bedienungskörpers in einem realen Raum bewegt wird; und eine Ausgabeeinheit, die konfiguriert ist, um Informationen zur taktilen Präsentation zum Bewirken, dass der Benutzer die taktile Empfindung wahrnimmt, mit einem für taktile Präsentationen vorgesehenen Gerät, das konfiguriert ist, um taktile Präsentation basierend auf den Informationen zur taktilen Präsentation durchzuführen, auszugeben.

Description

  • [QUERVERWEIS AUF VERWANDTE ANMELDUNGEN]
  • Diese Anmeldung beansprucht den Vorteil der japanischen Prioritätspatentanmeldung JP 2016-069360 , eingereicht am 30. März 2016, deren gesamter Inhalt durch Bezugnahme hierin aufgenommen wird.
  • [Gebiet der Technik]
  • Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm.
  • [Stand der Technik]
  • Seit ein paar Jahren wird auf Gebieten wie z. B. Virtual Reality eine solche Technologie vorgeschlagen, um einem Benutzer eine Empfindung mit einem Empfinden von Realität in einem virtuellen Raum zu präsentieren. Eine solche Technologie wird zum Beispiel vorgeschlagen, um einem Benutzer eine taktile Empfindung zu präsentieren, wenn der Benutzer ein virtuelles Objekt in einem virtuellen Raum berührt.
  • Zum Beispiel wird in der Patentliteratur 1, um ein 3D-Raumkoordinateneingabegerät, das ein Hautempfinden zurückvermitteln kann, zu erhalten, eine Technologie zum Kalkulieren eines Betrags der Steuerung für eine taktile Präsentation für ein 3D-Informationseingabe-/-ausgabegerät unter Verwendung von Daten zum Erzeugen eines Hautempfindens mit Angabe eines Reibungskoeffizientenwerts einer Oberfläche eines virtuellen Objekts und zum Durchführen der taktilen Präsentation mit dem 3D-Informationseingabe-/-ausgabegerät durch die Steuerung eines Betrags von Ladungen offenbart.
  • [Liste der Anführungen]
  • [Patentliteratur]
  • [PTL 1]
    JP 2013-114323A
  • [Zusammenfassung der Erfindung]
  • [Technische Aufgabe]
  • Auf dem Gebiet für die taktile Präsentation wird hingegen in Betracht gezogen, dass es wünschenswert ist, die taktile Empfindung mit größerer Genauigkeit zu präsentieren.
  • Deshalb werden in der vorliegenden Offenbarung eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Programm vorgeschlagen, die neu und verbessert sowie fähig dazu sind, die taktile Empfindung mit größerer Genauigkeit zu präsentieren.
  • [Technische Lösung]
  • Gemäß einer Ausführungsform der vorliegenden Offenbarung wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die Folgendes enthält: eine Erzeugungseinheit, die konfiguriert ist, um taktile Informationen, die eine von einem Benutzer wahrzunehmende taktile Empfindung angeben, basierend auf einer relativen Bewegungsrichtung einer Referenzposition relativ zu einem ersten virtuellen Objekt in einem virtuellen Raum zu erzeugen, wobei die Referenzposition im virtuellen Raum als Reaktion auf eine Bewegung eines Bedienungskörpers in einem realen Raum bewegt wird; und eine Ausgabeeinheit, die konfiguriert ist, um Informationen zur taktilen Präsentation zum Bewirken, dass der Benutzer die taktile Empfindung wahrnimmt, mit einem für taktile Präsentationen vorgesehenen Gerät, das konfiguriert ist, um taktile Präsentation basierend auf den Informationen zur taktilen Präsentation durchzuführen, auszugeben, wobei die Erzeugungseinheit und die Ausgabeeinheit je über mindestens einen Prozessor implementiert sind.
  • Gemäß einer Ausführungsform der vorliegenden Offenbarung wird ein Informationsverarbeitungsverfahren, das über mindestens einen Prozessor implementiert wird, bereitgestellt, wobei das Verfahren Folgendes enthält: Erzeugen taktiler Informationen, die eine von einem Benutzer wahrzunehmende taktile Empfindung angeben, basierend auf einer relativen Bewegungsrichtung einer Referenzposition relativ zu einem ersten virtuellen Objekt in einem virtuellen Raum, wobei die Referenzposition im virtuellen Raum als Reaktion auf eine Bewegung eines Bedienungskörpers in einem realen Raum bewegt wird; und Ausgeben von Informationen zur taktilen Präsentation zum Bewirken, dass der Benutzer die taktile Empfindung wahrnimmt, mit einem für taktile Präsentationen vorgesehenen Gerät, das konfiguriert ist, um taktile Präsentation basierend auf den Informationen zur taktilen Präsentation durchzuführen.
  • Gemäß einer Ausführungsform der vorliegenden Offenbarung wird ein nicht transientes, computerlesbares Medium bereitgestellt, auf dem ein Programm abgelegt ist, das, wenn es durch einen Computer ausgeführt wird, veranlasst, dass der Computer ein Verfahren ausführt, wobei das Verfahren Folgendes enthält: Erzeugen taktiler Informationen, die eine von einem Benutzer wahrzunehmende taktile Empfindung angeben, basierend auf einer relativen Bewegungsrichtung einer Referenzposition relativ zu einem ersten virtuellen Objekt in einem virtuellen Raum, wobei die Referenzposition im virtuellen Raum als Reaktion auf eine Bewegung eines Bedienungskörpers in einem realen Raum bewegt wird; und Ausgeben von Informationen zur taktilen Präsentation zum Bewirken, dass der Benutzer die taktile Empfindung wahrnimmt, mit einem für taktile Präsentationen vorgesehenen Gerät, das konfiguriert ist, um taktile Präsentation basierend auf den Informationen zur taktilen Präsentation durchzuführen.
  • [Vorteilhafte Wirkungen der Erfindung]
  • Wie oben erwähnt, ist es gemäß der vorliegenden Offenbarung möglich, die taktile Empfindung mit größerer Genauigkeit zu präsentieren.
  • Es wird darauf hingewiesen, dass die oben beschriebenen Wirkungen nicht zwangsläufig einschränkend sind. Mittels oder anstelle der obigen Wirkungen können beliebige der in dieser Patentschrift beschriebenen Wirkungen oder auch andere Wirkungen, die aus dieser Patentschrift hervorgehen, erzielt werden.
  • Figurenliste
    • 1 ist ein erläuterndes Schaubild, das ein Beispiel für eine Systemkonfiguration eines zur Präsentation eines virtuellen Raums vorgesehenen Systems gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt.
    • 2 ist ein erläuterndes Schaubild, das ein weiteres Beispiel für ein für taktile Präsentationen vorgesehenes Gerät gemäß einer Ausführungsform zeigt.
    • 3 ist ein erläuterndes Schaubild, das ein Beispiel für eine funktionale Konfiguration einer Informationsverarbeitungsvorrichtung und des für taktile Präsentationen vorgesehenen Geräts gemäß einer Ausführungsform zeigt.
    • 4 ist ein erläuterndes Schaubild, das ein Beispiel für die Anzeige eines Bilds auf einem Head Mounted Display zeigt.
    • 5 ist ein erläuterndes Schaubild zum Erläutern verschiedener taktiler Empfänger.
    • 6 ist ein erläuterndes Schaubild, das ein Beispiel für eine in einem Datentabellenformat gezeigte Funktionsbibliothek gemäß einer Ausführungsform zeigt.
    • 7 ist ein Ablaufschema, das ein Beispiel für den Ablauf einer Verarbeitung, die durch die Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform durchgeführt wird, zeigt.
    • 8 ist ein Ablaufschema, das ein Beispiel für den Ablauf einer Ansteuerinformationserzeugungsverarbeitung, die durch die Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform durchgeführt wird, zeigt.
    • 9 ist ein Ablaufschema, das ein Beispiel für den Ablauf einer Verarbeitung, die durch das für taktile Präsentationen vorgesehene Gerät gemäß einer Ausführungsform durchgeführt wird, zeigt.
    • 10 ist ein erläuterndes Schaubild zum Erläutern des Kontakts zwischen einem von einer virtuellen Hand ergriffenen virtuellen Stab und einem Kontaktobjekt in einem virtuellen Raum.
    • 11 ist ein erläuterndes Schaubild, das ein Beispiel für eine Systemkonfiguration eines zur Präsentation eines virtuellen Raums vorgesehenen Systems gemäß einer ersten Abwandlung zeigt.
    • 12 ist ein erläuterndes Schaubild, das ein Beispiel für eine Systemkonfiguration eines zur Präsentation eines virtuellen Raums vorgesehenen Systems gemäß einer zweiten Abwandlung zeigt.
    • 13 ist ein erläuterndes Schaubild, das ein Beispiel für eine Systemkonfiguration eines zur Präsentation eines virtuellen Raums vorgesehenen Systems gemäß einer dritten Abwandlung zeigt.
    • 14 ist ein erläuterndes Schaubild, das ein Beispiel für eine Systemkonfiguration eines zur Präsentation eines virtuellen Raums vorgesehenen Systems gemäß einer vierten Abwandlung zeigt.
    • 15 ist ein erläuterndes Schaubild, das ein Beispiel für eine Hardwarekonfiguration der Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt.
  • [Beschreibung der Ausführungsformen]
  • Nachstehend wird (werden) eine Ausführungsform (Ausführungsformen) der vorliegenden Offenbarung ausführlich mit Bezug auf die beigefügten Zeichnungen beschrieben. In dieser Patentschrift und den beigefügten Zeichnungen sind Strukturelemente, die im Wesentlichen die gleiche Funktion und Struktur haben, mit denselben Bezugszeichen versehen, und diese Strukturelemente werden nicht mehrmals erläutert.
  • Es wird darauf hingewiesen, dass in der Beschreibung folgende Reihenfolge eingehalten wird.
    • 1.
    System zur Präsentation eines virtuellen Raums
    2.
    Funktionale Konfiguration
    3.
    Ablauf
    4.
    Anwendungsbeispiel
    5.
    Abwandlung
    6.
    Hardwarekonfiguration
    7.
    Schlussbemerkungen
  • System zur Präsentation eines virtuellen Raums
  • Zunächst wird ein zur Präsentation eines virtuellen Raums vorgesehenes System 1 gemäß einer Ausführungsform mit Bezug auf die 1 und 2 beschrieben. 1 ist ein erläuterndes Schaubild, das ein Beispiel für eine Systemkonfiguration des zur Präsentation eines virtuellen Raums vorgesehenen Systems 1 gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt. Wie in 1 gezeigt, enthält das zur Präsentation eines virtuellen Raums vorgesehene System 1 Folgendes: eine Informationsverarbeitungsvorrichtung 2; ein für taktile Präsentationen vorgesehenes Gerät 4; ein für Positions- und Lagedetektionen vorgesehenes Gerät 6; einen Kopfhörer 8; und ein Head Mounted Display 10. Das zur Präsentation eines virtuellen Raums vorgesehene System 1 ist ein Beispiel für ein System, das einem Benutzer den virtuellen Raum präsentiert. Speziell ist das zur Präsentation eines virtuellen Raums vorgesehene System 1 ein System, das eine Technologie namens Virtual Reality zum Präsentieren einer virtuellen Welt (hierin unten auch als virtuelle Welt bezeichnet) mit einem Empfinden von Realität verwendet.
  • Das Head Mounted Display 10 ist ein Beispiel für ein Anzeigegerät, das ein Bild anzeigt. Das Head Mounted Display 10 wird verwendet, um dem Benutzer die Empfindung in der virtuellen Welt visuell zu präsentieren. Speziell wird das Head Mounted Display 10 in einem Zustand verwendet, in dem das Head Mounted Display 10 am Kopf des Benutzers befestigt ist. Das Head Mounted Display 10 zeigt ein jedes Objekt im virtuellen Raum zeigendes Bild basierend auf einem von der Informationsverarbeitungsvorrichtung 2 gesendeten Bedienungsbefehl an. Die Kommunikation zwischen dem Head Mounted Display 10 und der Informationsverarbeitungsvorrichtung 2 erfolgt drahtgebunden oder drahtlos.
  • Ferner kann im Head Mounted Display 10 ein Sensor zum Detektieren einer Richtung des Kopfes des Benutzers, an dem das Head Mounted Display 10 befestigt ist, bereitgestellt sein. In diesem Fall wird ein Detektionsergebnis des relevanten Sensors an die Informationsverarbeitungsvorrichtung 2 gesendet, und die Informationsverarbeitungsvorrichtung 2 gibt den Bedienungsbefehl basierend auf Informationen, die die Richtung des Kopfes des Benutzers angeben, an das Head Mounted Display 10 aus. Folglich kann die Informationsverarbeitungsvorrichtung 2 ein mit der Richtung des Kopfes in der virtuellen Welt korrespondierendes Bild auf dem Head Mounted Display 10 anzeigen.
  • Der Kopfhörer 8 ist ein Beispiel für ein Tonausgabegerät, das Ton ausgibt. Der Kopfhörer 8 wird verwendet, um dem Benutzer die Empfindung in der virtuellen Welt taktisch zu präsentieren. Speziell wird der Kopfhörer 8 in einem Zustand verwendet, in dem der Kopfhörer 8 am Kopf des Benutzers befestigt ist. Der Kopfhörer 8 gibt Ton zum Ausdrücken von Ton in der virtuellen Welt basierend auf einem von der Informationsverarbeitungsvorrichtung 2 gesendeten Bedienungsbefehl aus. Der Kopfhörer 8 kommuniziert mit der Informationsverarbeitungsvorrichtung 2 drahtgebunden oder drahtlos.
  • Ferner kann die Informationsverarbeitungsvorrichtung 2 den Bedienungsbefehl basierend auf den Informationen, die die Richtung des Kopfes des Benutzers angeben, an den Kopfhörer 8 ausgeben. Folglich kann die Informationsverarbeitungsvorrichtung 2 bewirken, dass der Kopfhörer 8 mit der Richtung des Kopfes in der virtuellen Welt korrespondierenden Ton ausgibt.
  • Das für taktile Präsentationen vorgesehene Gerät 4 ist ein Gerät, das taktile Präsentation gegenüber dem Benutzer durchführt. Das für taktile Präsentationen vorgesehene Gerät 4 wird verwendet, um dem Benutzer die Empfindung in der virtuellen Welt taktisch zu präsentieren. Speziell präsentiert das für taktile Präsentationen vorgesehene Gerät 4 dem Benutzer die taktile Empfindung, wenn der Benutzer ein virtuelles Objekt im virtuellen Raum berührt. Das für taktile Präsentationen vorgesehene Gerät 4 wird in einem Zustand verwendet, in dem es an einem Teil (hierin unten auch als Teil bezeichnet) des Körpers des Benutzers festgemacht ist, und wird als Reaktion auf eine Bewegung des Teils des Benutzers bewegt. Das für taktile Präsentationen vorgesehene Gerät 4 ist vom Typ her zum Beispiel möglicherweise ein Handschuh, wie in 1 gezeigt. In diesem Fall wird das für taktile Präsentationen vorgesehene Gerät 4 in einem Zustand verwendet, in dem es an der Hand des Benutzers befestigt ist, und wird als Reaktion auf eine Bewegung der Hand des Benutzers bewegt. Das für taktile Präsentationen vorgesehene Gerät 4 bewirkt gegenüber dem Benutzer, dass der Benutzer Schwingungen als die taktile Empfindung wahrnimmt, basierend auf dem von der Informationsverarbeitungsvorrichtung 2 gesendeten Bedienungsbefehl, wodurch eine taktile Präsentation durchgeführt wird. Das für taktile Präsentationen vorgesehene Gerät 4 weist zum Beispiel einen Oszillator auf und überträgt Schwingungen des relevanten Oszillators auf die Haut des Benutzers, wodurch eine taktile Präsentation durchgeführt wird. Speziell erzeugt das für taktile Präsentationen vorgesehene Gerät 4 die Schwingungen des relevanten Oszillators, wodurch die Schwingungen auf den Teil des Benutzers übertragen werden, um zu bewirken, dass der Benutzer die Schwingungen wahrnimmt. Das für taktile Präsentationen vorgesehene Gerät 4 kommuniziert mit der Informationsverarbeitungsvorrichtung 2 drahtgebunden oder drahtlos.
  • Es wird darauf hingewiesen, dass das für taktile Präsentationen vorgesehene Gerät 4, wenn es zum Durchführen taktiler Präsentationen gegenüber dem Benutzer fähig ist, auch eine andere Konfiguration aufweisen kann. Zum Beispiel kann auf das zur Präsentation eines virtuellen Raums vorgesehene System 1 auch ein für taktile Präsentationen vorgesehenes Gerät 4a, das vom Typ her ein Schreibstift ist, wie in 2 gezeigt, angewendet werden. Wie in 2 gezeigt, wird das für taktile Präsentationen vorgesehene Gerät 4a in einem Zustand verwendet, in dem es von der Hand des Benutzers ergriffen wird, und wird als Reaktion auf die Bewegung der Hand des Benutzers bewegt.
  • Das für Positions- und Lagedetektionen vorgesehene Gerät 6, das in 1 gezeigt ist, detektiert die Position und die Lage des für taktile Präsentationen vorgesehenen Geräts 4 in einem realen Raum und sendet ein Detektionsergebnis an das Informationsverarbeitungsgerät 2. Das für Positions- und Lagedetektionen vorgesehene Gerät 6 kann einen Bildsensor aufweisen und die Position und die Lage des für taktile Präsentationen vorgesehenen Geräts 4 anhand eines durch eine Bildverarbeitung erhaltenen Bilds detektieren. Das für Positions- und Lagedetektionen vorgesehene Gerät 6 erkennt zum Beispiel möglicherweise einen speziellen Teil des für taktile Präsentationen vorgesehenen Geräts 4 anhand des durch die Bildverarbeitung erhaltenen Bilds und kalkuliert die Position in einem realen Raum basierend auf der Position und der Größe des relevanten Teils im erhaltenen Bild. Als Bildsensoren für die Bildverarbeitung verwendet werden möglicherweise ein Bildsensor, der elektromagnetische Wellen wie infrarote oder ultraviolette Wellen mit einer anderen Wellenlänge als für einen Bereich von sichtbarem Licht empfangen kann, sowie zusätzlich ein Bildsensor, der zum Empfangen von sichtbarem Licht fähig ist. Das für taktile Präsentationen vorgesehene Gerät 4 kommuniziert mit der Informationsverarbeitungsvorrichtung 2 drahtgebunden oder drahtlos.
  • Die Informationsverarbeitungsvorrichtung 2 sendet einen Bedienungsbefehl an das Head Mounted Display 10, an den Kopfhörer 8 und an das für taktile Präsentationen vorgesehene Gerät 4, um dem Benutzer die Empfindung in der virtuellen Welt zu präsentieren. Die Informationsverarbeitungsvorrichtung 2 sendet verschiedene Bedienungsbefehle basierend auf Informationen zum virtuellen Raum an die jeweiligen Geräte. Die Informationen zum virtuellen Raum enthalten Informationen zu jedem Objekt im virtuellen Raum und Informationen zu einer virtuellen Schallquelle im virtuellen Raum. Die zum Senden verschiedener Bedienungsbefehle durch die Informationsverarbeitungsvorrichtung 2 verwendeten Informationen zum virtuellen Raum können vorab in einem Speicherelement in der Informationsverarbeitungsvorrichtung 2 gespeichert oder von einer anderen Vorrichtung als der Informationsverarbeitungsvorrichtung 2 an die Informationsverarbeitungsvorrichtung 2 gesendet werden.
  • Die Informationsverarbeitungsvorrichtung 2 führt verschiedene Verarbeitungsvorgänge derart durch, dass eine Referenz, etwa Koordinaten, die mit einem relevanten Teil korrespondieren, im virtuellen Raum als Reaktion auf die Bewegung des Teils des Benutzers als Bedienungskörper in einem realen Raum bewegt wird. Speziell kann die Informationsverarbeitungsvorrichtung 2 einen virtuellen Teil aufweisen, der basierend auf der relevanten Referenz auf dem Head Mounted Display 10 angezeigt wird. In diesem Fall führt die Informationsverarbeitungsvorrichtung 2 verschiedene Verarbeitungsvorgänge derart durch, dass der virtuelle Teil als ein Objekt, das mit dem relevanten Teil im virtuellen Raum korrespondiert, als Reaktion auf die Bewegung des Teils des Benutzers im realen Raum bewegt wird. Der virtuelle Teil ist ein beispielhaftes zweites virtuelles Objekt einer Ausführungsform der vorliegenden Offenbarung, das basierend auf der Referenz, die im virtuellen Raum als Reaktion auf die Bewegung des Teils des Benutzers im realen Raum bewegt wird, angezeigt wird. Speziell führt die Informationsverarbeitungsvorrichtung 2 verschiedene Verarbeitungsvorgänge derart durch, dass eine virtuelle Hand im virtuellen Raum, die mit der Hand des Benutzers im realen Raum korrespondiert, basierend auf Informationen, die die Position und die Lage des für taktile Präsentationen vorgesehenen Geräts 4 im realen Raum angeben und vom für Positions- und Lagedetektionen vorgesehenen Gerät 6 gesendet werden, bewegt wird. Die Informationsverarbeitungsvorrichtung 2 bewegt zum Beispiel eine Anzeigeposition der virtuellen Hand mit dem Head Mounted Display 10 als Reaktion auf die Bewegung der Hand des Benutzers im realen Raum. Ferner kann die Informationsverarbeitungsvorrichtung 2 taktile Informationen, die die vom Benutzer wahrzunehmende taktile Empfindung angeben, zum Beispiel sobald die virtuelle Hand im virtuellen Raum ein Kontaktobjekt als anderes Objekt berührt, erzeugen und die Informationen zur taktilen Präsentation zum Bewirken mit dem für taktile Präsentationen vorgesehenen Gerät, dass der Benutzer die relevante taktile Empfindung 4 wahrnimmt, an das für taktile Präsentationen vorgesehene Gerät 4 senden. Folglich führt das für taktile Präsentationen vorgesehene Gerät 4 eine taktile Präsentation gegenüber dem Benutzer durch. Das relevante Kontaktobjekt ist ein beispielhaftes erstes virtuelles Objekt einer Ausführungsform der vorliegenden Offenbarung, das in Kontakt mit dem zweiten virtuellen Objekt im virtuellen Raum steht.
  • Die Informationsverarbeitungsvorrichtung 2 gemäß einer Ausführungsform erzeugt taktile Informationen, die die vom Benutzer wahrzunehmende taktile Empfindung angeben, basierend auf einer relativen Bewegungsrichtung einer Referenz, die im virtuellen Raum als Reaktion auf eine Bewegung des Bedienungskörpers im realen Raum relativ zum Kontaktobjekt im virtuellen Raum bewegt wird. Mithin kann vom Benutzer eine entsprechende taktile Empfindung in Übereinstimmung mit der relativen Bewegungsrichtung der Referenz relativ zum Kontaktobjekt wahrgenommen werden. So ist es möglich, die taktile Empfindung mit größerer Genauigkeit zu präsentieren. In der folgenden Beschreibung wird vor allem die Informationsverarbeitungsvorrichtung 2 gemäß einer Ausführungsform eingehend beschrieben. In der folgenden Beschreibung wird ferner vor allem auf ein Beispiel eingegangen, in dem die Informationsverarbeitungsvorrichtung 2 Schwingungsinformationen, die Schwingungen als die vom Benutzer wahrgenommene taktile Empfindung angeben, als taktile Informationen erzeugt und die Informationen zur taktilen Präsentation zum Bewirken mit dem für taktile Präsentationen vorgesehenen Gerät 4, dass der Benutzer die Schwingungen wahrnimmt, an das für taktile Präsentationen vorgesehene Gerät 4 gesendet werden.
  • Funktionale Konfiguration
  • Im Folgenden wird ein Beispiel für die funktionale Konfiguration der Informationsverarbeitungsvorrichtung 2 gemäß einer Ausführungsform mit einem Beispiel für die funktionale Konfiguration des für taktile Präsentationen vorgesehenen Geräts 4 beschrieben. 3 ist ein erläuterndes Schaubild, das ein Beispiel für die funktionale Konfiguration der Informationsverarbeitungsvorrichtung 2 und des für taktile Präsentationen vorgesehenen Geräts 4 gemäß einer Ausführungsform zeigt.
  • «Informationsverarbeitungsvorrichtung»
  • Zunächst wird ein Beispiel für die funktionale Konfiguration der Informationsverarbeitungsvorrichtung 2 beschrieben. Wie in 3 gezeigt, enthält die Informationsverarbeitungsvorrichtung 2 Folgendes: eine Kommunikationseinheit 202; eine Funktionsspeichereinheit 204; eine zum Kalkulieren virtueller Positionen und Lagen vorgesehene Einheit 206; eine Bestimmungseinheit 208; eine Erzeugungseinheit 210; eine Tonausgabesteuereinheit 212; und eine Anzeigesteuereinheit 214.
  • (Kommunikationseinheit)
  • Die Kommunikationseinheit 202 kommuniziert mit einem externen Gerät der Informationsverarbeitungsvorrichtung 2. Speziell empfängt die Kommunikationseinheit 202 Informationen, die die Position und die Lage des für taktile Präsentationen vorgesehenen Geräts 4 im realen Raum angeben, vom für Positions- und Lagedetektionen vorgesehenen Gerät 6 und gibt die empfangenen Informationen an die zum Kalkulieren virtueller Positionen und Lagen vorgesehene Einheit 206 aus. Ferner sendet die Kommunikationseinheit 202 verschiedene von der Tonausgabesteuereinheit 212 und der Anzeigesteuereinheit 214 ausgegebene Bedienungsbefehle an den Kopfhörer 8 bzw. das Head Mounted Display 10. Des Weiteren gibt die Kommunikationseinheit 202 die relevanten Informationen, wenn Informationen, die eine Richtung des Kopfes des Benutzers angeben, vom Head Mounted Display 10 empfangen werden, an die Tonausgabesteuereinheit 212 und die Anzeigesteuereinheit 214 aus.
  • Darüber hinaus fungiert die Kommunikationseinheit 202 als Ausgabeeinheit, die die Informationen zur taktilen Präsentation zum Bewirken mit dem für taktile Präsentationen vorgesehenen Gerät 4, dass der Benutzer die Schwingungen wahrnimmt, ausgibt. Speziell sendet die Kommunikationseinheit 202 Schwingungsinformationen, die die Schwingungen zum Bewirken, dass der Benutzer die durch die Erzeugungseinheit 210 erzeugten Schwingungen wahrnimmt, als Informationen zur taktilen Präsentation an das für taktile Präsentationen vorgesehene Gerät 4. Es wird darauf hingewiesen, dass die durch die Erzeugungseinheit 210 erzeugten Schwingungsinformationen später noch eingehender beschrieben werden.
  • (Funktionsspeichereinheit)
  • Die Funktionsspeichereinheit 204 speichert Daten, auf die zur Erzeugungsverarbeitung der Schwingungsinformationen in der Erzeugungseinheit 210 Bezug genommen wird. Speziell speichert die Funktionsspeichereinheit 204 eine Funktionsbibliothek als eine Menge von in Frage kommenden Funktionen zum Erzeugen der Schwingungsinformationen. Die relevanten in Frage kommenden Funktionen werden gespeichert, verknüpft mit Informationen, die jedes Material angeben. Es wird darauf hingewiesen, dass die Funktionsbibliothek später noch ausführlicher beschrieben wird. Ferner kann die Funktionsspeichereinheit 204 auch noch andere Daten speichern, auf die für die verschiedenen Verarbeitungsvorgänge in der Informationsverarbeitungsvorrichtung 2 Bezug genommen wird.
  • (Einheit zum Kalkulieren virtueller Positionen und Lagen)
  • Die zum Kalkulieren virtueller Positionen und Lagen vorgesehene Einheit 206 kalkuliert die Position und die Lage eines virtuellen Teils, der im virtuellen Raum als Reaktion auf eine Bewegung des Teils eines Benutzers im realen Raum bewegt wird, und gibt das kalkulierte Ergebnis an die Bestimmungseinheit 208, die Erzeugungseinheit 210, die Tonausgabesteuereinheit 212 und die Anzeigesteuereinheit 214 aus. Speziell kalkuliert die Informationsverarbeitungsvorrichtung 2 die Position und die Lage der virtuellen Hand als des virtuellen Teils im virtuellen Raum basierend auf Informationen, die die Position und die Lage des für taktile Präsentationen vorgesehenen Geräts 4 im realen Raum angeben und vom für Positions- und Lagedetektionen vorgesehenen Gerät 6 gesendet werden. Die Position und die Lage der virtuellen Hand als des kalkulierten virtuellen Teils im virtuellen Raum korrespondieren mit einer Referenz, die im virtuellen Raum als Reaktion auf die Bewegung des Teils des Benutzers im realen Raum bewegt wird.
  • (Anzeigesteuereinheit)
  • Die Anzeigesteuereinheit 214 steuert die Anzeige eines Bilds auf dem Head Mounted Display 10. Speziell steuert die Anzeigesteuereinheit 214 das Senden des Bedienungsbefehls an das Head Mounted Display 10 mit der Kommunikationseinheit 202, wodurch die Anzeige des Bilds auf dem Head Mounted Display 10 gesteuert wird. Die Anzeigesteuereinheit 214 steuert zum Beispiel möglicherweise die Anzeige eines Bilds, das jedes Objekt auf dem Head Mounted Display 10 zeigt, basierend auf den Informationen zu jedem Objekt im virtuellen Raum. Hier enthalten die Informationen zu jedem Objekt im virtuellen Raum zum Beispiel möglicherweise Informationen, die die Position jedes Objekts angeben, und/oder Informationen, die die Form jedes Objekts angeben, und/oder Informationen, die die Textur einer Oberfläche jedes Objekts angeben, und/oder Informationen, die die Farbe der Oberfläche jedes Objekts angeben. Ferner kann die Anzeigesteuereinheit 214 bewirken, dass das Head Mounted Display 10 den virtuellen Teil basierend auf der Referenz, die im virtuellen Raum als Reaktion auf eine Bewegung des Teils des Benutzers im realen Raum bewegt wird, anzeigt. Speziell kann die Anzeigesteuereinheit 214 bewirken, dass das Head Mounted Display 10 die virtuelle Hand basierend auf der Position und der Lage der virtuellen Hand als des kalkulierten virtuellen Teils im virtuellen Raum anzeigt.
  • 4 ist ein erläuterndes Schaubild, das ein Beispiel für die Anzeige eines Bilds auf dem Head Mounted Display 10 zeigt. In 4 sind eine virtuelle Hand B10, die im virtuellen Raum als Reaktion auf die Bewegung der Hand des Benutzers im realen Raum bewegt wird, und eine virtuelle Katze B22 als Kontaktobjekt angezeigt. Die Anzeigesteuereinheit 214 bewirkt, dass sich eine Anzeigeposition der virtuellen Hand B10 gemäß Informationen bewegt, die die Position und die Lage der virtuellen Hand B10, die durch die zum Kalkulieren virtueller Positionen und Lagen vorgesehene Einheit 206 kalkuliert werden, angeben. Es wird darauf hingewiesen, dass die Anzeigesteuereinheit 214 die Anzeige des Bilds auf dem Head Mounted Display 10 basierend auf den Informationen, die die Richtung des Kopfes des Benutzers angeben, steuern kann.
  • (Tonausgabesteuereinheit)
  • Die in 3 gezeigte Tonausgabesteuereinheit 212 steuert die Tonausgabe durch den Kopfhörer 8. Speziell steuert die Tonausgabesteuereinheit 212 das Senden des Bedienungsbefehls an den Kopfhörer 8 mit der Kommunikationseinheit 202, wodurch die Tonausgabe durch den Kopfhörer 8 gesteuert wird. Zum Beispiel kann die Tonausgabesteuereinheit 212 die Tonausgabe durch den Kopfhörer 8 basierend auf Informationen zu einer virtuellen Schallquelle im virtuellen Raum steuern. Speziell kann die Tonausgabesteuereinheit 212 das Verhältnis zwischen der Lautstärke auf der Seite des rechten Ohrs des Benutzers und der Lautstärke auf der Seite des linken Ohrs des Benutzers in der Tonausgabe durch den Kopfhörer 8 ändern und kann sowohl die Lautstärke auf der Seite des rechten Ohrs des Benutzers als auch die Lautstärke auf der Seite des linken Ohrs des Benutzers erhöhen oder verringern. Es wird darauf hingewiesen, dass die Tonausgabesteuereinheit 212 die Tonausgabe durch den Kopfhörer 8 basierend auf Informationen, die die Richtung des Kopfes des Benutzers angeben, steuern kann.
  • (Bestimmungseinheit)
  • Die Bestimmungseinheit 208 bestimmt, ob der virtuelle Teil in Kontakt mit dem Kontaktobj ekt im virtuellen Raum steht oder nicht, und gibt ein Bestimmungsergebnis an die Erzeugungseinheit 210 aus. Speziell bestimmt die Bestimmungseinheit 208, ob der virtuelle Teil in Kontakt mit dem Kontaktobjekt steht oder nicht, basierend auf einer Beziehung zwischen der Position und der Lage des virtuellen Teils, die durch die zum Kalkulieren virtueller Positionen und Lagen vorgesehene Einheit 206 kalkuliert werden, und der Position und der Lage des Kontaktobjekts. Die Bestimmungseinheit 208 bestimmt zum Beispiel, dass die virtuelle Hand B10 in Kontakt mit der virtuellen Katze B22 steht, wenn sich ein Teil der virtuellen Hand B10, die in 4 gezeigt ist, und die virtuelle Katze B22 zum Teil überdecken.
  • (Erzeugungseinheit)
  • Die Erzeugungseinheit 210 erzeugt taktile Informationen, die die vom Benutzer wahrzunehmende taktile Empfindung angeben. Sobald der virtuelle Teil in Kontakt mit dem Kontaktobjekt steht, erzeugt die Erzeugungseinheit 210 zum Beispiel Schwingungsinformationen, die vom Benutzer wahrzunehmende Schwingungen angeben. Speziell erzeugt die Erzeugungseinheit 210 die Schwingungsinformationen, wenn die Bestimmungseinheit 208 bestimmt, dass der virtuelle Teil in Kontakt mit dem Kontaktobjekt im virtuellen Raum steht. Die erzeugten Schwingungsinformationen werden an die Kommunikationseinheit 202 ausgegeben und durch die Kommunikationseinheit 202 an das für taktile Präsentationen vorgesehene Gerät 4 gesendet. Die Schwingungsinformationen können Informationen, die eine Beziehung zwischen einer Zeitfrequenz, einer Ortsfrequenz und einer Amplitude angeben, enthalten. Die Schwingungsinformationen werden hierin unten noch beschrieben.
  • Die Frequenzeigenschaften von Schwingungen, die von einem Menschen als taktile Empfindung wahrgenommen werden, lassen sich durch zwei Frequenzen ausdrücken, nämlich durch eine Zeitfrequenz und eine Ortsfrequenz. Die Zeitfrequenz korrespondiert mit einem Abschnitt einer zeitlichen Schwingungsänderung. Die Ortsfrequenz ist ein Wert, der mit der räumlichen Dichte an einem Abschnitt korrespondiert, in dem Schwingungen auf der Hautoberfläche erzeugt werden, wo die Schwingungen detektiert werden. Ein Teil der Oberflächenschicht der menschlichen Haut enthält Meissner-Körperchen (FA I), Pacini-Körperchen (FA II), Merkel-Körperchen (SA I) und Ruffini-Körperchen (SA II). Ein Mensch kann die taktile Empfindung, die mit dem Detektionsergebnis der Reize korrespondiert, mit den jeweiligen Empfängern empfinden.
  • Wie in 5 gezeigt, unterscheiden sich hier die Frequenzeigenschaften der Schwingungen, die durch die jeweiligen Empfänger detektiert werden können. 5 zeigt Bereiche der Zeitfrequenz und der Ortsfrequenz, die durch die jeweiligen Empfänger detektiert werden können. Aufgrund des geringeren Abstands des Empfängers zur Hautoberfläche, wie in 5 gezeigt, ist die detektierbare Ortsfrequenz höher. Wenn in der Hautoberfläche Schwingungen erzeugt werden, korrespondieren die Werte der Schwingungen der Zeitfrequenz und der Ortsfrequenz, die durch die jeweiligen Empfänger detektierbar sind, mit einem Betrag einer Detektion durch die relevanten jeweiligen Empfänger. Zum Beispiel korrespondiert ein Wert der Schwingungen mit Frequenzeigenschaften, wenn die Zeitfrequenz niedrig und die Ortsfrequenz hoch ist, mit einem Betrag einer Merkel-Körperchen-Detektion. Ein Wert der Schwingungen mit Frequenzeigenschaften, wenn die Zeitfrequenz hoch und die Ortsfrequenz niedrig ist, korrespondiert hingegen mit einem Betrag einer Pacini-Körperchen-Detektion.
  • Wird die taktile Präsentation so durchgeführt, dass bewirkt wird, dass der Benutzer die Schwingungen wahrnimmt, kann der Benutzer die taktile Empfindung gemäß der Beziehung zwischen der Zeitfrequenz, der Ortsfrequenz und der Amplitude der vom Benutzer wahrzunehmenden Schwingungen empfinden. Im zur Präsentation eines virtuellen Raums vorgesehenen System 1 führt das für taktile Präsentationen vorgesehene Gerät 4 die taktile Präsentation speziell durch, indem es bewirkt, dass der Benutzer die Schwingungen wahrnimmt, die mit durch die Erzeugungseinheit 210 erzeugten Informationen, die eine Beziehung zwischen der Zeitfrequenz, der Ortsfrequenz und der Amplitude angeben, korrespondieren. So wird die taktile Empfindung gemäß den durch die Erzeugungseinheit 210 erzeugten Informationen, die die Beziehung zwischen der Zeitfrequenz, der Ortsfrequenz und der Amplitude angeben, dem Benutzer präsentiert. Die Erzeugung der Schwingungsinformationen durch die Erzeugungseinheit 210 wird hierin unten noch eingehender beschrieben.
  • Die Erzeugungseinheit 210 kann die Schwingungsinformationen basierend auf den Informationen erzeugen, die Eigenschaften eines Teils angeben, der, wie bestimmt wird, in Kontakt mit dem virtuellen Teil des Kontaktobjekts steht. Die Erzeugungseinheit 210 kann die Schwingungsinformationen zum Beispiel basierend auf Informationen erzeugen, die ein virtuelles Material des Teils angeben, der, wie bestimmt wird, in Kontakt mit dem virtuellen Teil des Kontaktobjekts steht. Speziell ruft die Erzeugungseinheit 210 eine Funktion, die mit Informationen verknüpft ist, die das virtuelle Material des Teils angeben, der, wie bestimmt wird, in Kontakt mit dem virtuellen Teil des Kontaktobjekts steht, aus einer in der Funktionsspeichereinheit 204 gespeicherten Funktionsbibliothek ab und erzeugt die Schwingungsinformationen unter Verwendung der abgerufenen Funktion. Wie oben erwähnt, ist eine in Frage kommende Funktion, die in der Funktionsbibliothek enthalten ist, gespeichert, verknüpft mit den Informationen, die jedes Material angeben. Ferner sind Informationen, die das virtuelle Material jedes Objekts angeben, vorgegeben. Die Erzeugungseinheit 210 spezifiziert das virtuelle Material eines Teils, der, wie bestimmt wird, in Kontakt mit dem virtuellen Teil des Kontaktobjekts steht, basierend auf der Position und der Lage des virtuellen Teils, die durch die zum Kalkulieren virtueller Positionen und Lagen vorgesehene Einheit 206 kalkuliert werden, der Position und der Lage des Kontaktobjekts und den Informationen, die das Material jedes Objekts angeben.
  • 6 ist ein erläuterndes Schaubild, das ein Beispiel für eine durch ein Datentabellenformat gezeigte Funktionsbibliothek D10 zeigt. Wie in 6 gezeigt, ist in der Funktionsbibliothek D10 in jeder Zeile eine Materialbezeichnung m, die das Material angibt, mit einer Funktion Rm (v, θ, p, T, h; f, k) verknüpft. Zum Beispiel sind die Materialbezeichnung „dicke Schicht (rau)“, die Materialbezeichnung „dicke Schicht (glatt)“ und die Materialbezeichnung „dünne Schicht (rau)“ jeweils mit der Funktion R dicke Schicht (rau) (v, θ, p, T, h; f, k), der Funktion R dicke Schicht (glatt) (v, θ, p, T, h; f, k) und der Funktion R dünne Schicht (rau) (v, θ, p, T, h; f, k) verknüpft. Wenn das virtuelle Material eines Teils, das, wie bestimmt, in Kontakt mit dem virtuellen Teil des Kontaktobjekts steht, zum Beispiel ein Holzmaterial (rau) ist, ruft die Erzeugungseinheit 210 die Funktion R Holzmaterial (rau) (v, θ, p, T, h; f, k), die mit der Materialbezeichnung „Holzmaterial (rau)“ verknüpft ist, aus der Funktionsbibliothek D10 ab. Es wird vorausgesetzt, dass der Typ des virtuellen Materials, der für jedes Objekt im virtuellen Raum festgelegt ist, begrenzt vorhanden ist. So werden die Schwingungsinformationen, wie oben erwähnt, unter Verwendung der Funktion erzeugt, die aus den in Frage kommenden Funktionen, die mit den jedes Material angebenden Informationen verknüpft sind, abgerufen wird, wodurch die Menge der zum Erzeugen der Schwingungsinformationen verwendeten Informationen reduziert wird. Mithin ist es möglich, Speicherplatz zu sparen. Es wird darauf hingewiesen, dass die Funktion Rm (v, θ, p, T, h; f, k) in der folgenden Beschreibung auch als Funktion R bezeichnet wird.
  • Die Funktion R schreibt eine Beziehung zwischen jeweiligen Parametern vor, nämlich zwischen einer Zeitfrequenz f, einer Ortsfrequenz k und einer Amplitude. Die Erzeugungseinheit 210 erzeugt als Schwingungsinformationen eine Antwortfunktion r(f, k), die die Beziehung zwischen der Zeitfrequenz f, der Ortsfrequenz k und der Amplitude angibt, durch Ersetzen der jeweiligen Parameter in der Funktion R. Die jeweiligen Parameter enthalten zum Beispiel eine relative Geschwindigkeit v der Referenz im virtuellen Raum, die mit dem Teil des Benutzers relativ zum Kontaktobjekt korrespondiert, sobald der virtuelle Teil in Kontakt mit dem Kontaktobjekt steht, eine relative Bewegungsrichtung θ der relevanten Referenz relativ zum Kontaktobjekt, einen virtuellen Druck p, der durch den virtuellen Teil auf das Kontaktobjekt ausgeübt wird, eine virtuelle Temperatur T eines Teils, der, wie bestimmt, den virtuellen Teil des Kontaktobjekts berührt, und eine virtuelle Feuchtigkeit h eines Teils, der, wie bestimmt, in Kontakt mit dem virtuellen Teil des Kontaktobjekts steht. Wie oben erwähnt, kann die Erzeugungseinheit 210 die Antwortfunktion r(f, k) als Schwingungsinformationen basierend auf der Geschwindigkeit v, der Bewegungsrichtung θ, dem Druck p, der Temperatur T und der Feuchtigkeit h erzeugen. Es wird darauf hingewiesen, dass der Parameter bei der Erzeugung der Antwortfunktion r(f, k) mindestens die Bewegungsrichtung θ enthalten kann und die Geschwindigkeit v und/oder den Druck p und/oder die Temperatur T und/oder die Feuchtigkeit h nicht enthalten muss.
  • Die taktile Empfindung, die bei der Berührung des Objekts empfunden wird, kann sich abhängig von den jeweiligen Parametern ändern. Zum Beispiel ändert sich die taktile Empfindung ohne Weiteres bei einem Objekt aus Material wie Gummi oder Fell abhängig von der Temperatur oder der Feuchtigkeit. Ferner ändert sich die taktile Empfindung ohne Weiteres bei einem Objekt aus besonders weichem Material abhängig vom Druck, der auf das relevante Objekt bei der Berührung des relevanten Objekts ausgeübt wird. Weil eine relative Geschwindigkeit zwischen dem relevanten Objekt und dem Teil des Menschen, der das relevante Objekt berührt, höher ist, ist es des Weiteren schwierig, den Unterschied in der Feinheit einer Oberfläche des relevanten Objekts zu detektieren. Wie oben erwähnt, ist es möglich, die taktile Empfindung, die mit den jeweiligen Parametern korrespondiert, mit größerer Genauigkeit zu präsentieren, wenn die Schwingungsinformationen basierend auf Informationen, die die Geschwindigkeit v, den Druck p, die Temperatur T oder die Feuchtigkeit h angeben, erzeugt werden.
  • Die Erzeugungseinheit 210 kalkuliert mittels der jeweiligen Parameter die Geschwindigkeit v, die Bewegungsrichtung θ und den Druck p basierend auf den Informationen, die die Position und die Lage des virtuellen Teils, die durch die zum Kalkulieren virtueller Positionen und Lagen vorgesehene Einheit 206 kalkuliert werden, angeben. Hier kalkuliert die Erzeugungseinheit 210 zum Beispiel möglicherweise den Druck p abhängig davon, wie weit die Oberfläche des virtuellen Teils in das Innere des Kontaktobjekts eindringt, oder abhängig vom Volumen eines Bereichs, in dem der virtuelle Teil und das Kontaktobjekt überlappen. Es wird darauf hingewiesen, dass die Erzeugungseinheit 210 einen Wert verwenden kann, der durch eine Messung des am Teil des Benutzers im realen Raum erzeugten Drucks, etwa des Drucks p, erhalten wird. Falls zum Beispiel eine Bewegung des Fingers des Benutzers unter Verwendung eines auf Druck reagierenden Touchscreens detektiert wird, kann die Erzeugungseinheit 210 einen Wert verwenden, der durch eine Messung des Drucks, der am Finger des Benutzers im realen Raum mit dem relevanten auf Druck reagierenden Touchscreen erzeugt wird, etwa des Drucks p, erhalten wird.
  • Darüber hinaus kann die Erzeugungseinheit 210 einen Wert verwenden, der im virtuellen Raum als Temperatur T und Feuchtigkeit h unter den jeweiligen Parametern vorgegeben ist. Wenn die Temperatur oder die Feuchtigkeit nicht für das in Kontakt mit dem virtuellen Teil stehende Kontaktobjekt festgelegt ist, kann die Erzeugungseinheit 210 hier einen Wert verwenden, der für die Umgebung um das Kontaktobjekt im virtuellen Raum herum festgelegt ist, etwa die Temperatur T oder die Feuchtigkeit h. Ferner kann die Erzeugungseinheit 210 einen festen Wert für die Temperatur T oder die Feuchtigkeit h verwenden.
  • Die Erzeugungseinheit 210 gemäß einer Ausführungsform erzeugt taktile Informationen, die die vom Benutzer wahrzunehmende taktile Empfindung angeben, basierend auf einer relativen Bewegungsrichtung der Referenz, die im virtuellen Raum als Reaktion auf eine Bewegung eines Bedienungskörpers im realen Raum relativ zu einem ersten virtuellen Objekt im relevanten virtuellen Raum bewegt wird. Speziell erzeugt die Erzeugungseinheit 210 Schwingungsinformationen, die vom Benutzer wahrzunehmende Schwingungen angeben, basierend auf der relativen Bewegungsrichtung der Referenz, die im virtuellen Raum als Reaktion auf die Bewegung des Teils des Benutzers im realen Raum relativ zum Kontaktobjekt im relevanten virtuellen Raum bewegt wird. Ferner kann die Erzeugungseinheit 210 die Schwingungsinformationen basierend auf der relativen Bewegungsrichtung der Referenz relativ zum Kontaktobjekt in einem Zustand erzeugen, in dem bestimmt wird, dass das Kontaktobjekt in Kontakt mit dem virtuellen Teil steht. In einem Fall ist die Oberflächenform des Objekts im realen Raum möglicherweise anisotrop. In einem solchen Fall wird beim Berühren der Oberfläche des relevanten Objekts abhängig von der relativen Bewegungsrichtung des Teils eines Menschen relativ zum relevanten Objekt möglicherweise jeweils eine andere taktile Empfindung empfunden, wenn das relevante Objekt den Teil des Menschen berührt. So ist es möglich, die taktile Empfindung mit größerer Genauigkeit zu präsentieren, wenn die Schwingungsinformationen, die die vom Benutzer wahrzunehmenden Schwingungen angeben, basierend auf der relativen Bewegungsrichtung der Referenz, die im relevanten virtuellen Raum als Reaktion auf die Bewegung des Teils des Benutzers im realen Raum relativ zum Kontaktobjekt im virtuellen Raum bewegt wird, erzeugt werden.
  • Zum Beispiel kann die Erzeugungseinheit 210 Schwingungsinformationen erzeugen, die unterschiedlich abhängig davon sind, ob eine relative Bewegungsrichtung der Referenz, die mit der virtuellen Hand B10 relativ zur virtuellen Katze B22 korrespondiert, falls bestimmt wird, dass die in 4 gezeigte virtuelle Hand B10 die virtuelle Katze B22 berührt, eine Richtung C12 ist oder ob die relative Bewegungsrichtung eine Richtung C14 ist, die von der Richtung C12 verschieden ist. Weil im realen Raum möglicherweise Haare auf der Oberfläche der Katze wachsen, kann die Oberflächenform der Katze anisotrop sein. So ist es möglich, die taktile Empfindung beim Berühren der Katze mit größerer Genauigkeit zu präsentieren, wenn die Schwingungsinformationen basierend auf der relativen Bewegungsrichtung der Referenz, die mit der virtuellen Hand B10 relativ zur virtuellen Katze B22 korrespondiert, erzeugt werden.
  • Ferner kann die Erzeugungseinheit 210 Schwingungsinformationen erzeugen, die unterschiedlich abhängig davon sind, ob die relative Bewegungsrichtung der Referenz, die mit dem virtuellen Teil relativ zum Kontaktobjekt korrespondiert, eine erste Richtung ist oder ob die relative Bewegungsrichtung eine zweite Richtung ist, die im Wesentlichen entgegengesetzt zur relevanten ersten Richtung verläuft. Zum Beispiel kann die Erzeugungseinheit 210 Schwingungsinformationen erzeugen, die unterschiedlich abhängig davon sind, ob die relative Bewegungsrichtung der Referenz, die mit der virtuellen Hand B10 relativ zur virtuellen Katze B22 korrespondiert, die Richtung C12 ist, wenn bestimmt wird, dass die in 4 gezeigte virtuelle Hand B10 die virtuelle Katze B22 berührt, oder ob die relative Bewegungsrichtung die Richtung C16 ist, die im Wesentlichen entgegengesetzt zur Richtung C12 verläuft. Möglicherweise wachsen im realen Raum Haare in eine Richtung auf der Oberfläche der Katze. Falls die Oberfläche der Katze berührt wird, während die Hand entlang der Richtung, in der die Haare wachsen, bewegt wird, wenn die Hand in entgegengesetzte Bewegungsrichtungen bewegt wird, können hierbei unterschiedliche taktile Empfindungen empfunden werden. Speziell können hierbei unterschiedliche taktile Empfindungen abhängig davon empfunden werden, ob die Hand von den Wurzeln bis zu den Spitzen der Haare bewegt wird oder ob die Hand in einer Sträubungsrichtung bewegt wird. So werden unterschiedliche Schwingungsinformationen abhängig davon erzeugt, ob die relative Bewegungsrichtung der Referenz, die mit der virtuellen Hand B10 relativ zur virtuellen Katze B22 korrespondiert, die Richtung C12 ist oder ob die relative Bewegungsrichtung eine Richtung C16 ist, wodurch die taktile Empfindung, die beim Berühren der Katze empfunden wird, mit größerer Genauigkeit präsentiert wird.
  • Die Erzeugungseinheit 210 kann die Schwingungsinformationen basierend auf Informationen, die einen Grad des Schwitzens des Teils des Benutzers angeben, erzeugen. In dem Fall wird zum Beispiel ein das Ausmaß des Schwitzens des Teils des Benutzers detektierender Sensor bereitgestellt, und ein Detektionsergebnis kann vom relevanten Sensor an die Informationsverarbeitungsvorrichtung 2 gesendet werden. Die Erzeugungseinheit 210 erzeugt die Schwingungsinformationen basierend auf den vom relevanten Sensor gesendeten Informationen, die das Ausmaß des Schwitzens angeben. Darüber hinaus kann die Erzeugungseinheit 210 das Ausmaß des Schwitzens des Teils des Benutzers basierend auf physiologischen Informationen wie der Herzfrequenz des Benutzers schätzen und die Schwingungsinformationen basierend auf dem geschätzten Ausmaß des Schwitzens erzeugen. In diesem Fall kann zum Beispiel ein Sensor, der lebensnotwendige Informationen wie die Herzfrequenz des Benutzers detektiert, dafür bereitgestellt sein, um das Detektionsergebnis vom relevanten Sensor an die Informationsverarbeitungsvorrichtung 2 zu senden. Ferner kann die Erzeugungseinheit 210 Informationen, die den Gesichtsausdruck oder die Augenbewegungen des Benutzers angeben, aus einem durch eine Bildverarbeitung bei der Schätzung des Ausmaßes des Schwitzens erhaltenen Bild vom Gesicht des Benutzers extrahieren und das Ausmaß des Schwitzens des Teils des Benutzers basierend auf den relevanten Informationen schätzen. In diesem Fall ist zum Beispiel möglicherweise ein bildgebendes Gerät, welches das Gesicht des Benutzers abbildet, dafür bereitgestellt, um Informationen, die das Bild vom Gesicht des Benutzers angeben, vom relevanten bildgebenden Gerät an die Informationsverarbeitungsvorrichtung 2 zu senden. Wie oben erwähnt, ist es möglich, die taktile Empfindung in Übereinstimmung mit dem Grad des Schwitzens des Teils des Benutzers mit größerer Genauigkeit zu präsentieren, wenn die Schwingungsinformationen basierend auf den Informationen, die den Grad des Schwitzens des Teils des Benutzers angeben, erzeugt werden.
  • Darüber hinaus kann die Erzeugungseinheit 210 eine Funktion aus in Frage kommenden Funktionen abrufen, die mit Informationen verknüpft ist, die das virtuelle Material des Kontaktobjekts mit der Möglichkeit eines Kontaktierens des virtuellen Teils von in Frage kommenden Funktionen angeben. Zum Beispiel spezifiziert die Erzeugungseinheit 210 möglicherweise das virtuelle Material des Kontaktobjekts mit der Möglichkeit eines Kontaktierens des virtuellen Teils im Einklang mit Szenen im virtuellen Raum. Speziell spezifiziert die Erzeugungseinheit 210 ein Holzmaterial als virtuelles Material des Kontaktobjekts mit der Möglichkeit eines Kontaktierens des virtuellen Teils, wenn eine Szene im virtuellen Raum ein Wald ist. In diesem Fall ruft die Erzeugungseinheit 210 eine Funktion R Holzmaterial (rau) (v, θ, p, T, h; f, k) oder eine Funktion R Holzmaterial (glatt) (v, θ, p, T, h; f, k) ab, die mit den Materialbezeichnungen „Holzmaterial (rau)“ bzw. „Holzmaterial (glatt)“ in der in 6 gezeigten Funktionsbibliothek D10 korrespondieren. Ferner kann die Erzeugungseinheit 210 ein virtuelles Material eines auf dem Head Mounted Display 10 angezeigten Objekts als ein virtuelles Material des Kontaktobjekts mit der Möglichkeit eines Kontaktierens des virtuellen Teils spezifizieren. Wie oben erwähnt, ist es möglich, die Funktion aus den in Frage kommenden Funktionen, die mit den Informationen verknüpft sind, die das virtuelle Material des Kontaktobjekts mit der Möglichkeit eines Kontaktierens des Kontaktobjekts aus den in Frage kommenden Funktionen angeben, abzurufen, wodurch die Rechenlast bei der Verarbeitung reduziert wird.
  • Ferner kann die Erzeugungseinheit 210 die Schwingungsinformationen basierend auf Informationen erzeugen, die Eigenschaften eines Teils des virtuellen Teils angeben, der, wie bestimmt wird, in Kontakt mit dem Kontaktobjekt steht. Zum Beispiel kann die Erzeugungseinheit 210 die Schwingungsinformationen basierend auf Informationen erzeugen, die das virtuelle Material eines Teils des virtuellen Teils angeben, der, wie bestimmt wird, in Kontakt mit dem Kontaktobjekt steht. Zum Beispiel ruft die Erzeugungseinheit 210 eine Funktion, die mit den Informationen verknüpft ist, die das virtuelle Material des Teils angeben, der, wie bestimmt wird, in Kontakt mit dem Kontaktobjekt steht, aus der Funktionsbibliothek D10 ab und erzeugt die Schwingungsinformationen unter Verwendung der abgerufenen Funktion. Speziell ruft die Erzeugungseinheit 210 eine Funktion, die mit Informationen verknüpft ist, die das virtuelle Material des Teils des Kontaktobjekts angeben, der, wie bestimmt wird, in Kontakt mit dem virtuellen Teil steht, bzw. eine Funktion, die mit den Informationen verknüpft ist, die das virtuelle Material des Teils des virtuellen Teils angeben, der, wie bestimmt wird, in Kontakt mit dem Kontaktobjekt steht, aus der Funktionsbibliothek D10 ab. Anschließend kann die Erzeugungseinheit 210 die Schwingungsinformationen erzeugen, zum Beispiel unter Verwendung einer Funktion, die durch Multiplizieren der zwei abgerufenen Funktionen erhalten wird. Folglich ist es möglich, die taktile Empfindung basierend auf den virtuellen Materialien des virtuellen Teils und des Kontaktobjekts mit größerer Genauigkeit zu präsentieren.
  • «Gerät für taktile Präsentation»
  • Im Folgenden wird ein Beispiel für eine funktionale Konfiguration des für taktile Präsentationen vorgesehenen Geräts 4 beschrieben. Wie in 3 gezeigt, enthält das für taktile Präsentationen vorgesehene Gerät 4 eine Kommunikationseinheit 408, eine Ansteuersignalkalkulationseinheit 406, eine Schwingungssteuereinheit 404 und eine Schwingeinheit 402.
  • (Kommunikationseinheit)
  • Die Kommunikationseinheit 408 kommuniziert mit einem externen Gerät des für taktile Präsentationen vorgesehenen Geräts 4. Speziell empfängt die Kommunikationseinheit 408 eine Antwortfunktion r(f, k), die durch die Informationsverarbeitungsvorrichtung 2 als Schwingungsinformationen erzeugt wurde, von der Informationsverarbeitungsvorrichtung 2 und gibt die Informationen an die Ansteuersignalkalkulationseinheit 406 aus.
  • (Ansteuersignalkalkulationseinheit)
  • Die Ansteuersignalkalkulationseinheit 406 kalkuliert ein Ansteuersignal a(t) zum Ansteuern der Schwingeinheit 402, um zu bewirken, dass der Benutzer Schwingungen, die durch die Schwingungsinformationen angegeben werden, basierend auf den von der Kommunikationseinheit 408 ausgegebenen Schwingungsinformationen wahrnimmt, und gibt das Signal an die Schwingungssteuereinheit 404 aus. Speziell kalkuliert die Ansteuersignalkalkulationseinheit 406 das Ansteuersignal a(t) zum Erzeugen von Schwingungen, die mit der durch die Informationsverarbeitungsvorrichtung 2 erzeugten Antwortfunktion r(f, k) korrespondieren, durch die Schwingeinheit 402. Das kalkulierte Ansteuersignal a(t) ist speziell ein Signal, das einen Stromwert oder einen Spannungswert zeigt.
  • (Schwingungssteuereinheit)
  • Die Schwingungssteuereinheit 404 steuert die Ansteuerung der Schwingeinheit 402. Die Schwingeinheit 402 weist zum Beispiel einen Oszillator auf, und die Schwingungssteuereinheit 404 steuert die Schwingungen des relevanten Oszillators basierend auf der Antwortfunktion r(f, k) als Schwingungsinformationen. Speziell steuert die Schwingungssteuereinheit 404 die Schwingungen des Oszillators der Schwingeinheit 402 basierend auf dem von der Ansteuersignalkalkulationseinheit 406 ausgegebenen Ansteuersignal a(t). Die Antwortfunktion r(f, k) wird bei einer Steuerung der Schwingungen des Oszillators mit der Schwingungssteuereinheit 404 hierbei als Informationen zum Steuern der Zeitfrequenz oder der Amplitude der durch den Oszillator erzeugten Schwingungen verwendet. Mit anderen Worten, die Informationen zur taktilen Präsentation können die Informationen zum Steuern der Zeitfrequenz oder der Amplitude der durch den Oszillator erzeugten Schwingungen enthalten.
  • (Schwingeinheit)
  • Die Schwingeinheit 402 erzeugt die Schwingungen basierend auf einem Bedienungsbefehl von der Schwingungssteuereinheit 404, wodurch bewirkt wird, dass der Benutzer die relevanten Schwingungen wahrnimmt. Folglich wird dem Benutzer die taktile Empfindung präsentiert. Die Schwingeinheit 402 erzeugt speziell Schwingungen, die mit der durch die Informationsverarbeitungsvorrichtung 2 erzeugten Antwortfunktion r(f, k) korrespondieren, basierend auf dem Ansteuersignal a(t). Die relevante Funktion ist z. B. realisierbar durch ein Piezoelement, ein Formgedächtnislegierungselement, einen Polymeraktor, einen pneumatischen Aktor, einen statischen Aktor, ein Ultraschallerzeugungsgerät, einen Exzentermotor, einen Linearvibrator oder einen Tauchspulenmotor. Die Schwingeinheit 402 bewirkt, dass der Benutzer die Schwingungen wahrnimmt, wodurch dem Benutzer die taktile Empfindung präsentiert wird. Es wird darauf hingewiesen, dass die Schwingeinheit 402, wenn eine Ortsfrequenz k von durch die Schwingeinheit 402 erzeugbaren Schwingungen ein fester Wert ist, Schwingungen mit einer Beziehung zwischen einer Zeitfrequenz f, die durch eine Ersetzung des relevanten festen Werts in der durch die Informationsverarbeitungsvorrichtung 2 erzeugten Antwortfunktion r(f, k) erhalten wird, und der Amplitude erzeugen kann.
  • Wie oben erwähnt, sendet die Informationsverarbeitungsvorrichtung 2 gemäß einer Ausführungsform die Antwortfunktion r(f, k) als Schwingungsinformationen, die die vom Benutzer wahrzunehmenden Schwingungen angeben und durch die Erzeugungseinheit 210 erzeugt wurden, als Informationen zur taktilen Präsentation an das für taktile Präsentationen vorgesehene Gerät 4. Ferner kalkuliert das für taktile Präsentationen vorgesehene Gerät 4 das Ansteuersignal a(t) zum Erzeugen der mit der Antwortfunktion r(f, k) korrespondierenden Schwingungen durch die Schwingeinheit 402 und erzeugt die mit der Antwortfunktion r(f, k) korrespondierenden Schwingungen. Wie oben erwähnt, wird die Funktion zum Erzeugen der Schwingungen durch das für taktile Präsentationen vorgesehene Gerät 4 durch verschiedene Mechanismen realisiert, und das Ansteuersignal a(t) zum Erzeugen der mit der Antwortfunktion r(f, k) korrespondierenden Schwingungen durch die Schwingeinheit 402 kann abhängig von den verwendeten Mechanismen variiert werden. So wird das Ansteuersignal a(t) auf der Seite des für taktile Präsentationen vorgesehenen Geräts 4 kalkuliert, wodurch sich mit der Informationsverarbeitungsvorrichtung 2 die Rechenlast reduzieren sowie Speicherplatz sparen lässt. Ferner wird die durch die Informationsverarbeitungsvorrichtung 2 gesendete Antwortfunktion r(f, k) beim Erzeugen der Schwingungen, die mit derselben Antwortfunktion r(f, k) korrespondieren, im für taktile Präsentationen vorgesehenen Gerät 4 mit unterschiedlichen Mechanismen zum Erzeugen der Schwingungen so angepasst, dass sie allgemein anwendbar ist, wodurch eine flexible Korrespondenz mit der Änderung von Typen des für taktile Präsentationen vorgesehenen Geräts 4, das verwendet wird, durchgeführt wird.
  • Ablauf
  • Im Folgenden werden Verarbeitungsabläufe der Informationsverarbeitungsvorrichtung 2 und des für taktile Präsentationen vorgesehenen Geräts 4 gemäß einer Ausführungsform beschrieben.
  • (Verarbeitung, die durch die Informationsverarbeitungsvorrichtung durchgeführt wird)
  • 7 ist ein Ablaufschema, das ein Beispiel für den Verarbeitungsablauf, der durch die Informationsverarbeitungsvorrichtung 2 gemäß einer Ausführungsform durchgeführt wird, zeigt. Wie in 7 gezeigt, empfängt die Kommunikationseinheit 202 zunächst Informationen, die die Position und die Lage des für taktile Präsentationen vorgesehenen Geräts 4 im realen Raum angeben, vom für Positions- und Lagedetektionen vorgesehenen Gerät 6 (Schritt S102) und gibt die empfangenen Informationen an die zum Kalkulieren virtueller Positionen und Lagen vorgesehene Einheit 206 aus. Als Nächstes kalkuliert die zum Kalkulieren virtueller Positionen und Lagen vorgesehene Einheit 206 die Position und die Lage des virtuellen Teils im virtuellen Raum basierend auf den Informationen, die die Position und die Lage des für taktile Präsentationen vorgesehenen Geräts 4 im realen Raum angeben und vom für Positions- und Lagedetektionen vorgesehenen Gerät 6 gesendet werden (S 104). Die Bestimmungseinheit 208 bestimmt, ob der virtuelle Teil in Kontakt mit dem Kontaktobjekt im virtuellen Raum steht oder nicht (Schritt S106).
  • Wenn die Bestimmungseinheit 208 bestimmt, dass der virtuelle Teil nicht in Kontakt mit dem Kontaktobjekt im virtuellen Raum steht (NEIN bei Schritt S106), wird bei dem Prozess zur Verarbeitung bei Schritt S102 zurückgekehrt. Wenn die Bestimmungseinheit 208 hingegen bestimmt, dass der virtuelle Teil in Kontakt mit dem Kontaktobjekt im virtuellen Raum steht (JA bei Schritt S106), erzeugt die Erzeugungseinheit 210 die Antwortfunktion r(f, k) als Schwingungsinformationen, die die Schwingungen angeben, die vom Benutzer wahrgenommen werden sollen, sobald der virtuelle Teil in Kontakt mit dem Kontaktobjekt steht (Schritt S300). Ferner sendet die Kommunikationseinheit 202 die durch die Erzeugungseinheit erzeugte Antwortfunktion r(f, k) als Informationen zur taktilen Präsentation an das für taktile Präsentationen vorgesehene Gerät 4 (Schritt S 108), woraufhin die in 7 gezeigte Verarbeitung endet.
  • 8 ist ein Ablaufschema, das ein Beispiel für den Ablauf einer Ansteuerinformationserzeugungsverarbeitung (Schritt S300) durch die Erzeugungseinheit 210 in 7 zeigt. Bei der Verarbeitung bei Schritt S300 kalkuliert die Erzeugungseinheit 210 die relative Geschwindigkeit v der Referenz, die mit dem virtuellen Teil relativ zum Kontaktobjekt korrespondiert, die relative Bewegungsrichtung θ der Referenz, die mit dem virtuellen Teil relativ zum Kontaktobj ekt korrespondiert, und den Druck p, der durch den virtuellen Teil auf das Kontaktobjekt ausgeübt wird, sobald der virtuelle Teil in Kontakt mit dem Kontaktobjekt steht (Schritt S302). Als Nächstes ruft die Erzeugungseinheit 210 eine Funktion Rm(v, θ, p, T, h; f, k), die mit einer Materialbezeichnung m verknüpft ist, die ein virtuelles Material eines Teils des Kontaktobjekts angibt, das, wie bestimmt, in Kontakt mit dem virtuellen Teil steht, aus der in der Funktionsspeichereinheit 204 gespeicherten Funktionsbibliothek D10 ab (Schritt S304). Die Erzeugungseinheit 210 erzeugt als Schwingungsinformationen die Antwortfunktion r(f, k), die eine Beziehung zwischen der Zeitfrequenz f, der Ortsfrequenz k und der Amplitude zeigt, durch Ersetzen der jeweiligen Parameter in der Funktion R (Schritt S306), woraufhin die in 8 gezeigte Verarbeitung endet.
  • (Verarbeitung, die durch das für taktile Präsentationen vorgesehene Gerät durchgeführt wird)
  • 9 ist ein Ablaufschema, das ein Beispiel für den Ablauf einer Verarbeitung, die durch das für taktile Präsentationen vorgesehene Gerät 4 gemäß einer Ausführungsform durchgeführt wird, zeigt. Wie in 9 gezeigt, empfängt die Kommunikationseinheit 408 zunächst die Antwortfunktion r(f, k), die durch die Informationsverarbeitungsvorrichtung 2 als Schwingungsinformationen erzeugt wurde, von der Informationsverarbeitungsvorrichtung 2 (Schritt S501) und gibt die empfangenen Informationen an die Ansteuersignalkalkulationseinheit 406 aus. Als Nächstes kalkuliert die Ansteuersignalkalkulationseinheit 406 das Ansteuersignal a(t) zum Erzeugen der Schwingungen, die mit der von der Kommunikationseinheit 408 ausgegebenen Antwortfunktion r(f, k) korrespondieren, mit der Schwingeinheit 402 (Schritt S502). Anschließend gibt die Ansteuersignalkalkulationseinheit 406 das Ansteuersignal a(t) an die Schwingungssteuereinheit 404 aus (Schritt S504). Als Nächstes erzeugt die Schwingeinheit 402 die Schwingungen basierend auf dem Bedienungsbefehl von der Schwingungssteuereinheit 404, wodurch dem Benutzer die taktile Empfindung basierend auf dem Ansteuersignal a(t) präsentiert wird (Schritt S506), woraufhin die in 9 gezeigte Verarbeitung endet.
  • Anwendungsbeispiel
  • Oben wird beispielhaft beschrieben, wie dem Benutzer die taktile Empfindung präsentiert wird, sobald der virtuelle Teil als ein Objekt im virtuellen Raum, das mit dem Teil des Benutzers im realen Raum korrespondiert, in Kontakt mit dem Kontaktobjekt steht. Jedoch kann die taktile Empfindung dem Benutzer auch in einem anderen Fall präsentiert werden. Zum Beispiel sei angenommen, dass das virtuelle Kontaktobjekt als ein Objekt, das in Kontakt mit mindestens einem Teil des virtuellen Teils im virtuellen Raum steht, als Reaktion auf die Bewegung des Teils des Benutzers im realen Raum bewegt wird. Fälle, in denen mindestens ein Teil des virtuellen Teils in Kontakt mit dem virtuellen Kontaktobjekt steht, enthalten zum Beispiel einen Fall, in dem das virtuelle Kontaktobjekt vom virtuellen Teil ergriffen wird, oder einen Fall, in dem das virtuelle Kontaktobjekt am virtuellen Teil angebracht ist. In solchen Fällen kann dem Benutzer die taktile Empfindung präsentiert werden, sobald das relevante virtuelle Kontaktobjekt in Kontakt mit dem Kontaktobjekt steht. Hierin wird weiter unten noch ein Anwendungsbeispiel beschrieben, in welchem dem Benutzer die taktile Empfindung präsentiert wird, sobald der virtuelle Teil über ein anderes Objekt als den virtuellen Teil indirekt in Kontakt mit dem Kontaktobjekt kommt.
  • Hier wird ein Beispiel beschrieben, in dem ein virtueller Stab als ein anderes Objekt als eine virtuelle Hand als ein Objekt im virtuellen Raum, die mit der Hand des Benutzers im realen Raum korrespondiert, durch die virtuelle Hand ergriffen wird. Wie in 10 gezeigt, wird im virtuellen Raum ein virtueller Stock B30 durch eine virtuelle Hand B10 ergriffen und kommt dadurch mit mindestens einem Teil der virtuellen Hand B10 in Kontakt. Hier korrespondiert der virtuelle Stock B30 mit einem beispielhaften zweiten virtuellen Objekt gemäß einer Ausführungsform der vorliegenden Offenbarung, das basierend auf der Referenz, die im virtuellen Raum als Reaktion auf die Bewegung des Teils des Benutzers im realen Raum bewegt wird, angezeigt wird. Ein Kontaktobjekt B24 korrespondiert mit einem beispielhaften ersten virtuellen Objekt gemäß einer Ausführungsform der vorliegenden Offenbarung, das in Kontakt mit dem zweiten virtuellen Objekt im virtuellen Raum steht.
  • In dem Anwendungsbeispiel erzeugt die Erzeugungseinheit 210 die Schwingungsinformationen basierend auf einem virtuellen Material einer Einfügung, die mindestens das zweite virtuelle Objekt enthält und sich zwischen dem virtuellen Teil und dem ersten virtuellen Objekt befindet, sobald das zweite virtuelle Objekt, das im virtuellen Raum als Reaktion auf die Bewegung des Teils des Benutzers im realen Raum bewegt wird, in Kontakt mit dem ersten virtuellen Objekt steht. In einem Beispiel, das in 10 gezeigt wird, erzeugt die Erzeugungseinheit 210, weil sich der virtuelle Stock B30 zwischen der virtuellen Hand B10 und dem Kontaktobjekt B24 befindet, die Schwingungsinformationen basierend auf dem virtuellen Material des virtuellen Stocks B30 als Einfügung.
  • Die Erzeugungseinheit 210 kann zum Beispiel die Antwortfunktion r(f, k) abhängig von der virtuellen Härte der Einfügung bei der Erzeugung der Antwortfunktion r(f, k) korrigieren. Speziell kann die Erzeugungseinheit 210 die Antwortfunktion r(f, k) korrigieren, um mehr Amplituden in einem Hochfrequenzbereich der Zeitfrequenz f zu reduzieren, da die Einfügung bezüglich der virtuellen Härte weicher ist. Wenn die Einfügung ein aus einem weichen Material wie Holz bestehendes Objekt ist, ist es mithin möglich zu bewirken, dass der Benutzer die Schwingungen wahrnimmt, bei denen eine Hochfrequenzkomponente der Zeitfrequenz gedämpft wird, anders als wenn die Einfügung ein aus einem harten Material wie Metall bestehendes Objekt ist. So ist es möglich, die taktile Empfindung mit größerer Genauigkeit zu präsentieren.
  • Es wird darauf hingewiesen, dass die in der Funktionsspeichereinheit 204 gespeicherte Funktionsbibliothek eine Funktion enthalten kann, die mit den Informationen, die das virtuelle Material der Einfügung angeben, verknüpft ist. Die Erzeugungseinheit 210 kann die Funktion, die mit den Informationen, die das virtuelle Material der Einfügung angeben, verknüpft ist, abrufen und unter Verwendung der relevanten Funktion die Antwortfunktion r(f, k) erzeugen. In einer solchen Funktionsbibliothek sind die Materialbezeichnung m des Kontaktobjekts, die durch Bezug auf 6 gezeigt ist, die Materialbezeichnung n, die das virtuelle Material der Einfügung angibt, und eine Funktion Rmn(v, θ, p, T, h; f, k) miteinander verknüpft. Speziell sind die Materialbezeichnung ,dicke Schicht (rau)' des Kontaktobjekts, die Materialbezeichnung ,Holz' der Einfügung und die Funktion R einer dicken Schicht (rau) sowie Holz (v, θ, p, T, h; f, k) miteinander verknüpft.
  • Es wird darauf hingewiesen, dass das zweite virtuelle Objekt, das in Kontakt mit dem Kontaktobjekt steht, in Kontakt mit mindestens einem Teil des virtuellen Teils stehen kann und sich ferner eine Einfügung zwischen dem zweiten virtuellen Objekt und dem virtuellen Teil befinden kann. Zum Beispiel ist an der virtuellen Hand ein virtueller Handschuh angebracht, und der virtuelle Stock wird über den relevanten virtuellen Handschuh ergriffen. Wenn der virtuelle Stock in Kontakt mit dem Kontaktobjekt steht, befindet sich in diesem Zustand der virtuelle Handschuh zwischen dem virtuellen Stock, der mit dem zweiten virtuellen Objekt korrespondiert, und der virtuellen Hand als dem virtuellen Teil. So befinden sich der virtuelle Stock und der virtuelle Handschuh zwischen dem virtuellen Teil und dem Kontaktobjekt. In diesem Fall kann die Erzeugungseinheit 210 die Schwingungsinformationen basierend auf den virtuellen Materialien des virtuellen Stocks und des virtuellen Handschuhs erzeugen. Wie oben erwähnt, kann die Erzeugungseinheit 210 die Schwingungsinformationen basierend auf den virtuellen Materialien einer Vielzahl von zwischen dem virtuellen Teil und dem Kontaktobjekt befindlichen Einfügungen erzeugen.
  • Abwandlung
  • Im Folgenden wird ein zur Präsentation eines virtuellen Raums vorgesehenes System gemäß verschiedenen Abwandlungen mit Bezug auf die 11 bis 14 beschrieben.
  • <<Erste Abwandlung>>
  • 11 ist ein erläuterndes Schaubild, das ein Beispiel für eine Systemkonfiguration eines zur Präsentation eines virtuellen Raums vorgesehenen Systems 102 gemäß einer ersten Abwandlung zeigt. Im Vergleich zu dem zur Präsentation eines virtuellen Raums vorgesehenen System 1 gemäß einer Ausführungsform, die in 3 gezeigt ist, ist das zur Präsentation eines virtuellen Raums vorgesehene System 102 gemäß der ersten Abwandlung insofern anders, als die Informationsverarbeitungsvorrichtung 2 das Ansteuersignal a(t) zum Ansteuern der Schwingeinheit 402 des für taktile Präsentationen vorgesehenen Geräts 4 kalkuliert.
  • Wie in 11 gezeigt, weist die Informationsverarbeitungsvorrichtung 2 gemäß der ersten Abwandlung eine Ansteuersignalkalkulationseinheit 250 auf. Gemäß der ersten Abwandlung gibt die Erzeugungseinheit 210 die erzeugten Schwingungsinformationen an die Ansteuersignalkalkulationseinheit 250 aus. Ferner kalkuliert die Ansteuersignalkalkulationseinheit 250 das Ansteuersignal a(t) zum Ansteuern der Schwingeinheit 402 im für taktile Präsentationen vorgesehenen Gerät 4 basierend auf den von der Erzeugungseinheit 210 ausgegebenen Schwingungsinformationen, um zu bewirken, dass der Benutzer die durch die Schwingungsinformationen gezeigten Schwingungen wahrnimmt, und gibt das Signal an die Kommunikationseinheit 202 aus. Die Kommunikationseinheit 202 sendet das Ansteuersignal a(t) als Informationen zur taktilen Präsentation zum Bewirken durch das für taktile Präsentationen vorgesehene Gerät 4, dass der Benutzer die Schwingung wahrnimmt, an das für taktile Präsentationen vorgesehene Gerät 4. Es wird darauf hingewiesen, dass, wie in 11 gezeigt, die Ansteuersignalkalkulationseinheit in der Konfiguration des für taktile Präsentationen vorgesehenen Geräts 4 gemäß der ersten Abwandlung auch weggelassen werden kann.
  • «Zweite Abwandlung»
  • 12 ist ein erläuterndes Schaubild, das ein Beispiel für eine Systemkonfiguration eines zur Präsentation eines virtuellen Raums vorgesehenen Systems 104 gemäß einer zweiten Abwandlung zeigt. Im Vergleich zu dem zur Präsentation eines virtuellen Raums vorgesehenen System 1 gemäß einer Ausführungsform, die in 3 gezeigt ist, ist das zur Präsentation eines virtuellen Raums vorgesehene System 104 gemäß der zweiten Abwandlung insofern anders, als die Position und die Lage des für taktile Präsentationen vorgesehenen Geräts 4 im realen Raum durch das für taktile Präsentationen vorgesehene Gerät 4 detektiert und ein Detektionsergebnis an die Informationsverarbeitungsvorrichtung 2 gesendet wird.
  • Wie in 12 gezeigt, enthält das für taktile Präsentationen vorgesehene Gerät 4 gemäß der zweiten Abwandlung eine für Positions- und Lagedetektionen vorgesehene Einheit 450. Die für Positions- und Lagedetektionen vorgesehene Einheit 450 detektiert die Position und die Lage des für taktile Präsentationen vorgesehenen Geräts 4 im realen Raum und gibt das Detektionsergebnis an eine Kommunikationseinheit 408 aus. Die Kommunikationseinheit 408 gemäß der zweiten Abwandlung sendet das relevante Detektionsergebnis an die Informationsverarbeitungsvorrichtung 2. Es wird darauf hingewiesen, dass die Detektion der Position und der Lage des für taktile Präsentationen vorgesehenen Geräts 4 mit der für Positions- und Lagedetektionen vorgesehenen Einheit 450 so ähnlich wie die Detektion der Position und der Lage des für taktile Präsentationen vorgesehenen Geräts 4 mit dem für Positions- und Lagedetektionen vorgesehenen Gerät 6 gemäß einer Ausführungsform, die oben erwähnt wurde, durchgeführt wird. Wie in 12 gezeigt, kann das für Positions- und Lagedetektionen vorgesehene Gerät ferner in der Konfiguration des zur Präsentation eines virtuellen Raums vorgesehenen Systems 104 gemäß der zweiten Abwandlung weggelassen werden.
  • «Dritte Abwandlung»
  • 13 ist ein erläuterndes Schaubild, das ein Beispiel für eine Systemkonfiguration eines zur Präsentation eines virtuellen Raums vorgesehenen Systems 106 gemäß einer dritten Abwandlung zeigt. Im Vergleich zu dem zur Präsentation eines virtuellen Raums vorgesehenen System 1 gemäß einer Ausführungsform, die in 3 gezeigt ist, ist das zur Präsentation eines virtuellen Raums vorgesehene System 106 gemäß der dritten Abwandlung insofern anders, als die Funktionsbibliothek in einem Funktionsspeichergerät 50 als einem externen Gerät der Informationsverarbeitungsvorrichtung 2 gespeichert ist.
  • Wie in 13 gezeigt, enthält das zur Präsentation eines virtuellen Raums vorgesehene System 106 gemäß der dritten Abwandlung das Funktionsspeichergerät 50. Das Funktionsspeichergerät 50 speichert eine Funktionsbibliothek als eine Menge von in Frage kommenden Funktionen zum Erzeugen der Schwingungsinformationen. Die im Funktionsspeichergerät 50 gespeicherte Funktionsbibliothek ähnelt der in der Funktionsspeichereinheit 204 gemäß einer Ausführungsform gespeicherten Funktionsbibliothek. Gemäß der dritten Abwandlung kommuniziert die Kommunikationseinheit 202 in der Informationsverarbeitungsvorrichtung 2 mit dem Funktionsspeichergerät 50. Ferner ruft die Erzeugungseinheit 210 eine Funktion R aus der im Funktionsspeichergerät 50 gespeicherten Funktionsbibliothek über die Kommunikationseinheit 202 bei der Erzeugung der Schwingungsinformationen ab. Es wird darauf hingewiesen, dass die Funktionsspeichereinheit, wie in 13 gezeigt, in der Konfiguration der Informationsverarbeitungsvorrichtung 2 gemäß der dritten Abwandlung auch weggelassen werden kann.
  • «Vierte Abwandlung»
  • 14 ist ein erläuterndes Schaubild, das ein Beispiel für eine Systemkonfiguration eines zur Präsentation eines virtuellen Raums vorgesehenen Systems 108 gemäß einer vierten Abwandlung zeigt. Im Vergleich zu dem zur Präsentation eines virtuellen Raums vorgesehenen System 106 gemäß der dritten Abwandlung, die in 13 gezeigt ist, ist das zur Präsentation eines virtuellen Raums vorgesehene System 108 gemäß der vierten Abwandlung insofern anders, als die Informationsverarbeitungsvorrichtung 2 über ein Informationsnetzwerk mit einem externen Gerät kommuniziert.
  • Wie in 14 gezeigt, kommuniziert die Informationsverarbeitungsvorrichtung 2 im zur Präsentation eines virtuellen Raums vorgesehenen System 108 gemäß der vierten Abwandlung mit dem für taktile Präsentationen vorgesehenen Gerät 4, dem Funktionsspeichergerät 50, dem für Positions- und Lagedetektionen vorgesehenen Gerät 6, dem Kopfhörer 8 und dem Head Mounted Display 10 über die Informationsnetzwerke N2, N4, N6, N8 bzw. N10. Es wird darauf hingewiesen, dass die Informationsverarbeitungsvorrichtung 2 mit einem Teil von externen Geräten nicht zwangsläufig über ein Informationsnetzwerk kommuniziert.
  • Hardwarekonfiguration
  • Wie oben erwähnt, wird eine Ausführungsform der vorliegenden Offenbarung beschrieben. Die Verarbeitung der Informationsverarbeitungsvorrichtung 2, die oben erwähnt wurde, wird im Zusammenwirken mit Software und Hardware der Informationsverarbeitungsvorrichtung 2 realisiert, was unten beschrieben wird.
  • 15 ist ein erläuterndes Schaubild, das ein Beispiel für eine Hardwarekonfiguration der Informationsverarbeitungsvorrichtung 2 gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt. Wie in 15 gezeigt, enthält die Informationsverarbeitungsvorrichtung 2 einen Zentralprozessor (CPU) 142, einen Nur-Lese-Speicher (ROM) 144, einen Arbeitsspeicher (RAM) 146, eine Brücke 148, einen Bus 150, eine Schnittstelle 152, ein Eingabegerät 154, ein Ausgabegerät 156, ein Speichergerät 158, ein Laufwerk 160, einen Verbindungsport 162 und ein Kommunikationsgerät 164.
  • Die CPU 142 fungiert als Einrichtung zur Vorgangsverarbeitung und -steuerung und realisiert Vorgänge jeweiliger Funktionskomponenten der Informationsverarbeitungsvorrichtung 2 im Zusammenwirken mit verschiedenen Programmen. Die CPU 142 kann ferner ein Mikroprozessor sein. Das ROM 144 speichert ein Programm, einen Vorgangsparameter oder dergleichen zur Verwendung durch die CPU 142. Das RAM 146 speichert temporär ein bei der Ausführung der CPU 142 verwendetes Programm, einen Parameter, der sich bei der Ausführung entsprechend ändert, oder dergleichen. Die CPU 142, das ROM 144 und das RAM 146 sind über einen internen Bus, der einen CPU-Bus oder dergleichen aufweist, untereinander verbunden.
  • Das Eingabegerät 154 ist eine Eingabeeinheit, über die ein Bediener Informationen eingeben kann, etwa eine Maus, eine Tastatur, ein Touchscreen, ein Knopf, ein Mikrofon, ein Schalter oder ein Hebel, enthält eine Eingabesteuerschaltung oder dergleichen zum Erzeugen eines Eingabesignals basierend auf einer Eingabe des Bedieners und gibt das Signal an die CPU 142 aus. Ein Bediener der Informationsverarbeitungsvorrichtung 2 bedient das Eingabegerät 154 und gibt dadurch verschiedene Daten ein oder weist die Informationsverarbeitungsvorrichtung 2 zu einem Verarbeitungsvorgang an.
  • Das Ausgabegerät 156 führt zum Beispiel eine Ausgabe an Geräte wie ein Flüssigkristalldisplay (LCD-Display), eine organische Leuchtdiode (OLED) oder eine Lampe durch. Ferner kann das Ausgabegerät 156 eine Audioausgabe eines Lautsprechers, eines Kopfhörers oder von dergleichem durchführen.
  • Das Speichergerät 158 ist ein Gerät zum Speichern von Daten. Ferner enthält das Speichergerät 158 möglicherweise ein Speichermedium, ein Aufzeichnungsgerät, das Daten auf dem Speichermedium aufzeichnet, ein Lesegerät, das Daten vom Speichermedium liest, ein Löschgerät, das auf dem Speichermedium aufgezeichnete Daten löscht, und dergleichen. Das Speichergerät 158 speichert ein durch die CPU 142 ausgeführtes Programm oder verschiedene Daten.
  • Das Laufwerk 160 ist ein Lese-/Schreibgerät für ein Speichermedium und ist in die Informationsverarbeitungsvorrichtung 2 eingebaut oder extern an sie angeschlossen. Das Laufwerk 160 liest Informationen, die in einer angeschlossenen Magnetspeicherplatte, einer angeschlossenen optischen Speicherplatte, einer angeschlossenen magneto-optischen Speicherplatte oder einem auswechselbaren Speichermedium, etwa einem Halbleiterspeicher, aufgezeichnet sind, und gibt die Informationen an das RAM 146 aus. Des Weiteren kann das Laufwerk 160 das auswechselbare Speichermedium auch mit den Informationen beschreiben.
  • Der Verbindungsport 162 ist ein Bus, der eine Verbindung zu einer externen Informationsverarbeitungsvorrichtung oder einem Peripheriegerät der Informationsverarbeitungsvorrichtung 2 herstellt. Ferner kann der Verbindungsport 162 ein Universal Serial Bus (USB) sein.
  • Das Kommunikationsgerät 164 ist zum Beispiel eine Kommunikationsschnittstelle, die mit einem Kommunikationsgerät zur Verbindung mit einem Netzwerk konfiguriert ist. Ferner ist das Kommunikationsgerät 164 möglicherweise ein Gerät, das Infrarot-Kommunikation unterstützt, ein Kommunikationsgerät, das ein drahtloses lokales Netzwerk (LAN) unterstützt, ein Kommunikationsgerät, das Long Term Evolution (LTE) unterstützt, oder ein für drahtgebundene Kommunikation vorgesehenes Gerät, das Kommunikationen drahtgebunden durchführt.
  • Es wird darauf hingewiesen, dass es möglich ist, ein Computerprogramm zum Realisieren jeweiliger Funktionen der Informationsverarbeitungsvorrichtung 2 gemäß einer Ausführungsform, wie oben erwähnt, zu produzieren und das Programm in einem PC oder dergleichen zu implementieren. Die Informationsverarbeitungsvorrichtung 2 gemäß einer Ausführungsform kann mit dem Computer gemäß einer Ausführungsform der vorliegenden Offenbarung korrespondieren. Ferner ist es möglich, ein computerlesbares Aufzeichnungsmedium, das ein solches Computerprogramm speichert, bereitzustellen. Das Aufzeichnungsmedium ist z. B. eine Magnetspeicherplatte, eine optische Speicherplatte, eine magneto-optische Speicherplatte oder ein Flash-Speicher. Ferner kann das Computerprogramm zum Beispiel über ein Netzwerk verteilt sein, ohne dass ein Aufzeichnungsmedium verwendet wird. Darüber hinaus können die jeweiligen Funktionen der Informationsverarbeitungsvorrichtung 2 gemäß einer Ausführungsform unter einer Vielzahl von Computern aufgeteilt sein. In diesem Fall sind die jeweiligen Funktionen, die für die relevante Vielzahl von Computern bereitgestellt sind, durch das Computerprogramm realisierbar. Die relevante Vielzahl von Computern oder auch ein einziger Computer mit den jeweiligen Funktionen der Informationsverarbeitungsvorrichtung 2 gemäß einer Ausführungsform korrespondiert mit einem Computersystem gemäß einer Ausführungsform der vorliegenden Offenbarung.
  • Schlussbemerkungen
  • Wie oben erwähnt, erzeugt die Informationsverarbeitungsvorrichtung 2 gemäß einer Ausführungsform der vorliegenden Offenbarung die taktilen Informationen, die die vom Benutzer wahrzunehmende taktile Empfindung angeben, basierend auf der relativen Bewegungsrichtung der Referenz, die im virtuellen Raum als Reaktion auf die Bewegung des Bedienungskörpers im realen Raum relativ zum ersten virtuellen Objekt im virtuellen Raum bewegt wird. Folglich ist es möglich zu bewirken, dass der Benutzer eine entsprechende taktile Empfindung in Übereinstimmung mit der relativen Bewegungsrichtung der relevanten Referenz relativ zum ersten virtuellen Objekt wahrnimmt. So ist es möglich, die taktile Empfindung mit größerer Genauigkeit zu präsentieren.
  • Oben wird beispielhaft beschrieben, wie die Informationsverarbeitungsvorrichtung 2 auf das System, das Virtual Reality verwendet, angewendet wird. Jedoch ist der technische Schutzbereich der vorliegenden Offenbarung nicht auf das Beispiel beschränkt. Beispielsweise kann die Informationsverarbeitungsvorrichtung 2 gemäß einer Ausführungsform der vorliegenden Offenbarung auch auf Augmented Reality angewendet werden.
  • Oben wird beispielhaft beschrieben, wie das Head Mounted Display 10 als ein Anzeigegerät, das ein jeweilige Objekte im virtuellen Raum zeigendes Bild anzeigt, verwendet wird. Jedoch ist der technische Schutzbereich der vorliegenden Offenbarung nicht auf das Beispiel beschränkt. Beispielsweise kann ein Anzeigegerät, das in einem nicht am Kopf befestigten Zustand verfügbar ist, verwendet werden. Ferner wird oben beispielhaft beschrieben, wie der Kopfhörer 8 als ein Tonausgabegerät, das Ton zum Ausdrücken von Ton in der virtuellen Welt ausgibt, verwendet wird. Jedoch ist der technische Schutzbereich der vorliegenden Offenbarung nicht auf das Beispiel beschränkt. Beispielsweise kann auch ein Tonausgabegerät, das in einem nicht am Kopf befestigten Zustand verfügbar ist, verwendet werden.
  • Oben wird beispielhaft beschrieben, wie die Erzeugungseinheit 210 das virtuelle Material des Kontaktobjekts mit der Möglichkeit eines Kontaktierens des virtuellen Teils abhängig von Szenen im virtuellen Raum spezifiziert. Jedoch ist der technische Schutzbereich der vorliegenden Offenbarung nicht auf das Beispiel beschränkt. Beispielsweise kann die Erzeugungseinheit 210 das virtuelle Material des Kontaktobjekts mit der Möglichkeit eines Kontaktierens des virtuellen Teils auch abhängig von der momentanen Zeit spezifizieren. Ferner kann die Erzeugungseinheit 210 das virtuelle Material des Kontaktobjekts mit der Möglichkeit eines Kontaktierens des virtuellen Teils auch abhängig von der momentanen Position des Benutzers spezifizieren. Es wird ein Fall in Betracht gezogen, in dem ein Typ von Objekten, die im virtuellen Raum vorhanden sind, abhängig von der Zeit oder von der Position des Benutzers festgelegt wird. In einem solchen Fall ist es möglich, das virtuelle Material des Kontaktobjekts mit der Möglichkeit eines Kontaktierens des virtuellen Teils entsprechend zu spezifizieren.
  • Oben wird beispielhaft beschrieben, wie das für Positions- und Lagedetektionen vorgesehene Gerät 6 die Position und die Lage des für taktile Präsentationen vorgesehenen Geräts 4 anhand des durch die Bildverarbeitung erhaltenen Bilds detektiert. Jedoch ist der technische Schutzbereich der vorliegenden Offenbarung nicht auf das Beispiel beschränkt. Beispielsweise kann das für Positions- und Lagedetektionen vorgesehene Gerät 6 auch einen Mechanismus zum Bestrahlen eines Objekts mit elektromagnetischen Wellen oder Schallwellen und zum Detektieren von Reflexionswellen der elektromagnetischen Wellen oder Schallwellen vom relevanten Objekt zum Detektieren der Position und der Lage des für taktile Präsentationen vorgesehenen Geräts 4 basierend auf der Zeit bis zur Detektion der Reflexionswellen nach der Bestrahlung mit den elektromagnetischen Wellen oder Schallwellen aufweisen. Das für Positions- und Lagedetektionen vorgesehene Gerät 6 detektiert die Position und die Lage des für taktile Präsentationen vorgesehenen Geräts 4 möglicherweise durch Abtasten einer Innenseite eines bewegbaren Bereichs des für taktile Präsentationen vorgesehenen Geräts 4 durch Wiederholen der Bestrahlung und der Detektion der Reflexionswellen während einer sequenziellen Änderung einer Bestrahlungsrichtung der elektromagnetischen Wellen oder Schallwellen.
  • Oben wird beispielhaft beschrieben, wie das für taktile Präsentationen vorgesehene Gerät 4 die Schwingungen des Oszillators erzeugt, um zu bewirken, dass der Benutzer die Schwingungen wahrnimmt. Jedoch ist der technische Schutzbereich der vorliegenden Offenbarung nicht auf das Beispiel beschränkt. Beispielsweise kann das für taktile Präsentationen vorgesehene Gerät 4 basierend auf dem Bedienungsbefehl von der Schwingungssteuereinheit 404 auch elektrische Reize auf den Benutzer anwenden, um zu bewirken, dass der Benutzer die Schwingungen wahrnimmt.
  • Oben wird beispielhaft beschrieben, wie der Teil des Benutzers als Bedienungskörper angewendet wird. Jedoch ist der technische Schutzbereich der vorliegenden Offenbarung nicht auf das Beispiel beschränkt. Als Bedienungskörper kann beispielsweise auch ein vom Benutzer zur Bedienung verwendetes Element, das als Stift ausgebildet ist, angewendet werden.
  • Oben wird beispielhaft beschrieben, wie die Informationsverarbeitungsvorrichtung 2 die Schwingungsinformationen, die die Schwingungen als die vom Benutzer wahrzunehmende taktile Empfindung angeben, als taktile Informationen erzeugt. Jedoch ist der technische Schutzbereich der vorliegenden Offenbarung nicht auf das Beispiel beschränkt. Als taktile Empfindung können neben Schwingungen beispielsweise auch elektrische Reize, Wärmereize, Ultraschallreize oder dergleichen angewendet werden. Die Informationsverarbeitungsvorrichtung 2 kann die taktilen Informationen, die die vom Benutzer wahrzunehmende taktile Empfindung angeben, erzeugen.
  • Als Funktion R, die in der Funktionsbibliothek enthalten ist, ferner verwendbar sind Informationen, die eine Beziehung zwischen einer begrenzten Zahl repräsentativer Werte zu den jeweiligen Parametern, einer begrenzten Zahl repräsentativer Werte der Zeitfrequenz f, einer begrenzten Zahl repräsentativer Werte der Ortsfrequenz k und der Amplitude in einem Datentabellenformat ausdrücken. Die Erzeugungseinheit 210 kann eine Beziehung zwischen einem Parameter, der nicht in den im Datentabellenformat ausgedrückten Informationen vorgeschrieben ist, und einer Amplitude der Zeitfrequenz f oder der Ortsfrequenz k mit Interpolation zum Erzeugen der Schwingungsinformationen erhalten.
  • Es wird darauf hingewiesen, dass eine Reihe von Steuerungsverarbeitungsvorgängen mit Geräten, die in dieser Patentschrift beschrieben werden, unter Verwendung von Software, Hardware oder einer Kombination aus Software und Hardware realisiert werden kann. Programme, die Software bilden, werden vorab gespeichert, zum Beispiel in einem Speichermedium (nicht transienten Medien), das innerhalb oder außerhalb der jeweiligen Geräte bereitgestellt ist. Ferner werden die jeweiligen Programme zum Beispiel zur Ausführungszeit in das RAM eingelesen und durch einen Prozessor, etwa eine CPU, ausgeführt.
  • Es wird darauf hingewiesen, dass die in dieser Patentschrift mit Bezug auf ein Ablaufschema beschriebenen Verarbeitungsvorgänge nicht in der im Ablaufschema gezeigten Reihenfolge ausgeführt werden müssen. Einige Verarbeitungsschritte können parallel durchgeführt werden. Ferner können einige zusätzliche Schritte noch hinzukommen, oder einige Verarbeitungsschritte können weggelassen werden.
  • Es versteht sich für den Fachmann, dass abhängig von den Ausgestaltungsanforderungen und anderen Faktoren, sofern diese im Schutzbereich der beigefügten Ansprüche oder entsprechender Äquivalente liegen, verschiedene Abwandlungen, Kombinationen, Unterkombinationen und Veränderungen möglich sind.
  • Ferner sind die in dieser Patentschrift beschriebenen Wirkungen lediglich zur Veranschaulichung dienende oder beispielhafte Wirkungen und schränken keineswegs ein. Das heißt, mittels oder anstelle der obigen Wirkungen lassen sich durch die Technologie gemäß der vorliegenden Offenbarung noch andere Wirkungen erzielen, die für den Fachmann basierend auf der Beschreibung dieser Patentschrift erkennbar sind.
  • Außerdem kann die vorliegende Technologie auch wie unten konfiguriert sein.
    1. (1) Informationsverarbeitungsvorrichtung, enthaltend:
      • eine Erzeugungseinheit, die konfiguriert ist, um taktile Informationen, die eine von einem Benutzer wahrzunehmende taktile Empfindung angeben, basierend auf einer relativen Bewegungsrichtung einer Referenzposition relativ zu einem ersten virtuellen Objekt in einem virtuellen Raum zu erzeugen, wobei die Referenzposition im virtuellen Raum als Reaktion auf eine Bewegung eines Bedienungskörpers in einem realen Raum bewegt wird; und
      • eine Ausgabeeinheit, die konfiguriert ist, um Informationen zur taktilen Präsentation zum Bewirken, dass der Benutzer die taktile Empfindung wahrnimmt, mit einem für taktile Präsentationen vorgesehenen Gerät, das konfiguriert ist, um taktile Präsentation basierend auf den Informationen zur taktilen Präsentation durchzuführen, auszugeben,
      • wobei die Erzeugungseinheit und die Ausgabeeinheit je über mindestens einen Prozessor implementiert sind.
    2. (2) Informationsverarbeitungsvorrichtung gemäß (1), ferner enthaltend:
      • eine Anzeigesteuereinheit, die konfiguriert ist, um ein zweites virtuelles Objekt basierend auf der Referenzposition anzuzeigen,
      • wobei die Anzeigesteuereinheit über mindestens einen Prozessor implementiert ist.
    3. (3) Informationsverarbeitungsvorrichtung gemäß (1) oder (2), wobei die Erzeugungseinheit ferner konfiguriert ist, um die taktilen Informationen basierend auf der relativen Bewegungsrichtung der Referenzposition relativ zum ersten virtuellen Objekt in einem Zustand, in dem bestimmt wird, dass das erste virtuelle Objekt und das zweite virtuelle Objekt in Kontakt miteinander stehen, zu erzeugen.
    4. (4) Informationsverarbeitungsvorrichtung gemäß (1) bis (3), wobei die Erzeugungseinheit ferner konfiguriert ist, um die taktilen Informationen unterschiedlich abhängig davon zu erzeugen, ob in einem ersten Fall die relative Bewegungsrichtung der Referenzposition relativ zum ersten virtuellen Objekt eine erste Richtung ist oder ob in einem zweiten Fall die relative Bewegungsrichtung eine zweite Richtung ist, die von der ersten Richtung verschieden ist.
    5. (5) Informationsverarbeitungsvorrichtung gemäß (1) bis (4), wobei die Erzeugungseinheit ferner konfiguriert ist, um die taktilen Informationen basierend auf Informationen, die Eigenschaften eines ersten kontaktierten Teils des ersten virtuellen Objekts angeben, zu erzeugen, wobei bestimmt wird, dass der erste kontaktierte Teil in Kontakt mit dem zweiten virtuellen Objekt steht.
    6. (6) Informationsverarbeitungsvorrichtung gemäß (1) bis (5), wobei die Informationen, die die Eigenschaften angeben, Informationen, die ein virtuelles Material des ersten kontaktierten Teils angeben, enthalten.
    7. (7) Informationsverarbeitungsvorrichtung gemäß (1) bis (6), wobei die Erzeugungseinheit ferner konfiguriert ist, um die taktilen Informationen basierend auf einer relativen Geschwindigkeit der Referenzposition relativ zum ersten virtuellen Objekt zu erzeugen.
    8. (8) Informationsverarbeitungsvorrichtung gemäß (1) bis (7), wobei die Erzeugungseinheit ferner konfiguriert ist, um die taktilen Informationen basierend auf Informationen, die einen virtuellen Druck angeben, der durch das zweite virtuelle Objekt auf das erste virtuelle Objekt ausgeübt wird, zu erzeugen.
    9. (9) Informationsverarbeitungsvorrichtung gemäß (1) bis (8), wobei die Informationen, die die Eigenschaften angeben, Informationen, die eine virtuelle Temperatur des ersten kontaktierten Teils angeben, enthalten.
    10. (10) Informationsverarbeitungsvorrichtung gemäß (1) bis (9), wobei die Informationen, die die Eigenschaften angeben, Informationen, die eine virtuelle Feuchtigkeit des ersten kontaktierten Teils angeben, enthalten.
    11. (11) Informationsverarbeitungsvorrichtung gemäß (1) bis (10), wobei der Bedienungskörper ein Teil eines Körpers des Benutzers ist und die Erzeugungseinheit ferner konfiguriert ist, um die taktilen Informationen basierend auf Informationen, die einen Grad des Schwitzens des Teils des Körpers angeben, zu erzeugen.
    12. (12) Informationsverarbeitungsvorrichtung gemäß (1) bis (11), wobei die taktilen Informationen Informationen, die eine Beziehung zwischen einer Zeitfrequenz, einer Ortsfrequenz und einer Amplitude der vom Benutzer wahrzunehmenden taktilen Empfindung angeben, enthalten.
    13. (13) Informationsverarbeitungsvorrichtung gemäß (1) bis (12), wobei die Erzeugungseinheit ferner für Folgendes konfiguriert ist: Abrufen mindestens einer Funktion, die mit den das virtuelle Material angebenden Informationen verknüpft ist, aus einer Vielzahl von in Frage kommenden Funktionen zum Erzeugen der taktilen Informationen, wobei jede in Frage kommende Funktion der Vielzahl von in Frage kommenden Funktionen mit ein korrespondierendes Material angebenden und vorab gespeicherten Informationen verknüpft ist; und Erzeugen der taktilen Informationen basierend auf der abgerufenen mindestens einen Funktion.
    14. (14) Informationsverarbeitungsvorrichtung gemäß (1) bis (13), wobei die Vielzahl von in Frage kommenden Funktionen mindestens eine in Frage kommende Funktion, die mit Informationen verknüpft ist, die das virtuelle Material des ersten virtuellen Objekts angeben, das in Kontakt mit dem zweiten virtuellen Objekt steht, enthält und die Erzeugungseinheit ferner konfiguriert ist, um die mindestens eine Funktion gemäß der mindestens einen in Frage kommenden Funktion abzurufen.
    15. (15) Informationsverarbeitungsvorrichtung gemäß (1) bis (14), wobei das für taktile Präsentationen vorgesehene Gerät ferner konfiguriert ist, um die taktile Präsentation durch Übertragen einer Schwingung eines Oszillators bei einer Steuerung basierend auf den Informationen zur taktilen Präsentation auf die Haut des Benutzers durchzuführen.
    16. (16) Informationsverarbeitungsvorrichtung gemäß (1) bis (15), wobei die Informationen zur taktilen Präsentation Informationen zum Steuern einer Zeitfrequenz oder einer Amplitude der durch den Oszillator erzeugten Schwingung enthalten.
    17. (17) Informationsverarbeitungsvorrichtung gemäß (1) bis (16), wobei die Erzeugungseinheit ferner konfiguriert ist, um die taktilen Informationen basierend auf Informationen, die Eigenschaften eines zweiten kontaktierten Teils des zweiten virtuellen Objekts angeben, zu erzeugen, wobei bestimmt wird, dass der zweite kontaktierte Teil in Kontakt mit dem ersten virtuellen Objekt steht.
    18. (18) Informationsverarbeitungsvorrichtung gemäß (1) bis (17), wobei die Erzeugungseinheit ferner konfiguriert ist, um die taktilen Informationen basierend auf Informationen, die ein virtuelles Material des zweiten kontaktierten Teils angeben, zu erzeugen.
    19. (19) Informationsverarbeitungsvorrichtung gemäß (1) bis (18), wobei die zweite Richtung im Wesentlichen entgegengesetzt zur ersten Richtung verläuft.
    20. (20) Informationsverarbeitungsverfahren, das über mindestens einen Prozessor implementiert wird, wobei das Verfahren Folgendes enthält:
      • Erzeugen taktiler Informationen, die eine von einem Benutzer wahrzunehmende taktile Empfindung angeben, basierend auf einer relativen Bewegungsrichtung einer Referenzposition relativ zu einem ersten virtuellen Objekt in einem virtuellen Raum, wobei die Referenzposition im virtuellen Raum als Reaktion auf eine Bewegung eines Bedienungskörpers in einem realen Raum bewegt wird; und
      • Ausgeben von Informationen zur taktilen Präsentation zum Bewirken, dass der Benutzer die taktile Empfindung wahrnimmt, mit einem für taktile Präsentationen vorgesehenen Gerät, das konfiguriert ist, um taktile Präsentation basierend auf den Informationen zur taktilen Präsentation durchzuführen.
    21. (21) Nicht transientes, computerlesbares Medium, auf dem ein Programm abgelegt ist, das, wenn es durch einen Computer ausgeführt wird, veranlasst, dass der Computer ein Verfahren ausführt, wobei das Verfahren Folgendes enthält:
      • Erzeugen taktiler Informationen, die eine von einem Benutzer wahrzunehmende taktile Empfindung angeben, basierend auf einer relativen Bewegungsrichtung einer Referenzposition relativ zu einem ersten virtuellen Objekt in einem virtuellen Raum, wobei die Referenzposition im virtuellen Raum als Reaktion auf eine Bewegung eines Bedienungskörpers in einem realen Raum bewegt wird; und
      • Ausgeben von Informationen zur taktilen Präsentation zum Bewirken, dass der Benutzer die taktile Empfindung wahrnimmt, mit einem für taktile Präsentationen vorgesehenen Gerät, das taktile Präsentation basierend auf den Informationen zur taktilen Präsentation durchführt.
    22. (22) Informationsverarbeitungsvorrichtung, enthaltend:
      • eine Erzeugungseinheit, die konfiguriert ist, um taktile Informationen, die eine von einem Benutzer wahrzunehmende taktile Empfindung angeben, basierend auf einer relativen Bewegungsrichtung einer Referenz, die in einem virtuellen Raum als Reaktion auf eine Bewegung eines Bedienungskörpers in einem realen Raum relativ zu einem ersten virtuellen Objekt im virtuellen Raum bewegt wird, zu erzeugen; und eine Ausgabeeinheit, die konfiguriert ist, um Informationen zur taktilen Präsentation zum Bewirken, dass der Benutzer die taktile Empfindung wahrnimmt, durch ein für taktile Präsentationen vorgesehenes Gerät, das taktile Präsentation durchführt, auszugeben.
    23. (23) Informationsverarbeitungsvorrichtung gemäß (22), ferner enthaltend:
      • eine Anzeigesteuereinheit, die so konfiguriert ist, dass sie ein zweites virtuelles Objekt, das basierend auf der Referenz angezeigt wird, aufweist.
    24. (24) Informationsverarbeitungsvorrichtung gemäß (23), wobei die Erzeugungseinheit die taktilen Informationen basierend auf der relativen Bewegungsrichtung der Referenz relativ zum ersten virtuellen Objekt in einem Zustand, in dem bestimmt wird, dass das erste virtuelle Objekt und das zweite virtuelle Objekt in Kontakt miteinander stehen, erzeugt.
    25. (25) Informationsverarbeitungsvorrichtung gemäß (24), wobei die Erzeugungseinheit die taktilen Informationen erzeugt, die unterschiedlich abhängig davon sind, ob die relative Bewegungsrichtung der Referenz relativ zum ersten virtuellen Objekt eine erste Richtung ist oder ob die relative Bewegungsrichtung eine zweite Richtung ist, die im Wesentlichen entgegengesetzt zur ersten Richtung verläuft.
    26. (26) Informationsverarbeitungsvorrichtung gemäß (24) oder (25), wobei die Erzeugungseinheit die taktilen Informationen basierend auf Informationen, die Eigenschaften eines Teils des ersten virtuellen Objekts angeben, das, wie bestimmt wird, in Kontakt mit dem zweiten virtuellen Objekt steht, erzeugt.
    27. (27) Informationsverarbeitungsvorrichtung gemäß (26), wobei die Erzeugungseinheit die taktilen Informationen basierend auf Informationen, die ein virtuelles Material eines Teils des ersten virtuellen Objekts angeben, das, wie bestimmt wird, in Kontakt mit dem zweiten virtuellen Objekt steht, erzeugt.
    28. (28) Informationsverarbeitungsvorrichtung gemäß (22) bis (27), wobei die Erzeugungseinheit die taktilen Informationen basierend auf einer relativen Geschwindigkeit der Referenz relativ zum ersten virtuellen Objekt erzeugt.
    29. (29) Informationsverarbeitungsvorrichtung gemäß (26) oder (27), wobei die Erzeugungseinheit die taktilen Informationen basierend auf Informationen, die einen virtuellen Druck angeben, der durch das zweite virtuelle Objekt auf das erste virtuelle Objekt ausgeübt wird, erzeugt.
    30. (30) Informationsverarbeitungsvorrichtung gemäß (26) oder (27), wobei die Erzeugungseinheit die taktilen Informationen basierend auf Informationen, die eine virtuelle Temperatur eines Teils des ersten virtuellen Objekts angeben, das, wie bestimmt wird, in Kontakt mit dem zweiten virtuellen Objekt steht, erzeugt.
    31. (31) Informationsverarbeitungsvorrichtung gemäß (26) oder (27), wobei die Erzeugungseinheit die taktilen Informationen basierend auf Informationen, die eine virtuelle Feuchtigkeit eines Teils des ersten virtuellen Objekts angeben, das, wie bestimmt wird, in Kontakt mit dem zweiten virtuellen Objekt steht, erzeugt.
    32. (32) Informationsverarbeitungsvorrichtung gemäß (24) bis (27), wobei der Bedienungskörper ein Teil eines Körpers des Benutzers ist und die Erzeugungseinheit die taktilen Informationen basierend auf Informationen, die einen Grad des Schwitzens des Teils des Körpers angeben, erzeugt.
    33. (33) Informationsverarbeitungsvorrichtung gemäß (22) bis (32), wobei die taktilen Informationen Informationen, die eine Beziehung zwischen einer Zeitfrequenz, einer Ortsfrequenz und einer Amplitude angeben, enthalten.
    34. (34) Informationsverarbeitungsvorrichtung gemäß (26) oder (27), wobei die Erzeugungseinheit aus in Frage kommenden Funktionen zum Erzeugen der taktilen Informationen, die mit jedes Material angebenden und vorab gespeicherten Informationen verknüpft sind, die Funktion, die mit Informationen verknüpft ist, die ein virtuelles Material eines Teils des ersten virtuellen Objekts angeben, das, wie bestimmt wird, in Kontakt mit dem zweiten virtuellen Objekt steht, abruft und die taktilen Informationen unter Verwendung der abgerufenen Funktion erzeugt.
    35. (35) Informationsverarbeitungsvorrichtung gemäß (34), wobei die Erzeugungseinheit die Funktion aus den in Frage kommenden Funktionen, die mit Informationen verknüpft ist, die ein virtuelles Material des ersten virtuellen Objekts mit der Möglichkeit angeben, dass es in Kontakt mit dem zweiten virtuellen Objekt unter den in Frage kommenden Funktionen steht, abruft.
    36. (36) Informationsverarbeitungsvorrichtung gemäß (22) bis (35), wobei das für taktile Präsentationen vorgesehene Gerät die taktile Präsentation durch Übertragen einer Schwingung eines Oszillators bei einer Steuerung basierend auf den Informationen zur taktilen Präsentation auf die Haut des Benutzers durchführt.
    37. (37) Informationsverarbeitungsvorrichtung gemäß (36), wobei die Informationen zur taktilen Präsentation Informationen zum Steuern einer Zeitfrequenz oder einer Amplitude der durch den Oszillator erzeugten Schwingung enthalten.
    38. (38) Informationsverarbeitungsvorrichtung gemäß (26) oder (27), wobei die Erzeugungseinheit die taktilen Informationen basierend auf Informationen, die Eigenschaften eines Teils des zweiten virtuellen Objekts angeben, das, wie bestimmt wird, in Kontakt mit dem ersten virtuellen Objekt steht, erzeugt.
    39. (39) Informationsverarbeitungsvorrichtung gemäß (38), wobei die Erzeugungseinheit die taktilen Informationen basierend auf Informationen, die ein virtuelles Material eines Teils des zweiten virtuellen Objekts angeben, das, wie bestimmt wird, in Kontakt mit dem ersten virtuellen Objekt steht, erzeugt.
    40. (40) Informationsverarbeitungsverfahren, enthaltend:
      • Erzeugen, durch eine Informationsverarbeitungsvorrichtung, von taktilen Informationen, die eine von einem Benutzer wahrzunehmende taktile Empfindung angeben, basierend auf einer relativen Bewegungsrichtung einer Referenz, die in einem virtuellen Raum als Reaktion auf eine Bewegung eines Bedienungskörpers in einem realen Raum relativ zu einem ersten virtuellen Objekt im virtuellen Raum bewegt wird; und
      • Ausgeben von Informationen zur taktilen Präsentation zum Bewirken, dass der Benutzer die taktile Empfindung wahrnimmt, durch ein für taktile Präsentationen vorgesehenes Gerät, das taktile Präsentation durchführt.
    41. (41) Programm zum Veranlassen, dass ein Computersystem als Folgendes fungiert:
      • eine Erzeugungseinheit, die konfiguriert ist, um taktile Informationen, die eine von einem Benutzer wahrzunehmende taktile Empfindung angeben, basierend auf einer relativen Bewegungsrichtung einer Referenz, die in einem virtuellen Raum als Reaktion auf eine Bewegung eines Bedienungskörpers in einem realen Raum relativ zu einem ersten virtuellen Objekt im virtuellen Raum bewegt wird, zu erzeugen; und
      • eine Ausgabeeinheit, die konfiguriert ist, um Informationen zur taktilen Präsentation zum Bewirken, dass der Benutzer die taktile Empfindung wahrnimmt, durch ein für taktile Präsentationen vorgesehenes Gerät, das taktile Präsentation durchführt, auszugeben.
  • Bezugszeichenliste
    • 1, 102, 104, 106, 108
    System zur Präsentation eines virtuellen Raums
    2
    Informationsverarbeitungsvorrichtung
    4, 4a
    Gerät für taktile Präsentation
    6
    Gerät für Positions- und Lagedetektionen
    8
    Kopfhörer
    10
    Head Mounted Display
    50
    Funktionsspeichergerät
    142
    CPU
    144
    ROM
    146
    RAM
    148
    Brücke
    150
    Bus
    152
    Schnittstelle
    154
    Eingabegerät
    156
    Ausgabegerät
    158
    Speichergerät
    160
    Laufwerk
    162
    Verbindungsport
    164
    Kommunikationsgerät
    202
    Kommunikationseinheit
    204
    Funktionsspeichereinheit
    206
    Einheit zum Kalkulieren virtueller Positionen und Lagen
    208
    Bestimmungseinheit
    210
    Erzeugungseinheit
    212
    Tonausgabesteuereinheit
    214
    Anzeigesteuereinheit
    250
    Ansteuersignalkalkulationseinheit
    402
    Schwingeinheit
    404
    Schwingungssteuereinheit
    406
    Ansteuersignalkalkulationseinheit
    408
    Kommunikationseinheit
    450
    Einheit für Positions- und Lagedetektionen
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2016069360 [0001]
    • JP 2013114323 A [0005]

Claims (20)

  1. Informationsverarbeitungsvorrichtung, umfassend: eine Erzeugungseinheit, die konfiguriert ist, um taktile Informationen, die eine von einem Benutzer wahrzunehmende taktile Empfindung angeben, basierend auf einer relativen Bewegungsrichtung einer Referenzposition relativ zu einem ersten virtuellen Objekt in einem virtuellen Raum zu erzeugen, wobei die Referenzposition im virtuellen Raum als Reaktion auf eine Bewegung eines Bedienungskörpers in einem realen Raum bewegt wird; und eine Ausgabeeinheit, die konfiguriert ist, um Informationen zur taktilen Präsentation zum Bewirken, dass der Benutzer die taktile Empfindung wahrnimmt, mit einem für taktile Präsentationen vorgesehenen Gerät, das konfiguriert ist, um taktile Präsentationen basierend auf den Informationen zur taktilen Präsentation durchzuführen, auszugeben, wobei die Erzeugungseinheit und die Ausgabeeinheit je über mindestens einen Prozessor implementiert sind.
  2. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, ferner umfassend: eine Anzeigesteuereinheit, die konfiguriert ist, um ein zweites virtuelles Objekt basierend auf der Referenzposition anzuzeigen, wobei die Anzeigesteuereinheit über mindestens einen Prozessor implementiert ist.
  3. Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die Erzeugungseinheit ferner konfiguriert ist, um die taktilen Informationen basierend auf der relativen Bewegungsrichtung der Referenzposition relativ zum ersten virtuellen Objekt in einem Zustand, in dem bestimmt wird, dass das erste virtuelle Objekt und das zweite virtuelle Objekt in Kontakt miteinander stehen, zu erzeugen.
  4. Informationsverarbeitungsvorrichtung gemäß Anspruch 3, wobei die Erzeugungseinheit ferner konfiguriert ist, um die taktilen Informationen unterschiedlich abhängig davon zu erzeugen, ob in einem ersten Fall die relative Bewegungsrichtung der Referenzposition relativ zum ersten virtuellen Objekt eine erste Richtung ist oder ob in einem zweiten Fall die relative Bewegungsrichtung eine zweite Richtung ist, die von der ersten Richtung verschieden ist.
  5. Informationsverarbeitungsvorrichtung gemäß Anspruch 3, wobei die Erzeugungseinheit ferner konfiguriert ist, um die taktilen Informationen basierend auf Informationen, die Eigenschaften eines ersten kontaktierten Teils des ersten virtuellen Objekts angeben, zu erzeugen, wobei bestimmt wird, dass der erste kontaktierte Teil in Kontakt mit dem zweiten virtuellen Objekt steht.
  6. Informationsverarbeitungsvorrichtung gemäß Anspruch 5, wobei die Informationen, die die Eigenschaften angeben, Informationen, die ein virtuelles Material des ersten kontaktierten Teils angeben, enthalten.
  7. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Erzeugungseinheit ferner konfiguriert ist, um die taktilen Informationen basierend auf einer relativen Geschwindigkeit der Referenzposition relativ zum ersten virtuellen Objekt zu erzeugen.
  8. Informationsverarbeitungsvorrichtung gemäß Anspruch 2, wobei die Erzeugungseinheit ferner konfiguriert ist, um die taktilen Informationen basierend auf Informationen, die einen virtuellen Druck angeben, der durch das zweite virtuelle Objekt auf das erste virtuelle Objekt ausgeübt wird, zu erzeugen.
  9. Informationsverarbeitungsvorrichtung gemäß Anspruch 5, wobei die Informationen, die die Eigenschaften angeben, Informationen, die eine virtuelle Temperatur des ersten kontaktierten Teils angeben, enthalten.
  10. Informationsverarbeitungsvorrichtung gemäß Anspruch 5, wobei die Informationen, die die Eigenschaften angeben, Informationen, die eine virtuelle Feuchtigkeit des ersten kontaktierten Teils angeben, enthalten.
  11. Informationsverarbeitungsvorrichtung gemäß Anspruch 3, wobei der Bedienungskörper ein Teil eines Körpers des Benutzers ist und die Erzeugungseinheit ferner konfiguriert ist, um die taktilen Informationen basierend auf Informationen, die einen Grad des Schwitzens des Teils des Körpers angeben, zu erzeugen.
  12. Informationsverarbeitungsvorrichtung gemäß Anspruch 4, wobei die zweite Richtung im Wesentlichen entgegengesetzt zur ersten Richtung verläuft.
  13. Informationsverarbeitungsvorrichtung gemäß Anspruch 6, wobei die Erzeugungseinheit ferner für Folgendes konfiguriert ist: Abrufen mindestens einer Funktion, die mit den das virtuelle Material angebenden Informationen verknüpft ist, aus einer Vielzahl von in Frage kommenden Funktionen zum Erzeugen der taktilen Informationen, wobei jede in Frage kommende Funktion der Vielzahl von in Frage kommenden Funktionen mit ein korrespondierendes Material angebenden und vorab gespeicherten Informationen verknüpft ist; und Erzeugen der taktilen Informationen basierend auf der abgerufenen mindestens einen Funktion.
  14. Informationsverarbeitungsvorrichtung gemäß Anspruch 13, wobei die Vielzahl von in Frage kommenden Funktionen mindestens eine in Frage kommende Funktion, die mit Informationen verknüpft ist, die das virtuelle Material des ersten virtuellen Objekts angeben, das in Kontakt mit dem zweiten virtuellen Objekt steht, enthält und die Erzeugungseinheit ferner konfiguriert ist, um die mindestens eine Funktion gemäß der mindestens einen in Frage kommenden Funktion abzurufen.
  15. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei das für taktile Präsentationen vorgesehene Gerät ferner konfiguriert ist, um die taktile Präsentation durch Übertragen einer Schwingung eines Oszillators bei einer Steuerung basierend auf den Informationen zur taktilen Präsentation auf die Haut des Benutzers durchzuführen.
  16. Informationsverarbeitungsvorrichtung gemäß Anspruch 15, wobei die Informationen zur taktilen Präsentation Informationen zum Steuern einer Zeitfrequenz oder einer Amplitude der durch den Oszillator erzeugten Schwingung enthalten.
  17. Informationsverarbeitungsvorrichtung gemäß Anspruch 5, wobei die Erzeugungseinheit ferner konfiguriert ist, um die taktilen Informationen basierend auf Informationen, die Eigenschaften eines zweiten kontaktierten Teils des zweiten virtuellen Objekts angeben, zu erzeugen, wobei bestimmt wird, dass der zweite kontaktierte Teil in Kontakt mit dem ersten virtuellen Objekt steht.
  18. Informationsverarbeitungsvorrichtung gemäß Anspruch 17, wobei die Erzeugungseinheit ferner konfiguriert ist, um die taktilen Informationen basierend auf Informationen, die ein virtuelles Material des zweiten kontaktierten Teils angeben, zu erzeugen.
  19. Informationsverarbeitungsverfahren, das über mindestens einen Prozessor implementiert wird, wobei das Verfahren Folgendes umfasst: Erzeugen taktiler Informationen, die eine von einem Benutzer wahrzunehmende taktile Empfindung angeben, basierend auf einer relativen Bewegungsrichtung einer Referenzposition relativ zu einem ersten virtuellen Objekt in einem virtuellen Raum, wobei die Referenzposition im virtuellen Raum als Reaktion auf eine Bewegung eines Bedienungskörpers in einem realen Raum bewegt wird; und Ausgeben von Informationen zur taktilen Präsentation zum Bewirken, dass der Benutzer die taktile Empfindung wahrnimmt, mit einem für taktile Präsentation vorgesehenen Gerät, das konfiguriert ist, um taktile Präsentationen basierend auf den Informationen zur taktilen Präsentation durchzuführen.
  20. Nicht transientes, computerlesbares Medium, auf dem ein Programm abgelegt ist, das, wenn es durch einen Computer ausgeführt wird, veranlasst, dass der Computer ein Verfahren ausführt, wobei das Verfahren Folgendes umfasst: Erzeugen taktiler Informationen, die eine von einem Benutzer wahrzunehmende taktile Empfindung angeben, basierend auf einer relativen Bewegungsrichtung einer Referenzposition relativ zu einem ersten virtuellen Objekt in einem virtuellen Raum, wobei die Referenzposition im virtuellen Raum als Reaktion auf eine Bewegung eines Bedienungskörpers in einem realen Raum bewegt wird; und Ausgeben von Informationen zur taktilen Präsentation zum Bewirken, dass der Benutzer die taktile Empfindung wahrnimmt, mit einem für taktile Präsentation vorgesehenen Gerät, das konfiguriert ist, um taktile Präsentationen basierend auf den Informationen zur taktilen Präsentation durchzuführen.
DE112017001781.5T 2016-03-30 2017-01-25 Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und nicht transientes, computerlesbares Medium Withdrawn DE112017001781T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016069360A JP2017182495A (ja) 2016-03-30 2016-03-30 情報処理装置、情報処理方法及びプログラム
JP2016-069360 2016-03-30
PCT/JP2017/002601 WO2017169040A1 (en) 2016-03-30 2017-01-25 Information processing apparatus, information processing method, and non-transitory computer-readable medium

Publications (1)

Publication Number Publication Date
DE112017001781T5 true DE112017001781T5 (de) 2018-12-13

Family

ID=58046719

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112017001781.5T Withdrawn DE112017001781T5 (de) 2016-03-30 2017-01-25 Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und nicht transientes, computerlesbares Medium

Country Status (5)

Country Link
US (1) US20190094972A1 (de)
JP (1) JP2017182495A (de)
CN (1) CN108604130A (de)
DE (1) DE112017001781T5 (de)
WO (1) WO2017169040A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019128738A (ja) * 2018-01-23 2019-08-01 東京瓦斯株式会社 商品販売システム、商品購入支援装置
JP7452430B2 (ja) * 2018-10-19 2024-03-19 ソニーグループ株式会社 情報処理装置、情報処理方法、および、プログラム
WO2020122282A1 (ko) * 2018-12-13 2020-06-18 (주)리얼감 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체
WO2020175199A1 (ja) * 2019-02-26 2020-09-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021026618A (ja) * 2019-08-07 2021-02-22 ソニー株式会社 生成装置、生成方法、プログラム及び触覚提示デバイス
JP2023133635A (ja) * 2020-07-30 2023-09-26 ソニーグループ株式会社 情報処理装置、触感提示システム及びプログラム
US11630504B2 (en) 2021-03-16 2023-04-18 Htc Corporation Handheld input device and electronic system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114323A (ja) 2011-11-25 2013-06-10 Mitsubishi Electric Corp ３次元空間座標入力装置
JP2016069360A (ja) 2014-10-01 2016-05-09 日油株式会社 毛髪洗浄剤組成物

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3408263B2 (ja) * 1992-03-30 2003-05-19 株式会社東芝 情報提示装置及び情報提示方法
EP0864145A4 (de) * 1995-11-30 1998-12-16 Virtual Technologies Inc Taktile rückkopplung für mensch-/maschinenschnittstelle
US6162123A (en) * 1997-11-25 2000-12-19 Woolston; Thomas G. Interactive electronic sword game
JP3722993B2 (ja) * 1998-07-24 2005-11-30 大日本印刷株式会社 物体の毛並接触感シミュレーション装置
JP3722992B2 (ja) * 1998-07-24 2005-11-30 大日本印刷株式会社 物体の接触感シミュレーション装置
US7084884B1 (en) * 1998-11-03 2006-08-01 Immersion Corporation Graphical object interactions
US6792329B2 (en) * 2001-08-22 2004-09-14 Milliken & Company Construction of colored images on absorbent substrates using a computer-aided design system
EP1533678A1 (de) * 2003-11-24 2005-05-25 Sony International (Europe) GmbH Eine Vorrichtung zur physischen Rückmeldung für eine Unterhaltungsumgebung oder eine Spielumgebung
JP4921113B2 (ja) * 2006-10-25 2012-04-25 キヤノン株式会社 接触提示装置及び方法
JP2008217260A (ja) * 2007-03-01 2008-09-18 Shibaura Institute Of Technology 力覚提示装置
JP2009276996A (ja) * 2008-05-14 2009-11-26 Canon Inc 情報処理装置、情報処理方法
CN102160086B (zh) * 2008-07-22 2016-04-27 黎明游戏有限责任公司 用于仿真中的物理交互的系统和方法
US8550905B2 (en) * 2011-04-11 2013-10-08 Sony Computer Entertainment Inc. Temperature feedback motion controller
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
WO2014106823A2 (en) * 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
US9041647B2 (en) * 2013-03-15 2015-05-26 Immersion Corporation User interface device provided with surface haptic sensations
CN103439030B (zh) * 2013-09-17 2015-10-07 东南大学 一种力触觉再现中的纹理力测量方法
US10627904B2 (en) * 2014-02-07 2020-04-21 Ultrahaptics IP Two Limited Systems and methods of determining interaction intent in three-dimensional (3D) sensory space
US10067566B2 (en) * 2014-03-19 2018-09-04 Immersion Corporation Systems and methods for a shared haptic experience
KR101578345B1 (ko) * 2014-09-03 2015-12-17 재단법인 실감교류인체감응솔루션연구단 역감을 재생하는 장치
US9703381B2 (en) * 2015-02-18 2017-07-11 Ecole Polytechnique Federale De Lausanne (Epfl) Multimodal haptic device including a thermal and tactile display unit, system, and method of using the same
US10324530B2 (en) * 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114323A (ja) 2011-11-25 2013-06-10 Mitsubishi Electric Corp ３次元空間座標入力装置
JP2016069360A (ja) 2014-10-01 2016-05-09 日油株式会社 毛髪洗浄剤組成物

Also Published As

Publication number Publication date
CN108604130A (zh) 2018-09-28
WO2017169040A1 (en) 2017-10-05
US20190094972A1 (en) 2019-03-28
JP2017182495A (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
DE112017001781T5 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und nicht transientes, computerlesbares Medium
DE202017104403U1 (de) Erkennen des Benutzerbewegungsbereichs für Virtual-Reality-Benutzeroberflächen
DE10004372B4 (de) Gestaltung von Kraftempfindungen für Computeranwendungen mit Geräuschen
DE202017105262U1 (de) Erzeugen virtueller Notationsoberflächen mit Gesten in einer erweiterten und/oder virtuellen Realitätsumgebung
DE112017004677T5 (de) Berührungsempfindliche Tastatur
Augstein et al. A human-centered taxonomy of interaction modalities and devices
DE102017119812A1 (de) Ziehen von virtuellen elementen einer erweiterten und/oder virtuellen realitätsumgebung
DE202017006742U1 (de) Eingabegerät-Stabilisierungstechniken für virtuelle Realitätssysteme
DE112014000441T5 (de) Dynamische Benutzerinteraktionen für Displaysteuerung und Angepaßte Gesten Interpretation
DE112013002421T5 (de) Schwelle für die Bestimmung von Feedback in Computing-Geräten
DE112020002268T5 (de) Vorrichtung, verfahren und computerlesbares medium zur darstellung von dateien computergenerierter realität
DE112006002954T5 (de) Virtuelles Schnittstellensystem
DE112018001457T5 (de) Sensor-steuerung
DE102013226244A1 (de) Medizintechnische Steuerung
CN114630738B (zh) 用于模拟感测数据和创建感知的系统和方法
DE102018103468A1 (de) Informationsverarbeitungssystem, informationsverarbeitungsverfahren und programm
DE112013006046T5 (de) System und Verfahren zum dynamischen Generieren eines Frequenzmusters zur Verwirklichung des Tastgefühls in einem Computing-Gerät
US20220171520A1 (en) Pervasive 3D Graphical User Interface Configured for Machine Learning
DE112020000573T5 (de) Anzeigen von darstellungen von umgebungen
DE102017204351A1 (de) Manuell betätigbare taktile Ein-/Ausgabeeinrichtung und deren Betriebsverfahren sowie Datenverarbeitungsanlage
DE112019002798T5 (de) Informationsverarbeitungsvorrichtung, informationsverabeitungsverfahren und programm
DE112019000758B4 (de) Verfahren umfassend auffangen einer reflexion eines infraschallsignals
DE102022209967A1 (de) Adaptive benutzerregistrierung für elektronische vorrichtungen
DE102022117756A1 (de) Anweisen eines virtuellen agenten basierend auf dem blinkverhalten eines benutzers
DE112020002244T5 (de) Vorrichtung, Verfahren und grafische Benutzerschnittstelle zur Erzeugung von CGR-Objekten

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee