DE112021004019T5 - Informationsverarbeitungseinrichtung, System zur Bereitstellung einer taktilen Sinneserfahrung und Programm - Google Patents

Informationsverarbeitungseinrichtung, System zur Bereitstellung einer taktilen Sinneserfahrung und Programm Download PDF

Info

Publication number
DE112021004019T5
DE112021004019T5 DE112021004019.7T DE112021004019T DE112021004019T5 DE 112021004019 T5 DE112021004019 T5 DE 112021004019T5 DE 112021004019 T DE112021004019 T DE 112021004019T DE 112021004019 T5 DE112021004019 T5 DE 112021004019T5
Authority
DE
Germany
Prior art keywords
real object
drive signal
signal generator
real
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112021004019.7T
Other languages
English (en)
Inventor
Tsuyoshi Ishikawa
Jun Kimura
Shinichi Kawano
Ikuo Yamano
Keijiroh Nagano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of DE112021004019T5 publication Critical patent/DE112021004019T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A63F13/245—Constructional details thereof, e.g. game controllers with detachable joystick handles specially adapted to a particular type of game, e.g. steering wheels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

[Problem] Bereitstellung einer Informationsverarbeitungsvorrichtung, eines Systems zur Bereitstellung einer taktilen Sinneserfahrung und eines Programms, die zur Darbietung einer taktilen Sinneserfahrung für ein tatsächliches Objekt in der Lage sind. [Lösung] Eine Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie ist mit Folgendem versehen: einer Einheit zur Detektion eines tatsächlichen Objekts; einer Körperteildetektionseinheit; und einer Ansteuerungssignalerzeugungseinheit. Die Einheit zur Detektion eines tatsächlichen Objekts detektiert ein tatsächliches Objekt. Die Körperteildetektionseinheit detektiert die Position und Ausrichtung eines Körperteils. Die Ansteuerungssignalerzeugungseinheit erzeugt basierend auf einer Positionsbeziehung zwischen dem tatsächlichen Objekt und dem Teil ein Ansteuerungssignal, das einem an dem Teil angebrachten Mechanismus zur Darbietung einer taktilen Sinneserfahrung zugeführt wird.

Description

  • Technisches Gebiet
  • Die vorliegende Technologie betrifft eine Informationsverarbeitungseinrichtung, ein System zur Bereitstellung einer taktilen Sinneserfahrung und ein Programm, die zur Bereitstellung einer taktilen Sinneserfahrung für einen Benutzer verwendet werden.
  • Stand der Technik
  • Wenn durch ein beim Üben oder Spielen verwendetes reales Objekt eine realistische taktile Sinneserfahrung bereitgestellt wird, führt dies zu einer höheren Trainingswirkung oder zu einem größeren Vergnügen. Wenn zum Beispiel eine realistische taktile Sinneserfahrung, wie zum Beispiel das Köcheln, das beim Berühren eine Spielzeugtopfs erhalten wird, oder eine körnige taktile Sinneserfahrung von den Schuppen, die beim Berühren der Oberfläche eines Spielzeugfisches erhalten wird, beim Spielen mit einer Kinderküche für jedes Spielzeug bereitgestellt wird, führt dies zu einer höheren Erlebnisqualität.
  • Zum Beispiel offenbart Patentliteratur 1 eine Schwingung bereitstellende Vorrichtung, die an einer Hand eines Benutzers getragen wird. Die Schwingung bereitstellende Vorrichtung beinhaltet einen Schwingungsantrieb, der in der Schwingung bereitstellenden Vorrichtung an einem Abschnitt vorgesehen ist, der in Kontakt mit einem Finger oder einem Handgelenk eines Benutzers gebracht wird, und kann bewirken, dass eine simulierte taktile Sinneserfahrung erfolgt, indem der Schwingungsantrieb schwingt, wenn der Finger oder das Handgelenk in Kontakt mit einem virtuellen Objekt in einem Virtual Reality(VR)-Raum gebracht wird.
  • Liste der Anführungen
  • Patentliteratur
  • Patentliteratur 1: WO 2018/092595
  • Offenbarung der Erfindung
  • Technisches Problem
  • Wie oben beschrieben wurde, ist die in Patentliteratur 1 offenbarte Schwingung bereitstellende Vorrichtung für ein virtuelles Objekt gedacht, ist aber nicht für ein reales Objekt gedacht.
  • Angesichts der oben beschriebenen Umstände besteht eine Aufgabe der vorliegenden Technologie in der Bereitstellung einer Informationsverarbeitungseinrichtung, eines Systems zur Bereitstellung einer taktilen Sinneserfahrung und eines Programms, die für ein reales Objekt bestimmt sind und die Bereitstellung einer taktilen Sinneserfahrung ermöglichen.
  • Lösung des Problems
  • Um die oben beschriebene Aufgabe zu lösen, beinhaltet eine Informationsverarbeitungseinrichtung gemäß einer Ausführungsform der vorliegenden Technologie einen Realobjektdetektor, einen Körperteildetektor und einen Ansteuerungssignalgenerator.
  • Der Realobjektdetektor detektiert ein reales Objekt. Der Körperteildetektor detektiert eine Position und eine Pose eines Teils eines Körpers.
  • Der Ansteuerungssignalgenerator erzeugt basierend auf einer Positionsbeziehung zwischen dem realen Objekt und dem Teil ein Ansteuerungssignal, wobei das Ansteuerungssignal einem Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung, der an dem Teil getragen wird, zugeführt wird.
  • Gemäß dieser Konfiguration kann für einen Benutzer gemäß einer Positionsbeziehung zwischen dem realen Objekt und einem Teil, an dem der Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung getragen wird, eine taktile Sinneserfahrung bereitgestellt werden, die nicht allein von einem realen Objekt erhalten wird, und somit können für den Benutzer die Realität und die Genauigkeit oder angenehme verschiedene taktile Sinneserfahrungen bereitgestellt werden.
  • Der Realobjektdetektor kann eine Art des realen Objekts bestimmen, und
    der Ansteuerungssignalgenerator kann das Ansteuerungssignal gemäß der Art weiter erzeugen.
  • Der Ansteuerungssignalgenerator kann basierend auf der Positionsbeziehung zwischen dem realen Objekt und dem Teil bestimmen, ob das reale Objekt und der Teil miteinander in Kontakt stehen, und kann das Ansteuerungssignal gemäß einem Ergebnis der Bestimmung erzeugen.
  • Wenn der Teil mit dem realen Objekt in Kontakt gebracht wird, kann der Ansteuerungssignalgenerator das Ansteuerungssignal erzeugen, so dass der Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass eine taktile Sinneserfahrung erfolgt.
  • Der Ansteuerungssignalgenerator kann das Ansteuerungssignal gemäß einer durch den Teil auf das reale Objekt ausgeübten Druckkraft erzeugen.
  • Wenn der Teil bezüglich des realen Objekts in einem Zustand, in dem der Teil mit dem realen Objekt in Kontakt steht, bewegt wird, kann der Ansteuerungssignalgenerator das Ansteuerungssignal erzeugen, so dass der Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass eine taktile Sinneserfahrung erfolgt.
  • Der Ansteuerungssignalgenerator kann das Ansteuerungssignal gemäß mindestens einer von einer Distanz oder einer Bewegungsgeschwindigkeit des Teils bezüglich des realen Objekts erzeugen.
  • Wenn das reale Objekt und der Teil in einem Zustand, in dem sie miteinander in Kontakt bleiben, bewegt werden, kann der Ansteuerungssignalgenerator das Ansteuerungssignal erzeugen, so dass der Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass eine taktile Sinneserfahrung erfolgt.
  • Der Ansteuerungssignalgenerator kann das Ansteuerungssignal gemäß mindestens einer von einer Distanz oder einer Bewegungsgeschwindigkeit des realen Objekts erzeugen.
  • Der Ansteuerungssignalgenerator kann das Ansteuerungssignal gemäß einem Abschnitt in dem realen Objekt erzeugen, mit dem der bestimmte Teil in Kontakt steht.
  • Der Ansteuerungssignalgenerator kann bestimmen, ob ein erstes Objekt und ein zweites Objekt miteinander in Kontakt stehen, wobei das erste Objekt ein Objekt ist, von dem eine Position bezüglich des Teils festgelegt ist, wobei das zweite Objekt ein Objekt ist, von dem eine Position bezüglich des Teils nicht festgelegt ist,
    der Ansteuerungssignalgenerator kann das Ansteuerungssignal gemäß einem Ergebnis der Bestimmung erzeugen, und
    mindestens eines von dem ersten Objekt oder dem zweiten Objekt kann das reale Objekt sein.
  • Das erste Objekt und das zweite Objekt können die realen Objekte sein.
  • Die Informationsverarbeitungseinrichtung kann ferner einen Generator eines virtuellen Objekts beinhalten, der ein virtuelles Objekt in einem realen Raum erzeugt,
    das erste Objekt kann das reale Objekt sein, und
    das zweite Objekt kann das virtuelle Objekt sein.
  • Die Informationsverarbeitungseinrichtung kann ferner einen Generator eines virtuellen Objekts beinhalten, der ein virtuelles Objekt in einem realen Raum erzeugt,
    das erste Objekt kann das virtuelle Objekt sein, und
    das zweite Objekt kann das reale Objekt sein.
  • Der Ansteuerungssignalgenerator kann das Ansteuerungssignal gemäß mindestens einer von einer Distanz oder einer Bewegungsgeschwindigkeit eines Kontaktpunkts des ersten Objekts und des zweiten Objekts erzeugen.
  • Der Teil kann eine Hand sein, und der Körperteildetektor kann basierend auf einer Ausgabe aus einem Sensor, der an der Hand getragen wird, eine Position und eine Pose der Hand detektieren.
  • Die Informationsverarbeitungseinrichtung kann ferner einen Objektinformationserfassungsabschnitt beinhalten, der das reale Objekt betreffende Informationen erfasst, und
    der Ansteuerungssignalgenerator kann das Ansteuerungssignal gemäß den Informationen weiter erzeugen.
  • Der Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung kann ein Schwingungserzeugungsmechanismus sein, der Schwingung erzeugen kann, und
    der Ansteuerungssignalgenerator kann als das Ansteuerungssignal eine Wellenform der durch den Schwingungserzeugungsmechanismus erzeugten Schwingung erzeugen.
  • Um die oben beschriebene Aufgabe zu lösen, beinhaltet ein System zur Bereitstellung einer taktilen Sinneserfahrung gemäß einer Ausführungsform der vorliegenden Technologie einen Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung und eine Informationsverarbeitungseinrichtung.
  • Der Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung wird an einem Teil eines Körpers getragen.
  • Die Informationsverarbeitungseinrichtung beinhaltet Folgendes:
    • einen Realobjektdetektor, der ein reales Objekt detektiert,
    • einen Körperteildetektor, der eine Position und eine Pose des Teils detektiert, und
    • einen Ansteuerungssignalgenerator, der basierend auf einer Positionsbeziehung zwischen dem realen Objekt und dem Teil ein Ansteuerungssignal erzeugt, wobei das Ansteuerungssignal dem Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung zugeführt wird.
  • Um die oben beschriebene Aufgabe zu lösen, bewirkt ein Programm gemäß einer Ausführungsform der vorliegenden Technologie, dass eine Informationsverarbeitungseinrichtung als ein Realobjektdetektor, ein Körperteildetektor und ein Ansteuerungssignalgenerator betrieben wird.
  • Der Realobjektdetektor detektiert ein reales Objekt.
  • Der Körperteildetektor detektiert eine Position und eine Pose eines Teils eines Körpers.
  • Der Ansteuerungssignalgenerator erzeugt basierend auf einer Positionsbeziehung zwischen dem realen Objekt und dem Teil ein Ansteuerungssignal, wobei das Ansteuerungssignal einem Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung, der an dem Teil getragen wird, zugeführt wird.
  • Figurenliste
    • [1] 1 ist ein Blockdiagramm eines Systems zur Bereitstellung einer taktilen Sinneserfahrung gemäß Ausführungsformen der vorliegenden Technologie.
    • [2] 2 stellt schematisch eine Steuerung dar, die in dem System zur Bereitstellung einer taktilen Sinneserfahrung enthalten ist.
    • [3] 3 stellt schematisch eine Anordnung eines Sensorabschnitts und eines Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung dar, die in der Steuerung enthalten sind.
    • [4] 4 stellt schematisch eine AR-Brille dar, die in dem System zur Bereitstellung einer taktilen Sinneserfahrung enthalten ist.
    • [5] 5 stellt schematisch einen bestimmten Teil dar, der durch einen in dem Steuerabschnitt der AR-Brille enthaltenen Körperteildetektor detektiert wird.
    • [6] 6 stellt schematisch ein reales Objekt dar, das durch einen in dem Steuerabschnitt der AR-Brille enthaltenen Realobjektdetektor detektiert wird.
    • [7] 7 ist ein Flussdiagramm, das eine Arbeitsweise des Systems zur Bereitstellung einer taktilen Sinneserfahrung darstellt.
    • [8] 8 ist eine schematische Darstellung, die die Arbeitsweise des Systems zur Bereitstellung einer taktilen Sinneserfahrung darstellt.
    • [9] 9 ist eine schematische Darstellung, die die Arbeitsweise des Systems zur Bereitstellung einer taktilen Sinneserfahrung darstellt.
    • [10] 10 ist eine schematische Darstellung, die die Arbeitsweise des Systems zur Bereitstellung einer taktilen Sinneserfahrung darstellt.
    • [11] 11 ist eine schematische Darstellung, die die Arbeitsweise des Systems zur Bereitstellung einer taktilen Sinneserfahrung darstellt.
    • [12] 12 ist eine schematische Darstellung, die die Arbeitsweise des Systems zur Bereitstellung einer taktilen Sinneserfahrung darstellt.
    • [13] 13 ist eine schematische Darstellung, die die Arbeitsweise des Systems zur Bereitstellung einer taktilen Sinneserfahrung darstellt.
    • [14] 14 ist eine schematische Darstellung, die das System zur Bereitstellung einer taktilen Sinneserfahrung in einem Betriebsbeispiel 1-1 darstellt.
    • [15] 15 ist eine schematische Darstellung, die das System zur Bereitstellung einer taktilen Sinneserfahrung in einem Betriebsbeispiel 1-2 darstellt.
    • [16] 16 ist eine schematische Darstellung, die das System zur Bereitstellung einer taktilen Sinneserfahrung in einem Betriebsbeispiel 1-3 darstellt.
    • [17] 17 ist eine schematische Darstellung, die das System zur Bereitstellung einer taktilen Sinneserfahrung in einem Betriebsbeispiel 1-4 darstellt.
    • [18] 18 ist eine schematische Darstellung, die das System zur Bereitstellung einer taktilen Sinneserfahrung in einem Betriebsbeispiel 2-1 darstellt.
    • [19] 19 ist eine schematische Darstellung, die das System zur Bereitstellung einer taktilen Sinneserfahrung in einem Betriebsbeispiel 2-2 darstellt.
    • [20] 20 ist eine schematische Darstellung, die das System zur Bereitstellung einer taktilen Sinneserfahrung in einem Betriebsbeispiel 2-3 darstellt.
    • [21] 21 ist eine schematische Darstellung, die das System zur Bereitstellung einer taktilen Sinneserfahrung in einem Betriebsbeispiel 3-1 darstellt.
    • [22] 22 ist eine schematische Darstellung, die das System zur Bereitstellung einer taktilen Sinneserfahrung in einem Betriebsbeispiel 3-2 darstellt.
    • [23] 23 ist eine schematische Darstellung, die das System zur Bereitstellung einer taktilen Sinneserfahrung in einem Betriebsbeispiel 3-3 darstellt.
    • [24] 24 ist eine schematische Darstellung, die das System zur Bereitstellung einer taktilen Sinneserfahrung in einem Betriebsbeispiel 3-4 darstellt.
    • [25] 25 ist ein Blockdiagramm, das eine andere Konfiguration des Systems zur Bereitstellung einer taktilen Sinneserfahrung gemäß Ausführungsformen der vorliegenden Technologie darstellt.
    • [26] 26 ist ein Blockdiagramm, das eine Hardwarekonfiguration des in dem System zur Bereitstellung einer taktilen Sinneserfahrung enthaltenen Steuerabschnitts gemäß Ausführungsformen der vorliegenden Technologie darstellt.
  • Durchführungsweise(n) der Erfindung
  • Es wird ein System zur Bereitstellung einer taktilen Sinneserfahrung gemäß Ausführungsformen der vorliegenden Technologie beschrieben.
  • [Konfiguration des Systems zur Bereitstellung einer taktilen Sinneserfahrung]
  • 1 ist ein Blockdiagramm, das eine Konfiguration eines Systems 100 zur Bereitstellung einer taktilen Sinneserfahrung gemäß der vorliegenden Ausführungsform darstellt. Wie in der Figur dargestellt ist, beinhaltet das System 100 zur Bereitstellung einer taktilen Sinneserfahrung eine Steuerung 101 und eine Augmented-Reality(AR)-Brille 102.
  • Die Steuerung 101 wird an einem Körper eines Benutzers getragen, um eine taktile Sinneserfahrung für den Benutzer bereitzustellen. 2 stellt schematisch die Steuerung 101 dar. Wie in der Figur dargestellt ist, kann die Steuerung 101 eine Handsteuerung sein, die an einer Hand M des Benutzers getragen wird.
  • Wie in 2 dargestellt ist, beinhaltet die Steuerung 101 einen Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung. Der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung wird in Kontakt mit der Hand M gebracht, um für die Hand M eine taktile Sinneserfahrung bereitzustellen. Der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung kann ein Schwingungserzeugungsmechanismus, wie zum Beispiel ein Exzentermotor oder ein piezoelektrischer Aktor, der Schwingung erzeugen kann, sein. Zusätzlich zu der Oszillation kann der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung ferner auch eine Änderung der Temperatur oder Reibung bereitstellen.
  • Der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung ist unter Verwendung eines Tragewerkzeugs 112 an einem bestimmten Abschnitt der Hand M fixiert. Das Tragewerkzeug 112 ist zum Beispiel ein gürtelförmiges Tragewerkzeug, das elastisch ist oder eine bestimmte Länge aufweist, die seine Befestigung ermöglicht. Wie in 2 dargestellt ist, kann der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung an einem beliebigen Abschnitt der Hand M, wie zum Beispiel einem Handrücken oder einer Fingerbeere, getragen werden. Der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung kann an allen oder nur einigen der Finger getragen werden. Die Anzahl von Mechanismen 111 zur Bereitstellung einer taktilen Sinneserfahrung ist nicht besonders eingeschränkt, und ein einziger Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung kann oder mehrere Mechanismen 111 zur Bereitstellung einer taktilen Sinneserfahrung können bereitgestellt sein.
  • Wie in 1 dargestellt ist, beinhaltet die Steuerung 101 ferner einen Sensorabschnitt 115. Der Sensorabschnitt 115 beinhaltet ein Gyroskop 116, einen Beschleunigungssensor 117 und einen Ausrichtungssensor 118 und kann eine Position und eine Pose eines Teils, an dem der Sensorabschnitt 115 getragen wird, detektieren.
  • 3 stellt schematisch ein Beispiel für eine Anordnung des Sensorabschnitts 115 und des Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung dar. Wie in der Figur dargestellt ist, sind die Sensorabschnitte 115 in Abschnitten angeordnet, die sich nahe einigen der Mechanismen 111 zur Bereitstellung einer taktilen Sinneserfahrung befinden. Ferner können die Sensorabschnitte 115 in Abschnitten angeordnet sein, die sich jeweils nahe aller der Mechanismen 111 zur Bereitstellung einer taktilen Sinneserfahrung befinden. Der Sensorabschnitt 115 muss nicht zwangsweise an allen Fingern befestigt sein und kann an einigen der Finger befestigt sein. Ferner reicht es aus, wenn der Sensorabschnitt 115 eine Position und eine Pose eines Teils, an dem der Sensorabschnitt 115 getragen wird, detektieren kann, und eine Konfiguration des Sensorabschnitts 115 ist nicht besonders eingeschränkt.
  • Die AR-Brille 102 wird auf einem Kopf eines Benutzers getragen, um ein AR-Video für den Benutzer bereitzustellen. Ferner dient die AR-Brille 102 als eine Informationsverarbeitungseinrichtung, die die Steuerung 101 steuert. 4 stellt schematisch die AR-Brille 102 dar. Wie in den 1 und 4 dargestellt ist, beinhaltet die AR-Brille 102 einen Sensorabschnitt 120, einen Kommunikationsabschnitt 131, einen Anzeigeabschnitt 132, einen Lautsprecher 133, einen Speicher 134 und einen Steuerabschnitt 140.
  • Der Sensorabschnitt 120 führt verschiedenartig Detektion durch und gibt ein Ergebnis der Detektion an den Steuerabschnitt 140 aus. Insbesondere beinhaltet der Sensorabschnitt 120 eine nach außen gerichtete Kamera 121, eine nach innen gerichtete Kamera 122, ein Mikrofon 123, ein Gyroskop 124, einen Beschleunigungssensor 125 und einen Ausrichtungssensor 126.
  • Wie in 4 dargestellt ist, ist die nach außen gerichtete Kamera 121 an der AR-Brille 102 vorgesehen und nimmt ein Bild eines Bereichs im Sichtfeld auf, um ein aufgenommenes Bild zu erzeugen. Die nach außen gerichtete Kamera 121 gibt das erzeugte aufgenommene Bild an den Steuerabschnitt 140 aus. Das aufgenommene Bild kann ein Bewegtbild oder können mehrere nacheinander aufgenommene Standbilder sein.
  • Das Gyroskop 124, der Beschleunigungssensor 125 und der Ausrichtungssensor 126 detektieren eine Position und eine Pose der AR-Brille 102 und letzterer gibt ein Ergebnis der Detektion an den Steuerabschnitt 140 aus. Es sei darauf hingewiesen, dass der Sensorabschnitt 120 nicht darauf beschränkt ist, die oben beschriebene Konfiguration aufzuweisen, und es ausreicht, wenn der Sensorabschnitt 120 mindestens die nach außen gerichtete Kamera 121 beinhaltet und eine Position und eine Pose der AR-Brille 102 detektieren kann.
  • Der Kommunikationsabschnitt 131 verbindet die AR-Brille 102 und eine externe Einrichtung. Insbesondere verbindet der Kommunikationsabschnitt 131 die AR-Brille 102 und die Steuerung 101 direkt oder durch ein Netzwerk. Ferner kann der Kommunikationsabschnitt 131 in der Lage sein, die AR-Brille 102 und eine andere Informationsverarbeitungseinrichtung direkt oder durch ein Netzwerk zu verbinden.
  • Der Anzeigeabschnitt 132 zeigt eine Videoausgabe durch den Steuerabschnitt 140 an. Der Anzeigeabschnitt 132 ist eine transmissive Anzeige, und ein Benutzer kann sowohl ein virtuelles Objekt als auch einen realen Raum sehen, die durch den Anzeigeabschnitt 132 angezeigt werden. Wie in 4 dargestellt ist, beinhaltet der Anzeigeabschnitt 132 einen Anzeigeabschnitt 132R für das rechte Auge und einen Anzeigeabschnitt 132L für das linke Auge und kann das virtuelle Objekt dreidimensional anzeigen.
  • Der Lautsprecher 133 gibt eine Tonausgabe durch den Steuerabschnitt 140 wieder. Eine Konfiguration des Lautsprechers 133 ist nicht besonders eingeschränkt, und der Lautsprecher 133 muss nicht zwangsweise vorgesehen sein. Der Speicher 134 ist zum Beispiel ein Festplattenlaufwerk (HDD) oder ein Solid-State-Laufwerk (SSD) und speichert darin zum Beispiel eine durch den Steuerabschnitt 140 ausgeführte Anwendung.
  • Der Steuerabschnitt 140 ist ein funktionales Strukturelement, das durch Hardware wie beispielsweise eine Zentraleinheit (CPU) und Software, die kooperativ arbeiten, implementiert wird, und steuert die AR-Brille 102 und die Steuerung 101. Wie in 1 dargestellt ist, beinhaltet der Steuerabschnitt 140 insbesondere einen Körperteildetektor 141, einen Realobjektdetektor 142, einen Anwendungsausführungsabschnitt 143, einen Ausgabesteuerabschnitt 145 und einen Objektinformationserfassungsabschnitt 147.
  • Der Körperteildetektor 141 detektiert eine Position und eine Pose eines „bestimmten Teils“ von einem Körper eines Benutzers. Der bestimmte Teil kann ein Teil von dem Körper des Benutzers sein, der mit dem Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung versehen ist, und der bestimmte Teil kann eine Hand sein, wenn der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung an der Hand getragen wird, wie in 2 dargestellt ist. Es sei darauf hingewiesen, dass sich die „Position“ eines bestimmten Teils auf Positionskoordinaten des bestimmten Teils in einem realen Raum bezieht, und die „Pose“ des bestimmten Teils bezieht sich auf eine Ausrichtung des bestimmten Teils (zum Beispiel eine Ausrichtung der Erstreckungsrichtung eines Fingers) in dem realen Raum.
  • 5 stellt schematisch ein Beispiel für ein Ergebnis der Detektion eines bestimmten Teils dar, die durch den Körperteildetektor 141 durchgeführt wird. Wie in der Figur dargestellt ist, detektiert der Körperteildetektor 141 als bestimmte Teile, Spitzen (R in der Figur) eines Zeigefingers und eines Daumens von der Hand M und kann Positionen und Posen der bestimmten Teile detektieren. Es sei darauf hingewiesen, dass der bestimmte Teil nicht auf die oben beschriebenen Teile beschränkt ist und ein anderer Finger, eine Handfläche oder ein anderer Teil des Körpers sein kann.
  • Der Körperteildetektor 141 kann ein durch die nach außen gerichtete Kamera 121 (vgl. 4) erzeugtes aufgenommenes Bild erfassen und kann durch Durchführen von Bildverarbeitung an dem aufgenommenen Bild eine Positionen und eine Pose eines bestimmten Teils detektieren. Ferner kann der Körperteildetektor 141 basierend auf der Ausgabe aus dem Sensorabschnitt 115 (vgl. 2) die Position und die Pose des bestimmten Teils detektieren oder kann basierend sowohl auf dem aufgenommenen Bild als auch der Ausgabe aus dem Sensorabschnitt 115 die Position und die Pose des bestimmten Teils detektieren. Zum Beispiel kann der Körperteildetektor 141 basierend auf dem aufgenommenen Bild auch in etwa die Position und die Pose des bestimmten Teils detektieren und unter Verwendung der Ausgabe aus dem Sensorabschnitt 115 die Position und die Pose des bestimmten Teils im Detail detektieren. Der Körperteildetektor 141 führt dem Anwendungsausführungsabschnitt 143 und dem Ausgabesteuerabschnitt 145 ein Ergebnis der Detektion des bestimmten Teils zu.
  • Ferner kann der Körperteildetektor 141 eine durch einen bestimmten Teil auf ein reales Objekt, später beschrieben, ausgeübte Druckkraft detektieren. Der Körperteildetektor 141 kann die Druckkraft basierend auf der Ausgabe aus einem an dem bestimmten Teil getragenen Drucksensor detektieren. Der Körperteildetektor 141 kann basierend auf einem Ergebnis der Detektion des realen Objekts ein Gewicht des realen Objekts, mit dem der bestimmte Teil in Kontakt gebracht wird, detektieren und kann unter Verwendung des Gewichts die Druckkraft schätzen. Wenn der Körperteildetektor 141 die durch den bestimmten Teil auf das reale Objekt ausgeübte Druckkraft detektiert, führt der Körperteildetektor 141 dem Ausgabesteuerabschnitt 145 die Druckkraft zu.
  • Der Realobjektdetektor 142 detektiert ein „reales Objekt“. Das reale Objekt ist kein virtuelles Objekt, sondern ein Objekt, das sich tatsächlich in einem realen Raum befindet. Die Art des realen Objekts ist nicht besonders eingeschränkt, und das reale Objekt ist in der Regel ein Objekt wie beispielsweise ein Spielzeug, ein Werkzeug oder ein Schreibgerät, das von einem Benutzer gehalten werden kann. 6 stellt schematisch ein Beispiel für ein reales Objekt dar, das durch den Realobjektdetektor 142 detektiert wird. In der Figur ist das reale Objekt ein reales Objekt T, das mit der Hand M eines Benutzers gehalten wird. Der Realobjektdetektor 142 kann ein aufgenommenes Bild erfassen, das durch die nach außen gerichtete Kamera 121 aufgenommen ist, und kann ein reales Objekt detektieren, indem es Bildverarbeitung an dem aufgenommenen Bild durchführt.
  • Wenn der Realobjektdetektor 142 an reales Objekt detektiert, gibt der Realobjektdetektor 142 ferner eine Position des realen Objekts an und bestimmt eine Art des realen Objekts. Der Realobjektdetektor 142 kann eine Art des realen Objekts (wie zum Beispiel einen Stift, eine Schere oder ein Spielzeugschwert) bestimmen, indem daran zum Beispiel Bildbestimmung durchgeführt wird, zum Beispiel eine Form und eine Farbe des detektierten realen Objekts unter Verwendung von maschinellem Lernen.
  • Es sei darauf hingewiesen, dass, nachdem ein bestimmter Teil mit einem realen Objekt in Kontakt gebracht wird, das reale Objekt hinter dem bestimmten Teil versteckt sein kann oder es schwierig werden kann, die Gesamtheit des realen Objekts zu sehen. Somit kann der Realobjektdetektor 142 zu einem Zeitpunkt, zu dem ein bestimmter Teil beginnt, sich dem realen Objekt zu nähern, damit beginnen, ein reales Objekt zu bestimmen. Ferner wird erwartet, dass durch den Realobjektdetektor 142 durchgeführte Objektdetektionsverarbeitung in Echtzeit verzögert wird. In diesem Fall kann ein in der Nähe gelegenes reales Objekt bestimmt werden, bevor ein Benutzer bewirkt, dass sich ein bestimmter Teil einem realen Objekt annähert, und eine Last, die aufgrund der Bestimmungsverarbeitung auferlegt wird, welche durchgeführt wird, wenn der bestimmte Teil in Kontakt mit dem realen Objekt gebracht wird, kann reduziert werden.
  • Statt der Verwendung von Bildverarbeitung an einem aufgenommenen Bild oder zusätzlich dazu kann der Realobjektdetektor 142 ferner unter Verwendung eines anderen Verfahrens ein reales Objekt detektieren und bestimmen. Wenn zum Beispiel ein QR-Code (eingetragene Marke) auf einem realen Objekt angezeigt wird, kann der Realobjektdetektor 142 das reale Objekt anhand eines Ergebnisses des Auslesens des QR-Codes (eingetragene Marke) bestimmen. Wenn an einem realen Objekt ein elektronisches Tag befestigt ist, kann der Realobjektdetektor 142 anhand eines Ergebnisses der Kommunikation mit dem elektronischen Tag ferner auch das reale Objekt bestimmen. Des Weiteren ist das aufgenommene Bild nicht auf ein unter Verwendung der nach außen gerichteten Kamera 121 aufgenommenes Bild beschränkt und kann ein unter Verwendung einer Kamera (wie zum Beispiel einer an einer Wandfläche angeordneten Kamera), die sich um einen Benutzer herum befindet, aufgenommenes Bild sein.
  • Der Realobjektdetektor 142 führt ein Ergebnis der Detektion des realen Objekts dem Ausgabesteuerabschnitt 145 und dem Objektinformationserfassungsabschnitt 147 zu. Es sei darauf hingewiesen, dass der Realobjektdetektor 142 ein Verarbeitungsziel-Realobjekt unter Verwendung einer Positionsbeziehung mit einem durch den Körperteildetektor 141 detektierten bestimmten Teil auswählen kann. Der Realobjektdetektor 142 kann nur eine Position eines Verarbeitungsziel-Realobjekts angeben und eine Art des Verarbeitungsziel-Realobjekts bestimmen und kann ein Nichtverarbeitungsziel-Realobjekt als ein Objekt behandeln, das nicht existiert. Insbesondere kann der Realobjektdetektor 142 bestimmen, dass ein reales Objekt (zum Beispiel ein von einem Benutzer gehaltenes reales Objekt), mit dem ein bestimmter Teil in Kontakt steht, ein Verarbeitungsziel ist und kann bestimmen, dass ein reales Objekt, mit dem der bestimmte Teil nicht in Kontakt steht, kein Verarbeitungsziel ist.
  • Ferner kann der Realobjektdetektor 142 bestimmen, dass ein bestimmtes reales Objekt (zum Beispiel ein von einem Benutzer gehaltenes reales Objekt), mit dem ein bestimmter Teil in Kontakt steht, und ein anderes reales Objekt, mit dem das bestimmte reale Objekt in Kontakt gebracht werden soll, Verarbeitungsziele sind und kann bestimmen, dass ein anderes reales Objekt als das bestimmte reale Objekt und das andere reale Objekt kein Verarbeitungsziel sind. Des Weiteren kann der Realobjektdetektor 142 bestimmen, dass ein bestimmtes reales Objekt, das von einem Benutzer unter Verwendung eines durch die AR-Brille 102 erzeugten virtuellen Objekts berührt werden soll, ein Verarbeitungsziel ist und kann bestimmen, dass ein anderes reales Objekt als das bestimmte reale Objekt kein Verarbeitungsziel ist. Des Weiteren kann der Realobjektdetektor 142 bestimmen, dass ein bestimmtes reales Objekt, das sich innerhalb einer bestimmten Distanz von einem bestimmten Teil befindet, ein Verarbeitungsziel ist und kann bestimmen, dass ein anderes reales Objekt als das bestimmte reale Objekt kein Verarbeitungsziel ist. Der Realobjektdetektor 142 kann ohne Auswahl eines Verarbeitungsziels bestimmen, dass alle der detektierten realen Objekte Verarbeitungsziele sind oder kann nur dann ein Verarbeitungsziel-Realobjekt auswählen, wenn eine große Anzahl von realen Objekten detektiert worden ist.
  • Der Anwendungsausführungsabschnitt 143 führt Anwendungen für zum Beispiel ein Augmented Reality(AR)-Spiel und AR unterstützende Operationen durch. Der Anwendungsausführungsabschnitt 143 beinhaltet einen Generator 144 eines virtuellen Objekts. Der Generator 144 eines virtuellen Objekts erzeugt basierend auf der Ausgabe aus dem Sensorabschnitt 120 ein „virtuelles Objekt“ gemäß der durch den Anwendungsausführungsabschnitt 143 ausgeführten Anwendung. Das virtuelle Objekt ist ein Objekt, das auf dem durch einen Benutzer in einem realen Raum virtuell zu betrachtenden Anzeigeabschnitt 132 (vgl. 4) angezeigt wird. Beispiele für eine Art eines virtuellen Objekts beinhalten eine Waffe, ein Werkzeug und ein Schreibgerät, und die Art des virtuellen Objekts ist nicht besonders eingeschränkt. Der Anwendungsausführungsabschnitt 143 führt dem Ausgabesteuerabschnitt 145 eine Anweisung beispielsweise zur Ausgabe von Ton, eines Videos, einer taktilen Sinneswahrnehmung und eines virtuellen Objekts zu, die durch Ausführung einer Anwendung erzeugt werden, wobei das virtuelle Objekt durch den Generator 144 eines virtuellen Objekts erzeugt wird.
  • Der Ausgabesteuerabschnitt 145 steuert die Ausgabe aus der Steuerung 101 und die Ausgabe aus der AR-Brille 102 gemäß einer durch den Anwendungsausführungsabschnitt 143 zugeführten Ausgabeanweisung. Insbesondere erzeugt der Ausgabesteuerabschnitt 145 ein Videosignal gemäß der Ausgabeanweisung und führt dem Anzeigeabschnitt 132 das Videosignal zu, um zu bewirken, dass ein Video auf dem Anzeigeabschnitt 132 angezeigt wird. Ferner erzeugt der Ausgabesteuerabschnitt 145 ein Tonsignal gemäß der Ausgabeanweisung und führt dem Lautsprecher 133 das Tonsignal zu, um zu bewirken, dass aus dem Lautsprecher 133 Ton erzeugt wird.
  • Der Ausgabesteuerabschnitt 145 beinhaltet einen Ansteuerungssignalgenerator 146. Der Ansteuerungssignalgenerator 146 erzeugt ein Ansteuerungssignal für den Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung gemäß der Ausgabeanweisung und führt dem Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung das Ansteuerungssignal zu. In diesem Fall erzeugt der Ansteuerungssignalgenerator 146 das Ansteuerungssignal basierend auf einer Positionsbeziehung zwischen einem durch den Realobjektdetektor 142 detektierten realen Objekt und einem durch den Körperteildetektor 141 detektierten bestimmten Teil.
  • Der Ansteuerungssignalgenerator 146 kann bestimmen, ob das reale Objekt T und ein bestimmter Teil R miteinander in Kontakt stehen, und kann gemäß einem Ergebnis der Bestimmung ein Ansteuerungssignal erzeugen. Die durch den Ansteuerungssignalgenerator 146 durchgeführte Ansteuerungssignalerzeugung wird später im Detail beschrieben. Ferner kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal erzeugen, so dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass eine taktile Sinneserfahrung erfolgt, wenn der bestimmte Teil R in einem Zustand, in dem der bestimmte Teil R mit dem realen Objekt T in Kontakt steht, bezüglich des realen Objekts T bewegt wird. Des Weiteren kann der Ansteuerungssignalgenerator 146 bestimmen, ob ein erstes Objekt (ein reales Objekt oder ein virtuelles Objekt) und ein zweites Objekt (ein reales Objekt oder ein virtuelles Objekt) miteinander in Kontakt stehen, wobei das erste Objekt ein Objekt ist, von dem eine Position bezüglich des bestimmten Teils R festgelegt ist, wobei das zweite Objekt ein Objekt ist, von dem eine Position bezüglich des bestimmten Teils R nicht festgelegt ist. Dann kann der Ansteuerungssignalgenerator 146 das Ansteuerungssignal gemäß einem Ergebnis der Bestimmung erzeugen.
  • Der Objektinformationserfassungsabschnitt 147 erfasst „zugehörige Informationen“, die mit einem durch den Realobjektdetektor 142 detektierten realen Objekte in Beziehung stehen. Die zugehörigen Informationen sind Informationen, die mit einem realen Objekt in Beziehung stehen, unabhängig von einem Erscheinungsbild des realen Objekts, und sind zum Beispiel ein Guthaben einer Prepaid-Karte, wenn es sich bei dem realen Objekt um die Prepaid-Karte handelt. Wenn der Realobjektdetektor 142 ein reales Objekt bestimmt, kann der Objektinformationserfassungsabschnitt 147 beispielsweise von einem Server mit dem realen Objekt in Beziehung stehende Informationen abfragen, indem er zum Beispiel Informationen (wie zum Beispiel ein elektronisches Tag) verwendet, die in dem realen Objekt gehalten werden, und kann die zugehörigen Informationen erfassen.
  • Das System 100 zur Bereitstellung einer taktilen Sinneserfahrung weist die oben beschriebene Konfiguration auf. Es sei darauf hingewiesen, dass die Konfiguration des Systems 100 zur Bereitstellung einer taktilen Sinneserfahrung nicht auf die oben beschriebene Konfiguration beschränkt ist. Zum Beispiel kann der Steuerabschnitt 140 in einer anderen Informationsverarbeitungseinrichtung enthalten sein, die mit der AR-Brille 102 verbunden ist. Ferner können mindestens einige der Strukturelemente des Steuerabschnitts 140 in einem Netzwerk implementiert sein. Ferner ist der Steuerabschnitt 140 nicht darauf beschränkt, alle der oben beschriebenen strukturellen Elemente aufzuweisen, und der Generator 144 eines virtuellen Objekts und der Objektinformationserfassungsabschnitt 147 müssen nicht zwangsweise bereitgestellt werden.
  • Ferner ist oben das Beispiel, in dem die Steuerung 101 an einer Hand eines Benutzers getragen wird, beschrieben worden. Ohne darauf beschränkt zu sein, kann die Steuerung 101 zum Beispiel an einem Arm, einem Bein, einem Kopf oder einem Körper des Benutzers getragen werden. Des Weiteren kann das System 100 zur Bereitstellung einer taktilen Sinneserfahrung mindestens zwei Steuerungen 101 beinhalten, und die mindestens zwei Steuerungen 101 können an mindestens zwei jeweiligen Abschnitten des Körpers, wie zum Beispiel der rechten und linken Hand eines Benutzers, getragen werden.
  • [Arbeitsweise des Systems zur Bereitstellung einer taktilen Sinneserfahrung]
  • Es wird eine Arbeitsweise des Systems 100 zur Bereitstellung einer taktilen Sinneserfahrung beschrieben. 7 ist ein Flussdiagramm, das eine Arbeitsweise des Systems 100 zur Bereitstellung einer taktilen Sinneserfahrung darstellt.
  • Wie in der Figur dargestellt ist, detektiert der Realobjektdetektor 142 zunächst ein reales Objekt (St101). Der Realobjektdetektor 142 kann ein reales Objekt detektieren, indem er zum Beispiel Bildverarbeitung an einem aufgenommenen Bild durchführt. Als Nächstes führt der Realobjektdetektor 142 eine Auswahl hinsichtlich des detektierten realen Objekts durch (St102). Basierend auf einer Positionsbeziehung zu einem bestimmten Teil kann der Realobjektdetektor 142 eine Auswahl hinsichtlich dessen durchführen, ob ein reales Objekt ein Verarbeitungsziel ist. Wenn zum Beispiel ein detektiertes reales Objekt mit einem bestimmten Teil in Kontakt steht, wählt der Realobjektdetektor 142 das detektierte reale Objekt als ein Verarbeitungsziel aus.
  • Wenn der Realobjektdetektor 142 bestimmt hat, dass ein reales Objekt kein Verarbeitungsziel ist (St102; Nein), dann wird die Detektion eines realen Objekts (St101) erneut durchgeführt. Wenn der Realobjektdetektor 142 bestimmt hat, dass ein reales Objekt ein Verarbeitungsziel ist (St102; Ja), dann wird ferner das reale Objekt bestimmt (St103). Der Realobjektdetektor 142 kann eine Art eines realen Objekts bestimmen, indem er zum Beispiel einen Erkenner verwendet, der zur Durchführung maschinellen Lernens veranlasst wird.
  • Als Nächstes gibt der Realobjektdetektor 142 eine Position des realen Objekts an (St104). Der Realobjektdetektor 142 kann basierend beispielsweise auf einer Größe und einer Form des realen Objekts in einem aufgenommenen Bild Positionskoordinaten eines realen Objekts in einem realen Raum angeben.
  • Als Nächstes detektiert der Körperteildetektor 141 eine Position und eine Pose des bestimmten Teils (St105). Der Körperteildetektor 141 kann basierend auf einem Ergebnis der an einem aufgenommenen Bild durchgeführten Bildverarbeitung die Position und die Pose des bestimmten Teils detektieren und sie aus dem Sensorabschnitt 115 ausgeben (vgl. 2). In diesem Fall kann der Körperteildetektor 141 auch eine Presskraft detektieren, die durch einen bestimmten Teil auf ein reales Objekt ausgeübt wird.
  • Als Nächstes gibt der Ansteuerungssignalgenerator 146 eine Beziehung hinsichtlich der relativen Position zwischen dem realen Objekt und dem bestimmten Teil an (St106). Der Ansteuerungssignalgenerator 146 kann eine Position eines realen Objekts, das durch den Realobjektdetektor 142 detektiert wird, mit einer Position und einer Pose eines bestimmten Teils, die durch den Körperteildetektor 141 detektiert werden, vergleichen und kann basierend auf einem Ergebnis des Vergleichs die Beziehung hinsichtlich der relativen Position zwischen dem realen Objekt und dem bestimmten Teil angeben. Insbesondere kann der Ansteuerungssignalgenerator 146 angeben, ob ein bestimmter Teil mit einem realen Objekt in Kontakt steht.
  • Als Nächstes erzeugt der Ansteuerungssignalgenerator 146 basierend auf einer Positionsbeziehung zwischen dem realen Objekt und dem bestimmten Teil ein Ansteuerungssignal (St107). 8 ist eine schematische Darstellung, die eine Positionsbeziehung zwischen dem bestimmten Teil R und dem realen Objekt T darstellt. Wie in der Figur dargestellt ist, kann der Ansteuerungssignalgenerator 146 bestimmen, ob der bestimmte Teil R und das reale Objekt T miteinander in Kontakt stehen, und kann ein Ansteuerungssignal erzeugen, so dass der sich nahe dem bestimmten Teil R befindende Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass eine taktile Sinneserfahrung erfolgt, wenn der bestimmte Teil R in Kontakt mit dem realen Objekt T gebracht wird. In diesem Fall kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal gemäß einer Art des realen Objekts T erzeugen, die durch den Realobjektdetektor 142 bestimmt wird. Zum Beispiel kann der Ansteuerungssignalgenerator 146 vorher eine Schwingungswellenform für jede Art des realen Objekts T bereitstellen und kann eine Amplitude und die Anzahl von Schwingungen gemäß der Position und der Pose eines bestimmten Teils ändern.
  • Ferner kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal gemäß einer durch den bestimmten Teil R auf das reale Objekt T ausgeübten Druckkraft erzeugen. Zum Beispiel kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal erzeugen, derart, dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass eine schwächere taktile Sinneserfahrung erfolgt, wenn die Druckkraft größer ist. Eine größere Druckkraft führt zu einer leichteren Bereitstellung einer taktilen Sinneserfahrung für einen bestimmten Teil. Somit kann die durch einen Benutzer wahrgenommene taktile Sinneserfahrung unabhängig von der Presskraft auf dem gleichen Niveau gehalten werden. Wie später beschrieben wird, kann der Ansteuerungssignalgenerator 146 ferner ein Ansteuerungssignal gemäß einem Abschnitt in dem realen Objekt T, mit dem der bestimmte Teil R in Kontakt steht, erzeugen. Der Ansteuerungssignalgenerator 146 kann ein Ansteuerungssignal gemäß einer zugehörigen Information (wie zum Beispiel einem Guthaben einer Prepaid-Karte), die mit dem durch den Realobjektdetektor 142 detektierten realen Objekt T Beziehung steht, erzeugen.
  • Ferner kann die Positionsbeziehung zwischen dem bestimmten Teil R und dem realen Objekt T allmählich geändert werden. 9 ist eine schematische Darstellung, die eine Änderung einer Positionsbeziehung zwischen dem bestimmten Teil R und dem realen Objekt T darstellt, wobei eine Bewegung des bestimmten Teils R durch einen Pfeil angezeigt wird. Wie in der Figur dargestellt ist, kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal erzeugen, so dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass, eine taktile Sinneserfahrung erfolgt, wenn der bestimmte Teil R in einem Zustand, in dem der bestimmte Teil R mit dem realen Objekt T in Kontakt steht, bezüglich des realen Objekts T bewegt wird.
  • In diesem Fall kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal gemäß einer von einer Distanz und einer Bewegungsgeschwindigkeit des bestimmten Teils R bezüglich des realen Objekts T oder gemäß beiden erzeugen. Zum Beispiel kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal erzeugen, derart, dass jedes Mal dann, wenn die Bewegungsdistanz zu einer bestimmten Distanz wird, eine taktile Sinneserfahrung erfolgt, oder derart, dass die taktile Sinneserfahrung in einem kürzeren Zeitintervall bereitgestellt wird, wenn die Bewegungsgeschwindigkeit höher ist.
  • Als Nächstes führt der Ansteuerungssignalgenerator 146 dem Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung das erzeugte Ansteuerungssignal zu (St108). Der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass eine taktile Sinneserfahrung gemäß dem Ansteuerungssignal erfolgt. Dies ermöglicht dem Benutzer, eine taktile Sinneserfahrung in Abhängigkeit von der Positionsbeziehung zwischen einem realen Objekt und einem bestimmten Teil wahrzunehmen.
  • Das System 100 zur Bereitstellung einer taktilen Sinneserfahrung wird wie oben beschrieben betrieben. Es sei darauf hingewiesen, dass der Ausgabesteuerabschnitt 145 zusammen mit einem Ansteuerungssignal ein Signal für Ton (wie zum Beispiel Reibungs- und Kollisionsgeräusche), der erzeugt wird, wenn ein bestimmter Teil mit einem realen Objekt in Kontakt steht, erzeugen kann und dem Lautsprecher 133 das Tonsignal zuführen kann. Dies ermöglicht dem Benutzer, den Ton zusammen mit einer taktilen Sinneserfahrung, die durch den Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung bereitgestellt wird, wahrzunehmen.
  • Ferner kann der Ansteuerungssignalgenerator 146 bei der Erzeugung eines Ansteuerungssignals Informationen über einen Benutzer widerspiegeln. Wenn durch eine Benutzerschnittstelle (UI) des Systems 100 zur Bereitstellung einer taktilen Sinneserfahrung eine Änderung der Stärke einer taktilen Sinneserfahrung eingegeben wird, kann der Ansteuerungssignalgenerator 146 als Reaktion auf die eingegebene Änderung ein Ansteuerungssignal einstellen. Dies ermöglicht ein Reagieren, wenn ein Benutzer eine stärkere Sinneserfahrung fühlen möchte oder wenn es zum Beispiel durch das Tragen von Handschuhen zu einer Empfindlichkeitsverminderung kommt.
  • Wenn der Realobjektdetektor 142 ein aus einem verarbeitbaren Material wie beispielsweise Holz oder Papier hergestelltes reales Objekt detektiert, kann der Realobjektdetektor 142 eine Art eines durch das reale Objekt dargestellten Objekts bestimmen und die bestimmte Art als die Art des realen Objekt betrachten. Wenn der Realobjektdetektor 142 beispielsweise ein hölzernes Spielzeugschwert detektiert, kann der Realobjektdetektor 142 das detektierte Spielzeugschwert als ein reales Schwert betrachten und dem Ansteuerungssignalgenerator 146 ein Ergebnis der Bestimmung zuführen. Der Realobjektdetektor 142 kann bei der Durchführung von Bildbestimmung numerisch eine Form und eine Gestalt ausdrücken und kann infolge der Bestimmung die numerisch ausgedrückte Form und Gestalt bestimmen, um in Abhängigkeit von der Form und der Gestalt die beim Schwingen eines Schwerts erzeugten Schwingungen zu ändern. Zum Beispiel kann der Realobjektdetektor 142 Eigenschaften aus den Formeigenschaften eines realen Objekts, wie zum Beispiel, dick, dünn, lang und kurz zu sein, numerisch ausdrücken oder kann einen numerischen Ausdruck durch Behandeln einer oder mehrerer durchschnittlicher Farben eines realen Objekts als einen 24-Bit-RGB-Wert ausführen.
  • Im Hinblick auf die oben beschriebene Arbeitsweise des Systems 100 zur Bereitstellung einer taktilen Sinneserfahrung ist das Beispiel beschrieben worden, in dem dadurch, dass ein bestimmter Teil eines Benutzers in Kontakt mit einem realen Objekt gebracht wird, ein Ansteuerungssignal erzeugt wird. Es reicht jedoch aus, wenn der Ansteuerungssignalgenerator 146 basierend auf einer Positionsbeziehung zwischen einem realen Objekt und einem bestimmten Teil ein Ansteuerungssignal erzeugt. Zum Beispiel kann der Ansteuerungssignalgenerator 146 wie unten beschrieben betrieben werden.
  • 10 ist eine schematische Darstellung, die eine andere Positionsbeziehung zwischen dem bestimmten Teil R und dem realen Objekt T darstellt. Wie in der Figur dargestellt ist, kann eine Position des realen Objekts T bezüglich des bestimmten Teils R festgelegt sein, und das reale Objekt T kann entlang dem bestimmten Teil R bewegt werden, wie durch einen Pfeil angezeigt wird. Dies ist ein Zustand, in dem zum Beispiel ein Benutzer das reale Objekt T mit seiner Hand hält und bewegt. Wenn das reale Objekt T und der bestimmte Teil R in einem Zustand, in dem sie miteinander in Kontakt bleiben, bewegt werden, kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal erzeugen, so dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass eine taktile Sinneserfahrung erfolgt.
  • In diesem Fall kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal gemäß einer Art des durch den Realobjektdetektor 142 bestimmten realen Objekts T erzeugen. Der Ansteuerungssignalgenerator 146 kann beispielsweise vorher eine Schwingungswellenform für jede Art des realen Objekts T bereitstellen und kann eine Schwingungswellenform gemäß der Art des realen Objekts T auswählen.
  • Ferner kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal gemäß einer von einer Distanz und einer Bewegungsgeschwindigkeit des bestimmten Teils R oder gemäß beiden erzeugen. Zum Beispiel kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal erzeugen, derart, dass jedes Mal dann, wenn die Bewegungsdistanz zu einer bestimmten Distanz wird, eine taktile Sinneserfahrung erfolgt, oder derart, dass die Sinneserfahrung in einem kürzeren Zeitintervall bereitgestellt wird, wenn die Bewegungsgeschwindigkeit höher ist. Wie später beschrieben wird, kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal gemäß einem Abschnitt in dem realen Objekt T, mit dem der bestimmte Teil R in Kontakt steht, erzeugen. Der Ansteuerungssignalgenerator 146 kann ein Ansteuerungssignal gemäß einer zugehörigen Information, die mit dem durch den Realobjektdetektor 142 detektierten realen Objekt T Beziehung steht, erzeugen.
  • 11 ist eine schematische Darstellung, die eine andere Positionsbeziehung zwischen dem bestimmten Teil R und dem realen Objekt T darstellt. Wie in der Figur dargestellt ist, beinhalten die realen Objekte ein erstes reales Objekt T1 und ein zweites reales Objekt T2. Das erste reale Objekt T1 ist ein reales Objekt, von dem eine Position bezüglich des bestimmten Teils R festgelegt ist und das zusammen mit dem bestimmten Teil R, wie durch einen Pfeil angezeigt wird, bewegt wird. Das zweite reale Objekt T2 ist ein reales Objekt, von dem eine Position bezüglich des bestimmten Teils R nicht festgelegt ist.
  • Wenn das erste reale Objekt T1 und der bestimmte Teil R in einem Zustand, in dem sie miteinander in Kontakt bleiben, bewegt werden, kann der Ansteuerungssignalgenerator 146 bestimmen, dass eine Position des ersten realen Objekts T1 bezüglich des bestimmten Teils R festgelegt ist. Wenn das erste reale Objekt T1, von dem die Position bezüglich des bestimmten Teils R festgelegt ist, in Kontakt mit dem zweiten realen Objekt T2 gebracht wird, kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal erzeugen, so dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass eine taktile Sinneserfahrung erfolgt.
  • In diesem Fall kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal gemäß einem Satz aus einer Art des ersten realen Objekts T1 und einer Art des zweiten realen Objekts T2, die durch den Realobjektdetektor 142 bestimmt werden, erzeugen. Zum Beispiel kann der Ansteuerungssignalgenerator 146 vorher eine Schwingungswellenform für jeden Satz aus der Art des ersten realen Objekts T1 und der Art des zweiten realen Objekts T2 bereitstellen und kann eine Schwingungswellenform gemäß jedem Satz aus der Art des ersten realen Objekts T1 und der Art des zweiten realen Objekts T2 auswählen.
  • Ferner kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal gemäß einer von einer Distanz und einer Bewegungsgeschwindigkeit eines Kontaktpunkts des ersten realen Objekts T und des zweiten realen Objekts T2 oder gemäß beiden erzeugen. Zum Beispiel kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal erzeugen, derart, dass jedes Mal dann, wenn die Bewegungsdistanz des Kontaktpunkts zu einer bestimmten Distanz wird, eine taktile Sinneserfahrung erfolgt, oder derart, dass die taktile Sinneserfahrung in einem kürzeren Zeitintervall bereitgestellt wird, wenn die Bewegungsgeschwindigkeit des Kontaktpunkts höher ist. Wie später beschrieben wird, kann der Ansteuerungssignalgenerator 146 ferner ein Ansteuerungssignal gemäß einem Abschnitt in dem ersten realen Objekt T1, mit dem der bestimmte Teil R in Kontakt gebracht wird, erzeugen. Der Ansteuerungssignalgenerator 146 kann ein Ansteuerungssignal gemäß einem Punkt erzeugen, an dem das erste reale Objekt T1 und das zweite reale Objekt T2 in Kontakt miteinander gebracht werden.
  • 12 ist eine schematische Darstellung, die eine andere Positionsbeziehung zwischen dem bestimmten Teil R und dem realen Objekt T darstellt. Wie in der Figur dargestellt ist, kann eine Position des realen Objekts T bezüglich des bestimmten Teils R festgelegt sein, und das reale Objekt T kann bezüglich eines virtuellen Objekts V entlang dem bestimmten Teil R bewegt werden, wie durch einen Pfeil angezeigt wird. Das virtuelle Objekt V ist ein virtuelles Objekt, von dem eine Position bezüglich des bestimmten Teils R nicht festgelegt ist. Das virtuelle Objekt V ist ein virtuelles Objekt, das durch den Generator 144 eines virtuellen Objekts (siehe 1) erzeugt und auf dem Anzeigeabschnitt 132 angezeigt wird. Ein Benutzer kann durch Betrachten eines realen Raums durch den Anzeigeabschnitt 132 das reale Objekt T und das virtuelle Objekt V zusammen sehen.
  • Wenn das reale Objekt T und der bestimmte Teil R in einem Zustand, in dem sie miteinander in Kontakt bleiben, bewegt werden, kann ein Ansteuerungssignalgenerator 146 bestimmen, dass eine Position des realen Objekts T bezüglich des bestimmten Teils R festgelegt ist. Wenn das reale Objekt T, von dem die Position bezüglich des bestimmten Teils R festgelegt ist, in virtuellen Kontakt mit dem virtuellen Objekt V gebracht wird, kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal erzeugen, so dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass eine taktile Sinneserfahrung erfolgt.
  • In diesem Fall kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal gemäß einem Satz aus einer Art des realen Objekts T, das durch den Realobjektdetektor 142 bestimmt wird, und einer Art des virtuellen Objekts V erzeugen. Der Ansteuerungssignalgenerator 146 kann zum Beispiel vorher eine Schwingungswellenform für jeden Satz aus der Art des realen Objekts T und der Art des virtuellen Objekts V bereitstellen und kann eine Schwingungswellenform gemäß jedem Satz aus der Art des realen Objekts T und der Art des virtuellen Objekts V auswählen.
  • Ferner kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal gemäß einer von einer Distanz und einer Bewegungsgeschwindigkeit eines Kontaktpunkts des realen Objekts T und des virtuellen Objekts V oder gemäß beiden erzeugen. Zum Beispiel kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal erzeugen, derart, dass jedes Mal dann, wenn die Bewegungsdistanz des Kontaktpunkts zu einer bestimmten Distanz wird, eine taktile Sinneserfahrung erfolgt, oder derart, dass die taktile Sinneserfahrung in einem kürzeren Zeitintervall bereitgestellt wird, wenn die Bewegungsgeschwindigkeit des Kontaktpunkts höher ist. Wie später beschrieben wird, kann der Ansteuerungssignalgenerator 146 des Weiteren ein Ansteuerungssignal gemäß einem Abschnitt in dem realen Objekt T, mit dem der bestimmte Teil R in Kontakt gebracht wird, erzeugen. Der Ansteuerungssignalgenerator 146 kann ein Ansteuerungssignal gemäß einem Punkt erzeugen, an dem das reale Objekt T und das virtuelle Objekt V in Kontakt miteinander gebracht werden.
  • 13 ist eine schematische Darstellung, die eine andere Positionsbeziehung zwischen dem bestimmten Teil R und dem realen Objekt T darstellt. Wie in der Figur dargestellt ist, kann eine Position des virtuellen Objekts V bezüglich des bestimmten Teils R festgelegt sein, und das virtuelle Objekt V kann bezüglich des realen Objekts T zusammen mit dem bestimmten Teil R bewegt werden, wie durch einen Pfeil angezeigt wird. Das reale Objekt T ist ein reales Objekt, von dem eine Position bezüglich des bestimmten Teils R nicht festgelegt ist. Das virtuelle Objekt V ist ein virtuelles Objekt, das durch den Generator 144 eines virtuellen Objekts (siehe 1) erzeugt und auf dem Anzeigeabschnitt 132 angezeigt wird. Ein Benutzer kann durch Betrachten eines realen Raums durch den Anzeigeabschnitt 132 das reale Objekt T und das virtuelle Objekt V zusammen sehen.
  • Wenn das virtuelle Objekt V, von dem die Position bezüglich des bestimmten Teils R festgelegt ist, mit dem realen Objekt T in virtuellen Kontakt gebracht wird, kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal erzeugen, so dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass eine taktile Sinneserfahrung erfolgt. In diesem Fall kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal gemäß einem Satz aus einer Art des realen Objekts T, das durch den Realobjektdetektor 142 bestimmt wird, und einer Art des virtuellen Objekts V erzeugen. Der Ansteuerungssignalgenerator 146 kann zum Beispiel vorher eine Schwingungswellenform für jeden Satz aus der Art des realen Objekts T und der Art des virtuellen Objekts V bereitstellen und kann eine Schwingungswellenform gemäß jedem Satz aus der Art des realen Objekts T und der Art des virtuellen Objekts V auswählen.
  • Ferner kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal gemäß einer von einer Distanz und einer Bewegungsgeschwindigkeit eines Kontaktpunkts des realen Objekts T und des virtuellen Objekts V oder gemäß beiden erzeugen. Zum Beispiel kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal erzeugen, derart, dass jedes Mal dann, wenn die Bewegungsdistanz des Kontaktpunkts zu einer bestimmten Distanz wird, eine taktile Sinneserfahrung erfolgt, oder derart, dass die taktile Sinneserfahrung in einem kürzeren Zeitintervall bereitgestellt wird, wenn die Bewegungsgeschwindigkeit des Kontaktpunkts höher ist. Wie später beschrieben wird, kann der Ansteuerungssignalgenerator 146 des Weiteren ein Ansteuerungssignal gemäß einem Abschnitt in dem virtuellen Objekt V, mit dem der bestimmte Teil R in Kontakt gebracht wird, erzeugen. Der Ansteuerungssignalgenerator 146 kann ein Ansteuerungssignal gemäß einem Punkt erzeugen, an dem das reale Objekt T und das virtuelle Objekt V in Kontakt miteinander gebracht werden.
  • Das System 100 zur Bereitstellung einer taktilen Sinneserfahrung wird wie oben beschrieben betrieben. In dem System 100 zur Bereitstellung einer taktilen Sinneserfahrung erzeugt der Ansteuerungssignalgenerator 146 basierend auf einer Positionsbeziehung zwischen dem bestimmten Teil R und dem realen Objekt T, wie oben beschrieben, ein Ansteuerungssignal für den an dem bestimmten Teil R getragenen Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung. Dies ermöglicht dem System 100 zur Bereitstellung einer taktilen Sinneserfahrung zu bewirken, dass ein Benutzer eine taktile Sinneserfahrung wahrnimmt, die von einer taktilen Sinneserfahrung, die direkt von dem realen Objekt T erhalten wird, verschieden ist, und somit für den Benutzer die Realität und die Genauigkeit oder angenehme verschiedene taktile Sinneserfahrungen bereitzustellen.
  • [Beispiele für eine bestimmte Arbeitsweise des Systems zur Bereitstellung einer taktilen Sinneserfahrung]
  • Es werden Beispiele für eine bestimmte Arbeitsweise des Systems 100 zur Bereitstellung einer taktilen Sinneserfahrung beschrieben. Es sei darauf hingewiesen, dass angenommen wird, dass in unten beschriebenen Betriebsbeispielen der bestimmte Teil jeder Abschnitt der Hand M ist und der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung ein Schwingungserzeugungsmechanismus ist.
  • (Betriebsbeispiele 1: Bereitstellung einer taktilen Sinneserfahrung, die dadurch herbeigeführt wird, dass ein bestimmter Teil in Kontakt mit einem realen Objekt gebracht wird)
  • In den Betriebsbeispielen 1 werden Beispiele beschrieben, in denen eine taktile Sinneserfahrung dadurch bereitgestellt wird, dass ein bestimmter Teil in Kontakt mit einem realen Objekt gebracht wird.
  • Die Betriebsbeispiele 1 beinhalten das Betriebsbeispiel 1-1, das Betriebsbeispiel 1-2, das Betriebsbeispiel 1-3 und das Betriebsbeispiel 1-4.
  • <Betriebsbeispiel 1-1>
  • 14 stellt schematisch den bestimmten Teil R und das reale Objekt T in Betriebsbeispiel 1-1 dar. Das reale Objekt T ist ein hölzernes Fischmodell. Wenn der Realobjektdetektor 142 bestimmt, dass das reale Objekt T ein Fischmodell ist, führt der Realobjektdetektor 142 dem Ansteuerungssignalgenerator 146 Informationen darüber und über eine Position des realen Objekts T zu. Der Realobjektdetektor 142 kann eine Bestimmung unter Verwendung eines Erkenners durchführen, der zum Durchführen von maschinellem Lernen veranlasst wird, so dass nur eine bestimmte Form (eine Form eines bestimmten hölzernen Fisches) bestimmt werden kann, oder das reale Objekt kann durch Erkennen eines auf dem realen Objekt angezeigten Etiketts bestimmt werden. Ferner detektiert der Körperteildetektor 141 basierend auf einer Ausgabe beispielsweise aus dem Sensorabschnitt 115 eine Position und eine Pose des bestimmten Teils R und führt den Ansteuerungssignalgenerator 146 die detektierte Position und Pose zu.
  • Der Ansteuerungssignalgenerator 166 erzeugt ein Ansteuerungssignal gemäß einer Positionsbeziehung zwischen dem bestimmten Teil R und dem realen Objekt T. Der Ansteuerungssignalgenerator 146 bestimmt, mit welchem Abschnitt in dem realen Objekt T der bestimmte Teil R in Kontakt steht, und erzeugt ein Ansteuerungssignal gemäß dem Abschnitt und der oben beschriebenen Positionsbeziehung. Wenn zum Beispiel die Oberfläche des realen Objekts T mit dem bestimmten Teil R überstrichen wird, erzeugt der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal, derart, dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung eine Schwingung erzeugt. In diesem Fall kann der Ansteuerungssignalgenerator 146 bewirken, dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung eine Schwingung mit einer bestimmten Frequenz erzeugt, und kann bewirken, dass ein Benutzer eine taktile Sinneserfahrung wahrnimmt, die sich anfühlt, als ob der Benutzer Schuppen eines echten Fisches berührt.
  • Dies ermöglicht einem Benutzer, eine taktile Sinneserfahrung wahrzunehmen, die sich anfühlt, als ob der Benutzer einen echten Fisch berührt, obgleich der Benutzer tatsächlich ein hölzernes Fischmodell berührt. In diesem Fall kann der Ansteuerungssignalgenerator 146 eine durch den Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung gemäß einer von einer Distanz und einer Bewegungsgeschwindigkeit des bestimmten Teils R in einem Zustand, in dem er mit dem realen Objekt T in Kontakt steht, oder gemäß beiden erzeugte Schwingungsfrequenz ändern. Zum Beispiel kann die Schwingungsfrequenz bei einer höheren Bewegungsgeschwindigkeit des bestimmten Teils R erhöht werden.
  • <Betriebsbeispiel 1-2>
  • 15 stellt schematisch den bestimmten Teil R und das reale Objekt T in Betriebsbeispiel 1-2 dar. Es wird angenommen, dass das reale Objekt T aus Holz hergestellt ist und ein Zielobjekt zur Bearbeitung wie beispielsweise Schneiden ist. Wenn der Realobjektdetektor 142 bestimmt, dass das reale Objekt T aus Holz hergestellt ist, führt der Realobjektdetektor 142 dem Ansteuerungssignalgenerator 146 Informationen darüber und über eine Position des realen Objekts T zu. Ferner detektiert der Körperteildetektor 141 basierend auf der Ausgabe aus beispielsweise dem Sensorabschnitt 115 eine Position und eine Pose des bestimmten Teils R und führt dem Ansteuerungssignalgenerator 146 die detektierte Position und Pose zu.
  • Der Ansteuerungssignalgenerator 146 erzeugt ein Ansteuerungssignal gemäß einer Positionsbeziehung zwischen dem bestimmten Teil R und dem realen Objekt T. Der Ansteuerungssignalgenerator 146 kann bestimmen, mit welchem Abschnitt in dem realen Objekt T der bestimmte Teil R in Kontakt steht, und kann ein Ansteuerungssignal gemäß dem Abschnitt und der oben beschriebenen Positionsbeziehung erzeugen. Wenn zum Beispiel der Rand des realen Objekts T mit dem bestimmten Teil R überstrichen wird, erzeugt der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal, derart, dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung eine Schwingung erzeugt. In diesem Fall kann der Ansteuerungssignalgenerator 146 bewirken, dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung eine Schwingung an einer bestimmten Stelle auf dem Holz erzeugt, und kann dem Benutzer einen bearbeiteten Abschnitt anzeigen.
  • Ferner kann der Ansteuerungssignalgenerator 146 den Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung gemäß einer von einer Distanz und einer Bewegungsgeschwindigkeit des bestimmten Teils R in einem Zustand, in dem er mit dem realen Objekt T in Kontakt steht, oder gemäß beiden bewegen. Der Ansteuerungssignalgenerator 146 kann zum Beispiel bewirken, dass jedes Mal dann, wenn die Bewegungsdistanz des bestimmten Teils R zu einer bestimmten Distanz wird, eine Schwingung erzeugt wird. Dies ermöglicht einem Benutzer unter Verwendung von Schwingung als Abstufung einen bearbeiteten Teil zu erfassen.
  • <Betriebsbeispiel 1-3>
  • 16 stellt schematisch den bestimmten Teil R und das reale Objekt T in Betriebsbeispiel 1-3 dar. Das reale Objekt T ist ein Spielzeugtopf. Wenn der Realobjektdetektor 142 bestimmt, dass das reale Objekt T ein Spielzeugtopf ist, führt der Realobjektdetektor 142 dem Ansteuerungssignalgenerator 146 Informationen darüber und über eine Position des realen Objekts T zu. Ferner detektiert der Körperteildetektor 141 basierend auf einer Ausgabe aus beispielsweise dem Sensorabschnitt 115 eine Position und eine Pose des bestimmten Teils R und führt dem Ansteuerungssignalgenerator 146 die detektierte Position und Pose des bestimmten Teils R zu.
  • Der Ansteuerungssignalgenerator 146 erzeugt ein Ansteuerungssignal gemäß einer Positionsbeziehung zwischen dem bestimmten Teil R und dem realen Objekt T. Der Ansteuerungssignalgenerator 146 kann bestimmen, ob das reale Objekt T mit dem bestimmten Teil R gehalten wird, und kann ein Ansteuerungssignal gemäß einem Ergebnis der Bestimmung erzeugen. Wenn das reale Objekt T zum Beispiel mit dem bestimmten Teil R gehalten wird, kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal erzeugen, derart, dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung eine Schwingung erzeugt, um zu bewirken, dass es sich für einen Benutzer anfühlt, als ob Wasser kocht.
  • <Betriebsbeispiel 1-4>
  • 17 stellt schematisch den bestimmten Teil R und das reale Objekt T in Betriebsbeispiel 1-4 dar. Das reale Objekt T ist eine Schachfigur. Wenn der Realobjektdetektor 142 bestimmt, dass das reale Objekt T eine Schachfigur ist, führt der Realobjektdetektor 142 dem Ansteuerungssignalgenerator 146 Informationen darüber und über eine Position des realen Objekts T zu. Ferner detektiert der Körperteildetektor 141 basierend auf der Ausgabe aus beispielsweise dem Sensorabschnitt 115 eine Position und eine Pose des bestimmten Teils R und führt dem Ansteuerungssignalgenerator 146 die detektierte Position und Pose zu.
  • Der Ansteuerungssignalgenerator 146 erzeugt ein Ansteuerungssignal gemäß einer Positionsbeziehung zwischen dem bestimmten Teil R und dem realen Objekt T. Der Ansteuerungssignalgenerator 146 kann bestimmen, ob das reale Objekt T mit dem bestimmten Teil R gehalten wird, und kann ein Ansteuerungssignal gemäß einem Ergebnis der Bestimmung erzeugen. Wenn das reale Objekt T zum Beispiel mit dem bestimmten Teil R gehalten wird, kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal erzeugen, derart, dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung gemäß der Art der Schachfigur eine Schwingung erzeugt, um zu bewirken, dass es sich für den Benutzer anfühlt, als ob mit der Schachfigur gespielt wird (wie zum Beispiel eine Schwingung zum Schwenken von Seite zu Seite mit einer geringen Frequenz).
  • (Betriebsbeispiele 2: Bereitstellung einer taktilen Sinneserfahrung, die durchgeführt wird, wenn ein reales Objekt entlang einem bestimmten Teil bewegt wird)
  • In den Betriebsbeispielen 2 werden Beispiele beschrieben, in denen ein reales Objekt zusammen mit einem bestimmten Teil bewegt wird. Die Betriebsbeispiele 2 beinhalten das Betriebsbeispiel 2-1, das Betriebsbeispiel 2-2 und das Betriebsbeispiel 2-3.
  • <Betriebsbeispiel 2-1>
  • 18 stellt schematisch den bestimmten Teil R und das reale Objekt T im Betriebsbeispiel 2-1 dar. Das reale Objekt T ist ein Spielzeugschwert. Wenn der Realobjektdetektor 142 bestimmt, dass das reale Objekt T ein Spielzeugschwert ist, führt der Realobjektdetektor 142 dem Ansteuerungssignalgenerator 146 Informationen darüber und über eine Position des realen Objekts T zu. Ferner detektiert der Körperteildetektor 141 basierend auf einer Ausgabe aus beispielsweise dem Sensorabschnitt 115 eine Position und eine Pose des bestimmten Teils R und führt dem Ansteuerungssignalgenerator 146 die detektierte Position und Pose zu.
  • Der Ansteuerungssignalgenerator 146 erzeugt ein Ansteuerungssignal gemäß einer Positionsbeziehung zwischen dem bestimmten Teil R und dem realen Objekt T. Wenn das reale Objekt T und der bestimmte Teil R in einem Zustand, in dem sie in Kontakt miteinander bleiben, bewegt werden, kann der Ansteuerungssignalgenerator 146 bestimmen, dass das reale Objekt T mit dem bestimmten Teil R gehalten wird. Zum Beispiel erzeugt der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal, derart, dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung gemäß einer Bewegungsgeschwindigkeit des realen Objekts T eine Schwingung erzeugt, um zu bewirken, dass es sich für einen Benutzer wie ein Schwingen anfühlt.
  • Ferner kann der Ansteuerungssignalgenerator 146 auch bestimmen, mit welchem Abschnitt in dem realen Objekt T der bestimmte Teil R in Kontakt steht, und kann ein Ansteuerungssignal gemäß dem Abschnitt und der oben beschriebenen Positionsbeziehung erzeugen. Der Ansteuerungssignalgenerator 146 kann bestimmen, ob ein Abschnitt in dem Spielzeugschwert, der sich nahe einem Schwertschutz befindet, mit dem bestimmten Teil R gehalten wird, oder ein Abschnitt in dem Spielzeugschwert, der sich von dem Schwertschutz entfernt befindet, mit dem bestimmten Teil R gehalten wird, und kann ein Ansteuerungssignal gemäß einem Ergebnis der Bestimmung erzeugen. Zum Beispiel kann der Ansteuerungssignalgenerator 146 eine Amplitude vergrößern, wenn der sich von dem Schwertschutz entfernt befindende Abschnitt mit dem bestimmten Teil R gehalten wird, im Vergleich zu der Situation, in der der sich nahe dem Schwertschutz befindende Abschnitt mit dem bestimmten Teil R gehalten wird. Wenn ein Benutzer den sich von dem Schwertschutz entfernt befindenden Abschnitt hält, fühlt der Benutzer beim Schwingen des Schwerts im Allgemeinen eine stärkere Kraft. Wenn der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal gemäß einer Distanz zwischen dem gehaltenen Abschnitt und dem Schwertschutz erzeugt, führt dies somit dazu, dass bewirkt wird, dass es sich für den Benutzer anfühlt, als ob er ein echtes Schwert schwingt, obgleich der Benutzer tatsächlich ein Spielzeugschwert schwingt.
  • Es sei darauf hingewiesen, dass zusätzlich zu einem Ansteuerungssignal der Ausgabesteuerabschnitt 145 ein Videosignal erzeugen kann, das visuelle Effekte beispielsweise für ein Schwert beinhaltet, und dem Anzeigeabschnitt 132 des Videosignal zuführen kann. Dies ermöglicht einem Benutzer, die visuellen Effekte, die dem Spielzeugschwert virtuell überlagert sind, zu sehen.
  • <Betriebsbeispiel 2-2>
  • 19 stellt schematisch den bestimmten Teil R und das reale Objekt T in Betriebsbeispiel 2-2 dar. Das reale Objekt T ist eine Schere. Wenn der Realobjektdetektor 142 bestimmt, dass das reale Objekt T eine Schere ist, führt der Realobjektdetektor 142 dem Ansteuerungssignalgenerator 146 Informationen darüber und über eine Position des realen Objekts T zu. Ferner detektiert der Körperteildetektor 141 basierend auf einer Ausgabe aus beispielsweise dem Sensorabschnitt 115 eine Position und eine Pose des bestimmten Teils R und führt dem Ansteuerungssignalgenerator 146 die detektierte Position und Pose zu.
  • Der Ansteuerungssignalgenerator 146 erzeugt ein Ansteuerungssignal gemäß einer Positionsbeziehung zwischen dem bestimmten Teil R und dem realen Objekt T. Wenn das reale Objekt T und der bestimmte Teil R in einem Zustand bewegt werden, in dem sie miteinander in Kontakt bleiben, kann der Ansteuerungssignalgenerator 146 bestimmen, dass das reale Objekt T mit dem bestimmten Teil R gehalten wird. Zum Beispiel kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal erzeugen, derart, dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung gemäß einer Bewegungsgeschwindigkeit des realen Objekts T eine Schwingung erzeugt, die ein Gefühl eines Klickens bereitstellt. Dies ermöglicht einem Benutzer, aufgrund der Schwingung eine Schnittlänge zu erfassen, wenn der Benutzer zum Beispiel mit der Schere Tuch schneidet
  • <Betriebsbeispiel 2-3>
  • 20 stellt schematisch den bestimmten Teil R und das reale Objekt T in Betriebsbeispiel 2-3 dar. Das reale Objekt T ist eine Prepaid-Karte. Wenn der Realobjektdetektor 142 bestimmt, dass das reale Objekt T eine Prepaid-Karte ist, führt der Realobjektdetektor 142 dem Ansteuerungssignalgenerator 146 Informationen darüber und über eine Position des realen Objekts T zu. Ferner führt der Realobjektdetektor 142 dem Objektinformationserfassungsabschnitt 147 Informationen zu, die anzeigen, dass das detektierte Objekt eine Prepaid-Karte ist. Der Objektinformationserfassungsabschnitt 147 erfasst ein Guthaben der Prepaid-Karte als zugehörige Informationen durch direktes Auslesen des Guthabens der Prepaid-Karte aus dem realen Objekt T oder durch einen Server und führt dem Ansteuerungssignalgenerator 146 die zugehörigen Informationen zu. Der Körperteildetektor 141 detektiert eine Position und eine Pose des bestimmten Teils R basierend auf der Ausgabe aus beispielsweise dem Sensorabschnitt 115 und führt dem Ansteuerungssignalgenerator 146 die detektierte Position und Pose zu.
  • Der Ansteuerungssignalgenerator 146 erzeugt ein Ansteuerungssignal gemäß einer Positionsbeziehung zwischen dem bestimmten Teil R und dem realen Objekt T. Wenn das reale Objekt T und der bestimmte Teil R in einem Zustand, in dem sie in Kontakt miteinander bleiben, bewegt werden, kann der Ansteuerungssignalgenerator 146 bestimmen, dass das reale Objekt T mit dem bestimmten Teil R gehalten wird, und der Ansteuerungssignalgenerator 146 kann ein Ansteuerungssignalerzeugung erzeugen, so dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung eine Schwingung erzeugt, wenn das reale Objekt T gehalten wird.
  • Ferner kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal gemäß den durch den Objektinformationserfassungsabschnitt 147 zugeführten zugehörigen Informationen erzeugen. Zum Beispiel kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal erzeugen, derart, dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung eine Schwingung erzeugt, um zu bewirken, dass es sich für einen Benutzer anfühlt, als ob eine Spardose, die das Äquivalent zu dem Gutachten der Prepaid-Karte enthält, hin und her bewegt wird. Des Weiteren kann der Ansteuerungssignalgenerator 146 ein Ansteuerungssignal erzeugen, derart, dass nur einmal eine kurze Schwingung erzeugt wird, wenn die Prepaid-Karte ein geringes Guthaben hat, und mehrmals eine kurze Schwingung erzeugt wird, wenn die Prepaid-Karte ein hohes Guthaben hat. Dies ermöglicht einem Benutzer, ein Guthaben einer Prepaid-Karte zu erfassen, indem er die Prepaid-Karte hin und her bewegt.
  • (Betriebsbeispiele 3: Bereitstellung einer taktilen Sinneserfahrung, die als Reaktion darauf, dass ein mit einem bestimmten Teil bewegtes Objekt in Kontakt mit einem anderen Objekt gebracht wird, durchgeführt wird)
  • In den Betriebsbeispielen 3 werden Beispiele beschrieben, in denen als Reaktion darauf, dass ein mit einem bestimmten Teil bewegtes Objekt in Kontakt mit einem anderen Objekt gebracht wird, eine taktile Sinneserfahrung bereitgestellt wird. Die Betriebsbeispiele 3 beinhalten das Betriebsbeispiel 3-1, das Betriebsbeispiel 3-2, das Betriebsbeispiel 3-3 und das Betriebsbeispiel 3-4.
  • <Betriebsbeispiel 3-1>
  • 21 stellt schematisch den bestimmten Teil R, das erste reale Objekt T1 und das zweite reale Objekt T2 in Operationsbeispiel 3-1 dar. Das erste reale Objekt T1 ist ein Schreibgerät, und das zweite reale Objekt T2 ist Papier. Wenn der Realobjektdetektor 142 bestimmt, dass das erste reale Objekt T1 ein Schreibgerät und das zweite reale Objekt T2 Papier ist, führt der Realobjektdetektor 142 dem Ansteuerungssignalgenerator 146 Informationen darüber und über Positionen des ersten realen Objekts T1 und des zweiten realen Objekts T2 zu. Ferner detektiert der Körperteildetektor 141 basierend auf einer Ausgabe aus beispielsweise dem Sensorabschnitt 115 eine Position und eine Pose des bestimmten Teils R und führt dem Ansteuerungssignalgenerator 146 die detektierte Position und Pose zu.
  • Der Ansteuerungssignalgenerator 146 erzeugt ein Ansteuerungssignal gemäß einer Positionsbeziehung zwischen dem bestimmten Teil R, dem ersten realen Objekt T1 und dem zweiten realen Objekt T2. Wenn der bestimmte Teil R und das erste reale Objekt T1 in einem Zustand, in dem sie miteinander in Kontakt bleiben, bewegt werden, kann der Ansteuerungssignalgenerator 146 bestimmen, dass das erste reale Objekt T1 mit dem bestimmten Teil R gehalten wird. Ferner kann der Ansteuerungssignalgenerator 146 basierend auf einer Positionsbeziehung zwischen dem ersten realen Objekt T1 und dem zweiten realen Objekt T2 bestimmen, ob das erste reale Objekt T1 und das zweite reale Objekt T2 miteinander in Kontakt stehen, und kann einen Kontaktpunkt des ersten realen Objekts T1 und des zweiten realen Objekts T2 (zum Beispiel, ob eine Spitze des Schreibgeräts mit dem Papier in Kontakt steht) bestimmen.
  • Basierend auf einer Position und einer Pose des bestimmten Teils R und basierend auf einer Positionsbeziehung des bestimmten Teils R mit dem ersten realen Objekt T1 bestimmt der Ansteuerungssignalgenerator 146 ferner einen Abschnitt in dem ersten realen Objekt T1, mit dem der bestimmte Teil R in Kontakt steht. Der Ansteuerungssignalgenerator 146 kann basierend auf der Art des ersten realen Objekts T1, der Art des zweiten realen Objekts T2, einem Kontaktpunkt des ersten realen Objekts T1 und des zweiten realen Objekts T2 und einer Distanz oder einer Bewegungsgeschwindigkeit des Kontaktpunkts des ersten realen Objekts T1 und des zweiten realen Objekts T2 ein Ansteuerungssignal erzeugen.
  • Der Ansteuerungssignalgenerator 146 erzeugt zum Beispiel ein Ansteuerungssignal, derart, dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung jedes Mal dann eine Schwingung erzeugt, wenn die Bewegungsdistanz des ersten realen Objekts T1 bezüglich des zweiten realen Objekts T2 zu einer bestimmten Distanz wird. Dies ermöglicht einem Benutzer, die Bewegungsdistanz des ersten realen Objekts T1 zu erfassen. Ferner erhöht der Ansteuerungssignalgenerator 146 eine Schwingungsfrequenz, wenn sich das erste reale Objekt T1 mit einer höheren Geschwindigkeit bewegt. Dementsprechend kann der Ansteuerungssignalgenerator 146 eine taktile Sinneserfahrung bereitstellen, die bewirkt, dass es sich für einen Benutzer anfühlt, als ob Reibung verursacht wird.
  • <Betriebsbeispiel 3-2>
  • 22 stellt schematisch den bestimmten Teil R, das erste reale Objekt T1 und das zweite reale Objekt T2 in Betriebsbeispiel 3-2 dar. Das erste reale Objekt T1 ist ein Spielzeugschwert, das von einem Benutzer des Systems 100 zur Bereitstellung einer taktilen Sinneserfahrung gehalten wird, und das zweite reale Objekt T2 ist ein Spielzeugschwert, das von einer anderen Person als der Benutzer gehalten wird. Wenn der Realobjektdetektor 142 bestimmt, dass das erste reale Objekt T1 und das zweite reale Objekt T2 Spielzeugschwerter sind, führt der Realobjektdetektor 142 dem Ansteuerungssignalgenerator 146 Informationen darüber und über Positionen des ersten realen Objekts T1 und des zweiten realen Objekts T2 zu. Ferner detektiert der Körperteildetektor 141 basierend auf einer Ausgabe aus beispielsweise dem Sensorabschnitt 115 eine Position und eine Pose des bestimmten Teils R und führt dem Ansteuerungssignalgenerator 146 die detektierte Position und Pose zu.
  • Der Ansteuerungssignalgenerator 146 erzeugt ein Ansteuerungssignal gemäß einer Positionsbeziehung zwischen dem bestimmten Teil R, dem ersten realen Objekt T1 und dem zweiten realen Objekt T2. Wenn der bestimmte Teil R und das erste reale Objekt T1 in einem Zustand, in dem sie miteinander in Kontakt bleiben, bewegt werden, kann der Ansteuerungssignalgenerator 146 bestimmen, dass das erste reale Objekt T1 mit dem bestimmten Teil R gehalten wird. Ferner kann der Ansteuerungssignalgenerator 146 basierend auf einer Positionsbeziehung zwischen dem ersten realen Objekt T1 und dem zweiten realen Objekt T2 bestimmen, ob das erste reale Objekt T1 und das zweite reale Objekt T2 miteinander in Kontakt stehen, und kann einen Kontaktpunkt des ersten realen Objekts T1 und des zweiten realen Objekts T2 bestimmen.
  • Basierend auf einer Position und einer Pose des bestimmten Teils R und basierend auf einer Positionsbeziehung des bestimmten Teils R mit dem ersten realen Objekt T1 bestimmt der Ansteuerungssignalgenerator 146 ferner einen Abschnitt in dem ersten realen Objekt T1, mit dem der bestimmte Teil R in Kontakt steht. Der Ansteuerungssignalgenerator 146 kann basierend auf der Art des ersten realen Objekts T1, der Art des zweiten realen Objekts T2, einem Kontaktpunkt des ersten realen Objekts T1 und des zweiten realen Objekts T2 und einer Distanz oder einer Bewegungsgeschwindigkeit des Kontaktpunkts des ersten realen Objekts T1 und des zweiten realen Objekts T2 ein Ansteuerungssignal erzeugen.
  • Selbst wenn das erste reale Objekt T1 und das zweite reale Objekt T2 aus Kunststoff hergestellt sind, bewirkt der Ansteuerungssignalgenerator 146 zum Beispiel, dass eine Schwingung erzeugt wird, wenn das erste reale Objekt T1 und das zweite reale Objekt T2 gegeneinander prallen. Dies ermöglicht einem Benutzer, eine taktile Sinneserfahrung wahrzunehmen, die sich anfühlt, als ob Metallschwerter gegeneinanderprallen. Ferner kann der Ansteuerungssignalgenerator 146 bewirken, dass eine Schwingung erzeugt wird, wenn ein Kontaktpunkt des ersten realen Objekts T1 und des zweiten realen Objekts T2 bewegt wird. Dies ermöglicht einem Benutzer, eine taktile Sinneserfahrung wahrzunehmen, die sich anfühlt, als ob Metallschwerter gegeneinander gerieben werden.
  • <Betriebsbeispiel 3-3>
  • 23 stellt schematisch den bestimmten Teil R, das reale Objekt T und das virtuelle Objekt V in Betriebsbeispiel 3-3 dar. Das reale Objekt T ist ein Spielzeugschwert, das von einem Benutzer des Systems 100 zur Bereitstellung einer taktilen Sinneserfahrung gehalten wird, und das virtuelle Objekt V ist ein virtuelles Objekt, das durch den Generator 144 eines virtuellen Objekts (siehe 1) erzeugt wird und auf dem Anzeigeabschnitt 132 angezeigt wird. Der Benutzer kann das reale Objekt T und das virtuelle Objekt V durch Betrachten einen realen Raums durch den Anzeigeabschnitt 132 zusammen sehen. Zum Beispiel wird das virtuelle Objekt V durch eine Figur eines durch den Anwendungsausführungsabschnitt 143 ausgeführten Spiels gehalten oder ist ein virtuelles Objekt, das auf einem durch einen von dem Benutzer verschiedenen Spieler, der sich an einem entfernten Ort befindet, gehaltenen Spielzeugschwert basiert.
  • Wenn der Realobjektdetektor 142 bestimmt, dass das reale Objekt T ein Spielzeugschwert ist, führt der Realobjektdetektor 142 dem Ansteuerungssignalgenerator 146 Informationen darüber und über eine Position des realen Objekts T zu. Ferner detektiert der Körperteildetektor 141 basierend auf einer Ausgabe aus beispielsweise dem Sensorabschnitt 115 eine Position und eine Pose des bestimmten Teils R und führt dem Ansteuerungssignalgenerator 146 die detektierte Position und Pose zu.
  • Der Ansteuerungssignalgenerator 146 erzeugt ein Ansteuerungssignal gemäß einer Positionsbeziehung zwischen dem bestimmten Teil R, dem realen Objekt T und dem virtuellen Objekt V. Wenn der bestimmte Teil R und das reale Objekt T in einem Zustand, in dem sie miteinander in Kontakt bleiben, bewegt werden, kann der Ansteuerungssignalgenerator 146 bestimmen, dass das reale Objekt T mit dem bestimmten Teil R gehalten wird. Ferner erlangt der Ansteuerungssignalgenerator 146 eine Position des virtuellen Objekts V aus dem Generator 144 eines virtuellen Objekts. Der Ansteuerungssignalgenerator 146 kann basierend auf einer Positionsbeziehung zwischen dem realen Objekt T und dem virtuellen Objekt V bestimmen, ob sich das reale Objekt T und das virtuelle Objekt V in Kontakt miteinander befinden und kann basierend auf der Positionsbeziehung zwischen dem realen Objekt T und dem virtuellen Objekt V einen Kontaktpunkt des realen Objekts T und des virtuellen Objekt V bestimmen.
  • Der Ansteuerungssignalgenerator 146 kann basierend auf der Art des realen Objekt T, der Art des virtuellen Objekt V, einem Kontaktpunkt des realen Objekts T und des virtuellen Objekts V und einer Distanz oder einer Bewegungsgeschwindigkeit des Kontaktpunkts ein Ansteuerungssignal erzeugen. Zum Beispiel bewirkt der Ansteuerungssignalgenerator 146, dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung eine Schwingung erzeugt, wenn das reale Objekt T virtuell mit dem virtuellen Objekt V zusammenprallt. Dies ermöglicht einem Benutzer, eine taktile Sinneserfahrung wahrzunehmen, die sich anfühlt, als ob das reale Objekt T und ein virtuelles Objekt V gegeneinanderprallen. Ferner kann der Ansteuerungssignalgenerator 146 bewirken, dass eine Schwingung erzeugt wird, wenn ein Kontaktpunkt des realen Objekts T und des virtuellen Objekts V bewegt wird. Dies ermöglicht einem Benutzer, eine taktile Sinneserfahrung wahrzunehmen, die sich anfühlt, als ob reale Objekte gegeneinander gerieben werden.
  • <Betriebsbeispiel 3-4>
  • 24 stellt schematisch den bestimmten Teil R, das reale Objekt T und das virtuelle Objekt V in Betriebsbeispiel 3-4 dar. Das reale Objekt T ist ein Spielzeugschwert, und das virtuelle Objekt V ist ein virtuelles Objekt, das durch den Generator 144 eines virtuellen Objekts (siehe 1) erzeugt wird und auf dem Anzeigeabschnitt 132 angezeigt wird. Ein Benutzer kann das reale Objekt T und das virtuelle Objekt V durch Betrachten einen realen Raums durch den Anzeigeabschnitt 132 zusammen sehen. Zum Beispiel wird das virtuelle Objekt V durch den Generator 144 eines virtuellen Objekts so angeordnet, als ob das virtuelle Objekt V bezüglich des bestimmten Teils R fixiert ist, und für den Benutzer sieht es aus, als ob der Benutzer das virtuelle Objekt V hält. Das reale Objekt T kann von einem von dem Benutzer verschiedenen Spieler gehalten werden, der sich in der Nähe des Benutzers befindet.
  • Wenn der Realobjektdetektor 142 bestimmt, dass das reale Objekt T ein Spielzeugschwert ist, führt der Realobjektdetektor 142 dem Ansteuerungssignalgenerator 146 Informationen darüber und über eine Position des realen Objekt T zu. Ferner detektiert der Körperteildetektor 141 basierend auf einer Ausgabe aus beispielsweise dem Sensorabschnitt 115 eine Position und eine Pose des bestimmten Teils R und führt dem Ansteuerungssignalgenerator 146 die detektierte Position und Pose zu.
  • Der Ansteuerungssignalgenerator 146 erzeugt ein Ansteuerungssignal gemäß einer Positionsbeziehung zwischen dem bestimmten Teil R, dem realen Objekt T und dem virtuellen Objekt V. Der Ansteuerungssignalgenerator 146 erlangt eine Position des virtuellen Objekts V aus dem Generator 144 eines virtuellen Objekts. Der Ansteuerungssignalgenerator 46 kann basierend auf einer Positionsbeziehung zwischen dem realen Objekt T und dem virtuellen Objekt V bestimmen, ob sich das reale Objekt T und das virtuelle Objekt V in Kontakt miteinander befinden und kann basierend auf der Positionsbeziehung zwischen dem realen Objekt T und dem virtuellen Objekt V einen Kontaktpunkt des realen Objekts T und des virtuellen Objekts V bestimmen.
  • Der Ansteuerungssignalgenerator 146 kann basierend auf der Art des realen Objekts T, der Art des virtuellen Objekts V, einem Kontaktpunkt des realen Objekts T und des virtuellen Objekts V und einer Distanz oder einer Bewegungsgeschwindigkeit des Kontaktpunkts ein Ansteuerungssignal erzeugen. Zum Beispiel bewirkt der Ansteuerungssignalgenerator 146, dass der Mechanismus 111 zur Bereitstellung einer taktilen Sinneserfahrung eine Schwingung erzeugt, wenn das virtuelle Objekt V virtuell mit dem realen Objekt T zusammenprallt. Dies ermöglicht einem Benutzer, eine taktile Sinneserfahrung wahrzunehmen, die sich anfühlt, als ob der Benutzer ein reales Objekt hält. Ferner kann der Ansteuerungssignalgenerator 146 bewirken, dass eine Schwingung erzeugt wird, wenn ein Kontaktpunkt des realen Objekts T und des virtuellen Objekts V bewegt wird. Dies ermöglicht einem Benutzer, eine taktile Sinneserfahrung wahrzunehmen, die sich anfühlt, als ob reale Objekte gegeneinander gerieben werden.
  • Des Weiteren kann das reale Objekt T ein Schneidziel wie beispielsweise Gemüse, Obst oder ein hölzernes Objekt sein. Wenn ein Benutzer das virtuelle Objekt V wie beispielsweise ein virtuelles Schwert, ein virtuelles Küchenmesser oder eine virtuelle Säge bewegt, um eine Bewegung des Ausschneidens des Schneidzielobjekts durchzuführen, kann der Ansteuerungssignalgenerator 146 bewirken, dass eine Schwingung erfolgt, wobei die Schwingung bewirkt, dass es sich für einen Benutzer anfühlt, als ob das Schneidzielobjekt geschnitten wird, obgleich das Schneidzielobjekt nicht wirklich geschnitten wird. In diesem Fall kann ein Ansteuerungssignal erzeugt werden, derart, dass sich die erfolgende Schwingung in Abhängigkeit von der Art des Schneidzielobjekts unterscheidet.
  • Das System 100 zur Bereitstellung einer taktilen Sinneserfahrung kann in der Lage sein, alle oder nur einige der oben beschriebenen Betriebsbeispiele durchzuführen.
  • [Eine andere Konfiguration des Systems zur Bereitstellung einer taktilen Sinneserfahrung]
  • Oben ist das Beispiel, in dem das System 100 zur Bereitstellung einer taktilen Sinneserfahrung die AR-Brille 102 beinhaltet, beschrieben worden. Das System 100 zur Bereitstellung einer taktilen Sinneserfahrung muss jedoch nicht zwangsweise die AR-Brille 102 beinhalten. 25 ist ein Blockdiagramm des Systems 100 zur Bereitstellung einer taktilen Sinneserfahrung, das eine andere Konfiguration aufweist.
  • Wie in der Figur dargestellt ist, kann das System 100 zur Bereitstellung einer taktilen Sinneserfahrung statt der AR-Brille 102 eine Informationsverarbeitungseinrichtung 103 beinhalten. Die Informationsverarbeitungseinrichtung 103 beinhaltet den oben beschriebenen Steuerabschnitt 140 und kann die Steuerung 101 steuern. Die Informationsverarbeitungseinrichtung 103 beinhaltet keine Funktion der Anzeige eines virtuellen Objekts unter Verwendung der AR-Brille. Mit Ausnahme dieses Punkts kann die Informationsverarbeitungseinrichtung 103 ähnlich wie die AR-Brille 102 arbeiten.
  • Ferner kann die Informationsverarbeitungseinrichtung 103 ein virtuelles Objekt durch Steuern einer mit der Informationsverarbeitungseinrichtung 103 verbundenen AR-Brille anzeigen. Wie in der Figur dargestellt ist, beinhaltet der Sensorabschnitt 120 möglicherweise nur die nach außen gerichtete Kamera 121, und zusätzlich zu der nach außen gerichteten Kamera 121 kann der Sensorabschnitt 120 einen Sensor beinhalten, der ein reales Objekt detektieren kann.
  • [Hardwarekonfiguration der Informationsverarbeitungseinrichtung]
  • Es wird eine Hardwarekonfiguration beschrieben, die ermöglicht, eine funktionale Konfiguration des in der AR-Brille 102 enthaltenen Steuerabschnitts 140 und der Informationsverarbeitungseinrichtung 103 zu implementieren. 26 stellt schematisch eine Hardwarekonfiguration des Steuerabschnitts 140 dar.
  • Wie in der Figur dargestellt ist, beinhaltet der Steuerabschnitt 140 eine Zentraleinheit (CPU, Central Processing Unit) 1001 und eine Grafikverarbeitungseinheit (GPU, Graphics Processing Unit) 1002. Eine Eingangs-/Ausgangsschnittstelle 1006 ist über einen Bus 1005 mit der CPU 1001 und der GPU 1002 verbunden. Ein Nur-Lese-Speicher (ROM, Read Only Memory) 1003 und ein Direktzugriffsspeicher (RAM, Random Access Memory) 1004 sind mit dem Bus 1005 verbunden.
  • Ein Eingabeabschnitt 1007, ein Ausgabeabschnitt 1008, ein Speicher 1009 und ein Kommunikationsabschnitt 1010 sind mit der Eingangs-/Ausgangsschnittstelle 1006 verbunden. Der Eingabeabschnitt 1007 beinhaltet Eingabevorrichtungen wie beispielsweise eine Tastatur und eine Maus, die von einem Benutzer dazu verwendet werden, einen Bedienungsbefehl einzugeben. Der Ausgabeabschnitt 1008 gibt einen Verarbeitungsbedienungsbildschirm und ein Bild eines Verarbeitungsergebnisses an eine Anzeigevorrichtung aus. Der Speicher 1009 beinhaltet zum Beispiel ein Festplattenlaufwerk, das ein Programm und verschiedene Daten speichert. Der Kommunikationsabschnitt 1010 beinhaltet zum Beispiel einen LAN-Adapter (Local Area Network, lokales Netzwerk) und führt Kommunikationsverarbeitung über ein Netzwerk, das durch das Internet repräsentiert wird, aus. Ferner ist ein Laufwerk 1011 mit der Eingangs-/Ausgangsschnittstelle 1006 verbunden. Das Laufwerk 1011 liest Daten aus einem entfernbaren Speichermedium 1012 wie beispielsweise einer Magnetplatte, einer optischen Platte, einer magnetooptischen Platte und einem Halbleiterspeicher aus und schreibt sie darin ein.
  • Die CPU 1001 führt verschiedene Verarbeitungen gemäß einem im ROM 1003 gespeicherten Programm oder gemäß einem Programm, das aus dem entfernbaren Speichermedium 1012 wie beispielsweise einer Magnetplatte, einer optischen Platte, einer magnetooptischen Platte oder einem in dem Speicher 1009 zu installierenden Halbleiterspeicher aus und wird aus dem Speicher 1008 in den RAM 1004 geladen wird. Für die CPU 1001 zum Ausführen verschiedener Verarbeitungen erforderliche Daten sind auch angemessen im RAM 1004 gespeichert. Die GPU 1002 führt eine Berechnungsverarbeitung durch, die dazu erforderlich ist, ein Bild unter der Steuerung der GPU 1001 zu ziehen.
  • Im Steuerabschnitt 140, der die oben beschriebene Konfiguration aufweist, wird die oben beschriebene Verarbeitungsreihe durch die CPU 1001 durchgeführt, die zum Beispiel ein im Speicher 1009 gespeichertes Programm in den RAM 1004 lädt und das Programm über die Eingangs-/Ausgangsschnittstelle 1006 und den Bus 1005 ausführt.
  • Das durch den Steuerabschnitt 1040 ausgeführte Programm kann dadurch bereitgestellt werden, dass es in dem entfernbaren Speichermedium 1012 aufgezeichnet wird und dabei zum Beispiel als ein Paketmedium dient. Ferner kann das Programm über ein drahtgebundenes oder drahtloses Übertragungsmedium wie beispielsweise ein lokales Netzwerk, das Internet oder digitalen Satellitenfunk bereitgestellt werden.
  • Im Steuerabschnitt 140 kann das Programm über die Eingangs-/Ausgangsschnittstelle 1006 im Speicher 1009 installiert werden, indem das entfernbare Speichermedium 1012 auf das Laufwerk 1011 montiert wird. Ferner kann das Programm durch den Kommunikationsabschnitt 1010 über das drahtgebundene oder drahtlose Übertragungsmedium empfangen werden, um im Speicher 1009 installiert zu werden. Darüber hinaus kann das Programm im Voraus auf dem ROM 1003 oder im Speicher 1009 installiert werden.
  • Es sei darauf hingewiesen, dass das durch den Steuerabschnitt 140 ausgeführte Programm ein Programm sein kann, in dem Prozesse in der Reihenfolge der Beschreibung der vorliegenden Offenbarung chronologisch durchgeführt werden, oder ein Programm sein kann, in dem Verarbeitungen parallel durchgeführt werden oder ein Prozess zu einem erforderlichen Zeitpunkt wie beispielsweise, wenn ein Aufruf erfolgt, durchgeführt wird.
  • Es muss nicht die gesamte Hardwarekonfiguration des Steuerabschnitts 140 in einer einzigen Einrichtung enthalten sein, und der Steuerabschnitt 140 kann mehrere Einrichtungen beinhalten. Ferner kann ein Teil der oder sämtliche Hardwarekonfiguration des Steuerabschnitts 140 in mehreren Einrichtungen enthalten sein, die über ein Netzwerk miteinander verbunden sind.
  • Es sei darauf hingewiesen, dass die vorliegende Technologie auch die folgenden Konfigurationen annehmen kann.
    1. (1) Eine Informationsverarbeitungseinrichtung, beinhaltend einen Realobjektdetektor, der ein reales Objekt detektiert; einen Körperteildetektor, der eine Position und eine Pose eines Teils eines Körpers detektiert; und einen Ansteuerungssignalgenerator, der basierend auf einer Positionsbeziehung zwischen dem realen Objekt und dem Teil ein Ansteuerungssignal erzeugt, wobei das Ansteuerungssignal einem an dem Teil getragenen Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung zugeführt wird.
    2. (2) Informationsverarbeitungseinrichtung nach (1), wobei der Realobjektdetektor eine Art des realen Objekts bestimmt, und der Ansteuerungssignalgenerator das Ansteuerungssignal gemäß der Art weiter erzeugt.
    3. (3) Informationsverarbeitungseinrichtung nach (1) oder (2), wobei der Ansteuerungssignalgenerator basierend auf der Positionsbeziehung zwischen dem realen Objekt und dem Teil bestimmt, ob das reale Objekt und der Teil miteinander in Kontakt stehen, und das Ansteuerungssignal gemäß einem Ergebnis der Bestimmung erzeugt.
    4. (4) Informationsverarbeitungseinrichtung nach (3), wobei wenn der Teil mit dem realen Objekt in Kontakt gebracht wird, der Ansteuerungssignalgenerator das Ansteuerungssignal erzeugt, so dass der Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass eine taktile Sinneserfahrung erfolgt.
    5. (5) Informationsverarbeitungseinrichtung nach (4), wobei der Ansteuerungssignalgenerator das Ansteuerungssignal gemäß einer durch den Teil auf das reale Objekt ausgeübten Druckkraft erzeugt.
    6. (6) Informationsverarbeitungseinrichtung nach (3), wobei wenn der Teil bezüglich des realen Objekts in einem Zustand, in dem der Teil mit dem realen Objekt in Kontakt steht, bewegt wird, der Ansteuerungssignalgenerator das Ansteuerungssignal erzeugt, so dass der Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass eine taktile Sinneserfahrung erfolgt.
    7. (7) Informationsverarbeitungseinrichtung nach (6), wobei der Ansteuerungssignalgenerator das Ansteuerungssignal gemäß mindestens einer von einer Distanz oder einer Bewegungsgeschwindigkeit des Teils bezüglich des realen Objekts erzeugt.
    8. (8) Informationsverarbeitungseinrichtung nach (3), wobei wenn das reale Objekt und der Teil in einem Zustand, in dem sie miteinander in Kontakt bleiben, bewegt werden, der Ansteuerungssignalgenerator das Ansteuerungssignal erzeugt, so dass der Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass eine taktile Sinneserfahrung erfolgt.
    9. (9) Informationsverarbeitungseinrichtung nach (8), wobei der Ansteuerungssignalgenerator das Ansteuerungssignal gemäß mindestens einer von einer Distanz oder einer Bewegungsgeschwindigkeit des realen Objekts erzeugt.
    10. (10) Informationsverarbeitungseinrichtung nach (8) oder (9), wobei der Ansteuerungssignalgenerator das Ansteuerungssignal gemäß einem Abschnitt in dem realen Objekt erzeugt, mit dem der bestimmte Teil in Kontakt steht.
    11. (11) Informationsverarbeitungseinrichtung nach (1), wobei der Ansteuerungssignalgenerator bestimmt, ob ein erstes Objekt und ein zweites Objekt miteinander in Kontakt stehen, wobei das erste Objekt ein Objekt ist, von dem eine Position bezüglich des Teils festgelegt ist, wobei das zweite Objekt ein Objekt ist, von dem eine Position bezüglich des Teils nicht festgelegt ist, der Ansteuerungssignalgenerator das Ansteuerungssignal gemäß einem Ergebnis der Bestimmung erzeugt, und mindestens eines von dem ersten Objekt oder dem zweiten Objekt das reale Objekt ist.
    12. (12) Informationsverarbeitungseinrichtung nach (11), wobei das erste Objekt und das zweite Objekt die realen Objekte sind.
    13. (13) Informationsverarbeitungseinrichtung nach (11), ferner beinhaltend einen Generator eines virtuellen Objekts, der ein virtuelles Objekt in einem realen Raum erzeugt, wobei das erste Objekt das reale Objekt ist, und das zweite Objekt das virtuelle Objekt ist.
    14. (14) Informationsverarbeitungseinrichtung nach (11), ferner beinhaltend einen Generator eines virtuellen Objekts, der ein virtuelles Objekt in einem realen Raum erzeugt, wobei das erste Objekt das virtuelle Objekt ist, und das zweite Objekt das reale Objekt ist.
    15. (15) Informationsverarbeitungseinrichtung nach einem von (11) bis (14), wobei der Ansteuerungssignalgenerator das Ansteuerungssignal gemäß mindestens einer von einer Distanz oder einer Bewegungsgeschwindigkeit eines Kontaktpunkts des ersten Objekts und des zweiten Objekts erzeugt.
    16. (16) Informationsverarbeitungseinrichtung nach einem von (1) bis (15), wobei der Teil eine Hand ist, und der Körperteildetektor basierend auf einer Ausgabe aus einem Sensor, der an der Hand getragen wird, eine Position und eine Pose der Hand detektiert.
    17. (17) Informationsverarbeitungseinrichtung nach einem von (1) bis (16), ferner beinhaltend einen Objektinformationserfassungsabschnitt, der das reale Objekt betreffende Informationen erfasst, wobei der Ansteuerungssignalgenerator das Ansteuerungssignal gemäß den Informationen weiter erzeugt.
    18. (18) Informationsverarbeitungseinrichtung nach einem von (1) bis (17), wobei der Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung ein Schwingungserzeugungsmechanismus ist, der Schwingung erzeugen kann, und der Ansteuerungssignalgenerator als das Ansteuerungssignal eine Wellenform der durch den Schwingungserzeugungsmechanismus erzeugten Schwingung erzeugt.
    19. (19) System zur Bereitstellung einer taktilen Sinneserfahrung, beinhaltend:
      • einen Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung, die an einem Teil eines Körpers getragen wird; und
      • eine Informationsverarbeitungseinrichtung, die Folgendes beinhaltet:
        • einen Realobjektdetektor, der ein reales Objekt detektiert,
        • einen Körperteildetektor, der eine Position und eine Pose des Teils detektiert, und
        • einen Ansteuerungssignalgenerator, der basierend auf einer Positionsbeziehung zwischen dem realen Objekt und dem Teil ein Ansteuerungssignal erzeugt, wobei das Ansteuerungssignal dem Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung zugeführt wird.
    20. (20) Programm, das bewirkt, dass eine Informationsverarbeitungseinrichtung als ein Realobjektdetektor, der ein reales Objekt detektiert, ein Körperteildetektor, der eine Position und eine Pose eines Teils eines Körpers detektiert, und ein Ansteuerungssignalgenerator, der basierend auf einer Positionsbeziehung zwischen dem realen Objekt und dem Teil ein Ansteuerungssignal erzeugt, wobei das Ansteuerungssignal einem Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung, der an dem Teil getragen wird, zugeführt wird, betrieben wird.
  • Bezugszeichenliste
    • 100
    System zur Bereitstellung einer taktilen Sinneserfahrung
    101
    Steuerung
    102
    AR-Brille
    103
    Informationsverarbeitungseinrichtung
    110
    Steuerung
    111
    Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung
    140
    Steuerabschnitt
    141
    Körperteildetektor
    142
    Realobjektdetektor
    143
    Anwendungsausführungsabschnitt
    144
    Generator eines virtuellen Objekts
    145
    Ausgabesteuerabschnitt
    146
    Ansteuerungssignalgenerator
    147
    Objektinformationserfassungsabschnitt
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2018/092595 [0004]

Claims (20)

  1. Informationsverarbeitungseinrichtung, umfassend einen Realobjektdetektor, der ein reales Objekt detektiert; einen Körperteildetektor, der eine Position und eine Pose eines Teils eines Körpers detektiert; und einen Ansteuerungssignalgenerator, der basierend auf einer Positionsbeziehung zwischen dem realen Objekt und dem Teil ein Ansteuerungssignal erzeugt, wobei das Ansteuerungssignal einem an dem Teil getragenen Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung zugeführt wird.
  2. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei der Realobjektdetektor eine Art des realen Objekts bestimmt, und der Ansteuerungssignalgenerator das Ansteuerungssignal gemäß der Art weiter erzeugt.
  3. Informationsverarbeitungseinrichtung Anspruch 2, wobei der Ansteuerungssignalgenerator basierend auf der Positionsbeziehung zwischen dem realen Objekt und dem Teil bestimmt, ob das reale Objekt und der Teil miteinander in Kontakt stehen, und das Ansteuerungssignal gemäß einem Ergebnis der Bestimmung erzeugt.
  4. Informationsverarbeitungseinrichtung nach Anspruch 3, wobei wenn der Teil mit dem realen Objekt in Kontakt gebracht wird, der Ansteuerungssignalgenerator das Ansteuerungssignal erzeugt, so dass der Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass eine taktile Sinneserfahrung erfolgt.
  5. Informationsverarbeitungseinrichtung nach Anspruch 4, wobei der Ansteuerungssignalgenerator das Ansteuerungssignal gemäß einer durch den Teil auf das reale Objekt ausgeübten Druckkraft erzeugt.
  6. Informationsverarbeitungseinrichtung nach Anspruch 3, wobei wenn der Teil bezüglich des realen Objekts in einem Zustand, in dem der Teil mit dem realen Objekt in Kontakt steht, bewegt wird, der Ansteuerungssignalgenerator das Ansteuerungssignal erzeugt, so dass der Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass eine taktile Sinneserfahrung erfolgt.
  7. Informationsverarbeitungseinrichtung nach Anspruch 6, wobei der Ansteuerungssignalgenerator das Ansteuerungssignal gemäß mindestens einer von einer Distanz oder einer Bewegungsgeschwindigkeit des Teils bezüglich des realen Objekts erzeugt.
  8. Informationsverarbeitungseinrichtung nach Anspruch 3, wobei wenn das reale Objekt und der Teil in einem Zustand, in dem sie miteinander in Kontakt bleiben, bewegt werden, der Ansteuerungssignalgenerator das Ansteuerungssignal erzeugt, so dass der Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung bewirkt, dass eine taktile Sinneserfahrung erfolgt.
  9. Informationsverarbeitungseinrichtung nach Anspruch 8, wobei der Ansteuerungssignalgenerator das Ansteuerungssignal gemäß mindestens einer von einer Distanz oder einer Bewegungsgeschwindigkeit des realen Objekts erzeugt.
  10. Informationsverarbeitungseinrichtung nach Anspruch 8, wobei der Ansteuerungssignalgenerator das Ansteuerungssignal gemäß einem Abschnitt in dem realen Objekt erzeugt, mit dem der bestimmte Teil in Kontakt steht.
  11. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei der Ansteuerungssignalgenerator bestimmt, ob ein erstes Objekt und ein zweites Objekt miteinander in Kontakt stehen, wobei das erste Objekt ein Objekt ist, von dem eine Position bezüglich des Teils festgelegt ist, wobei das zweite Objekt ein Objekt ist, von dem eine Position bezüglich des Teils nicht festgelegt ist, der Ansteuerungssignalgenerator das Ansteuerungssignal gemäß einem Ergebnis der Bestimmung erzeugt, und mindestens eines von dem ersten Objekt oder dem zweiten Objekt das reale Objekt ist.
  12. Informationsverarbeitungseinrichtung nach Anspruch 11, wobei das erste Objekt und das zweite Objekt die realen Objekte sind.
  13. Informationsverarbeitungseinrichtung nach Anspruch 11, ferner umfassend einen Generator eines virtuellen Objekts, der ein virtuelles Objekt in einem realen Raum erzeugt, wobei das erste Objekt das reale Objekt ist, und das zweite Objekt das virtuelle Objekt ist.
  14. Informationsverarbeitungseinrichtung nach Anspruch 11, ferner umfassend einen Generator eines virtuellen Objekts, der ein virtuelles Objekt in einem realen Raum erzeugt, wobei das erste Objekt das virtuelle Objekt ist, und das zweite Objekt das reale Objekt ist.
  15. Informationsverarbeitungseinrichtung nach Anspruch 11, wobei der Ansteuerungssignalgenerator das Ansteuerungssignal gemäß mindestens einer von einer Distanz oder einer Bewegungsgeschwindigkeit eines Kontaktpunkts des ersten Objekts und des zweiten Objekts erzeugt.
  16. Informationsverarbeitungseinrichtung Anspruch 1, wobei der Teil eine Hand ist, und der Körperteildetektor basierend auf einer Ausgabe aus einem Sensor, der an der Hand getragen wird, eine Position und eine Pose der Hand detektiert.
  17. Informationsverarbeitungseinrichtung nach Anspruch 1, ferner umfassend einen Objektinformationserfassungsabschnitt, der das reale Objekt betreffende Informationen erfasst, wobei der Ansteuerungssignalgenerator das Ansteuerungssignal gemäß den Informationen weiter erzeugt.
  18. Informationsverarbeitungseinrichtung Anspruch 1, wobei der Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung ein Schwingungserzeugungsmechanismus ist, der Schwingung erzeugen kann, und der Ansteuerungssignalgenerator als das Ansteuerungssignal eine Wellenform der durch den Schwingungserzeugungsmechanismus erzeugten Schwingung erzeugt.
  19. System zur Bereitstellung einer taktilen Sinneserfahrung, umfassend einen Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung, die an einem Teil eines Körpers getragen wird; und eine Informationsverarbeitungseinrichtung, die Folgendes beinhaltet: einen Realobjektdetektor, der ein reales Objekt detektiert, einen Körperteildetektor, der eine Position und eine Pose des Teils detektiert, und einen Ansteuerungssignalgenerator, der basierend auf einer Positionsbeziehung zwischen dem realen Objekt und dem Teil ein Ansteuerungssignal erzeugt, wobei das Ansteuerungssignal dem Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung zugeführt wird.
  20. Programm, das bewirkt, dass eine Informationsverarbeitungseinrichtung als ein Realobjektdetektor, der ein reales Objekt detektiert, ein Körperteildetektor, der eine Position und eine Pose eines Teils eines Körpers detektiert, und ein Ansteuerungssignalgenerator, der basierend auf einer Positionsbeziehung zwischen dem realen Objekt und dem Teil ein Ansteuerungssignal erzeugt, wobei das Ansteuerungssignal einem Mechanismus zur Bereitstellung einer taktilen Sinneserfahrung, der an dem Teil getragen wird, zugeführt wird, betrieben wird.
DE112021004019.7T 2020-07-30 2021-07-19 Informationsverarbeitungseinrichtung, System zur Bereitstellung einer taktilen Sinneserfahrung und Programm Pending DE112021004019T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-129360 2020-07-30
JP2020129360A JP2023133635A (ja) 2020-07-30 2020-07-30 情報処理装置、触感提示システム及びプログラム
PCT/JP2021/026982 WO2022024844A1 (ja) 2020-07-30 2021-07-19 情報処理装置、触感提示システム及びプログラム

Publications (1)

Publication Number Publication Date
DE112021004019T5 true DE112021004019T5 (de) 2023-06-01

Family

ID=80036658

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112021004019.7T Pending DE112021004019T5 (de) 2020-07-30 2021-07-19 Informationsverarbeitungseinrichtung, System zur Bereitstellung einer taktilen Sinneserfahrung und Programm

Country Status (5)

Country Link
US (1) US20230244313A1 (de)
JP (1) JP2023133635A (de)
CN (1) CN115885239A (de)
DE (1) DE112021004019T5 (de)
WO (1) WO2022024844A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018092595A1 (ja) 2016-11-17 2018-05-24 ソニー株式会社 振動提示装置および振動提示方法、並びにプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009276996A (ja) * 2008-05-14 2009-11-26 Canon Inc 情報処理装置、情報処理方法
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
KR20130092189A (ko) * 2012-02-10 2013-08-20 삼성전자주식회사 촉각 전달 장치 및 방법
KR102171873B1 (ko) * 2013-05-08 2020-10-29 삼성전자주식회사 햅틱 글로브 및 수술로봇 시스템
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
WO2015120913A1 (en) * 2014-02-17 2015-08-20 Metaio Gmbh Method and device for detecting a touch between a first object and a second object
KR102530469B1 (ko) * 2016-01-08 2023-05-09 삼성전자주식회사 전자 장치 및 이의 제어 방법
JP2017182495A (ja) * 2016-03-30 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6891842B2 (ja) * 2018-03-26 2021-06-18 日本電信電話株式会社 触覚システム
US20190324538A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment
US11048375B2 (en) * 2018-09-18 2021-06-29 Alibaba Group Holding Limited Multimodal 3D object interaction system
JPWO2021172580A1 (de) * 2020-02-27 2021-09-02

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018092595A1 (ja) 2016-11-17 2018-05-24 ソニー株式会社 振動提示装置および振動提示方法、並びにプログラム

Also Published As

Publication number Publication date
CN115885239A (zh) 2023-03-31
WO2022024844A1 (ja) 2022-02-03
US20230244313A1 (en) 2023-08-03
JP2023133635A (ja) 2023-09-26

Similar Documents

Publication Publication Date Title
DE112006002954B4 (de) Virtuelles Schnittstellensystem
DE10004372B4 (de) Gestaltung von Kraftempfindungen für Computeranwendungen mit Geräuschen
DE112009003647B4 (de) Fahrzeug-montierte Informationsvorrichtung
CA2684020C (en) An apparatus system and method for human-machine-interface
DE112011105171B4 (de) Blockieren von Benutzerinhalten basierend auf der Position
DE29720443U1 (de) Kalibration einer Handstellung und Auswahl eines virtuellen Bildes für einen Virtual-Reality-Fahrzeugsimulator
EP3067874A1 (de) Verfahren und vorrichtung zum testen eines in einem luftfahrzeug zu bedienenden geräts
DE112016001794T5 (de) Gestenerkennungsvorrichtung, Gestenerkennungsverfahren und Informationsverarbeitungsvorrichtung
DE112017001781T5 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und nicht transientes, computerlesbares Medium
CN108388434A (zh) 特效程序文件包的生成及特效生成方法与装置、电子设备
DE102019002928B4 (de) Simulationsvorrichtung für Roboter
DE112013006046T5 (de) System und Verfahren zum dynamischen Generieren eines Frequenzmusters zur Verwirklichung des Tastgefühls in einem Computing-Gerät
DE69026516T2 (de) Digitalisiertablett mit zweimodenläufer/maus
DE102014114742A1 (de) Eine Vorrichtung zum Erzeugen eines Anzeigensteuerungssignals und ein Verfahren derselben
EP3146411A1 (de) Vorrichtung zum anzeigen einer virtuellen realität sowie messgerät
DE102021122362A1 (de) Wechsel zwischen zuständen in einer hybriden virtual-reality-desktop-rechenumgebung
JP2008090498A (ja) 画像処理方法、画像処理装置
DE112021004019T5 (de) Informationsverarbeitungseinrichtung, System zur Bereitstellung einer taktilen Sinneserfahrung und Programm
DE102019002881A1 (de) Lern-Unterstützungssystem und Aufzeichnungsmedium
DE102012102157B4 (de) Oberflächentexturaufzeichnung mit Mikrofon
DE60030646T2 (de) Videospielsystem, Videospieldarstellungsverfahren und lesbares Aufzeichungsmedium für Videospieldarstellungsprogramm
DE112017008230T5 (de) Verfahren und vorrichtung zum abbilden einer virtuellen umgebung auf eine physische umgebung
JP2019049987A5 (de)
DE102019004668A1 (de) Offline-lehrvorrichtung, messungs-regel- bzw. -steuervorrichtung, entsprechende verfahren und computerprogrammprodukt
DE60020234T2 (de) Verfahren und vorrichtung zur bildwiedergabe