DE112020000591T5 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium, in dem ein programm geschrieben ist - Google Patents

Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium, in dem ein programm geschrieben ist Download PDF

Info

Publication number
DE112020000591T5
DE112020000591T5 DE112020000591.7T DE112020000591T DE112020000591T5 DE 112020000591 T5 DE112020000591 T5 DE 112020000591T5 DE 112020000591 T DE112020000591 T DE 112020000591T DE 112020000591 T5 DE112020000591 T5 DE 112020000591T5
Authority
DE
Germany
Prior art keywords
information
reproduction
user
audio content
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE112020000591.7T
Other languages
English (en)
Inventor
Kei Takahashi
Yasuyuki Koga
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of DE112020000591T5 publication Critical patent/DE112020000591T5/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/217—Input arrangements for video game devices characterised by their sensors, purposes or types using environment-related information, i.e. information generated otherwise than by the player, e.g. ambient temperature or humidity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

Eine Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Technologie enthält eine Wiedergabe-Steuereinheit. Die Wiedergabe-Steuereinheit steuert auf der Basis von Zeitinformationen bezüglich der Erfassung von Sensorinformationen, die auf der Basis der Bewegung eines realen Objekts erzeugt werden, die Wiedergabe von Audio-Inhalten, die der Bewegung des realen Objekts entsprechen, durch ein erstes Wiedergabeverfahren, in einem Fall, in dem die Zeitinformationen innerhalb eines vorgegebenen Zeitbereichs liegen, und steuert die Wiedergabe der Audio-Inhalte durch ein zweites Wiedergabeverfahren, in einem Fall, in dem die Zeitinformationen außerhalb des vorgegebenen Zeitbereichs liegen.

Description

  • Technisches Gebiet
  • Die vorliegende Technologie bezieht sich auf eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Aufzeichnungsmedium, auf dem ein Programm geschrieben ist, das bei der Audiosteuerung von Audio Augmented Reality (AR) und dergleichen angewendet werden kann.
  • Stand der Technik
  • In einem in der Patentliteratur 1 beschriebenen Audioausgabeverfahren wird auf der Basis eines von einer Kamera erfassten Bildes eine Bewegungszeit berechnet, die ein von einem Spieler betätigtes Objekt benötigt, um einen zweiten Annäherungsbereich von einem ersten Annäherungsbereich aus zu erreichen. Die berechnete Bewegungszeit wird referenziert, und das Timing der Audioausgabe wird so angepasst, dass der Spieler den Sound im Wesentlichen zu dem Zeitpunkt hört, zu dem das Objekt den zweiten Annäherungsbereich erreicht. Dementsprechend wird versucht, dem Spieler mitzuteilen, dass eine Aktion sowohl über den Sehsinn als auch über den Hörsinn erkannt worden ist (Absätze [0052] und [0055] in der Spezifikation, 8 und 9, und dergleichen in der Patentliteratur 1).
  • Anführungsliste
  • Patentdokumente
  • Patentdokument 1: Japanische Patentanmeldungs-Offenlegungsnummer 2008-12102
  • Offenbarung der Erfindung
  • Technisches Problem
  • Für eine solche Steuerung der Audio-AR und dergleichen ist es wünschenswert, eine Technologie bereitzustellen, die es ermöglicht, ein hochwertiges virtuelles Erlebnis zu bieten.
  • Angesichts der obigen Umstände ist es ein Ziel der vorliegenden Technologie, eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Aufzeichnungsmedium, auf dem ein Programm geschrieben ist, bereitzustellen, die es ermöglichen, eine hochwertige virtuelle Erfahrung zu bieten.
  • Lösung des Problems
  • Um das oben erwähnte Ziel zu erreichen, weist eine Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Technologie eine Wiedergabe-Steuereinheit auf.
  • Die Wiedergabe-Steuereinheit steuert auf der Basis von Zeitinformationen bezüglich der Erfassung von Sensorinformationen, die auf der Basis einer Bewegung eines realen Objekts erzeugt werden, die Wiedergabe von Audio-Inhalten, die der Bewegung des realen Objekts entsprechen, durch ein erstes Wiedergabeverfahren in einem Fall, in dem die Zeitinformationen innerhalb eines vorbestimmten Zeitbereichs liegen, und steuert die Wiedergabe der Audio-Inhalte durch ein zweites Wiedergabeverfahren in einem Fall, in dem die Zeitinformationen außerhalb des vorbestimmten Zeitbereichs liegen.
  • In dieser Informationsverarbeitungsvorrichtung wird die Wiedergabe des der Bewegung des realen Objekts entsprechenden Audio-Inhalts auf der Basis der Zeitinformationen bezüglich der Erfassung der auf der Basis der Bewegung des realen Objekts erzeugten Sensorinformationen gesteuert. Insbesondere wird die Wiedergabe des Audio-Inhalts in einem Fall, in dem die Zeitinformationen innerhalb des vorbestimmten Zeitbereichs liegen, durch das erste Wiedergabeverfahren gesteuert. In einem Fall, in dem die Zeitinformationen außerhalb des vorbestimmten Zeitbereichs liegen, wird die Wiedergabe des Audio-Inhalts durch das zweite Wiedergabeverfahren gesteuert. Dementsprechend kann ein hochwertiges virtuelles Erlebnis bereitgestellt werden.
  • Die Zeitinformationen können auf der Basis der Bewegung des realen Objekts erzeugt und von einer Sensorvorrichtung an die Informationsverarbeitungsvorrichtung gesendet werden.
  • Die Zeitinformationen können eine Ankunftszeit von einem Zeitpunkt, zu dem die Sensorinformationen erzeugt werden, oder einem Zeitpunkt, zu dem die Sensorinformationen an die Informationsverarbeitungsvorrichtung gesendet werden, bis zu einem Zeitpunkt, zu dem die Sensorinformationen erfasst werden, sein.
  • Das erste Wiedergabeverfahren kann die Wiedergabe eines Anstiegs-Sounds gemäß der Bewegung des realen Objekts aufweisen. In diesem Fall kann das zweite Wiedergabeverfahren die Wiedergabe des Anstiegs-Sounds einschränken.
  • Das zweite Wiedergabeverfahren kann mindestens eine Einblendung des Audio-Inhalts oder eine Ausblendung des Audio-Inhalts aufweisen.
  • Die Informationsverarbeitungsvorrichtung kann ferner eine erste Bestimmungseinheit aufweisen, die bestimmt, ob das reale Objekt von einem Benutzer betätigt wird oder nicht. In diesem Fall kann die Wiedergabe-Steuereinheit die Wiedergabe des Audio-Inhalts auf der Basis eines Bestimmungsergebnisses der ersten Bestimmungseinheit steuern.
  • Die Informationsverarbeitungsvorrichtung kann ferner eine Erfassungseinheit aufweisen, die fähig ist, Erkennungsinformationen zu erfassen, die Informationen bezüglich eines Zustands des Benutzers und/oder Informationen bezüglich eines Umgebungszustands aufweisen. In diesem Fall führt die erste Bestimmungseinheit die Bestimmung auf der Basis der erfassten Erkennungsinformationen durch.
  • Die erste Bestimmungseinheit kann die Bestimmung auf der Basis eines Abstands zwischen dem realen Objekt und dem Benutzer durchführen.
  • Die erste Bestimmungseinheit kann die Bestimmung auf der Basis einer Bewegung des Benutzers durchführen.
  • Die Informationsverarbeitungsvorrichtung kann ferner eine zweite Bestimmungseinheit aufweisen, die den Interessegrad des Benutzers an dem realen Objekt bestimmt. In diesem Fall kann die Wiedergabe-Steuereinheit die Wiedergabe des Audio-Inhalts auf der Basis eines Bestimmungsergebnisses der zweiten Bestimmungseinheit steuern.
  • Die Informationsverarbeitungsvorrichtung kann ferner eine Erfassungseinheit aufweisen, die fähig ist, die Erkennungsinformationen zu erfassen, die von Informationen bezüglich eines Zustands des Benutzers und/oder Informationen bezüglich eines Umgebungszustands aufweisen. In diesem Fall kann die zweite Bestimmungseinheit die Bestimmung auf der Basis der erfassten Erkennungsinformationen durchführen.
  • Die Informationsverarbeitungsvorrichtung kann ferner eine Erfassungseinheit aufweisen, die fähig ist, die Erkennungsinformationen zu erfassen, die von Informationen bezüglich eines Zustands des Benutzers und/oder Informationen bezüglich eines Umgebungszustands aufweisen. In diesem Fall kann die Wiedergabe-Steuereinheit die Wiedergabe des Audio-Inhalts auf der Basis der erfassten Erkennungsinformationen steuern.
  • Die Wiedergabe-Steuereinheit kann die Wiedergabe des Audio-Inhalts auf der Basis eines Umgebungsgeräusches steuern.
  • Die Wiedergabe-Steuereinheit kann die Wiedergabe des Audio-Inhalts auf der Basis der Anzahl der Operationen des Benutzers an dem realen Objekt steuern.
  • Die Wiedergabe-Steuereinheit kann aus einer Vielzahl von auf der Basis der Bewegung des realen Objekts erzeugten Stücken von Sensorinformationen eine oder mehrere auswählen, die Referenzen für die Wiedergabesteuerung sind, und Zeitinformationen bezüglich der Erfassung der ausgewählten ein oder mehreren Stücke von Sensorinformationen auf der Basis der Wiedergabe des Audio-Inhalts steuern.
  • Die Wiedergabe-Steuereinheit kann die frühesten erfassten Sensorinformationen aus der Vielzahl von Stücken von Sensorinformationen als ein oder mehrere Stücke von Sensorinformationen auswählen, die Referenzen für die Wiedergabesteuerung sind.
  • Die Wiedergabe-Steuereinheit kann die Wiedergabe des Audio-Inhalts als Reaktion auf die Erfassung der Sensorinformationen starten und bestimmt auf der Basis, ob Informationen bezüglich der Fortsetzung der Wiedergabe des Audio-Inhalts erfasst wurden oder nicht, ob die Wiedergabe des Audio-Inhalts fortgesetzt werden soll oder nicht.
  • Die Wiedergabe-Steuereinheit kann die Wiedergabe des Audio-Inhalts auf der Basis steuern, ob ein anderer Audio-Inhalt, der sich von dem Audio-Inhalt unterscheidet, der der Bewegung des realen Objekts entspricht, wiedergegeben wird oder nicht.
  • Ein Informationsverarbeitungsverfahren gemäß einer Ausführungsform der vorliegenden Technologie ist ein Informationsverarbeitungsverfahren, das von einem Computersystem ausgeführt wird, wobei das Verfahren gemäß Zeitinformationen bezüglich der Erfassung von Sensorinformationen, die auf der Basis einer Bewegung eines realen Objekts erzeugt werden, die Steuerung der Wiedergabe von Audio-Inhalten, die der Bewegung des realen Objekts entsprechen, durch ein erstes Wiedergabeverfahren in einem Fall aufweist, in dem die Zeitinformationen innerhalb eines vorbestimmten Zeitbereichs liegen, und die Steuerung der Wiedergabe der Audio-Inhalte durch ein zweites Wiedergabeverfahren in einem Fall, in dem die Zeitinformationen außerhalb des vorbestimmten Zeitbereichs liegen.
  • Ein Aufzeichnungsmedium, auf dem ein Programm gemäß einer Ausführungsform der vorliegenden Technologie aufgezeichnet ist, veranlasst ein Computersystem, den folgenden Schritt auszuführen.
  • Einen Schritt des Steuerns, auf der Basis von Zeitinformationen bezüglich der Erfassung von Sensorinformationen, die auf der Basis einer Bewegung eines realen Objekts erzeugt werden, der Wiedergabe von Audio-Inhalten, die der Bewegung des realen Objekts entsprechen, durch ein erstes Wiedergabeverfahren in einem Fall, in dem die Zeitinformationen innerhalb eines vorbestimmten Zeitbereichs liegen, und steuert die Wiedergabe der Audio-Inhalte durch ein zweites Wiedergabeverfahren in einem Fall, in dem die Zeitinformationen außerhalb des vorbestimmten Zeitbereichs liegen.
  • Figurenliste
    • [1] Eine schematische Darstellung zum Beschreiben des Umrisses eines Audio-AR-Systems gemäß einer ersten Ausführungsform der vorliegenden Technologie.
    • [2] Ein Blockdiagramm, das ein Konfigurationsbeispiel eines Kommunikations-Endgerätes zeigt.
    • [3] Ein Blockdiagramm eines funktionalen Konfigurationsbeispiels des Audio-AR-Systems.
    • [4] Eine schematische Darstellung zum Beschreiben einer Verzögerung, die nach dem Start einer Bewegung eines realen Objekts bei der Ausgabe von Audio-Inhalten von dem Kommunikations-Endgerät auftritt.
    • [5] Ein Flussdiagramm, das ein Steuerungsbeispiel der Wiedergabe des Audio-Inhalts zeigt.
    • [6] Eine schematische Darstellung zum Beschreiben eines Steuerungsbeispiels der Wiedergabe des Audio-Inhalts basierend auf einem Verzögerungsbetrag.
    • [7] Eine schematische Darstellung zum Beschreiben eines Beispiels eines Anstiegs-Sounds und eines Sounds mit eingeschränktem Anstiegs-Sound.
    • [8] Eine schematische Darstellung zum Beschreiben des Umrisses des Audio-AR-Systems gemäß der vorliegenden Ausführungsform.
    • [9] Eine schematische Darstellung zum Beschreiben des Umrisses eines Audio-AR-Systems gemäß einer dritten Ausführungsform der vorliegenden Technologie.
    • [10] Ein Flussdiagramm, das ein Steuerungsbeispiel der Wiedergabe des Audio-Inhalts durch Kooperation eines Kommunikations-Endgerätes und eines Kopfhörers zeigt.
    • [11] Eine schematische Darstellung zum Beschreiben des Umrisses eines Audio-AR-Systems gemäß einer vierten Ausführungsform.
    • [12] Eine schematische Darstellung, die eine Steuerung zeigt, bei der Sensorinformationen auf der Basis eines Interessegrades eingeschränkt werden.
    • [13] Eine schematische Darstellung, die eine Kommunikationssteuerung von Sensorinformationen gemäß einer anderen Ausführungsform zeigt.
    • [14] Ein Diagramm, das Beispiele von Audio-Inhalten abhängig von verschiedenen Szenen zeigt. Modus (Modi) zum Ausführen der Erfindung
  • Im Folgenden werden Ausführungsformen gemäß der vorliegenden Technologie unter Bezugnahme auf die Zeichnungen beschrieben.
  • <Erste Ausführungsform>
  • [Audio-AR-System]
  • 1 ist eine schematische Darstellung zum Beschreiben des Umrisses eines Audio-AR-Systems gemäß einer ersten Ausführungsform der vorliegenden Technologie. Das Audio-AR-System entspricht einer Ausführungsform eines Informationsverarbeitungssystems gemäß der vorliegenden Technologie.
  • Ein Audio-AR-System 100 kann einem Benutzer ein Erlebnis einer auralen Augmented Reality (AR) bieten. Beispielsweise werden virtuelle Audio-Inhalte, die in der Realität nicht auftreten, über Kopfhörer oder dergleichen ausgegeben, die der Benutzer trägt. Dementsprechend kann der Benutzer eine Vielzahl von virtuellen Erlebnissen genießen.
  • Es sollte beachtet werden, dass die Anwendung der vorliegenden Technologie nicht auf das AR-System beschränkt ist, bei dem nur der virtuelle Audio-Inhalt wiedergegeben wird. Die vorliegende Technologie kann auf ein AR-System angewendet werden, das fähig ist, zusätzlich zu dem Audio-Inhalt Bildinhalte, ein haptisches Feedback und dergleichen bereitzustellen. Das heißt, die vorliegende Technologie kann auch auf ein AR-System angewendet werden, das nicht nur aurale AR-Erlebnisse, sondern auch visuelle AR-Erlebnisse und haptische AR-Erlebnisse bereitstellen kann.
  • In dieser Ausführungsform wird die Bereitstellung der Audio-AR gemäß dem Öffnen/Schließen einer Tür 1, wie in 1 gezeigt, beispielhaft dargestellt. Das heißt, in dieser Ausführungsform wird die Beschreibung am Beispiel des Öffnens/Schließens der Tür 1, die ein reales Objekt ist, und der Bewegung des realen Objekts gegeben.
  • Natürlich sind das reale Objekt und die Bewegung des realen Objekts nicht begrenzt. Beispiele für die Bewegung des realen Objekts schließen das Öffnen/Schließen des realen Objekts, das Verschieben des realen Objekts, eine Drehbewegung des realen Objekts und eine Bewegung des realen Objekts ein. Konkrete Beispiele schließen das Bewegen eines Plüschtiers oder eines Roboters, das Betätigen einer Bedienungsvorrichtung, wie z. B. einer Taste, eines Hebels und eines Handgriffs, sowie das Betreiben eines beweglichen Objekts, wie z. B. eines Fahrzeugs, ein. Außerdem schließt es auch das Betätigen eines Gegenstands an einem spezifischen Ort ein, an dem der reale Raum und der Inhalt eines Spiels oder dergleichen verbunden sind, oder eines kleinen Werkzeugs, das ein reales Objekt ist, wie z. B. eines Wasserhahns. Die vorliegende Technologie kann in großem Umfang für die Wiedergabe von virtuellen Audio-Inhalten im Einklang mit verschiedenen realen Objekten und Bewegungen der realen Objekte angewendet werden.
  • Das Audio-AR-System 100 umfasst ein in der Tür 1 installiertes Kommunikations-Endgerät 20, ein von einem Benutzer 2 getragenes Kommunikations-Endgerät 40 und einen von dem Benutzer 2 getragenen Kopfhörer 3.
  • Das Kommunikations-Endgerät 40 entspricht einer Ausführungsform einer Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie. Das in der Tür 1 installierte Kommunikations-Endgerät 20 entspricht einer Ausführungsform einer Sensorvorrichtung gemäß der vorliegenden Technologie.
  • Wenn der Benutzer 2 die Tür 1 öffnet, erkennt das Kommunikations-Endgerät 20 die Bewegung der Tür 1 und erzeugt Sensorinformationen basierend auf der Bewegung der Tür 1. Das Kommunikations-Endgerät 20 sendet die Sensorinformationen basierend auf der Bewegung der Tür 1 an das Kommunikations-Endgerät 40.
  • Die Sensorinformationen schließen jegliche Informationen basierend auf der Bewegung der Tür 1 ein. In dieser Ausführungsform wird eine Ereigniskennung, die ein Ereignis repräsentiert, bei dem sich die Tür 1 öffnet, als die Sensorinformationen verwendet. Natürlich können von der Ereigniskennung verschiedene Informationen als Informationen verwendet werden, die das Ereignis angeben, bei dem die Tür 1 sich öffnet. Alternativ dazu können Informationen, die von den Informationen verschieden sind, die das Ereignis angeben, bei dem die Tür 1 sich öffnet, als die Sensorinformationen verwendet werden. Beispielsweise kann ein Rohwert, wie z. B. die durch eine Sensoreinheit 25 des Kommunikations-Endgerätes 20 (siehe 2) auf der Basis der Bewegung der Tür 1 (Erkennungswert) erkannte Beschleunigung, als Sensorinformationen verwendet werden.
  • Das Kommunikations-Endgerät 40 steuert die Wiedergabe des der Öffnungsbewegung der Tür 1 entsprechenden Audio-Inhalts auf der Basis der vom Kommunikations-Endgerät 20 gesendeten Sensorinformationen basierend auf der Bewegung der Tür 1. Beispielsweise wird die Wiedergabe des Audio-Inhalts einschließlich virtueller Sounds, wie z. B. „KLICK!“ und „KNARREN“, die den Geräuschen ähnlich sind, wie sie beim Öffnen der Tür 1 tatsächlich erzeugt werden, gesteuert.
  • Natürlich kann ein anderer Sound als der tatsächlich erzeugte Sound beim Öffnen der Tür 1 als virtueller Sound wiedergegeben werden. Beispielsweise kann eine Stimme, die „Hahaha! Willkommen im Horrorland“ sagt, ausgegeben werden.
  • Das Kommunikations-Endgerät 40 steuert die Wiedergabe des Audio-Inhalts durch den Kopfhörer 3. Das heißt, die Sound-Ausgabe des von dem Benutzer 3 getragenen Kopfhörers 3 wird gegebenenfalls gesteuert. Als Kopfhörer 3 werden beispielsweise Open-Air-Kopfhörer, um den Hals hängende Kopfhörer oder dergleichen verwendet. Natürlich ist die vorliegende Technologie nicht darauf beschränkt, und es können auch Kopfhörer verwendet werden, die eine beliebige andere Konfiguration haben.
  • Außerdem kann die vorliegende Technologie auch in einem Fall angewendet werden, in dem eine tragbare Vorrichtung wie eine Smartwatch oder ein in ein Smartphone oder dergleichen integrierter Lautsprecher verwendet wird. Beispielsweise kann ein im Kommunikations-Endgerät 40 eingebauter Lautsprecher den der Bewegung der Tür 1 entsprechenden Audio-Inhalt wiedergeben. Zusätzlich kann die vorliegende Technologie auf eine beliebige Audio-Ausgabevorrichtung angewendet werden.
  • Alternativ kann beispielsweise auch das Kommunikations-Endgerät 40 selbst als Kopfhörer ausgebildet sein. Das heißt, ein Kopfhörer, der mit der Funktion des Kommunikations-Endgerätes 40 ausgestattet ist, kann als Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie verwendet werden. Natürlich kann er auch als Open-Air-Kopfhörer ausgebildet sein.
  • Alternativ kann auch ein brillenartiges Head-Mounted Display (HMD), das mit einer durchsichtigen Anzeige ausgestattet ist, als Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie ausgebildet sein. In diesem Fall werden verschiedene Arten von Audio-Inhalten von einem Lautsprecher oder dergleichen wiedergegeben, der am HMD montiert ist. Außerdem kann die visuelle AR durch Überlagerung eines virtuellen Objektbildes auf den realen Raum erlebt werden. Dementsprechend wird ein hochwertiges virtuelles Erlebnis realisiert. Außerdem kann die Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie durch verschiedene Vorrichtungen realisiert werden.
  • Es sollte beachtet werden, dass das Verfahren zum kommunikativen Anschließen des Kommunikations-Endgerätes 20, des Kommunikations-Endgerätes 40 und des Kopfhörers 3 nicht beschränkt ist. Beispielsweise kann eine WLAN-Kommunikation, wie z. B. Wi-Fi, oder eine Drahtloskommunikation mit kurzer Reichweite, wie z. B. Bluetooth (eingetragenes Markenzeichen), verwendet werden. Außerdem kann jede beliebige drahtlose oder kabelgebundene Verbindungsform verwendet werden.
  • Mit einer solchen Audio-AR kann der Benutzer 2 als Reaktion auf das Betätigen eines realen Objekts beispielsweise einen virtuellen Sound einer Horrorszene, einer Tür einer Berghütte oder dergleichen hören. Dadurch kann der Benutzer 2 ein Audio-AR-Erlebnis fernab vom alltäglichen Leben haben.
  • 2 ist ein Blockdiagramm, das ein Konfigurationsbeispiel des Kommunikation-Endgerätes 20 und 40 zeigt. In dieser Ausführungsform wird zur Vereinfachung der Beschreibung angenommen, dass die Kommunikations-Endgeräte 20 und 40 die gleichen Konfigurationen haben. Natürlich ist die vorliegende Technologie nicht darauf beschränkt, und die Kommunikations-Endgeräte 20 und 40 können unterschiedliche Konfigurationen haben.
  • Das Kommunikations-Endgerät 20 und das Kommunikations-Endgerät 40 weisen jeweils einen Controller 21, einen Lautsprecher 22, ein Mikrofon 23, eine Kamera 24 und die Sensoreinheit 25 auf. Das Kommunikations-Endgerät 20 und das Kommunikations-Endgerät 40 weisen ferner jeweils eine Anzeigeeinheit 26, eine Operationseinheit 27, eine Schnittstelleneinheit (I/F) 28, eine Kommunikationseinheit 29 und eine Speichereinheit 30 auf.
  • Der Lautsprecher 22 ist fähig, verschiedene Sounds auszugeben. Die konkrete Konfiguration des Lautsprechers 22 ist nicht beschränkt.
  • Das Mikrofon 23 ist fähig, in seiner Umgebung erzeugte Sounds zu erfassen. Beispielsweise kann das Mikrofon 23 des Kommunikations-Endgerätes 20 einen Sound, der durch das Öffnen/Schließen der Tür 1 oder durch ein Umgebungsgeräusch erzeugt wird, erkennen und erfassen.
  • Das Mikrofon 23 des Kommunikations-Endgerätes 40 ist fähig, ein Umgebungsgeräusch des Benutzers 2 und eine vom Benutzer 2 geäußerte Sprache zu erkennen und zu erfassen. Außerdem ist das Mikrofon 23 fähig, beim Betätigen der Tür 1 durch den Benutzer 2 einen durch die Betätigung erzeugten Sound zu erkennen. Die konkrete Konfiguration des Mikrofons 23 ist nicht beschränkt.
  • Die Kamera 24 ist fähig, die Umgebung abzubilden und ein Bild der Umgebung (Bilddaten) zu erzeugen. Beispielsweise ist die Kamera 24 des Kommunikations-Endgerätes 20 fähig, den Umfang der Tür 1 und das Gesicht, den ganzen Körper oder dergleichen der Person, die die Tür 1 betätigt, abzubilden. Im Folgenden wird das Abbilden eines Objekts und das Erzeugen eines Bildes des Objekts durch die Kamera 24 in einigen Fällen als Erfassen eines Bildes des Objekts bezeichnet.
  • Die Kamera 24 des Kommunikations-Endgerätes 40 ist fähig, ein Bild von der Peripherie des Benutzers zu erfassen. Wenn beispielsweise der Benutzer 2 die Tür 1 betätigt, ist die Kamera 24 fähig, einen Zustand der betätigten Tür 2 abzubilden. Beispielsweise wird ein Zustand abgebildet, bei dem die Tür 1 geöffnet ist oder ein Zustand, bei dem die Tür 1 geschlossen ist.
  • Beispielsweise wird eine Digitalkamera mit einem Bildsensor wie einem CMOS-Sensor (Complementary Metal-Oxide Semiconductor) oder einem CCD-Sensor (Charge Coupled Device) als Kamera 24 verwendet. Alternativ kann beispielsweise eine Infrarotkamera verwendet werden, die mit einem Infrarotlicht, wie z. B. einer Infrarot-LED, ausgestattet ist.
  • Die Sensoreinheit 25 schließt einen Neun-Achsen-Sensor 31 und ein GPS 32 ein. Der Neun-Achsen-Sensor 31 schließt einen Drei-Achsen-Beschleunigungssensor, ein Drei-Achsen-Gyroskop und einen Drei-Achsen-Kompass-Sensor ein. Der Neun-Achsen-Sensor 31 ist fähig, einen Winkel, eine Bewegung und eine Orientierungsänderung des Kommunikations-Endgerätes 20 (40) zu erkennen. Das GPS 32 ist fähig, Positionsinformationen des Kommunikations-Endgerätes 20 (40) auszugeben.
  • Beispielsweise ist die Sensoreinheit 25 des Kommunikations-Endgerätes 20 fähig, eine Bewegung, eine Lage, eine Orientierung und dergleichen der Tür 1 zu erkennen. Außerdem ist das GPS 32 fähig, die Positionsinformationen der Tür 1 zu erkennen, an der das Kommunikations-Endgerät 20 angebracht ist. Die Sensoreinheit 25 des Kommunikations-Endgerätes 40 ist fähig, eine Bewegung, eine Lage, eine Orientierung und dergleichen des Benutzers 2 zu erkennen. Die Sensoreinheit 25 ist auch fähig, Positionsinformationen des Benutzers 2 zu erkennen.
  • Die Art des als Sensoreinheit 25 bereitgestellten Sensors ist nicht beschränkt, und ein beliebiger Sensor kann bereitgestellt werden. Beispielsweise kann ein biologischer Sensor oder dergleichen zum Erkennen der Körpertemperatur, der Pulsfrequenz und dergleichen des Benutzers 2 bereitgestellt werden. Alternativ kann ein Temperatursensor, ein Feuchtigkeitssensor oder dergleichen bereitgestellt werden, der fähig ist, die Temperatur, die Feuchtigkeit oder dergleichen der Umgebung zu messen. Es sollte beachtet werden, dass das Mikrofon 23 und die in 2 gezeigte Kamera 24 als Sensoreinheit 25 fungieren können.
  • Die Anzeigeeinheit 26 ist eine Vorrichtung, die zum Beispiel Flüssigkristall, Elektrolumineszenz (EL) oder dergleichen verwendet und verschiedene Bilder, verschiedene grafische Benutzeroberflächen (GUIs) und dergleichen anzeigt. Beispiele für die Bedienungseinheit 27 schließen eine Tastatur, ein Zeigegerät, ein Touchpanel und andere Bedienungsvorrichtungen ein. In einem Fall, in dem die Bedienungseinheit 27 ein Touchpanel einschließt, kann das Touchpanel mit der Anzeigeeinheit 26 integriert sein.
  • Die Schnittstelleneinheit 28 ist eine Schnittstelle, an die andere Vorrichtungen, wie z. B. ein Universal Serial Bus (USB)-Endgerät und ein High-Definition Multimedia Interface (HDMI)-Endgerät (eingetragenes Markenzeichen), sowie verschiedene Kabel angeschlossen werden.
  • Die Kommunikationseinheit 29 ist ein Kommunikationsmodul für Kommunikation mit einer anderen Vorrichtung, wobei beispielsweise ein Modul für ein lokales Netzwerk (LAN) wie Wi-Fi oder ein Kommunikationsmodul für drahtlose Kommunikation im Nahbereich wie Bluetooth (eingetragenes Markenzeichen) verwendet wird. In dieser Ausführungsform erfolgt die Kommunikation zwischen dem Kommunikations-Endgerät 20 und dem Kommunikations-Endgerät 40 über die Kommunikationseinheit 29.
  • Der Controller 21 steuert die Operation jedes der in dem Kommunikations-Endgerät 20 und dem Kommunikations-Endgerät 40 enthaltenen Blöcke. Der Controller 21 weist Hardware auf, die für eine Computerkonfiguration notwendig ist, wie z. B. eine CPU (Prozessor), ein ROM, ein RAM und ein Festplattenlaufwerk (HDD). Ein Informationsverarbeitungsverfahren gemäß der vorliegenden Technologie wird durch die CPU durchgeführt, wobei ein Programm gemäß der vorliegenden Technologie (z. B. ein Anwendungsprogramm), das im Voraus in dem ROM oder dergleichen aufgezeichnet wird, in das RAM geladen und ausgeführt wird.
  • Die konkrete Konfigurationen des Controllers 21 ist nicht beschränkt, und eine beliebige Hardware, wie z. B. eine GPU, ein feldprogrammierbares Gate-Array (FPGA) und eine anwendungsspezifische integrierte Schaltung (ASIC), kann verwendet werden.
  • Das Programm wird zum Beispiel über verschiedene Aufzeichnungsmedien im Kommunikations-Endgerät 20 und im Kommunikations-Endgerät 40 installiert. Alternativ dazu kann das Programm zum Beispiel über das Internet installiert werden. Natürlich müssen das Verfahren zum Installieren des Programms im Kommunikations-Endgerät 20 und das Verfahren zum Installieren des Programms im Kommunikations-Endgerät 40 nicht identisch sein, und unterschiedliche Verfahren können verwendet werden.
  • Die Art und dergleichen eines Aufzeichnungsmediums, auf dem das Programm gemäß der vorliegenden Technologie aufgezeichnet wird, sind nicht beschränkt, und jedes computerlesbare Aufzeichnungsmedium kann verwendet werden. Beispielsweise kann ein beliebiges nichtflüchtiges Aufzeichnungsmedium verwendet werden.
  • Das Kommunikations-Endgerät 20 und das Kommunikations-Endgerät 40 können zum Beispiel durch ein Smartphone, ein Tablet-Endgerät, eine tragbare Vorrichtung, eine Sensorvorrichtung oder dergleichen realisiert werden. Natürlich ist die vorliegende Technologie nicht darauf beschränkt, und eine beliebige Computervorrichtung kann verwendet werden. Beispielsweise kann eine beliebige Vorrichtung, die fähig ist, die Bewegung der Tür 1 zu erkennen und die Sensorinformationen zu senden, als Kommunikations-Endgerät 20 verwendet werden. Alternativ dazu kann eine beliebige Vorrichtung, die fähig ist, die Sensorinformationen zu empfangen und die Wiedergabe des Audio-Inhalts, der der Bewegung der Tür 1 entspricht, auf der Basis der empfangenen Sensorinformationen als Kommunikations-Endgerät 40 verwendet werden.
  • Natürlich kann das Kommunikations-Endgerät 20 durch das Zusammenwirken einer Vorrichtung mit der Erfassungsfunktion und einer Vorrichtung mit der Kommunikationsfunktion realisiert werden. Alternativ dazu kann das Kommunikations-Endgerät 40 durch das Zusammenwirken einer Vorrichtung mit der Kommunikationsfunktion und einer Vorrichtung mit der Funktion des Steuerns der Wiedergabe des Audio-Inhalts realisiert werden.
  • In der folgenden Beschreibung werden Blöcke der in 2 gezeigten Blöcke, die das Kommunikations-Endgerät 20 aufweist, dargestellt, die in einigen Fällen durch die Bezugszeichen mit „a“ gekennzeichnet sind. Außerdem werden Blöcke gezeigt, die das Kommunikations-Endgerät 20 aufweist, die in einigen Fällen durch die Bezugszeichen mit „b“ gekennzeichnet sind. Beispielsweise wird der Lautsprecher 22, den das Kommunikations-Endgerät 20 aufweist, in einigen Fällen als „Lautsprecher 22a“ bezeichnet. Der Lautsprecher 22, den das Kommunikations-Endgerät 40 aufweist, wird in einigen Fällen als „Lautsprecher 22b“ bezeichnet.
  • 3 ist ein Blockdiagramm, das ein funktionales Konfigurationsbeispiel des Audio-AR-Systems 100 zeigt.
  • In dieser Ausführungsform sind eine Bewegungserkennungseinheit 34, eine Zeiterfassungseinheit 35 und eine Kommunikations-Steuereinheit 36 als Funktionsblöcke durch die CPU oder dergleichen des Controllers 21a des Kommunikations-Endgerätes 20 realisiert, das das Programm gemäß dieser Ausführungsform ausführt. Ferner kann zur Realisierung der einzelnen Blöcke eine dedizierte Hardware, wie z. B. eine integrierte Schaltung (IC), verwendet werden.
  • Außerdem sind eine Kommunikations-Steuereinheit 54, eine Informationsverarbeitungseinheit 55, eine Verzögerungs-Berechnungseinheit 56 und eine Wiedergabe-Steuereinheit 57 als Funktionsblöcke durch die CPU oder dergleichen des Controllers 21b des Kommunikations-Endgerätes 40 realisiert, das das Programm gemäß dieser Ausführungsform ausführt. Ferner kann zur Realisierung der einzelnen Blöcke eine dedizierte Hardware, wie z. B. eine integrierte Schaltung (IC), verwendet werden.
  • Die Bewegungserkennungseinheit 34 erkennt die Bewegung der Tür 1 auf der Basis des Erkennungsergebnisses der Sensoreinheit 25a des Kommunikations-Endgerätes 20. Beispielsweise ist die Bewegungserkennungseinheit 34 fähig, die Öffnungsbewegung der Tür 1, die Schließbewegung der Tür 1, die Bewegungsgeschwindigkeit und dergleichen auf der Basis einer Änderung der Beschleunigung und dergleichen zu erkennen. Außerdem ist die Bewegungserkennungseinheit 34 auch fähig zu erkennen, dass an der Tür 1 geklopft wird und dergleichen. Natürlich kann die Bewegung der Tür 1 auf der Basis eines durch die Kamera 24a des Kommunikations-Endgerätes 20 erfassten Bildes, eines durch das Mikrofon 23a erfassten Sounds und dergleichen erkannt werden.
  • Die Bewegungserkennungseinheit 34 erzeugt eine Ereigniskennung, die mit der erkannten Bewegung der Tür 1 verbunden ist, und liefert die Ereigniskennung an die Kommunikations-Steuereinheit 36. Beispielsweise wird beim Öffnen der Tür 1 die Ereigniskennung „001“ geliefert, und beim Schließen der Tür 1 wird die Ereigniskennung „001“ geliefert. Je nach der Öffnungsgeschwindigkeit der Tür 1 können unterschiedliche Ereigniskennungen erzeugt werden.
  • Das spezifische Verfahren zur Erkennung der Bewegung der Tür 1 ist nicht beschränkt, und es kann jede beliebige Technologie verwendet werden. Es kann beispielsweise ein beliebiger Algorithmus zum maschinellen Einlernen unter Verwendung eines tiefen Neuronalnetzwerks (DNN) oder desgleichen verwendet werden. Beispielsweise kann der Gebrauch von künstlicher Intelligenz (KI) oder dergleichen zum Durchführen von Deep Learning die Erkennungsgenauigkeit der Bewegung der Tür 1 verbessern.
  • Die Erfassungseinheit 35 erfasst Zeitinformationen, wenn die Kommunikations-Steuereinheit 36 die Ereigniskennung, die mit der von der Bewegungserkennungseinheit 34 erkannten Bewegung der Tür 1 verbunden ist, an die andere Vorrichtung (das Kommunikations-Endgerät 40) sendet. Beispielsweise wird ein Zeitstempel oder dergleichen als Zeitinformationen verwendet. Als Zeitstempel können tatsächliche Zeitinformationen verwendet werden, oder es können Uhrinformationen verwendet werden, die eindeutig mit Bezug auf eine gemeinsame Referenzzeit erhöht werden. Das Verfahren zum Erfassen der Zeitinformationen ist nicht beschränkt, und ein beliebiges Verfahren kann verwendet werden. Beispielsweise kann die Zeit von Long Term Evolution (LTE) oder dergleichen verwendet werden.
  • Es sollte beachtet werden, dass das Kommunikations-Endgerät 20 beim Erzeugen der Ereigniskennung einen Zeitstempel zusammen mit der Ereigniskennung senden kann. In diesem Fall wird eine Ankunftszeit von einem Zeitpunkt, bei dem das Kommunikations-Endgerät 20 die Sensorinformationen (in dieser Ausführungsform die Ereigniskennung) erzeugt, bis zu einem Zeitpunkt, bei dem das Kommunikations-Endgerät 20 die Sensorinformationen erfasst, als Verzögerungsbetrag berechnet.
  • Die Kommunikations-Steuereinheit 36 steuert die Kommunikation mit dem Kommunikations-Endgerät 40. In dieser Ausführungsform steuert die Kommunikations-Steuereinheit 36 die Operation der in 2 gezeigten Kommunikationseinheit 29, so dass verschiedene Arten von Informationen (Daten) an das Kommunikations-Endgerät 40 gesendet werden können.
  • In dieser Ausführungsform sendet die Kommunikations-Steuereinheit 36 die mit der Bewegung der Tür 1 verbundene Ereigniskennung und den Zeitstempel in einem Satz an das Kommunikations-Endgerät 40.
  • Wie auch oben beschrieben, entspricht in dieser Ausführungsform die der von der Bewegungserkennungseinheit 34 erkannten Bewegung der Tür 1 zugeordnete Ereigniskennung den auf der Basis der Bewegung des realen Objekts erzeugten Sensorinformationen. Natürlich ist die vorliegende Technologie nicht darauf beschränkt, und andere Informationen können verwendet werden. Beispielsweise kann ein Rohwert (Erkennungswert) oder dergleichen der Sensoreinheit 25a, der in die Bewegungserkennungseinheit 34 eingegeben wird, als Sensorinformationen an das Kommunikations-Endgerät 40 gesendet werden. Dann kann die Bewegung der Tür 1 am Kommunikations-Endgerät 40 erkannt werden.
  • Die Kommunikations-Steuereinheit 54 des Kommunikations-Endgerätes 40 steuert die Kommunikation mit dem Kommunikations-Endgerät 20. In dieser Ausführungsform steuert die Kommunikations-Steuereinheit 54 die Operation der Kommunikationseinheit 29b des Kommunikations-Endgerätes 40, so dass verschiedene Arten von Informationen (Daten) von dem Kommunikations-Endgerät 20 empfangen werden können. Natürlich ist es auch möglich, verschiedene Arten von Informationen (Daten) vom Kommunikations-Endgerät 40 an das Kommunikations-Endgerät 20 zu senden.
  • Die Kommunikations-Steuereinheit 54 liefert die Ereigniskennung und den Zeitstempel, empfangen vom Kommunikations-Endgerät 20, an die Informationsverarbeitungseinheit 55.
  • Die Informationsverarbeitungseinheit 55 weist eine Benutzerzustands-Erkennungseinheit 61, eine Zustands-Erkennungseinheit 62, eine Ereignis-Erkennungseinheit 63, eine Ereignis-Datenbank 64, eine Zeiterfassungseinheit 65, eine Interessegrad-Bestimmungseinheit 66 und eine Benutzerbestimmungseinheit 67 auf.
  • Die Benutzerzustands-Erkennungseinheit 61 ist fähig, Zustandsinformationen bezüglich eines Zustands des Benutzers 2 auf der Basis des Erkennungsergebnisses (Sensorergebnisses) der Sensoreinheit 25b des Kommunikations-Endgerätes 40, des vom Mikrofon 23b erfassten Tons (Audiodaten), des von der Kamera 24b erfassten Bildes (Bilddaten) und dergleichen zu erkennen.
  • Als Zustandsinformationen des Benutzers 2 ist es möglich, verschiedene Arten von Informationen bezüglich des Benutzers 2 zu erkennen, wie beispielsweise eine Haltung, eine Bewegung, eine Position, den Inhalt von Äußerungen und dergleichen des Benutzers 2. Erkannt werden als Zustandsinformationen des Benutzers 2 beispielsweise Informationen, die das Gehen, Laufen, Bewegen mit dem Zug, Fahren und dergleichen angeben, sowie Informationen, die die Art der ausgeübten Sportart und dergleichen angeben. Außerdem ist es auch möglich, eine Geste, eine Blickrichtung oder dergleichen des Benutzers 2 zu erkennen.
  • Beispielsweise ist es möglich, einen Betrieb an der Tür 1, einen Sound von Schritten des Benutzers 2, den Inhalt von Äußerungen des Benutzers 2, ob der Benutzer auf die Tür 1 blickt oder nicht, ob der Benutzer mit anderen Personen kommuniziert oder nicht und dergleichen zu erkennen. Die vorliegende Technologie ist nicht darauf beschränkt, und es ist möglich, jede Aktion des Benutzers 2 zu erkennen.
  • Die Zustands-Erkennungseinheit 62 ist fähig, Zustandsinformationen bezüglich eines Umgebungszustand auf der Basis des Erkennungsergebnisses (Sensorergebnisses) der Sensoreinheit 25b, des vom Mikrofon 23b erfassten Tons (Audiodaten), des von der Kamera 24b erfassten Bildes (Bilddaten) und dergleichen zu erkennen. Beispielsweise ist es möglich, die Art des Ortes, an dem sich der Benutzer 2 befindet, ein Umgebungsgeräusch, die Art des in der Peripherie vorhandenen realen Objekts, einen Abstand zwischen dem realen Objekt und dem Benutzer 2, eine Bewegung des realen Objekts, einen von dem realen Objekt abgegebenen Sound und dergleichen zu erkennen.
  • Beispielsweise ist es möglich, verschiedene Arten von Zustandsinformationen zu erkennen, wie z. B. eine Bewegung der Tür 1, ein von der Tür 1 abgegebener Sound, Bewegungen anderer Personen, die sich in der Peripherie befinden, der Inhalt einer Äußerung einer anderen Person, ein Trittschall einer anderen Person, ob es sich um einen Innen- oder Außenbereich handelt, die Umgebungshelligkeit und das Wetter.
  • Die verschiedenen Arten von Zustandsinformationen des Benutzers 2 und die verschiedenen Arten von Umgebungszustandsinformationen können durch beliebige Technologien wie beispielsweise die Verhaltensanalyse mit maschinellem Lernen erkannt werden.
  • Es sollte beachtet werden, dass das Sensorergebnis, die Audiodaten und die von dem Kommunikations-Endgerät 20 erfassten Bilddaten über die Kommunikations-Steuereinheiten 36 und 54 in die Benutzerzustands-Erkennungseinheit 61 und die Zustands-Erkennungseinheit 62 eingegeben werden können. Basierend auf den Eingabeinformationen können die Zustandsinformationen des Benutzers und die Umgebungszustandsinformationen erkannt werden.
  • Alternativ dazu kann das Kommunikations-Endgerät 20 auch die Benutzerzustands-Erkennungseinheit 61 und die Zustands-Erkennungseinheit 62 aufweisen. Die Zustandsinformationen des Benutzers 2 und die Umgebungszustandsinformationen, die durch das Kommunikations-Endgerät 20 erkannt werden, können an das Kommunikations-Endgerät 40 gesendet werden.
  • In dieser Ausführungsform sind die Zustandsinformationen des Benutzers und die Umgebungszustandsinformationen in den Erkennungsinformationen enthalten. Eine Konfiguration, bei der nur die Zustandsinformationen des Benutzers erkannt werden, oder eine Konfiguration, bei der nur die Umgebungszustandsinformationen erkannt werden, kann angewendet werden. Außerdem ist es nicht unbedingt erforderlich, die Zustandsinformationen des Benutzers und die Umgebungszustandsinformationen eindeutig voneinander zu unterscheiden. Informationen bezüglich des Zustands des Benutzers und Informationen bezüglich des Umgebungszustands können umfassend als Erkennungsinformationen erkannt werden.
  • In dieser Ausführungsform fungieren die Benutzerzustands-Erkennungseinheit 61 und die Zustands-Erkennungseinheit 62 als eine Erfassungseinheit, die fähig ist, Erkennungsinformationen zu erfassen, die mindestens eine von Informationen über den Zustand des Benutzers und Informationen über den Umgebungszustand enthalten.
  • Die Ereigniserkennungseinheit 63 erkennt den Inhalt des Ereignisses anhand der von der Kommunikations-Steuereinheit 54 gelieferten Ereigniskennung. Wenn beispielsweise die in der Ereignis-Datenbank 64 gespeicherte Ereigniskennung mit der gelieferten Ereigniskennung übereinstimmt, wird erkannt, dass das Ereignis im realen Raum aufgetreten ist.
  • Außerdem ist die Ereigniserkennungseinheit 63 auch fähig, das im realen Raum auftretende Ereignis auf der Basis des Erkennungsergebnisses (Sensorergebnisses) der Sensoreinheit 25, des vom Mikrofon 23 erfassten Tons (Audiodaten), des von der Kamera 24 erfassten Bildes (Bilddaten) und dergleichen zu erkennen. Beispielsweise wird ein Ereignis, bei dem die Tür 1 geöffnet wird, auf der Basis eines Sounds beim Öffnen der Tür 1 erkannt. Die Ereigniserkennungseinheit 63 kann als eine Funktion der Benutzerzustands-Erkennungseinheit 61 und der Zustands-Erkennungseinheit 62 ausgebildet sein.
  • Die zum Inhalt des Ereignisses gehörende Ereigniskennung wird in der Ereignis-Datenbank 64 gespeichert. Die zu speichernde Ereigniskennung ist nicht begrenzt. In dieser Ausführungsform wird eine Ereignis-Datenbank 64 durch das HDD und dergleichen im Controller 21 konstruiert. Die vorliegende Technologie ist nicht darauf beschränkt, und eine Ereignis-Datenbank 64 kann durch eine außerhalb des Controllers 21 bereitgestellte Speichervorrichtung und dergleichen konstruiert werden.
  • Die Ereignis-Datenbank 64 kann Informationen bezüglich der Reihenfolge von Ereignissen speichern. Beispielsweise können in einem Fall, in dem es eine Ereigniskennung eines Ereignisses gibt, bei dem ein Geschoss abgefeuert wird, und eine Ereigniskennung eines Ereignisses, bei dem das Geschoss ein Objekt trifft, Informationen gespeichert werden, die angeben, dass auf das Ereignis, bei dem ein Geschoss abgefeuert wird, das Ereignis folgt, bei dem das Geschoss trifft. Alternativ dazu kann die Bewegung des realen Objekts bestimmt werden, indem beispielsweise ein Signal von einem Sensor-Endgerät oder einer Standleitung empfangen wird, über die nur spezifische Sensorinformationen anstelle der Ereigniskennung gesendet werden.
  • Die Zeiterfassungseinheit 65 erfasst die Zeitinformation, wenn sie eine Ereigniskennung und einen Zeitstempel vom Kommunikations-Endgerät 20 empfängt. In dieser Ausführungsform wird ein Zeitstempel verwendet. Das heißt, es wird ein Zeitstempel zu einem Zeitpunkt erworben, bei dem die Ereigniskennung und der Zeitstempel empfangen werden.
  • Die Interessegrad-Bestimmungseinheit 66 bestimmt einen Interessegrad des Benutzers 2 in Bezug auf das reale Objekt. Der Interessegrad ist ein Parameter, der angibt, wie stark der Benutzer 2 an dem realen Objekt interessiert oder mit dem realen Objekt beschäftigt ist. In dieser Ausführungsform wird zum Beispiel der Interessegrad des Benutzers 2 in Bezug auf die Tür 1 bestimmt. Die Bestimmung der Interessegrad-Bestimmungseinheit 66 wird später ausführlich beschrieben.
  • In dieser Ausführungsform fungiert die Interessegrad-Bestimmungseinheit 66 als eine zweite Bestimmungseinheit. Die Interessegrad-Bestimmungseinheit 66 kann als eine Funktion der Benutzerzustands-Erkennungseinheit 61 und der Zustands-Erkennungseinheit 62 ausgebildet sein. In diesem Fall fungiert die Interessegrad-Bestimmungseinheit 66 auch als eine Erfassungseinheit.
  • Die Benutzer-Bestimmungseinheit 67 bestimmt, ob die Tür 1 von dem Benutzer 2 betätigt wird oder nicht. Beispielsweise bestimmt die Benutzer-Bestimmungseinheit 67 auf der Basis eines als Erkennungsinformationen erkannten Abstands zwischen der Tür 1 und dem Benutzer 2, ob die Tür 1 von dem Benutzer 2 betätigt wird oder nicht. Natürlich können auch andere Bestimmungsverfahren verwendet werden.
  • In dieser Ausführungsform fungiert die Benutzer-Bestimmungseinheit 67 als eine erste Bestimmungseinheit. Die Benutzer-Bestimmungseinheit 67 kann als eine Funktion der Benutzerzustands-Erkennungseinheit 61 und der Zustands-Erkennungseinheit 62 ausgebildet sein. In diesem Fall fungiert die Benutzer-Bestimmungseinheit 67 auch als eine Erfassungseinheit.
  • Basierend auf den von der Zeiterfassungseinheit 35 und der Zeiterfassungseinheit 65 gelieferten Zeitinformationen berechnet die Verzögerungsberechnungseinheit 56 einen Verzögerungsbetrag (Latenz), bis das Kommunikations-Endgerät 40 die vom Kommunikations-Endgerät 20 gesendeten Sensorinformationen (in dieser Ausführungsform die Ereigniskennung) empfängt.
  • In dieser Ausführungsform wird der Verzögerungsbetrag anhand des Zeitstempels, der zusammen mit der Ereigniskennung gesendet wird, und des Zeitstempels zum Zeitpunkt des Empfangens der Ereigniskennung berechnet. Das heißt, in dieser Ausführungsform wird als Verzögerungsbetrag eine Ankunftszeit von einem Zeitpunkt, bei dem das Kommunikations-Endgerät 20 die Sensorinformationen an das Kommunikations-Endgerät 40 sendet, bis zu einem Zeitpunkt, bei dem das Kommunikations-Endgerät 20 die Sensorinformationen erfasst, berechnet.
  • In dieser Ausführungsform entspricht der Verzögerungsbetrag (Ankunftszeit) den Zeitinformationen bezüglich der Erfassung der Sensorinformationen, die auf der Basis der Bewegung des realen Objekts erzeugt werden.
  • Die Wiedergabe-Steuereinheit 57 steuert die Wiedergabe des Audio-Inhalts, der dem von der Ereigniserkennungseinheit 63 erkannten Ereignis entspricht. In dieser Ausführungsform wird die Wiedergabe des der Bewegung der Tür 1 entsprechenden Audio-Inhalts auf der Basis des Verzögerungsbetrags, d. h. der Ankunftszeit, gesteuert.
  • Beispielsweise steuert die Wiedergabe-Steuereinheit 57 als erste Wiedergabesteuerung die Wiedergabe des der Bewegung der Tür 1 entsprechenden Audio-Inhalts durch das erste Wiedergabeverfahren in einem Fall, in dem der Verzögerungsbetrag (Ankunftszeit) innerhalb eines vorbestimmten Zeitbereichs liegt. Anderenfalls wird als zweite Wiedergabesteuerung in einem Fall, in dem der Verzögerungsbetrag (Ankunftszeit) außerhalb des vorbestimmten Zeitbereichs liegt, die Wiedergabe des der Bewegung der Tür 1 entsprechenden Audio-Inhalts durch ein zweites Wiedergabeverfahren gesteuert, das sich vom ersten Wiedergabeverfahren unterscheidet.
  • Das heißt, die Wiedergabe-Steuereinheit 57 kann die Wiedergabe des dem Ereignis entsprechenden Audio-Inhalts durch ein anderes Wiedergabeverfahren zwischen einem Fall, in dem die berechnete Verzögerung innerhalb des vorbestimmten Zeitbereichs liegt, und einem Fall, in dem der berechnete Verzögerungsbetrag außerhalb des vorbestimmten Zeitbereichs liegt, steuern. Konkrete Beispiele des dem Verzögerungsbetrag entsprechenden Wiedergabeverfahrens werden später ausführlich beschrieben.
  • Außerdem ist die Wiedergabe-Steuereinheit 57 auch fähig, die Wiedergabe des Audio-Inhalts auf der Basis der Erkennungsinformationen einschließlich der Zustandsinformationen des Benutzers und der Umgebungszustandsinformationen, des Bestimmungsergebnisses der Interessegrad-Bestimmungseinheit 66 und des Bestimmungsergebnisses der Benutzer-Bestimmungseinheit 67 zu bestimmen.
  • Außerdem ist die Wiedergabe-Steuereinheit 57 auch fähig, die Wiedergabe des Audio-Inhalts auf der Basis der Reihenfolge der in der Ereignis-Datenbank gespeicherten Ereignisse zu steuern.
  • Es sollte beachtet werden, dass die vorliegende Technologie nicht auf den Fall beschränkt ist, in dem die Ereigniskennung verwendet wird, und es ist auch möglich, die Wiedergabe des Audio-Inhalts entsprechend der Bewegung des realen Objekts selbst ohne die Ereigniskennung durchzuführen. Beispielsweise wird angenommen, dass die Konfiguration, bei der die Bewegung des realen Objekts durch das Empfangen des Signals vom Sensor-Endgerät bestimmt wird, oder die Standleitung nur zum Senden bestimmter Sensorinformationen anstelle der Ereigniskennung, wie oben beschrieben, verwendet wird. In diesem Fall ist es möglich, den Audio-Inhalt entsprechend der bestimmten Bewegung des realen Objekts auf der Basis des Signals des Sensor-Endgerätes oder der Standleitung wiederzugeben. Alternativ kann sowohl die Wiedergabe des Audio-Inhalts basierend auf der Ereigniskennung als auch die Wiedergabe des Audio-Inhalts ohne die Ereigniskennung durchgeführt werden.
  • 4 ist eine schematische Darstellung zum Beschreiben einer Verzögerung, die nach dem Start der Bewegung des realen Objekts bei der Ausgabe von Audio-Inhalten von dem Kommunikations-Endgerät 40 auftritt.
  • Eine gerade Linie 70 stellt eine Zeitachse des Kommunikations-Endgerätes 20 dar, und die Zeit läuft in der Pfeilrichtung ab. Eine gerade Linie 80 stellt eine Zeitachse des Kommunikations-Endgerätes 40 dar, und die Zeit läuft in der Pfeilrichtung ab.
  • Ein Sternsymbol 71 repräsentiert einen Zeitpunkt, an dem die Tür 1 bewegt wurde. Hier soll beispielhaft ein Fall dargestellt werden, in dem die Tür 1 geöffnet wird. Die Sensoreinheit 25 des Kommunikations-Endgerätes 20 führt als Reaktion auf die Öffnungsbewegung der Tür 1 eine Abtastung 72 durch.
  • Die in 4 dargestellte Verarbeitung gibt die Prozesse 73 an, die von der Bewegungserkennungseinheit 34, der Zeiterfassungseinheit 35 und der Kommunikations-Steuereinheit 36 als ein einziger Prozess durchgeführt werden. Das heißt, die Bewegungserkennungseinheit 34 erkennt das Öffnen der Tür 1, und die mit dem Öffnen der Tür 1 verbundene Ereigniskennung wird an die Kommunikations-Steuereinheit 36 geliefert. Die Zeiterfassungseinheit 35 erwirbt einen Zeitstempel zu einem Zeitpunkt des Sendens der Kommunikations-Steuereinheit 36. Die Kommunikations-Steuereinheit 36 sendet eine Ereigniskennung und einen Zeitstempel.
  • Die in 4 dargestellte Kommunikation 75 repräsentiert, dass die Ereigniskennung und der Zeitstempel übermittelt werden. Das heißt, sie repräsentiert die Verarbeitung der Kommunikation, bis die vom Kommunikations-Endgerät 20 gesendete Ereigniskennung und der Zeitstempel das Kommunikations-Endgerät 40 erreichen.
  • Die in 4 dargestellte Verarbeitung 81 gibt Prozesse an, die von der Kommunikations-Steuereinheit 54, der Informationsverarbeitungseinheit 55, der Verzögerungs-Berechnungseinheit 56 und der Wiedergabe-Steuereinheit 57 des Kommunikations-Endgerätes 40 als ein einziger Prozess durchgeführt werden.
  • In dieser Ausführungsform liefert die Kommunikations-Steuereinheit 54 die Ereigniskennung an die Ereignis-Erkennungseinheit 63 und den Zeitstempel an die Zeiterfassungseinheit 65. Die Ereignis-Erkennungseinheit 63 erkennt auf der Basis der gelieferten Ereigniskennung ein Ereignis, das angibt, dass die Tür 1 geöffnet wird. Die Zeiterfassungseinheit 65 erwirbt beim Empfangen des gelieferten Zeitstempels (Zeitpunkt, an dem die Verarbeitung 73 durchgeführt wird) einen Zeitstempel (Zeitpunkt, an dem die Verarbeitung 81 durchgeführt wird).
  • Die Verzögerungsberechnungseinheit 56 berechnet den Verzögerungsbetrag aus dem Zeitstempel zum Zeitpunkt des Empfangens und dem Zeitstempel zum Zeitpunkt des Sendens. Das heißt, die für die Kommunikation 75 benötigte Zeit wird als Verzögerungsbetrag berechnet.
  • Die Wiedergabe-Steuereinheit 57 steuert die Wiedergabe des der Bewegung der Tür 1 entsprechenden Wiedergabe-Inhalts auf der Basis des Verzögerungsbetrags und des Ereignisses. Dementsprechend wird der Audio-Inhalt, der der Öffnungsbewegung der Tür 1 entspricht, von dem am Benutzer 2 montierten Kopfhörer 3 wiedergegeben (Wiedergabe 82 in 4).
  • Das Sternsymbol 83 gibt einen Zeitpunkt an, bei dem der Benutzer 2 den Sound des Audio-Inhalts wahrnimmt. Wie in 4 gezeigt, dauert es für den Menschen eine gewisse Zeit, um den Sound nach dem Start der Wiedergabe des Audio-Inhalts wahrzunehmen.
  • Der Verzögerungsbetrag 85 in 4 gibt die Zeit vom Sternsymbol 71, wenn die Tür sich bewegt, bis zum Sternsymbol 83 an, wenn der Benutzer 2 den Sound wahrnimmt. Faktoren des Verzögerungsbetrags 85 schließen eine Zeit ein, die für die Prozesse benötigt wird, die durch das Kommunikations-Endgerät 20 und das Kommunikations-Endgerät 40 durchgeführt werden, eine Zeit, die für die Kommunikation 75 zwischen dem Kommunikations-Endgerät 20 und dem Kommunikations-Endgerät 40 benötigt wird, und dergleichen. In dieser Ausführungsform wird die Wiedergabe des Audio-Inhalts auf der Basis der Zeit (Verzögerungsbetrag) für die Kommunikation 75 gesteuert.
  • Natürlich ist es auch möglich, die Wiedergabe des Audio-Inhalts auf der Basis der Zeit zu steuern, die für die durch das Kommunikations-Endgerät 20 und das Kommunikations-Endgerät 40 durchgeführten Prozesse benötigt wird. Beispielsweise kann in einem Fall, in dem ein anderes Kommunikationsverfahren, das sich von dem drahtlosen Verfahren unterscheidet, verwendet wird, die vorliegende Technologie angewendet werden, indem die Zeit, die für die von dem Kommunikations-Endgerät 20 und dem Kommunikations-Endgerät 40 durchgeführten Prozesse benötigt wird, als Verzögerungsbetrag festgelegt wird.
  • Der Verzögerungsbetrag variiert in Abhängigkeit von der Umgebung der Drahtloskommunikation durch das Kommunikations-Endgerät 20 und das Kommunikations-Endgerät 40. Wenn beispielsweise die Anzahl der Kommunikations-Endgeräte, die mit dem Kommunikations-Endgerät 20 kommunizieren können, groß ist, erhöht sich der Verzögerungsbetrag. Außerdem erhöht sich der Verzögerungsbetrag beispielsweise auch dann, wenn der Umfang der Kommunikation zwischen dem Kommunikations-Endgerät 20 und dem Kommunikations-Endgerät 40 groß ist. Außerdem variiert der Verzögerungsbetrag auch in Abhängigkeit von der Leistung der Kommunikationseinheiten 29 der Kommunikations-Endgeräte 20 und 40.
  • Das Steuern des Audio-Inhalts im Einklang mit dem nachstehend beschriebenen Verzögerungsbetrag ermöglicht es, dem Benutzer ein hochwertiges virtuelles Erlebnis bereitzustellen 2. Das heißt, es ist möglich, ein hochwertiges Audio-AR-Erlebnis gemäß dem Verzögerungsbetrag bereitzustellen. Beispielsweise ist es möglich, ein überzeugendes Seherlebnis bereitzustellen, das mit der Operation des Benutzers 2 selbst oder der von dem Benutzer 2 betrachteten Operation verbunden ist. Außerdem ist es auch möglich, einen modalitätsübergreifenden Effekt von Sound und Video auszuüben.
  • 5 ist ein Flussdiagramm, das ein Beispiel der Steuerung der Wiedergabe des Audio-Inhalts zeigt. 6 ist eine schematische Darstellung zum Beschreiben eines Steuerungsbeispiels der Wiedergabe des Audio-Inhalts auf der Basis des Verzögerungsbetrags. 6A ist eine schematische Darstellung, die die Wiedergabesteuerung in einem Fall zeigt, in dem der Verzögerungsbetrag innerhalb des vorbestimmten Zeitbereichs liegt. 6B ist eine schematische Darstellung, die die Wiedergabesteuerung in einem Fall zeigt, in dem der Verzögerungsbetrag außerhalb des vorbestimmten Zeitbereichs liegt. Im Folgenden wird die Beschreibung unter Bezugnahme auf 5 und 6 gegeben.
  • Die Tür 1 wird geöffnet, wie durch das Sternsymbol 71 in 6A und B angegeben. Dann erkennt die Sensoreinheit 25 oder dergleichen des Kommunikations-Endgerätes 20 ein Sensorergebnis basierend auf der Bewegung der sich öffnenden Tür 1 (Schritt 101). Die Bewegungserkennungseinheit 34 erkennt das Ereignis, bei dem die Tür 1 geöffnet wird, und erzeugt eine Ereigniskennung (Schritt 102).
  • Die Kommunikations-Steuereinheit 36 des Kommunikations-Endgerätes 20 sendet die Ereigniskennung und einen durch die Zeiterfassungseinheit 35 erfassten Zeitstempel ts0 an das Kommunikations-Endgerät 40 (Schritt 103).
  • Die Kommunikations-Steuereinheit 54 des Kommunikations-Endgerätes 40 empfängt die vom Kommunikations-Endgerät 20 gesendete Ereigniskennung, die angibt, dass die Tür 1 geöffnet wird, und den Zeitstempel ts0 zum Zeitpunkt des Sendens. Die Ereigniserkennungseinheit 63 erkennt, dass die Tür 1 geöffnet wird, als ein Ereignis, das im realen Raum auftritt, auf der Basis der Ereigniskennung, die angibt, dass die Tür geöffnet wird. Außerdem erwirbt die Zeiterfassungseinheit 65 einen Zeitstempel ts1, der einen Zeitpunkt angibt, bei dem die Ereigniskennung empfangen wird (Schritt 104).
  • Die Verzögerungsberechnungseinheit 56 berechnet einen Verzögerungsbetrag auf der Basis des Zeitstempels ts1, der den Zeitpunkt des Empfangens angibt, und des Zeitstempels ts0, der den Zeitpunkt des Sendens angibt.
  • Die Wiedergabe-Steuereinheit 57 bestimmt, ob der berechnete Verzögerungsbetrag innerhalb des vorbestimmten Zeitbereichs liegt oder nicht. In dieser Ausführungsform sind 0,2 Sekunden als vorbestimmter Zeitbereich eingestellt. Daher bestimmt die Wiedergabe-Steuereinheit, ob der berechnete Verzögerungsbetrag gleich oder kleiner als 0,2 Sekunden ist oder nicht (Schritt 105). Natürlich ist der vorbestimmte Zeitbereich, der als Kriterium für die Bestimmung in Schritt 105 dient, nicht begrenzt und kann beliebig festgelegt werden. Beispielsweise kann ein kürzerer Zeitbereich, z. B. 0,05 Sekunden, oder ein längerer Zeitbereich, z. B. 0,5 Sekunden, festgelegt werden.
  • Wie in 6A gezeigt, steuert die Wiedergabe-Steuereinheit 57 in einem Fall, in dem der Verzögerungsbetrag 85, der eine für die Kommunikation 75 erforderliche Zeit ist, weniger als 0,2 Sekunden beträgt (JA in Schritt 105), die Wiedergabe des Audio-Inhalts entsprechend der Bewegung der Tür 1 durch das erste Wiedergabeverfahren.
  • In dieser Ausführungsform wird zunächst der Sound „KLICK!“ zu einem Zeitpunkt, bei dem die Tür 1 sich öffnet, als Anstiegs-Sound gemäß der Bewegung der Tür 1 wiedergegeben (Schritt 106). Dann wird nach der Wiedergabe des Anstiegs-Sounds der Sound „KNARREN“, der der Öffnungsbewegung der Tür 1 entspricht, als ein Sound wiedergegeben, der nicht den Anstiegs-Sound aufweist (Schritt 107).
  • Wie in 6B gezeigt, steuert die Wiedergabe-Steuereinheit 57 in einem Fall, in dem der Verzögerungsbetrag 85, der die für die Kommunikation 75 erforderliche Zeit ist, 0,2 Sekunden oder mehr beträgt (NEIN in Schritt 105), die Wiedergabe des Audio-Inhalts entsprechend der Bewegung der Tür 1 durch das zweite Wiedergabeverfahren.
  • In dieser Ausführungsform wird der Anstiegs-Sound „KLICK!“, der der Bewegung der Tür 1 entspricht, nicht wiedergegeben, und der Sound „KNARREN“, der den Anstiegs-Sound nicht aufweist, wird wiedergegeben. Außerdem wird der Sound „KNARREN“, der keinen Anstiegs-Sound aufweist, mit Einblendung wiedergegeben.
  • Wie oben beschrieben, schließt das erste Wiedergabeverfahren gemäß dieser Ausführungsform den Anstiegs-Sound gemäß der Bewegung des realen Objekts ein. Außerdem ist beim zweiten Wiedergabeverfahren die Wiedergabe des Anstiegs-Sounds gemäß der Bewegung des realen Objekts eingeschränkt. Die Einschränkung der Wiedergabe des Anstiegs-Sounds schließt das Stoppen der Wiedergabe des als Anstiegs-Sound definierten Sounds und die Einschränkung eines anderen Sounds als des als Anstiegs-Sound definierten Sounds ein. Außerdem schließt die Einschränkung der Wiedergabe des Anstiegs-Sounds die Wiedergabe eines Sounds mit eingeschränktem Anstiegs-Sound ein. Der Anstiegs-Sound und der Sound mit eingeschränktem Anstiegs-Sound werden später ausführlich beschrieben.
  • Außerdem schließt das zweite Wiedergabeverfahren das Einblenden des Audio-Inhalts ein. Es sollte beachtet werden, dass der in Schritt 108 wiedergegebene Sound „KNARREN“ unverändert ausgeblendet werden kann. Das heißt, das zweite Wiedergabeverfahren kann das Ausblenden des Audio-Inhalts einschließen.
  • Natürlich sind das erste Wiedergabeverfahren und das zweite Wiedergabeverfahren nicht auf solche Wiedergabeverfahren beschränkt. Beispielsweise kann es sein, dass das erste Wiedergabeverfahren den Anstiegs-Sound nicht einschließt. Außerdem kann es sein, dass das zweite Wiedergabeverfahren das Einblenden oder das Ausblenden des Audio-Inhalts nicht einschließt. Um ein hochwertiges Seherlebnis zu realisieren, können das erste Wiedergabeverfahren und das zweite Wiedergabeverfahren beliebig festgelegt werden.
  • Es wird angenommen, dass in einem Fall, in dem der in 6 gezeigte Verzögerungsbetrag 85 groß ist, der Anstiegs-Sound „KLICK!“ oder dergleichen als Audio-AR wiedergegeben wird. In diesem Fall besteht eine hohe Wahrscheinlichkeit, dass die Verknüpfung zwischen der tatsächlichen Bewegung der Tür 1 und dem virtuellen Sound beeinträchtigt wird und die Qualität des virtuellen Erlebnisses deutlich sinkt. Beispielsweise hört der Benutzer 2 nach dem Drehen des Türknaufs und dem weiten Öffnen der Tür 1 den Sound „KLICK!“, was dem Benutzer 2 ein großes Unbehagen bereitet.
  • In dieser Ausführungsform wird der Anstiegs-Sound in einem Fall wiedergegeben, in dem der Verzögerungsbetrag 85 innerhalb des vorbestimmten Bereichs liegt. Andererseits ist die Wiedergabe des Anstiegs-Sounds in einem Fall, in dem der Verzögerungsbetrag außerhalb des vorbestimmten Bereichs liegt, eingeschränkt. Dementsprechend wird die Verknüpfung zwischen der tatsächlichen Bewegung der Tür 1 und der Wiedergabe des virtuellen Sounds auf hohem Niveau gehalten. Dadurch ist es möglich, ein hochwertiges virtuelles Erlebnis bereitzustellen.
  • Außerdem wird in einem Fall, in dem der Verzögerungsbetrag außerhalb des vorbestimmten Bereichs liegt, die Einblendung oder Ausblendung des Audio-Inhalts durchgeführt. Dementsprechend ist es möglich, den Einfluss der Lücke zwischen der tatsächlichen Bewegung der Tür 1 und dem virtuellen Sound weiter zu reduzieren und die Qualität des virtuellen Erlebnisses zu verbessern. Außerdem kann der Gebrauch des Ein- oder Ausblendens des Audio-Inhalts ein Gefühl der Verknüpfung zwischen der Bewegung des realen Objekts und dem Sound bereitstellen, ohne viele Sound-Quellen im Voraus vorzubereiten.
  • Es sollte beachtet werden, dass in dem in 6 gezeigten Beispiel die Wiedergabe des Anstiegs-Sounds in Schritt 108 eingeschränkt wird. Die vorliegende Technologie ist nicht darauf beschränkt, und der Anstiegs-Sound kann selbst in der zweiten Hälfte des Audio-Inhalts in einem Fall wiedergegeben werden, in dem der Verzögerungsbetrag innerhalb des vorbestimmten Bereichs liegt.
  • 7 ist eine schematische Darstellung zur Beschreibung eines Beispiels des Anstiegs-Sounds und des Sounds mit eingeschränktem Anstiegs-Sound. 7A ist eine schematische Darstellung, die ein Beispiel des Anstiegs-Sounds zeigt. 7B ist eine schematische Darstellung, die ein Beispiel des Sounds mit eingeschränktem Anstiegs-Sound zeigt.
  • In dem Diagramm von 7 gibt die horizontale Achse die Zeit und die vertikale Achse die Amplitude einer Wellenform an. Der Anstiegs-Sound und der Sound mit dem eingeschränkten Anstiegs-Sound können beispielsweise auf der Basis der Wellenform des Sounds definiert werden.
  • Der Anstiegs-Sound und der Sound mit dem eingeschränkten Anstiegs-Sound können beispielsweise auf der Basis einer Änderung der Amplitude in einer bestimmten Zeit definiert werden. Wie in 7A gezeigt, kann ein Sound mit einer Amplitude, die in einer bestimmten Zeit stark abnimmt, als Anstiegs-Sound definiert werden. Die bestimmte Zeit, ein Schwellenwert, der als Kriterium für das Bestimmen dient, ob die Dämpfung groß ist oder nicht, und dergleichen können beliebig festgelegt werden. Natürlich kann auch ein Dämpfungsbetrag (Dämpfungsrate) von der Amplitudenspitze, der Spitzenwert und dergleichen als Parameter zur Definition des Anstiegs-Sounds verwendet werden.
  • Konzentriert man sich auf die Form der in 7A dargestellten Wellenform, ist es auch möglich, einen Sound zu definieren, bei dem ähnliche Wellenformen nicht als Anstiegs-Sound wiederholt werden. Das Verfahren zum Bestimmen, ob die Wellenformen einander ähnlich sind oder nicht, der Parameter für die Bestimmung und dergleichen können beliebig festgelegt werden.
  • Beispiele für den Anstiegs-Sound umfassen den Sound „KLICK“, der beim Öffnen der Tür erzeugt wird, den Pistolen-Sound „PENG“ und den Sound „BUMM“, der erzeugt wird, wenn Objekte miteinander kollidieren. Natürlich ist der Anstiegs-Sound nicht auf diese Sounds beschränkt.
  • Wie in 7B gezeigt, kann ein Sound, bei dem die Änderungsrate (Änderungsbetrag) der Amplitude in der bestimmten Zeit innerhalb eines vorbestimmten Bereichs liegt, als Sound mit eingeschränktem Anstiegs-Sound definiert werden. Außerdem ist es möglich, einen Sound, dessen Amplitude in der bestimmten Zeit im Wesentlichen konstant ist, als den Sound mit dem eingeschränkten Anstiegs-Sound zu definieren. Die bestimmte Zeit, der vorbestimmte Bereich, der Schwellenwert zum Bestimmen, ob die Amplitude im Wesentlichen konstant ist oder nicht, und dergleichen können beliebig festgelegt werden. Natürlich kann ein Dämpfungsbetrag (Dämpfungsrate) von der Amplitudenspitze (Dämpfungsrate) verwendet werden, um den Sound als den Sound zu definieren, bei dem der Anstiegs-Sound in einem Fall eingeschränkt ist, in dem der Dämpfungsbetrag (Dämpfungsrate) kleiner als ein vorbestimmter Schwellenwert ist. Alternativ dazu kann der Spitzenwert oder dergleichen als Bestimmungsparameter verwendet werden.
  • Konzentriert man sich auf die Form der in 7B dargestellten Wellenform, ist es auch möglich, einen Sound zu definieren, bei dem ähnliche Wellenformen als Anstiegs-Sound wiederholt werden. Das Verfahren zum Bestimmen, ob die Wellenformen einander ähnlich sind oder nicht, der Parameter für die Bestimmung und dergleichen können beliebig festgelegt werden.
  • Beispiele für den Sound mit eingeschränktem Anstiegs-Sound umfassen kontinuierliche Sounds, wie das Geräusch „KNARREN“ beim Öffnen der Tür, das Geräusch „RASCHELN“, wenn herabgefallene Blätter aneinander reiben, das Windgeräusch „ZISCH“, wenn das Fenster geöffnet wurde, und das Regengeräusch „VSSSHH“. Natürlich ist der Sound mit eingeschränktem Anstiegs-Sound nicht auf diese Sounds beschränkt.
  • Nehmen Sie beispielsweise an, dass eine andere Person sachte auf den herabgefallenen Blättern geht, nachdem sie hart auf die herabgefallenen Blätter getreten ist. Ein Kommunikations-Endgerät, das von der anderen Person getragen wird, erzeugt auf der Basis der Bewegung der anderen Person eine Ereigniskennung und sendet die Ereigniskennung zusammen mit einem Zeitstempel an das Kommunikations-Endgerät 40 des Benutzers 2.
  • In einem Fall, in dem der Verzögerungsbetrag bis zum Empfang der Ereigniskennung innerhalb des vorbestimmten Zeitbereichs liegt, wird ein virtueller Anstiegs-Sound des harten Auftretens auf die gefallenen Blätter und dann ein virtueller Sound des sanften Gehens auf den gefallenen Blättern wiedergegeben. In einem Fall, in dem der Verzögerungsbetrag außerhalb des vorbestimmten Zeitbereichs liegt, wird der Sound des virtuellen Anstiegs-Sounds des harten Auftretens auf die gefallenen Blätter nicht wiedergegeben, und der virtuelle Sound des sanften Gehens auf den gefallenen Blättern wird ein-/ausgeblendet. Beispielsweise ist es möglich, eine solche Wiedergabesteuerung durchzuführen. Es sollte beachtet werden, dass in diesem Beispiel die andere Person dem realen Objekt entspricht.
  • Es sollte beachtet werden, dass ein anderes Verfahren als Methode zur Definition des Anstiegs-Sounds und des Sounds mit eingeschränktem Anstiegs-Sound verwendet werden kann. Als Anstiegs-Sound kann beispielsweise ein Sound definiert werden, dessen Wiedergabe innerhalb eines vorbestimmten Zeitbereichs (z. B. innerhalb von 0,5 Sekunden) beendet ist und danach nicht mehr wiederholt wird. Alternativ dazu kann ein Sound, dessen Druckpegel (Amplitude) innerhalb des vorbestimmten Zeitbereichs (z. B. innerhalb von 0,5 Sekunden) gleich oder kleiner als die Hälfte des Maximalwerts ist, als Anstiegs-Sound definiert werden.
  • Alternativ dazu kann der Sound als eine Vielzahl von Anstiegs-Sounds definiert werden, falls die Amplitude selbst in dem Fall, in dem ähnliche Wellenformen wiederholt werden, größer als ein vorbestimmter Wert ist.
  • Alternativ dazu kann als Anstiegs-Sound ein Sound definiert werden, bei dem der Benutzer den Zeitpunkt, zu dem der Sound erzeugt wird, stark erkennt. Das heißt, ein Sound, bei dem der Benutzer, der den Sound hört, stark erkennt, wann der Sound auftritt, kann als Anstiegs-Sound definiert werden. Dies schließt beispielsweise einen plötzlichen Sound ein, einen Sound, der als kurzer und starker Sound ausgedrückt werden kann, und dergleichen. Beispielsweise kann ein Sound, dessen Amplitudenanstieg pro Zeiteinheit groß ist, ein Sound, dessen Amplitudenspitzenwert größer als ein vorbestimmter Schwellenwert ist, oder dergleichen als Anstiegs-Sound definiert werden.
  • Alternativ dazu kann der Anstiegs-Sound durch die Relevanz (Verknüpfung) zur Bewegung des realen Objekts definiert werden. Als Anstiegs-Sound kann beispielsweise ein Sound definiert werden, den der Benutzer als unangenehm empfindet, wenn der Sound zeitversetzt zur Bewegung des realen Objekts auftritt. In diesem Fall kann der Sound auch als ein Ausdruck definiert werden, der sich vom Anstiegs-Sound unterscheidet, beispielsweise ein Ausdruck eines Sounds, der eine hohe zeitliche Relevanz hat oder ein Sound, der nicht von der Bewegung abgelenkt werden darf.
  • Der Anstiegs-Sound kann durch die Relevanz (Verknüpfung) mit der Operation des Benutzers am realen Objekt definiert werden. Als Anstiegs-Sound kann beispielsweise ein Sound definiert werden, den der Benutzer als unangenehm empfindet, wenn der Sound zeitversetzt zur Operation des Benutzers auftritt. Der Sound kann beispielsweise auch als Ausdruck eines operationsbezogenen Sounds definiert werden.
  • Alternativ kann ein Sound, der einmalig für eine Bewegung (eine Operation) erzeugt wird, als Anstiegs-Sound definiert werden.
  • Alternativ kann beispielsweise ein Sound, dessen Druckpegel sich langsam ändert oder dergleichen, als Sound mit eingeschränktem Anstiegs-Sound definiert werden. Natürlich ist die vorliegende Technologie nicht darauf beschränkt, und verschiedene Sounds können als Sound mit eingeschränktem Anstiegs-Sound definiert werden. Beispiele für den Sound mit dem eingeschränkten Anstiegs-Sound umfassen einen Sound, den der Benutzer selbst dann nicht als unangenehm empfindet, wenn der Sound in Bezug auf eine Bewegung des Benutzers oder die Bewegung des realen Objekts wiederholt wiedergegeben wird. Natürlich kann ein anderer Sound als der Sound, der als Anstiegs-Sound definiert ist, als der Sound mit dem eingeschränkten Anstiegs-Sound definiert werden.
  • Es sollte beachtet werden, dass als ein Verfahren zur Einstellung des vorbestimmten Zeitbereichs, der als Kriterium für die Bestimmung in Schritt 105 von 5 dient, ein als Anstiegs-Sound definierter Sound tatsächlich reproduziert werden kann, und dass experimentell bestätigt werden kann, wie lange der Verzögerungsbetrag kein Unbehagen verursacht. Dadurch ist es möglich, ein hochwertiges virtuelles Erlebnis zu realisieren.
  • Wie oben beschrieben, wird in dem Audio-AR-System 100 gemäß dieser Ausführungsform auf der Basis des Verzögerungsbetrags (Ankunftszeit), der sich auf die Erfassung der auf der Basis der Bewegung der Tür 1 erzeugten Sensorinformationen bezieht, die Wiedergabe des der Bewegung der Tür 1 entsprechenden Audio-Inhalts in einem Fall, in dem der Verzögerungsbetrag innerhalb des vorbestimmten Zeitbereichs liegt, durch das erste Wiedergabeverfahren gesteuert, und die Wiedergabe des Audio-Inhalts, der der Bewegung der Tür 1 entspricht, durch das zweite Wiedergabeverfahren in einem Fall gesteuert wird, in dem der Verzögerungsbetrag außerhalb des vorbestimmten Zeitbereichs liegt. Dementsprechend ist es möglich, ein hochwertiges virtuelles Erlebnis bereitzustellen, da der Audio-Inhalt unter Berücksichtigung des Verzögerungsbetrags wiedergegeben werden kann.
  • In einem Fall, in dem die Bewegung des realen Objekts erfasst wird und virtuelle Audio-Inhalte, wie z. B. ein Sound-Effekt, über den Kopfhörer wiedergegeben werden, kann nur dann ein gutes virtuelles Erlebnis erzeugt werden, wenn die Informationen über die vom realen Objekt erkannte Bewegung mit einem geringen Verzögerungsbetrag an den Kopfhörer gesendet werden. Andererseits ist es schwierig, den Verzögerungsbetrag unter überlasteten Bedingungen zu gewährleisten, da die Funkbandbreite und die Ressourcen für die Verarbeitung begrenzt sind.
  • Daher wird bei der vorliegenden Technologie die Wiedergabe des Audio-Inhalts auf der Basis des Verzögerungsbetrags der Kommunikation gesteuert. Die Wiedergabe des Audio-Inhalts wird gesteuert, um einen Sound wie einen Anstiegs-Sound zu reproduzieren, der in einem Fall, in dem der Verzögerungsbetrag klein ist, leicht Aufmerksamkeit erregt, und um in einem Fall, in dem der Verzögerungsbetrag groß ist, einen Anstiegs-Sound zu begrenzen, der das virtuelle Erlebnis durch Verzögerung stark beeinträchtigen kann. Dadurch ist es möglich, ein hochwertiges virtuelles Erlebnis bereitzustellen.
  • Da bei der vorliegenden Technologie die Wiedergabe des Audio-Inhalts auf der Basis des Verzögerungsbetrags der Kommunikation gesteuert wird, ist es möglich, ein Audio-AR-Erlebnis mit einem geringen Unbehagen selbst in einer Umgebung durchzuführen, in der es viele andere Benutzer gibt, die Funkbandbreite überlastet ist und die Verzögerung häufig auftritt.
  • Außerdem können, da das Erlebnis selbst bei großen Verzögerungsbeträgen nicht stark beeinträchtigt wird, Protokolle mit niedrigem Stromverbrauch wie Bluetooth Low Energy (BLE) verwendet werden, und die Anzahl der Ladevorgänge für die Kommunikations-Endgeräte auf der Seite des realen Objekts, die von dem Benutzer getragen werden, kann reduziert werden.
  • <Zweite Ausführungsform>
  • Ein Audio-AR-System gemäß einer zweiten Ausführungsform der vorliegenden Technologie wird beschrieben. Im Folgenden werden Beschreibungen von Konfigurationen und Aktionen, die denen des in der obigen Ausführungsform beschriebenen Audio-AR-Systems 100 ähnlich sind, weggelassen oder vereinfacht.
  • 8 ist eine schematische Darstellung zum Beschreiben des Umrisses des Audio-AR-Systems gemäß der vorliegenden Ausführungsform. In dieser Ausführungsform ist eine Vielzahl von Kommunikations-Endgeräten 20a und 20b in einer Tür 1, die ein reales Objekt ist, als Sensor-Endgerät installiert. Es sollte beachtet werden, dass die Konfigurationen der Sensoreinheiten 25 des Kommunikations-Endgerätes 20a und des Kommunikations-Endgerätes 20b nicht begrenzt sind und gleiche Konfigurationen oder unterschiedliche Konfigurationen sein können.
  • Die Konfigurationen der Kommunikations-Endgeräte 20a und 20b können gleich sein oder voneinander unterschiedlich sein. Alternativ ist das Verfahren zur Erkennung der Bewegung der Tür 1 nicht eingeschränkt und kann beliebig verwendet werden. Das heißt, die Kommunikations-Endgeräte 20a und 20b können fähig sein, die Bewegung der Tür 1 durch das gleiche Erkennungsverfahren zu erkennen. Alternativ können die Kommunikations-Endgeräte 20a und 20b in der Lage sein, die Bewegung der Tür 1 durch unterschiedliche Erkennungsverfahren zu erkennen.
  • In dieser Ausführungsform werden die Sensorinformationen (Ereigniskennung), die der Bewegung der Tür 1 entsprechen, von jedem der Sensor-Endgeräte 20a und 20b erzeugt und zusammen mit dem Zeitstempel an das Kommunikations-Endgerät 40 gesendet.
  • Das Kommunikations-Endgerät 40 führt die Wiedergabesteuerung des in 5 dargestellten Audio-Inhalts unter Bezugnahme auf die frühest erfasste Ereigniskennung und den Zeitstempel durch. Dadurch ist es möglich, ein hochwertiges virtuelles Erlebnis gemäß dem Verzögerungsbetrag bereitzustellen.
  • Es sollte beachtet werden, dass die Wiedergabe des Audio-Inhalts durchgeführt werden kann, nachdem auf das Eintreffen der Sensorinformationen (Ereigniskennung) von den beiden Kommunikations-Endgeräten 20a und 20b gewartet wurde. In diesem Fall wird die Wiedergabe des Audio-Inhalts in der Regel unter Bezugnahme auf die zuletzt erworbene Ereigniskennung und den Zeitstempel gesteuert. In diesem Fall ist die Wahrscheinlichkeit groß, dass der Verzögerungsbetrag (Ankunftszeit) größer ist, aber da das erste Wiedergabeverfahren und das zweite Wiedergabeverfahren entsprechend ausgewählt sind und die Steuerung des Audio-Inhalts durchgeführt wird, kann eine Beeinträchtigung des virtuellen Erlebnisses unterdrückt werden.
  • Beispielsweise wird in einem Fall, in dem die Erkennungsgenauigkeit der Bewegung des realen Objekts priorisiert ist, in dem der Audio-Inhalt, der der Bewegung des realen Objekts entspricht, keinen Anstiegs-Sound enthält, oder dergleichen, die Wiedergabesteuerung des Audio-Inhalts durchgeführt, nachdem auf die Sensorinformationen von allen Sensorvorrichtungen gewartet wurde. Durch entsprechendes Auswählen der Einstellungen im Einklang mit der Bedingung oder dergleichen ist es auf diese Weise möglich, ein hochwertiges virtuelles Erlebnis zu realisieren. Außerdem kann unter Verwendung der Vielzahl von Stücken von Sensorinformationen die Bewegung des realen Objekts mit hoher Genauigkeit erkannt werden, und es kann zur Verbesserung des Verzögerungsbetrags selbst bei Sensoren mit niedriger Genauigkeit beitragen.
  • In dieser Ausführungsform entsprechen die Sensorinformationen (Ereigniskennungen) der beiden Kommunikations-Endgeräte 20a und 20b einer Vielzahl von Sensorinformationen, die auf der Basis der Bewegung des realen Objekts erzeugt werden. Ein oder mehrere Stücke von Sensorinformationen, die Referenzen für die Wiedergabesteuerung sind, werden aus der Vielzahl von Stücken von Wiedergabeinformationen ausgewählt und die Wiedergabe des Audio-Inhalts wird auf der Basis von Zeitinformationen bezüglich der Erfassung der ausgewählten ein oder mehreren Stücke von Sensorinformationen gesteuert.
  • Wie oben beschrieben, können die frühesten erfassten Sensorinformationen aus der Vielzahl der Stücke von Sensorinformationen als die Sensorinformationen ausgewählt werden, die eine Referenz für die Wiedergabesteuerung sind. Alternativ dazu können alle Stücke der Sensorinformationen als die Sensorinformationen ausgewählt werden, die die Referenz für die Wiedergabesteuerung sind.
  • <Dritte Ausführungsform>
  • 9 ist eine schematische Darstellung zum Beschreiben des Umrisses eines Audio-AR-Systems gemäß einer dritten Ausführungsform der vorliegenden Technologie. In dieser Ausführungsform wird ein Kopfhörer 140 verwendet, der die in der ersten und zweiten Ausführungsform beschriebene Funktion des Kommunikations-Endgerätes 40 bereitstellt.
  • Der Kopfhörer 140 verfügt über Blöcke des Kommunikations-Endgerätes 40, die in 2 und 3 gezeigt sind. In 9 sind ein Mikrofon 23 und eine Kamera 24 dargestellt. Es sollte beachtet werden, dass ein Lautsprecher 22 in einem Abschnitt angeordnet ist, der am Ohr zu montieren ist. Außerdem wird ein Controller 21, eine Sensoreinheit 25 oder dergleichen an einer beliebigen Position des Kopfhörers 140 bereitgestellt.
  • Beispielsweise können das in einer Tür 1 installierte Kommunikations-Endgerät 20 und der von einem Benutzer getragene Kopfhörer 140 miteinander kooperieren, um eine Wiedergabesteuerung eines Audio-Inhalts entsprechend einer Bewegung der Tür 1 durchzuführen.
  • 10 ist ein Flussdiagramm, das ein Beispiel der Wiedergabesteuerung des Audio-Inhalts durch Kooperation des Kommunikations-Endgerätes 20 und des Kopfhörers 140 zeigt. Zunächst wird vom Kommunikations-Endgerät 20 eine mit der Bewegung der Tür 1 verbundene Ereigniskennung an das Kommunikations-Endgerät 40 gesendet.
  • Der Kopfhörer 140 empfängt die vom Kommunikations-Endgerät 20 gesendete Ereigniskennung (Schritt 201). Der Kopfhörer 140 erfasst Zeitinformationen, die angeben, wann das Mikrofon 23 einen Sound der Bewegung der Tür 1 erkennt, der der Ereigniskennung entspricht.
  • Beispielsweise wird in einem Fall, in dem die vom Mikrofon 23 erkannten Audiodaten analysiert werden und der Sound der Bewegung der Tür 1 entsprechend der Ereigniskennung erkannt wird, ein Zeitstempel ts0 erworben und gespeichert. In Schritt 202 wird in einem Fall, bei dem die Ereigniskennung vom Kommunikations-Endgerät 20 empfangen wird, der Zeitstempel ts0 zu einem Zeitpunkt erfasst, zu dem der Sound der Bewegung der Tür 1 entsprechend der Ereigniskennung erkannt wird.
  • Beispielsweise wird angenommen, dass die Ereigniskennung, die angibt, dass die Tür 1 geöffnet wird, vom Kommunikations-Endgerät 20 gesendet wird. Auf der Seite des Kopfhörers 140 wird der Zeitstempel ts0 zu einem Zeitpunkt, bei dem der Sound beim Öffnen der Tür 1 erkannt wird, gespeichert. In Schritt 202 wird der gespeicherte Zeitstempel ts0 erworben.
  • Der Kopfhörer 140 erfasst den aktuellen Zeitstempel ts1 (Schritt 203). Dann wird die Wiedergabe des Audio-Inhalts, der der Bewegung der Tür 1 entspricht, auf der Basis eines Verzögerungsbetrags zwischen dem Zeitstempel ts0 beim Erkennen des Sounds der Bewegung der Tür 1, der der Ereigniskennung entspricht, und dem aktuellen Zeitstempel ts1 gesteuert (Schritte 204, 205, 206, und 207).
  • So kann unter Verwendung des Empfangs der Ereigniskennung von dem im realen Objekt installierten Kommunikations-Endgerät 20 als Auslöser ein Zeitpunkt des Erkennens des Sounds der Bewegung der Tür 1 entsprechend der Ereigniskennung und ein Verzögerungsbetrag in Bezug auf den aktuellen Zeitpunkt berechnet werden. Die Wiedergabe des Audio-Inhalts kann auf der Basis des Verzögerungsbetrags gesteuert werden.
  • In diesem Fall fungiert der Kopfhörer 140 auch als Sensorvorrichtung gemäß der vorliegenden Technologie. Außerdem sind die vom Kopfhörer 140 erkannten Audiodaten und das Bestimmungsergebnis, dass es sich bei dem Sound um den Sound der Bewegung der Tür 1 entsprechend der Ereigniskennung handelt, in den auf der Basis der Bewegung des realen Objekts erzeugten Sensorinformationen enthalten. Dann entspricht der Verzögerungsbetrag zwischen dem Zeitpunkt des Erkennens des Sounds der Bewegung der Tür 1 bezüglich der Ereigniskennung und dem aktuellen Zeitpunkt der Zeitinformationen bezüglich der Erfassung der Sensorinformationen.
  • Es sollte beachtet werden, dass es auch möglich ist, die Bewegung der Tür 1 zu erkennen und die Wiedergabe des Audio-Inhalts auf der Basis der vom Mikrofon 23 erkannten Daten zu erkennen. Andererseits wird durch Verwendung des Empfangs der Ereigniskennung von dem in dem realen Objekt installierten Kommunikations-Endgerät 20 als Auslöser, wie in dieser Ausführungsform, die Erkennungsgenauigkeit der Bewegung der Tür 1 verbessert und die Wiedergabesteuerung des Audio-Inhalts gemäß dem durchzuführenden Verzögerungsbetrag ermöglicht. Dadurch kann ein hochwertiges virtuelles Erlebnis realisiert werden.
  • Es sollte beachtet werden, dass die kooperative Verarbeitung mit dem Kommunikations-Endgerät 20 nicht nur unter Verwendung der vom Mikrofon 23 des Kopfhörers 140 erfassten Audiodaten, sondern auch des von der Kamera 24 des Kopfhörers 140 erfassten Bildes durchgeführt werden kann. Das heißt, die Erkennung der Bewegung der Tür 1, die der empfangenen Ereigniskennung entspricht, kann unter Verwendung des erfassten Bildes durchgeführt werden, und der Verzögerungsbetrag in Bezug auf den aktuellen Zeitpunkt kann berechnet werden.
  • <Vierte Ausführungsform>
  • 11 ist eine schematische Darstellung zum Beschreiben des Umrisses eines Audio-AR-Systems gemäß einer vierten Ausführungsform.
  • In der ersten bis dritten Ausführungsform wird die Wiedergabe des Audio-Inhalts auf der Basis des Verzögerungsbetrags der Sensorinformationen gesteuert. Zusätzlich oder alternativ dazu kann die Wiedergabesteuerung des Audio-Inhalts basierend auf verschiedenen Bedingungen durchgeführt werden.
  • Beispielsweise in diesem Fall, in dem eine andere Person als der Benutzer eine Operation an dem realen Objekt wie der Tür durchführt oder in einem Beispiel, bei dem die Steuerung der Wiedergabe des Audio-Inhalts auf der Basis des Interessegrades des Benutzers in Bezug auf das reale Objekt durchgeführt wird.
  • Wie in 11 gezeigt, wird angenommen, dass sich ein Benutzer 2 und ein Benutzer 4 in der Nähe einer Tür 1 befinden. Von dem Benutzer 2 aus gesehen, entspricht der Benutzer 4 einer anderen Person. Von dem Benutzer 4 aus gesehen, entspricht der Benutzer 2 einer anderen Person. Es wird ein Beispiel gezeigt, in dem der Benutzer 4 die Tür 1 öffnet.
  • Wenn der Benutzer 4 die Tür 1 öffnet, erfasst eine Sensoreinheit 25 eines Kommunikations-Endgerätes 20 die Bewegung der Tür 1. Eine Bewegungserkennungseinheit 34 erkennt ein Ereignis, bei dem die Tür 1 geöffnet wird, auf der Basis des Sensorergebnisses. Eine Kommunikations-Steuereinheit 36 sendet eine der erkannten Bewegung der Tür 1 zugeordnete Ereigniskennung und einen Zeitstempel an ein Kommunikations-Endgerät 40a des Benutzers 2 und ein Kommunikations-Endgerät 40b des Benutzers 4. Es sollte beachtet werden, dass die Konfigurationen des Kommunikations-Endgerätes 40b des Benutzers 2 und des Kommunikations-Endgerätes 40a des Benutzers 4 nicht begrenzt sind und gleich oder unterschiedlich voneinander sein können. Natürlich können die gleichen Vorrichtungen auch als Kommunikations-Endgeräte 40a und 40b verwendet werden.
  • In dieser Ausführungsform bestimmt eine Benutzer-Bestimmungseinheit 67 des Kommunikations-Endgeräts 40a des Benutzers 2, ob die Tür 1 von dem Benutzer 2 betätigt wird oder nicht. In ähnlicher Weise bestimmt eine Benutzer-Bestimmungseinheit 67 des Kommunikations-Endgerätes 40b des Benutzers 4, ob die Tür 1 von dem Benutzer 4 betätigt wird oder nicht. Beispielsweise bestimmt jede Benutzer-Bestimmungseinheit 67 auf der Basis eines Abstands zwischen dem Benutzer 2 (4) und der Tür 1, ob die Tür 1 von dem Benutzer 2 (4) betätigt wird oder nicht.
  • Im Kommunikations-Endgerät 40b des Benutzers 4 wird bestimmt, dass die Tür 1 von dem Benutzer 4 betätigt wird. In diesem Fall wird beispielsweise die in 5 gezeigte Verarbeitung durchgeführt, um eine Audio-AR zu realisieren.
  • Im Kommunikations-Endgerät 40a des Benutzers 2 wird bestimmt, dass die Tür 1 nicht von dem Benutzer 2 betätigt wird. Das heißt, es wird bestimmt, dass die Tür 1 von einer anderen Person betätigt wird. In diesem Fall ist die Wiedergabe des Anstiegs-Sounds unabhängig vom Verzögerungsbetrag der Sensorinformationen (Ereigniskennung) eingeschränkt. Alternativ dazu wird die Lautstärke des Audio-Inhalts ausreichend reduziert. Alternativ dazu kann auch die Wiedergabe des Audio-Inhalts selbst eingeschränkt werden (z. B. indem die Wiedergabe des Inhalts gestoppt wird, die Lautstärke begrenzt wird und dergleichen mehr).
  • Beispielsweise können ein erstes Wiedergabeverfahren und ein zweites Wiedergabeverfahren, die selektiv auf der Basis des Verzögerungsbetrags durchgeführt werden, durchgeführt werden. Das heißt, in einem Fall, in dem bestimmt wird, dass die Tür 1 von dem Benutzer des Kommunikations-Endgerätes betätigt wird, wird die Wiedergabe des Audio-Inhalts, der der Bewegung der Tür 1 entspricht, durch das erste Wiedergabeverfahren gesteuert. In einem Fall, in dem bestimmt wird, dass die Tür 1 von einer anderen Person betätigt wird, wird die Wiedergabe des Audio-Inhalts, der der Bewegung der Tür 1 entspricht, durch das zweite Wiedergabeverfahren gesteuert. Eine solche Verarbeitung kann durchgeführt werden.
  • Wie oben beschrieben, wird die Wiedergabesteuerung des Audio-Inhalts entsprechend einer Differenz im Abstand zwischen dem realen Objekt und dem Benutzer durchgeführt, so dass der Benutzer sich auf das in der Nähe des Benutzers auftretende Ereignis konzentrieren und es realistischer erleben kann. Außerdem können die Kommunikations-Inhalte zu entfernten Ereignissen und damit die Anzahl der benötigten Systeme, die im Audio-AR-System 100 verwendet werden, reduziert werden.
  • Es sollte beachtet werden, dass das Bestimmungsverfahren der Benutzer-Bestimmungseinheit 67 nicht eingeschränkt ist. Beispielsweise kann auch in einem Fall, in dem ein Bild, in dem die Tür 1 von dem Benutzer 4 betätigt wird, von der Kamera 24 erfasst wird, bestimmt werden, dass eine Operation am realen Objekt von einer anderen Person als dem Benutzer 2 durchgeführt wird. Alternativ kann sie beispielsweise auf der Basis eines von der Sensoreinheit 25 erfassten Sensorwertes, wie z. B. der Beschleunigung der Tür 1, bestimmt werden.
  • Außerdem ist auch die Steuerung der Wiedergabe des Audio-Inhalts durch die Wiedergabe-Steuereinheit 57 nicht eingeschränkt. Beispielsweise kann in einem Fall, in dem die Operation an dem realen Objekt von einer anderen Person als dem Benutzer 2 durchgeführt wird, die Wiedergabe des Audio-Inhalts eingeschränkt sein.
  • Die vorliegende Technologie ist nicht auf den Fall beschränkt, in dem der Abstand zwischen dem realen Objekt und dem Benutzer zur Bestimmung der Person verwendet wird, die die Tür 1 betätigt. Die Wiedergabesteuerung des Audio-Inhalts kann auf der Basis des Abstands selbst zwischen dem realen Objekt und dem Benutzer durchgeführt werden. Beispielsweise kann die Wiedergabe des Audio-Inhalts auf der Basis gesteuert werden, ob der Abstand zum realen Objekt in einem bestimmten Bereich liegt oder nicht, ob der Abstand in einem vorbestimmten Bereich in der Nähe des realen Objekts liegt oder nicht, ob der Abstand in einem vorbestimmten Bereich weit entfernt vom realen Objekt liegt oder nicht, oder dergleichen. Dementsprechend können verschiedene virtuelle Erlebnisse realisiert werden, die der Benutzer genießen kann.
  • Als Nächstes wird eine Beschreibung gegeben, bei der der Benutzer 2 auf der Basis des Interessegrades an der Tür 1 die Wiedergabe des Audio-Inhalts steuert.
  • Die Interessegrad-Bestimmungseinheit 66 bestimmt auf der Basis der vom Mikrofon 23, der Kamera 24 und der Sensoreinheit 25 erfassten Erkennungsinformationen, wie groß der Interessegrad des Benutzers 2 an der Tür 1 ist.
  • Beispiele für das Verfahren zum Bestimmen des Interessegrades schließen ein, ob der Benutzer 2 die Tür 1 betätigt, ob der Benutzer 4, der die Tür 1 betätigt, in einer Gruppenbeziehung mit dem Benutzer 2 steht, ob der Benutzer 2 den ausgegebenen Audio-Inhalt beim Betätigen der Tür 1 bereits erlebt hat, ob der Benutzer 2 auf die Tür 1 blickt, ob der Benutzer 2 in Richtung der Tür 1 in der Nähe der Tür 1 steht und dergleichen.
  • Die Gruppenbeziehung kann mindestens eines der folgenden Merkmale aufweisen: ob der Benutzer 4 zur selben Gruppe gehört wie der Benutzer 2, ob der Benutzer ein Familienmitglied des Benutzers 4 ist, ob der Benutzer 4 ein Freund des Benutzers 4 ist, oder ob der Benutzer 4 ein Freund des Benutzers 4 bei einem Social-Networking-Service (SNS) ist. Natürlich ist die vorliegende Technologie nicht darauf beschränkt, und die Gruppenbeziehung kann auf der Basis der Beziehungen zu verschiedenen Benutzern 2 eingestellt werden.
  • Die Wiedergabe-Steuereinheit 57 steuert die Wiedergabe des Audio-Inhalts auf der Basis eines Bestimmungsergebnisses der Interessegrad-Bestimmungseinheit 66. Beispielsweise gibt die Wiedergabesteuereinheit 57 einen Anstiegs-Sound in einem Fall wieder, in dem der Interessegrad des Benutzers 2 in Bezug auf die Tür 1 hoch ist, beispielsweise in einem Fall, in dem der Benutzer 2 sieht, wie der Benutzer 4, der ein Freund des Benutzers 2 ist, die Tür 1 betätigt. Anderenfalls gibt die Wiedergabe-Steuereinheit 57 in einem Fall, in dem der Interessegrad des Benutzers 2 in Bezug auf die Tür 1 niedrig ist, einen Sound mit eingeschränktem Anstiegs-Sound wieder.
  • Beispielsweise wird in einem Fall, in dem der Interessegrad des Benutzers 2 hoch ist, eine Wiedergabesteuerung ähnlich wie bei einer Operation durch den Benutzer 2 durchgeführt, selbst wenn eine andere Person eine Operation durchführt. Andererseits wird in einem Fall, in dem der Interessegrad des Benutzers 2 niedrig ist, eine Wiedergabesteuerung ähnlich derjenigen, wenn eine andere Person eine Operation durchführt, selbst dann durchgeführt, wenn der Benutzer 2 eine Operation durchführt. Wenn beispielsweise der Benutzer 2 die Tür 1 öffnet, während er in eine andere Richtung schaut oder mit einer anderen Person spricht, wird bestimmt, dass der Interessegrad des Benutzers niedrig ist, und die Wiedergabe des Anstiegs-Sounds wird eingeschränkt. Oder die Wiedergabe des Audio-Inhalts selbst wird eingeschränkt.
  • Es sollte beachtet werden, dass das Verfahren zum Bestimmen des Interessegrades nicht eingeschränkt ist. Beispielsweise kann der Interessegrad auf der Basis des Bewegens oder Stehens des Benutzers 2 bestimmt werden. Alternativ kann beispielsweise, wenn der Benutzer 2 verschiedene Sounds wie Musik oder andere Audio-Inhalte über den Lautsprecher 22 ausgibt, die Wiedergabe der Audio-Inhalte entsprechend der Bewegung der Tür 1 eingeschränkt werden.
  • Außerdem ist die vorliegende Technologie nicht auf die Steuerung der Wiedergabe des Audio-Inhalts basierend auf dem Interessegrad beschränkt. Beispielsweise kann jedem Interessegrad ein numerischer Wert zugeordnet werden, um die Wiedergabe des Audio-Inhalts in einem Fall, in dem ein Schwellenwert überschritten wird, zu steuern. Alternativ kann beispielsweise eine Vielzahl von Verfahren zur Messung des Interessegrades in beliebiger Kombination durchgeführt werden.
  • Das heißt, wenn der Benutzer 4 die Tür 1 betätigt, wird in der vierten Ausführungsform der Sound mit dem eingeschränkten Anstiegs-Sound wiedergegeben. Selbst in diesem Fall, in dem bestimmt wird, dass der Benutzer 2 einen hohen Interessegrad in Bezug auf die Tür 1 hat, kann die Wiedergabe-Steuereinheit 57 den Anstiegs-Sound wiedergeben. Beispielsweise kann in einem Fall, in dem der die Tür 1 betätigende Benutzer 4 und der Benutzer 2 nicht in der Gruppenbeziehung stehen, der Benutzer 2 die Tür 1 in der Nähe der Tür 1 betrachtet und der Benutzer 2 den beim Betätigen der Tür 1 ausgegebenen Audio-Inhalt nicht erfahren hat, die Wiedergabe-Steuereinheit 57 den Anstiegs-Sound wiedergeben.
  • Alternativ kann beispielsweise die Wiedergabe-Steuereinheit 57 den Anstiegs-Sound in einem Fall wiedergeben, in dem der Interessegrad des Benutzers 2 in Bezug auf die Tür 1 niedrig ist.
  • 12 ist eine schematische Darstellung, die eine Steuerung zeigt, bei der Sensorinformationen auf der Basis des Interessegrades eingeschränkt werden.
  • Eine gerade Linie 110 gibt einen Sensorwert, z. B. die Beschleunigung, in Bezug auf die Bewegung der Tür an, und die Zeit läuft in der Pfeilrichtung ab. Eine gerade Linie 120 gibt eine Wellenform des von dem Kommunikations-Endgerät 40 ausgegebenen Audio-Inhalts an, und die Zeit läuft in der Pfeilrichtung ab.
  • Die durch die Sensoreinheit 25 erfasste Bewegung der Tür 1 wird an das Kommunikations-Endgerät 40 gesendet. Das Kommunikations-Endgerät 40 steuert die Wiedergabe des Audio-Inhalts auf der Basis der gesendeten Bewegung der Tür 1.
  • Wie in 12A gezeigt, wird die Bewegung der Tür 1 häufig in kurzen Intervallen gesendet, so dass der Benutzer 2 den Audio-Inhalt, der sich auf die Bewegung der Tür 1 bezieht, noch genauer hören kann. Wenn beispielsweise die Tür 1 gewaltsam geöffnet wird oder die Tür 1 langsam geöffnet wird, steuert die Wiedergabe-Steuereinheit 57 den Audio-Inhalt gemäß der Beschleunigung der Tür 1. Dementsprechend kann der Benutzer 2 ein hochwertiges virtuelles Erlebnis erleben.
  • In der vierten Ausführungsform wird der Informationsumfang der auf Basis der Bewegung der Tür 1 erzeugten Sensorinformationen, die von der Sensoreinheit 25 gesendet werden, auf der Basis des Interessegrades des Benutzers 2 in Bezug auf die Tür 1 begrenzt.
  • Wie in 12A gezeigt, empfängt die Kommunikations-Steuereinheit 54 in einem Fall, in dem die Interessegrad-Bestimmungseinheit 66 bestimmt, dass der Interessegrad des Benutzers 2 in Bezug auf die Tür 1 hoch ist, die Informationsmenge der von der Sensoreinheit 25 erfassten Sensorinformationen ohne Einschränkung.
  • Außerdem, wie in 12B gezeigt, begrenzt die Kommunikations-Steuereinheit 54 in einem Fall, in dem die Interessegrad-Bestimmungseinheit 66 bestimmt, dass der Interessegrad des Benutzers 2 in Bezug auf die Tür 1 niedrig ist, die Informationsmenge der von der Sensoreinheit 25 erfassten Sensorinformationen. Als konkretes Beispiel für die Beschränkung des Informationsumfangs der Sensorinformationen empfängt die Kommunikations-Steuereinheit 54 nur erste Sensorinformationen 111, wenn die Tür 1 geöffnet wird, und letzte Sensorinformationen 112, wenn die Bewegung der Tür 1 stoppt.
  • In einem Fall, in dem bestimmt wird, dass der Interessegrad des Benutzers 2 in Bezug auf die Tür 1 niedrig ist, kann die Kommunikations-Steuereinheit 36, die der Absender ist, die Informationsmenge der zu sendenden Sensorinformationen begrenzen. Natürlich kann der Informationsumfang der Sensorinformationen sowohl beim Sender als auch beim Empfänger eingeschränkt sein.
  • Es sollte beachtet werden, dass das Verfahren zur Einschränkung des Informationsumfangs der Sensorinformationen nicht begrenzt ist. Beispielsweise kann die Informationsmenge auf der Basis der Kommunikationsumgebungen des Kommunikations-Endgerätes 20 und des Kommunikations-Endgerätes 40 eingeschränkt werden. Alternativ können beispielsweise in einem Fall, in dem der Benutzer 2 einen hohen Interessegrad in Bezug auf die Tür 1 hat, mehr Sensorinformationen gesendet werden.
  • Wenn die Sensorinformationen der Türbewegung häufig gesendet werden, werden die Kommunikations- und Verarbeitungsressourcen beansprucht, da der realistische Sound-Ausdruck, der der Bewegung des realen Objekts entspricht, möglich wird. Beispielsweise kann in einem Fall, in dem es eine Vielzahl von realen Objekten gibt, die nicht die Tür sind, an der das Kommunikations-Endgerät 20 angeordnet ist, der Verzögerungsbetrag größer sein, wenn deren Sensorinformationen häufig gesendet werden.
  • Daher wird in der vierten Ausführungsform der Interessegrad des Benutzers bestimmt, so dass die Sensorinformationen häufig nur dann gesendet werden, wenn der Benutzer das reale Objekt betrachtet oder betätigt, und die Häufigkeit des Sendens der Sensorinformationen, wenn der Benutzer das reale Objekt nicht betrachtet, reduziert wird. Dementsprechend kann ein hochwertiges virtuelles Erlebnis erlebt werden, indem der Verzögerungsbetrag reduziert wird.
  • Außerdem wird durch die Wiedergabe nur des Sounds, wenn der Benutzer das reale Objekt aktiv betätigt, als so genannter auffälliger Sound (Anstiegs-Sound), wie z. B. ein Hochton-Sound, ein großvolumiger Sound, ein Sound mit einer sich pro Zeiteinheit stark ändernden Amplitude oder dergleichen, der Sound, auf den sich der Benutzer konzentrieren möchte, selbst in einer überfüllten Umgebung, in der viele andere Benutzer anwesend sind, in einer sehr auffälligen Weise wiedergegeben. Außerdem wird der Anstiegs-Sound des realen Objekts, das von einer anderen Person betätigt wird, und bei dem der Interessegrad des Benutzers niedrig ist, eingeschränkt. Dementsprechend ist es möglich, sich auf das Erlebnis des Benutzers zu konzentrieren, da das Betätigungsgeräusch des anderen Benutzers nicht wahrnehmbar ist. Außerdem ist es in einer Situation, in der verschiedene Ereignisse um den Benutzer herum auftreten, möglich, einen Sound zu hören, der sich auf ein besonders interessantes Ereignis bezieht, und es ist möglich, sich weiter auf das wichtige Erlebnis zu konzentrieren.
  • <Andere Ausführungsformen>
  • Die vorliegende Technologie ist nicht auf die oben erwähnten Ausführungsformen beschränkt, und verschiedene andere Ausführungsform können realisiert werden.
  • Bei der oben beschriebenen ersten bis vierten Ausführungsform ist das eigentliche Objekt, an dem das Kommunikations-Endgerät 20 installiert ist, die Tür 1. Die vorliegende Technologie ist nicht darauf beschränkt, und das reale Objekt kann ein im realen Raum existierendes Objekt sein, das von dem Benutzer 2 betätigt wird. Beispiele für das reale Objekt umfassen Stühle, Taschen, Autos, Schalter, Stifte und dergleichen. Alternativ kann es sich beispielsweise um ein reales Objekt handeln, das nicht von dem Benutzer betätigt werden kann. Beispielsweise kann die vorliegende Technologie auch auf eine Flüssigkristallanzeige oder dergleichen angewendet werden, die eine Werbung eines Senders anzeigt. Außerdem kann die Operation des Benutzers 2 an dem realen Objekt auch als eine Bewegung des Benutzers 2 bezeichnet werden.
  • In der oben beschriebenen ersten bis vierten Ausführungsform wird die Steuerung der Wiedergabe des Audio-Inhalts auf der Basis des Verzögerungsbetrags, des Interessegrades und dergleichen gesteuert. Die Steuerung der Wiedergabe des Audio-Inhalts ist nicht darauf beschränkt, und die Wiedergabe des Audio-Inhalts kann auf der Basis der Umgebung des Benutzers 2 oder des Umgebungsgeräusches gesteuert werden. Beispielsweise kann die Wiedergabe des Audio-Inhalts auf der Basis der Personendichte, der Beleuchtungshelligkeit, der Funkverkehrsbedingungen, der An- oder Abwesenheit eines Freundes und dergleichen gesteuert werden. Alternativ kann die Wiedergabe des Audio-Inhalts auf der Basis gesteuert werden, ob die Umgebungsgeräusche störend oder leise sind (die Lautstärke der Umgebungsgeräusche hoch oder niedrig ist), ob ein dem Audio-Inhalt ähnlicher Sound fließt oder nicht, ob der Benutzer selbst spricht oder nicht, und dergleichen. Alternativ kann die Wiedergabe des Audio-Inhalts auf der Basis gesteuert werden, ob sich der Benutzer auf andere Inhalte konzentriert oder nicht, ob der Benutzer ein Video über ein Smartphone oder dergleichen anschaut oder nicht, und dergleichen. Alternativ kann beispielsweise die Wiedergabe des Audio-Inhalts auf der Basis gesteuert werden, wie oft der Benutzer 2 die Tür 1 betätigt.
  • Außerdem wird in der oben beschriebenen ersten bis vierten Ausführungsform die Steuerung der Wiedergabe des Audio-Inhalts auf der Basis der Reihenfolge durchgeführt, in der die Ereignisse eintreffen. Die Reihenfolge des Eintreffens der Ereigniskennungen kann ohne Einschränkung synchronisiert werden. Beispielsweise kann die Wiedergabe des Audio-Inhalts bei Erreichen der Ereigniskennung, die den Sound des auf der Wand landenden Geschosses angibt, eingeschränkt werden, bis die Ereigniskennung, die den Sound des Abschusses des Geschosses angibt, erreicht ist. Dementsprechend kann verhindert werden, dass das virtuelle Erlebnis des Benutzers beeinträchtigt wird, indem die Reihenfolge der wiederzugebenden Audio-Inhalte richtig gesteuert wird.
  • 13 ist eine schematische Darstellung, die eine Kommunikationssteuerung von Sensorinformationen gemäß einer anderen Ausführungsform zeigt. Wie in 13 gezeigt, gibt die Linie 130 die Zeitachse der Wellenform an, die den Sensorwert, wie z. B. die Beschleunigung in Bezug auf die Bewegung der Tür 1, in Pfeilrichtung verlaufen lässt. Die gerade Linie 140 gibt eine Zeitachse einer Wellenform an, die eine Wellenform des vom Kommunikations-Endgerät 40 ausgegebenen Audio-Inhalts mit der in Pfeilrichtung verstrichenen Zeit angibt.
  • In der oben beschriebenen ersten bis vierten Ausführungsform wird der Audio-Inhalt wiedergegeben, indem die auf der Basis der Öffnungsbewegung der Tür 1 erzeugten Sensorinformationen an das Kommunikations-Endgerät 40 gesendet werden. Die vorliegende Technologie ist hierauf nicht beschränkt, die auf der Basis der Öffnungsbewegung der Tür 1 erzeugten Sensorinformationen können separat in Stufen gesendet werden.
  • 13A ist eine schematische Darstellung, die die Wiedergabe des Audio-Inhalts auf der Basis der Sensorinformationen vom Kommunikations-Endgerät 20 zeigt.
  • Wie in 13A gezeigt, erfasst das Kommunikations-Endgerät 20 die Bewegung der Tür. Dabei sendet die Kommunikations-Steuereinheit 36 Sensorinformationen 131, die angeben, dass sich die Tür zu bewegen beginnt, an die Kommunikations-Steuereinheit 54 des Kommunikations-Endgerätes 40. Die Wiedergabe-Steuereinheit 57 steuert die Wiedergabe des Audio-Inhalts entsprechend der Bewegung, bei der sich die Tür zu bewegen beginnt.
  • Als Nächstes, wenn die Tür weiter geöffnet wird, sendet die Kommunikations-Steuereinheit 36 an die Kommunikations-Controllereinheit 54 Sensorinformationen 132, die angeben, dass sich die Tür bewegt. Die Wiedergabe-Steuereinheit 57 steuert die Wiedergabe des Audio-Inhalts entsprechend der Bewegung, bei der sich die Tür bewegt.
  • Das heißt, die Wiedergabe-Steuereinheit 57 startet die Wiedergabe des Audio-Inhalts als Reaktion auf das Erfassen der Sensorinformationen und bestimmt auf der Basis, ob die Wiedergabe des Audio-Inhalts fortgesetzt werden soll oder nicht, ob Informationen bezüglich der Fortsetzung der Wiedergabe des Audio-Inhalts erfasst werden oder nicht. Es sollte beachtet werden, dass in dieser Ausführungsform die Sensorinformationen 131, 132 und 133 Informationen bezüglich der Fortsetzung der Wiedergabe des Audio-Inhalts entsprechen.
  • Damit die Wiedergabe-Steuereinheit 57 die Wiedergabe des Audio-Inhalts entsprechend der Bewegung der Tür steuern kann, ist es notwendig, Sensorinformationen zu speichern, die die Bewegung, bei der die Tür geöffnet wird, für einige Millisekunden angeben. Da jedoch die Wiedergabe-Steuereinheit 57 die Wiedergabe des Audio-Inhalts auf der Basis des Verzögerungsbetrags der Kommunikation steuert, wie in den obengenannten Ausführungsformen gezeigt, kann der Verzögerungsbetrag größer sein, wenn die Sensorinformationen für mehrere Millisekunden gespeichert werden.
  • Da die Sensorinformationen wie in dieser Ausführungsform schrittweise gesendet werden, ist es möglich, den Verzögerungsbetrag zu reduzieren, bis erkannt werden kann, dass sich das reale Objekt bewegt hat. Dementsprechend kann ein hochwertiges virtuelles Erlebnis erlebt werden.
  • 13B ist eine schematische Darstellung, die den Wiedergabestopp des Audio-Inhalts auf der Basis der Sensorinformationen vom Kommunikations-Endgerät 20 zeigt.
  • Wie in 13B gezeigt, erfasst das Kommunikations-Endgerät 20 die Bewegung der Tür, und die Kommunikations-Steuereinheit 36 sendet an die Kommunikations-Steuereinheit 54 des Kommunikations-Endgerätes 40 die Sensorinformationen 131, die angeben, dass sich die Tür zu bewegen beginnt. Die Wiedergabe-Steuereinheit 57 steuert die Wiedergabe des Audio-Inhalts entsprechend der Bewegung, bei der sich die Tür zu bewegen beginnt.
  • Als nächstes, wenn die Bewegung der Tür stoppt, sendet die Kommunikations-Steuereinheit 36 an die Kommunikations-Steuereinheit 54 die Sensorinformationen 133, die angeben, dass die Tür stoppt. Die Wiedergabe-Steuereinheit 57 steuert die Wiedergabe des Audio-Inhalts auf der Basis der Sensorinformationen, die angeben, dass die Tür stoppt. Beispielsweise stoppt die Wiedergabe-Steuereinheit 57 die Wiedergabe des Audio-Inhalts, indem sie den Sound „KLICK“ ausblendet, der wiedergegeben wird, wenn sich die Tür zu bewegen beginnt.
  • Das heißt, in 13B wird die Steuerung so durchgeführt, dass die Wiedergabe des Audio-Inhalts gestoppt wird, wenn die Bewegung der Tür gestoppt wird, nachdem der Audio-Inhalt, der der Bewegung entspricht, bei der die Tür geöffnet wird, wiedergegeben worden ist. Dadurch ist es möglich, die Wiedergabe des Audio-Inhalts zu verhindern, der der unbeabsichtigten Bewegung des realen Objekts durch den Benutzer entspricht.
  • 14 ist ein Diagramm, das Beispiele von Audio-Inhalten abhängig von verschiedenen Szenen zeigt.
  • In der oben beschriebenen ersten bis vierten Ausführungsform wird der Sound, der beim Bewegen des realen Objekts, z. B. der Tür, erzeugt wird, als virtueller Sound eingestellt. Die vorliegende Technologie ist nicht darauf beschränkt, und virtuelle Sounds können in Abhängigkeit von verschiedenen Szenen eingestellt werden.
  • Als Beispiel können Audio-Inhalte, die mit einem Ort oder Raum verbunden sind, wiedergegeben werden. Wenn sich der Benutzer beispielsweise einem Ort nähert, an dem ein Bild eines Vogels oder eines Flusses dekoriert ist, kann ein Vogelgesang oder ein Fluss-Sound wiedergegeben werden. Alternativ kann beispielsweise ein Sound von Regentropfen wiedergegeben werden, wenn ein Benutzer einen regnerischen Raum (Video) betrachtet.
  • Als ein Beispiel können Audio-Inhalte wiedergegeben werden, die in Abhängigkeit von der Bewegung des Benutzers variieren. Beispielsweise kann der Audio-Inhalt so wiedergegeben werden, dass sich der Sound der Schritte in Abhängigkeit vom Laufen oder Gehen des Benutzers ändert.
  • Als ein Beispiel können Audio-Inhalte wiedergegeben werden, die sich mit der Bewegung eines anderen Benutzers verändern. Beispielsweise kann der Sound von Schritten wiedergegeben werden, wenn andere Benutzer in der Nähe gehen.
  • Als ein Beispiel kann ein Audio-Inhalt wiedergegeben werden, der sich in Abhängigkeit von der Bewegung des realen Objekts im realen Raum verändert. Beispielsweise kann in einem Fall oder dergleichen, in dem ein Spielerlebnis in der realen Welt erhalten werden kann, ein Sound beim Öffnen einer Schatzkiste im realen Raum nur für den Benutzer wiedergegeben werden, der das Kommunikations-Endgerät 40 verwendet. Außerdem können verschiedene Arten von Audio-Inhalten durch Betätigen eines Fensters, eines Schalters, einer Fernbedienung und dergleichen wiedergegeben werden.
  • Als Beispiel können Audio-Inhalte wiedergegeben werden, die sich mit virtuellen Ereignissen im Szenario ändern. Beispielsweise kann in einem Fall, in dem ein virtuelles Objekt, das einen Geist simuliert, im Blickfeld des Benutzers erscheint, ein Schrei des virtuellen Geistes wiedergegeben werden.
  • Natürlich ist die vorliegende Technologie nicht darauf beschränkt, und es können verschiedene Szenen angenommen werden. Beispielsweise kann in einem Fall, in dem das Fahrzeug auf einer Straße fährt, wenn es nicht regnet, ein Audio-Inhalt, der einen Sound bereitstellt, als ob das Fahrzeug auf der regennassen Straße fahren würde, über einen bordeigenen Lautsprecher wiedergegeben werden.
  • In der oben beschriebenen ersten bis vierten Ausführungsform wird die Wiedergabe des Audio-Inhalts entsprechend der Bewegung des realen Objekts gesteuert. Die vorliegende Technologie ist nicht darauf beschränkt, und das Kommunikations-Endgerät 40, eine dedizierte Vorrichtung oder dergleichen, kann vibrieren.
  • In der oben beschriebenen ersten bis vierten Ausführungsform werden die auf der Basis der Bewegung des realen Objekts erzeugten Sensorinformationen von dem Kommunikations-Endgerät 20 gesendet. Die vorliegende Technologie ist nicht darauf beschränkt, und ein Steuersignal zum Wiedergegeben des Audio-Inhalts kann von dem Kommunikations-Endgerät 20 gesendet werden.
  • In der oben beschriebenen ersten bis vierten Ausführungsform wird die Wiedergabe des Audio-Inhalts durch das erste und zweite Wiedergabeverfahren in einem Fall gesteuert, in dem der Sound unmittelbar als Reaktion auf die Bewegung des realen Objekts erzeugt wird, wenn beispielsweise die Tür 1 geöffnet wird. Die vorliegende Technologie ist nicht darauf beschränkt, und die Steuerung der Wiedergabe des Audio-Inhalts kann auch an Sounds durchgeführt werden, die geringfügig nach der Bewegung des realen Objekts erzeugt werden. Beispielsweise kann, wenn sich eine offene Tür schließt, der Audio-Inhalt auf der Basis eines Verzögerungsbetrags früher wiedergegeben werden, als die Tür sich schließt.
  • Außerdem wird in der oben beschriebenen ersten bis vierten Ausführungsform der Verzögerungsbetrag auf der Basis der Zeitdifferenz zwischen den erfassten Zeitstempeln berechnet. Die vorliegende Technologie ist nicht darauf beschränkt, und Verzögerungsbetragsinformationen selbst können anstelle der Zeitstempel erfasst werden.
  • In der oben beschriebenen ersten bis vierten Ausführungsform wird der Audio-Inhalt für alle Benutzer wiedergegeben, die das Kommunikations-Endgerät 40 haben. Die vorliegende Technologie ist darauf nicht beschränkt, und der Audio-Inhalt kann über den Lautsprecher 22 so ausgegeben werden, dass der Sound nur für einige der Benutzer, die das Kommunikations-Endgerät 40 haben, hörbar ist. Beispielsweise kann der Sound nur über die Lautsprecher 22 bestimmter Benutzer wiedergegeben werden, die eine Sprachanweisung von einem Fahrkartenautomaten, einer Informationstafel oder dergleichen eines Bahnhofs benötigen.
  • In der oben beschriebenen ersten bis vierten Ausführungsform wird die Wiedergabe des Audio-Inhalts im Einklang mit dem Interessegrad des Benutzers in Bezug auf das reale Objekt gesteuert. Die vorliegende Technologie ist nicht darauf beschränkt, und die Lautstärke des Audio-Inhalts kann gemäß der Umgebung, dem Abstand zum anderen Benutzer oder zum realen Objekt und dergleichen gesteuert werden. Beispielsweise kann die Wiedergabe des Audio-Inhalts der Bewegung des realen Objekts durch Operationen, die von dem zehnten und nachfolgenden anderen Benutzern durchgeführt werden, eingeschränkt werden.
  • In der oben beschriebenen ersten bis vierten Ausführungsform wird die Wiedergabe des Audio-Inhalts auf der Basis des Verzögerungsbetrags gesteuert. Die vorliegende Technologie ist nicht darauf beschränkt, und in einem Fall, in dem die Verzögerung auf der Seite des Kommunikations-Endgerätes 40 groß ist, kann der auszugebende Audio-Inhalt so gesteuert werden, dass er eine leichte Datei ist. In einem Fall, in dem die Verzögerung groß ist, kann beispielsweise eine leichte feste Datei wie das RIFF-Wellenform-Audioformat (WAVE) verwendet werden. Alternativ kann beispielsweise in einem Fall, in dem die Verzögerung gering ist, eine Echtzeit-Sprachsynthesedatei verwendet werden.
  • In der oben beschriebenen ersten bis vierten Ausführungsform wird der Sound mit dem eingeschränkten Anstiegs-Sound als Verfahren zur Einschränkung des Anstiegs-Sounds wiedergegeben. Die vorliegende Technologie ist nicht darauf beschränkt, und es können verschiedene Verfahren zur Einschränkung des Anstiegs-Sounds verwendet werden. Beispielsweise kann der Anstiegs-Sound so verdeckt werden, dass der Benutzer ihn nur schwer wahrnehmen kann, indem der Anstiegs-Sound-Teil des Audio-Inhalts eingeblendet wird. Alternativ kann bei der Wiedergabe des Anstiegs-Sounds ein anderer Sound, z. B. ein Menschenmengen-Sound, überlagert werden.
  • Die Zusammenarbeit eines im Kommunikations-Endgerät installierten Computers und eines anderen Computers, der fähig ist, mit diesem über ein Netzwerk oder dergleichen zu kommunizieren, oder eines anderen Computers, der fähig ist, mit dem HMD zu kommunizieren, kann das Informationsverarbeitungsverfahren und das Programm gemäß der vorliegenden Technologie durchführen und die Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie aufbauen.
  • Das heißt, das Informationsverarbeitungsverfahren und das Programm gemäß der vorliegenden Technologie können nicht nur in einem Computersystem ausgeführt werden, das von einem einzigen Computer ausgebildet wird, sondern auch in einem Computersystem, in dem eine Vielzahl von Computern zusammenarbeiten. Es sollte beachtet werden, dass in der vorliegenden Offenbarung unter einem System ein Satz von Komponenten (wie Vorrichtungen und Module (Teile)) zu verstehen ist und es keine Rolle spielt, ob sich alle Komponenten in einem einzigen Gehäuse befinden. Daher stellen sowohl eine Vielzahl von Vorrichtungen, die in getrennten Gehäusen untergebracht und über ein Netzwerk miteinander verbunden sind, als auch eine einzelne Vorrichtung mit einer Vielzahl von Modulen, die in einem einzigen Gehäuse untergebracht sind, ein System dar.
  • Die Ausführung des Informationsverarbeitungsverfahrens und des Programms gemäß der vorliegenden Technologie durch das Computersystem umfasst beispielsweise sowohl einen Fall, in dem die Erkennung des Ereignisses, die Berechnung des Verzögerungsbetrags und die Steuerung der Wiedergabe des Audio-Inhalts und dergleichen von einem einzigen Computer ausgeführt werden, als auch einen Fall, in dem die jeweiligen Prozesse von verschiedenen Computern ausgeführt werden. Ferner beinhaltet die Durchführung der jeweiligen Prozesse durch einen vorbestimmten Computer, dass ein anderer Computer veranlasst wird, einige oder alle dieser Prozesse durchzuführen und Ergebnisse davon zu erhalten.
  • Das heißt, das Informationsverarbeitungsverfahren und das Programm gemäß der vorliegenden Technologie können auch auf eine Cloud-Computing-Konfiguration angewendet werden, bei der eine einzelne Funktion von einer Vielzahl von Vorrichtungen über ein Netzwerk gemeinsam genutzt und gemeinsam verarbeitet wird.
  • Die jeweiligen Konfigurationen wie die Informationsverarbeitungseinheit, die Ereigniserkennungseinheit, die Verzögerungsberechnungseinheit und die Kommunikations-Steuereinheit oder dergleichen, die oben unter Bezugnahme auf die Zeichnungen beschrieben wurden, stellen lediglich eine Ausführungsform dar und können beliebig modifiziert werden, ohne vom Kern der vorliegenden Technologie abzuweichen. Das heißt, es können beliebige andere Konfigurationen, Algorithmen und dergleichen zum Ausführen der vorliegenden Technologie verwendet werden.
  • Es sollte beachtet werden, dass die in der vorliegenden Offenbarung beschriebenen Effekte lediglich illustrativ und nicht einschränkend sind, und dass auch andere Effekte bereitgestellt werden können. Die obige Beschreibung der Vielzahl von Effekten bedeutet nicht, dass diese Effekte immer zur gleichen Zeit bereitgestellt werden. Das bedeutet, dass zumindest beliebige der oben genannten Effekte auf eine Weise erhalten werden können, die von Bedingungen und dergleichen abhängt, und dass Effekte, die in der vorliegenden Offenbarung nicht beschrieben sind, natürlich bereitgestellt werden können.
  • Mindestens zwei der Merkmale in den oben beschriebenen Ausführungsformen können kombiniert werden. Mit anderen Worten, es können verschiedene Merkmale, die in den jeweiligen Ausführungsformen beschrieben sind, beliebig über die Ausführungsformen kombiniert werden. Ferner sind die oben beschriebenen verschiedenen Effekte lediglich veranschaulichend, nicht einschränkend, und andere Effekte können bereitgestellt werden.
  • Es sollte beachtet werden, dass die vorliegende Technologie auch die folgenden Konfigurationen annehmen kann.
    • (1) Informationsverarbeitungsvorrichtung, die Folgendes aufweist:
      • eine Wiedergabe-Steuereinheit, die auf der Basis von Zeitinformationen bezüglich der Erfassung von Sensorinformationen, die auf der Basis einer Bewegung eines realen Objekts erzeugt werden, die Wiedergabe von Audio-Inhalten, die der Bewegung des realen Objekts entsprechen, durch ein erstes Wiedergabeverfahren steuert in einem Fall, in dem die Zeitinformationen innerhalb eines vorbestimmten Zeitbereichs liegen, und die Wiedergabe der Audio-Inhalte durch ein zweites Wiedergabeverfahren steuert in einem Fall, in dem die Zeitinformationen außerhalb des vorbestimmten Zeitbereichs liegen.
    • (2) Informationsverarbeitungsvorrichtung gemäß (1), wobei die Zeitinformationen auf der Basis der Bewegung des realen Objekts erzeugt werden und von einer Sensorvorrichtung an die Informationsverarbeitungsvorrichtung gesendet werden.
    • (3) Informationsverarbeitungsvorrichtung gemäß (2), wobei die Zeitinformationen eine Ankunftszeit von einem Zeitpunkt ist, zu dem die Sensorinformationen erzeugt werden, oder einem Zeitpunkt, zu dem die Sensorinformationen an die Informationsverarbeitungsvorrichtung gesendet werden, bis zu einem Zeitpunkt, zu dem die Sensorinformationen erfasst werden.
    • (4) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (1) bis (3), wobei das erste Wiedergabeverfahren die Wiedergabe eines Anstiegs-Sounds gemäß der Bewegung des realen Objekts einschließt, und das zweite Wiedergabeverfahren die Wiedergabe des Anstiegs-Sounds einschränkt.
    • (5) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (1) bis (4), wobei das zweite Wiedergabeverfahren mindestens eine Einblendung des Audio-Inhalts oder eine Ausblendung des Audio-Inhalts einschließt.
    • (6) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (1) bis (5), die ferner Folgendes aufweist:
      • eine Benutzer-Bestimmungseinheit, die bestimmt, ob das reale Objekt von einem Benutzer betätigt wird oder nicht, wobei
      • die Wiedergabe-Steuereinheit die Wiedergabe des Audio-Inhalts auf der Basis eines Bestimmungsergebnisses der ersten Bestimmungseinheit steuert.
    • (7) Informationsverarbeitungsvorrichtung gemäß (6), die ferner Folgendes umfasst:
      • eine Erfassungseinheit, die fähig ist, Erkennungsinformationen zu erfassen, die Informationen bezüglich eines Zustands des Benutzers und/oder Informationen bezüglich eines Umgebungszustands aufweisen, wobei
      • die erste Bestimmungseinheit die Bestimmung auf der Basis der erfassten Erkennungsinformationen durchführt.
    • (8) Informationsverarbeitungsvorrichtung gemäß (6) oder (7), wobei die erste Bestimmungseinheit die Bestimmung auf der Basis eines Abstands zwischen dem realen Objekt und dem Benutzer durchführt.
    • (9) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (6) bis (8), wobei die erste Bestimmungseinheit die Bestimmung auf der Basis einer Bewegung des Benutzers durchführt.
    • (10) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (1) bis (9), die ferner Folgendes aufweist:
      • eine zweite Bestimmungseinheit, die einen Interessegrad des Benutzers an dem realen Objekt bestimmt, wobei
      • die Wiedergabe-Steuereinheit die Wiedergabe des Audio-Inhalts auf der Basis eines Bestimmungsergebnisses der zweiten Bestimmungseinheit steuert.
    • (11) Informationsverarbeitungsvorrichtung gemäß (10), die ferner Folgendes umfasst:
      • eine Erfassungseinheit, die fähig ist, die Erkennungsinformationen zu erfassen, die Informationen bezüglich eines Zustands des Benutzers und/oder Informationen bezüglich eines Umgebungszustands aufweisen, wobei
      • die zweite Bestimmungseinheit die Bestimmung auf der Basis der erfassten Erkennungsinformationen durchführt.
    • (12) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (1) bis (11), die ferner Folgendes aufweist:
      • eine Erfassungseinheit, die fähig ist, die Erkennungsinformationen zu erfassen, die Informationen bezüglich eines Zustands des Benutzers und/oder Informationen bezüglich eines Umgebungszustands aufweisen, wobei
      • die Wiedergabe-Steuereinheit die Wiedergabe des Audio-Inhalts auf der Basis der erfassten Erkennungsinformationen steuert.
    • (13) Informationsverarbeitungsvorrichtung gemäß (12), wobei die Wiedergabe-Steuereinheit die Wiedergabe des Audio-Inhalts auf der Basis eines Umgebungsgeräusches steuert.
    • (14) Informationsverarbeitungsvorrichtung gemäß (12) oder (13), wobei die Wiedergabe-Steuereinheit die Wiedergabe des Audio-Inhalts auf der Basis der Anzahl der Operationen des Benutzers an dem realen Objekt steuert.
    • (15) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (1) bis (14), wobei die Wiedergabe-Steuereinheit aus einer Vielzahl von auf der Basis der Bewegung des realen Objekts erzeugten Stücken von Sensorinformationen eine oder mehrere auswählt, die Referenzen für die Wiedergabesteuerung sind, und Zeitinformationen bezüglich der Erfassung der ausgewählten ein oder mehreren Stücke von Sensorinformationen auf der Basis der Wiedergabe des Audio-Inhalts steuert.
    • (16) Informationsverarbeitungsvorrichtung gemäß (15), wobei die Wiedergabe-Steuereinheit die frühesten erfassten Sensorinformationen aus der Vielzahl von Stücken von Sensorinformationen als ein oder mehrere Stücke von Sensorinformationen auswählt, die Referenzen für die Wiedergabesteuerung sind.
    • (17) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (1) bis (16), wobei die Wiedergabe-Steuereinheit die Wiedergabe des Audio-Inhalts als Reaktion auf die Erfassung der Sensorinformationen startet und auf der Basis, ob Informationen bezüglich der Fortsetzung der Wiedergabe des Audio-Inhalts erfasst wurden oder nicht, bestimmt, ob die Wiedergabe des Audio-Inhalts fortgesetzt werden soll oder nicht.
    • (18) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (1) bis (17), wobei die Wiedergabe-Steuereinheit die Wiedergabe des Audio-Inhalts auf der Basis steuert, ob ein anderer Audio-Inhalt, der sich von dem Audio-Inhalt unterscheidet, der der Bewegung des realen Objekts entspricht, wiedergegeben wird oder nicht.
    • (19) Informationsverarbeitungsverfahren, das Folgendes beinhaltet:
      • durch ein Computersystem:
        • Steuern, auf der Basis von Zeitinformationen bezüglich der Erfassung von Sensorinformationen, die auf der Basis einer Bewegung eines realen Objekts erzeugt werden, der Wiedergabe von Audio-Inhalten, die der Bewegung des realen Objekts entsprechen, durch ein erstes Wiedergabeverfahren in einem Fall, in dem die Zeitinformationen innerhalb eines vorbestimmten Zeitbereichs liegen, und Steuern der Wiedergabe der Audio-Inhalte durch ein zweites Wiedergabeverfahren in einem Fall, in dem die Zeitinformationen außerhalb des vorbestimmten Zeitbereichs liegen.
    • (20) Aufzeichnungsmedium, auf dem ein Programm aufgezeichnet ist, das einen Computer veranlasst, Folgendes auszuführen:
      • einen Schritt des Steuerns, auf der Basis von Zeitinformationen bezüglich der Erfassung von Sensorinformationen, die auf der Basis einer Bewegung eines realen Objekts erzeugt werden, der Wiedergabe von Audio-Inhalten, die der Bewegung des realen Objekts entsprechen, durch ein erstes Wiedergabeverfahren in einem Fall, in dem die Zeitinformationen innerhalb eines vorbestimmten Zeitbereichs liegen, und des Steuerns der Wiedergabe der Audio-Inhalte durch ein zweites Wiedergabeverfahren in einem Fall, in dem die Zeitinformationen außerhalb des vorbestimmten Zeitbereichs liegen.
    • (21) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (1) bis (18), die die Wiedergabe des Audio-Inhalts durch Open-Air-Kopfhörer steuert.
    • (22) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (1) bis (18) und (21), die als Open-Air-Kopfhörer ausgebildet ist.
    • (23) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (1) bis (18), die ferner Folgendes umfasst:
      • einen Kopfhörer, der den Audio-Inhalt ausgibt, und
      • der als Head-Mounted Display (HMD) ausgebildet ist.
  • Bezugszeichenliste
    • 20
    Kommunikations-Endgerät
    21
    Controller
    34
    Bewegungs-Erkennungseinheit
    35
    Zeiterfassungseinheit
    40
    Kommunikations-Endgerät
    56
    Verzögerungsberechnungseinheit
    57
    Wiedergabe-Steuereinheit
    61
    Benutzerzustands-Erkennungseinheit
    62
    Zustands-Erkennungseinheit
    63
    Ereignis-Erkennungseinheit
    65
    Zeiterfassungseinheit
    66
    Interessegrad-Bestimmungseinheit
    67
    Benutzer-Bestimmungseinheit

Claims (20)

  1. Informationsverarbeitungsvorrichtung, die Folgendes umfasst: eine Wiedergabe-Steuereinheit, die auf einer Basis von Zeitinformationen bezüglich der Erfassung von Sensorinformationen, die auf einer Basis einer Bewegung eines realen Objekts erzeugt werden, die Wiedergabe von Audio-Inhalten, die der Bewegung des realen Objekts entsprechen, durch ein erstes Wiedergabeverfahren steuert in einem Fall, in dem die Zeitinformationen innerhalb eines vorbestimmten Zeitbereichs liegen, und die Wiedergabe der Audio-Inhalte durch ein zweites Wiedergabeverfahren steuert in einem Fall, in dem die Zeitinformationen außerhalb des vorbestimmten Zeitbereichs liegen.
  2. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Zeitinformationen auf einer Basis der Bewegung des realen Objekts erzeugt werden und von einer Sensorvorrichtung an die Informationsverarbeitungsvorrichtung gesendet werden.
  3. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Zeitinformationen eine Ankunftszeit von einem Zeitpunkt sind, zu dem die Sensorinformationen erzeugt werden, oder einem Zeitpunkt, zu dem die Sensorinformationen an die Informationsverarbeitungsvorrichtung gesendet werden, bis zu einem Zeitpunkt, zu dem die Sensorinformationen erfasst werden.
  4. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei das erste Wiedergabeverfahren die Wiedergabe eines Anstiegs-Sounds gemäß der Bewegung des realen Objekts einschließt, und das zweite Wiedergabeverfahren die Wiedergabe des Anstiegs-Sounds einschränkt.
  5. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei das zweite Wiedergabeverfahren mindestens eine Einblendung des Audio-Inhalts oder eine Ausblendung des Audio-Inhalts einschließt.
  6. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, die ferner Folgendes umfasst: eine erste Bestimmungseinheit, die bestimmt, ob das reale Objekt von einem Benutzer betätigt wird oder nicht, wobei die Wiedergabe-Steuereinheit die Wiedergabe des Audio-Inhalts auf einer Basis eines Bestimmungsergebnisses der ersten Bestimmungseinheit steuert.
  7. Informationsverarbeitungsvorrichtung gemäß Anspruch 6, die ferner Folgendes umfasst: eine Erfassungseinheit, die in der Lage ist, Erkennungsinformationen zu erfassen, die Informationen bezüglich eines Zustands des Benutzers und/oder Informationen bezüglich eines Umgebungszustands aufweisen, wobei die erste Bestimmungseinheit die Bestimmung auf einer Basis der erfassten Erkennungsinformationen durchführt.
  8. Informationsverarbeitungsvorrichtung gemäß Anspruch 6, wobei die erste Bestimmungseinheit die Bestimmung auf einer Basis eines Abstands zwischen dem realen Objekt und dem Benutzer durchführt.
  9. Informationsverarbeitungsvorrichtung gemäß Anspruch 6, wobei die erste Bestimmungseinheit die Bestimmung auf einer Basis einer Bewegung des Benutzers durchführt.
  10. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, die ferner Folgendes umfasst: eine zweite Bestimmungseinheit, die einen Interessegrad des Benutzers an dem realen Objekt bestimmt, wobei die Wiedergabe-Steuereinheit die Wiedergabe des Audio-Inhalts auf einer Basis eines Bestimmungsergebnisses der zweiten Bestimmungseinheit steuert.
  11. Informationsverarbeitungsvorrichtung gemäß Anspruch 10, die ferner Folgendes umfasst: eine Erfassungseinheit, die fähig ist, die Erkennungsinformationen zu erfassen, die Informationen bezüglich eines Zustands des Benutzers und/oder Informationen bezüglich eines Umgebungszustands aufweisen, wobei die zweite Bestimmungseinheit die Bestimmung auf einer Basis der erfassten Erkennungsinformationen durchführt.
  12. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, die ferner Folgendes umfasst: eine Erfassungseinheit, die fähig ist, die Erkennungsinformationen zu erfassen, die Informationen bezüglich eines Zustands des Benutzers und/oder Informationen bezüglich eines Umgebungszustands aufweisen, wobei die Wiedergabe-Steuereinheit die Wiedergabe des Audio-Inhalts auf einer Basis der erfassten Erkennungsinformationen steuert.
  13. Informationsverarbeitungsvorrichtung gemäß Anspruch 12, wobei die Wiedergabe-Steuereinheit die Wiedergabe des Audio-Inhalts auf einer Basis eines Umgebungsgeräusches steuert.
  14. Informationsverarbeitungsvorrichtung gemäß Anspruch 12, wobei die Wiedergabe-Steuereinheit die Wiedergabe des Audio-Inhalts auf einer Basis der Anzahl der Operationen des Benutzers an dem realen Objekt steuert.
  15. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Wiedergabe-Steuereinheit aus einer Vielzahl von auf einer Basis der Bewegung des realen Objekts erzeugten Stücken von Sensorinformationen eine oder mehrere auswählt, die Referenzen für die Wiedergabesteuerung sind, und Zeitinformationen bezüglich der Erfassung der ausgewählten ein oder mehreren Stücke von Sensorinformationen auf einer Basis der Wiedergabe des Audio-Inhalts steuert.
  16. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Wiedergabe-Steuereinheit die frühesten erfassten Sensorinformationen aus der Vielzahl von Stücken von Sensorinformationen als ein oder mehrere Stücke von Sensorinformationen auswählt, die Referenzen für die Wiedergabesteuerung sind.
  17. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Wiedergabe-Steuereinheit die Wiedergabe des Audio-Inhalts als Reaktion auf die Erfassung der Sensorinformationen startet und auf einer Basis, ob Informationen bezüglich der Fortsetzung der Wiedergabe des Audio-Inhalts erfasst wurden oder nicht, bestimmt, ob die Wiedergabe des Audio-Inhalts fortgesetzt werden soll oder nicht.
  18. Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Wiedergabe-Steuereinheit die Wiedergabe des Audio-Inhalts auf einer Basis steuert, ob ein anderer Audio-Inhalt, der sich von dem Audio-Inhalt unterscheidet, der der Bewegung des realen Objekts entspricht, wiedergegeben wird oder nicht.
  19. Informationsverarbeitungsverfahren, das Folgendes umfasst: durch ein Computersystem: Steuern, auf einer Basis von Zeitinformationen bezüglich der Erfassung von Sensorinformationen, die auf einer Basis einer Bewegung eines realen Objekts erzeugt werden, der Wiedergabe von Audio-Inhalten, die der Bewegung des realen Objekts entsprechen, durch ein erstes Wiedergabeverfahren in einem Fall, in dem die Zeitinformationen innerhalb eines vorbestimmten Zeitbereichs liegen, und Steuern der Wiedergabe der Audio-Inhalte durch ein zweites Wiedergabeverfahren in einem Fall, in dem die Zeitinformationen außerhalb des vorbestimmten Zeitbereichs liegen.
  20. Aufzeichnungsmedium, auf dem ein Programm aufgezeichnet ist, das einen Computer veranlasst, Folgendes auszuführen: einen Schritt des Steuerns, auf einer Basis von Zeitinformationen bezüglich der Erfassung von Sensorinformationen, die auf einer Basis einer Bewegung eines realen Objekts erzeugt werden, der Wiedergabe von Audio-Inhalten, die der Bewegung des realen Objekts entsprechen, durch ein erstes Wiedergabeverfahren in einem Fall, in dem die Zeitinformationen innerhalb eines vorbestimmten Zeitbereichs liegen, und des Steuerns der Wiedergabe der Audio-Inhalte durch ein zweites Wiedergabeverfahren in einem Fall, in dem die Zeitinformationen außerhalb des vorbestimmten Zeitbereichs liegen.
DE112020000591.7T 2019-01-30 2020-01-17 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium, in dem ein programm geschrieben ist Withdrawn DE112020000591T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019014705 2019-01-30
JP2019-014705 2019-01-30
PCT/JP2020/001428 WO2020158440A1 (ja) 2019-01-30 2020-01-17 情報処理装置、情報処理方法、及びプログラムを記載した記録媒体

Publications (1)

Publication Number Publication Date
DE112020000591T5 true DE112020000591T5 (de) 2021-12-23

Family

ID=71842095

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020000591.7T Withdrawn DE112020000591T5 (de) 2019-01-30 2020-01-17 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium, in dem ein programm geschrieben ist

Country Status (4)

Country Link
US (1) US11826648B2 (de)
JP (1) JPWO2020158440A1 (de)
DE (1) DE112020000591T5 (de)
WO (1) WO2020158440A1 (de)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1654892A (en) * 1926-07-10 1928-01-03 Emanuel P Meyer Door
US20070143127A1 (en) * 2005-12-21 2007-06-21 Dodd Matthew L Virtual host
JP4627052B2 (ja) 2006-07-06 2011-02-09 株式会社ソニー・コンピュータエンタテインメント 画像に連携した音声出力方法および装置
JP2010022646A (ja) * 2008-07-22 2010-02-04 Namco Bandai Games Inc プログラム、情報記憶媒体および画像生成システム
JP2010239245A (ja) * 2009-03-30 2010-10-21 Oki Electric Ind Co Ltd 環境音再生装置、環境音再生システム、環境音再生方法、およびプログラム
US8755949B2 (en) * 2009-12-22 2014-06-17 Electronics And Telecommunications Research Institute Telematics system using human body communication, portable device having telematics function using human body communication, and method for providing telematics service using human body communication
JP5989592B2 (ja) 2013-04-19 2016-09-07 日本電信電話株式会社 操作違和感軽減装置とその方法とプログラム
WO2016145261A1 (en) * 2015-03-10 2016-09-15 Ossic Corporation Calibrating listening devices
WO2017047062A1 (ja) * 2015-09-15 2017-03-23 株式会社カプコン ゲームシステム、ゲームシステムの制御方法、及び不揮発性記録媒体
US10511807B2 (en) * 2015-12-11 2019-12-17 Sony Corporation Information processing apparatus, information processing method, and program
EP4362010A2 (de) * 2016-04-11 2024-05-01 Sony Group Corporation Kopfhörer, wiedergabesteuerungsverfahren und programm
US9955279B2 (en) * 2016-05-11 2018-04-24 Ossic Corporation Systems and methods of calibrating earphones
JP6761340B2 (ja) 2016-12-28 2020-09-23 株式会社バンダイナムコアミューズメント シミュレーションシステム及びプログラム
KR102458962B1 (ko) * 2018-10-02 2022-10-26 한국전자통신연구원 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치
US20210366450A1 (en) * 2018-11-01 2021-11-25 Sony Corporation Information processing apparatus, information processing method, and recording medium
US20200312121A1 (en) * 2019-03-27 2020-10-01 Personal And Recreational Products, Inc. Alarm system supervisory by zone

Also Published As

Publication number Publication date
WO2020158440A1 (ja) 2020-08-06
JPWO2020158440A1 (ja) 2021-12-02
US11826648B2 (en) 2023-11-28
US20220040577A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
CN110850983B (zh) 视频直播中的虚拟对象控制方法、装置和存储介质
JP6902683B2 (ja) 仮想ロボットのインタラクション方法、装置、記憶媒体及び電子機器
US7610260B2 (en) Methods and apparatus for selecting and providing content data using content data status information
DE112016004640T5 (de) Filmische bearbeitung für virtuelle realität und erweiterte realität
CN106205245A (zh) 沉浸式在线教学系统、方法和装置
DE112020002858T5 (de) Synchronisierte tonerzeugung aus videos
DE112018006666T5 (de) Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm
CN103428461A (zh) 一种授课影像录制的系统和方法
WO2021205742A1 (ja) 情報処理装置及び情報処理方法、並びにコンピュータプログラム
EP3661797B1 (de) Verfahren, vorrichtung, mobiles anwendergerät, computerprogramm zur steuerung eines audiosystems eines fahrzeugs
DE102016206154A1 (de) Verfahren und Vorrichtung zum Generieren eines Bildsignals und Anzeigesystem für ein Fahrzeug
DE112018001224T5 (de) Datenprozessor, Datenverarbeitungsverfahren und Aufzeichnungsmedium
CN102402927B (zh) 存储信息输出系统、输出控制装置以及输出控制方法
DE112017005879T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
DE112017006746T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
EP3117632B1 (de) Mobile vorrichtung für immersive sounderlebnisse
CN103324488A (zh) 一种特效信息获取方法及装置
DE112021004151T5 (de) Tragbares Audiogerät
DE102017213249A1 (de) Verfahren und System zum Erzeugen einer auditiven Meldung in einem Innenraum eines Fahrzeugs
DE102019126688A1 (de) System und verfahren zur automatischen untertitelanzeige
DE112019005499T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium
DE112020000591T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium, in dem ein programm geschrieben ist
DE102020112475A1 (de) Verfahren, System, Anwendergerät sowie Computerprogramm zum Erzeugen einer medialen Ausgabe an einem Anwendergerät
US20230007232A1 (en) Information processing device and information processing method
DE102022112703A1 (de) Multimodale absichtserkennung für telepräsenzroboter

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee