DE112019005499T5 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium - Google Patents

Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium Download PDF

Info

Publication number
DE112019005499T5
DE112019005499T5 DE112019005499.6T DE112019005499T DE112019005499T5 DE 112019005499 T5 DE112019005499 T5 DE 112019005499T5 DE 112019005499 T DE112019005499 T DE 112019005499T DE 112019005499 T5 DE112019005499 T5 DE 112019005499T5
Authority
DE
Germany
Prior art keywords
information processing
time
processing device
user
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112019005499.6T
Other languages
English (en)
Inventor
Kei Takahashi
Junichi Shimizu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of DE112019005499T5 publication Critical patent/DE112019005499T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G10H1/42—Rhythm comprising tone forming circuits
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/46—Volume control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/375—Tempo or beat alterations; Music timing control
    • G10H2210/391—Automatic tempo adjustment, correction or control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325—Synchronizing two or more audio tracks or files according to musical features or musical timings

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

Die vorliegende Erfindung befasst sich mit dem Problem der Bereitstellung einer Struktur, mit der es möglich ist, einen Echtzeitinhalt basierend auf der Körperbewegung eines Benutzers bereitzustellen. Diese Informationsverarbeitungsvorrichtung umfasst eine Wiedergabesteuereinheit (43), die eine Inhaltswiedergabe auf der Grundlage eines Vorhersageergebnisses für einen Zeitpunkt eines vorbestimmten Zustands in einer Bewegung/Aktion eines Benutzers steuert, wobei derselbe auf der Grundlage von Sensorinformationen bezüglich der Bewegung/Aktion vorhergesagt wird.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung betrifft eine Informationsverarbeitungseinrichtung, ein Informationsverarbeitungsverfahren und ein Aufzeichnungsmedium.
  • STAND DER TECHNIK
  • In den vergangenen Jahren wurden Technologien zur Bereitstellung eines Inhalts gemäß dem Ergebnis einer Detektion der Körperbewegung eines Benutzers vorgeschlagen. Als Beispiel wurde eine dahingehende Technologie vorgeschlagen, einem Fußgänger einen Musikinhalt bereitzustellen, dessen Tempo dem Schritttempo des Fußgängers entspricht. Ferner offenbart das nachstehende Patentdokument 1 eine Technologie zum Erstellen einer Musikauswahlliste, um einem Benutzer einen Musikinhalt bereitzustellen, dessen Tempo dem Schritttempo eines anderen Fußgängers entspricht.
  • LISTE BEKANNTER SCHRIFTEN
  • PATENTDOKUMENT
  • Patentdokument 1: Japanische Patentanmeldung, Offenlegungs-Nr. 2007-250053
  • KURZDARSTELLUNG DER ERFINDUNG
  • DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
  • Bei der in dem obigen Patentdokument 1 und in anderen vorgeschlagenen Technologien wird das Ergebnis einer Detektion der Körperbewegung eines Benutzers verwendet, um einen Musikinhalt bereitzustellen. Ein Versuch, einen Inhalt in Echtzeit zu einem Zeitpunkt gemäß dem Ergebnis einer Detektion der Körperbewegung eines Benutzers wiederzugeben, verursacht jedoch eine Zeitverzögerung zwischen dem Zeitpunkt und einem Zeitpunkt, zu dem der Inhalt wiedergegeben wird. Dies liegt daran, dass verschiedene Arten der Verarbeitung, wie etwa Erfassung, Detektionsverarbeitung an der Körperbewegung des Benutzers basierend auf als Ergebnis der Erfassung erhaltenen Sensorinformationen, und das Lesen des Inhalts, zwischen dem Erfolgen der Körperbewegung des Benutzers und dem Beginn der Wiedergabe des Inhalts durchgeführt werden.
  • Daher stellt die vorliegende Offenbarung einen Mechanismus bereit, der die Echtzeitbereitstellung eines Inhalts gemäß der Körperbewegung eines Benutzers ermöglicht.
  • LÖSUNGEN DER PROBLEME
  • Gemäß der vorliegenden Offenbarung wird eine Informationsverarbeitungseinrichtung bereitgestellt, die eine Wiedergabesteuereinheit beinhaltet, die eine Wiedergabe eines Inhalts auf der Grundlage eines Ergebnisses einer Vorhersage eines Zeitpunkts eines vorbestimmten Zustands in einer Fortbewegung eines Benutzers steuert, wobei die Vorhersage auf der Grundlage von Sensorinformationen bezüglich der Fortbewegung durchgeführt wird.
  • Ferner wird gemäß der vorliegenden Offenbarung ein durch einen Prozessor durchgeführtes Informationsverarbeitungsverfahren bereitgestellt, das Steuern einer Wiedergabe eines Inhalts auf der Grundlage eines Ergebnisses einer Vorhersage eines Zeitpunkts eines vorbestimmten Zustands in einer Fortbewegung eines Benutzers beinhaltet, wobei die Vorhersage auf der Grundlage von Sensorinformationen bezüglich der Fortbewegung durchgeführt wird.
  • Zudem wird gemäß der vorliegenden Offenbarung ein Aufzeichnungsmedium bereitgestellt, in dem ein Programm aufgezeichnet ist, um zu bewirken, dass ein Computer als Wiedergabesteuereinheit fungiert, die eine Wiedergabe eines Inhalts auf der Grundlage eines Ergebnisses einer Vorhersage eines Zeitpunkts eines vorbestimmten Zustands in einer Fortbewegung eines Benutzers steuert, wobei die Vorhersage auf der Grundlage von Sensorinformationen bezüglich der Fortbewegung durchgeführt wird.
  • Figurenliste
    • 1 ist ein Diagramm zur Erläuterung eines Überblicks über eine Informationsverarbeitungseinrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung.
    • 2 ist ein Diagramm zur Erläuterung eines technischen Problems.
    • 3 ist ein Blockdiagramm, das ein Beispiel einer logischen Funktionskonfiguration der Informationsverarbeitungseinrichtung gemäß der vorliegenden Ausführungsform zeigt.
    • 4 ist ein Diagramm zur Erläuterung eines Beispiels einer Wiedergabesteuerung gemäß der vorliegenden Ausführungsform.
    • 5 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines durch die Informationsverarbeitungseinrichtung durchgeführten Inhaltswiedergabesteuerprozesses gemäß der vorliegenden Ausführungsform zeigt.
    • 6 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines durch die Informationsverarbeitungseinrichtung durchgeführten zuverlässigkeitsbasierten Wiedergabesteuerprozesses gemäß der vorliegenden Ausführungsform zeigt.
    • 7 ist ein Blockdiagramm, das ein anderes Beispiel einer logischen Konfiguration der Informationsverarbeitungseinrichtung gemäß der vorliegenden Ausführungsform zeigt.
    • 8 ist ein Diagramm zur Erläuterung eines Beispiels der Steuerung eines Tonquellenwiedergabeparameters gemäß der vorliegenden Ausführungsform.
    • 9 ist ein Flussdiagramm, das ein Beispiel eines Prozesses zum Steuern eines Tonquellenwiedergabeparameters gemäß der vorliegenden Ausführungsform zeigt.
    • 10 ist ein Diagramm zur Erläuterung eines Beispiels eines Wiedergabesystems des Geräuschs von Schritten gemäß dem Taktschlag einer wiedergegebenen Tonquelle gemäß der vorliegenden Ausführungsform.
    • 11 ist ein Diagramm zur Erläuterung eines Beispiels einer Wiedergabesteuerung gemäß Takten einer wiedergegebenen mehrspurigen Tonquelle gemäß der vorliegenden Ausführungsform.
    • 12 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines Wiedergabesteuerprozesses gemäß Takten einer wiedergegebenen mehrspurigen Tonquelle, der durch die Informationsverarbeitungseinrichtung durchgeführt wird, gemäß der vorliegenden Ausführungsform zeigt.
    • 13 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration der Informationsverarbeitungseinrichtung gemäß der vorliegenden Ausführungsform zeigt.
  • AUSFÜHRUNGSWEISE DER ERFINDUNG
  • Nachfolgend wird eine bevorzugte Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die begleitenden Zeichnungen ausführlich beschrieben. Es sei angemerkt, dass in der vorliegenden Beschreibung und den Zeichnungen Komponenten mit im Wesentlichen den gleichen Funktionskonfigurationen die gleichen Bezugsziffern zugewiesen sind, um überflüssige Erläuterungen zu vermeiden.
  • Es sei angemerkt, dass die Beschreibung in der folgenden Reihenfolge erfolgt.
    1. 1. Einleitung
    2. 2. Konfigurationsbeispiel
    3. 3. Technologische Merkmale
      • 3.1. Grundlegende Verarbeitung
      • 3.2. Modifikationen
    4. 4. Hardwarekonfigurationsbeispiel
    5. 5. Resümee
  • «1. Einleitung»
  • Überblick
  • Eine Informationsverarbeitungseinrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung ist eine Einrichtung mit einer Funktion zum Steuern der Wiedergabe eines Inhalts. Bei dem Inhalt handelt es sich um Daten, darunter Töne, Bilder und/oder taktile Reize, wie etwa Klangeffekte, Musik, Bilder, ein Film oder ein Spiel. Im Folgenden wird ein Überblick über eine Informationsverarbeitungseinrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 1 beschrieben.
  • 1 ist ein Diagramm zur Erläuterung eines Überblicks über eine Informationsverarbeitungseinrichtung 1 gemäß der vorliegenden Ausführungsform. Die in 1 gezeigte Informationsverarbeitungseinrichtung 1 ist eine Kopfhörereinrichtung und kann Töne als Inhalt ausgeben. Die Informationsverarbeitungseinrichtung 1 beinhaltet Sensoren, wie etwa einen Beschleunigungssensor und einen Gyroskopsensor im Inneren, und kann einen Inhalt auf der Grundlage durch die Sensoren erhaltener Sensorinformationen ausgeben.
  • Beispielsweise kann ein Benutzer, der die Informationsverarbeitungseinrichtung 1 trägt, eine Fortbewegung durchführen. Eine Fortbewegung ist hier eine Bewegung, die ein Fußaufsetzen involviert, wie etwa Gehen, Laufen oder Springen. Zu dieser Zeit kann, wie in 1 gezeigt, die Informationsverarbeitungseinrichtung 1 den Zeitpunkt des Fußaufsetzens des Benutzers auf der Grundlage der Sensorinformationen detektieren und das Geräusch eines Schritts gemäß dem detektierten Zeitpunkt wiedergeben. Ein Versuch, das Geräusch eines Schritts in Echtzeit zu einem Zeitpunkt gemäß dem Ergebnis der Detektion der Fortbewegung des Benutzers wiederzugeben, verursacht jedoch eine Zeitverzögerung zwischen dem Fußaufsetzzeitpunkt und dem Zeitpunkt, zu dem das Geräusch eines Schritts wiedergegeben wird. Dies liegt daran, dass verschiedene Arten der Verarbeitung, wie etwa Erfassung, die Detektion des Fußaufsetzzeitpunkts basierend auf den Sensorinformationen und das Lesen des Geräuschs eines Schritts zwischen dem Erfolgen des Fußaufsetzens des Benutzers und dem Beginn der Wiedergabe des Geräuschs eines Schritts durchgeführt werden. Dieser Punkt wird unter Bezugnahme auf 2 ausführlich beschrieben.
  • 2 ist ein Diagramm zur Erläuterung eines technischen Problems. Ein oberer Graph 101 in 2 ist ein Graph, der den Zeitübergangspegel der Sensorinformationen zeigt, wobei die vertikale Achse die Sensorinformationen (z. B. Beschleunigung) darstellt und die horizontale Achse die Zeit darstellt. Ein unterer Graph 102 in 2 ist ein Graph, der die Wellenform des Geräuschs von Schritten zeigt, das zu Zeitpunkten gemäß den Ergebnissen der Fußaufsetzdetektion basierend auf den Sensorinformationen ausgegeben wird, wobei die vertikale Achse die Amplitude darstellt und die horizontale Achse die Zeit darstellt. Es sei angenommen, dass das Fußaufsetzen zu einem Spitzenzeitpunkt t1 der in dem Graphen 101 gezeigten Sensorinformationen erfolgt. Es ist erwünscht, dass das Geräusch eines Schritts zum Fußaufsetzzeitpunkt t1 ausgegeben wird. Da verschiedene Arten der Verarbeitung zwischen dem Erfolgen des Fußaufsetzens und dem Beginn der Wiedergabe des Geräuschs eines Schritts durchgeführt werden, tritt jedoch eine Zeitverzögerung zwischen dem Fußaufsetzzeitpunkt t1 und einem Zeitpunkt t2, zu dem die Wiedergabe des Geräuschs eines Schritts beginnt, auf, wie in dem Graphen 102 gezeigt.
  • Daher stellt die vorliegende Offenbarung einen Mechanismus bereit, der die Echtzeitbereitstellung eines Inhalts gemäß der Körperbewegung eines Benutzers ermöglicht.
  • Insbesondere wird bei der vorgeschlagenen Technologie die Wiedergabe eines Inhalts auf der Grundlage des Ergebnisses einer Vorhersage der Fortbewegung eines Benutzers gesteuert. Beispielsweise beginnt die Informationsverarbeitungseinrichtung 1 die Wiedergabe eines Inhalts auf der Grundlage des Ergebnisses einer Vorhersage eines Fußaufsetzzeitpunkts früher. Dies verhindert das Auftreten einer unter Bezugnahme auf 2 beschriebenen Zeitverzögerung, wodurch die Wiedergabe des Geräuschs eines Schritts zum Fußaufsetzzeitpunkt des Benutzers ermöglicht wird.
  • Dagegen kann, wenn der Benutzer beispielsweise stehen bleibt, ein Vorhersageergebnis von einer tatsächlichen Bewegung abweichen. Daher werden bei der vorgeschlagenen Technologie die Detektion und Vorhersage der Bewegung des Benutzers parallel durchgeführt, und die Wiedergabe eines Inhalts wird durch eine Kombination dieser gesteuert. Während die Informationsverarbeitungseinrichtung 1 beginnt, das Geräusch eines Schritts zu einem vorhergesagten Fußaufsetzzeitpunkt wiederzugeben, verringert sie beispielsweise die Lautstärke des wiedergegebenen Geräuschs des Schritts, wenn zu dem Zeitpunkt kein Fußaufsetzen detektiert wird. Eine solche Verarbeitung ermöglicht die Bereitstellung eines Inhalts, der als weniger befremdlich empfunden wird, selbst wenn sich ein Vorhersageergebnis von einer tatsächlichen Bewegung unterscheidet.
  • Es sei angemerkt, dass die Konfiguration der in 1 gezeigten Informationsverarbeitungseinrichtung 1 lediglich ein Beispiel ist. Die Informationsverarbeitungseinrichtung 1 kann außer als Kopfhörer beispielsweise als ein Smartphone, ein Tablet-Endgerät, eine am Kopf getragene Anzeige (HMD: Head-Mounted Display) oder dergleichen implementiert werden.
  • Anwendungsfälle
  • • Erster Anwendungsfall
  • Ein erster Anwendungsfall ist ein Anwendungsfall, bei dem ein Benutzer gerne die Rolle eines Charakters spielt. Der Benutzer trägt einen (der Informationsverarbeitungseinrichtung 1 entsprechenden) Kopfhörer, den er oder sie üblicherweise trägt oder der in einem Themenpark oder dergleichen ausgeliehen wird. Betritt der Benutzer einen bestimmten Bereich oder wird eine Anwendung auf einem mit dem Kopfhörer verbundenen Smartphone gestartet, wird dann das Geräusch von Schritten synchron mit der Fortbewegung des Benutzers ausgegeben. Handelt es sich beispielsweise bei dem Charakter um einen Roboter, wird das Geräusch von Schritten einer quietschenden Maschine ausgegeben. Handelt es sich bei dem Charakter um ein kleines Tier, wird das Geräusch leicht hüpfender Schritte ausgegeben. Die derartige Präsentation des Geräuschs von Schritten gemäß dem Charakter ermöglicht, dass der Benutzer Freude am Spielen der Rolle des Charakters hat.
  • • Zweiter Anwendungsfall
  • Ein zweiter Anwendungsfall ist ein Anwendungsfall, bei dem sich ein Benutzer eines virtuellen Raums erfreut. Der Benutzer trägt eine HMD mit einem (der Informationsverarbeitungseinrichtung 1 entsprechenden) Kopfhörer. Die HMD kann dem Benutzer ein Augmented-Reality(AR)-Erlebnis bereitstellen, indem eine transmissive Anzeigevorrichtung einem realen Raum ein virtuelles Objekt überlagert und in diesem anzeigt. Zudem kann die HMD dem Benutzer ein Virtual-Reality(VR)-Erlebnis bereitstellen, indem eine nicht-transmissive Anzeigevorrichtung einen virtuellen Raum anzeigt. Geht der Benutzer beispielsweise in einem virtuellen Raum durch einen Bereich, in dem sich Wasser angesammelt hat, gibt die HMD das Geräusch von Schritten auf Wasser aus. Somit kann der Benutzer durch die Präsentation des Geräuschs von Schritten gemäß dem virtuellen Raum stärker in den virtuellen Raum einbezogen werden.
  • «2. Konfigurationsbeispiel»
  • 3 ist ein Blockdiagramm, das ein Beispiel einer logischen Funktionskonfiguration der Informationsverarbeitungseinrichtung 1 gemäß der vorliegenden Ausführungsform zeigt. Wie in 3 gezeigt, beinhaltet die Informationsverarbeitungseinrichtung 1 eine erste Sensoreinheit 10, eine Ausgabeeinheit 20, eine Speichereinheit 30 und eine Steuereinheit 40.
  • Erste Sensoreinheit 10
  • Die erste Sensoreinheit 10 hat eine Funktion, Informationen bezüglich der Fortbewegung des Benutzers zu erfassen. Insbesondere hat sie eine Funktion, die Körperbewegung des Benutzers der ersten Sensoreinheit 10 zu erfassen. Beispielsweise beinhaltet die erste Sensoreinheit 10 einen Beschleunigungssensor und einen Gyroskopsensor und erfasst Sensorinformationen, die eine Auf-und-Ab-Bewegung des Körpers und einen Aufprall zum Zeitpunkt des Fußaufsetzens oder dergleichen bei einer Fortbewegung angeben. Zusätzlich kann die erste Sensoreinheit 10 die Bewegung jedes Körperteils des Benutzers erfassen, wie etwa die Bewegung der Hände oder die Bewegung des Kopfs. Die erste Sensoreinheit 10 gibt als Ergebnis der Erfassung erhaltene Sensorinformationen an die Steuereinheit 40 aus.
  • Ausgabeeinheit 20
  • Die Ausgabeeinheit 20 hat eine Funktion, einen Inhalt auf der Grundlage einer Steuerung durch die Steuereinheit 40 auszugeben. Beispielsweise beinhaltet die Ausgabeeinheit 20 eine Anzeigevorrichtung, die Bilder ausgibt, eine Tonausgabevorrichtung, die Töne ausgibt, und/oder eine Ausgabevorrichtung für taktile Reize, die taktile Reize ausgibt. Die Anzeigevorrichtung wird beispielsweise durch eine Anzeige, einen Projektor oder eine Netzhautprojektionsvorrichtung implementiert. Das Tonausgabegerät wird beispielsweise durch einen Kopfhörer, Ohrhörer oder Kopfhörer implementiert. Die Ausgabevorrichtung für taktile Reize wird beispielsweise durch einen Exzentermotor, eine Niederfrequenzausgabevorrichtung oder eine Reizstromausgabevorrichtung implementiert.
  • Speichereinheit 30
  • Die Speichereinheit 30 hat eine Funktion, Informationen zu speichern, die bei der Informationsverarbeitung durch die Informationsverarbeitungseinrichtung 1 verwendet werden. Beispielsweise speichert die Speichereinheit 30 einen Inhalt, der von der Ausgabeeinheit 20 ausgegeben werden soll. Zusätzlich speichert die Speichereinheit 30 verschiedene Arten von Einstellungsinformationen zur Inhaltswiedergabesteuerung.
  • Steuereinheit 40
  • Die Steuereinheit 40 fungiert als eine arithmetische Verarbeitungseinheit und eine Steuerung und hat eine Funktion, sämtliche Operationen in der Informationsverarbeitungseinrichtung 1 gemäß verschiedenen Programmen zu steuern. Wie in 3 gezeigt, beinhaltet die Steuereinheit 40 eine Detektionseinheit 41, eine Vorhersageeinheit 42 und eine Wiedergabesteuereinheit 43.
  • • Detektionseinheit 41
  • Die Detektionseinheit 41 hat eine Funktion, einen Zustand in der Fortbewegung des Benutzers auf der Grundlage von Sensorinformationen bezüglich der Fortbewegung des Benutzers zu detektieren. Beispielsweise detektiert die Detektionseinheit 41 den Zeitpunkt eines vorbestimmten Zustands in der Fortbewegung. Der Zeitpunkt des vorbestimmten Zustands ist beispielsweise der Zeitpunkt eines Fußaufsetzens in einer Gehbewegung oder Laufbewegung oder der Zeitpunkt des Erreichens des höchsten Punkts in einer Sprungbewegung. Es sei angemerkt, dass sich der höchste Punkt in einer Sprungbewegung auf einen Zustand bezieht, in dem der Abstand zwischen dem Boden und einem beliebigen Körperteil wie dem Fuß, dem Kopf oder dem Körperschwerpunkt am größten wird. Natürlich ist der vorbestimmte Zustand nicht auf diese Beispiele beschränkt und kann jeden Zustand in der Fortbewegung beinhalten. Beispielsweise detektiert die Detektionseinheit 41 den Zeitpunkt des vorbestimmten Zustands in der Fortbewegung auf der Grundlage des Zeitreihenübergangs der Sensorinformationen, der eine Beschleunigung in der Schwerkraftrichtung oder dergleichen angibt, oder des Zeitreihenübergangs des Ergebnisses einer auf den Sensorinformationen basierenden Berechnung, wie etwa einer Trägheitsnavigationssystem(INS)-Berechnung. Darüber hinaus kann die Detektionseinheit 41 verschiedene Zustände detektieren, wie etwa ein Stoppen der Fortbewegung und eine Änderung der Fortbewegungsrichtung. Ferner kann die Detektionseinheit 41 den Betrag der Fortbewegung (Gehen, Laufen oder dergleichen) auf der Grundlage der Amplitude und/oder der Periode der Sensorinformationen oder dergleichen detektieren. Die Detektionseinheit 41 gibt Informationen, die das Detektionsergebnis angeben, an die Wiedergabesteuereinheit 43 aus. Es sei angemerkt, dass es sich bei den Sensorinformationen um von den Sensoren erhaltene Rohdaten oder um das Verarbeitungsergebnis einer Anwendung einer vorbestimmten Verarbeitung, wie etwa Mittelwertbildung oder Ausschluss von Ausreißern, auf Rohdaten handeln kann. Ferner kann sich der Zeitpunkt auf eine Zeit, die von einer vorbestimmten Zeit verstrichene Zeit oder das Verarbeitungsergebnis der Anwendung einer vorbestimmten Verarbeitung auf diese Werte beziehen.
  • • Vorhersageeinheit 42
  • Die Vorhersageeinheit 42 hat eine Funktion, den Zeitpunkt des vorbestimmten Zustands in der Fortbewegung des Benutzers auf der Grundlage der Sensorinformationen bezüglich der Fortbewegung vorherzusagen. Das heißt, die Vorhersageeinheit 42 hat eine Funktion, einen durch die Detektionseinheit 41 zu detektierenden Zeitpunkt vorherzusagen, bevor er durch die Detektionseinheit 41 detektiert wird. Beispielsweise sagt die Vorhersageeinheit 42 den Zeitpunkt des vorbestimmten Zustands in der Fortbewegung auf der Grundlage der Sensorinformationen, des Ergebnisses einer auf den Sensorinformationen basierenden Berechnung, wie etwa INS-Berechnung, und/oder des Ergebnisses einer Detektion durch die Detektionseinheit 41 vorher.
  • • Wiedergabesteuereinheit 43
  • Die Wiedergabesteuereinheit 43 hat eine Funktion, die Wiedergabe eines Inhalts durch die Ausgabeeinheit 20 auf der Grundlage des Ergebnisses der Vorhersage durch die Vorhersageeinheit 42 zu steuern. Beispielsweise gibt die Wiedergabesteuereinheit 43 einen in der Speichereinheit 30 gespeicherten Inhalt mit Wiedergabeparametern gemäß dem Ergebnis der Vorhersage durch die Vorhersageeinheit 42 wieder. Die Wiedergabeparameter beinhalten beispielsweise Identifikationsinformationen eines wiederzugebenden Inhalts, einen Wiedergabezeitpunkt, eine Lautstärke, einen Effekt usw. Ferner kann die Wiedergabesteuereinheit 43 den Inhalt auf der Grundlage des Ergebnisses der Detektion durch die Detektionseinheit 41 steuern. Beispielsweise gibt die Wiedergabesteuereinheit 43 einen in der Speichereinheit 30 gespeicherten Inhalt mit Wiedergabeparametern gemäß dem Ergebnis der Detektion durch die Detektionseinheit 41 und dem Ergebnis der Vorhersage durch die Vorhersageeinheit 42 wieder.
  • «3. Technologische Merkmale»
  • <Grundlegende Verarbeitung>
  • Vorhersage des Zeitpunkts des vorbestimmten Zustands
  • • Vorhersage unter Verwendung eines Zeitreihenübergangs des Detektionsergebnisses
  • Der Zeitpunkt des vorbestimmten Zustands kann auf der Grundlage des Zeitreihenübergangs des Zeitintervalls zwischen Zeitpunkten des vorbestimmten Zustands, die auf der Grundlage der Sensorinformationen detektiert wurden, vorhergesagt werden. Zum Beispiel kann die Vorhersageeinheit 42 den nächsten Fußaufsetzzeitpunkt vorhersagen, indem sie den Mittelwert der Zeitintervalle zwischen vergangenen Fußaufsetzzeitpunkten zum vorherigen Fußaufsetzzeitpunkt addiert. Dies ist möglich, da das Gehen üblicherweise eine regelmäßige Bewegung ist.
  • Beispielsweise sind Fußaufsetzintervalle Do, D1,..., und Tn - 1 als D0 = T1 - T0, D1 = T2 - T1,... bzw. Dn - 1 = Tn - Tn - 1 definiert, wobei T0, T1, T2,... und Tn vergangene Fußaufsetzzeitpunkte in chronologischer Reihenfolge sind. Hier wird der nächste Fußaufsetzzeitpunkt Tn + 1 als Tn + 1 = Tn + Dn berechnet, wobei Tn der aktuelle Zeitpunkt ist. Dn ist beispielsweise der Mittelwert von Do bis Dn - 1. Bei der Berechnung von Dn lässt sich Dn durch Ausschluss von Ausreißern von Do bis Dn - 1 oder stärkere Gewichtung des jüngsten Werts genauer vorhersagen.
  • • Vorhersage anhand eines Trends in den Sensorinformationen
  • Der Zeitpunkt des vorbestimmten Zustands kann auf der Grundlage des Zeitreihenübergangs der Sensorinformationen vorhergesagt werden. Beispielsweise sagt die Vorhersageeinheit 42 den nächsten Fußaufsetzzeitpunkt auf der Grundlage eines durch den Zeitreihenübergang der Sensorinformationen angegebenen Trends vorher.
  • Ist beispielsweise der Vektor v einer Schwerkraftrichtungskomponente beim Gehen bekannt, lässt sich eine Beschleunigungskomponente in der Schwerkraftrichtung durch das Skalarprodukt des Vektors v und des Werts (x, y, z) des Beschleunigungssensors bestimmen. Unter Verwendung des Zeitreihenübergangs der Beschleunigungskomponente in der Schwerkraftrichtung und des Ergebnisses der Detektion des Fußaufsetzzeitpunkts ermittelt die Vorhersageeinheit 42, wie viele Sekunden später, nachdem die Beschleunigungskomponente in der Schwerkraftrichtung einen vorbestimmten Schwellenwert überschreitet, ein Fußaufsetzen erfolgt, um dies zur Vorhersage zu verwenden. Es sei angemerkt, dass der Zeitpunkt des Fußaufsetzens als der Zeitpunkt spezifiziert werden kann, zu dem die Norm √(x^2 + y^2 + z^2) des Beschleunigungssensorwerts nach einem Anstieg in eine Abwärtsrichtung übergeht.
  • • Vorhersage basierend auf Zeitreihenübergang von Sensorinformationen oder Ergebnis einer auf Sensorinformationen basierenden Berechnung
  • Der Zeitpunkt des vorbestimmten Zustands kann auf der Grundlage des Ergebnisses einer Vorhersage des Zeitreihenübergangs der Sensorinformationen oder des Ergebnisses einer Vorhersage des Zeitreihenübergangs des Ergebnisses einer auf den Sensorinformationen basierenden Berechnung vorhergesagt werden. Beispielsweise sagt die Vorhersageeinheit 42 den Zeitreihenübergang der Sensorinformationen oder das Ergebnis der auf den Sensorinformationen basierenden Berechnung vorher und sagt den Zeitpunkt des nächsten Fußaufsetzens auf der Grundlage des Vorhersageergebnisses vorher. Zur Vorhersage des Zeitreihenübergangs kann ein beliebiges Modell, wie etwa ein rekurrentes neuronales Netz (RNN) verwendet werden. Ferner kann es sich bei einem vorherzusagenden Objekt um die Sensorinformationen selbst, das oben erwähnte Skalarprodukt des Vektors in der Schwerkraftrichtung und des Werts des Beschleunigungssensors oder die oben erwähnte Norm handeln.
  • • Ergänzung
  • Die oben beschriebenen Vorhersagetechniken können gegebenenfalls in Kombination verwendet werden. Beispielsweise können einzelne Vorhersageergebnisse gemäß einer Vorhersagegenauigkeit gewichtet und gemittelt werden, um ein endgültiges Vorhersageergebnis bereitzustellen.
  • Inhaltswiedergabesteuerung
  • Die Wiedergabesteuereinheit 43 gibt einen Inhalt zu einem vorhergesagten Zeitpunkt des vorbestimmten Zustands wieder. Die Wiedergabesteuereinheit 43 liest den Inhalt vor dem vorhergesagten Zeitpunkt des vorbestimmten Zustands und beginnt die Wiedergabe des Inhalts zu dem Zeitpunkt. Ferner kann die Wiedergabesteuereinheit 43, die Wiedergabe von Tönen vor dem vorhergesagten Zeitpunkt, zu dem der vorbestimmte Zustand eintritt, beginnen. Beispielsweise beginnt die Wiedergabesteuereinheit 43 die Wiedergabe von Tönen vor dem vorhergesagten Zeitpunkt, zu dem der vorbestimmte Zustand eintritt, durch einen Attack-Abschnitt (einen Abschnitt vom Anstieg des Tons bis zur maximalen Lautstärke), sodass die maximale Lautstärke zu dem vorhergesagten Zeitpunkt, zu dem der vorbestimmte Zustand eintritt, wiedergegeben wird. Dies ermöglicht ein Präsentieren eines Inhalts gemäß einem vorbestimmten Zustand zum selben Zeitpunkt wie der Zeitpunkt, zu dem der Zustand eines Benutzers zum vorbestimmten Zustand wird. Es sei angemerkt, dass ein ansteigender Ton über einen Attack-Abschnitt die maximale Lautstärke erreicht und dann eine Abschwächung erfährt und verschwindet. Insbesondere umfasst ein Ton einen Attack-Abschnitt, einen Decay-Abschnitt, einen Sustain-Abschnitt und einen Release-Abschnitt der Reihe nach in der Zeitrichtung. Der Decay-Abschnitt ist ein Abschnitt, in dem die Lautstärke eine Abschwächung von der maximalen Lautstärke erfährt. Der Sustain-Abschnitt ist ein Abschnitt, in dem die Lautstärke, die über den Decay-Abschnitt abgeschwächt wurde, gehalten wird. Der Release-Abschnitt ist ein Abschnitt, bis die Lautstärke eine Abschwächung erfährt und verschwindet.
  • Die Wiedergabesteuereinheit 43 steuert die Wiedergabe des Inhalts, wenn aus den Sensorinformationen nicht detektiert wird, dass der vorbestimmte Zustand tatsächlich zu dem vorhergesagten Zeitpunkt des vorbestimmten Zustands eintritt. Insbesondere steuert die Wiedergabesteuereinheit 43 die Wiedergabe des Inhalts, wenn die Detektionseinheit 41 nicht detektiert, dass der vorbestimmte Zustand tatsächlich zu dem durch die Vorhersageeinheit 42 vorhergesagten Zeitpunkt des vorbestimmten Zustands eintritt. Alternativ steuert die Wiedergabesteuereinheit 43 die Wiedergabe des Inhalts, wenn die Detektionseinheit 41 einen Trend detektiert, bei dem der vorbestimmte Zustand nicht eintritt (zum Beispiel einen Zustand, in dem der Benutzer wahrscheinlich die Gehgeschwindigkeit verlangsamt und stehen bleibt). Als Steuerung der Inhaltswiedergabe stoppt die Wiedergabesteuereinheit 43 hier beispielsweise die Wiedergabe des Inhalts, verringert die Lautstärke oder wendet einen vorbestimmten Effekt auf den wiedergegebenen Inhalt an. Bei dem vorbestimmten Effekt handelt es sich um Unschärfe, Ausblenden oder dergleichen. Auf einen Ton angewandte Unschärfe bezieht sich auf ein derartiges Steuern der Lautstärke, dass sie die in dem Inhalt definierte maximale Lautstärke des Tons nicht erreicht, oder auf ein Steuern der Lautstärke in einem Bereich, in dem sie die maximale Lautstärke nicht erreicht, anstatt einfach die Lautstärke zu verringern. Insbesondere kann es sich bei einer auf einen Ton angewandten Unschärfe um die Steuerung der Stärke des Attack handeln, was später beschrieben wird. Auf einen Ton angewandte Unschärfe kann als dahingehende Steuerung betrachtet werden, dem Ton eine räumliche Ausdehnung zu verleihen. Insbesondere kann es sich bei einer auf einen Ton angewandten Unschärfe um einen räumlichen Effekt wie Hall, Verzögerung oder ein Echo handeln. Bei auf ein Bild angewandter Unschärfe handelt es sich um eine dahingehende Steuerung, den Umriss oder die Grenze eines in einem Bildinhalt zu sehenden Objekts undeutlich zu machen, wie etwa Mosaikverarbeitung. Ferner bezieht sich ein Ausblenden eines Tons auf ein derartiges Steuern der Lautstärke, dass der Ton allmählich verschwindet, ohne die in dem Inhalt definierte maximale Lautstärke des Tons zu überschreiten. Zudem bezieht sich ein auf ein Bild angewandtes Ausblenden auf ein derartiges Steuern des Bilds, dass es allmählich verschwindet, wie etwa ein allmähliches Erhöhen der Transmittanz des Bilds, um es vollständig transparent zu machen. Während die Wiedergabesteuereinheit 43 die Wiedergabe des Geräuschs eines Schritts vor dem vorhergesagten Fußaufsetzzeitpunkt beginnt, blendet sie beispielsweise das wiedergegebene Geräusch des Schritts aus, falls das Fußaufsetzen zu dem vorhergesagten Fußaufsetzzeitpunkt nicht tatsächlich detektiert wird. Dies kann dazu führen, dass der Benutzer das Geräusch des Schritts nicht wahrnimmt, und kann eine Vermittlung eines befremdlichen Gefühls, wie etwa das Hören des Geräuschs eines Schritts, obwohl er oder sie kein Fußaufsetzen vorgenommen hat, verhindern. Wird beispielsweise als Geräusch eines Schritts das Geräusch eines Auftretens auf abgeworfenen Blättern wiedergegeben, kann ein Ausblenden im Attack-Abschnitt dazu führen, dass der Benutzer dies als lediglich das Geräusch sich bewegender abgeworfener Blätter wahrnimmt.
  • Spezifische Beispiele dieser Wiedergabesteuerungen werden unter Bezugnahme auf 4 beschrieben. 4 ist ein Diagramm zur Erläuterung eines Beispiels einer Wiedergabesteuerung gemäß der vorliegenden Ausführungsform. Ein oberer Graph 111 in 4 ist ein Graph, der den Zeitübergangspegel der Sensorinformationen zeigt, wobei die vertikale Achse die Sensorinformationen (z. B. Beschleunigung) darstellt und die horizontale Achse die Zeit darstellt. Tatsächlich gibt es mehrere Achsen und mehrere Arten von Sensoren, wobei hier jedoch eine typische Achse gezeigt wird. Ein unterer Graph 112 in 4 ist ein Graph, der die Wellenform des Geräuschs von Schritten zeigt, das zu Zeitpunkten, die den Ergebnissen der Vorhersage von Fußaufsetzzeitpunkten entsprechen, ausgegeben wird, wobei die vertikale Achse die Amplitude darstellt und die horizontale Achse die Zeit darstellt. Es sei angenommen, dass das Fußaufsetzen zu einem Zeitpunkt t1 erfolgt, zu dem die Sensorinformationen einen Spitzenwert erreichen, wie in dem Graphen 111 gezeigt. Wie in einer Wellenform 113 gezeigt, beginnt die Wiedergabesteuereinheit 43 die Wiedergabe des Geräuschs eines Schritts von einem Zeitpunkt t3 vor dem vorhergesagten Fußaufsetzzeitpunkt t1. Wird dagegen zum Fußaufsetzzeitpunkt t1 kein Fußaufsetzen detektiert, wie in einer Wellenform 114 gezeigt, beginnt die Wiedergabesteuereinheit 43 die Wiedergabe des Geräuschs eines Schritts ab dem Zeitpunkt t3 vor dem vorhergesagten Fußaufsetzzeitpunkt t1, während das Geräusch des Schritts ab dem Zeitpunkt t1 ausgeblendet wird.
  • Prozessfluss
  • 5 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines durch die Informationsverarbeitungseinrichtung 1 durchgeführten Inhaltswiedergabesteuerprozesses gemäß der vorliegenden Ausführungsform zeigt. Wie in 5 gezeigt, erfasst zunächst die erste Sensoreinheit 10 Sensorinformationen, während der Benutzer geht (Schritt S102). Dann sagt die Vorhersageeinheit 42 auf der Grundlage der Sensorinformationen den nächsten Fußaufsetzzeitpunkt vorher (Schritt S104). Als Nächstes gibt die Wiedergabesteuereinheit 43 zu dem vorhergesagten Fußaufsetzzeitpunkt das Geräusch eines Schritts wieder (Schritt S106). Dann erfasst die erste Sensoreinheit 10 weiter Sensorinformationen, während der Benutzer geht (Schritt S108). Als Nächstes detektiert die Detektionseinheit 41, ob der Benutzer stehen bleibt oder nicht (Schritt S110). Beispielsweise detektiert die Detektionseinheit 41 das Fußaufsetzen des Benutzers oder ob der Benutzer im Begriff ist, stehenzubleiben, oder nicht. Wird detektiert, dass der Benutzer nicht stehen bleibt, etwa wenn tatsächlich ein Fußaufsetzen detektiert oder die Fortsetzung des Gehens detektiert wird (Schritt S110/NEIN), setzt die Wiedergabesteuereinheit 43 dann die Wiedergabe des Geräuschs eines Schritts fort (Schritt S112). Danach kehrt der Prozess zu Schritt S108 zurück. Wird dagegen detektiert, dass der Benutzer stehen bleibt, etwa wenn kein Fußaufsetzen detektiert wird oder detektiert wird, dass das Gehen in Kürze unterbrochen wird (Schritt S110/JA), stoppt die Wiedergabesteuereinheit 43 die Wiedergabe des Geräuschs des Schritts, indem sie beispielsweise das Geräusch des Schritts ausblendet (Schritt S114).
  • <Modifikationen>
  • Wiedergabesteuerung gemäß Zuverlässigkeit
  • Die Wiedergabesteuereinheit 43 kann die Wiedergabe eines Inhalts auf der Grundlage der Zuverlässigkeit von Sensorinformationen steuern.
  • Die Zuverlässigkeit von Sensorinformationen kann als der Gehalt an Informationen über die Fortbewegung des Benutzers in den Sensorinformationen definiert werden. Ist die Informationsverarbeitungseinrichtung 1 als Kopfhörer implementiert, gehört zu Fällen mit geringer Zuverlässigkeit der Sensorinformationen ein Fall, in dem der Kopfhörer lose befestigt ist, und Sensorinformationen beinhalten einen hohen Anteil an Vibrationen, die durch den Abstand zwischen dem Kopfhörer und dem Kopf des Benutzers verursacht werden. Ist die Informationsverarbeitungseinrichtung 1 als Smartphone implementiert, gehört zu Fällen mit geringer Zuverlässigkeit der Sensorinformationen ein Fall, in dem der Benutzer das Smartphone per Hand bedient, und Sensorinformationen beinhalten einen hohen Anteil an Vibrationen, die durch die Bedienung per Hand verursacht werden.
  • Die Zuverlässigkeit von Sensorinformationen kann als die Unmittelbarkeit der Sensorinformationen definiert werden. Schlägt beispielsweise eine Erfassung in regelmäßigen Intervallen aufgrund einer hohen Verarbeitungslast fehl, ist die Zuverlässigkeit der Sensorinformationen gering.
  • Die Zuverlässigkeit von Sensorinformationen kann als die Zuverlässigkeit einer Vorhersage durch die Vorhersageeinheit 42 definiert werden. Ist beispielsweise die nächste Bewegung schwer vorherzusagen, etwa wenn der Benutzer wiederholt geht und stehen bleibt, ist die Zuverlässigkeit der Vorhersage gering. Ist ferner der Gehalt an Informationen über die Fortbewegung des Benutzers in den Sensorinformationen gering, ist die Zuverlässigkeit der Vorhersage gering.
  • Bei der auf der Zuverlässigkeit von Sensorinformationen basierenden Wiedergabesteuerung gilt Folgendes: je höher die Zuverlässigkeit, desto klarer kann ein Inhalt wiedergegeben werden, und je geringer die Zuverlässigkeit, desto weniger klar kann ein Inhalt wiedergegeben werden. Beispielsweise kann die Wiedergabesteuereinheit 43 einen Ton mit einem starken Attack ausgeben, wenn die Zuverlässigkeit höher als ein vorbestimmter Schwellenwert ist, und einen Ton mit einem schwachen Attack ausgeben, wenn die Zuverlässigkeit geringer als der vorbestimmte Schwellenwert ist. Ein Ton mit einem starken Attack ist ein Ton mit einem kurzen Attack-Abschnitt, einer hohen maximalen Lautstärke am Ende des Attack-Abschnitts und/oder einem kurzen Abschnitt, in dem er eine Abschwächung von der maximalen Lautstärke auf eine vorbestimmte Lautstärke erfährt. Ein Beispiel eines Tons mit einem starken Attack ist ein Ton, bei dem ein Abschnitt mit maximaler Amplitude (also maximaler Lautstärke) innerhalb einer Sekunde nach dem Anstieg des Tons eintritt und nach einer Sekunde und später die Amplitude des Tons eine Abschwächung auf 20 % oder weniger der maximalen Amplitude erfährt. Ein Ton mit einem schwachen Attack ist ein Ton mit einem langen Attack-Abschnitt, einer geringen maximalen Lautstärke am Ende des Attack-Abschnitts und/oder einem langen Abschnitt, in dem er eine Abschwächung von der maximalen Lautstärke auf eine vorbestimmte Lautstärke erfährt. Ferner kann die Wiedergabesteuereinheit 43 die Lautstärke erhöhen, wenn die Zuverlässigkeit höher als ein vorbestimmter Schwellenwert ist, und die Lautstärke verringern, wenn die Zuverlässigkeit geringer als der vorbestimmte Schwellenwert ist. Je höher die Zuverlässigkeit, desto klarer wird ein Inhalt wiedergegeben, sodass der Inhalt dem Benutzer klar präsentiert werden kann. Je geringer dagegen die Zuverlässigkeit ist, desto weniger klar wird ein Inhalt wiedergegeben, sodass selbst bei falscher Vorhersage verhindert werden kann, dass dem Benutzer ein befremdliches Gefühl vermittelt wird.
  • 6 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines durch die Informationsverarbeitungseinrichtung 1 durchgeführten zuverlässigkeitsbasierten Wiedergabesteuerprozesses gemäß der vorliegenden Ausführungsform zeigt. Wie in 6 gezeigt, erfasst zunächst die erste Sensoreinheit 10 Sensorinformationen, während der Benutzer geht (Schritt S202). Dann sagt die Vorhersageeinheit 42 auf der Grundlage der Sensorinformationen den nächsten Fußaufsetzzeitpunkt vorher (Schritt S204). Als Nächstes bestimmt die Wiedergabesteuereinheit 43, ob die Zuverlässigkeit der Sensorinformationen hoch ist oder nicht (Schritt S206). Wird bestimmt, dass die Zuverlässigkeit der Sensorinformationen hoch ist (Schritt S206/JA), gibt die Wiedergabesteuereinheit 43 das Geräusch eines Schritts mit einem starken Attack wieder (Schritt S208). Wird dagegen bestimmt, dass die Zuverlässigkeit der Sensorinformationen gering ist (Schritt S206/NEIN), gibt die Wiedergabesteuereinheit 43 das Geräusch eines Schritts mit einem schwachen Attack wieder (Schritt S210).
  • Wiedergabesteuerung basierend auf Benutzerinformationen oder Charakterinformationen
  • Die Wiedergabesteuereinheit 43 kann die Wiedergabe eines Inhalts auf der Grundlage von Benutzerinformationen über einen Benutzer oder Charakterinformationen über einen dem Benutzer entsprechenden Charakter steuern. Die Inhaltswiedergabesteuerung beinhaltet hier eine Auswahl eines wiederzugebenden Inhalts, eine Lautstärkeregelung, eine Effektanwendung usw.
  • • Zustandsbasierte Wiedergabesteuerung
  • Die Benutzerinformationen können Informationen beinhalten, die den Zustand des Benutzers angeben, wie etwa die körperliche Stärke, den Betrag einer Bewegungsänderung, die Bewegungsstärke und die Bewegungsdauer des Benutzers. Die Charakterinformationen können Informationen beinhalten, die den Zustand des Charakters angeben, wie etwa die körperliche Stärke, den Betrag einer Bewegungsänderung, die Bewegungsstärke und die Bewegungsdauer des Charakters.
  • Beispielsweise steuert die Wiedergabesteuereinheit 43 die Wiedergabe eines Inhalts auf der Grundlage des Betrags (das heißt der Intensität) einer Änderung der Fortbewegung des Benutzers, angegeben durch Sensorinformationen. So erhöht die Wiedergabesteuereinheit 43, insbesondere wenn der Benutzer läuft, die Lautstärke des Geräuschs eines Schritts proportional zur Amplitude der Beschleunigung oder wählt das lautere Geräusch eines Schritts als wiederzugebendes Objekt aus. Wenn der Benutzer dagegen geht, verringert die Wiedergabesteuereinheit 43 die Lautstärke des Geräuschs eines Schritts oder gibt das Geräusch eines Schritts alle paar Fußaufsetzzeitpunkte wieder. Alternativ ändert die Wiedergabesteuereinheit 43 eine Geräuschquelle, die als das Geräusch eines Schritts wiedergegeben werden soll, oder ändert Parameter eines Algorithmus zum Erzeugen der Wellenform des Geräuschs eines Schritts.
  • Beispielsweise gibt die Wiedergabesteuereinheit 43 das kraftvolle Geräusch eines Schritts wieder, wenn die körperliche Stärke des Charakters in einem Spiel groß ist, und gibt das Geräusch eines Schritts eines gezogenen oder kollabierten Fußes wieder, wenn der Charakter müde oder angegriffen und beschädigt ist. Ferner gibt die Wiedergabesteuereinheit 43 das Geräusch eines Schritts eines schwachen Bilds wieder, wenn der Charakter nicht mehr kämpfen kann. Natürlich kann eine solche Steuerung nicht nur auf das Geräusch von Schritten angewandt werden, sondern auch auf ein beliebiges Geräusch, wenn der Körper bewegt wird. So gibt die Wiedergabesteuereinheit 43 beispielsweise ein kraftvolles, scharfes Geräusch gemäß der Bewegung einer Hand wieder, wenn die körperliche Stärke des Charakters groß ist, und gibt ein dumpfes Geräusch wieder, wenn Schaden zugefügt wird.
  • • Wiedergabesteuerung basierend auf Attributen
  • Die Benutzerinformationen können Informationen beinhalten, die die Attribute des Benutzers angeben, wie etwa Alter, Geschlecht, Größe, Gewicht und Habseligkeiten des Benutzers. Informationen, die die Attribute des Benutzers angeben, können durch den Benutzer eingegeben oder auf der Grundlage der Gangart oder dergleichen erkannt werden. Die Charakterinformationen können Informationen beinhalten, die die Attribute des Charakters angeben, wie etwa Alter, Geschlecht, Größe, Gewicht, Ausrüstung und ethnische Herkunft des Charakters. Informationen, die die Attribute des Charakters angeben, werden auf der Grundlage des Einstellens von Informationen in einem Spiel oder einem Inhalt, wie etwa einem VR-Inhalt, erfasst.
  • Beispielsweise gibt die Wiedergabesteuereinheit 43 bei einem AR-Erlebnis das Geräusch von Schritten gemäß dem Alter des Benutzers, den getragenen Schuhen und dem Geschlecht aus. Ferner gibt die Wiedergabesteuereinheit 43 bei einem Spielerlebnis das mechanische Geräusch von Schritten aus, wenn der Charakter ein realistischer Roboter ist, gibt ein elektronisches Geräusch aus, wenn der Charakter ein animierter Roboter ist, und gibt das sanfte Geräusch von Schritten aus, wenn der Charakter ein Tier ist.
  • Zusätzlich zu dem Geräusch von Schritten kann die Wiedergabesteuereinheit 43 natürlich ein Geräusch, das synchron mit der Wellenbewegung des Benutzers wiedergegeben werden soll, gemäß den Attributen des Benutzers oder des Charakters auswählen.
  • • Standortbasierte Wiedergabesteuerung
  • Die Benutzerinformationen können Informationen beinhalten, die den Standort des Benutzers angeben, wie etwa geografische Standortinformationen des Benutzers, Informationen, die einen geografischen Bereich angeben, in dem sich der Benutzer befindet, Informationen, die einen Raum in einem Gebäude angeben, in dem sich der Benutzer befindet, und Höhenlage. Die Charakterinformationen können Informationen beinhalten, die den Standort des Charakters angeben, wie etwa Informationen über den geografischen Standort des Charakters in einem virtuellen Raum, Informationen, die einen geografischen Bereich angeben, in dem sich der Charakter befindet, Informationen, die einen Raum in einem Gebäude angeben, in dem sich der Charakter befindet, und Höhenlage.
  • Beispielsweise gibt die Wiedergabesteuereinheit 43 bei einem AR-Erlebnis das Geräusch von Schritten gemäß einem Bereich, in dem sich der Benutzer befindet, wieder. Beispielsweise gibt sie das Geräusch von Wasser in einem Bereich wieder, auf dem eine Pfütze überlagert und angezeigt ist, und gibt das Geräusch eines Auftretens auf abgeworfenen Blättern in einem Bereich wieder, auf dem die abgeworfenen Blätter überlagert und angezeigt sind. Gleiches gilt für den Charakter.
  • - Konfigurationsbeispiel
  • Hier wird eine Konfiguration zum Erfassen von Informationen, die den Standort des Benutzers angeben, unter Bezugnahme auf 7 beschrieben. 7 ist ein Blockdiagramm, das ein anderes Beispiel einer logischen Konfiguration der Informationsverarbeitungseinrichtung 1 gemäß der vorliegenden Ausführungsform zeigt. Die in 7 gezeigte Informationsverarbeitungseinrichtung 1 beinhaltet zusätzlich zu den in 3 gezeigten Komponenten eine zweite Sensoreinheit 11 und eine Standortinformationserfassungseinheit 44.
  • • Zweite Sensoreinheit 11
  • Die zweite Sensoreinheit 11 hat eine Funktion, Informationen bezüglich des Standorts des Benutzers zu erfassen. Beispielsweise kann die zweite Sensoreinheit 11 eine Bildgebungsvorrichtung, die ein aufgenommenes Bild um den Benutzer aufnimmt, eine Drahtloskommunikationsvorrichtung, die Signale an die Umgebung überträgt und von dieser empfängt, eine GNSS-Vorrichtung (GNSS: Globales Navigationssatellitensystem), einen geomagnetischen Sensor, einen Beleuchtungsstärkesensor oder dergleichen beinhalten. Die zweite Sensoreinheit 11 gibt als Ergebnis der Erfassung erhaltene Sensorinformationen an die Steuereinheit 40 aus.
  • • Standortinformationserfassungseinheit 44
  • Die Standortinformationserfassungseinheit 44 hat eine Funktion, Informationen, die den Standort des Benutzers angeben, auf der Grundlage der durch die zweite Sensoreinheit 11 erhaltenen Sensorinformationen zu erfassen. Beispielsweise erfasst die Standortinformationserfassungseinheit 44 Informationen, die den Standort des Benutzers angeben, auf der Grundlage des Ergebnisses einer SLAM-Berechnung (SLAM: Simultaneous Localization and Mapping - Simultane Lokalisierung und Kartierung) basierend auf einem aufgenommenen Bild um den Benutzer, einer von der Umgebung empfangenen Funkbake, GNSS-Informationen oder geomagnetischen Informationen. Die Standortinformationserfassungseinheit 44 kann auf der Grundlage von Beleuchtungsstärkeinformationen Informationen erfassen, die angeben, ob es ein Innen- oder Außenbereich ist. Darüber hinaus können die Standortinformationen beispielsweise durch den Benutzer oder einen Ereignisbetreiber manuell eingegeben werden.
  • • Wiedergabesteuereinheit 43
  • Die Wiedergabesteuereinheit 43 steuert die Wiedergabe eines Inhalts ferner auf der Grundlage der durch die Standortinformationserfassungseinheit 44 erfassten Standortinformationen. Beispielsweise gibt die Wiedergabesteuereinheit 43 einen in der Speichereinheit 30 gespeicherten Inhalt mit Wiedergabeparametern gemäß den durch die Standortinformationserfassungseinheit 44 erfassten Standortinformationen wieder. Beispielsweise gibt die Wiedergabesteuereinheit 43 das Geräusch von Sand wieder, wenn sich der Benutzer in einem Bereich befindet, auf dem eine Wüste überlagert ist, und gibt das Geräusch von Wasser wieder, wenn sich der Benutzer in einem Bereich befindet, auf dem Wasser überlagert ist.
  • Steuerung von Fußaufsetzdetektionsintervallen
  • Die Detektionseinheit 41 kann die Intervalle zwischen Fußaufsetzdetektionen gemäß dem Zustand des Benutzers steuern. Während die Detektionseinheit 41 die Detektion eines Fußabsetzens in kurzen Intervallen gestattet, wenn die Fortbewegung des Benutzers groß ist, gestattet sie insbesondere die Detektion eines Fußabsetzens in kurzen Intervallen nicht, wenn die Bewegung des Benutzers gering ist.
  • Die Fußaufsetzdetektion wird in der Regel auf der Grundlage durchgeführt, ob ein auf der Grundlage von Sensorinformationen wie Beschleunigung oder Winkelgeschwindigkeit berechneter Beurteilungswert einen ersten Schwellenwert überschreitet oder nicht. Ferner wird angenommen, dass zwischen einem Fußaufsetzen und dem nächsten Fußaufsetzen eine gewisse Zeit liegt. Nach Detektion eines Fußaufsetzens wird daher das nächste Fußaufsetzen nach Ablauf einer Zeit, die einen zweiten Schwellenwert überschreitet, detektiert. Nach Detektion eines Fußaufsetzens detektiert die Detektionseinheit 41 somit ein Fußaufsetzen, wenn ein Beurteilungswert nach Ablauf einer Zeit, die den zweiten Schwellenwert überschreitet, den ersten Schwellenwert überschreitet.
  • Die Detektionseinheit 41 kann den ersten Schwellenwert und den zweiten Schwellenwert auf der Grundlage von Sensorinformationen dynamisch einstellen. Beispielsweise stellt die Detektionseinheit 41 den ersten Schwellenwert und den zweiten Schwellenwert zum Detektieren des nächsten Fußaufsetzens auf der Grundlage des Betrags von Sensorinformationen zum Zeitpunkt der vorherigen Fußaufsetzdetektion ein. Wenn der Benutzer langsam geht (wenn zum Beispiel die Beschleunigung gering ist), wird angenommen, dass ein Aufprall zum Zeitpunkt des Fußaufsetzens schwach ist und das Zeitintervall zwischen einem Fußaufsetzen und dem nächsten Fußaufsetzen lang ist. Werden Sensorinformationen erfasst, die angeben, dass der Benutzer langsam geht, stellt die Detektionseinheit 41 somit den ersten Schwellenwert klein und den zweiten Schwellenwert groß ein. Wenn dagegen der Benutzer läuft (wenn zum Beispiel die Beschleunigung groß ist), wird von der Detektionseinheit 41 angenommen, dass ein Aufprall zum Zeitpunkt des Fußaufsetzens stark ist und das Zeitintervall zwischen einem Fußaufsetzen und dem nächsten Fußaufsetzen kurz ist. Werden Sensorinformationen erfasst, die angeben, dass der Benutzer läuft, stellt die Detektionseinheit 41 somit den ersten Schwellenwert groß und den zweiten Schwellenwert klein ein.
  • Steuerung von Tonquellenwiedergabeparametern
  • Die Wiedergabesteuereinheit 43 kann Wiedergabeparameter einer Tonquelle (also Musik) auf der Grundlage des Ergebnisses einer Detektion durch die Detektionseinheit 41 steuern. Insbesondere stellt die Wiedergabesteuereinheit 43 die Lautstärke, die Wiedergabegeschwindigkeit, die Grenzfrequenz eines Tiefpassfilters, Panning und dergleichen auf der Grundlage des Ergebnisses einer Detektion des Betrags der Fortbewegung ein. Geht der Benutzer beispielsweise langsam, gibt die Wiedergabesteuereinheit 43 eine Tonquelle mit langsamem Tempo und geringer Lautstärke wieder. Wenn der Benutzer dagegen läuft, gibt die Wiedergabesteuereinheit 43 eine Tonquelle mit schnellem Tempo und hoher Lautstärke wieder. Hierdurch kann der Benutzer das Gefühl erlangen, als würde er oder sie Musik spielen, selbst wenn er oder sie keine Spieltechnik besitzt, und ein hohes Musikerlebnis genießen. Zudem wird anregendere Musik wiedergegeben, wenn sich der Benutzer aktiv bewegt, sodass Laufen oder Gehen gefördert wird.
  • Wenn hier die Wiedergabeparameter häufig geändert werden, kann sich das Benutzererlebnis verschlechtern. Wird beispielsweise die Musikwiedergabegeschwindigkeit in einem kurzen Zeitraum wiederholt geändert, wird das Taktschlagmuster der Musik gestört. Daher kann die Wiedergabesteuereinheit 43 nach Ändern eines Inhaltswiedergabeparameters eine weitere Änderung des Wiedergabeparameters unterdrücken, bis eine vorbestimmte Zeit verstrichen ist. Anders ausgedrückt ändert die Wiedergabesteuereinheit 43, die einen Inhaltswiedergabeparameter geändert hat, den Wiedergabeparameter erneut, nachdem eine vorbestimmte Zeit verstrichen ist. Dies verringert die Häufigkeit der Änderung der Wiedergabeparameter und kann somit die Verschlechterung des Benutzererlebnisses verhindern.
  • Ferner kann die Wiedergabesteuereinheit 43 die Wiedergabeparameter mit dem größten Wert von Sensorinformationen verknüpfen, wenn sich die Fortbewegung signifikant ändert, und kann in anderen Fällen vorgegebene Wiedergabeparameter verwenden. Folglich werden grundsätzlich die vorgegebenen Wiedergabeparameter verwendet, und die Häufigkeit der Änderung der Wiedergabeparameter wird verringert, sodass die Verschlechterung des Benutzererlebnisses verhindert werden kann.
  • Ferner kann die Wiedergabesteuereinheit 43 Inhaltswiedergabeparameter aus diskretisierten Kandidaten auswählen. Beispielsweise ändert die Wiedergabesteuereinheit 43 die Wiedergabegeschwindigkeit zu einer Wiedergabegeschwindigkeit, die das 0,5-Fache, das 1-Fache, das 1,5-Fache oder das 2-Fache einer vorgegebenen Wiedergabegeschwindigkeit beträgt, anstatt sie kontinuierlich zu ändern. Folglich ist die Änderungshäufigkeit im Vergleich zu dem Fall, bei dem die Wiedergabeparameter kontinuierlich geändert werden, verringert, sodass die Verschlechterung des Benutzererlebnisses verhindert werden kann.
  • Nachfolgend wird ein Wiedergabesteuerprozess zum Verhindern der durch die Häufigkeit der Änderung eines Wiedergabeparameters verursachten Verschlechterung des Benutzererlebnisses spezifisch unter Bezugnahme auf die 8 und 9 beschrieben.
  • 8 ist ein Diagramm zur Erläuterung eines Beispiels der Steuerung eines Tonquellenwiedergabeparameters gemäß der vorliegenden Ausführungsform. Ein oberer Graph 121 in 8 ist ein Graph, der den Zeitübergangspegel von Sensorinformationen zeigt, wobei die vertikale Achse die Sensorinformationen (z. B. Beschleunigung) darstellt und die horizontale Achse die Zeit darstellt. Ein unterer Graph 122 in 8 ist ein Graph, der den Zeitreihenübergang eines Wiedergabeparameters zeigt, wobei die vertikale Achse Taktschläge pro Minute (BPM: Beats Per Minute) darstellt und die horizontale Achse die Zeit darstellt. Wie in 8 gezeigt, beginnt die Wiedergabesteuereinheit 43 eine Erhöhung der BPM zu einem Zeitpunkt t4, wenn der Benutzer beginnt, sich fortzubewegen, und legt die BPM zu einem Zeitpunkt t5 fest, wenn die BPM dem Betrag der Fortbewegung entsprechen. Dann behält die Wiedergabesteuereinheit 43, selbst nachdem sich die Fortbewegung verlangsamt, dieselben BPM bis zu einem Zeitpunkt t6 bei und verringert dann die BPM bis zu einem Zeitpunkt t7.
  • 9 ist ein Flussdiagramm, das ein Beispiel eines Prozesses zum Steuern eines Tonquellenwiedergabeparameters gemäß der vorliegenden Ausführungsform zeigt. Zunächst stellt die Wiedergabesteuereinheit 43 einen Wiedergabeparameter P0 ein (Schritt S302). Dann detektiert die Detektionseinheit 41 den Betrag der Fortbewegung auf der Grundlage von Sensorinformationen (Schritt S304). Als Nächstes berechnet die Wiedergabesteuereinheit 43 einen neuen Wiedergabeparameter P1 auf der Grundlage des detektierten Betrags der Fortbewegung (Schritt S306). Dann bestimmt die Wiedergabesteuereinheit 43, ob die Differenz zwischen dem aktuellen Parameter P0 und dem neuen Parameter P1größer als ein Schwellenwert Th ist oder nicht (also ob | P0 - P1 | > Th gilt oder nicht) (Schritt S308) . Gilt 1 P0 - P1 | > Th (Schritt S308/JA), bestimmt die Wiedergabesteuereinheit 43, ob seit dem Einstellen des Wiedergabeparameters P0 eine vorbestimmte Zeit verstrichen ist oder nicht (Schritt S310). Wird bestimmt, dass die vorbestimmte Zeit seit dem Einstellen des Wiedergabeparameters P0 verstrichen ist (Schritt S310/JA), stellt die Wiedergabesteuereinheit 43 den neuen Wiedergabeparameter P1 ein (Schritt S312). Wird dagegen bestimmt, dass | P0 - P1| > Th nicht gilt (Schritt S308/NEIN) oder dass die vorgegebene Zeit seit dem Einstellen des Wiedergabeparameters P0 nicht verstrichen ist (Schritt S310/NEIN), behält die Wiedergabesteuereinheit 43 den Wiedergabeparameter P0 bei (Schritt S314).
  • Wiedergabesteuerung gemäß dem Taktschlag der wiedergegebenen Tonquelle
  • Wird eine Tonquelle wiedergegeben, und stimmt der Taktschlag der wiedergegebenen Tonquelle mit dem Zeitpunkt des vorbestimmten Zustands in einer Fortbewegung überein, kann die Wiedergabesteuereinheit 43 die Wiedergabe eines Inhalts (genauer gesagt eines Inhalts, der sich von der wiedergegebenen Tonquelle unterscheidet) steuern. Der Zeitpunkt des vorbestimmten Zustands kann hier ein durch die Detektionseinheit 41 detektierter Zeitpunkt oder ein durch die Vorhersageeinheit 42 vorhergesagter Zeitpunkt sein. Beispielsweise gibt die Wiedergabesteuereinheit 43 das Geräusch eines Schritts nur dann wieder, wenn der Taktschlag der wiedergegebenen Tonquelle mit einem vorhergesagten Fußaufsetzzeitpunkt übereinstimmt. Dies kann dem Benutzer ein Gefühl der Einheit mit der Musik vermitteln, wodurch das Benutzererlebnis verbessert wird.
  • Übereinstimmen bedeutet hier nicht nur exaktes Übereinstimmen, sondern ist ein Konzept, das eine Abweichung innerhalb eines vorbestimmten Schwellenwerts ermöglicht. Stimmt der Taktschlag einer wiedergegebenen Tonquelle mit dem Zeitpunkt des vorbestimmten Zustands in einer Fortbewegung mit einer Abweichung innerhalb des vorbestimmten Schwellenwerts überein, gibt die Wiedergabesteuereinheit 43 einen sich von der wiedergegebenen Tonquelle unterscheidenden Inhalt zu einem dem Taktschlag der wiedergegebenen Tonquelle entsprechenden Zeitpunkt wieder. Wenn beispielsweise der Taktschlag einer wiedergegebenen Tonquelle mit dem Zeitpunkt eines Fußaufsetzens übereinstimmt, sich jedoch nicht exakt mit diesem deckt, gibt die Wiedergabesteuereinheit 43 das Geräusch eines Schritts zum Zeitpunkt des Taktschlags der wiedergegebenen Tonquelle, nicht zum Fußaufsetzzeitpunkt, wieder. Anders ausgedrückt diskretisiert die Wiedergabesteuereinheit 43 den Wiedergabezeitpunkt des Geräuschs eines Schritts in den Zeitpunkt des Taktschlags der wiederzugebenden Tonquelle. Dieser Punkt wird spezifisch unter Bezugnahme auf 10 beschrieben.
  • 10 ist ein Diagramm zur Erläuterung eines Beispiels einer Wiedergabesteuerung des Geräuschs von Schritten gemäß dem Taktschlag einer wiedergegebenen Tonquelle gemäß der vorliegenden Ausführungsform. Ein oberes Diagramm 131 in 10 ist ein Diagramm, das die Zeitpunkte von Taktschlägen der Tonquelle als „X“ auf einer Zeitachse zeigt. Ein mittleres Diagramm 132 in 10 ist ein Diagramm, das Fußaufsetzzeitpunkte als „X“ auf einer Zeitachse zeigt. Ein unteres Diagramm 133 in 10 ist ein Diagramm, das Wiedergabezeitpunkte des Geräuschs von Schritten als „X“ auf einer Zeitachse zeigt. Wie in dem Diagramm 131 gezeigt, erscheint bei 120 BPM einmal alle 500 Millisekunden ein Viertelnotenschlag und alle 250 Millisekunden ein Achtelnotenschlag. Bei einem Taktschlagstartzeitpunkt von null Sekunden ist es erwünscht, dass das Geräusch von Schritten mit einer Anzahl von Sekunden wiedergegeben wird, die durch 250 Millisekunden teilbar ist. Unter Bezugnahme auf das Diagramm 132 werden Fußaufsetzzeitpunkte von 200 Millisekunden und 800 Millisekunden vorhergesagt, die nicht durch 250 Millisekunden teilbar sind. Daher gibt die Wiedergabesteuereinheit 43 das Geräusch eines Schritts, das dem Fußaufsetzzeitpunkt von 200 Millisekunden entspricht, bei 250 Millisekunden wieder, und gibt das Geräusch eines Schritts, das dem Fußaufsetzzeitpunkt von 800 Millisekunden entspricht, bei 750 Millisekunden wieder. Folglich wird, selbst wenn der Fußaufsetzzeitpunkt des Benutzers nicht mit dem Taktschlag der wiedergegebenen Tonquelle synchron ist, das Geräusch eines Schritts zum Zeitpunkt des Taktschlags wiedergegeben, sodass dem Benutzer ein Gefühl der Einheit mit der Musik vermittelt werden kann.
  • Wiedergabesteuerung gemäß Takten der wiedergegebenen Tonquelle
  • Wird eine Tonquelle wiedergegeben, und stimmt der Taktschlag der wiedergegebenen Tonquelle mit dem Zeitpunkt des vorbestimmten Zustands in einer Fortbewegung überein, kann die Wiedergabesteuereinheit 43 die Wiedergabe der wiedergegebenen Tonquelle oder einer anderen Tonquelle zum Zeitpunkt eines Taktübergangs der wiedergegebenen Tonquelle steuern. Der Zeitpunkt des vorbestimmten Zustands kann hier ein durch die Detektionseinheit 41 detektierter Zeitpunkt oder ein durch die Vorhersageeinheit 42 vorhergesagter Zeitpunkt sein. Stimmt beispielsweise der Taktschlag der wiedergegebenen Tonquelle mit dem detektierten oder vorhergesagten Fußaufsetzzeitpunkt überein, beginnt die Wiedergabesteuereinheit 43 die Wiedergabe einer anderen Tonquelle, stoppt die Wiedergabe der wiedergegebenen Tonquelle oder wendet einen Effekt auf die wiedergegebene Tonquelle an, zum Zeitpunkt eines Taktübergangs der wiedergegebenen Tonquelle. Zu Beispielen für anwendbare Effekte gehören ein Effekt, um einen Klang weniger klar zu machen, wie etwa Hall, und ein Effekt, um einen Klang klarer zu machen, wie etwa die Betonung des Hochfrequenzbereichs. Es sei angemerkt, dass der Beginn einer Wiedergabe als Steigern der Lautstärke von null angesehen werden kann und das Stoppen einer Wiedergabe als Verringern der Lautstärke auf null angesehen werden kann.
  • Wurde beispielsweise über einen vorbestimmten Zeitraum eine Fortbewegung detektiert, kann die Wiedergabesteuereinheit 43 die Wiedergabe einer anderen Tonquelle zum Zeitpunkt eines Taktübergangs beginnen. In diesem Fall nimmt beispielsweise die Anzahl wiedergegebener Tonquellen allmählich zu, wenn der Benutzer längere Zeit geht. Wurde dagegen über einen vorbestimmten Zeitraum keine Fortbewegung detektiert, kann die Wiedergabesteuereinheit 43 die Wiedergabe der wiedergegebenen Tonquelle zum Zeitpunkt eines Taktübergangs stoppen. In diesem Fall nimmt beispielsweise die Anzahl wiedergegebener Tonquellen allmählich ab, wenn der Benutzer stehen bleibt. Bei weiterer Fortsetzung der Fortbewegung des Benutzers nimmt die Anzahl wiedergegebener Tonquellen zu, und wenn die Fortbewegung gestoppt wird, nimmt die Anzahl wiedergegebener Tonquellen ab, sodass Laufen oder Gehen gefördert werden kann.
  • Wird die Wiedergabe einer neuen Tonquelle zum Zeitpunkt eines Taktübergangs der wiedergegebenen Tonquelle begonnen, kann die neu wiedergegebene Tonquelle eine andere in der Speichereinheit 30 gespeicherte Tonquelle sein oder beispielsweise durch Herunterladen extern erhalten werden.
  • Darüber hinaus kann eine wiedergegebene Tonquelle eine mehrspurige Tonquelle sein. Eine mehrspurige Tonquelle ist eine Tonquelle, die mehrere Spuren beinhaltet, auf denen die Töne von Gesang und einzelnen Musikinstrumenten, wie etwa einer Trommel, aufgezeichnet sind. Wird eine mehrspurige Tonquelle wiedergegeben, und stimmt der Taktschlag der wiedergegebenen mehrspurigen Tonquelle mit dem Zeitpunkt des vorbestimmten Zustands in einer Fortbewegung überein, kann die Wiedergabesteuereinheit 43 die Wiedergabe mehrerer in der mehrspurigen Tonquelle enthaltener Spuren zum Zeitpunkt eines Taktübergangs einer wiedergegebenen Spur steuern. Beispielsweise stoppt die Wiedergabesteuereinheit 43 die Wiedergabe einer wiedergegebenen Spur (also einer Spur, deren Lautstärke nicht null beträgt) oder beginnt die Wiedergabe einer nicht wiedergegebenen Spur (also einer Spur, deren Lautstärke null beträgt) zum Zeitpunkt eines Taktübergangs der wiedergegebenen mehrspurigen Tonquelle. Darüber hinaus kann die Wiedergabesteuereinheit 43 zum Zeitpunkt eines Taktübergangs der wiedergegebenen mehrspurigen Tonquelle einen Effekt anwenden.
  • Wurde beispielsweise über einen vorbestimmten Zeitraum eine Fortbewegung detektiert, kann die Wiedergabesteuereinheit 43 die Wiedergabe einer nicht wiedergegebenen Spur zum Zeitpunkt eines Taktübergangs beginnen. In diesem Fall nimmt beispielsweise die Anzahl wiedergegebener Spuren allmählich zu, wenn der Benutzer längere Zeit geht. Wurde dagegen über einen vorbestimmten Zeitraum keine Fortbewegung detektiert, kann die Wiedergabesteuereinheit 43 die Wiedergabe einer wiedergegebenen Spur zum Zeitpunkt eines Taktübergangs stoppen. In diesem Fall nimmt beispielsweise die Anzahl wiedergegebener Spuren allmählich ab, wenn der Benutzer stehen bleibt. Setzt der Benutzer die Fortbewegung weiter fort, nimmt die Anzahl wiedergegebener Spuren zu, und wenn die Fortbewegung gestoppt wird, nimmt die Anzahl wiedergegebener Spuren ab, sodass Laufen oder Gehen gefördert werden kann.
  • 11 ist ein Diagramm zur Erläuterung eines Beispiels einer Wiedergabesteuerung gemäß Takten einer wiedergegebenen mehrspurigen Tonquelle gemäß der vorliegenden Ausführungsform. Ein oberes Diagramm 141 in 11 ist ein Diagramm, das Fußaufsetzzeitpunkte in der Fortbewegung eines Benutzers auf einer Zeitachse zeigt. Ein mittlerer Graph 142 in 11 ist ein Graph, der die Lautstärke einer Spur A zeigt, die in der mehrspurigen Tonquelle enthalten ist, wobei die horizontale Achse die Zeit darstellt und die vertikale Achse die Lautstärke darstellt. Ein unterer Graph 143 in 11 ist ein Graph, der die Lautstärke einer Spur B zeigt, die in der mehrspurigen Tonquelle enthalten ist, wobei die vertikale Achse die Lautstärke darstellt und die horizontale Achse die Zeit darstellt. Hier sei angenommen, dass die Anzahl in dem Diagramm 141 gezeigter Schritte mit dem Taktschlag der mehrspurigen Tonquelle übereinstimmt. Ist die mehrspurige Tonquelle im Viervierteltakt, entsprechen vier Taktschläge (also vier Schritte) einem Takt. Somit beginnt die Wiedergabesteuereinheit 43 die Wiedergabe der Spur A, wie in dem Graphen 142 gezeigt, zum Zeitpunkt des vierten Schritts, der in dem Diagramm 141 gezeigt ist (also zu einem Zeitpunkt t10 eines Taktübergangs). Als Nächstes beginnt die Wiedergabesteuereinheit 43 die Wiedergabe der Spur B, wie in dem Graphen 143 gezeigt, zum Zeitpunkt des achten Schritts, der in dem Diagramm 141 gezeigt ist (also zu einem Zeitpunkt t11 eines Taktübergangs). Bleibt der Benutzer dann stehen, stoppt die Wiedergabesteuereinheit 43 die Wiedergabe der Spur B, wie in dem Graphen 143 gezeigt, zu einem Zeitpunkt t12 eines Taktübergangs, gezeigt in dem Diagramm 141.
  • 12 ist ein Flussdiagramm, das ein Beispiel eines Flusses eines Wiedergabesteuerprozesses gemäß Takten einer wiedergegebenen mehrspurigen Tonquelle, der durch die Informationsverarbeitungseinrichtung 1 durchgeführt wird, gemäß der vorliegenden Ausführungsform zeigt. Wie in 12 gezeigt, detektiert zunächst die Detektionseinheit 41 ein Fußaufsetzen auf der Grundlage von Sensorinformationen (Schritt S402). Als Nächstes bestimmt die Wiedergabesteuereinheit 43, ob während eines vorbestimmten Zeitraums kontinuierlich ein Fußaufsetzen detektiert wurde oder nicht (Schritt S404). Wird bestimmt, dass es detektiert wurde (Schritt S404/JA), bestimmt die Wiedergabesteuereinheit 43, ob der Taktschlag der wiedergegebenen mehrspurigen Tonquelle mit dem Fußaufsetzzeitpunkt übereinstimmt oder nicht (Schritt S406). Wird keine Übereinstimmung bestimmt (Schritt S406/NEIN), kehrt der Prozess erneut zu Schritt S406 zurück. Wird eine Übereinstimmung bestimmt (Schritt S406/JA), erhöht die Wiedergabesteuereinheit 43 allmählich die Lautstärke einer nicht wiedergegebenen Spur zum Zeitpunkt eines Taktübergangs der wiedergegebenen mehrspurigen Tonquelle (Schritt S408). Wird dagegen bestimmt, dass ein Fußaufsetzen während des vorbestimmten Zeitraums nicht kontinuierlich detektiert wurde (Schritt S404/NEIN), verringert die Wiedergabesteuereinheit 43 allmählich die Lautstärke der wiedergegebenen Spur (Schritt S410).
  • «4. Hardwarekonfigurationsbeispiel»
  • Schließlich wird unter Bezugnahme auf 13 eine Hardwarekonfiguration einer Informationsverarbeitungseinrichtung gemäß der vorliegenden Ausführungsform beschrieben. 13 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration einer Informationsverarbeitungseinrichtung gemäß der vorliegenden Ausführungsform zeigt. Es sei angemerkt, dass eine in 13 gezeigte Informationsverarbeitungseinrichtung 900 beispielsweise die in den 3 und 7 gezeigte Informationsverarbeitungseinrichtung 1 implementieren kann. Eine Informationsverarbeitung durch die Informationsverarbeitungseinrichtung 1 gemäß der vorliegenden Ausführungsform wird durch Zusammenwirken nachstehend beschriebener Software und Hardware implementiert.
  • Wie in 13 gezeigt, beinhaltet die Informationsverarbeitungseinrichtung 900 eine Zentralverarbeitungseinheit (CPU) 901, einen Nurlesespeicher (ROM) 902, einen Direktzugriffsspeicher (RAM) 903 und einen Host-Bus 904a. Außerdem beinhaltet die Informationsverarbeitungseinrichtung 900 eine Brücke 904, einen externen Bus 904b, eine Schnittstelle 905, eine Eingabevorrichtung 906, eine Ausgabevorrichtung 907, eine Speichervorrichtung 908, ein Laufwerk 909, einen Verbindungsanschluss 911 und eine Kommunikationsvorrichtung 913. Die Informationsverarbeitungseinrichtung 900 kann eine Verarbeitungsschaltung, wie etwa eine elektrische Schaltung, einen DSP oder eine ASIC anstelle oder zusammen mit der CPU 901 beinhalten.
  • Die CPU 901 fungiert als eine arithmetische Verarbeitungseinheit und eine Steuerung und steuert sämtliche Operationen in der Informationsverarbeitungseinrichtung 900 gemäß verschiedenen Programmen. Des Weiteren kann die CPU 901 ein Mikroprozessor sein. Der ROM 902 speichert Programme, Betriebsparameter usw., die durch die CPU 901 verwendet werden. Der RAM 903 speichert temporär ein Programm, das bei der Ausführung der CPU 901 verwendet wird, Parameter, die zweckmäßig bei der Ausführung geändert werden usw. Die CPU 901 kann beispielsweise die in den 3 und 7 gezeigte Steuereinheit 40 bilden.
  • Die CPU 901, der ROM 902 und der RAM 903 sind durch den Host-Bus 904a einschließlich eines CPU-Busses usw. miteinander verbunden. Der Host-Bus 904a ist über die Brücke 904 mit dem externen Bus 904b, wie etwa einem PCI(Peripheral-Component-Interconnect/Interface)-Bus, verbunden. Es sei angemerkt, dass der Host-Bus 904a, die Brücke 904 und der externe Bus 904b nicht notwendigerweise separat konfiguriert sein müssen und diese Funktionen in einem Bus implementiert werden können.
  • Die Eingabevorrichtung 906 wird durch eine Vorrichtung implementiert, in die der Benutzer Informationen eingibt, wie etwa eine Maus, eine Tastatur, ein Touchpanel, eine Taste, ein Mikrofon, einen Schalter und einen Hebel. Ferner kann die Eingabevorrichtung 906 beispielsweise eine Fernsteuervorrichtung sein, die Infrarotstrahlen oder andere Funkwellen verwendet, oder sie kann eine extern verbundene Vorrichtung, wie etwa ein Mobiltelefon oder ein PDA, sein, die den Betrieb der Informationsverarbeitungseinrichtung 900 unterstützt. Zudem kann die Eingabevorrichtung 906 beispielsweise eine Eingabesteuerschaltung beinhalten, die ein Eingangssignal auf der Grundlage von Informationen, die durch den Benutzer unter Verwendung der obigen Eingabemittel eingegeben werden, erzeugt und es zu der CPU 901 ausgibt. Durch Bedienen der Eingabevorrichtung 906 kann der Benutzer der Informationsverarbeitungseinrichtung 900 verschiedene Daten in die Informationsverarbeitungseinrichtung 900 eingeben und eine Verarbeitungsbedienung für diese anweisen.
  • Darüber hinaus kann die Eingabevorrichtung 906 durch eine Vorrichtung gebildet werden, die mit dem Benutzer assoziierte Informationen detektiert. Beispielsweise kann die Eingabevorrichtung 906 verschiedene Sensoren beinhalten, wie etwa einen Bildsensor (z. B. eine Kamera), einen Tiefensensor (z. B. eine Stereokamera), einen Beschleunigungssensor, einen Gyroskopsensor, einen geomagnetischen Sensor, einen optischen Sensor, einen Schallsensor, einen Abstandsmesssensor und einen Kraftsensor. Außerdem kann die Eingabevorrichtung 906 Informationen bezüglich des Zustands der Informationsverarbeitungseinrichtung 900 selbst, wie etwa die Position und Fortbewegungsgeschwindigkeit der Informationsverarbeitungseinrichtung 900, und Informationen bezüglich der unmittelbaren Umgebung der Informationsverarbeitungseinrichtung 900, wie etwa Helligkeit und Geräusche um die Informationsverarbeitungseinrichtung 900 herum, erfassen. Darüber hinaus kann die Eingabevorrichtung 906 ein GNSS-Modul (GNSS: Globales Navigationssatellitensystem) beinhalten, das ein GNSS-Signal von einem GNSS-Satelliten (z. B. ein GPS-Signal (GPS: Globales Positionsbestimmungssystem) von einem GPS-Satelliten) empfängt und Standortinformationen einschließlich des Breitengrads, des Längengrads und der Höhe der Einrichtung misst. Ferner kann, für die Standortinformationen, die Eingabevorrichtung 906 den Standort durch WiFi (eingetragenes Markenzeichen), Übertragen und Empfangen mit einem Mobiltelefon, einem PHS, einem Smartphone oder dergleichen, Nahbereichskommunikation oder dergleichen detektieren. Die Eingabevorrichtung 906 kann beispielsweise die erste Sensoreinheit 10 und die zweite Sensoreinheit 11 bilden, die in den 3 und 7 gezeigt sind.
  • Die Ausgabeeinrichtung 907 wird durch eine Einrichtung gebildet, die den Benutzer visuell oder akustisch über erfasste Informationen benachrichtigen kann. Zu Beispielen für eine solche Vorrichtung gehören Anzeigevorrichtungen, wie etwa eine CRT-Anzeigevorrichtung, eine Flüssigkristallanzeigevorrichtung, eine Plasmaanzeigevorrichtung, eine EL-Anzeigevorrichtung, ein Laserprojektor, ein LED-Projektor und eine Lampe, Audioausgabevorrichtungen, wie etwa ein Lautsprecher und ein Kopfhörer, und eine Druckervorrichtung. Die Ausgabevorrichtung 907 gibt beispielsweise Ergebnisse aus, die durch verschiedene durch die Informationsverarbeitungseinrichtung 900 durchgeführte Arten von Verarbeitung erhalten werden. Insbesondere zeigt die Anzeigevorrichtung visuell Ergebnisse, die durch verschiedene durch die Informationsverarbeitungseinrichtung 900 durchgeführte Arten von Verarbeitung erhalten wurden, in verschiedenen Formen, wie etwa Text, ein Bild, eine Tabelle und ein Graph, an. Die Audioausgabevorrichtung dagegen setzt ein Audiosignal, das wiedergegebene Audiodaten, akustische Daten oder dergleichen beinhaltet, in ein analoges Signal um und gibt es akustisch aus. Die Ausgabevorrichtung 907 kann beispielsweise die in den 3 und 7 gezeigte Ausgabeeinheit 20 bilden.
  • Die Speichervorrichtung 908 ist eine Datenspeichervorrichtung, die als ein Beispiel einer Speichereinheit der Informationsverarbeitungseinrichtung 900 gebildet ist. Die Speichervorrichtung 908 wird zum Beispiel durch eine magnetische Speichervorrichtung wie etwa eine HDD, eine Halbleiterspeichervorrichtung, eine optische Speichervorrichtung, eine magnetooptische Speichervorrichtung oder dergleichen implementiert. Die Speichervorrichtung 908 kann ein Speichermedium, eine Aufzeichnungsvorrichtung, die Daten auf dem Speichermedium aufzeichnet, eine Lesevorrichtung, die Daten aus dem Speichermedium liest, eine Löschvorrichtung, die auf dem Speichermedium gespeicherte Daten löscht, usw. beinhalten. Die Speichervorrichtung 908 speichert Programme, die durch die CPU 901 ausgeführt werden, verschiedene Daten, verschiedene von außen erfasste Daten usw. Die Speichervorrichtung 908 kann beispielsweise die in den 3 und 7 gezeigte Speichereinheit 30 bilden.
  • Das Laufwerk 909 ist ein Speichermedium-Lese-/Schreibgerät und ist in die Informationsverarbeitungseinrichtung 900 eingebaut oder extern daran angeschlossen. Das Laufwerk 909 liest Informationen, die auf einem darin eingeführten entfernbaren Speichermedium wie etwa einer magnetischen Platte, einer optischen Platte, einer magnetooptischen Platte oder einem Halbleiterspeicher aufgezeichnet sind, und gibt sie an den RAM 903 aus. Zudem kann das Laufwerk 909 Informationen auf das entfernbare Speichermedium schreiben.
  • Der Verbindungsanschluss 911 ist eine Schnittstelle, die mit einer externen Vorrichtung verbunden ist, und ist ein Verbindungsanschluss für eine externe Vorrichtung, die Daten beispielsweise über den Universal Serial Bus (USB) übertragen kann.
  • Die Kommunikationsvorrichtung 913 ist beispielsweise eine Kommunikationsschnittstelle, die durch eine Kommunikationsvorrichtung zur Verbindung mit dem Netzwerk 920 oder dergleichen gebildet wird. Die Kommunikationsvorrichtung 913 ist beispielsweise eine Kommunikationskarte für ein drahtgebundenes oder drahtloses lokales Netzwerk (LAN), Long Term Evolution (LTE), Bluetooth (eingetragenes Markenzeichen) oder Wireless USB (WUSB) oder dergleichen. Zudem kann die Kommunikationsvorrichtung 913 ein Router für eine optische Kommunikation, ein Router für ADSL (Asymmetrie Digital Subscriber Line), ein Modem für verschiedene Arten von Kommunikation oder dergleichen sein. Die Kommunikationsvorrichtung 913 kann Signale usw. gemäß einem vorbestimmten Protokoll, wie etwa TCP/IP, beispielsweise an das Internet und andere Kommunikationsvorrichtungen übertragen und von diesen empfangen.
  • Es sei angemerkt, dass das Netzwerk 920 ein drahtgebundener oder drahtloser Übertragungspfad für Informationen ist, die von einer mit dem Netzwerk 920 verbundenen Einrichtung übertragen werden. Das Netzwerk 920 kann beispielsweise öffentliche Netzwerke, wie etwa das Internet, ein Telefonnetzwerk und ein Satellitenkommunikationsnetzwerk, verschiedene lokale Netzwerke (LANs) einschließlich Ethernet (eingetragenes Markenzeichen), ein großflächiges Netzwerk (WAN) usw. beinhalten. Zudem kann das Netzwerk 920 ein privates Netzwerk, wie etwa ein virtuelles privates Internetprotokoll-Netzwerk (IP-VPN), beinhalten.
  • Im Vorstehenden wurde ein Beispiel einer Hardwarekonfiguration gezeigt, die in der Lage ist, die Funktionen der Informationsverarbeitungseinrichtung 900 gemäß der vorliegenden Ausführungsform zu implementieren. Jede der obigen Komponenten kann unter Verwendung eines Universalbauteils implementiert werden oder kann durch Hardware implementiert werden, die für die Funktion der Komponente spezialisiert ist. Somit ist es möglich, eine zu verwendende Hardwarekonfiguration gemäß dem technischen Niveau zu jedem Zeitpunkt, zu dem die vorliegende Ausführungsform implementiert wird, angemessen zu ändern.
  • Es sei angemerkt, dass es möglich ist, ein Computerprogramm zum Implementieren jeder Funktion der Informationsverarbeitungseinrichtung 900 gemäß der vorliegenden Ausführungsform wie oben beschrieben zu erstellen und es auf einem PC oder dergleichen zu installieren. Zudem ist es möglich, ein computerlesbares Aufzeichnungsmedium bereitzustellen, in dem ein solches Computerprogramm gespeichert ist. Das Aufzeichnungsmedium ist zum Beispiel eine magnetische Platte, eine optische Platte, eine magnetooptische Platte, ein Flash-Speicher oder dergleichen. Ferner kann das obige Computerprogramm beispielsweise über ein Netzwerk geliefert werden, ohne ein Aufzeichnungsmedium zu verwenden.
  • «5. Resümee»
  • Gemäß dem Vorstehenden wurde eine Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die 1 bis 13 ausführlich beschrieben. Wie oben beschrieben, steuert die Informationsverarbeitungseinrichtung 1 gemäß der vorliegenden Ausführungsform die Wiedergabe eines Inhalts auf der Grundlage des Ergebnisses einer Vorhersage des Zeitpunkts eines vorbestimmten Zustands in der Fortbewegung eines Benutzers, wobei die Vorhersage auf der Grundlage von Sensorinformationen bezüglich der Fortbewegung durchgeführt wird. Da die Wiedergabesteuerung des Inhalts gemäß dem Vorhersageergebnis begonnen werden kann, bevor der vorbestimmte Zustand in der Fortbewegung tatsächlich detektiert wird, kann der Inhalt in Echtzeit gemäß der Körperbewegung des Benutzers bereitgestellt werden. Beispielsweise beginnt die Informationsverarbeitungseinrichtung 1 auf der Grundlage des Ergebnisses einer Vorhersage eines Fußaufsetzzeitpunkts in der Gehbewegung des Benutzers eine Schrittgeräusch-Wiedergabeverarbeitung früher als der Fußaufsetzzeitpunkt. Dadurch lässt sich das Auftreten einer Zeitverzögerung zwischen dem tatsächlichen Fußaufsetzzeitpunkt und dem Schrittgeräusch-Wiedergabezeitpunkt verhindern.
  • Obgleich eine bevorzugte Ausführungsform der vorliegenden Offenbarung ausführlich unter Bezugnahme auf die begleitenden Zeichnungen beschrieben wurde, ist der technische Schutzumfang der vorliegenden Offenbarung nicht auf das Beispiel beschränkt. Es ist offensichtlich, dass eine Person mit durchschnittlichen Fähigkeiten auf dem technischen Gebiet der vorliegenden Offenbarung zu verschiedenen Änderungen oder Modifikationen innerhalb des Schutzumfangs der in den Ansprüchen beschriebenen technischen Ideen gelangen kann. Diese sollen selbstverständlich zum technischen Schutzumfang der vorliegenden Offenbarung gehören.
  • Beispielsweise beinhaltet in der obigen Ausführungsform die Informationsverarbeitungseinrichtung 1 die erste Sensoreinheit 10, die zweite Sensoreinheit 11, die Ausgabeeinheit 20, die Speichereinheit 30 und die Steuereinheit 40, wobei die vorliegende Technologie jedoch nicht auf dieses Beispiel beschränkt ist. Beispielsweise kann mindestens ein Teil der Komponenten der ersten Sensoreinheit 10, der zweiten Sensoreinheit 11, der Ausgabeeinheit 20, der Speichereinheit 30 und der Steuereinheit 40 als eine von den anderen Komponenten getrennte Vorrichtung implementiert werden. Beispielsweise kann ein Smartphone die erste Sensoreinheit 10, die zweite Sensoreinheit 11, die Speichereinheit 30 und die Steuereinheit 40 beinhalten und mit einem Kopfhörer, der die Ausgabeeinheit 20 beinhaltet, verbunden sein. Zudem kann ein Smartphone die Speichereinheit 30 und die Steuereinheit 40 beinhalten und mit einer an einem Körperglied getragenen Wearable-Vorrichtung, die die erste Sensoreinheit 10 und die zweite Sensoreinheit 11 beinhaltet, und einem Kopfhörer, der die Ausgabeeinheit 20 beinhaltet, verbunden sein. Darüber hinaus können die Speichereinheit 30 und die Steuereinheit 40 in einem Server in der Cloud enthalten sein und über ein Netzwerk mit einem Endgerät verbunden sein, das die erste Sensoreinheit 10, die zweite Sensoreinheit 11, die Speichereinheit 30 und die Steuereinheit 40 beinhaltet.
  • Zudem kann es verschiedene Anwendungsfälle der vorliegenden Technologie geben, die sich von den in der obigen Ausführungsform beschriebenen Anwendungsfällen unterscheiden. Beispielsweise kann die vorliegende Technologie für medizinische Zwecke verwendet werden. Beispielsweise gibt die Informationsverarbeitungseinrichtung 1 einen Fußaufsetzzeitpunkt durch ein Geräusch oder ein Bild an einen in Gehrehabilitation befindlichen Patienten zurück. Dies erleichtert dem Patienten das Aufnehmen eines Gehrhythmus. Zudem kann die Informationsverarbeitungseinrichtung 1 die nächste Zielschrittposition durch ein Geräusch oder ein Bild präsentieren. Des Weiteren kann die Informationsverarbeitungseinrichtung 1 ein tägliches Gehprotokoll aufzeichnen und dem Patienten den Grad der Verbesserung bereitstellen.
  • Zudem sind die in der vorliegenden Beschreibung beschriebenen Effekte lediglich veranschaulichend oder beispielhaft und nicht einschränkend. Das heißt, die Technologie gemäß der vorliegenden Offenbarung kann zusätzlich zu den obigen Effekten oder anstelle der obigen Effekte andere Effekte erzielen, die für Fachleute aus der Beschreibung der vorliegenden Beschreibung ersichtlich sind.
  • Es sei angemerkt, dass die folgenden Konfigurationen auch zum technischen Schutzumfang der vorliegenden Offenbarung gehören.
  • (1)
  • Eine Informationsverarbeitungseinrichtung, die eine Wiedergabesteuereinheit beinhaltet, die eine Wiedergabe eines Inhalts auf der Grundlage eines Ergebnisses einer Vorhersage eines Zeitpunkts eines vorbestimmten Zustands in einer Fortbewegung eines Benutzers steuert, wobei die Vorhersage auf der Grundlage von Sensorinformationen bezüglich der Fortbewegung durchgeführt wird.
  • (2)
  • Die Informationsverarbeitungseinrichtung nach (1) oben, wobei der Zeitpunkt des vorbestimmten Zustands auf der Grundlage eines Zeitreihenübergangs eines Zeitintervalls zwischen Zeitpunkten des vorbestimmten Zustands, die auf der Grundlage der Sensorinformation detektiert wurden, vorhergesagt wird.
  • (3)
  • Die Informationsverarbeitungseinrichtung nach (1) oder (2) oben, wobei der Zeitpunkt des vorbestimmten Zustands auf der Grundlage eines Zeitreihenübergangs der Sensorinformation vorhergesagt wird.
  • (4)
  • Die Informationsverarbeitungseinrichtung nach einem von (1) bis (3) oben, wobei der Zeitpunkt des vorbestimmten Zustands auf der Grundlage eines Ergebnisses einer Vorhersage eines Zeitreihenübergangs der Sensorinformation oder eines Ergebnisses einer Vorhersage eines Zeitreihenübergangs eines Ergebnisses einer Berechnung basierend auf den Sensorinformationen vorhergesagt wird.
  • (5)
  • Die Informationsverarbeitungseinrichtung nach einem von (1) bis (4) oben, wobei
    die Wiedergabesteuereinheit
    den Inhalt zu dem vorhergesagten Zeitpunkt des vorbestimmten Zustands wiedergibt und
    die Wiedergabe des Inhalts steuert, wenn aus den Sensorinformationen nicht detektiert wird, dass der vorbestimmte Zustand tatsächlich zu dem vorhergesagten Zeitpunkt des vorbestimmten Zustands eintritt.
  • (6)
  • Die Informationsverarbeitungseinrichtung nach (5) oben, wobei die Wiedergabesteuereinheit die Wiedergabe des Inhalts stoppt, die Lautstärke verringert oder einen vorbestimmten Effekt auf den Inhalt anwendet.
  • (7)
  • Die Informationsverarbeitungseinrichtung nach (6) oben, wobei es sich bei dem vorbestimmten Effekt um Unschärfe oder Ausblenden handelt.
  • (8)
  • Die Informationsverarbeitungseinrichtung nach einem von (1) bis (7) oben, wobei die Wiedergabesteuereinheit die Wiedergabe des Inhalts auf der Grundlage der Zuverlässigkeit der Sensorinformationen steuert.
  • (9)
  • Die Informationsverarbeitungseinrichtung nach (8) oben, wobei die Wiedergabesteuereinheit einen Ton mit einem starken Attack ausgibt, wenn die Zuverlässigkeit höher als ein vorbestimmter Schwellenwert ist, und einen Ton mit einem schwachen Attack ausgibt, wenn die Zuverlässigkeit geringer als der vorgegebene Schwellenwert ist.
  • (10)
  • Die Informationsverarbeitungseinrichtung nach einem von (1) bis (9) oben, wobei der Zeitpunkt des vorbestimmten Zustands ein Zeitpunkt eines Fußaufsetzens in einer Gehbewegung oder einer Laufbewegung oder ein Zeitpunkt des Erreichens eines höchsten Punkts in einer Sprungbewegung ist.
  • (11)
  • Die Informationsverarbeitungseinrichtung nach einem von (1) bis (10) oben, wobei die Wiedergabesteuereinheit die Wiedergabe des Inhalts auf der Grundlage von Benutzerinformationen über den Benutzer oder Charakterinformationen über einen dem Benutzer entsprechenden Charakter steuert.
  • (12)
  • Die Informationsverarbeitungseinrichtung nach (11) oben, wobei die Benutzerinformationen ein Attribut und/oder einen Zustand und/oder einen Standort des Benutzers beinhalten.
  • (13)
  • Die Informationsverarbeitungseinrichtung nach (12) oben, wobei
    der Inhalt Töne beinhaltet und,
    der Zustand des Benutzers den Betrag einer Änderung der Fortbewegung des Benutzers, die durch die Sensorinformationen angegeben wird, beinhaltet.
  • (14)
  • Die Informationsverarbeitungseinrichtung nach (11) oben, wobei die Charakterinformationen ein Attribut und/oder einen Zustand und/oder einen Standort des Charakters beinhalten.
  • (15)
  • Die Informationsverarbeitungseinrichtung nach einem von (1) bis (14) oben, wobei die Wiedergabesteuereinheit, die einen Wiedergabeparameter des Inhalts geändert hat, eine weitere Änderung des Wiedergabeparameters unterdrückt, bis eine vorbestimmte Zeit verstrichen ist.
  • (16)
  • Die Informationsverarbeitungseinrichtung nach einem von (1) bis (15) oben, wobei die Wiedergabesteuereinheit eine Tonquelle wiedergibt und die Wiedergabe des Inhalts steuert, wenn ein Taktschlag der wiedergegebenen Tonquelle mit dem vorhergesagten Zeitpunkt des vorbestimmten Zustands übereinstimmt.
  • (17)
  • Die Informationsverarbeitungseinrichtung nach einem von (1) bis (16) oben, wobei die Wiedergabesteuereinheit eine Tonquelle wiedergibt und eine Wiedergabe der wiedergegebenen Tonquelle oder einer anderen Tonquelle zu einem Zeitpunkt eines Taktübergangs der wiedergegebenen Tonquelle steuert, wenn ein Taktschlag der wiedergegebenen Tonquelle mit dem Zeitpunkt des vorbestimmten Zustands übereinstimmt.
  • (18)
  • Die Informationsverarbeitungseinrichtung nach (17) oben, wobei die Wiedergabesteuereinheit eine mehrspurige Tonquelle wiedergibt und eine Wiedergabe mehrerer in der mehrspurigen Tonquelle enthaltener Spuren zu einem Zeitpunkt eines Taktübergangs der wiedergegebenen mehrspurigen Tonquelle steuert, wenn ein Taktschlag der wiedergegebenen mehrspurigen Tonquelle mit dem Zeitpunkt des vorbestimmten Zustands übereinstimmt.
  • (19)
  • Ein Informationsverarbeitungsverfahren, das durch einen Prozessor durchgeführt wird, beinhaltend Steuern einer Wiedergabe eines Inhalts auf der Grundlage eines Ergebnisses einer Vorhersage eines Zeitpunkts eines vorbestimmten Zustands in einer Fortbewegung eines Benutzers, wobei die Vorhersage auf der Grundlage von Sensorinformationen bezüglich der Fortbewegung durchgeführt wird.
  • (20)
  • Ein Aufzeichnungsmedium, auf dem ein Programm aufgezeichnet ist, um zu bewirken, dass ein Computer als Folgendes fungiert:
    • eine Wiedergabesteuereinheit, die eine Wiedergabe eines Inhalts auf der Grundlage eines Ergebnisses einer Vorhersage eines Zeitpunkts eines vorbestimmten Zustands in einer Fortbewegung eines Benutzers steuert, wobei die Vorhersage auf der Grundlage von Sensorinformationen bezüglich der Fortbewegung durchgeführt wird.
  • Bezugszeichenliste
    • 1
    Informationsverarbeitungseinrichtung
    10
    Erste Sensoreinheit
    11
    Zweite Sensoreinheit
    20
    Ausgabeeinheit
    30
    Speichereinheit
    40
    Steuereinheit
    41
    Detektionseinheit
    42
    Vorhersageeinheit
    43
    Wiedergabesteuereinheit
    44
    Standortinformationserfassungseinheit
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2007250053 [0003]

Claims (20)

  1. Informationsverarbeitungseinrichtung, die eine Wiedergabesteuereinheit umfasst, die eine Wiedergabe eines Inhalts auf einer Grundlage eines Ergebnisses einer Vorhersage eines Zeitpunkts eines vorbestimmten Zustands in einer Fortbewegung eines Benutzers steuert, wobei die Vorhersage auf einer Grundlage von Sensorinformationen bezüglich der Fortbewegung durchgeführt wird.
  2. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei der Zeitpunkt des vorbestimmten Zustands auf einer Grundlage eines Zeitreihenübergangs eines Zeitintervalls zwischen Zeitpunkten des vorbestimmten Zustands, die auf der Grundlage der Sensorinformation detektiert wurden, vorhergesagt wird.
  3. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei der Zeitpunkt des vorbestimmten Zustands auf einer Grundlage eines Zeitreihenübergangs der Sensorinformation vorhergesagt wird.
  4. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei der Zeitpunkt des vorbestimmten Zustands auf einer Grundlage eines Ergebnisses einer Vorhersage eines Zeitreihenübergangs der Sensorinformation oder eines Ergebnisses einer Vorhersage eines Zeitreihenübergangs eines Ergebnisses einer Berechnung basierend auf den Sensorinformationen vorhergesagt wird.
  5. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Wiedergabesteuereinheit den Inhalt zu dem vorhergesagten Zeitpunkt des vorbestimmten Zustands wiedergibt und die Wiedergabe des Inhalts steuert, wenn aus den Sensorinformationen nicht detektiert wird, dass der vorbestimmte Zustand tatsächlich zu dem vorhergesagten Zeitpunkt des vorbestimmten Zustands eintritt.
  6. Informationsverarbeitungseinrichtung nach Anspruch 5, wobei die Wiedergabesteuereinheit die Wiedergabe des Inhalts stoppt, die Lautstärke verringert oder einen vorbestimmten Effekt auf den Inhalt anwendet.
  7. Informationsverarbeitungseinrichtung nach Anspruch 6, wobei es sich bei dem vorbestimmten Effekt um Unschärfe oder Ausblenden handelt.
  8. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Wiedergabesteuereinheit die Wiedergabe des Inhalts auf einer Grundlage der Zuverlässigkeit der Sensorinformationen steuert.
  9. Informationsverarbeitungseinrichtung nach Anspruch 8, wobei die Wiedergabesteuereinheit einen Ton mit einem starken Attack ausgibt, wenn die Zuverlässigkeit höher als ein vorbestimmter Schwellenwert ist, und einen Ton mit einem schwachen Attack ausgibt, wenn die Zuverlässigkeit geringer als der vorgegebene Schwellenwert ist.
  10. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei der Zeitpunkt des vorbestimmten Zustands ein Zeitpunkt eines Fußaufsetzens in einer Gehbewegung oder einer Laufbewegung oder ein Zeitpunkt des Erreichens eines höchsten Punkts in einer Sprungbewegung ist.
  11. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Wiedergabesteuereinheit die Wiedergabe des Inhalts auf einer Grundlage von Benutzerinformationen über den Benutzer oder Charakterinformationen über einen dem Benutzer entsprechenden Charakter steuert.
  12. Informationsverarbeitungseinrichtung nach Anspruch 11, wobei die Benutzerinformationen ein Attribut und/oder einen Zustand und/oder einen Standort des Benutzers beinhalten.
  13. Informationsverarbeitungseinrichtung nach Anspruch 12, wobei der Inhalt Töne beinhaltet und, der Zustand des Benutzers den Betrag einer Änderung der Fortbewegung des Benutzers, die durch die Sensorinformationen angegeben wird, beinhaltet.
  14. Informationsverarbeitungseinrichtung nach Anspruch 11, wobei die Charakterinformationen ein Attribut und/oder einen Zustand und/oder einen Standort des Charakters beinhalten.
  15. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Wiedergabesteuereinheit, die einen Wiedergabeparameter des Inhalts geändert hat, eine weitere Änderung des Wiedergabeparameters unterdrückt, bis eine vorbestimmte Zeit verstrichen ist.
  16. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Wiedergabesteuereinheit eine Tonquelle wiedergibt und die Wiedergabe des Inhalts steuert, wenn ein Taktschlag der wiedergegebenen Tonquelle mit dem vorhergesagten Zeitpunkt des vorbestimmten Zustands übereinstimmt.
  17. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Wiedergabesteuereinheit eine Tonquelle wiedergibt und eine Wiedergabe der wiedergegebenen Tonquelle oder einer anderen Tonquelle zu einem Zeitpunkt eines Taktübergangs der wiedergegebenen Tonquelle steuert, wenn ein Taktschlag der wiedergegebenen Tonquelle mit dem Zeitpunkt des vorbestimmten Zustands übereinstimmt.
  18. Informationsverarbeitungseinrichtung nach Anspruch 17, wobei die Wiedergabesteuereinheit eine mehrspurige Tonquelle wiedergibt und eine Wiedergabe mehrerer in der mehrspurigen Tonquelle enthaltener Spuren zu einem Zeitpunkt eines Taktübergangs der wiedergegebenen mehrspurigen Tonquelle steuert, wenn ein Taktschlag der wiedergegebenen mehrspurigen Tonquelle mit dem Zeitpunkt des vorbestimmten Zustands übereinstimmt.
  19. Informationsverarbeitungsverfahren, das durch einen Prozessor durchgeführt wird, umfassend Steuern einer Wiedergabe eines Inhalts auf einer Grundlage eines Ergebnisses einer Vorhersage eines Zeitpunkts eines vorbestimmten Zustands in einer Fortbewegung eines Benutzers, wobei die Vorhersage auf einer Grundlage von Sensorinformationen bezüglich der Fortbewegung durchgeführt wird.
  20. Aufzeichnungsmedium, auf dem ein Programm aufgezeichnet ist, um zu bewirken, dass ein Computer als Folgendes fungiert: eine Wiedergabesteuereinheit, die eine Wiedergabe eines Inhalts auf einer Grundlage eines Ergebnisses einer Vorhersage eines Zeitpunkts eines vorbestimmten Zustands in einer Fortbewegung eines Benutzers steuert, wobei die Vorhersage auf einer Grundlage von Sensorinformationen bezüglich der Fortbewegung durchgeführt wird.
DE112019005499.6T 2018-11-01 2019-09-05 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium Pending DE112019005499T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-206671 2018-11-01
JP2018206671 2018-11-01
PCT/JP2019/034883 WO2020090223A1 (ja) 2018-11-01 2019-09-05 情報処理装置、情報処理方法及び記録媒体

Publications (1)

Publication Number Publication Date
DE112019005499T5 true DE112019005499T5 (de) 2021-09-30

Family

ID=70463942

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112019005499.6T Pending DE112019005499T5 (de) 2018-11-01 2019-09-05 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium

Country Status (4)

Country Link
US (1) US20210366450A1 (de)
JP (1) JP7363804B2 (de)
DE (1) DE112019005499T5 (de)
WO (1) WO2020090223A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112020000591T5 (de) * 2019-01-30 2021-12-23 Sony Group Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium, in dem ein programm geschrieben ist
JP2023148748A (ja) * 2022-03-30 2023-10-13 株式会社栗本鐵工所 入出力装置
JP2023148749A (ja) * 2022-03-30 2023-10-13 株式会社栗本鐵工所 入出力装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007250053A (ja) 2006-03-15 2007-09-27 Sony Corp コンテンツ再生装置およびコンテンツ再生方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3646599B2 (ja) * 2000-01-11 2005-05-11 ヤマハ株式会社 演奏インターフェイス
JP2003305278A (ja) * 2002-04-15 2003-10-28 Sony Corp 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2005156641A (ja) * 2003-11-20 2005-06-16 Sony Corp 再生態様制御装置及び再生態様制御方法
JP4595555B2 (ja) * 2005-01-20 2010-12-08 ソニー株式会社 コンテンツ再生装置およびコンテンツ再生方法
JP4697165B2 (ja) * 2007-03-27 2011-06-08 ヤマハ株式会社 音楽再生制御装置
US9595932B2 (en) * 2013-03-05 2017-03-14 Nike, Inc. Adaptive music playback system
US20150182149A1 (en) * 2013-12-27 2015-07-02 Simbionics Methods for optimally matching musical rhythms to physical and physiologic rhythms
WO2018186178A1 (ja) * 2017-04-04 2018-10-11 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007250053A (ja) 2006-03-15 2007-09-27 Sony Corp コンテンツ再生装置およびコンテンツ再生方法

Also Published As

Publication number Publication date
US20210366450A1 (en) 2021-11-25
JPWO2020090223A1 (ja) 2021-10-21
WO2020090223A1 (ja) 2020-05-07
JP7363804B2 (ja) 2023-10-18

Similar Documents

Publication Publication Date Title
DE112019005499T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium
DE112012005214B4 (de) Verarbeiten von Medienströmen während einer Mehranwender-Videokonferenz
DE112018006666T5 (de) Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm
DE10045117A1 (de) Frei spezifizierbare Geometrie- und Klangsteuerung
CN116474378A (zh) 人工智能(ai)控制的相机视角生成器和ai广播员
Rounds et al. Using posterior eeg theta band to assess the effects of architectural designs on landmark recognition in an urban setting
DE202009010341U1 (de) Beruhigungsgerät
DE112021001491T5 (de) Decodierer, decodierverfahren, programm, codierer und codierverfahren
DE102014204630A1 (de) Mobile Vorrichtung für immersive Sounderlebnisse
DE202017106383U1 (de) Fühlbare Basswiedergabe
DE112019003350T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahrenund programm
DE112017002665T5 (de) Wiedergabevorrichtung, Wiedergabeverfahren, Informationserzeugungsvorrichtung und Informationserzeugungsverfahren
DE112017008230T5 (de) Verfahren und vorrichtung zum abbilden einer virtuellen umgebung auf eine physische umgebung
WO2002059853A2 (de) Realitätssimulationssystem, schuch und gerät für dieses system und verwendung dieses systems
DE112019004528T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahrenund programm
EP2787501B1 (de) Musikinstrument, Musiksystem und Verfahren zum Fernsteuern eines Vorgangs im Umfeld des Musikinstruments
DE102022202385A1 (de) Proaktive aktionen basierend auf audio und körperbewegung
DE112020000591T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium, in dem ein programm geschrieben ist
CN107172542A (zh) 一种脚步声音反馈方法、装置及虚拟现实系统
DE102014215487A1 (de) Verfahren und Vorrichtung zum Unterstützen einer Bewegung einer Person mit einer Bewegungsstörung und Signalsystem für eine Person mit einer Bewegungsstörung
DE112021000532T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsendgerät und programm
DE102022106356A1 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungssystem und informationsverarbeitungsverfahren
CH706680A2 (de) Verfahren und Vorrichtung zur auditorischen Unterstützung von sportlicher Betätigung.
Fristot et al. Depth—Melody substitution
EP4306192A1 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsendgerät, informationsverarbeitungsverfahren und programm