JP2015185137A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2015185137A
JP2015185137A JP2014063909A JP2014063909A JP2015185137A JP 2015185137 A JP2015185137 A JP 2015185137A JP 2014063909 A JP2014063909 A JP 2014063909A JP 2014063909 A JP2014063909 A JP 2014063909A JP 2015185137 A JP2015185137 A JP 2015185137A
Authority
JP
Japan
Prior art keywords
signal
vibration
acoustic signal
information processing
acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014063909A
Other languages
English (en)
Inventor
佑輔 中川
Yusuke Nakagawa
佑輔 中川
顕博 小森
Akihiro Komori
顕博 小森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014063909A priority Critical patent/JP2015185137A/ja
Priority to US14/626,025 priority patent/US9946347B2/en
Publication of JP2015185137A publication Critical patent/JP2015185137A/ja
Priority to US15/921,074 priority patent/US10514762B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】音響と振動とを連動させることで触覚を提示するための信号を容易に取得することが可能な情報処理装置、情報処理方法、及びプログラムを提案する。【解決手段】検知された所定の実オブジェクトの振動を示す振動信号と、集音された当該実オブジェクトからの音響を示す音響信号とを取得する取得部と、取得された前記振動信号と前記音響信号とを同期させ、同期させた当該振動信号と当該音響信号とを互いに関連付ける制御部と、互いに関連付けられた前記振動信号と前記音響信号とを記録する記録部と、を備える、情報処理装置。【選択図】図２

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
多様なデジタルデバイスに対してスピーカやアクチュエータを内蔵し、当該スピーカからの音響出力や、当該アクチュエータの振動による疑似的な触覚または力覚（以降では、総じて「触覚」と呼ぶ場合がある）の提示により、ユーザに対して体感をフィードバックして臨場感を高める技術がある。
ユーザに対して体感をフィードバックするデバイスの具体的な一例としては、ゲーム機等の情報処理装置に用いられるコントローラが挙げられる。例えば、コントローラに対するユーザの操作内容に基づき、当該コントローラ内のアクチュエータを駆動させることで、当該ユーザに対して、ゲーム内のオブジェクトを実際に操作しているような臨場感を提供することが可能となる。なお、以降では、ユーザに対して体感をフィードバックするデバイスを「体感導入装置」と呼ぶ場合がある。
特開２００９−７２６００号公報
一方で、触覚をフィードバックするための振動信号は、例えば、あらかじめ生成された所定の振動を示す振動信号や、あわせて出力する音響信号を基準信号として、当該基準信号に対して振幅や位相の制御等の信号処理を施すことで生成される（模擬される）場合がある。しかしながら、このように基準信号に対して信号処理を施すことで、所望の触覚をフィードバックするための振動信号を生成する場合には、実際に生成した信号に基づく触覚フィードバックを確認しながら、振幅や位相などの各種パラメータを調整する必要があり手間がかかる場合が少なくない。
特に、音響信号とあわせて触覚フィードバックを行う場合には、より臨場感の高い触覚フィードバックを行うために、実際に模擬する状況や場面と同様のタイミングで、当該音響信号と触覚をフィードバックするための振動信号とを出力させることが望ましい。しかしながら、基準信号に基づき振動信号を生成する場合には、生成された振動信号と、あわせて出力する音響信号との出力タイミングを調整しながら、再現される触覚フィードバックを、実際に模擬する状況や場面にあわせる必要があり、非常に手間がかかる。
そこで、本開示では、音響と振動とを連動させることで触覚を提示するための信号を容易に取得することが可能な、新規かつ改良された、情報処理装置、情報処理方法、及びプログラムを提案する。
本開示によれば、検知された所定の実オブジェクトの振動を示す振動信号と、集音された当該実オブジェクトからの音響を示す音響信号とを取得する取得部と、取得された前記振動信号と前記音響信号とを同期させ、同期させた当該振動信号と当該音響信号とを互いに関連付ける制御部と、互いに関連付けられた前記振動信号と前記音響信号とを記録する記録部と、を備える、情報処理装置が提供される。
また、本開示によれば、検知された所定の実オブジェクトの振動を示す振動信号と、集音された当該実オブジェクトからの音響を示す音響信号とを取得することと、プロセッサが、取得された前記振動信号と前記音響信号とを同期させ、同期させた当該振動信号と当該音響信号とを互いに関連付けることと、互いに関連付けられた前記振動信号と前記音響信号とを記録することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータに、検知された所定の実オブジェクトの振動を示す振動信号と、集音された当該実オブジェクトからの音響を示す音響信号とを取得することと、取得された前記振動信号と前記音響信号とを同期させ、同期させた当該振動信号と当該音響信号とを互いに関連付けることと、互いに関連付けられた前記振動信号と前記音響信号とを記録することと、を実行させる、プログラムが提供される。
以上説明したように本開示によれば、音響と振動とを連動させることで触覚を提示するための信号を容易に取得することが可能な情報処理装置、情報処理方法、及びプログラムが提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態に係る情報処理システムの課題について説明するための図である。 同実施形態に係る情報処理システムの概略的な構成について説明するための説明図である。 同実施形態に係る情報処理システムにおける、振動センサから出力される振動信号と、マイクから出力される音響信号との一例を示している。 図３に示した音響信号及び振動信号それぞれの周波数成分の分布の一例を示している。 同実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。 同実施形態に係る情報処理装置のユーザインタフェースの一例について説明するための説明図である。 同実施形態に係る一連の処理の流れを示したフローチャートである。 実施例１に係る情報処理システムの概要について説明するための説明図である。 実施例１に係る情報処理システムにおける、振動センサから出力される振動信号と、マイクから出力される音響信号との一例を示している。 実施例２に係る情報処理装置の概要について説明するための説明図である。 実施例３に係る情報処理装置の概要について説明するための説明図である。 実施例４に係る情報処理装置の一態様について説明するための説明図である。 実施例４に係る情報処理装置の一態様について説明するための説明図である。 実施例４に係る情報処理装置の一態様について説明するための説明図である。 符号化データのデータ構造の一例である。 符号化データのデータ構造の一例である。 同実施形態に係る情報処理装置のハードウェア構成の一例である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．実施形態
１．１．概要（課題の整理）
１．２．システム構成
１．３．情報処理装置の機能構成
１．４．ユーザインタフェース（ＵＩ）の構成
１．５．処理
２．実施例
２．１．実施例１：音響信号及び振動信号の出力の制御１
２．２．実施例２：音響信号及び振動信号の出力の制御２
２．３．実施例３：振動出力の次元が異なる場合の制御
２．４．実施例４：信号データのデータ形式と信号処理との関係
２．４．１．音響信号及び振動信号を別データとして記録する場合
２．４．２．音響信号と振動信号とを合成して記録する場合
２．４．３．音響信号及び振動信号を符号化して記録する場合
３．ハードウェア構成
４．まとめ
＜１．実施形態＞
［１．１．概要（課題の整理）］
本開示の実施形態に係る情報処理装置についての説明にあたり、まず、図１を参照しながら、本実施形態に係る情報処理システムの課題について整理する。図１は、本実施形態に係る情報処理システムの課題について説明するための図である。
近年では、多様なデジタルデバイスに対してスピーカやアクチュエータを内蔵し、当該スピーカからの音響出力や、当該アクチュエータの振動による疑似的な触覚の提示により、ユーザに対して体感をフィードバックして臨場感を高める技術がある。
ユーザに対して体感をフィードバックするデバイスの具体的な一例としては、図１に示すような、ゲーム機等の情報処理装置に用いられるコントローラが挙げられる。例えば、図１に示す例では、ユーザはコントローラとして構成された体感導入装置８０を操作することで、表示装置９０の表示部９１（例えば、ディスプレイ）に表示されたオブジェクトｖ１０を操作する。ゲーム機等の情報処理装置（図示しない）は、ユーザからの操作を受けて、オブジェクトｖ１０の表示を更新するとともに、体感導入装置８０内のアクチュエータを振動させることでユーザに対して触覚をフィードバックする。このとき、情報処理装置は、アクチュエータからの振動出力とともに、体感導入装置８０に設けられたスピーカから音響を出力することで、より臨場感の高い触覚フィードバックを実現することが可能である。
このように、ユーザに対して触覚をフィードバックするための振動信号は、基準となる信号（以降では、「基準信号」と呼ぶ場合がある）に対して振幅や位相の制御等の信号処理を施すことで生成される（模擬される）場合がある。基準信号としては、例えば、あらかじめ生成された所定の振動を示す振動信号や、あわせて出力される音響信号等が挙げられる。
しかしながら、このように基準信号に対して信号処理を施すことで、所望の触覚をフィードバックするための振動信号を生成する場合には、実際に生成した信号に基づく触覚フィードバックを確認しながら、振幅や位相などの各種パラメータを調整する必要がある。そのため、所望の触覚を再現するために、非常に手間がかかる場合が少なくない。
特に、音響信号とあわせて触覚フィードバックを行う場合には、より臨場感の高い触覚フィードバックを行うために、実際に模擬する状況や場面と同様のタイミングで、当該音響信号と触覚をフィードバックするための振動信号とを出力させることが望ましい。しかしながら、基準信号に基づき振動信号を生成する場合には、生成された振動信号と、あわせて出力する音響信号との出力タイミングを調整しながら、再現される触覚フィードバックを、実際に模擬する状況や場面にあわせる必要があり、非常に手間がかかる。
そこで、本開示の実施形態に係る情報処理システムでは、音響と振動とを連動させることで触覚を提示するための信号（例えば、音響信号及び振動信号）を、簡便な手順で取得し、取得した信号を示すデータを記録可能とすることを目的とする。
［１．２．システム構成］
次に、図２を参照して本実施形態に係る情報処理システムの概略的なシステム構成について説明する。図２は、本実施形態に係る情報処理システムの概略的なシステム構成について説明するための説明図である。
図２に示すように、本実施形態に係る情報処理システムは、情報処理装置１０と、操作オブジェクト７０と、振動センサ３１と、マイク３３と、表示装置５０とを含む。
振動センサ３１は、後述する操作オブジェクト７０に設置または内蔵されるように設けられている。振動センサ３１は、所謂振動を直接検知する振動センサのほかに、例えば、加速度センサやジャイロセンサ（角速度センサ）等のような、操作オブジェクト７０の動きや向きの変化に基づき振動を検出可能なセンサでもよい。振動センサ３１は、自身に対して相対的に所定の方向の振動を検出可能に構成されている。即ち、操作オブジェクト７０に対して振動センサ３１を設置する向きを調整することで、当該振動センサ３１は、当該操作オブジェクト７０の所定の方向に沿った振動を検出することが可能となる。
なお、振動センサ３１は、所定の一方向のみの振動に限らず、互いに異なる複数の方向に沿った振動を、各振動成分（例えば、互いに直交する、ｘ方向、ｙ方向、及びｚ方向に沿った振動成分）として検出可能に構成されていてもよい。
また、振動センサ３１を設ける数は、１つに限らず、複数であってもよい。例えば、体感導入装置８０が複数のアクチュエータを備える場合には、当該アクチュエータの数にあわせて振動センサ３１を複数設けてもよい。なお、以降では、説明をわかりやすくするために、振動センサ３１の数は１つであるものとして説明する。
振動センサ３１は、有線または無線の伝搬経路ｎ１１を介して情報処理装置１０に接続されている。振動センサ３１は、操作オブジェクト７０の振動を逐次検知し、検知された振動を示す信号（即ち、振動信号）を、伝搬経路ｎ１１を介して情報処理装置１０に逐次出力する。なお、振動センサ３１が、互いに異なる複数の振動成分を検出可能に構成されている場合には、振動センサ３１は、振動成分ごとに、振動信号を情報処理装置１０に出力してもよい。
マイク３３は、操作オブジェクト７０から出力される音響を集音するためのデバイスである。マイク３３は、例えば、音響を集音するための集音部が操作オブジェクト７０側を向くように設置されることで、当該操作オブジェクト７０から出力される音響を集音する。なお、操作オブジェクト７０から出力される音響を集音可能であれば、マイク３３を設置する位置は特に限定されない。具体的な一例として、図２に示すように、集音部が操作オブジェクト７０に密着するように、マイク３３を設置してもよい。また、マイク３３は、操作オブジェクト７０側の近傍に設けられていてもうよい。
また、マイク３３を設ける数は、１つに限らず、複数であってもよい。例えば、体感導入装置８０が複数のスピーカを備える場合には、当該スピーカの数にあわせてマイク３３を複数設けてもよい。なお、以降では、説明をわかりやすくするために、マイク３３の数は１つであるものとして説明する。
マイク３３は、有線または無線の伝搬経路ｎ１３を介して情報処理装置１０に接続されている。マイク３３は、操作オブジェクト７０から出力される音響を逐次集音し、集音された音響を示す信号（即ち、音響信号）を、伝搬経路ｎ１３を介して情報処理装置１０に逐次出力する。
操作オブジェクト７０は、音響及び振動の出力源として機能させるためのオブジェクトである。本実施形態に係る情報処理システムでは、例えば、ユーザが操作オブジェクト７０を実際に動かすことで、想定される仮想オブジェクトの動作を模擬する。具体的な一例として、仮想オブジェクトが円運動する場合を模擬する場合には、ユーザは、例えば、操作オブジェクト７０を手で保持しながら動かすことで円運動させればよい。
操作オブジェクト７０がユーザにより動かされることで、動きに応じた当該操作オブジェクト７０の振動が振動センサ３１で検知され、当該操作オブジェクト７０から出力される音響がマイク３３で集音される。このとき、振動センサ３１で検知される振動は、操作オブジェクト７０の動作により発生する振動であり、同様に、マイク３３で集音される音響は、当該操作オブジェクト７０の動作により発生する音響であることは言うまでもない。
以上のように、操作オブジェクト７０の動作により発生した振動及び音響は、振動センサ３１及びマイク３３で検出され、当該振動を示す振動信号と、当該音響を示す音響信号とが、情報処理装置１０に出力される。
情報処理装置１０は、振動センサ３１から出力される振動信号と、マイク３３から出力される音響信号とを同期させ、同期させた振動信号及び音響信号を互いに関連付けてデータとして記録する。
例えば、図３は、本実施形態に係る情報処理システムにおける、振動センサ３１から出力される振動信号と、マイク３３から出力される音響信号との一例を示している。図３に示す各グラフは、横軸が時間を示しており、縦軸が信号の振幅（Ｖ）、即ち、電圧値の変動を振幅として示している。参照符号ｇ１１で示された信号は、マイク３３から出力される音響信号、即ち、操作オブジェクト７０から出力され、マイク３３により集音された音響信号の波形の一例を示している。また、参照符号ｇ１２で示された信号は、振動センサ３１から出力される振動信号、即ち、振動センサ３１で検出された操作オブジェクト７０の振動を示す振動信号の波形の一例を示している。
また、図４は、図３に示した音響信号及び振動信号それぞれの、あるタイミングにおける周波数成分の分布の一例を示している。図４に示す各グラフは、横軸が周波数を示しており、縦軸が信号のゲインを示している。参照符号ｇ１３で示された信号は、マイク３３から出力される音響信号の周波数分布を示しており、図３における音響信号ｇ１１に対応している。同様に、参照符号ｇ１４で示された信号は、振動センサ３１から出力される振動信号の周波数分布を示しており、図３における振動信号ｇ１２に対応している。
本実施形態に係る情報処理装置１０は、図３及び図４に示したような音響信号及び振動信号を同期させ、当該音響信号及び振動信号を互いに関連付けてデータとして記録する。なお、情報処理装置１０は、図３及び図４に示した音響信号や振動信号を、例えば、ＷＡＶ（Waveform）やＭＰ３（MPEG Audio Layer-3）のような音響（振動）を記録するためのフォーマットに基づきデータとして記録してもよい。また、他の一例として、情報処理装置１０は、図３及び図４に示した音響信号及び振動信号をエンコードすることにより、当該音響信号及び振動信号を独自のフォーマットでデータとして記録してもよい。なお、情報処理装置１０による、音響信号及び振動信号を同期させる処理と、当該音響信号及び振動信号をデータとして記録する処理との詳細については、別途後述する。
以上のようにして記録されたデータに基づき、図１に示すような体感導入装置８０における、スピーカからの音響出力と、アクチュエータからの振動出力とを制御することが可能となることは言うまでもない。即ち、データ中の音響信号に基づき、体感導入装置８０のスピーカから音響を出力し、振動信号に基づき体感導入装置８０のアクチュエータを駆動することで、当該データ記録時における操作オブジェクト７０からの音響及び振動を容易に再現することが可能となる。
特に、体感導入装置８０にスピーカ及びアクチュエータが複数設けられている場合には、基準信号に対して信号処理を施すことで所望の触覚フィードバックを再現するためには、各アクチュエータの振動を調整する必要があり非常に手間がかかる場合が少なくない。一方で、本実施形態に係る情報処理システムによれば、操作オブジェクト７０に対して、振動センサ３１及びマイク３３を、体感導入装置８０の構成にあわせて複数設け、各振動センサ３１及びマイク３３からの信号をデータとして記録すればよい。
具体的には、体感導入装置８０における各アクチュエータ及び各スピーカと、操作オブジェクト７０に設置される各振動センサ３１及び各マイク３３とを対応付ける。このとき、体感導入装置８０における各スピーカ及び各アクチュエータの配置にあわせて、操作オブジェクト７０に対して各振動センサ３１及び各マイク３３を設置する位置を調整してもよい。また、操作オブジェクト７０として、体感導入装置８０の形状に近いオブジェクトを使用してもよい。
このような構成に基づき、情報処理装置１０は、各振動センサ３１から出力される振動信号と、各マイク３３から出力される音響信号とを同期させ、互いに関連付けてデータとして記録する。そして、記録されたデータ中の音響信号及び振動信号に基づき、体感導入装置８０の各アクチュエータの振動出力と、各スピーカからの音響出力とを制御すればよい。このような構成により、本実施形態に係る情報処理システムは、複数のスピーカからの音響出力と、複数のアクチュエータからの振動出力とに基づく触覚フィードバックを容易に実現することが可能となる。
［１．３．情報処理装置の機能構成］
次に、図２とあわせて図５を参照して、本実施形態に係る情報処理装置１０の機能構成の一例について説明する。図５は、本実施形態に係る情報処理装置１０の機能構成の一例を示したブロック図である。
図５に示すように、本実施形態に係る情報処理装置１０は、信号取得部１１と、制御部１３と、ＵＩ制御部１５と、記録部１７と、信号データ記憶部１９とを含む。また、信号取得部１１は、振動信号取得部１１１と、音響信号取得部１１３とを含む。また、制御部１３は、同期処理部１３１と、信号処理部１３３とを含む。
振動信号取得部１１１は、振動センサ３１により検知された操作オブジェクト７０（図２参照）の振動を示す振動信号を、伝搬経路ｎ１１を介して当該振動センサ３１から逐次取得する。振動信号取得部１１１は、取得した振動信号を制御部１３に逐次出力する。
同様に、音響信号取得部１１３は、マイク３３により集音された操作オブジェクト７０から出力される音響を示す音響信号を、伝搬経路ｎ１３を介して当該マイク３３から逐次取得する。音響信号取得部１１３は、取得した音響信号を制御部１３に逐次出力する。
同期処理部１３１は、振動信号取得部１１１から、振動センサ３１で検知された振動信号を逐次取得し、音響信号取得部１１３から、マイク３３で集音された音響信号を逐次取得する。そして、同期処理部１３１は、取得した振動信号と音響信号とを同期させる。
具体的な一例として、伝搬経路ｎ１１及びｎ１３それぞれの長さは必ずしも一定とは限らない。そのため、振動センサ３１から出力された振動信号と、マイク３３から出力された音響信号とが、各伝搬経路ｎ１１及びｎ１３を介して情報処理装置１０に到達するまでの時間に差が生じる場合がある。また、伝搬経路の長さの違いに限らず、厳密には、振動センサ３１、マイク３３、振動信号取得部１１１、及び音響信号取得部１１３それぞれの回路構成の違いにより、当該回路内部で遅延が生じる場合もある。
そこで、同期処理部１３１は、取得した音響信号と振動信号との間に生じた遅延の量（以降では、「遅延量」と呼ぶ場合がある）を算出し、算出した遅延量に応じて、音響信号及び振動信号のうち少なくともいずれか一方を遅延させることで、当該音響信号と振動信号とを同期させる。
例えば、同期処理部１３１は、取得される音響信号中の少なくとも一部の信号の波形と、取得される振動信号中の少なく一部の信号の波形とに基づき、当該音響信号と当該振動信号との間の遅延量を算出してもよい。
具体的な一例として、同期処理部１３１は、オブジェクト７０の位置や向きが急激に変化するように、当該オブジェクト７０が動作した場合に取得される音響信号及び振動信号に基づき、当該音響信号と当該振動信号との間の遅延量を算出してもよい。なお、オブジェクト７０を動作させる方法の一例として、ユーザが操作オブジェクト７０に対して、叩く、振る等のような操作を行う方法が挙げられる。また、他の一例として、オブジェクト７０に対してアクチュエータを設置し、当該アクチュエータを駆動させることで、当該オブエジェクと７０を振動させてもよい。
このように、オブジェクト７０が、自身の位置や向きが急激に変化するように動作した場合には、マイク３３で集音される音響信号及び振動センサ３１で検知される振動信号のそれぞれの信号として、振幅が急激に変化する鋭い信号が検出されることとなる。
この場合には、同期処理部１３１は、例えば、取得した音響信号及び振動信号それぞれの波形のピーク位置（時系列上の位置）を、当該音響信号と振動信号との間における時系列に沿った同じ位置と認識し、当該音響信号と当該振動信号との間の遅延量を算出してもよい。また、ピーク位置に限らず、音響信号及び振動信号それぞれの波形に基づき、当該音響信号と当該振動信号との間の遅延量が算出できれば、当該遅延量を算出する方法は特に限定されない。例えば、同期処理部１３１は、音響信号及び振動信号それぞれの波形が立ち上がる位置（時系列上の位置）に基づき、当該音響信号と当該振動信号との間の遅延量を算出してもよい。
また、上記で説明した振動信号と音響信号とを同期させる方法はあくまで一例であり、振動信号と音響信号とを同期させることが可能であればその方法は特に限定されない。具体的な一例として、情報処理装置１０は、使用する伝搬経路やデバイスの回路構成に基づきあらかじめ算出された遅延量の理論値に基づき、振動信号と音響信号とのうち少なくとも一方を遅延させることで、当該振動信号と当該音響信号とを同期させてもよい。
音響信号と振動信号との間の遅延量を算出したら、同期処理部１３１は、算出した遅延量に基づき音響信号と振動信号とのうち少なくともいずれかを遅延させることで、当該音響信号と当該振動信号とが同期させる。そして、同期処理部１３１は、同期させた音響信号及び振動信号を、信号処理部１３３に出力する。
なお、同期処理部１３１が、取得した音響信号と振動信号との間の同期をとるタイミングは特に限定されない。例えば、同期処理部１３１は、ＵＩ制御部１５を介してユーザからの指示を受けた場合に、取得した音響信号と振動信号とを比較し、当該音響信号と振動信号との間の同期をとってもよい。この場合には、同期処理部１３１は、取得した音響信号及び振動信号の波形を表示するための情報をＵＩ制御部１５に通知してもよい。これにより、ＵＩ制御部１５は、取得された音響信号及び振動信号のモニタリング結果として、各信号の波形をユーザに提示することが可能となる。なお、音響信号及び振動信号の波形を表示するための情報としては、例えば、当該音響信号及び当該振動信号それぞれの時系列に沿った振幅の変化を示す情報等が挙げられる。
また、他の一例として、同期処理部１３１は、あらかじめ決められたタイミングごとに、取得された音響信号及び振動信号の波形を解析し、解析結果に基づき当該音響信号と当該振動信号との間で同期をとってもよい。この場合には、同期処理部１３１は、例えば、音響信号及び振動信号中から特徴的な形状を有する波形（例えば、急激に振幅が変化する波形）を検出し、検出した波形に基づき、当該音響信号と当該振動信号との間で同期をとってもよい。
信号処理部１３３は、同期された音響信号及び振動信号を同期処理部１３１から取得し、取得した音響信号及び振動信号のうち、少なくともいずれかに対して信号処理（例えば、ゲインやボリュームの制御に基づく振幅の制御等）を施す。そして、信号処理部１３３は、同期された信号処理後の音響信号及び振動信号を互いに関連付けて、後述する記録部１７に出力する。なお、信号処理部１３３による信号処理の詳細について、具体的に例を挙げて以下に説明する。
具体的な一例として、信号処理部１３３は、信号処理として、同期された音響信号及び振動信号のうち、少なくとも一方の振幅を制御してもよい。例えば、音響信号のゲインと振動信号のゲインとの間のゲイン比を調整することで、当該音響信号及び振動信号に基づき再現される触覚の感触を制御することが可能となる。また、振動信号が音響としてユーザに知覚される場合があり、このような影響を、音響信号及び振動信号それぞれの振幅を調整することで緩和することも可能となる。なお、詳細については、実施例１及び２として別途後述する。
また、信号処理部１３３は、同期された音響信号及び振動信号を合成することで合成信号を生成してもよい。具体的な一例として、体感導入装置８０が、スピーカ及びアクチュエータが一体的に構成されたボイスコイルモータを適用し、当該ボイスコイルモータを、一の制御信号に基づき駆動することで、音響及び振動出力する場合がある。
このような場合には、例えば、信号処理部１３３は、取得した振動信号のうち所定の周波数以下（例えば、１０００Ｈｚ以下）の低周波帯域の信号と、取得した音響信号のうち所定の周波数以上（例えば、３００Ｈｚ以上）の高周波帯域の信号とを抽出する。そして、信号処理部１３３は、抽出した低周波帯域の振動信号と、高周波帯域の音響信号とを合成して、合成信号を生成してもよい。なお、このとき、信号処理部１３３は、振動信号と音響信号との間で、それぞれの周波数帯域の少なくとも一部が互いに重複するように、各信号を抽出するための閾値となる周波数を決定してもよい。また、音響信号及び振動信号それぞれに対して、例えば、各種フィルタ（ローパスフィルタ、ハイパスフィルタ、またはバンドパスフィルタ）を適用することで、所望の周波数帯域の信号を取り出すことが可能であることは言うまでもない。
なお、合成信号を生成した場合には、信号処理部１３３は、生成した合成信号を記録部１７に出力することとなる。また、この場合には、信号処理部１３３は、同期された音響信号と振動信号とを合成することで、当該音響信号と当該振動信号とを関連付けている。
また、音響信号と振動信号とを合成しない場合においても、信号処理部１３３は、当該音響信号及び振動信号それぞれから所望の周波数帯域の信号のみを抽出し、抽出された各信号（即ち、音響信号及び振動信号）を互いに関連付けて記録部１７に出力してもよい。
また、音響信号と振動信号とのサンプリングレートは同一であることが望ましい。そのため、信号処理部１３３は、同期された音響信号と振動信号との間でサンプリングレートが異なる場合には、一方のサンプリングレートを他方のサンプリングレートにあわせて変換してもよい。
具体的な一例として、音響を集音するマイク３３のサンプリングレートが、振動を検知する振動センサ３１のサンプリングレートよりも高い場合が少なくない。また、音響信号及び振動信号を記録するためのデータ形式（フォーマット）の中には、サンプリングレートの異なる信号を合成または関連付けて記録することが困難なデータ形式がある。具体的な一例として、各信号の情報をサンプル単位で時系列に沿って記録するデータ形式の場合には、互いにサンプリングレートの異なる音響信号と振動信号とを同期させた状態を維持しながら記録することが困難な場合がある。
そこで、信号処理部１３３は、例えば、サンプリングレートの低い振動信号に対してアップサンプリング処理を施すことで、サンプリングレートの高い音響信号にあわせて、振動信号のサンプリングレートを変換してもよい。
なお、アップサンプリング処理を行う場合には、信号処理部１３３は、例えば、対象となる信号中の各サンプルデータに基づき、当該各サンプルデータが存在しない位置（例えば、時系列上の位置）に新たなサンプルデータを補完する。このとき、信号処理部１３３は、例えば、補間対象となる位置（例えば、時系列上の位置）の近傍に位置するサンプルデータを、補完する新たなサンプルデータとして適用してもよい。また、他の一例として、信号処理部１３３は、例えば、補間対象となる位置（例えば、時系列上の位置）の近傍に位置するサンプルデータの中間値や平均値に基づき、補完する新たなサンプルデータを生成してもよい。
また、サンプルデータを補完した後の信号は、必ずしも時系列に沿って連続的に変化する信号とは限らず、不連続な波形を示す信号となっている場合がある。そこで、信号処理部１３３は、サンプルデータを補完した後の信号に対してフィルタ（例えば、ローパスフィルタ）を適用することで、当該信号を時系列に沿って連続的に変化する信号に変換してもよい。
なお、上記では、アップサンプリング処理によりサンプリングレートを変換する例について説明したが、音響信号と振動信号との間でサンプリングレートが一致するように変換できれば、その方法は特に限定されない。具体的な一例として、信号処理部１３３は、例えば、サンプリングレートの高い音響信号に対してダウンサンプリング処理を施すことで、サンプリングレートの低い振動信号にあわせて、音響信号のサンプリングレートを変換してもよい。
また、信号処理部１３３は、取得した振動信号が示す振動方向の次元と、体感導入装置８０のアクチュエータが振動する方向の次元とが異なる場合には、当該アクチュエータの振動方向にあわせて、取得した振動信号から他の振動信号を生成してもよい。なお、詳細については、実施例３として別途後述する。
また、信号処理部１３３は、音響信号及び振動信号を信号データとして記録するためのデータ形式に応じて、適用する信号処理を決定してもよい。例えば、複数の信号を別々に記録することが困難なデータ形式で音響信号及び振動信号を信号データとして記録する場合には、例えば、信号処理部１３３は、同期された音響信号と振動信号とを合成して合成信号を生成してもよい。
また、信号処理部１３３は、上記に説明した各信号処理を適宜組み合わせ実施してもよいことは言うまでもない。また、信号処理部１３３は、上記に示した各信号処理のうち、いずれを適用するかを、ユーザからの指示に基づき決定してもよい。なお、ユーザからの指示は、例えば、後述するＵＩ制御部１５を介して信号処理部１３３や前述した同期処理部１３１に通知される。もちろん、信号処理部１３３は、取得した音響信号及び振動信号に対して、必ずしも信号処理を施す必要はないことは言うまでもない。音響信号及び振動信号に対して信号処理を施さない場合には、信号処理部１３３は、取得した音響信号及び振動信号を互いに関連付けて記録部１７に出力すればよい。
また、同期された信号処理後の音響信号と振動信号とを互いに関連付けられれば、その方法は特に限定されない。例えば、信号処理部１３３は、同期された音響信号及び振動信号を、一連のデータとして記録部１７に出力することで、当該音響信号と当該振動信号とが関連付けられていることを記録部１７に示してもよい。また、前述のように、信号処理部１３３は、同期された音響信号及び振動信号を合成することで、当該音響信号と当該振動信号とを関連付けてもよい。
ＵＩ制御部１５は、ユーザが情報処理装置１０に対して、取得された音響信号と振動信号との間の同期に係る指示や、同期された音響信号及び振動信号に対して適用する信号処理の指定を行うためのユーザインタフェース（以降では、「ＵＩ（User Interface）」と記載する場合がある）を制御するための制御部である。
ＵＩ制御部１５は、ユーザが前述した操作を行うためのＵＩ（換言すると、操作画面）を生成し、生成したＵＩを表示部５１に表示させる。また、ＵＩ制御部１５は、表示部５１に表示されたＵＩに対し、操作部６１を介して行った操作の内容を示す制御情報を、当該操作部６１から取得する。そして、ＵＩ制御部１５は、操作部６１から取得した制御情報に基づき、ユーザが行った操作内容を認識し、当該操作内容を制御部１３に通知する。これにより、制御部１３は、ユーザの操作内容に応じて各種処理（例えば、同期処理や信号処理）を実行することが可能となる。なお、ＵＩ制御部１５により提示されるＵＩの具体的な一例については別途後述する。
記録部１７は、同期され、かつ、互いに関連付けられた音響信号及び振動信号を、信号処理部１３３から取得する。記録部１７は、取得した音響信号及び振動信号を、あらかじめ決められたデータ形式で、信号データとして信号データ記憶部１９に記憶させる。
また、記録部１７は、ユーザによりＵＩを介して指定されたデータ形式に従い、音響信号及び振動信号を信号データとして記録してもよい。具体的な一例として、音響信号及び振動信号を符号化することでデータとして記録するデータ形式が指定された場合には、記録部１７は、指定されたデータ形式に対応した符号化方式に基づき、音響信号及び振動信号を符号化して信号データとして記録する。
［１．４．ユーザインタフェース（ＵＩ）の構成］
次に、図６を参照しながら、本実施形態に係るＵＩの一例について説明する。図６は、本実施形態に係る情報処理装置のＵＩの一例について説明するための説明図である。図６に示すように、本実施形態に係るＵＩｖ１０は、モニタリング画面ｖ１３１及びｖ１３２と、同期ボタンｖ１１と、録音開始／終了ボタンｖ１２と、触感パラメータ調整バーｖ１４と、記録形式指定部ｖ１５と、記録ボタンｖ１６とを含む。
モニタリング画面ｖ１３１は、取得された音響信号の信号波形をモニタリング情報として出力するための表示画面である。同様に、モニタリング画面ｖ１３２は、取得された振動信号の信号波形をモニタリング情報として出力するための表示画面である。
ＵＩ制御部１５は、例えば、音響信号及び振動信号の波形を表示するための情報を同期処理部１３１から取得し、取得した情報に基づき、音響信号及び振動信号のモニタリング結果をモニタリング画面ｖ１３１及びｖ１３２にそれぞれ表示させればよい。
また、同期ボタンｖ１１は、ユーザが、同期処理部１３１に対して、音響信号と振動信号との間の同期処理の実行を指示するためのインタフェースである。例えば、同期処理部１３１は、同期ボタンｖ１１に対する操作内容に関する通知をＵＩ制御部１５から受けて、当該通知を受けたタイミングを基準として所定の時間内に取得された音響信号及び振動信号に基づき同期処理を実行してもよい。
録音開始／終了ボタンｖ１２は、ユーザが、取得された音響信号及び振動信号のうち、信号データとして記録する信号の開始及び終了タイミングを指定するためのインタフェースである。信号処理部１３３または記録部１７は、録音開始／終了ボタンｖ１２に対する操作内容に関する通知を受けて、信号データとして記録する信号の開始及び終了タイミングを認識することが可能となる。そして、信号処理部１３３または記録部１７は、当該開始及び終了タイミングにより示される期間の音響信号及び振動信号を、記録対象の信号として認識すればよい。
例えば、信号処理部１３３は、指定された開始及び終了タイミングにより示される期間の音響信号及び振動信号のみを、記録対象として記録部１７に出力してもよい。また、他の一例として、記録部１７は、信号処理部１３３から取得した音響信号及び振動信号のうち、指定された開始及び終了タイミングにより示される期間の音響信号及び振動信号のみを信号データとして記録してもよい。
触感パラメータ調整バーｖ１４は、ユーザが、情報処理装置１０に対して音響信号及び振動信号に対して施される信号処理の内容を、直接または間接的に指定するためのインタフェースの一例である。
例えば、図６に示す例では、触感パラメータ調整バーｖ１４は、触覚として再現される触感の「重さ」や「硬さ」の度合いを、対応するバーを操作することで指定可能に構成されている。例えば、信号処理部１３３は、触感パラメータ調整バーｖ１４に対する操作内容に関する通知をＵＩ制御部１５から受けて、ユーザが指定した「重さ」や「硬さ」の度合いを認識し、当該「重さ」や「硬さ」の度合いに応じて、音響信号及び振動信号の振幅を調整してもよい。
具体的な一例として、振動信号のゲインが音響信号のゲインよりも高くなるように、音響信号及び振動信号のゲインが調整されることで、当該音響信号及び振動信号により、ユーザに対して「重い」または「硬い」触感を提示することが可能となる。また、他の一例として、音響信号のゲインが振動信号のゲインよりも高くなるように、音響信号及び振動信号のゲインが調整されることで、当該音響信号及び振動信号により、ユーザに対して「軽い」または「やわらかい」触感を提示することが可能となる。なお、音響信号及び振動信号に対するゲイン制御の詳細については、実施例１として別途後述する。
記録形式指定部ｖ１５は、ユーザが、情報処理装置１０に対して音響信号及び振動信号を信号データとして記録する際のデータ形式を指定するためのインタフェースである。記録形式指定部ｖ１５は、例えば、複数ある選択式のうち一つを選択可能なインタフェースとして構成されていることが望ましい。例えば、図６に示す例では、記録形式指定部ｖ１５は、ラジオボタンとして構成されている。また、図６に示す例では、音響信号及び振動信号を信号データとして記録するためのデータ形式として、「ＷＡＶ」、「ＭＰ３」、及び「Ｏｒｉｇｉｎａｌ」が選択可能に構成されている。なお、「Ｏｒｉｇｉｎａｌ」は、本実施形態に係る情報処理装置１０に固有のデータ形式である。「Ｏｒｉｇｉｎａｌ」で示される実施形態に係る情報処理装置１０に固有のデータ形式の詳細も含め、信号データのデータ形式と適用される信号処理との関係の詳細については、実施例４として別途後述する。
記録部１７は、例えば、記録形式指定部ｖ１５に対する操作内容に関する通知をＵＩ制御部１５から受けて、当該通知に基づきユーザから指定されたデータ形式を認識してもよい。そして、記録部１７は、ユーザにより指定されたデータ形式に従い、音響信号及び振動信号を信号データに変換すればよい。また、音響信号及び振動信号を符号化することでデータとして記録するデータ形式が指定された場合には、記録部１７は、指定されたデータ形式に対応した符号化方式に基づき、音響信号及び振動信号を符号化することで信号データを生成してもよい。
なお、図６に示すデータ形式の例はあくまで一例であり、音響信号及び振動信号をデータとして記録可能であれば、信号データのデータ形式は図６に示す例には限定されないことは言うまでもない。
記録ボタンｖ１６は、ユーザが、情報処理装置１０に対して、生成された信号データの記録を指示するためのインタフェースである。記録部１７は、記録ボタンｖ１６に対する操作内容に関する通知をＵＩ制御部１５から受けて、音響信号及び振動信号が変換された信号データを、信号データ記憶部１９に記憶させればよい。
以上、図６を参照しながら、本実施形態に係る情報処理装置１０のＵＩの一例について説明した。なお、図６に示したＵＩｖ１０はあくまで一例であり、情報処理装置１０に対してユーザが指定可能とする指示の内容に応じて、ＵＩｖ１０の構成を適宜変更してもよいことは言うまでもない。
［１．５．処理］
次に、図７を参照して、本実施形態に係る情報処理システムの一連の動作について、特に、情報処理装置１０の動作に着目して説明する。図７は、本実施形態に係る一連の処理の流れを示したフローチャートである。
（ステップＳ１０１）
情報処理装置１０が起動し、振動センサ３１による振動の検知と、マイク３３による音響の集音が開始されると、振動センサ３１からの情報処理装置１０への振動信号の出力と、マイク３３からの情報処理装置１０への音響信号の出力とが開始される。以降は、振動センサ３１は、操作オブジェクト７０の振動を逐次検知し、検知された振動を示す振動信号を、伝搬経路ｎ１１を介して情報処理装置１０に逐次出力する。同様に、マイク３３は、操作オブジェクト７０から出力される音響を逐次集音し、集音された音響を示す音響信号を、伝搬経路ｎ１３を介して情報処理装置１０に逐次出力する。
振動信号取得部１１１は、振動センサ３１により検知された操作オブジェクト７０（図２参照）の振動を示す振動信号を、伝搬経路ｎ１１を介して当該振動センサ３１から逐次取得する。振動信号取得部１１１は、取得した振動信号を制御部１３に逐次出力する。
同様に、音響信号取得部１１３は、マイク３３により集音された操作オブジェクト７０から出力される音響を示す音響信号を、伝搬経路ｎ１３を介して当該マイク３３から逐次取得する。音響信号取得部１１３は、取得した音響信号を制御部１３に逐次出力する。
（ステップＳ１０３）
同期処理部１３１は、振動信号取得部１１１から、振動センサ３１で検知された振動信号を逐次取得し、音響信号取得部１１３から、マイク３３で集音された音響信号を逐次取得する。そして、同期処理部１３１は、取得した振動信号と音響信号とを同期させる。
例えば、同期処理部１３１は、取得される音響信号のうち少なくとも一部の信号の波形と、取得される振動信号のうち少なく一部の信号の波形とに基づき、当該音響信号と当該振動信号との間の遅延量を算出する。
具体的な一例として、同期処理部１３１は、オブジェクト７０の位置や向きが急激に変化するように、当該オブジェクト７０が動作した場合に取得される音響信号及び振動信号に基づき、当該音響信号と当該振動信号との間の遅延量を算出してもよい。
この場合には、同期処理部１３１は、例えば、取得した音響信号及び振動信号それぞれの波形のピーク位置に基づき、当該音響信号と当該振動信号との間の遅延量を算出してもよい。また、ピーク位置に限らず、音響信号及び振動信号それぞれの波形に基づき、当該音響信号と当該振動信号との間の遅延量が算出できれば、当該遅延量を算出する方法は特に限定されない。例えば、同期処理部１３１は、音響信号及び振動信号それぞれの波形が立ち上がる位置に基づき、当該音響信号と当該振動信号との間の遅延量を算出してもよい。
音響信号と振動信号との間の遅延量を算出したら、同期処理部１３１は、算出した遅延量に基づき音響信号と振動信号とのうち少なくともいずれかを遅延させることで、当該音響信号と当該振動信号とが同期させる。そして、同期処理部１３１は、同期させた音響信号及び振動信号を、信号処理部１３３に出力する。
（ステップＳ１１）
信号処理部１３３は、同期された音響信号及び振動信号を同期処理部１３１から取得し、取得した音響信号及び振動信号のうち、少なくともいずれかに対して信号処理を施す。
具体的な一例として、信号処理部１３３は、同期された音響信号及び振動信号のうち、少なくとも一方の振幅を制御してもよい（例えば、ゲインまたはボリュームを制御してもよい）。また、信号処理部１３３は、同期された音響信号及び振動信号を合成することで合成信号を生成してもよい。また、信号処理部１３３は、同期された音響信号と振動信号との間でサンプリングレートが異なる場合には、一方のサンプリングレートを他方のサンプリングレートにあわせて変換してもよい。
なお、上記に示す各種信号処理はあくまで一例であり、信号処理部１３３による信号処理の内容は、上記に示す例には限定されない。
また、信号処理部１３３は、上記に説明した各信号処理を適宜組み合わせ実施してもよいことは言うまでもない。また、信号処理部１３３は、上記に示した各信号処理のうち、いずれを適用するかを、ユーザからの指示に基づき決定してもよい。
信号処理部１３３は、同期された信号処理後の音響信号及び振動信号を互いに関連付けて記録部１７に出力する。
（ステップＳ１０５）
記録部１７は、同期され、かつ、互いに関連付けられた音響信号及び振動信号を、信号処理部１３３から取得する。記録部１７は、取得しした音響信号及び振動信号を、あらかじめ決められたデータ形式で、信号データとして信号データ記憶部１９に記憶させる。
以上のようにして、本実施形態に係る情報処理装置１０は、振動センサ３１で検知された操作オブジェクト７０の振動を示す振動信号と、マイク３３で集音された操作オブジェクト７０から出力される音響を示す音響信号とを取得し、互いに同期させる。そして、情報処理装置１０は、同期させた音響信号及び振動信号を互いに関連付けて信号データとして記録する。このようにして記録された信号データに基づき、アクチュエータの振動出力と、スピーカからの音響出力とを制御することで、複数のスピーカからの音響出力と、複数のアクチュエータからの振動出力とに基づく触覚フィードバックを容易に実現することが可能となる。
＜２．実施例＞
次に、上述した実施形態に係る情報処理システムまたは情報処理装置１０の実施例について説明する。
［２．１．実施例１：音響信号及び振動信号の出力の制御１］
まず、図８を参照して、実施例１に係る情報処理システムについて説明する。実施例１では、振動センサ３１から出力される振動信号と、マイク３３から出力される音響信号との記録に際し、各信号の出力を調整することで、体感導入装置８０により提示される触覚フィードバックを制御する場合の一例について説明する。図８は、実施例１に係る情報処理システムの概要について説明するための説明図である。
本実施例では、ボタン形状の体感導入装置において、ボタンを押下したときにユーザが感じる感触を、触覚フィードバックに基づき制御する場合について説明する。この場合には、例えば、図２に示した操作オブジェクト７０として、図８に示すように、ボタン型の操作オブジェクトを用いるとよい。なお、以降では、図８に示した本実施例に係る操作オブジェクトを特に示す場合には、「操作オブジェクト７０ａ」と記載する場合がある。
本実施例に係る情報処理システムでは、例えば、図８に示すように、操作オブジェクト７０ａの底面におけるボタン部分の直下に相当する領域に、振動センサ３１と、マイク３３とが設けられている。なお、このとき、マイク３３は、例えば、音響を集音するための集音部が、ボタン部分の方向に向くように設置されるとよい。
ここで、図８の右側に示すように、ユーザが操作オブジェクト７０ａのボタン部分を押下したものとする。このとき、当該ボタン部分の押下時における操作オブジェクト７０ａの振動が振動センサ３１で検知され、操作オブジェクト７０ａ（特に、ボタン部分）から出力される音響がマイク３３で集音されることとなる。
以上のように、操作オブジェクト７０ａに対する操作（即ち、ボタンの押下）により発生した振動及び音響は、振動センサ３１及びマイク３３で検出され、当該振動を示す振動信号と、当該音響を示す音響信号とが、情報処理装置１０に出力される。
例えば、図９は、実施例１に係る情報処理システムにおいて、振動センサ３１から出力される振動信号と、マイク３３から出力される音響信号との一例を示している。図９に示す各グラフは、横軸が時間を示しており、縦軸が信号の振幅（Ｖ）、即ち、電圧値の変動を振幅として示している。参照符号ｇ２１で示された信号は、マイク３３から出力される音響信号、即ち、操作オブジェクト７０ａから出力され、マイク３３により集音された音響信号の波形の一例を示している。また、参照符号ｇ２２で示された信号は、振動センサ３１から出力される振動信号、即ち、振動センサ３１で検出された操作オブジェクト７０ａの振動を示す振動信号の波形の一例を示している。
情報処理装置１０は、振動センサ３１から出力される振動信号と、マイク３３から出力された音響信号とのうち、少なくともいずれかに対して信号処理を施すことで振幅を制御し、制御後の振動信号及び音響信号を関連付けてデータとして記録してもよい。
具体的な一例として、振動信号と音響信号との間のゲイン比を調整することで、データとして記録された振動信号及び音響信号に基づき再現される触覚の感触を制御することが可能である。
例えば、振動信号と音響信号との間のゲイン比を調整しない場合、即ち、振動センサ３１及びマイク３３で検出された各信号をデータとして記録する場合には、当該データに基づき、当該各信号を記録したときと同様の感触が再現されることとなる。
これに対して、例えば、「音響信号のゲイン：振動信号のゲイン＝０．９：０．１」となるように、即ち、振動信号よりも音響信号のゲインが高くなるように、音響信号と振動信号との間のゲイン比を調整したとする。このようにゲイン比が調整された音響信号及び振動信号に基づく触覚フィードバックは、音響信号及び振動信号のゲイン比を調整しなかった場合に比べて、振動出力がより小さくなり、出音響出力がより大きくなる。換言すると、振動信号よりも音響信号のゲインが高くなるようにゲイン比が調整されることで、体感導入装置８０は、当該音響信号及び振動信号に基づき、ゲイン比を調整しなかった場合に比べて、より軽い感触の触覚をユーザにフィードバックすることが可能となる。
また、他の一例として、「音響信号のゲイン：振動信号のゲイン＝０．１：０．９」となるように、即ち、音響信号よりも振動信号のゲインが高くなるように、音響信号と振動信号との間のゲイン比を調整したとする。このようにゲイン比が調整された音響信号及び振動信号に基づく触覚フィードバックは、音響信号及び振動信号のゲイン比を調整しなかった場合に比べて、振動出力がより大きくなり、出音響出力がより小さくなる。換言すると、音響信号よりも振動信号のゲインが高くなるようにゲイン比が調整されることで、体感導入装置８０は、当該音響信号及び振動信号に基づき、ゲイン比を調整しなかった場合に比べて、より重い感触の触覚をユーザにフィードバックすることが可能となる。
以上、実施例１として説明したように、本実施形態に係る情報処理装置１０は、振動センサ３１から出力される振動信号と、マイク３３から出力された音響信号とのうち、少なくともいずれかに対して信号処理を施すことでゲインを制御してもよい。このように、振動信号及び音響信号のゲインを調整することで、操作オブジェクト７０ａの操作時とは異なる感触の触覚を疑似的に再現し、ユーザにフィードバックすることも可能となる。なお、上記に示す例では、情報処理装置１０が、音響信号及び振動信号のゲインを制御する場合の例について説明したが、当該ゲインの制御を体感導入装置８０側が行ってもよいことは言うまでもない。
［２．２．実施例２：音響信号及び振動信号の出力の制御２］
次に、実施例２に係る情報処理装置１０の動作について説明する。本実施例に係る情報処理装置１０は、振動センサ３１で検出された振動信号と、マイク３３で集音された音響信号とが重複する周波数帯域において、少なくともいずれか一方の信号の出力を制御する。
具体的な一例として、音響出力と振動出力とが重複する周波数帯域では、ユーザは、振動出力を音響として知覚する場合がある。そのため、ユーザは、アクチュエータからの触覚フィードバック（振動出力）により、スピーカから出力される音響のうち、音響出力と振動出力とが重複する周波数帯域の音響を、他の周波数帯域の音響に比べて出力が増大したように感じる場合がある。このような状況を想定して、本実施例に係る情報処理装置１０では、振動センサ３１で検出された振動信号と、マイク３３で集音された音響信号とが重複する周波数帯域において、少なくともいずれか一方の出力の振幅を制限してもよい。
例えば、図１０は、本実施例に係る情報処理装置１０の概要について説明するための説明図であり、取得された音響信号及び振動信号それぞれの、あるタイミングにおける周波数成分の分布の一例を示している。図１０に示す各グラフは、横軸が周波数を示しており、縦軸が信号の振幅（Ｖ）、即ち、電圧値の変動を振幅として示している。参照符号ｇ１３で示された信号は、マイク３３から出力される音響信号の周波数分布を示している。同様に、参照符号ｇ１４で示された信号は、振動センサ３１から出力される振動信号の周波数分布を示している。
図１０に示す例では、参照符号ｇ２１で示された周波数帯域において、参照符号ｇ１３１で示された音響信号と、参照符号ｇ１４１で示された振動信号とが重複している。この場合には、参照符号ｇ２１で示された周波数帯域において、音響信号ｇ１３１と振動信号ｇ１４１とが重畳し、ユーザは、当該周波数帯域ｇ２１の音響を、他の周波数帯域の音響に比べて出力が増大したように感じることとなる。
そのため、本実施例に係る情報処理装置１０の信号処理部１３３は、振動センサ３１で検知された振動信号と、マイク３３で集音された音響信号とが重複する周波数帯域において、少なくともいずれか一方の出力の振幅を制限してもよい。具体的な一例として、信号処理部１３３は、音響信号と振動信号との出力比をあらかじめ決めておき、当該出力比に応じて音響信号及び振動信号それぞれを減衰させる減衰量を決定してもよい。例えば、音響信号と振動信号との出力比を１：１とした場合には、信号処理部１３３は、音響信号及び振動信号それぞれの振幅を１／２に減衰させればよい。また、他の一例として、音響信号と振動信号との出力比を２：１とした場合には、信号処理部１３３は、音響信号の振幅を１／３に減衰させ、振動信号の振幅を１／３に減衰させればよいこととなる。
また他の一例として、信号処理部１３３は、振動センサ３１で検知された振動信号の振幅と、マイク３３で集音された音響信号の振幅との比率に基づき重み付けを行い、当該重み付けに応じて音響出力及び振動出力の振幅を減衰させてもよい。
以上、実施例２として説明したように、本実施形態に係る情報処理装置１０は、振動センサ３１で検出された振動信号と、マイク３３で集音された音響信号とが重複する周波数帯域において、少なくともいずれか一方の信号の振幅を制御してもよい。このような構成により、例えば、ユーザが振動出力を音響として知覚し、音響出力と振動出力とが重複する周波数帯域の音響を、他の周波数帯域の音響に比べて出力が増大したように感じるといった事態を予防することが可能となる。
［２．３．実施例３：振動出力の次元が異なる場合の制御］
次に、実施例３として、振動センサ３１が検出する振動の方向の次元と、体感導入装置８０のアクチュエータが振動する方向の次元とが異なる場合の、情報処理装置１０の動作について、図１１を参照して説明する。図１１は、実施例３に係る情報処理装置の概要について説明するための説明図である。
図１１において、参照符号３１は、図２に基づき前述した振動センサ、即ち、操作オブジェクト７０の振動を検知する振動センサ３１の一例を示している。また、参照符号８１は、体感導入装置８０に内蔵され、振動することでユーザに触覚をフィードバックするアクチュエータの一例を示している。
なお、本説明では、図１１に示すように、振動センサ３１は、互いに直交するｘ方向、ｙ方向、及びｚ方向それぞれの方向に沿った振動を、各振動成分として検出可能に構成されているものとする。また、アクチュエータ８１は、互いに直交するｘ方向、ｙ方向、及びｚ方向のうち、いずれか一方の方向（ここでは、ｘ方向とする）に沿ってのみ、振動可能に構成されているものとする。
この場合には、情報処理装置１０の信号処理部１３３（図５参照）は、例えば、振動センサ３１から取得した振動信号（即ち、複数方向の振動成分を含む振動信号）を元に、アクチュエータ８１の振動を示す振動信号（即ち、一方にのみ振動する振動信号）を生成してもよい。
具体的には、信号処理部１３３は、アクチュエータ８１の情報（即ち、振動可能な方向に関する情報）を、例えば、ユーザ入力に基づき事前に取得する。これにより、信号処理部１３３は、アクチュエータ８１が、例えば、ｘ方向にのみ振動可能に構成されていることを認識する。
そして、信号処理部１３３は、振動センサ３１から取得した、ｘ方向、ｙ方向、及びｚ方向それぞれの振動成分を有する振動信号を、アクチュエータ８１の振動方向の次元にあわせて、ｘ方向にのみ振動する振動信号に変換する。
具体的な一例として、信号処理部１３３は、振動センサ３１から取得した振動信号に含まれる各振動成分のうち、ｘ方向の振動成分のみを抽出し、抽出されたｘ方向の振動成分を振動信号として、マイク３３で集音された音響信号と関連付けてもよい。
また、他の一例として、信号処理部１３３は、振動センサ３１から取得した、ｘ方向、ｙ方向、及びｚ方向それぞれの振動成分に基づくベクトル演算により、アクチュエータ８１の振動を示す振動信号の出力の振幅（例えば、ボリューム）を決定してもよい。
具体的な一例として、振動センサ３１から取得した振動信号が示す、ｘ方向、ｙ方向、及びｚ方向の振動成分の振幅それぞれを、Ｖｘ、Ｖｙ、及びＶｚとする。この場合に、信号処理部１３３は、例えば、以下に示す数式１に基づき、アクチュエータ８１の振動を示す振動信号の振幅Ｖを決定してもよい。
Figure 2015185137
なお、上記はあくまで一例であり、振動センサ３１から取得した振動信号が示す振動方向の次元が、体感導入装置８０のアクチュエータ８１が振動可能な方向の次元よりも大きい場合における、アクチュエータ８１の振動の振幅を算出する方法は特に限定されない。例えば、信号処理部１３３は、振動センサ３１から取得した振動信号が示す、ｘ方向、ｙ方向、及びｚ方向の振動成分それぞれの振幅の平均値や中間値に基づき、アクチュエータ８１の振動を示す振動信号の振幅を決定してもよい。
特に、体感導入装置８０が触覚をフィードバックするためのデバイスとして、スピーカとアクチュエータとが一体的に構成されたボイスコイルモータを使用する場合には、当該ボイスコイルモータは、一方向にのみ振動可能に構成されている場合が少なくない。このような状況下においても、本実施例に係る情報処理装置１０に依れば、当該体感導入装置８０の構成にあわせて、触覚をフィードバックするためにボイスコイルモータを駆動するための信号データを生成することが可能となる。
また、信号処理部１３３は、複数方向の振動成分を含む振動信号から、互いに異なる複数のアクチュエータ８１を駆動するための振動信号を生成してもよい。具体的な一例として、信号処理部１３３は、ｘ方向、ｙ方向、及びｚ方向の振動成分を含む振動信号から、各振動成分を別々に抽出し、抽出された各振動成分を、互いに異なるアクチュエータ８１を駆動するための振動信号としてもよい。この場合には、信号処理部１３３は、ｘ方向、ｙ方向、及びｚ方向の振動成分を含む振動信号から、ｘ方向に振動する振動信号、ｙ方向に振動する振動信号、及び、ｚ方向に振動する振動信号を生成することとなる。もちろん、信号処理部１３３は、ｘ方向、ｙ方向、及びｚ方向の振動成分のうち一部のみ（例えば、ｘ方向及びｚ方向）に基づき振動信号を生成してもよいことは言うまでもない。
［２．４．実施例４：信号データのデータ形式と信号処理との関係］
次に、実施例４として、音響信号及び振動信号を信号データとして記録するためのデータ形式と、当該音響信号及び当該振動信号に対して適用される信号処理との関係の一例について説明する。
前述の通り、本実施形態に係る情報処理装置１０は、操作オブジェクト７０（図２参照）の振動を示す振動信号と、当該操作オブジェクト７０から出力される音響を示す音響信号とを互いに関連付けて信号データとして記録する。一方で、信号データのデータ形式によっては、取得された振動信号及び音響信号を、そのままの形式で記録することが困難な場合がある。
例えば、前述した音響信号と振動信号との間のサンプリングレートの違いに関する制約が例として挙げられる。具体的には、各信号の情報をサンプル単位で時系列に沿って記録するデータ形式の場合には、互いにサンプリングレートの異なる音響信号と振動信号とを同期させた状態を維持しながら記録することが困難な場合がある。そのため、当該データ形式が選択された場合には、情報処理装置１０の信号処理部１３３は、音響信号と振動信号とのうち、一方のサンプリングレートを他方のサンプリングレートにあわせて変換する。
そこで、本実施例では、音響信号と振動信号とを信号データとして記録するためのデータ形式の一例と、当該データ形式に応じた信号処理の一例について、以下に説明する。
＜＜２．４．１．音響信号及び振動信号を別データとして記録する場合＞＞
まず、図１２を参照して、音響信号と振動信号とを互いに異なる別のデータとして記録する場合の一例について説明する。図１２は、本実施例に係る情報処理装置の一態様について説明するための説明図であり、音響信号及び振動信号のそれぞれを互いに異なる別のデータとして記録する場合について模式的に示している。
図１２に示す例では、情報処理装置１０は、取得した振動信号を触覚データｄ１１１に変換し、音響信号を音響データｄ１１３に変換する。触覚データｄ１１１や音響データｄ１１３のデータ形式としては、振動信号や音響信号を記録可能なデータ形式が好ましく、例えば、「ＷＡＶ」や「ＭＰ３」等が挙げられる。
なお、振動信号は、複数の異なる方向に沿った振動を示す振動成分を含む場合があり、触覚データｄ１１１のデータ形式によっては、複数の振動成分を１つのデータ（ファイル）として記録することが困難な場合がある。このような場合には、情報処理装置１０は、例えば、振動成分ごとに触覚データｄ１１１を生成してもよい。また、他の一例として、実施例３に示したように、複数の振動成分に基づき、一方向にのみ振動する他の振動信号を生成し、当該他の振動信号を触覚データｄ１１１に変換してもよい。
また、振動を再現する体感導入装置８０のアクチュエータが複数存在する場合には、情報処理装置１０は、当該アクチュエータごとに触覚データｄ１１１を生成してもよい。また、このとき、情報処理装置１０は、アクチュエータの構成（即ち、振動可能な方向）にあわせて、取得した振動信号に基づき、当該アクエータにあわせて振動方向の次元をあわせた他の振動信号を生成し、当該他の振動信号を触覚データｄ１１１として記録してもよいことは言うまでもない。
また、情報処理装置１０は、振動信号及び音響信号のうち少なくとも一方に対して信号処理を施し、信号処理後の振動信号及び音響信号を、触覚データｄ１１１及び音響データｄ１１３に変換してもよい。
具体的な一例として、情報処理装置１０は、振動信号に対してローパスフィルタを適用することで所定の周波数以下の低周波成分のみを抽出し、抽出された低周波成分を触覚データｄ１１１に変換してもよい。同様に、情報処理装置１０は、音響信号に対してはいパスフィルタを適用することで所定の周波数以上の高周波成分のみを抽出し、抽出された高周波成分を音響データｄ１１３に変換してもよい。
なお、上記に示す振動信号及び音響信号に対する信号処理はあくまで一例であり、例えば、前述した実施形態及び各実施例で説明した信号処理を適用してもよいことは言うまでもない。
そして、情報処理装置１０は、振動信号に基づく触覚データｄ１１１と、音響信号に基づく音響データｄ１１３とを、互いに関連付けられた信号データｄ１１として記録する。
なお、触覚データｄ１１１と、音響データｄ１１３とを関連付ける方法は特に限定されない。具体的な一例として、情報処理装置１０は、触覚データｄ１１１と音響データｄ１１３との関係を示す管理ファイルを設けることで、当該管理ファイルにより、触覚データｄ１１１と音響データｄ１１３とを関連付けてもよい。また、他の一例として、互いに関連付けられた触覚データｄ１１１及び音響データｄ１１３の管理情報（例えば、ファイル名や、ファイル内のヘッダーに記録される情報）として、共通する情報を用いることで、触覚データｄ１１１と音響データｄ１１３とを関連付けてもよい。
＜＜２．４．２．音響信号と振動信号とを合成して記録する場合＞＞
次に、図１３を参照して、音響信号と振動信号とを一つの信号データとして記録する場合、即ち、音響信号と振動信号とを合成した合成信号を信号データとして記録する場合の一例について説明する。図１３は、本実施例に係る情報処理装置の一態様について説明するための説明図であり、音響信号と振動信号とを合成した合成信号を信号データとして記録する場合について模式的に示している。
図１３に示す例では、情報処理装置１０は、取得した振動信号及び音響信号を合成することで合成信号を生成し、生成した合成信号を合成信号データｄ１３に変換して、当該合成信号データｄ１１を信号データとして記録する。なお、合成信号データｄ１３のデータ形式としては、図１２に示す触覚データｄ１１１や音響データｄ１１３と同様に、振動信号や音響信号を記録可能なデータ形式が好ましく、例えば、「ＷＡＶ」や「ＭＰ３」等が挙げられる。
なお、振動信号が複数の異なる方向に沿った振動を示す振動成分を含む場合には、情報処理装置１０は、実施例３に示したように、当該複数の振動成分に基づき、いずれか一方向に振動する振動信号を生成し、生成した振動信号を音響信号と合成すればよい。
また、情報処理装置１０は、振動信号と音響信号とを合成する際に、各信号に対してフィルタを適用してもよいことは、前述したとおりである。具体的な一例として、情報処理装置１０は、振動信号に対してローパスフィルタを適用することで低周波成分を抽出し、音響信号に対してハイパスフィルタを適用することで高周波成分を抽出する。そして、情報処理装置１０は、抽出した振動信号の低周波成分と音響信号の高周波成分とを合成することで、合成信号を生成してもよい。
以上のようにして生成された合成信号データｄ１３は、例えば、スピーカとアクチュエータが一体的に構成されたボイスコイルモータのようなデバイスを、当該データを加工することなく駆動することも可能である。
＜＜２．４．３．音響信号及び振動信号を符号化して記録する場合＞＞
次に、図１４を参照して、音響信号及び振動信号を符号化（エンコード）して信号データとして記録する場合の一例について説明する。図１４は、本実施例に係る情報処理装置の一態様について説明するための説明図であり、音響信号及び振動信号を符号化して信号データとして記録する場合について模式的に示している。なお、本説明では、音響信号及び振動信号を符号化する場青の一例として、前述した、本実施形態に係る情報処理装置１０に固有のデータ形式（即ち、図６において「Ｏｒｉｇｉｎａｌ」として示されたデータ形式）について説明する。
図１４に示す例では、情報処理装置１０は、取得した振動信号及び音響信号を固有のデータ形式の符号化データｄ１５に符号化（エンコード）することで、当該振動信号と当該音響信号とを一つのデータ（ファイル）として記録する。
例えば、図１５は、符号化データのデータ構造の一例を示している。なお、以降では、図１５に示す符号化データを特に示す場合には、「符号化データｄ２０」と記載する場合がある。
図１５に示すように、符号化データｄ２０は、時系列に沿った位置（即ち、時間）を示す時間（Ｔｉｍｅ）情報ｄ２１と、音響信号を示す音響（Ａｕｄｉｏ）情報ｄ２３と、振動信号を示す信号（Ｔａｃｔｉｌｅ）情報ｄ２５とを含む。また、図１５に示す例は、振動信号が、互いに異なるｘ方向、ｙ方向、及びｚ方向に沿った振動成分を含む場合を示している。そのため、符号化データｄ２０は、振動情報ｄ２５として、ｘ方向の振動情報ｄ２５１と、ｙ方向の振動情報ｄ２５３と、ｚ方向の振動情報ｄ２５５とを含む。
音響情報ｄ２３と、振動情報ｄ２５１、ｄ２５３、及びｄ２５５とのそれぞれは、各信号の振幅を示している。即ち、図１５に示す符号化データｄ２０は、音響信号の振幅を示す情報と、振動信号に含まれる各振動成分（即ち、ｘ方向、ｙ方向、及びｚ方向の振動成分）の振幅とを示す情報を、時系列に沿って並べることで構成される。
図１５に示すように構成された符号化データｄ２０を信号データとして記録することで、当該符号化データｄ２０を復号（デコード）することにより、音響信号及び振動信号を再構成することが可能となる。即ち、体感導入装置８０は、符号化データｄ２０から復号された音響信号に基づきスピーカから音響を出力し、当該音響出力に同期して、復号された振動信号に基づきアクチュエータを振動させることが可能となる。
なお、符号化データとして、複数の音響信号や、複数の振動信号を記録できるようにしてもよい。例えば、図１６は、符号化データのデータ構造の一例を示しており、複数の音響信号と、複数の振動信号とを一つのデータ（ファイル）として記録する場合の一例を示している。なお、以降では、図１６に示す符号化データを特に示す場合には、「符号化データｄ３０」と記載する場合がある。
符号化データｄ３０は、体感導入装置８０の筐体の左右に設けられたスピーカＲ（右側）及びＬ（左側）それぞれから出力するための音響信号と、筐体の左右に設けられたアクチュエータ８１Ｒ（右側）及び８１Ｌ（左側）を駆動するための振動信号とを記録する場合を示している。
図１６に示すように、符号化データｄ３０は、時間情報ｄ３１と、音響情報ｄ３３１及びｄ３３３と、振動情報ｄ３５及びｄ３７とを含む。また、図１６に示す例は、振動情報ｄ３５及びｄ３７それぞれに対応する振動信号が、互いに異なるｘ方向、ｙ方向、及びｚ方向に沿った振動成分を含む場合を示している。そのため、符号化データｄ３０は、振動情報ｄ３５として、ｘ方向の振動情報ｄ３５１と、ｙ方向の振動情報ｄ３５３と、ｚ方向の振動情報ｄ３５５とを含む。同様に、符号化データｄ３０は、振動情報ｄ３７として、ｘ方向の振動情報ｄ３７１と、ｙ方向の振動情報ｄ３７３と、ｚ方向の振動情報ｄ３７５とを含む。
音響情報ｄ３３１及びｄ３３３と、振動情報ｄ３５１、ｄ３５３、ｄ３５５、ｄ３７１、ｄ３７３、及びｄ３７５とのそれぞれは、各信号の振幅を示している。即ち、図１６に示す符号化データｄ３０は、複数の音響信号の振幅を示す情報と、複数の振動信号それぞれに含まれる各振動成分（即ち、ｘ方向、ｙ方向、及びｚ方向の振動成分）の振幅とを示す情報とを、時系列に沿って並べることで構成される。
図１６に示すように構成された符号化データｄ３０を信号データとして記録することで、当該符号化データｄ３０を復号（デコード）することにより、複数の音響信号及び複数の振動信号を再構成することが可能となる。即ち、体感導入装置８０は、符号化データｄ３０から復号された複数の音響信号に基づき複数のスピーカＲ及びＬから音響を出力し、当該音響出力に同期して、復号された複数の振動信号に基づき複数のアクチュエータ８１Ｒ及び８１Ｌを振動させることが可能となる。
＜３．ハードウェア構成＞
次に、図１７を参照して、本開示の実施形態に係る情報処理装置１０のハードウェア構成の一例について説明する。図１７は、本実施形態に係る情報処理装置１０のハードウェア構成の一例を示した図である。
図１７に示すように、本実施形態に係る情報処理装置１０は、プロセッサ９０１と、メモリ９０３と、ストレージ９０５と、操作デバイス９０７と、表示デバイス９０９と、通信デバイス９１１と、バス９１３とを含む。
プロセッサ９０１は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）又はＳｏＣ（System on Chip）であってよく、情報処理装置１０の様々な処理を実行する。プロセッサ９０１は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。なお、前述した制御部１３、ＵＩ制御部１５、及び記録部１７は、プロセッサ９０１により構成され得る。
メモリ９０３は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）を含み、プロセッサ９０１により実行されるプログラム及びデータを記憶する。ストレージ９０５は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。例えば、前述した信号データ記憶部１９は、メモリ９０３及びストレージ９０５の少なくともいずれか、もしくは、双方の組み合わせにより構成され得る
操作デバイス９０７は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス９０７は、例えばボタン及びスイッチなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、プロセッサ９０１に供給する入力制御回路などから構成されてよい。
表示デバイス９０９は、出力装置の一例であり、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）装置、有機ＥＬ（ＯＬＥＤ：Organic Light Emitting Diode）ディスプレイ装置などの表示装置であってよい。表示デバイス９０９は、ユーザに対して画面を表示することにより情報を提供することができる。なお、前述した表示装置５０を、当該表示デバイス９０９として構成してもよいし、表示装置５０とは別に表示デバイス９０９を設けてもよい。
通信デバイス９１１は、情報処理装置１０が備える通信手段であり、ネットワークを介して外部装置と通信する。通信デバイス９１１は、有線または無線用の通信インタフェースである。通信デバイス９１１を、無線通信インタフェースとして構成するバイには、当該通信デバイス９１１は、通信アンテナ、ＲＦ（Radio Frequency）回路、ベースバンドプロセッサなどを含んでもよい。
通信デバイス９１１は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ９０１に供給することが可能である。
バス９１３は、プロセッサ９０１、メモリ９０３、ストレージ９０５、操作デバイス９０７、表示デバイス９０９、及び通信デバイス９１１を相互に接続する。バス９１３は、複数の種類のバスを含んでもよい。
また、コンピュータに内蔵されるプロセッサ、メモリ、及びストレージなどのハードウェアを、上記した情報処理装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。
＜４．まとめ＞
以上、説明したように、本実施形態に係る情報処理装置１０は、各振動センサ３１から出力される振動信号と、各マイク３３から出力される音響信号とを同期させ、互いに関連付けて信号データとして記録する。このように記録されたデータは、体感導入装置８０による触覚のフィードバックに利用することが可能である。具体的には、情報処理装置１０により記録された信号データ中の音響信号及び振動信号に基づき、体感導入装置８０の各アクチュエータの振動出力と、各スピーカからの音響出力とを制御すればよい。このような構成により、本実施形態に係る情報処理システムは、複数のスピーカからの音響出力と、複数のアクチュエータからの振動出力とに基づく触覚フィードバックを容易に実現することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
検知された所定の実オブジェクトの振動を示す振動信号と、集音された当該実オブジェクトからの音響を示す音響信号とを取得する取得部と、
取得された前記振動信号と前記音響信号とを同期させ、同期させた当該振動信号と当該音響信号とを互いに関連付ける制御部と、
互いに関連付けられた前記振動信号と前記音響信号とを記録する記録部と、
を備える、情報処理装置。
（２）
前記制御部は、同期させた前記振動信号と前記音響信号とのうち、少なくともいずれかの振幅を制御する、前記（１）に記載の情報処理装置。
（３）
前記制御部は、同期させた前記振動信号と前記音響信号とが重複する周波数帯域において、当該振動信号と当該音響信号とのうち少なくとも一方の振幅を制限する、前記（２）に記載の情報処理装置。
（４）
前記取得部は、互いに異なる複数の方向の振動成分を有する前記振動信号を取得し、
前記制御部は、取得された前記振動信号が有する複数の前記振動成分のうち少なくとも一部の振動成分に基づき、当該振動信号が有する前記振動成分の数よりも少ない数の前記振動成分を有する他の振動信号を生成し、当該他の振動信号と取得された前記音響信号とを同期させる、前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記制御部は、前記一部の振動成分を有する前記他の振動成分を生成する、前記（４）に記載の情報処理装置。
（６）
前記制御部は、取得された前記振動信号が有する複数の前記振動成分を基にしたベクトル演算の結果に応じて、前記他の振動信号が有する前記振動成分の振幅を決定する、前記（４）に記載の情報処理装置。
（７）
前記制御部は、同期させた前記振動信号と前記音響信号とを合成することで、当該振動信号と当該音響信号とを関連付け、
前記記録部は、当該振動信号と当該音響信号とが合成された合成信号を記録する、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記制御部は、前記振動信号のうち第１の閾値以下の低周波成分と、前記音響信号のうちの第２の閾値以上の高周波成分とを合成することで、前記合成信号を生成する、前記（７）に記載の情報処理装置。
（９）
前記第１の閾値は、前記第２の閾値よりも高い周波数に設定されている、前記（８）に記載の情報処理装置。
（１０）
前記制御部は、同期させた前記振動信号と前記音響信号とを記録するための記録形式に応じて、当該振動信号と当該音響信号と合成するか否かを判断する、前記（７）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記制御部は、同期させた前記振動信号と前記音響信号とを、当該振動信号と当該音響信号とを記録するための記録形式に応じて符号化し、
前記記録部は、符号化された当該振動信号と当該音響信号とを記録する、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（１２）
前記制御部は、前記振動信号中の少なくとも一部の信号の波形と、前記音響信号中の少なくとも一部の信号の波形とに基づき、当該振動信号と当該音響信号とを同期させる、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記制御部は、前記実オブジェクトの所定の動作に応じて取得される、前記振動信号の波形と前記音響信号の波形とに基づき、当該振動信号と当該音響信号とを同期させる、前記（１２）に記載の情報処理装置。
（１４）
前記制御部は、同期させた前記振動信号と前記音響信号とのうち、一方の信号のサンプリングレートにあわせて他方の信号のサンプリングレートを変換し、サンプリングレートが変換された前記他方の信号を、前記一方の信号と関連付ける、前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記制御部は、同期させた前記振動信号と前記音響信号とのうち、サンプリングレートの高い前記一方の信号にあわせて、前記他方の信号のサンプリングレートを変換する、前記（１４）に記載の情報処理装置。
（１６）
前記一方の信号は、前記音響信号であり、
前記他方の信号は、前記振動信号である、前記（１５）に記載の情報処理装置。
（１７）
検知された所定の実オブジェクトの振動を示す振動信号と、集音された当該実オブジェクトからの音響を示す音響信号とを取得することと、
プロセッサが、取得された前記振動信号と前記音響信号とを同期させ、同期させた当該振動信号と当該音響信号とを互いに関連付けることと、
互いに関連付けられた前記振動信号と前記音響信号とを記録することと、
を含む、情報処理方法。
（１８）
コンピュータに、
検知された所定の実オブジェクトの振動を示す振動信号と、集音された当該実オブジェクトからの音響を示す音響信号とを取得することと、
取得された前記振動信号と前記音響信号とを同期させ、同期させた当該振動信号と当該音響信号とを互いに関連付けることと、
互いに関連付けられた前記振動信号と前記音響信号とを記録することと、
を実行させる、プログラム。
１０ 情報処理装置
１１ 信号取得部
１１１ 振動信号取得部
１１３ 音響信号取得部
１３ 制御部
１３１ 同期処理部
１３３ 信号処理部
１５ ＵＩ制御部
１７ 記録部
１９ 信号データ記憶部
３１ 振動センサ
３３ マイク
５０ 表示装置
５１ 表示部
６１ 操作部

Claims (18)

  1. 検知された所定の実オブジェクトの振動を示す振動信号と、集音された当該実オブジェクトからの音響を示す音響信号とを取得する取得部と、
    取得された前記振動信号と前記音響信号とを同期させ、同期させた当該振動信号と当該音響信号とを互いに関連付ける制御部と、
    互いに関連付けられた前記振動信号と前記音響信号とを記録する記録部と、
    を備える、情報処理装置。
  2. 前記制御部は、同期させた前記振動信号と前記音響信号とのうち、少なくともいずれかの振幅を制御する、請求項１に記載の情報処理装置。
  3. 前記制御部は、同期させた前記振動信号と前記音響信号とが重複する周波数帯域において、当該振動信号と当該音響信号とのうち少なくとも一方の振幅を制限する、請求項２に記載の情報処理装置。
  4. 前記取得部は、互いに異なる複数の方向の振動成分を有する前記振動信号を取得し、
    前記制御部は、取得された前記振動信号が有する複数の前記振動成分のうち少なくとも一部の振動成分に基づき、当該振動信号が有する前記振動成分の数よりも少ない数の前記振動成分を有する他の振動信号を生成し、当該他の振動信号と取得された前記音響信号とを同期させる、請求項１に記載の情報処理装置。
  5. 前記制御部は、前記一部の振動成分を有する前記他の振動成分を生成する、請求項４に記載の情報処理装置。
  6. 前記制御部は、取得された前記振動信号が有する複数の前記振動成分を基にしたベクトル演算の結果に応じて、前記他の振動信号が有する前記振動成分の振幅を決定する、請求項４に記載の情報処理装置。
  7. 前記制御部は、同期させた前記振動信号と前記音響信号とを合成することで、当該振動信号と当該音響信号とを関連付け、
    前記記録部は、当該振動信号と当該音響信号とが合成された合成信号を記録する、請求項１に記載の情報処理装置。
  8. 前記制御部は、前記振動信号のうち第１の閾値以下の低周波成分と、前記音響信号のうちの第２の閾値以上の高周波成分とを合成することで、前記合成信号を生成する、請求項７に記載の情報処理装置。
  9. 前記第１の閾値は、前記第２の閾値よりも高い周波数に設定されている、請求項８に記載の情報処理装置。
  10. 前記制御部は、同期させた前記振動信号と前記音響信号とを記録するための記録形式に応じて、当該振動信号と当該音響信号と合成するか否かを判断する、請求項７に記載の情報処理装置。
  11. 前記制御部は、同期させた前記振動信号と前記音響信号とを、当該振動信号と当該音響信号とを記録するための記録形式に応じて符号化し、
    前記記録部は、符号化された当該振動信号と当該音響信号とを記録する、請求項１に記載の情報処理装置。
  12. 前記制御部は、前記振動信号中の少なくとも一部の信号の波形と、前記音響信号中の少なくとも一部の信号の波形とに基づき、当該振動信号と当該音響信号とを同期させる、請求項１に記載の情報処理装置。
  13. 前記制御部は、前記実オブジェクトの所定の動作に応じて取得される、前記振動信号の波形と前記音響信号の波形とに基づき、当該振動信号と当該音響信号とを同期させる、請求項１２に記載の情報処理装置。
  14. 前記制御部は、同期させた前記振動信号と前記音響信号とのうち、一方の信号のサンプリングレートにあわせて他方の信号のサンプリングレートを変換し、サンプリングレートが変換された前記他方の信号を、前記一方の信号と関連付ける、請求項１に記載の情報処理装置。
  15. 前記制御部は、同期させた前記振動信号と前記音響信号とのうち、サンプリングレートの高い前記一方の信号にあわせて、前記他方の信号のサンプリングレートを変換する、請求項１４に記載の情報処理装置。
  16. 前記一方の信号は、前記音響信号であり、
    前記他方の信号は、前記振動信号である、請求項１５に記載の情報処理装置。
  17. 検知された所定の実オブジェクトの振動を示す振動信号と、集音された当該実オブジェクトからの音響を示す音響信号とを取得することと、
    プロセッサが、取得された前記振動信号と前記音響信号とを同期させ、同期させた当該振動信号と当該音響信号とを互いに関連付けることと、
    互いに関連付けられた前記振動信号と前記音響信号とを記録することと、
    を含む、情報処理方法。
  18. コンピュータに、
    検知された所定の実オブジェクトの振動を示す振動信号と、集音された当該実オブジェクトからの音響を示す音響信号とを取得することと、
    取得された前記振動信号と前記音響信号とを同期させ、同期させた当該振動信号と当該音響信号とを互いに関連付けることと、
    互いに関連付けられた前記振動信号と前記音響信号とを記録することと、
    を実行させる、プログラム。

JP2014063909A 2014-03-26 2014-03-26 情報処理装置、情報処理方法、及びプログラム Pending JP2015185137A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014063909A JP2015185137A (ja) 2014-03-26 2014-03-26 情報処理装置、情報処理方法、及びプログラム
US14/626,025 US9946347B2 (en) 2014-03-26 2015-02-19 Information processing apparatus, information processing method, and program
US15/921,074 US10514762B2 (en) 2014-03-26 2018-03-14 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014063909A JP2015185137A (ja) 2014-03-26 2014-03-26 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2015185137A true JP2015185137A (ja) 2015-10-22

Family

ID=54188934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014063909A Pending JP2015185137A (ja) 2014-03-26 2014-03-26 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
US (2) US9946347B2 (ja)
JP (1) JP2015185137A (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212850A (ja) * 2015-04-28 2016-12-15 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティックプレイバック調整システム
JP2017157187A (ja) * 2016-02-18 2017-09-07 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 許可設定を有するウェアラブルハプティック効果
WO2018105254A1 (ja) * 2016-12-05 2018-06-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019038887A1 (ja) * 2017-08-24 2019-02-28 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP2020177440A (ja) * 2019-04-18 2020-10-29 株式会社東海理化電機製作所 制御装置及び報知装置
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
US10963054B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Information processing system, vibration control method and program
US10969867B2 (en) 2016-12-15 2021-04-06 Sony Interactive Entertainment Inc. Information processing system, controller device, controller device control method and program
US10981053B2 (en) 2017-04-18 2021-04-20 Sony Interactive Entertainment Inc. Vibration control apparatus
US11013990B2 (en) 2017-04-19 2021-05-25 Sony Interactive Entertainment Inc. Vibration control apparatus
JP2021149585A (ja) * 2020-03-19 2021-09-27 豊田合成株式会社 アクチュエータ装置
US11145172B2 (en) 2017-04-18 2021-10-12 Sony Interactive Entertainment Inc. Vibration control apparatus
US11198059B2 (en) 2017-08-29 2021-12-14 Sony Interactive Entertainment Inc. Vibration control apparatus, vibration control method, and program
US11458389B2 (en) 2017-04-26 2022-10-04 Sony Interactive Entertainment Inc. Vibration control apparatus
US11779836B2 (en) 2017-08-24 2023-10-10 Sony Interactive Entertainment Inc. Vibration control apparatus

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102521953B1 (ko) 2014-09-02 2023-04-14 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
US10403253B2 (en) * 2014-12-19 2019-09-03 Teac Corporation Portable recording/reproducing apparatus with wireless LAN function and recording/reproduction system with wireless LAN function
JP6522454B2 (ja) * 2015-07-28 2019-05-29 ローム株式会社 センサ情報無線送信装置
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670720A1 (en) * 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
CN110915231A (zh) * 2017-07-10 2020-03-24 索尼公司 信息处理装置、信息处理方法和程序
US10871829B2 (en) 2017-12-05 2020-12-22 Tactai, Inc. Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US11565172B2 (en) * 2018-07-02 2023-01-31 Sony Corporation Information processing apparatus, information processing method, and information processing apparatus-readable recording medium
CN111399645B (zh) * 2020-03-13 2023-07-25 Oppo广东移动通信有限公司 可穿戴设备及触觉反馈方法、装置、存储介质
KR20230022666A (ko) * 2021-08-09 2023-02-16 삼성전자주식회사 전자 장치 및 그의 사용자 인터페이스 제공 방법
CN114167975B (zh) * 2021-10-29 2023-10-13 歌尔股份有限公司 一种方向性振动波形的构造与调整方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285351B1 (en) * 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
EP2380640A3 (en) * 2005-06-27 2011-12-28 Coactive Drive Corporation Synchronized vibration device for haptic feedback
KR101533465B1 (ko) * 2006-12-27 2015-07-02 임머숀 코퍼레이션 진동 촉각 피드백을 통한 가상 디텐트
US20090079690A1 (en) 2007-09-21 2009-03-26 Sony Computer Entertainment America Inc. Method and apparatus for enhancing entertainment software through haptic insertion
KR101644303B1 (ko) * 2009-12-01 2016-08-01 삼성전자주식회사 휴대용 단말기에서 햅틱 기능을 제공하기 위한 장치 및 방법
JP5746583B2 (ja) * 2011-08-01 2015-07-08 矢崎総業株式会社 作動音生成装置
KR102054370B1 (ko) * 2011-11-23 2019-12-12 삼성전자주식회사 햅틱 피드백 방법 및 장치, 기계로 읽을 수 있는 저장 매체 및 휴대용 통신 단말

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10613636B2 (en) 2015-04-28 2020-04-07 Immersion Corporation Haptic playback adjustment system
JP2016212850A (ja) * 2015-04-28 2016-12-15 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティックプレイバック調整システム
JP2017157187A (ja) * 2016-02-18 2017-09-07 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 許可設定を有するウェアラブルハプティック効果
US11138984B2 (en) 2016-12-05 2021-10-05 Sony Corporation Information processing apparatus and information processing method for generating and processing a file including speech waveform data and vibration waveform data
WO2018105254A1 (ja) * 2016-12-05 2018-06-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10969867B2 (en) 2016-12-15 2021-04-06 Sony Interactive Entertainment Inc. Information processing system, controller device, controller device control method and program
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
US10963054B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Information processing system, vibration control method and program
US11145172B2 (en) 2017-04-18 2021-10-12 Sony Interactive Entertainment Inc. Vibration control apparatus
US10981053B2 (en) 2017-04-18 2021-04-20 Sony Interactive Entertainment Inc. Vibration control apparatus
US11013990B2 (en) 2017-04-19 2021-05-25 Sony Interactive Entertainment Inc. Vibration control apparatus
US11458389B2 (en) 2017-04-26 2022-10-04 Sony Interactive Entertainment Inc. Vibration control apparatus
WO2019038887A1 (ja) * 2017-08-24 2019-02-28 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11738261B2 (en) 2017-08-24 2023-08-29 Sony Interactive Entertainment Inc. Vibration control apparatus
US11779836B2 (en) 2017-08-24 2023-10-10 Sony Interactive Entertainment Inc. Vibration control apparatus
US11198059B2 (en) 2017-08-29 2021-12-14 Sony Interactive Entertainment Inc. Vibration control apparatus, vibration control method, and program
JP2020177440A (ja) * 2019-04-18 2020-10-29 株式会社東海理化電機製作所 制御装置及び報知装置
JP2021149585A (ja) * 2020-03-19 2021-09-27 豊田合成株式会社 アクチュエータ装置
JP7205512B2 (ja) 2020-03-19 2023-01-17 豊田合成株式会社 アクチュエータ装置

Also Published As

Publication number Publication date
US20150273322A1 (en) 2015-10-01
US10514762B2 (en) 2019-12-24
US9946347B2 (en) 2018-04-17
US20180203514A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
JP2015185137A (ja) 情報処理装置、情報処理方法、及びプログラム
US10286310B2 (en) Information processing apparatus, storage medium having stored therein information processing program, information processing system, and information processing method
EP2942089B1 (en) Information processing apparatus, information processing program, information processing system, and information processing method
CN108845673B (zh) 使用映射的声音-触觉效应转换系统
EP2965793B1 (en) Vibration generation system, vibration generation apparatus, vibration signal generation program, and vibration generation method
US10589169B2 (en) Information processing apparatus, information processing method, and information processing system
EP2949371B1 (en) Information processing system, information processing apparatus, information processing program, and information processing method
US20140056461A1 (en) Systems and methods for a vibrating input device
KR20120011548A (ko) 사용자 입력에 대한 피드백 제공 장치 및 방법
JP6893561B2 (ja) 振動制御装置
JP2015232786A (ja) 振動生成システム、振動生成プログラム、および振動生成方法
JP6563603B2 (ja) 周波数変化によって実時間振動を提供する振動提供システム及び振動提供方法
US20150263685A1 (en) Information processing apparatus, storage medium having stored therein information processing program, information processing system, and information processing method
WO2011043292A1 (ja) スピーカ型振動装置および振動機能付き電子機器
WO2017061577A1 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
JP4484570B2 (ja) 音響情報処理装置、音響情報提供方法
JP6475921B2 (ja) 通信ユニット
US20230145547A1 (en) Decoding device, decoding method, program, encoding device, and encoding method
GB2610591A (en) Apparatus, systems and methods for haptics
WO2022013168A2 (en) Systems and methods for authoring immersive haptic experience using spectral centriod