JP2015170174A - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2015170174A
JP2015170174A JP2014045056A JP2014045056A JP2015170174A JP 2015170174 A JP2015170174 A JP 2015170174A JP 2014045056 A JP2014045056 A JP 2014045056A JP 2014045056 A JP2014045056 A JP 2014045056A JP 2015170174 A JP2015170174 A JP 2015170174A
Authority
JP
Japan
Prior art keywords
waveform
information processing
output
frequency
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014045056A
Other languages
English (en)
Inventor
顕博 小森
Akihiro Komori
顕博 小森
佑輔 中川
Yusuke Nakagawa
佑輔 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014045056A priority Critical patent/JP2015170174A/ja
Priority to US14/632,108 priority patent/US10238964B2/en
Publication of JP2015170174A publication Critical patent/JP2015170174A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light

Abstract

【課題】より現実的な体感出力を実現することが可能な情報処理装置、情報処理システム、情報処理方法及びプログラムを提供する。【解決手段】仮想空間上の2のオブジェクトの相対的な動きに応じて波形を生成する波形生成部106と、波形生成部106により生成された波形の周波数分布に基づいて、触覚出力および音声出力を制御する出力制御部108と、を備える情報処理装置100−1。仮想空間上の2のオブジェクトの相対的な動きに応じて波形を生成する波形生成部106と、波形生成部106により生成された波形の周波数分布に基づいて、触覚出力および音声出力を制御する出力制御部108と、を備える。【選択図】図2

Description

本開示は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
近年、映画またはビデオゲーム等のコンテンツの現実感を向上させるため、映像または音声に合わせて振動等の触覚出力をユーザに与える手法が一般的となっており、当該手法に係る製品が市場に流通するようになっている。
例えば、特許文献1では、ソフトウェアの出力するオーディオ信号、ビデオ信号またはデータ信号等をモニタリングし、これらの信号が所定の条件を満たす場合、体感コントロール信号を振動体感アクチュエータ等に出力する装置に係る発明が開示されている。
特開2009−72600号公報
しかし、触覚出力アクチュエータは、一般的に、入力信号の周波数が出力可能な範囲を超えて高くなると、入力信号の全てに対応して出力を行うことが困難となる。このため、周波数に係る入力信号の一部が出力されず、ユーザは違和感を覚える可能性があった。
なお、触覚的な振動の周波数が高くなると、人間の当該振動に対する知覚は、触覚から聴覚に変化することが知られている。
そこで、本開示では、より現実的な体感出力を実現することが可能な情報処理装置、情報処理システム、情報処理方法及びプログラムを提供する。
本開示によれば、仮想空間上の2のオブジェクトの相対的な動きに応じて波形を生成する波形生成部と、前記波形生成部により生成された波形の周波数分布に基づいて、触覚出力および音声出力を制御する出力制御部と、を備える情報処理装置が提供される。
また、本開示によれば、仮想空間上の2のオブジェクトの相対的な動きに応じて波形を生成する波形生成部と、前記波形生成部により生成された波形の周波数分布に基づいて、触覚出力および音声出力を制御する出力制御部と、を備える情報処理システムが提供される。
また、本開示によれば、仮想空間上の2のオブジェクトの相対的な動きに応じて波形を生成することと、生成された波形の周波数分布に基づいて、触覚出力および音声出力を制御することと、を含む情報処理方法が提供される。
また、本開示によれば、仮想空間上の2のオブジェクトの相対的な動きに応じて波形を生成する波形生成機能と、前記波形生成機能により生成された波形の周波数分布に基づいて、触覚出力および音声出力を制御する出力制御機能と、をコンピュータに実現させるためのプログラムが提供される。
以上説明したように本開示によれば、より現実的な体感出力を実現することが可能な情報処理装置、情報処理システム、情報処理方法及びプログラムが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの概要を説明するための図である。 本開示の第1の実施形態に係る情報処理システムの概略的な機能構成を示すブロック図である。 本実施形態に係る情報処理装置の操作情報から波形を生成する処理の例を説明するための図である。 本実施形態に係る情報処理装置において生成される波形の周波数分布の変化の例を示す図である。 本実施形態に係る情報処理システムの処理を概念的に示すシーケンス図である。 本開示の第2の実施形態に係る情報処理システムの概略的な機能構成を示すブロック図である。 本実施形態に係る情報処理装置の操作情報から生成された波形に係る信号強度の調整処理の例を説明するための図である。 本実施形態に係る情報処理装置において生成される波形の周波数分布の変化の別の例を示す図である。 本実施形態に係る情報処理システムの処理を概念的に示すシーケンス図である。 本開示に係る情報処理装置のハードウェア構成を示した説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.本開示の一実施形態に係る情報処理システムの概要
2.本開示の第1の実施形態(生成波形の周波数分布に基づく出力の例)
2−1.情報処理システムの構成
2−2.情報処理システムの処理
2−3.変形例
3.本開示の第2の実施形態(操作圧力に基づく出力の例)
3−1.情報処理システムの構成
3−2.情報処理システムの処理
4.本開示に係る情報処理装置のハードウェア構成
5.むすび
<1.本開示の一実施形態に係る情報処理システムの概要>
まず、図1を参照して、本開示の一実施形態に係る情報処理システムの概要について説明する。図1は、本開示の一実施形態に係る情報処理システムの概要を説明するための図である。
情報処理システムは、情報処理装置100およびコントローラ200で構成される。情報処理装置100は、据置型の装置であり、仮想空間についての処理、および当該処理の結果に基づいて触覚出力のための情報を生成する処理を行う機能、ならびに通信機能を有する。また、コントローラ200は、可搬性のある携帯型の装置であり、触覚出力を行うアクチュエータおよび通信機能を有する。このため、情報処理システムでは、情報処理装置100は仮想空間における処理結果に基づいて触覚出力のための情報を生成し、生成された情報がコントローラ200に送信され、コントローラ200は受信された情報に基づいて触覚出力を行うことが可能である。
さらに、コントローラ200は、ユーザの操作を検出する機能を有し、検出された操作に係る情報を情報処理装置100に送信する。また、情報処理装置100は、さらに表示画面からユーザまでの距離を検出する機能を有する。このため、情報処理システムでは、情報処理装置100は、コントローラ200により検出されたユーザ操作に係る情報および表示画面からユーザまでの距離に基づいて、仮想空間についての処理を行うことが可能である。
例えば、情報処理システムは、図1に示したように、表示装置10に接続された情報処理装置100およびユーザ1に操作されるコントローラ200で構成され得る。情報処理装置100は、仮想空間についての処理の結果に係る情報、例えば3次元空間の映像等を表示装置10に提供し得、表示装置10は提供された映像を表示し得る。また、情報処理装置100は、仮想空間上で生じたイベント等に基づいて触覚出力信号を生成し得、生成された触覚出力信号をコントローラ200に送信し得る。コントローラ200は、受信された触覚出力信号に基づいて触覚出力アクチュエータを動作させ得る。
また、コントローラ200は、ユーザ1の操作、例えばボタンの押下またはコントローラ200の変位等を検出し得、検出された操作に係る情報を情報処理装置100に送信し得る。情報処理装置100は、表示装置10からユーザ1までの距離を検出し得、受信された情報および検出された距離に基づいて、仮想空間についての処理を行い得る。
ここで、触覚出力アクチュエータは、一般的に、入力信号の周波数が出力可能な範囲を超えて高くなると、入力信号の全てに対応した出力を行うことが困難となる。このため、周波数に係る入力信号の一部が出力されず、ユーザは違和感を覚える可能性があった。また、始めは触覚で認識されていた振動の周波数が可聴領域まで高くなると、人間は当該振動を聴覚で認識するようになることが知られている。例えば、まず、人が指を床に押し当てて移動させると、振動が発生し、人は当該振動を触覚で感知する。次に、指の移動速度が速くされると、振動の周波数が高くなって触覚で認識される振動が減り、代わりに振動が、音として聴覚で認識されるようになる。また、指の押圧力が高くされると、触覚で認識される振動および聴覚で認識される音が大きくなる。そこで、本開示の一実施形態に係る情報処理システムは、入力信号の周波数分布に応じて触覚出力および音声出力を行う。
例えば、ユーザ1がコントローラ200を用いて、仮想空間上の手のようなオブジェクトを操作し、床のような他のオブジェクトの表面をなでる操作を行った場合に、情報処理装置100は、当該なでる操作に基づいて振動の波形を生成する。次に、情報処理装置100は、生成された波形の周波数分布に基づいて出力信号を生成し、生成された信号の各々をコントローラ200に送信する。例えば、生成された波形の周波数分布に可聴領域の周波数が含まれている場合、情報処理装置100は、触覚出力信号に加えて音声出力信号を生成する。そして、触覚出力信号および音声出力信号を受信したコントローラ200は、当該信号の各々に基づいて触覚出力および音声出力を行う。
このように、本開示の一実施形態に係る情報処理システムは、仮想空間上のオブジェクトの動きに応じて波形を生成し、生成された波形の周波数分布に基づいて触覚出力および音声出力を行う。このため、触覚出力のみの場合に出力されない周波数に係る出力が音声出力として出力されることにより、上述のような現象が再現され、ユーザはより現実的な出力を体感することが可能となる。なお、説明の便宜上、第1、第2の実施形態による情報処理装置100およびコントローラ200の各々を、情報処理装置100−1、および情報処理装置100−2のように、末尾に実施形態に対応する番号を付することにより区別する。
<2.本開示の第1の実施形態(生成波形の周波数分布に基づく出力の例)>
以上、本開示の一実施形態に係る情報処理システムの概要について説明した。次に、本開示の第1の実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムにおいては、情報処理装置100−1は、仮想空間における2のオブジェクトの相対的な動きに応じて波形を生成し、生成された波形の周波数分布に基づいて触覚出力信号および音声出力信号を生成する。そして、コントローラ200−1は、生成された信号の各々に基づいて触覚出力および音声出力を行う。
[2−1.情報処理システムの構成]
まず、図2を参照して、本開示の第1の実施形態に係る情報処理システムの構成について説明する。図2は、本実施形態に係る情報処理システムの概略的な機能構成を示すブロック図である。
情報処理システムは、図2に示したように、コントローラ200−1および情報処理装置100−1で構成される。
コントローラ200−1は、操作検出部202、通信部204、触覚出力部206および音声出力部208を備える。
操作検出部202は、コントローラ200に対するユーザ操作を検出する。具体的には、操作検出部202は、コントローラ200の操作部に係る操作およびコントローラ200の状態を検出し、検出された操作内容を示す操作情報を生成する。例えば、操作検出部202は、コントローラ200の備えるボタンの押下を検出し得る。また、操作検出部202は、例えば加速度センサまたは角速度センサ等のセンサを備え、コントローラ200の変位を検出し得る。
通信部204は、操作検出部202により検出された操作内容を情報処理装置100−1に送信する。具体的には、通信部204は、操作検出部202によりユーザ操作が検出されると、検出された操作内容を示す操作情報を情報処理装置100−1に送信する。また、通信部204は、情報処理装置100−1から触覚出力信号および音声出力信号を受信する。例えば、通信部204は、Bluetooth(登録商標)通信、WiFi(登録商標)通信もしくは赤外線通信等の無線通信、またはワイヤー等を介した有線通信を用いて情報処理装置100−1と通信し得る。
触覚出力部206は、触覚出力信号に基づいて触覚出力を行う。具体的には、触覚出力部206は、通信部204により情報処理装置100−1から触覚出力信号が受信されると、受信された触覚出力信号に基づいて、人間が触覚で感知することが可能な振動を発生させる。例えば、触覚出力部206は、偏心モータまたはLRA(Linear Resonant Actuator)等の振動アクチュエータであり得、受信された触覚出力信号に係る波形に基づいて内蔵されるモータまたはコイル等を動作させて振動を発生させ得る。
音声出力部208は、音声出力信号に基づいて音声出力を行う。具体的には、音声出力部208は、通信部204により情報処理装置100−1から音声出力信号が受信されると、受信された音声出力信号に基づいて、音声出力を行う。例えば、音声出力部208は、スピーカ等であり得る。
また、情報処理装置100−1は、図2に示したように、通信部102、操作処理部104、波形生成部106および出力制御部108を備える。
通信部102は、コントローラ200−1から操作情報を受信する。また、通信部102は、触覚出力信号および音声出力信号をコントローラ200−1に送信する。
操作処理部104は、操作情報に基づいて仮想空間におけるオブジェクトについての処理を行う。具体的には、操作処理部104は、操作情報の示す操作内容に応じて仮想空間におけるオブジェクトを移動させる処理を行う。例えば、図3を参照して、操作情報に基づくオブジェクトの移動処理について説明する。図3は、本実施形態に係る情報処理装置100−1の操作情報から波形を生成する処理の例を説明するための図である。
まず、操作検出部202は、コントローラ200−1に対するユーザ操作を検出し、通信部204は、検出された操作内容を示す操作情報を情報処理装置100−1に送信する。例えば、図3の左下図に示したように、ユーザがコントローラ200−1を紙面に向かって左から右に移動させると、操作検出部202はコントローラ200−1の変位を検出し、通信部204は当該変位に係る情報を情報処理装置100−1に送信する。なお、ユーザ操作に係るオブジェクトを含む仮想空間の一部は、表示装置10に表示され得、ユーザは表示装置10に表示されるオブジェクト等を見ながらコントローラ200−1を介してオブジェクトを操作し得る。
次に、操作処理部104は、通信部102により受信された操作情報に基づいて、仮想空間におけるユーザ操作の対象となるオブジェクトを移動させる。例えば、操作処理部104は、コントローラ200−1の変位に係る情報に基づいて、仮想空間におけるユーザ操作の対象となるオブジェクトBの変位に係る情報を算出し得る。そして、操作処理部104は、算出された変位に係る情報に基づいて、図3の左上図に示されるように、仮想空間におけるオブジェクトBをオブジェクトAと接触した状態で紙面に向かって左から右に移動させ得る。なお、操作処理部104は、オブジェクトの変位量を操作情報の変位量と等倍の変位量としてもよく、操作情報の変位量に係数を乗算して得られる変位量としてもよい。
このように、仮想空間上のオブジェクトは、ユーザ操作により動かされる。このため、ユーザ操作に係るオブジェクトの動きに基づいて出力が行われることにより、出力についての臨場感を向上させることが可能となる。
なお、上記の例では、ユーザの操作に対応してオブジェクトが移動される例を説明したが、オブジェクトは自動的に移動されてもよい。例えば、ユーザが何も操作を行わない場合に、オブジェクトを含む仮想空間の制御を行うアプリケーションによりオブジェクトが移動され得る。この場合、ユーザ操作によらず自動的にオブジェクトが動かされることにより、ユーザ操作が行われないアプリケーション等に当該情報処理システムを適用することが可能となる。
ここで図2を参照して情報処理装置100−1の構成の説明に戻ると、波形生成部106は、仮想空間における2つのオブジェクトの相対的な動きに応じて波形を生成する。具体的には、波形生成部106は、2つのオブジェクトが接触した状態で相対的にオブジェクトが移動された場合、オブジェクトの接触面の粗さ情報に応じて波形を生成する。例えば、オブジェクトの接触面の粗さ情報は、オブジェクトの凹凸の高さであり得る。より具体的には、図3を参照して、波形の生成処理について詳細に説明する。
まず、上述したように、操作処理部104は、仮想空間におけるユーザ操作の対象となるオブジェクトを移動させる。例えば、図3の左上図に示されるように、仮想空間におけるオブジェクトBがオブジェクトAと接触した状態で紙面に向かって左から右に移動され得る。
オブジェクトが接触され、またはオブジェクトが接触した状態で相対的に移動されると、波形生成部106は、2つのオブジェクトの接触面における凹凸の高さを取得する。例えば、波形生成部106は、図3に示されるオブジェクトAとオブジェクトBとの接触面におけるオブジェクトAの凹凸の高さを取得し得る。なお、オブジェクトの凹凸の高さは、オブジェクトの有する属性情報として管理され得る。
次に、波形生成部106は、所定の時間毎に、取得された凹凸の高さに応じた波形を生成する。例えば、波形生成部106は、サンプリング時刻毎に、取得された凹凸の高さを信号強度の強さに変換して、波形を生成し得る。例えば、波形生成部106は、所定の凹凸の高さに対応する所定の信号強度を基準に、凹凸の高さから信号強度の強さの変換を行い得る。
このように、波形生成部106は、オブジェクトの接触面の粗さ情報に応じて波形を生成する。このため、オブジェクトの表面の粗さによって出力が変化されることにより、ユーザはオブジェクトの表面の粗さをより現実的に認識することが可能となる。
また、生成される波形は、オブジェクトの相対的な動きの速度に応じた周波数分布を有する。具体的には、オブジェクトの相対的な移動速度に応じて、サンプリング時刻における凹凸の高さの取得位置が変化することにより、凹凸の高さの変化の速度が変動するため、生成される波形の周波数が変化する。例えば、図4を参照して、オブジェクトの相対的な移動速度に応じた、波形の周波数分布の変化について詳細に説明する。図4は、本実施形態に係る情報処理装置100−1において生成される波形の周波数分布の変化の例を示す図である。
まず、2つのオブジェクトが接触されて相対的に移動されると、波形生成部106は、オブジェクトの凹凸の高さに基づいて波形を生成する。例えば、図4の上図に示したように、生成された波形の周波数が分布し得る。なお、図4に示されるグラフの垂直方向は信号強度を示し、水平方向は周波数の高さを示す。
上記に対して、オブジェクトの相対的に移動される速度のみが速くされて、当該オブジェクトについて同じ動きが行われる場合、波形生成部106により生成される波形の信号強度は変化しないが、単位時間当たりの凹凸の高さの変化が速くなり、生成される波形の周波数が高くなる。例えば、図4の下図に示したように、相対的に速度が低い上図の周波数分布に比べて、信号強度は変化せず、周波数の分布が高くなる方向にシフトし得る。
このように、波形生成部は、オブジェクトの相対的な動きの速度に応じた周波数分布を有する波形を生成する。このため、オブジェクトの動きの速度に応じて出力が変化されることにより、出力に対するユーザの現実感を向上させることが可能となる。
ここで図2を参照して情報処理装置100−1の構成の説明に戻ると、出力制御部108は、生成された波形の周波数分布に基づいて、触覚出力および音声出力を制御する。具体的には、出力制御部108は、波形の周波数分布が所定の周波数よりも高い周波数を含む場合に音声出力を制御し、波形の周波数分布が所定の周波数よりも低い周波数を含む場合に触覚出力を制御する。例えば、音声出力は、波形のうちの所定の周波数よりも高い周波数に係る波形の出力であり得、触覚出力は、波形のうちの所定の周波数よりも低い周波数に係る波形の出力であり得る。
そして、出力制御部108は、上記のような触覚出力および音声出力の入力信号となる触覚出力信号および音声出力信号を生成する。具体的には、出力制御部108は、生成された波形の所定の周波数範囲をフィルタリングし、触覚出力信号および音声出力信号の各々を生成する。例えば、出力制御部108は、生成された波形をLPF(Low Pass Filter)にかけることにより、所定の周波数、例えば図4の下図に示される垂直方向の破線の位置よりも高い周波数範囲の周波数が減衰された触覚出力信号を生成し得る。また、出力制御部108は、波形をHPF(High Pass Filter)にかけることにより、所定の周波数、例えば図4の下図に示される垂直方向の破線の位置よりも低い周波数範囲の周波数が減衰された音声出力信号を生成し得る。なお、所定の周波数は、可聴領域の低い側の境界付近の周波数(以下、可聴周波数とも称する)であり得る。
このように、出力制御部108は、波形の周波数分布が可聴周波数よりも高い周波数を含む場合に音声出力を制御し、波形の周波数分布が可聴周波数よりも低い周波数を含む場合に触覚出力を制御する。このため、可聴周波数を基準に音声出力および触覚出力の制御が行われることにより、現実的な出力を実現することが可能となる。また、出力制御部108は、音声出力が所定の周波数よりも高い周波数に係る波形の出力であり、触覚出力が所定の周波数よりも低い周波数に係る波形の出力であるように制御を行う。このため、音声出力および触覚出力の各々に適した周波数に係る波形が当該出力の各々によって出力されることにより、現実に即した出力を行うことが可能となる。
また、出力制御部108は、波形生成部106により生成された波形を触覚出力および音声出力の入力信号とする。このため、オブジェクトの動きに対応した出力が行われることにより、出力についての現実感をユーザに与えることが可能となる。さらに、出力制御部108は、生成された波形の周波数分布から所定の周波数より高い周波数がフィルタリングされた波形を触覚出力の入力信号とする。また、出力制御部は、波形の周波数分布から所定の周波数より低い周波数がフィルタリングされた波形を音声出力の入力信号とする。このため、触覚出力アクチュエータが出力することが困難な高周波が減衰され、または可聴周波数よりも低い周波数が減衰されることにより、出力にノイズ等が入り込むことを抑制することが可能となる。
なお、上記では、LPFおよびHPFの2種のフィルタが用いられる例を説明したが、当該2種のフィルタに加えて、所定の周波数範囲の周波数をフィルタリングするBPF(Band Pass Filter)が用いられ、出力制御部108は、当該BPFによりフィルタリング処理された波形を他の触覚出力アクチュエータの入力信号としてもよい。例えば、BPFのフィルタリングする周波数範囲は、LPFおよびHPFのフィルタリングする周波数範囲の各々の間の周波数範囲であり、上述の所定の周波数、すなわち可聴周波数よりも低い周波数の範囲であり得る。そして、出力制御部108は、生成された波形をBPFにかけて得られる波形を他の触覚出力アクチュエータの入力信号とし得る。例えば、BPFに対応する他の触覚出力アクチュエータは、LPFにかけて得られる波形を入力信号とする触覚出力アクチュエータは偏心モータであり得、BPFにかけて得られる波形を他の触覚出力アクチュエータはLRAであり得る。この場合、入力信号となる波形の周波数分布に適したフィルタおよび触覚出力アクチュエータが用いられることにより、触覚振動についての現実感を向上させることが可能となる。
[2−2.情報処理システムの処理]
次に、図5を参照して、本実施形態における情報処理システムの処理について説明する。図5は、本実施形態に係る情報処理システムの処理を概念的に示すシーケンス図である。
まず、コントローラ200−1は、ユーザ操作を検出する(ステップS302)。具体的には、操作検出部202は、コントローラ200−1に対するユーザ操作を検出し、検出された操作内容を示す操作情報を生成する。
次に、コントローラ200−1は、検出された操作の情報を情報処理装置100−1に送信する(ステップS304)。具体的には、通信部204は、操作検出部202により生成された操作情報を情報処理装置100−1に送信する。
そして、情報処理装置100−1は、受信された操作の情報からオブジェクトの動きを決定する(ステップS306)。具体的には、操作処理部104は、通信部102により受信された操作情報に基づいて、仮想空間におけるオブジェクトの移動処理を行う。
次に、情報処理装置100−1は、オブジェクトの動きに基づいて波形を生成する(ステップS308)。具体的には、波形生成部106は、操作処理部104により仮想空間上の2つのオブジェクトが接触した状態で一方のオブジェクトが相対的に移動されると、当該オブジェクトの相対的な移動による、2つのオブジェクトの接触面における凹凸の高さの変化に基づいて波形を生成する。
次に、情報処理装置100−1は、生成された波形をフィルタリングして触覚出力信号および音声出力信号を生成する(ステップS310)。具体的には、出力制御部108は、波形生成部106により生成された波形をLPFにかけて触覚出力信号を生成し、生成された波形をHPFにかけて音声出力信号を生成する。
次に、情報処理装置100−1は、音声出力信号および触覚出力信号をコントローラ200−1に送信する(ステップS312)。具体的には、通信部102は、生成された音声出力信号および触覚出力信号をコントローラ200−1に送信する。
そして、コントローラ200−1は、受信された音声出力信号に基づいて音声出力を実行する(ステップS314)。具体的には、音声出力部208は、通信部204により受信された音声出力信号に基づいて音声出力を行う。
また、コントローラ200−1は、受信された触覚出力信号に基づいて触覚出力を実行する(ステップS316)。具体的には、触覚出力部206は、通信部204により受信された触覚出力信号に基づいて触覚出力を行う。
このように、本開示の第1の実施形態によれば、情報処理システムは、仮想空間におけるオブジェクトの相対的な動きに応じて波形を生成し、生成された波形の周波数分布に基づいて生成される触覚出力信号および音声出力信号に基づいて触覚出力および音声出力を行う。このため、触覚出力アクチュエータでは出力されない周波数に係る波形が音声として出力されることにより、出力に対するユーザの違和感を緩和することが可能となる。
[2−3.変形例]
以上、本開示の第1の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の変形例について説明する。
本実施形態の変形例として、出力制御部108により行われるフィルタリングのフィルタ強度は、オブジェクトの相対的な動きの速度に応じて変化されてもよい。具体的には、操作処理部104は、所定の時間毎にオブジェクトの相対的な移動速度を算出し、出力制御部108は、算出されたオブジェクトの速度の大きさに応じて、LPFおよびHPFのフィルタ強度を変更する。例えば、出力制御部108は、算出されたオブジェクトの速度を所定の基準速度で除算する等して正規化し、正規化された値をLPFおよびHPFに与え得る。そして、LPFは、与えられた値が大きい、すなわちオブジェクトの速度が速いほど、フィルタ強度を強くし、所定の周波数よりも高い周波数をより減衰させ得る。また、HPFは、与えられた値が大きいほど、フィルタ強度を弱くし、所定の周波数よりも低い周波数の減衰率を低下させる。
このように、本実施形態の変形例によれば、出力制御部108により行われるフィルタリングのフィルタ強度は、オブジェクトの相対的な動きの速度に応じて変化する。このため、生成される波形の周波数分布の高さに適した出力が強調されることにより、周波数の変化に対するユーザの気付きを促し、ユーザ操作に対応する出力についての現実感を向上させることが可能となる。
<3.本開示の第2の実施形態(操作圧力に基づく出力の例)>
次に、本開示の第2の実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムにおいては、コントローラ200−2は、操作圧力を検出し、情報処理装置100−2は、検出された操作圧力に応じて、生成される波形の信号強度を変化させる。
[3−1.情報処理システムの構成]
まず、図6を参照して、本開示の第2の実施形態に係る情報処理システムの構成について説明する。図6は、本実施形態に係る情報処理システムの概略的な機能構成を示すブロック図である。
図6に示したように、コントローラ200−2は、操作検出部202、通信部204、触覚出力部206および音声出力部208に加えて、圧力検出部220を備える。
圧力検出部220は、コントローラ200−2に対するユーザ操作に係る圧力を検出する。例えば、圧力検出部220は、コントローラ200−2の別途備えるタッチパネルのような操作部(図示せず。)に対するユーザの指等による操作に係る押圧を検出し得る。例えば、圧力検出部220は、静電容量の変化等から圧力を検出する感圧センサであり得る。
操作検出部202は、コントローラ200−2に対するユーザ操作の位置を検出する。具体的には、操作検出部202は、上述の操作部に対するユーザ操作の位置を検出し、検出された操作位置を示す操作情報と、当該操作位置と対応する、圧力検出部220により検出された圧力を示す圧力情報を生成する。
また、図6に示したように、情報処理装置100−2は、通信部102、操作処理部104、波形生成部106および出力制御部108に加えて、増幅部120を備える。
増幅部120は、通信部102により受信される圧力情報に基づいて、波形生成部106により生成される波形の信号強度を決定する。具体的には、増幅部120は、波形生成部106により波形が生成されると、圧力情報の示す圧力の大きさに応じて、生成された波形の信号強度を調整する。例えば、図7を参照して、増幅部120の処理について詳細に説明する。図7は、本実施形態に係る情報処理装置100−2の操作情報から生成された波形に係る信号強度の調整処理の例を説明するための図である。
まず、操作検出部202は、コントローラ200−2に対するユーザ操作の位置を検出し、圧力検出部220は、当該位置における圧力を検出する。例えば、図7の左図に示したように、ユーザ1が自身の指をコントローラ200−2の操作部、例えばタッチパネルに押し当てると、操作検出部202は、ユーザ1の指のタッチパネル上の位置を検出し、圧力検出部220は、当該指の位置のおける圧力を検出する。さらに、ユーザ1が指をタッチパネルに押し当てた状態で、例えば水平方向に紙面に向かって左から右に指を移動させると、操作検出部202は、当該指の位置の変位を検出し、圧力検出部220は、指の位置の各々における圧力を検出する。そして、検出された指の位置を示す操作情報、および当該位置における圧力を示す圧力情報は、通信部204により情報処理装置100−2に送信される。
次に、操作処理部104は、通信部102により受信された操作情報の示す操作位置と仮想空間上の位置とを対応付けを行い、当該操作位置の変位に基づいてオブジェクトの位置を移動させ、通信部102により受信された圧力情報の示す圧力の大きさに応じて接触部分のオブジェクトの形状を変化させる。
次に、波形生成部106は、オブジェクトの相対的な動きに応じて波形を生成する。処理の詳細については、第1の実施形態の処理と実質的に同一であるため説明を省略する。
また、増幅部120は、操作処理部104により、オブジェクトが接触され、またはオブジェクトが接触した状態で相対的に移動されると、2つのオブジェクトの接触面における圧力情報を取得する。例えば、通信部102により受信された操作情報は、情報処理装置100−2の別途備える記憶部に記憶され得、増幅部120は、オブジェクトの接触面に対応する操作情報の示す操作位置おける圧力情報を記憶部から取得し得る。
次に、増幅部120は、波形生成部106により波形が生成されると、取得された圧力情報の示す圧力の大きさに応じて、生成された波形の信号強度を変化させる。例えば、波形生成部106により、図7の中図に示したような波形が生成されると、増幅部120は、取得された圧力情報の示す圧力の大きさに応じて、図7の右図に示したように信号強度を高める。例えば、増幅部120は、取得された圧力情報の示す圧力の大きさが大きくなるほど、波形の信号強度を高め得る。
このように、増幅部120は、ユーザの操作圧力、すなわちオブジェクトの接触面における圧力に応じて、波形生成部106により生成される波形の信号強度を決定する。このため、検出される圧力に応じて出力が変化されることにより、ユーザ操作に対して、より現実的なフィードバックをユーザに体感させることが可能となる。
ここで図6を参照して情報処理装置100−2の構成の説明に戻ると、出力制御部108は、波形の周波数分布に含まれる周波数の信号強度が所定の閾値よりも高い場合、出力を行わせる。具体的には、出力制御部108は、LPFまたはHPFをかけて得られた波形の信号強度が所定の閾値よりも高い場合、得られた波形を出力信号とする。例えば、図8を参照して、信号強度による出力信号の制御処理について詳細に説明する。図8は、本実施形態に係る情報処理装置100−2において生成される波形の周波数分布の変化の別の例を示す図である。
まず、2つのオブジェクトが接触されて相対的に移動されると、波形生成部106は、オブジェクトの凹凸の高さに基づいて波形を生成する。例えば、図8の上図に示したように、生成された波形の周波数が分布し得る。
次に、出力制御部108は、生成された波形をLPFおよびHPFにかけることによりフィルタリングを行う。例えば、LPFにより得られる波形の周波数分布は、図8の上図に示したような白地の棒グラフに表される周波数の分布であり得、HPFにより得られる波形の周波数分布は、図8の上図に示したような斜線の棒グラフに表される周波数の分布であり得る。
次に、出力制御部108は、フィルタリングにより得られた波形の周波数の信号強度が所定の閾値よりも大きい波形を出力信号とする。例えば、出力制御部108は、図8の上図に示したように、LPFにより得られた波形の周波数の信号強度が所定の閾値、例えば図8の上図の破線よりも高いため、得られた波形を触覚出力信号とし得る。これに対し、出力制御部108は、HPFにより得られた波形の周波数の信号強度が図8の上図に示される破線よりも低いため、得られた波形を音声出力信号とし得ない。
上記に対して、ユーザの操作圧力のみが高くされて、オブジェクトについて同じ速度で同じ動きが行われる場合、波形生成部106により生成される波形の周波数分布は変化しないが、信号強度が分布する周波数全体で高くなる。例えば、図8の下図に示したように、相対的に圧力が低い上図の周波数分布に比べて、周波数の高さは変化せず、信号強度が高くなり得る。
そして、図8の下図に示されるHPFにより得られる波形の周波数の信号強度が図8の下図に示される破線よりも高いため、出力制御部108は、得られた波形を音声出力信号とし得る。
このように、出力制御部108は、生成される波形の周波数分布に含まれる周波数の信号強度が所定の閾値よりも高い場合、出力を行わせる。このため、出力の有無が強調されることにより、信号強度の変化に対するユーザの気付きを促し、ユーザ操作に対応する出力の現実感をより向上させることが可能となる。
[3−2.情報処理システムの処理]
次に、図9を参照して、本実施形態における情報処理システムの処理について説明する。図9は、本実施形態に係る情報処理システムの処理を概念的に示すシーケンス図である。なお、第1の実施形態における情報処理システムの処理と実質的に同一である処理については詳細な説明を省略する。
まず、コントローラ200−2は、ユーザ操作および操作に係る圧力を検出する(ステップS402)。具体的には、圧力検出部220は、ユーザ操作に係る圧力を検出し、操作検出部202は、ユーザ操作の位置を検出する。
次に、コントローラ200−2は、検出された操作および圧力の情報を情報処理装置100−2に送信する(ステップS404)。具体的には、操作検出部202は、検出された操作位置および圧力検出部220により検出された圧力を示す操作情報を生成し、通信部204は、生成された操作情報を情報処理装置100−2に送信する。
そして、情報処理装置100−2は、受信された操作の情報に基づいてオブジェクトの動きを決定する(ステップS406)。具体的には、操作処理部104は、通信部102により受信された操作情報に基づいてオブジェクトの位置を移動させ、操作情報の示す圧力に応じて接触部分のオブジェクトの形状を変化させる。
次に、情報処理装置100−2は、決定されたオブジェクトの動きに基づいて波形を生成する(ステップS408)。具体的には、情報処理装置100−2は、第1の実施形態のステップS308と実質的に同一の処理を行う。
次に、情報処理装置100−2は、受信された圧力の情報に基づいて生成された波形の信号強度を調整する(ステップS410)。具体的には、増幅部120は、波形生成部106により波形が生成されると、受信された操作情報の示す圧力の大きさに応じて、生成された波形の信号強度を変化させる。
次に、情報処理装置100−2は、生成された波形をフィルタリングして触覚出力信号および音声出力信号を生成する(ステップS412)。具体的には、出力制御部108は、信号強度が調整された波形をフィルタリングして得られる波形が所定の閾値よりも高い信号強度の周波数を含む場合、当該波形を出力信号とする。
次に、情報処理装置100−2は、音声出力信号および触覚出力信号をコントローラ200−2に送信する(ステップS414)。具体的には、情報処理装置100−2は、第1の実施形態のステップS312と実質的に同一の処理を行う。
そして、コントローラ200−2は、受信された音声出力信号に基づいて音声出力を実行し(ステップS416)、受信された触覚出力信号に基づいて触覚出力を実行する(ステップS418)。
このように、本開示の第2の実施形態によれば、情報処理システムは、ユーザ操作に係る圧力を検出し、検出された圧力に応じて、生成される波形の信号強度を変化させる。このため、検出される圧力に応じて出力が変化されることにより、ユーザ操作に対して、より現実的なフィードバックをユーザに体感させることが可能となる。
<4.本開示に係る情報処理装置のハードウェア構成>
以上、本開示の実施形態を説明した。上述した情報処理装置100の処理は、ソフトウェアと、以下に説明する情報処理装置100のハードウェアとの協働により実現される。
図10は、本開示に係る情報処理装置100のハードウェア構成を示した説明図である。図10に示したように、情報処理装置100は、CPU(Central Processing Unit)132と、ROM(Read Only Memory)134と、RAM(Random Access Memory)136と、ブリッジ138と、バス140と、インターフェース142と、入力装置144と、出力装置146と、ストレージ装置148と、ドライブ150と、接続ポート152と、通信装置154とを備える。
CPU132は、演算処理装置および制御装置として機能し、各種プログラムと協働して情報処理装置100内の操作処理部104、波形生成部106、出力制御部108および増幅部120の動作を実現する。また、CPU132は、マイクロプロセッサであってもよい。ROM134は、CPU132が使用するプログラムまたは演算パラメータ等を記憶する。RAM136は、CPU132の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ROM134およびRAM136により、情報処理装置100内の記憶部の一部を実現する。CPU132、ROM134およびRAM136は、CPUバスなどから構成される内部バスにより相互に接続されている。
入力装置144は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロホン、スイッチおよびレバーなどユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、CPU132に出力する入力制御回路などから構成されている。情報処理装置100のユーザは、入力装置144を操作することにより、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置146は、例えば、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置、ランプなどの装置への出力を行う。さらに、出力装置146は、スピーカおよびヘッドフォンなどの音声出力を行ってもよい。
ストレージ装置148は、データ格納用の装置である。ストレージ装置148は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置148は、CPU132が実行するプログラムや各種データを格納する。
ドライブ150は、記憶媒体用リーダライタであり、情報処理装置100に内蔵、あるいは外付けされる。ドライブ150は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM134に出力する。また、ドライブ150は、リムーバブル記憶媒体に情報を書込むこともできる。
接続ポート152は、例えば、情報処理装置100の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート152は、USB(Universal Serial Bus)であってもよい。
通信装置154は、情報処理装置100の通信部102の一例として、例えば、ネットワークに接続するための通信デバイスで構成された通信インターフェースである。また、通信装置154は、赤外線通信対応装置であっても、無線LAN(Local Area Network)対応通信装置であっても、LTE(Long Term Evolution)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
<5.むすび>
以上、本開示の第1の実施形態によれば、触覚出力アクチュエータでは出力されない周波数に係る波形が音声として出力されることにより、出力に対するユーザの違和感を緩和することが可能となる。また、本開示の第2の実施形態によれば、検出される圧力に応じて出力が変化されることにより、ユーザ操作に対して、より現実的なフィードバックをユーザに体感させることが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、波形生成部106は、オブジェクトの凹凸の高さを信号強度に変換し、凹凸の高さの変化を波形とする例を説明したが、本技術はかかる例に限定されない。例えば、波形生成部106は、所定の周波数分布の波形に基づいて波形を生成してもよい。具体的には、波形生成部106は、オブジェクトが接触された状態で相対的に移動されると、記憶部に記憶される所定の周波数分布の波形を取得し、オブジェクトの相対的な移動速度に応じて、取得された波形の周波数を変動させる。例えば、波形生成部106は、オブジェクトの相対的な移動速度が速くなると、図4の下図に示したように、取得された波形の周波数分布が高くなる方向にシフトされるように、波形の周波数を変化させる。この場合、波形を生成する処理が簡略化されることにより、処理負荷の低減および処理速度の向上が可能となる。なお、所定の周波数分布の波形は、オブジェクトの材質等によって異なる波形であってもよい。
また、コントローラ200は、さらに音声出力制御部を備え、音声出力制御部は、触覚出力アクチュエータの動作開始に合わせて音声出力部208に音声出力を行わせてもよい。具体的には、音声出力制御部は、通信部204により音声出力信号が受信されると、一旦音声出力信号を保持し、所定の時間経過後に、音声出力信号を音声出力に提供する。なお、所定の時間は、コントローラ200の別途備える記憶部に記憶され得る。この場合、触覚出力アクチュエータの動作遅延に合わせて音声出力が行われることにより、ユーザに違和感を与えることを防止することが可能となる。
また、上記の実施形態のシーケンス図に示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)仮想空間上の2のオブジェクトの相対的な動きに応じて波形を生成する波形生成部と、前記波形生成部により生成された波形の周波数分布に基づいて、触覚出力および音声出力を制御する出力制御部と、を備える情報処理装置。
(2)前記出力制御部は、前記波形の周波数分布が所定の周波数よりも高い周波数を含む場合に音声出力を制御し、前記波形の周波数分布が前記所定の周波数よりも低い周波数を含む場合に触覚出力を制御する、前記(1)に記載の情報処理装置。
(3)前記音声出力は、前記波形のうちの前記所定の周波数よりも高い周波数に係る波形の出力であり、前記触覚出力は、前記波形のうちの前記所定の周波数よりも低い周波数に係る波形の出力である、前記(2)に記載の情報処理装置。
(4)前記波形生成部は、前記オブジェクトの相対的な動きの速度に応じた周波数分布を有する波形を生成する、前記(1)〜(3)のいずれか1項に記載の情報処理装置。
(5)前記出力制御部は、前記波形の周波数分布に含まれる周波数の信号強度が所定の閾値よりも高い場合、出力を行わせる、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6)前記波形生成部は、前記オブジェクトの間における圧力に応じて前記信号強度を決定する、前記(5)に記載の情報処理装置。
(7)前記出力制御部は、前記波形を触覚出力および音声出力の入力信号とする、前記(2)または(3)に記載の情報処理装置。
(8)前記出力制御部は、前記波形の周波数分布から前記所定の周波数より低い周波数がフィルタリングされた波形を音声出力の入力信号とする、前記(7)に記載の情報処理装置。
(9)前記出力制御部は、前記波形の周波数分布から前記所定の周波数より高い周波数がフィルタリングされた波形を触覚出力の入力信号とする、前記(7)または(8)に記載の情報処理装置。
(10)前記フィルタリングは、前記オブジェクトの相対的な動きの速度に応じてフィルタ強度が変化される、前記(8)または(9)に記載の情報処理装置。
(11)前記オブジェクトは、ユーザ操作により動かされる、前記(1)〜(10)のいずれか1項に記載の情報処理装置。
(12)前記波形生成部は、前記オブジェクトの接触面の粗さ情報に応じた波形を生成する、前記(1)〜(11)のいずれか1項に記載の情報処理装置。
(13)仮想空間上の2のオブジェクトの相対的な動きに応じて波形を生成する波形生成部と、前記波形生成部により生成された波形の周波数分布に基づいて、触覚出力および音声出力を制御する出力制御部と、を備える情報処理システム。
(14)仮想空間上の2のオブジェクトの相対的な動きに応じて波形を生成することと、生成された波形の周波数分布に基づいて、触覚出力および音声出力を制御することと、を含む情報処理方法。
(15)仮想空間上の2のオブジェクトの相対的な動きに応じて波形を生成する波形生成機能と、前記波形生成機能により生成された波形の周波数分布に基づいて、触覚出力および音声出力を制御する出力制御機能と、をコンピュータに実現させるためのプログラム。
100 情報処理装置
102 通信部
104 操作処理部
106 波形生成部
108 出力制御部
120 増幅部
200 コントローラ
202 操作検出部
204 通信部
206 触覚出力部
208 音声出力部
220 圧力検出部

Claims (15)

  1. 仮想空間上の2のオブジェクトの相対的な動きに応じて波形を生成する波形生成部と、
    前記波形生成部により生成された波形の周波数分布に基づいて、触覚出力および音声出力を制御する出力制御部と、
    を備える情報処理装置。
  2. 前記出力制御部は、前記波形の周波数分布が所定の周波数よりも高い周波数を含む場合に音声出力を制御し、前記波形の周波数分布が前記所定の周波数よりも低い周波数を含む場合に触覚出力を制御する、請求項1に記載の情報処理装置。
  3. 前記音声出力は、前記波形のうちの前記所定の周波数よりも高い周波数に係る波形の出力であり、
    前記触覚出力は、前記波形のうちの前記所定の周波数よりも低い周波数に係る波形の出力である、請求項2に記載の情報処理装置。
  4. 前記波形生成部は、前記オブジェクトの相対的な動きの速度に応じた周波数分布を有する波形を生成する、請求項1に記載の情報処理装置。
  5. 前記出力制御部は、前記波形の周波数分布に含まれる周波数の信号強度が所定の閾値よりも高い場合、出力を行わせる、請求項1に記載の情報処理装置。
  6. 前記波形生成部は、前記オブジェクトの間における圧力に応じて前記信号強度を決定する、請求項5に記載の情報処理装置。
  7. 前記出力制御部は、前記波形を触覚出力および音声出力の入力信号とする、請求項2に記載の情報処理装置。
  8. 前記出力制御部は、前記波形の周波数分布から前記所定の周波数より低い周波数がフィルタリングされた波形を音声出力の入力信号とする、請求項7に記載の情報処理装置。
  9. 前記出力制御部は、前記波形の周波数分布から前記所定の周波数より高い周波数がフィルタリングされた波形を触覚出力の入力信号とする、請求項7に記載の情報処理装置。
  10. 前記フィルタリングは、前記オブジェクトの相対的な動きの速度に応じてフィルタ強度が変化される、請求項8に記載の情報処理装置。
  11. 前記オブジェクトは、ユーザ操作により動かされる、請求項1に記載の情報処理装置。
  12. 前記波形生成部は、前記オブジェクトの接触面の粗さ情報に応じた波形を生成する、請求項1に記載の情報処理装置。
  13. 仮想空間上の2のオブジェクトの相対的な動きに応じて波形を生成する波形生成部と、
    前記波形生成部により生成された波形の周波数分布に基づいて、触覚出力および音声出力を制御する出力制御部と、
    を備える情報処理システム。
  14. 仮想空間上の2のオブジェクトの相対的な動きに応じて波形を生成することと、
    生成された波形の周波数分布に基づいて、触覚出力および音声出力を制御することと、
    を含む情報処理方法。
  15. 仮想空間上の2のオブジェクトの相対的な動きに応じて波形を生成する波形生成機能と、
    前記波形生成機能により生成された波形の周波数分布に基づいて、触覚出力および音声出力を制御する出力制御機能と、
    をコンピュータに実現させるためのプログラム。
JP2014045056A 2014-03-07 2014-03-07 情報処理装置、情報処理システム、情報処理方法及びプログラム Pending JP2015170174A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014045056A JP2015170174A (ja) 2014-03-07 2014-03-07 情報処理装置、情報処理システム、情報処理方法及びプログラム
US14/632,108 US10238964B2 (en) 2014-03-07 2015-02-26 Information processing apparatus, information processing system, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014045056A JP2015170174A (ja) 2014-03-07 2014-03-07 情報処理装置、情報処理システム、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2015170174A true JP2015170174A (ja) 2015-09-28

Family

ID=54016384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014045056A Pending JP2015170174A (ja) 2014-03-07 2014-03-07 情報処理装置、情報処理システム、情報処理方法及びプログラム

Country Status (2)

Country Link
US (1) US10238964B2 (ja)
JP (1) JP2015170174A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018116544A1 (ja) 2016-12-19 2018-06-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018175459A (ja) * 2017-04-13 2018-11-15 株式会社テック技販 触覚再現装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6361872B2 (ja) * 2014-07-09 2018-07-25 任天堂株式会社 振動生成システム、振動生成装置、振動信号生成プログラム、および振動生成方法
US9842476B2 (en) 2015-09-25 2017-12-12 Immersion Corporation Programmable haptic devices and methods for modifying haptic effects to compensate for audio-haptic interference
JP6939797B2 (ja) * 2016-08-29 2021-09-22 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US10222862B2 (en) * 2017-06-05 2019-03-05 Lenovo (Singapore) Pte. Ltd. Method to sense force exertion on handheld device for behavior setting and input for quick response
US10375930B1 (en) 2017-07-07 2019-08-13 Chad R. James Animal training device that controls stimulus using proportional pressure-based input
JP2021073749A (ja) * 2018-03-07 2021-05-13 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US20060017691A1 (en) * 2004-07-23 2006-01-26 Juan Manuel Cruz-Hernandez System and method for controlling audio output associated with haptic effects
JP4630646B2 (ja) * 2004-11-19 2011-02-09 任天堂株式会社 息吹きかけ判別プログラム、息吹きかけ判別装置、ゲームプログラムおよびゲーム装置
JP4736771B2 (ja) * 2005-12-09 2011-07-27 ソニー株式会社 効果音生成装置及び効果音生成方法、並びにコンピュータ・プログラム
JP5048249B2 (ja) * 2006-01-27 2012-10-17 任天堂株式会社 ゲーム装置およびゲームプログラム
US8000825B2 (en) * 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US20090079690A1 (en) 2007-09-21 2009-03-26 Sony Computer Entertainment America Inc. Method and apparatus for enhancing entertainment software through haptic insertion
US20110064235A1 (en) * 2009-09-16 2011-03-17 Jake Allston Microphone and audio signal processing method
US20120183156A1 (en) * 2011-01-13 2012-07-19 Sennheiser Electronic Gmbh & Co. Kg Microphone system with a hand-held microphone
AU2012345757A1 (en) * 2011-12-02 2014-06-26 No Strings Toys, Llc Wireless devices and control method
WO2013094242A1 (ja) * 2011-12-19 2013-06-27 日産自動車株式会社 立体物検出装置
US20150253428A1 (en) * 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
US9239960B2 (en) * 2012-03-02 2016-01-19 Nissan Motor Co., Ltd. Three-dimensional object detection device
US9368005B2 (en) * 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US8754757B1 (en) * 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
KR101666393B1 (ko) * 2013-03-27 2016-10-14 한국전자통신연구원 음향효과를 이용한 촉각효과 재생 장치 및 방법
US9619980B2 (en) * 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9711014B2 (en) * 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9898085B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
WO2015071928A1 (ja) * 2013-11-13 2015-05-21 横浜ゴム株式会社 移動体の回転数計測装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018116544A1 (ja) 2016-12-19 2018-06-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR20190096988A (ko) 2016-12-19 2019-08-20 소니 주식회사 정보 처리 장치, 정보 처리 방법, 및 프로그램
US11422626B2 (en) 2016-12-19 2022-08-23 Sony Corporation Information processing device, and information processing method, for outputting sensory stimulation to a user
JP2018175459A (ja) * 2017-04-13 2018-11-15 株式会社テック技販 触覚再現装置

Also Published As

Publication number Publication date
US20150251089A1 (en) 2015-09-10
US10238964B2 (en) 2019-03-26

Similar Documents

Publication Publication Date Title
US10238964B2 (en) Information processing apparatus, information processing system, and information processing method
EP2846221B1 (en) Method, system and computer program product for transforming haptic signals
US9508236B2 (en) Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
JP6399865B2 (ja) スペクトログラムの視覚処理をして触覚効果を生成するためのシステム及び方法
JP2020126685A (ja) ハプティック出力デバイスに関連するユーザ入力エレメントのフィードバック減少
JP6449639B2 (ja) 触覚ディスプレイパラメータの光学的伝送のためのシステム及び方法
KR102452404B1 (ko) 햅틱 피드백을 최적화하기 위한 시스템 및 방법
JP2019046505A (ja) 動的ハプティック変換システム
US10088907B2 (en) Information processing apparatus and information processing method
EP2846228A2 (en) Systems and methods for generating haptic effects associated with an envelope in audio signals
KR20170037530A (ko) 오디오-햅틱 간섭을 보상하기 위해 햅틱 효과들을 수정하기 위한 프로그램 가능 햅틱 디바이스 및 방법
US11676461B2 (en) Information processing device, information processing method, and program for controlling haptics based on context information
JP2015166890A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR20190122559A (ko) 증강 또는 가상 현실 환경들에 대한 동적 햅틱 재생을 제공하기 위한 시스템들 및 방법들
US9276541B1 (en) Event-based presentation and processing of content
WO2021185600A1 (en) System, game console and method for adjusting a virtual environment
KR20110089996A (ko) 사용자 입력에 대한 감각 피드백을 발생하는 인터페이스 장치 및 방법
JP7252866B2 (ja) 制御装置、制御方法、及びプログラム
JP7344058B2 (ja) 制御装置、制御方法、及びプログラム