JP2018152669A - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
JP2018152669A
JP2018152669A JP2017046333A JP2017046333A JP2018152669A JP 2018152669 A JP2018152669 A JP 2018152669A JP 2017046333 A JP2017046333 A JP 2017046333A JP 2017046333 A JP2017046333 A JP 2017046333A JP 2018152669 A JP2018152669 A JP 2018152669A
Authority
JP
Japan
Prior art keywords
trajectory
unit
virtual
information processing
detection surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017046333A
Other languages
English (en)
Other versions
JP6907613B2 (ja
Inventor
広臣 四童子
Hiroomi Shidoji
広臣 四童子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2017046333A priority Critical patent/JP6907613B2/ja
Publication of JP2018152669A publication Critical patent/JP2018152669A/ja
Application granted granted Critical
Publication of JP6907613B2 publication Critical patent/JP6907613B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereophonic System (AREA)

Abstract

【課題】3次元の移動軌跡をより直感的に入力する。【解決手段】情報処理装置10は、3次元座標を検知する検知面を有する入力装置20から、当該検知面において指示された軌跡を取得する軌跡取得部121と、軌跡取得部121により取得された軌跡を用いて、仮想オブジェクトが仮想空間において移動する軌跡を出力する出力部124とを有する。【選択図】図1

Description

本発明は、仮想空間において仮想オブジェクトが移動する軌跡を入力する技術に関する。
仮想空間における音像などの仮想オブジェクトの軌跡を入力する技術が知られている。例えば、特許文献1には、あらかじめ設定された複数のパターンの中から、音像位置の変化パターンを選択し、さらにパラメータを設定することにより、2次元の音像位置の軌跡を指定する技術が記載されている。
特許第3525653号公報
3次元の移動軌跡を入力する技術に関しては、特許文献1には記載されていない。また3次元の移動軌跡を入力するには、特許文献1よりも複雑な処理が必要になる。更に数学の知識を使い関数で表現される軌跡を入力する場合も考えられるが、どちらにしても処理が複雑になる。
これに対し本発明は、3次元の移動軌跡をより直感的に入力する技術に関する。
本発明は、3次元座標を検知する検知面を有する入力装置から、当該検知面において指示された軌跡を取得する軌跡取得部と、前記軌跡取得部により取得された軌跡を用いて、仮想オブジェクトが仮想空間において移動する軌跡を出力する出力部とを有する情報処理装置を提供する。
この情報処理装置は、前記軌跡取得部により取得された軌跡を用いて、前記仮想オブジェクトが仮想空間において移動する軌跡を計算する軌跡計算部を有し、前記出力部は、前記軌跡計算部により計算された軌跡を出力してもよい。
前記軌跡取得部により取得された軌跡に含まれる座標を、前記仮想空間において設定された仮想立体上の座標に変換する座標変換部を有し、前記軌跡計算部は、前記座標変換部により変換された座標を用いて前記仮想空間において移動する軌跡を計算してもよい。
前記仮想空間は音響空間であり、前記仮想オブジェクトは、前記音響空間における音像であってもよい。
この情報処理装置は、前記音響空間における聴取者の位置を取得する位置取得部と、前記位置取得部により取得された聴取者の位置および前記出力部により出力された軌跡を用いて、音像定位を制御するためのパラメータを計算する定位パラメータ計算部とを有してもよい。
また、本発明は、3次元座標を検知する検知面を有する入力装置から、当該検知面において指示された軌跡を取得するステップと、前記取得された軌跡を用いて、仮想オブジェクトが仮想空間において移動する軌跡を出力するステップとを有する情報処理方法を提供する。
本発明によれば、3次元の移動軌跡をより直感的に入力することができる。
一実施形態に係る情報処理システム1の機能構成を例示する図。 情報処理装置10のハードウェア構成を例示する図。 入力装置20の構成を例示する図。 情報処理装置10の動作を例示するフローチャート。 表示部16に表示される画像を例示する図。 入力装置20の構成の別の例を示す図。
1.構成
図1は、一実施形態に係る情報処理システム1の機能構成を例示する図である。情報処理システム1は、仮想空間における仮想オブジェクトの軌跡を入力するためのシステムである。情報処理システム1は、情報処理装置10および入力装置20を有する。入力装置20は軌跡の入力を受け付ける装置であり、3次元形状の検知面を有する。入力装置20はいわゆるタッチ式の入力装置であり、検知面のうち指示体(例えばユーザーの指)によりタッチされた位置を示す信号(以下「位置信号」という)を出力する。
この例で、仮想オブジェクトの軌跡は、情報処理装置10において設定される仮想立体19の表面を移動する。情報処理装置10は、仮想立体19を特定するデータを記憶する。仮想立体19は、入力装置20の検知面に対応する形状を有する。例えば、仮想立体19と入力装置20の検知面とは相似形である。情報処理装置10は、ユーザーが入力装置20の検知面をタッチした軌跡に応じて、仮想オブジェクトが仮想立体19の表面を移動するよう、仮想空間における仮想オブジェクトの軌跡を計算する。
この例で、仮想オブジェクトは音像であり、仮想空間は音響空間である。音響空間は、コンサートホールや映画館等の実空間であってもよいし、またはヘッドフォンを装着した視聴者の周囲の(仮想的な)空間であってもよい。入力装置20の検知面は球面または半球面であり、仮想立体19は検知面と相似形の球面または半球面(仮想球面または仮想半球面)を有する。検知面のタッチ位置は、極座標系(r,θ,φ)を用いて表される。いま、入力装置20の検知面の半径をr2、仮想立体19の半径をr1とすると、検知面の1つの点であるタッチ位置(r2,θ1,φ1)は、仮想立体19の表面上の1つの点である仮想位置(r1,θ1,φ1)にマッピングされる。
情報処理装置10は、操作部11、軌跡制御部12、定位パラメータ計算部13、定位処理部14、記憶部15、表示部16を有する。操作部11は、ユーザーの操作を受け付ける。操作部11が受け付ける操作は、例えば、仮想立体19の設定用のパラメータ、タッチ位置から仮想位置への座標変換(マッピング)の方法、音像の移動開始、移動終了、または移動速度を指定するための操作である。
軌跡制御部12は、入力装置20から入力される位置信号および操作部11から入力される情報に応じて、軌跡データを出力する。軌跡データは、仮想オブジェクト(音像)が仮想空間において移動する軌跡を示す。軌跡データは、仮想立体19における座標を示す座標情報、および各座標情報に対応する時刻情報を含む。時刻情報は、2つ以上の座標情報の少なくとも時間軸上の相対的な位置関係を示す情報であり、必ずしも絶対的な時刻を示す必要はない。詳細には、軌跡制御部12は、軌跡取得部121、座標変換部122、軌跡計算部123、および出力部124を有する。軌跡取得部121は、入力装置20から、入力装置20の検知面において指示された軌跡を取得する。ここで取得される軌跡は、座標の時間変化である。具体的には、軌跡取得部121は、位置信号により示されるタッチ位置の座標(座標情報)を取得する。軌跡取得部121は、座標情報に対応する時刻情報を、タッチ位置の座標の取得と併せて入力装置20から取得してもよい。あるいは、軌跡取得部121は、座標情報に対応する時刻情報を、情報処理装置10の内部タイマー(図示略)から取得してもよい。後述するように、入力装置20から座標情報を取得する処理は時系列で繰り返し行われるので、軌跡取得部121は、タッチ位置の軌跡を取得すると言える。座標変換部122は、タッチ位置を仮想位置に変換する処理を行う。ここでいう仮想位置は、仮想立体19上の位置である。座標変換部122は、仮想位置を示す情報を出力する。軌跡計算部123は、仮想位置に基づいて仮想空間(この仮想空間は、例えば音響空間に対応する)上での軌跡を計算する。出力部124は、計算された軌跡を示す軌跡データを出力する。
定位パラメータ計算部13は、軌跡データの入力を受け、その軌跡データに対応する定位パラメータを出力する。定位パラメータは、音響空間における音像位置を指定するためのパラメータである。定位処理部14は、入力される音信号(以下「入力音信号」という)の音像を定位パラメータに従った位置に定位させる処理(以下この処理を「音像定位処理」という)を行い、処理された音信号を出力する。以下この信号を「出力音信号」という。定位パラメータ計算部13は、軌跡データに含まれる時刻情報または情報処理装置10の内部タイマー(図示略)から取得される時刻情報に応じて決定されるタイミングで定位パラメータを計算する。例えば、定位パラメータ計算部13は、軌跡データに含まれる時刻情報または情報処理装置10の内部タイマー(図示略)から取得される時刻情報により、前回、定位パラメータを計算してから所定の時間が経過したことが示されるタイミングで、定位パラメータを計算する。
記憶部15は、軌跡データおよび各種のデータを記憶する。表示部16は、音響空間における音像の移動を視覚的に表示する。表示部16は、音響空間を表す画像オブジェクトおよび音像を表す画像オブジェクトを表示する。
図2は、情報処理装置10のハードウェア構成を例示する図である。情報処理装置10は、CPU101、メモリー102、入出力IF104、キーボード105、およびディスプレイ106を有するコンピュータ装置である。CPU101は、情報処理装置10の他のハードウェア要素を制御する制御装置である。メモリー102は記憶装置であり各種のデータおよびプログラムを記憶する。メモリー102は、HDD(Hard Disk Drive)またはSSD(Solid State Drive)を含んで構成されてもよいが、少なくともRAM(Random Access Memory)を含んでいる。入出力IF104は、外部装置との間で信号(データ)の入力または出力を行うためのインターフェースである。この例で、入出力IF104は、入力装置20からの位置信号の入力を受け付ける。キーボード105は、ユーザーが情報処理装置10に指示または情報を入力するための入力装置である。ディスプレイ106は、情報を表示する装置であり、例えばLCD(Liquid Crystal Display)を含む。各デバイス(ハードウェア要素)はCPU101のバス上に接続される。
この例で、メモリー102は、コンピュータ装置を情報処理システム1における情報処理装置10として機能させるためのプログラム(以下「軌跡処理プログラム」という)を記憶する。CPU101が軌跡処理プログラムを実行することで、図1における軌跡制御部12、定位パラメータ計算部13、および定位処理部14の各機能が実現される。ディスプレイ106は表示部16に対応する。キーボード105は操作部11に対応する。メモリー102は記憶部15に対応する。
図3は、入力装置20の構成を例示する図である。入力装置20は、筐体21、センサー膜22、およびコントローラー23を有する。筐体21は、入力装置20の検知面の形状を規定する構造体である。この例で、筐体21は半径r2の半球面を形成する。センサー膜22は、膜状のタッチセンサーである。センサー膜22は、例えば、タッチセンサーを布に織り込んだいわゆる布センサー、またはタッチセンサー素子を格子状に配置して膜に貼り付けたものが用いられる。センサー膜22は、筐体21に沿って貼り付けられ、検知面を形成する。すなわち、検知面は半径r2の半球面である。コントローラー23は、センサー膜22から出力される信号を処理し、タッチ位置を所定の座標系で表した位置信号を出力する。位置信号を出力する際、コントローラー23は、合わせて時刻情報を出力してもよい。また、図3の筐体21はセンサー膜22を部分的に支える構造体であるが、筐体21を半球面の樹脂成型品(内部が空間である球体を球の中心を通って切断した構造)で作成し、この筐体21をセンサー膜で覆う構成も可能である。この構成によればセンサー膜22の全体を支えることができる。
ユーザーは、例えば指を用いて入力装置20の検知面をなぞることにより軌跡を入力することができる。なお検知面を指で「なぞる」とは、まず検知面の一点を指でタッチし、検知面に触れたまま指の位置を動かし、検知面上の一点(最初の一点と同じ点でも違う点でもよい)で指を離す、という連続動作をいう。初めにタッチした検知面上の点をセンシング始点といい、タッチした時刻をセンシング開始時刻という。検知面から指を離した点をセンシング終点といい、指を離した時刻をセンシング終了時刻という。軌跡取得部121は、センシング開始時刻からセンシング終了時刻まで、一定の時間間隔で検知面のどの位置がタッチされているか観測し、検知面上の軌跡を得る。なお、入力装置20において検知面上の位置を指示する指示体はユーザーの指に限定されず、例えばいわゆるスタイラスペン等が用いられてもよい。
2.動作
図4は、情報処理装置10の動作を例示するフローチャートである。以下において、軌跡制御部12等の機能要素を処理の主体として記載するが、これは、軌跡処理プログラム等のソフトウェアを実行しているCPU101等のハードウェア要素が、他のハードウェア要素と協働して処理を実行することを意味する。なお、この例で、音響空間は音を聴取する実空間、例えば複数のスピーカーが配置された劇場等の音響空間であり、その形状、大きさ、およびスピーカー配置は既知である。劇場の形状、大きさ、およびスピーカー配置を示す情報などはあらかじめ情報処理装置10に入力されており、記憶部15に記憶される。
ステップS101において、操作部11は、軌跡の計算に用いるパラメータの入力を受け付ける。この例で、軌跡の計算に用いられるパラメータは、仮想立体19(この例では仮想球で表される半球面である)の半径r1を含む。すなわち、ユーザーは、操作部11を操作することにより、仮想球の半径を所望の値に設定することができる。半径r1を示すデータは記憶部15に記憶される。
ステップS102において、軌跡取得部121は、入力装置20から出力された位置信号をサンプリングし、1つの点であるタッチ位置の座標(r2,θ1,φ1)を得る。座標を取得すると、軌跡取得部121は、情報処理装置10の内部タイマー(図示略)から時刻情報を取得する。この時刻情報は、座標が取得された時刻tを示す。こうして軌跡取得部121は、座標と時刻情報との組を取得する。この例において、軌跡取得部121は一定のサンプリング周期で繰り返し座標を取得する。こうして軌跡取得部121は、複数組の座標および時刻情報、すなわちタッチ位置の軌跡を取得する。なお、この例において軌跡取得部121は、情報処理装置10の内部タイマー(図示略)から時刻情報を取得するので、入力装置20は時刻情報を出力しなくてよい。別の例において、入力装置20が、座標と時刻情報との組を情報処理装置10に出力してもよい。この場合、軌跡取得部121は、内部タイマー(図示略)から時刻情報を取得しなくてよい。
ステップS103において、座標変換部122は、位置信号から得られた座標を、仮想球の表面上の座標に変換する。この例では、検知面と仮想球とは相似形であるので、座標変換処理は、単に半径r2をr1に変換する処理である。なお座標変換処理の前に、予め検知面上の位置を表す座標系と仮想空間の位置を表す座標系のゼロ点合わせ(キャリブレーション)が行われる。また、ステップS103において時刻情報はそのまま維持される。
ステップS104において、軌跡計算部123は、仮想空間における座標の軌跡を計算する。具体的には、軌跡計算部123は、ステップS103において得られた座標を補間することで、入力装置20から入力された軌跡をより滑らかな軌跡に修正し、軌跡データを作成する。ここで計算される軌跡は、座標(r1,θ,φ)の時間変化を表すものである。軌跡の計算は、例えばサンプリングにより得られた離散的な座標(例えば、時刻t1において取得された座標および時刻t2において取得された座標)を線形補間またはスプライン補間することにより、または所定の関数を用いて近似することにより、補間点が計算される。ここでは軌跡計算部123により計算された軌跡上の点が座標(r1,θ1,φ1)を含む例を用いて以下のステップを説明する。
なお、座標の補間点を計算した方法と同じ方法で、時刻情報の補間点も計算されるのが望ましい。また、より滑らかな軌跡が必要な場合は、ステップS103から得られた座標それ自体を軌跡が含んでいなくてもよい。
ステップS105において、出力部124は、軌跡データを定位パラメータ計算部13に出力する。ステップS106において、定位パラメータ計算部13は、軌跡データを処理して、時刻情報が指定する時刻になったら、音像を特定の位置に定位させるための、定位パラメータを計算する。そして定位パラメータ計算部13は、計算した定位パラメータを定位処理部14に出力する。本実施例では、例えば、所定の音像を座標(r1,θ1,φ1)に定位させるための定位パラメータを計算する。定位パラメータは、定位処理部14において用いられる。定位処理部14は、あらかじめ決められた方法により、入力音信号の音像を定位させる音像定位処理を行う。音像定位処理は、例えば、頭部伝達関数(Head-Related Transfer Function、HRTF)を用いた処理、またはゲインおよび遅延を制御するパンニング等を含む。定位パラメータは、頭部伝達関数を特定するパラメータ、またはゲインおよび遅延を指定するパラメータ等である。定位パラメータ計算部13は、記憶部15に記憶された劇場の形状、大きさ、およびスピーカー配置を示す情報などを読み出し、聴取者の位置を仮想球の中心として、定位パラメータを計算する(聴取者の位置は、デフォルトでは仮想球の中心に設定される。)。
ステップS107において、定位処理部14は、定位パラメータ計算部13から出力された定位パラメータを用いて、入力音信号に対し音像定位処理を行う。定位処理部14は、入力装置20から出力された位置信号に応じた位置に入力音信号の音像を定位させた出力音信号を出力する。ステップS108において、表示部16は、移動した音像の表示を更新する。
図5は、表示部16に表示される画像を例示する図である。表示部16により表示される画像は、音響空間を示す画像オブジェクト91および入力音信号の音像を示す画像オブジェクト92を含む。画像オブジェクト92は、音響空間における入力音信号の音像定位に相当する位置に表示される。音像定位の移動に伴って、画像オブジェクト92はリアルタイムで画面上を、軌跡Tを描きながら移動する。この画像により、ユーザーは、音像定位を視覚的に確認しながら入力装置20の検知面をタッチすることができる。
再び図4を参照する。ステップS109において、軌跡取得部121は、軌跡入力の終了条件が満たされたか判断する。軌跡入力の終了条件は、例えば、ユーザーにより軌跡入力を終了することが明示的に指示されたという条件、または、所定の時間以上、タッチ位置の入力が無かったという条件である。軌跡入力の終了条件が満たされた場合(S109:YES)、軌跡取得部121は、処理をステップS110に移行する。終了条件が満たされていない場合(S109:NO)、軌跡取得部121は、処理をステップS102に移行する。ステップS102〜S109の処理は、所定の周期で繰り返し実行される。入力装置20から入力される位置信号は直ちに入力音信号の音像定位処理に用いられるので、入力音信号の音像の位置は、入力装置20に対するユーザーの操作に応じてリアルタイムで移動する。本実施形態によれば、検知面を指でなぞるという、より直感的な操作入力により、音像を3次元空間において移動させることができる。
ステップS110において、出力部124は、軌跡データを出力する。記憶部15は、出力部124から出力された軌跡データを記憶する。軌跡データは、仮想球面上を音像が移動する際の時系列の座標と、各座標の時刻情報とを含む。例えば先頭の座標の時刻情報を0として他の座標の時刻情報を表すことで、音像定位の軌跡、及び軌跡が変化する速度を定義することができる。
情報処理装置10は、上記のようにして得られた軌跡データを用いて種々の処理を行う。一例として、情報処理装置10は、軌跡データに従って音像の軌跡を再生する。詳細には以下のとおりである。ユーザーは、記憶部15に記憶されているデータの中から、再生する軌跡データを選択する。軌跡制御部12は、選択された軌跡データを記憶部15から読み出す。軌跡制御部12は、読み出した軌跡データを定位パラメータ計算部13に出力する。定位パラメータ計算部13は、定位パラメータを計算し、計算した定位パラメータを定位処理部14に出力する。定位処理部14は、入力される定位パラメータに従って入力音信号の音像を定位させる処理を行う。この例によれば、入力装置20を介して入力された音像の軌跡(実際は軌跡データ)を記憶部に保存しておき、必要な時に軌跡データを読み出すことで、音像を容易に定位させることができる。
なおここでは、情報処理装置10が音像をリアルタイムで移動させる機能、および予め保存した軌跡データを読み出す機能の双方を有している例を説明したが、これら2つの機能のうち一方の機能は省略されてもよい。例えば、情報処理装置10は音像をリアルタイムで移動させる機能を有していなくてもよいし、予め保存した軌跡データを読み出す機能を有していなくてもよい。
3.変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち2つ以上のものを組み合わせて用いてもよい。
3−1.変形例1
上述の実施形態においては、聴取者の位置は仮想球の中心に固定されていた。しかし、聴取者の位置はユーザーの指示に応じて移動してもよい。この場合、情報処理装置10は、聴取者の位置を取得する位置取得部を有する。位置取得部は、ユーザーが操作部11を介して入力した、聴取者の位置を指定する情報を取得する。定位パラメータ計算部13は、指定された聴取者の位置において、所望の定位の音像が得られるように定位パラメータを計算する。なお、入力音信号の音像を定位させる処理の実行中に、聴取者の位置が固定されている必要はなく、移動してもよい。聴取者の位置がユーザーによって指定される場合、軌跡データは、聴取者の位置を示す情報を含んでもよい。この場合、表示部16は、画像オブジェクト91および画像オブジェクト92に加え、聴取者の位置を表す画像オブジェクトを表示してもよい。あるいは、軌跡データは聴取者の位置を含まず、軌跡データが生成される時または軌跡データが記憶部から読み出される時にユーザーが改めて聴取者の位置を指定してもよい。
3−2.変形例2
入力装置20の検知面の形状は実施形態で例示した球面または球面の一部を有する形状に限定されない。検知面は、例えば聴取者に対して斜めに配置された六面体であってもよい。このうち一の面において直線状に指でなぞることにより、聴取者に対し傾いた直線上を移動する音像の軌跡を入力することができる。あるいは、検知面は、円錐形であってもよい。円錐形の表面をらせん状に指でなぞることにより、だんだん径が大きく(または小さく)なるらせん状の軌跡を入力することができる。
図6は、入力装置20の構成の別の例を示す図である。この例で、入力装置20は、マトリクス状に配置された複数のアクチュエーター24を有する。アクチュエーター24は、コントローラー23の制御下でユーザーの指示に応じて変位する。アクチュエーター24の変位は、情報処理装置10等の他の装置から入力されるデータにより指定される。このデータは、例えばSTL(Standard Triangulated Language)等のデータフォーマットで記述される。センサー膜22は伸縮性のある素材で形成される。入力されたデータに応じてアクチュエーター24が変位すると、センサー膜22はアクチュエーター24に沿って伸縮し、指定された形状の検知面を形成する。検知面の形状が変化した後は、タッチ位置と検知面の座標とに関するキャリブレーションが行われる。上述のとおり軌跡制御部12は仮想立体19を有しているが、この例における仮想立体19は、変化後の形状の検知面と相似形を有する。この例によれば、検知面を所望の形状にすることができ、より複雑な軌跡を入力することができる。例えばこの例によれば、検知面の形状をビデオゲームにおいて用いられる構造物(例えば城)の形状に変化させ、その構造物の形状に沿って音像を定位させることができる。
3−3.変形例3
軌跡制御部12における仮想立体19の形状または大きさは、軌跡を入力する途中において変更されてもよい。例えば実施形態のように仮想立体19が固定された形状(例えば半球)を有する例において、軌跡を入力している途中に、仮想立体19の半径がユーザーの指示入力に応じて、または情報処理装置10により自動的に変更されてもよい。あるいは、変形例2のように検知面の形状が可変である例において、軌跡を入力している途中に、仮想立体19の形状が変化してもよい。このように、入力装置20から軌跡を入力している途中において仮想立体19の形状または大きさを変更することにより、複雑な軌跡を簡単に入力することができる。
3−4.変形例4
情報処理装置10が軌跡を再生する機能を有している場合において、情報処理装置10は、さらに、軌跡を編集する処理を有していてもよい。軌跡制御部12は、操作部11を介したユーザーの操作入力に応じて軌跡を編集する。軌跡の編集は、例えば、時間軸上の位置の変更および空間的な位置の変更を含む。
3−5.変形例5
入力装置20を介して軌跡を入力する方法は、検知面を指でなぞる方法に限定されない。例えば、ユーザーは、検知面上を離散的に指でタッチすることにより軌跡を入力してもよい。軌跡制御部12は、これら離散的な点を(例えば線形補間またはスプライン補間で)補間することにより、滑らかな軌跡を得る。また、軌跡制御部12は、離散的に指でタッチした複数の座標の中で、特定した座標が軌跡上に存在するように補間して、軌跡を生成してもよい。
3−6.他の変形例
検知面と仮想立体19とは相似形でなくてもよい。検知面上の位置と仮想立体19の表面上の位置とを一対一に対応付け可能なものであれば、検知面と仮想立体19とはどのような形状を有していてもよい。
入力装置20を介した操作入力により軌跡が制御される仮想オブジェクトは、音響空間における音像に限定されない。画像等、音像以外のオブジェクトの軌跡が制御されてもよい。
図1に例示した情報処理システム1の機能の一部は省略されてもよい。例えば、情報処理システム1は表示部16または記憶部15を有さなくてもよい。
情報処理システム1の機能とハードウェアとの対応関係は実施形態で例示したものに限定されない。例えば、操作部11、軌跡制御部12、および定位処理部14に相当する機能が、入力装置20に実装されてもよい。あるいは、情報処理装置10の一部の機能が、ネットワーク上のサーバに実装されてもよい。例えば、記憶部15がサーバ上にあり、複数の情報処理システム1が記憶部15を共有してもよい。また、上述の実施形態において、軌跡制御部12、定位パラメータ計算部13、および定位処理部14の機能は汎用プロセッサーを用いてソフトウェアとして実装されたが、ハードウェアとして実装されてもよい。
1…情報処理システム、10…情報処理装置、11…操作部、12…軌跡制御部、13…定位パラメータ計算部、14…定位処理部、15…記憶部、16…表示部、19…仮想立体、20…入力装置、21…筐体、22…センサー膜、23…コントローラー、24…アクチュエーター、91…画像オブジェクト、92…画像オブジェクト、101…CPU、102…メモリー、104…入出力IF、105…キーボード、106…ディスプレイ、121…軌跡取得部、122…座標変換部、123…軌跡計算部、124…出力部

Claims (6)

  1. 3次元座標を検知する検知面を有する入力装置から、当該検知面において指示された軌跡を取得する軌跡取得部と、
    前記軌跡取得部により取得された軌跡を用いて、仮想オブジェクトが仮想空間において移動する軌跡を出力する出力部と
    を有する情報処理装置。
  2. 前記軌跡取得部により取得された軌跡を用いて、前記仮想オブジェクトが仮想空間において移動する軌跡を計算する軌跡計算部を有し、
    前記出力部は、前記軌跡計算部により計算された軌跡を出力する
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記軌跡取得部により取得された軌跡に含まれる座標を、前記仮想空間において設定された仮想立体上の座標に変換する座標変換部を有し、
    前記軌跡計算部は、前記座標変換部により変換された座標を用いて前記仮想空間において移動する軌跡を計算する
    ことを特徴とする請求項2に記載の情報処理装置。
  4. 前記仮想空間は音響空間であり、
    前記仮想オブジェクトは、前記音響空間における音像である
    ことを特徴とする請求項1ないし3のいずれか一項に記載の情報処理装置。
  5. 前記音響空間における聴取者の位置を取得する位置取得部と、
    前記位置取得部により取得された聴取者の位置および前記出力部により出力された軌跡を用いて、音像定位を制御するためのパラメータを計算する定位パラメータ計算部と
    を有する請求項4に記載の情報処理装置。
  6. 3次元座標を検知する検知面を有する入力装置から、当該検知面において指示された軌跡を取得するステップと、
    前記取得された軌跡を用いて、仮想オブジェクトが仮想空間において移動する軌跡を出力するステップと
    を有する情報処理方法。
JP2017046333A 2017-03-10 2017-03-10 情報処理装置および情報処理方法 Active JP6907613B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017046333A JP6907613B2 (ja) 2017-03-10 2017-03-10 情報処理装置および情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017046333A JP6907613B2 (ja) 2017-03-10 2017-03-10 情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
JP2018152669A true JP2018152669A (ja) 2018-09-27
JP6907613B2 JP6907613B2 (ja) 2021-07-21

Family

ID=63681971

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017046333A Active JP6907613B2 (ja) 2017-03-10 2017-03-10 情報処理装置および情報処理方法

Country Status (1)

Country Link
JP (1) JP6907613B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020195568A1 (ja) * 2019-03-25 2020-10-01 ヤマハ株式会社 オーディオ信号処理装置、オーディオ信号処理システムおよびオーディオ信号処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006074589A (ja) * 2004-09-03 2006-03-16 Matsushita Electric Ind Co Ltd 音響処理装置
JP2006135611A (ja) * 2004-11-05 2006-05-25 Matsushita Electric Ind Co Ltd 仮想音像制御装置
JP2010034905A (ja) * 2008-07-29 2010-02-12 Yamaha Corp 音響再生装置およびプログラム
JP2013020399A (ja) * 2011-07-11 2013-01-31 Panasonic Corp 入力装置及び入力方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006074589A (ja) * 2004-09-03 2006-03-16 Matsushita Electric Ind Co Ltd 音響処理装置
JP2006135611A (ja) * 2004-11-05 2006-05-25 Matsushita Electric Ind Co Ltd 仮想音像制御装置
JP2010034905A (ja) * 2008-07-29 2010-02-12 Yamaha Corp 音響再生装置およびプログラム
JP2013020399A (ja) * 2011-07-11 2013-01-31 Panasonic Corp 入力装置及び入力方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020195568A1 (ja) * 2019-03-25 2020-10-01 ヤマハ株式会社 オーディオ信号処理装置、オーディオ信号処理システムおよびオーディオ信号処理方法
JPWO2020195568A1 (ja) * 2019-03-25 2021-10-21 ヤマハ株式会社 オーディオ信号処理装置、オーディオ信号処理システムおよびオーディオ信号処理方法
JP7088408B2 (ja) 2019-03-25 2022-06-21 ヤマハ株式会社 オーディオ信号処理装置、オーディオ信号処理システムおよびオーディオ信号処理方法

Also Published As

Publication number Publication date
JP6907613B2 (ja) 2021-07-21

Similar Documents

Publication Publication Date Title
KR102276173B1 (ko) 공간-의존 콘텐츠를 위한 햅틱 효과 생성
EP2891955B1 (en) In-vehicle gesture interactive spatial audio system
US9632683B2 (en) Methods, apparatuses and computer program products for manipulating characteristics of audio objects by using directional gestures
KR102642780B1 (ko) 햅틱 재생 조절 시스템
US20170090577A1 (en) Haptic effects design system
EP3264259A1 (en) Audio volume handling
US20200218356A1 (en) Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments
JP2022116221A (ja) 空間オーディオに関する方法、装置およびコンピュータプログラム
US20200320965A1 (en) Virtual / augmented reality display and control of digital audio workstation parameters
JP6926640B2 (ja) 目標位置設定装置及び音像定位装置
JP6907613B2 (ja) 情報処理装置および情報処理方法
US11137973B2 (en) Augmented audio development previewing tool
EP3209033B1 (en) Controlling audio rendering
US11516615B2 (en) Audio processing
JP2019134314A5 (ja)
JP2015046103A (ja) 対話型インタフェース及び情報処理装置
CN114520950A (zh) 音频输出方法、装置、电子设备及可读存储介质
JP5929243B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN115087957A (zh) 虚拟场景
JP2018036942A (ja) 3次元ユーザインタフェース装置および3次元操作用プログラム
EP3336834A1 (en) Controlling a sound object
CN115494953A (zh) 音频调节方法、装置、设备及计算机可读存储介质
CN117203984A (zh) 用于助听器的交互式移动拟合的系统和方法
CN117014397A (zh) 基于语音消息的交互方法、装置、计算机设备和存储介质
JP2012128864A (ja) 情報処理プログラム、情報処理装置、情報処理システム、および指示判別方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210614

R151 Written notification of patent or utility model registration

Ref document number: 6907613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151