JP2023132236A - 情報処理装置、音響再生装置、情報処理システムおよび情報処理方法および仮想音源生成装置 - Google Patents

Abstract

【課題】コンテンツ再生において、音源に対する臨場感豊かな定位感を実現すること。【解決手段】実施形態に係る情報処理装置は、仮想空間を提供する仮想空間コンテンツの音声信号の信号処理を行なう音声信号処理部を備える。音声信号処理部は、仮想空間コンテンツの仮想空間に音声信号処理用の仮想壁を形成し、仮想空間コンテンツにおける音源から発生する音声が仮想壁で反射した仮想壁反射音に対応する仮想壁反射音信号を生成する。【選択図】図１７

Description

本発明は、情報処理装置、音響再生装置、情報処理システムおよび情報処理方法および仮想音源生成装置に関する。

従来、ＨＭＤ（Head Mounted Display）等を用いてユーザに対し、ＶＲ（Virtual Reality）やＡＲ（Augmented Reality）、ＭＲ（Mixed Reality）といった仮想空間体験を含むデジタルコンテンツ、いわゆるＸＲ（Cross Reality）コンテンツを提供する技術が知られている。ＸＲは、ＶＲ、ＡＲ、ＭＲのほか、ＳＲ（Substitutional Reality）、ＡＶ（Audio/Visual）等を含むすべての仮想空間技術をまとめた表現である。

また、ＸＲ等の仮想空間を提供する各種コンテンツの再生においては、発音物体の定位感（発音物体がどの位置に存在しているかの感覚）をユーザに感じさせるための各種サラウンドシステムが普及している。このサラウンドシステムは、複数のスピーカとサラウンド信号生成装置から構成され、音声信号にレベル調整、遅延、反射音付加、残跫音付加等の音響信号処理を施して各スピーカに対するサラウンド音声信号を生成する。そして、サラウンド音声信号を対応する各スピーカに出力して、音声再生させるシステムである（例えば、特許文献１参照）。

特開２００５－１０１９０２号公報

近年、ＸＲコンテンツ等の仮想空間を提供する各種コンテンツ（以降、仮想空間コンテンツと称する）、所謂３Ｄ（三次元）コンテンツが急速に普及している。仮想空間コンテンツでは、コンテンツに登場する人物等の物体が立体感を持って表示され、物体の位置（方向・距離）が感じられるように、臨場感豊かに表示される。このため、より臨場感豊かなコンテンツ再生とするために音声についても立体感のある再生、つまりコンテンツに登場する人物等の発音物体（音源）が発する音声の再生に関して定位感（位置・方向）を持たせることが望まれている。

そのような音声の定位感向上のための１つの技術として、音源の発生する音声が壁面で反射する音声である壁面反射音を音響信号処理で生成し、当該壁面反射音をコンテンツ視聴ユーザに提供する方法がある。つまり、コンテンツ視聴ユーザが音源の定位感を感じるための音を増やして、より定位感を感じるようにする考えに基づく方法である。

しかし、この方法のおいては、コンテンツの場面が室内等の壁が存在する場面では音声再生による良好な音源の定位感の再現が実現されるが、コンテンツの場面が壁の存在しない屋外の場面では壁面反射音が存在せず音源の良好な定位感の再現が期待できない課題があった。

本発明は、上記に鑑みてなされたものであって、コンテンツ再生において、音源に対する臨場感豊かな定位感を実現する情報処理装置、音響再生装置、情報処理システムおよび情報処理方法および仮想音源生成装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る情報処理装置は、仮想空間を提供する仮想空間コンテンツの音声信号の信号処理を行なう音声信号処理部を備える。音声信号処理部は、仮想空間コンテンツの仮想空間に音声信号処理用の仮想壁を形成し、仮想空間コンテンツにおける音源から発生する音声が仮想壁で反射した仮想壁反射音に対応する仮想壁反射音信号を生成する。

本発明によれば、コンテンツ再生において、音源に対する臨場感豊かな定位感を実現することができる。

図１は、情報処理システムの概要を示す図である。 図２は、情報処理システムにおけるデータの流れを示す図である。 図３は、情報処理方法の概要を示す図である。 図４は、情報処理装置のブロック図である。 図５は、シーン情報ＤＢの一例を示す図である。 図６は、シーン情報ＤＢの一例を示す図である。 図７は、シーン情報ＤＢの一例を示す図である。 図８は、優先順位情報ＤＢの一例を示す図である。 図９は、パラメータ情報ＤＢの一例を示す図である。 図１０は、シーン検出部のブロック図である。 図１１は、優先順位設定部のブロック図である。 図１２は、優先する対象物の決定方法の例を示す図である。 図１３は、パラメータ抽出部のブロック図である。 図１４は、出力部のブロック図である。 図１５は、反射音について説明する図である。 図１６は、仮想壁の移動について説明する図である。 図１７は、反射音の作成方法を説明する図である。 図１８は、反射音付加による音源の定位感の発生を説明する図である。 図１９は、反射音の生成方法を説明する図である。 図２０は、仮想壁の位置の変化を説明する図である。 図２１は、仮想音源の位置規制処理について説明する図である。 図２２は、鏡像の音量カーブの一例を示すグラフである。 図２３は、情報処理装置が実行する処理手順を示すフローチャートである。 図２４は、反射音の生成手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する情報処理装置、音響再生装置、情報処理システムおよび情報処理方法および仮想音源生成装置の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

まず、図１、図２および図３を用いて、実施形態に係る情報処理システムおよび情報処理方法の概要について説明する。図１は、情報処理システムの概要を示す図である。図２は、情報処理システムにおけるデータの流れを示す図である。図３は、情報処理方法の概要を示す図である。なお、以下では、ＸＲ空間（仮想空間）がＶＲ空間である場合について説明する。

図１に示すように、情報処理システム１は、表示装置３と、音声出力デバイス４と、振動デバイス５とを含む。

図２に示すように、情報処理装置１０は、表示装置３に映像データを提供する。また、情報処理装置１０は、音声出力デバイス４に音声データを提供する。また、情報処理装置１０は、振動デバイス５に振動データを提供する。

図１に示すように、表示装置３は、例えば、ヘッドマウントディスプレイである。表示装置３は、ユーザに対し、情報処理装置１０から提供されるＸＲコンテンツに関する映像データを提示し、ユーザにＶＲ体験を享受させるための情報処理端末である。

なお、表示装置３は、視界を完全に覆う非透過型であってもよいし、ビデオ透過型や光学透過型であってもよい。また、表示装置３は、センサ部によってユーザの内外の状況の変化を検知するデバイス、例えばカメラやモーションセンサ等を有する。

音声出力デバイス４は、例えばヘッドフォン型に設けられ、ユーザの耳に装着される。音声出力デバイス４は、情報処理装置１０から提供される音声データを音声として発生させる。なお、音声出力デバイス４は、ヘッドフォン型に限らず、箱型（床等に設置）のものであってもよい。また、音声出力デバイス４は、ステレオオーディオや、マルチチャンネルオーディオ型であってもよい。

振動デバイス５は、電気磁気回路や圧電素子から構成される電気振動変換器から構成され、例えば、ユーザが着座するシートに設けられ、情報処理装置１０から提供される振動データにあわせて振動する。なお、例えば、シートに対して複数の振動デバイス５が設けられ、情報処理装置１０は、各振動デバイス５を個別に制御する。

これら音声出力デバイス４による音声や、振動デバイス５の振動、つまり波動デバイスによる波動を再生映像に適合させてコンテンツユーザに印加することにより、映像再生に関してより臨場感を増すことが可能となる。

情報処理装置１０は、コンピュータにより構成されており、有線または無線で表示装置３と接続され、表示装置３に対し、ＸＲコンテンツの映像を提供する。また、情報処理装置１０は、例えば、表示装置３に設けられたセンサ部によって検知された状況の変化を随時取得し、かかる状況の変化をＸＲコンテンツに反映させる。

例えば、情報処理装置１０は、センサ部によって検知されたユーザの頭部や視線の変化に応じて、ＸＲコンテンツの仮想空間における視界の向きを変化させることが可能である。

ところで、ＸＲコンテンツを提供するにあたり、音声出力デバイス４から発生する音声をシーンにあわせて強調する、あるいは、シーンにあわせて振動デバイス５を振動させることで、ＸＲコンテンツの臨場感の向上を図ることができる。

しかしながら、これら臨場感の向上を図るための臨場感制御に用いるパラメータ（以下、臨場感パラメータ）は、ＸＲコンテンツの制作後に、人手で設定する必要があり、臨場感パラメータの設定に膨大な作業を必要としていた。

そこで、情報処理方法では、これら臨場感パラメータの設定の自動化を図ることとした。例えば、図３に示すように、まず、実施形態に係る情報処理方法では、ＸＲコンテンツに関する映像データおよび音声データから所定条件を満たすシーンを検出する（ステップＳ１）。

ここでの所定条件とは、例えば、対応する映像データまたは音声データが臨場感パラメータの設定を要するシーンであるか否かに関する条件であり、例えば、ＸＲコンテンツ内部の状況に関する条件式によって定義される。

すなわち、情報処理方法では、ＸＲコンテンツ内部の状況が条件式によって定義される条件を満たした場合に、所定条件を満たすシーンとして検出する。これにより、情報処理方法では、映像データを詳細に解析するなどといった処理を不要とするので、シーン検出の処理負荷の軽減を図ることができる。

つづいて、情報処理方法では、シーン検出によって検出したシーンに対して優先順位を設定する（ステップＳ２）。ここで、優先順位とは、どのシーンの臨場感パラメータを優先すべきかといった順位を示す。すなわち、情報処理方法では、複数のシーンが時間的に重複する場合に、どのシーンの臨場感パラメータを優先すべきかをシーン毎に予め定義しておく。

これにより、複数のシーンが重複する場合においても、ユーザに対し適切な臨場感を提供することができる。なお、後述するように、情報処理方法では、音声に関する優先順位と、振動に関する優先順位とをそれぞれ個別に設定する。

つづいて、情報処理方法では、シーン毎に臨場感パラメータを抽出する（ステップＳ３）。例えば、情報処理方法では、シーンと臨場感パラメータとの関係性が予め定義されたパラメータ情報を用いて、シーン毎に臨場感パラメータを抽出する。

この際、情報処理方法では、優先順位に応じて、対応する臨場感パラメータを抽出する。具体的には、例えば、情報処理方法では、優先順位が低いシーンと、優先順位が高いシーンとが重複する場合、優先順位が高いシーンの臨場感パラメータを抽出することになる。

情報処理方法では、抽出した臨場感パラメータのうち、音声強調パラメータを用いて、音声データを強調する音声強調処理を行い（ステップＳ４）、音声出力デバイス４へ出力する。また、情報処理方法では、音声データを振動データへ変換する振動変換処理を行い、抽出した臨場感パラメータのうち、振動パラメータを用いて振動データを強調したうえで（ステップＳ５）、振動デバイス５へ出力する。

これにより、情報処理方法では、ユーザが視聴するシーンにあわせて強調された音声や、シーンに応じた振動をユーザに対し提供することができる。

このように、実施形態に係る情報処理方法では、ＸＲコンテンツからシーンを検出し、優先順位を設定したうえで、シーンに対して音声処理と振動処理を含む波動制御に関する臨場感パラメータを抽出する。したがって、実施形態に係る情報処理方法によれば、コンテンツの臨場感の向上に関する臨場感パラメータの設定を自動化することができる。

次に、図４を用いて、実施形態に係る情報処理装置１０の構成例について説明する。図４は、情報処理装置１０のブロック図である。図４に示すように、情報処理装置１０は、制御部１２０と、記憶部１３０とを備える。

記憶部１３０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図４の例では、記憶部１３０は、ＸＲコンテンツＤＢ（Database）１３１と、シーン情報ＤＢ１３２と、優先順位情報ＤＢ１３３と、パラメータ情報ＤＢ１３４とを有する。

ＸＲコンテンツＤＢ１３１は、表示装置３へ表示されるＸＲコンテンツ群が格納されたデータベースである。シーン情報ＤＢ１３２は、検出するシーンに関する各種情報を記憶するデータベースである。

図５～図７は、シーン情報ＤＢ１３２の一例を示す図である。図５に示すように、例えば、シーン情報ＤＢ１３２は、「検出シーン」、「条件カテゴリ」、「対象物」、「条件パラメータ」、「閾値」および「条件式」といった項目の情報を互いに対応付けて記憶する。

「検出シーン」は、検出するシーンの名称を示す。なお、「検出シーン」は識別記号の働きを行うもので、数値等のコードが通常利用されるが、本例では説明を分かりやすくするため名称（重複禁止）を用いている。「条件カテゴリ」は、どのような情報を根拠にシーンを検出するかといったカテゴリを示す。同図に示す例では、ユーザと対象物の位置関係、ユーザの動作、ユーザが存在する空間情報、ユーザが存在する時間情報あるいは対象物から音声が発生などとったカテゴリに大別される。なお、ここでのユーザは、ＸＲ空間内の操作者自身を示す。

「対象物」は、シーン検出のための対象物を示す。同図に示す例では、物体１、物体２、ユーザ、空間１、空間１＋物体３、コンテンツ１、物体４、物体５、物体６などといった情報が対象物に対応する。ここで、物体１、物体２、物体３、物体４、物体５、物体６は、それぞれＸＲ空間内の異なるオブジェクトを示す。また、空間１は、例えば、ユーザが存在するＸＲ空間内の空間を示し、コンテンツ１は、例えば、ＸＲ空間内における所定のイベントを示す。

「条件パラメータ」は、シーン検出を行うにあたり、どのパラメータを用いるかといったパラメータに関する条件を示す。同図に示すように、例えば、距離、角度、速度、加速度、回転速度、空間の中、物体の存在、数量、開始時刻～終了時刻、音声パターンなどといった情報が対応付けられる。

「閾値」は、条件パラメータに対応する閾値を示す。また、「条件式」は、検出シーンを検出するための条件式を示し、例えば、条件パラメータと閾値との関係が条件式として定義される。

図５では、説明のため、「シーンＷ」、「物体４」、「パターンｗ」のように、各項目値は「Ｗ」、「４」、「ｗ」といった符号を用いて表記されているが、実際には、各項目値は具体的な意味が理解可能な態様のデータが記憶されることになる。

例えば、「シーンＷ」、「シーンＸ」、「シーンＹ」、「シーンＺ」は、実際には、それぞれ例えば「象の歩行シーン」「馬の歩行シーン」、「車の走行シーン」、「車の急旋回シーン」と言ったデータとなる。

その場合、「物体４」、「物体５」、「物体６」は、実際には、それぞれ例えばそれぞれ「馬」、「象」、「車」と言ったデータとなる。

さらに、「パターンｗ」、「パターンｘ」、「パターンｙ」、「パターンｚ」は、実際には、それぞれ例えば「馬の歩行音のパターン」、「象の歩行音のパターン」、「車の走行音のパターン」、「タイヤのスキール音のパターン」と言ったデータとなる。

なお、音声パターンは、例えば音声の特徴量を要素とする特徴量ベクトル等によって表される。例えば、特徴量は、音声信号に対してスペクトル分解を行うことによって得られるものであってもよい（例えば、メルフィルタバンクまたはケプストラム）。

そして、２つの音声パターンのそれぞれに対応する特徴量ベクトル間の類似度（例えば、コサイン類似度、ユークリッド距離）が閾値以上である場合に、当該２つの音声パターンは類似しているということができる。

例えば、「音声パターンがパターンｗに類似」は、シーンにおいて発生している音声から算出された特徴量ベクトルと、パターンｗに相当する音声の特徴量ベクトルとの類似度が閾値以上であることを意味する。

なお、音声パターンの類似に関する閾値についても、シーン情報ＤＢ１３２の「閾値」に含まれていてよい。

また、情報処理装置１０では、例えば、図５に示した条件カテゴリあるいは条件パラメータを組み合わせてシーンを検出することにしてもよい。例えば、図６に示すように、複数シーンの条件カテゴリを組み合わせて検出シーンを設定することにしてもよく、また、図７に示すように、複数シーンの条件パラメータを組み合わせて検出シーンを設定することにしてもよい。

例えば、このように、条件カテゴリや条件パラメータを組み合わせることで、新たな検出シーンの設定を簡略化することができる。

図４の説明に戻り、優先順位情報ＤＢ１３３について説明する。例えば、実施形態に係る情報処理装置１０では、各シーンに対してルールベースで優先順位を設定する。優先順位情報ＤＢ１３３は、臨場感パラメータの優先順位に関する各種情報を記憶する。図８は、優先順位情報ＤＢ１３３の一例を示す図である。

図８に示すように、例えば、優先順位情報ＤＢ１３３は、「ルール番号」および「優先順位ルール」といった項目の情報を互いに対応付けて記憶する。「ルール番号」は、優先順位ルールを識別するための番号を示し、「優先順位ルール」は、優先順位に関するルールを示す。

同図に示す「先に検出したシーンを優先」および「後に検出したシーンを優先（後のシーンになったら切替）」は、それぞれ時間的に先あるいは後にくるシーンの臨場感パラメータを優先することを示す。これにより、例えば、シーンの優先度の設定に際し、ルールを容易化することができる。

また、「特定のパラメータの重みが大きい方を優先」は、臨場感パラメータのうち、音声強調パラメータあるいは振動パラメータのいずれかが大きい方のシーンの臨場感パラメータを優先することを示す。

すなわち、この場合においては、音声強調パラメータあるいは振動パラメータが大きい方のシーンに対して抽出された臨場感パラメータが設定されるので、強調すべき音声データあるいは振動データに連動した臨場感パラメータを提供することができる。

また、「パラメータそれぞれの重みが大きい方を優先」は、臨場感パラメータのうち、音声強調パラメータ同士あるいは振動パラメータ同士で大きい方のシーンの臨場感パラメータそれぞれを優先することを示す。このルールの場合、音声強調パラメータと、振動パラメータでそれぞれ異なるシーンのパラメータが用いられる場合もある。

すなわち、この場合においては、振動データおよび音声データそれぞれについて、値の大きい臨場感パラメータで強調することができるので、振動データおよび音声データそれぞれの臨場感を向上させることができる。なお、ここでの重みの大小は、例えば、パラメータの値の大小を示す。

また、「シーンが短い方のパラメータを優先」は、時間長が短いシーンの臨場感パラメータを優先することを示す。時間が長いシーンの再生時において、時間が短いシーンが割り込みしてきた場合、時間が短いシーンの間は、当該シーンの臨場感パラメータが優先的に設定されることになる。

これにより、例えば、時間が短いシーンを適切に強調することができる。なお、シーンが長い方のパラメータを優先するようなルールを設定することにしてもよい。

また、「低域の振幅が大きい方を優先」は、対象物が音声を発生させているシーンが同時発生した場合に、低域（例えば、５００Ｈｚ未満）の振幅が大きい音声を発生させている対象物に対応するシーンを優先することを示す。

一般的に、生物が大型であるほど、当該生物の歩行音の低域の振幅が大きくなることが考えられる。このため、例えば、象の歩行シーンと馬の歩行シーンが検出された場合、「低域の振幅が大きい方を優先」というルールに従って、象の歩行シーンが優先されることになる。

また、「音や映像の時間変動が大きいシーンを優先」は、対象物が発生させている音声の音量、または映像中における対象物の位置の、単位時間における変動が大きいシーンを優先することを示す。

また、「視野の中心に近い対象物のシーンを優先」は、コンテンツの映像において、画面の中心に近い位置に位置する対象物に対応するシーンを優先することを示す。このルールについては、後に図１２を用いて説明する。

また、「シーンＷよりもシーンＸを優先」は、シーンＷとシーンＸが検出された場合に、シーンＸを優先することを示す。このように、特定の２つ以上のシーンについて、人（デザイナー、開発者）が事前に手動で優先ルールを定めておいてもよい。

図４の説明に戻り、パラメータ情報ＤＢ１３４について説明する。パラメータ情報ＤＢ１３４は、シーン毎の臨場感パラメータに関する情報を記憶するデータベースである。図９は、パラメータ情報ＤＢ１３４の一例を示す図である。

図９に示すように、パラメータ情報ＤＢ１３４は、例えば、「シーン名」、「音声強調パラメータ」および「振動パラメータ」といった項目の情報を互いに対応付けて記憶する。

「シーン名」は、上述した検出シーンの名称を示し、例えば、図５等に示した「検出シーン」に対応する。なお、ここでは、説明を分かりやすくする観点から「シーン名」を爆発シーン、コンサートホールシーン、象の歩行シーン、馬の歩行シーン、車の走行シーン、車の急旋回シーンとして示している。

「音声強調パラメータ」は、対応するシーンにおいて設定する音声強調パラメータを示す。

また、音声出力デバイス４に対しては、例えば、「ディレイ」、「帯域強調・減衰」といった音声処理に関する項目のパラメータの値を記憶する。例えば、「ディレイ」は、遅延させる時間に関するパラメータを示し、「帯域強調・減衰」は、どの帯域の音をどの程度、強調あるいは減衰させるかといったパラメータを示す。

「振動パラメータ」は、対応するシーンにおいて設定する振動のパラメータを示し、「音声強調パラメータ」と同様に振動デバイス５の個数に応じて、それぞれ各振動デバイス５に対して個別のパラメータが記憶される。「振動パラメータ」として、例えば、「ＬＰＦ（Low Pass Filter）」、「ディレイ」および「増幅」といった項目のパラメータがそれぞれ記憶される。

「ＬＰＦ」は、ローパスフィルタに関するパラメータ（ローパスフィルタのカットオフ周波数）を示し、「ディレイ」は、遅延させる時間に関するパラメータを示す。また、「増幅」は、どの程度、増幅あるいは減衰させるかといった振動処理に関するパラメータを示す。

図４の説明に戻り、制御部１２０について説明する。制御部１２０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、記憶部１１に記憶されている図示略の各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２０（コントローラ）は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することもできる。また、音声信号や振動信号等の信号波形処理に関しては、当該処理が得意なＤＳＰ（Digital Signal Processor）も搭載して処理を行なわせる方法、つまりＤＳＰとＣＰＵ等とが協働して処理を行なうコントローラにより各種処理を行なう構成は有効な実現方法となる。

制御部１２０は、コンテンツ生成部１２１と、レンダリング処理部１２２と、シーン検出部１２３と、優先順位設定部１２４と、パラメータ抽出部１２５と、出力部１２６とを有し、以下に説明する情報処理の機能や作用を実現または実行する。

コンテンツ生成部１２１は、ＸＲコンテンツ内の空間に関する３Ｄモデルを生成する。例えば、コンテンツ生成部１２１は、ＸＲコンテンツＤＢ１３１を参照し、ユーザの現在のＸＲコンテンツ内の視野にあわせて、ＸＲコンテンツ内の空間の３Ｄモデルを生成する。コンテンツ生成部１２１は、生成した３Ｄモデルをレンダリング処理部１２２へ渡す。

レンダリング処理部１２２は、コンテンツ生成部１２１から受け取った３Ｄモデルから映像データや音声データへ変換するレンダリング処理を行う。レンダリング処理部１２２は、変換した映像データを表示装置３（図２参照）へ出力するとともに、シーン検出部１２３へ渡す。また、レンダリング処理部１２２は、変換した音声データを出力部１２６およびシーン検出部１２３へ渡す。なお、コンテンツ生成部１２１およびレンダリング処理部１２２は、コンテンツから条件式の項目に対する条件データを算出する算出部としての機能を担う。

シーン検出部１２３は、入力されたコンテンツから所定条件を満たすシーンを検出する。例えば、シーン検出部１２３は、レンダリング処理部１２２から入力される映像データおよびシーン情報ＤＢ１３２に記憶される条件式を用いて、臨場感パラメータを設定すべきシーンを検出する。

この際、例えば、シーン検出部１２３は、例えば、レンダリング処理部１２２からＸＲ空間内のオブジェクトの座標情報およびオブジェクト種別に関する情報を受け取り、条件式を用いて、臨場感パラメータを設定すべきシーンを検出する。

なお、シーン検出部１２３は、例えば、ＸＲコンテンツがＭＲコンテンツである場合には、例えば、ＭＲ空間内を撮影した画像に対する画像解析を行うことで、ＭＲ空間内のオブジェクトの認識あるいはオブジェクトの座標の算出を行うようにしてもよい。

図１０は、シーン検出部１２３のブロック図である。図１０に示すように、例えば、シーン検出部１２３は、シーン判定部１２３ａおよび条件設定部１２３ｂを備える。シーン判定部１２３ａは、シーン情報ＤＢ１３２に記憶されるシーン判定のための各条件データ（条件式）を用いて、映像データ内の状況が各シーンの検出条件を満たすか否かを判定する。

より具体的には、例えば、図５に示したように、シーン判定部１２３ａは、ユーザと対象物（ＸＲ空間内のオブジェクト）との位置関係、ユーザの動作、ユーザが存在する空間情報等の条件式の項目に対するデータ（コンテンツからコンテンツ生成部１２１あるいはレンダリング処理部１２２によって算出）に基づき、現在のＸＲ空間の状況が予め定義された各検出シーンに対応するか否かを判定する。

ここで、シーン判定部１２３ａは、ＸＲ空間内のユーザの動き、オブジェクトの座標情報およびオブジェクト種別に関する情報、空間情報などといったコンテンツ生成部１２１あるいはレンダリング処理部１２２によって既に算出されたテキスト情報的なデータを用いて、シーン検出処理を行う。

これにより、例えば、ＣＰＵの性能が比較的低い場合であっても、レンダリング処理部１２２によるレンダリング処理等の比較的処理負荷が重い処理と並列してシーン検出～臨場感パラメータの抽出処理等の処理を行うことが可能となる。

また、この際、例えば、シーン判定部１２３ａは、例えば、図６に示したように、条件カテゴリの組みあわせ、あるいは、図７に示したように、条件パラメータの組み合わせをも含むシーン判定用情報に基づいて、現在のＸＲ空間の状況が各検出シーンに対応するか否かを判定することにしてもよい。

そして、シーン判定部１２３ａは、検出シーンに対応すると判定した場合、当該映像データに対する検出シーン情報を、優先順位設定部１２４（図４参照）へ渡す。なお、シーン判定部１２３ａによっていずれの検出シーンにも対応しないと判定された場合には、該当の検出シーンで無いとして臨場感パラメータは初期状態（該当の検出シーンで無い場合の臨場感パラメータ）に戻されることになる。また、シーン判定部１２３ａは、現在のＸＲ空間の状況が複数の検出シーンに対応すると判定した場合、判定された複数の検出シーンを優先順位設定部１２４へ渡す。

また、ここでは、シーン判定部１２３ａが映像データに基づいて、検出シーンか否かを判定する場合について説明したが、シーン判定部１２３ａは、音声データに基づいて検出シーンか否かを判定することにしてもよい。

例えば、シーン判定部１２３ａは、入力されたコンテンツにおいて対象物から音声が発生しているシーンを検出する。この場合の検出されたシーンは、条件カテゴリが「対象物から音声が発生」であるので、図５のシーンＷ、シーンＸ、シーンＹ、シーンＺ（象の歩行シーン、馬の歩行シーン、車の走行シーン、車の急旋回シーン）が候補シーンとなる。

そして更に、シーン判定部１２３ａは、コンテンツの音声信号から得られた特徴量ベクトルと、候補シーンにおける予め定められた音声の特徴量ベクトル（例えば、パターンｗ等）との類似度を算出し、当該類似度が閾値以上であるか否かを判定し、音声パターンが候補シーンの音声パターン条件を満足するか判断する。更に、シーン判定部１２３ａは、入力されたコンテンツにおける対象物の距離が候補シーンにおける閾値以下（例えば、２０ｍ以下）かを判定し、対象物までの距離が候補シーンの閾値条件を満足するか判断する。そして、これら条件が満たされれば、シーン判定部１２３ａは、候補シーンが検出シーン（例えば、シーンＷ）として決定される。

条件設定部１２３ｂは、シーン検出のための各種条件式を設定する。条件設定部１２３ｂは、例えば、ＸＲコンテンツの制作者や、ユーザにから入力される情報に基づいて、条件式を設定する。

例えば、条件設定部１２３ｂは、制作者あるいはユーザからどのようなシーンに対してどのような臨場感を設定したいといった情報の入力を受け付け、かかるシーンの状況を条件式に落とし込む。そして、条件設定部１２３ｂは、条件式の設定毎に、条件式に関する情報をシーン情報ＤＢ１３２に書き込むとともに、対応する臨場感パラメータをパラメータ情報ＤＢ１３４へ書き込む。

また、クラウドサーバ等にコンテンツ毎にシーン情報ＤＢ１３２およびパラメータ情報ＤＢ１３４を登録・保存しておき、条件設定部１２３ｂは、ユーザが視聴するコンテンツの情報を基に当該クラウドサーバ等から、コンテンツ視聴前にシーン情報およびパラメータ情報３４を検索して取りこみ、シーン情報ＤＢ１３２およびパラメータ情報ＤＢ１３４に設定してもよい。

条件設定部１２３ｂは、対象物が指定された低周波領域の音声を発生させるシーンを検出するための条件を設定することができるが、具体的には次のように設定する。例えば、２０ｍ以内に存在する象の歩行音（低周波領域の音声を含む）が含まれるシーンを検出する条件として、条件設定部１２３ｂは、「条件カテゴリ」が「対象物から音声が発生」、「対象物」が「象」、「条件パラメータ」が「距離」と「音声パターン」、「閾値」が「２０ｍ」と図示は省略するが「基準音声パターン（ここでは象）と音声パターン差に対する許容閾値（類似と判断できる差の最大）」、「条件式」が「距離が閾値より小」と「音声パターン差が許容閾値以下（音声パターンが類似）」を設定し、当該設定したデータのレコードを、シーン情報ＤＢ１３２に追加する（図５のシーンＷのレコードに相当）。

なお、上記例では、条件設定部１２３ｂは、コンテンツにおけるシーンに対象物（例えば象）が存在していることを音声パターンを用いて判断する場合の条件を設定したが、映像解析を用いて（映像パターンを用いて）判断する場合の条件（例えば、「条件パラメータ」が「映像パターン」、「閾値」が「基準映像パターン（ここでは象）と映像パターン差に対する許容閾値（類似と判断できる差の最大）」、「条件式」が「映像パターン差が許容閾値以下（映像パターンが類似）」となる）を設定することにより、同様にシーンに対象物（例えば象）が存在しているシーンを映像で判断することができる。

また、条件設定部１２３ｂは、パラメータ情報ＤＢ１３４の「振動パラメータ」の値を設定（初期設定・変更）する。主な設定方法は、上述の制作者あるいはユーザによる入力情報に基づくパラメータの設定方法と、コンテンツ種別等に基づく自動設定方法がある。

具体的には、ユーザによる入力情報に基づくパラメータの設定方法は、ユーザがパラメータを設定（変更）するシーンおよび設定（調整）するパラメータ種別を選択し、アップダウン操作ボタン等の操作により当該シーンにおける設定対象のパラメータを変更する。なお、設定の際にはパラメータ設定対象シーンのテスト画像を表示し、また設定中のパラメータに基づく振動を発生することにより、振動を実感しながら設定するのが好ましい。

また、コンテンツ種別等に基づく自動設定方法は、例えば再生するコンテンツの種別を検出し（コンテンツ情報に付与されたコンテンツ名称・種別情報等により判定、あるいはコンテンツ映像・音声の一部を解析して推測する）、検出されたコンテンツの種別に応じて各パラメータを補正する。尚、補正値はコンテンツ種別に応じて予め設定された補正値情報（装置設計者等が設定した装置内のメモリ等に記憶、あるいはサーバ（各装置から補正値情報を収集し、統計的処理を施すなどしてコンテンツ種別に応じた適切な補正値を記憶）から取得する）から取得する。

これにより、シーン情報ＤＢ１３２およびパラメータ情報ＤＢ１３４の設定をより適切なものにすることができる。

また、条件設定部１２３ｂは、コンテンツのシーンのうち、対象物から発生する低周波領域の音声の振幅が閾値を超えているシーンに対して、条件を設定するのが効率的である。

つまり、ユーザ（人）が感じる臨場感に対して影響が大きい振動は低周波領域の振動であるので、このような低周波領域の振動がある程度大きい（例えば、振動に関してノイズと感じられる強度閾値（適度なオフセットを加えるのが好ましい）を超える振動）シーンに対して振動制御対象のシーンとして選定し、当該シーンにおけるパラメータを設定する。

なお、このようなシーンはユーザ、コンテンツ創作者が設定する、あるいはサーバ（各装置から各種コンテンツのシーン情報、パラメータ情報等を収集し、統計的処理を施すなどして適切なシーン情報およびパラメータ情報を記憶）から取得する方法等が考えられる。

また、上述の強度閾値は、コンテンツの種類（内容）によって定められてもよい。具体的には、コンテンツの種類（内容）と強度閾値のデータテーブルを予め作成しておき、条件を設定するシーン選択時に、対象のコンテンツに対応する強度閾値をデータテーブルから検索して、検索された強度閾値を用いて条件設定のシーンを選択する。

例えば、コンテンツの種類には、ユーザに主として音楽を聴かせるためのミュージックビデオ、動物の生体を解説するための動物ドキュメンタリー等がある。

ミュージックビデオにおける象の歩行シーンでは、音楽の妨げにならないようにするため、過度に振動を発生させない方がよい場合が多い。一方で、動物ドキュメンタリーにおける象の歩行シーンでは、臨場感を出すために振動を発生させた方がよい場合が多い。

このため、ミュージックビデオにおける閾値を、動物ドキュメンタリーにおける閾値よりも低く設定する。この結果、条件設定部１２３ｂは、ミュージックビデオにおける象の歩行シーンを、動物ドキュメンタリーにおける象の歩行シーンより、振動を発生させる対象のシーンと設定されにくくなり、ミュージックビデオにおける象の歩行シーンにおいて不要な振動の印加が抑止されることになる。

これにより、各シーンについて当該シーンを含むコンテンツに適した振動を発生させることが可能になる。

なお、上記のシーン情報ＤＢ１３２およびパラメータ情報ＤＢ１３４の設定処理は、ユーザがコンテンツ視聴中に実際に行った振動の各種調整（ディレィ値等）に基づき新たなパラメータ値（たとえば、調整値自体あるいはオフセット等を加えた値）を設定する等により行われてもよい。

これにより、情報処理装置１０では、制作者あるいはユーザが要望したシーンを検出することが可能となり、検出したシーンに対して制作者あるいはユーザが要望した臨場感パラメータを設定することが可能となる。

図４の説明に戻り、優先順位設定部１２４について説明する。優先順位設定部１２４は、シーン検出部１２３によって検出されたシーンに対して優先順位を設定する。

例えば、優先順位設定部１２４は、優先順位情報ＤＢ１３３を参照し、シーン検出部１２３にて同時に複数種のシーンが検出判定された場合にどのシーンに対する処理を優先するかを選択する。なお、シーン検出部１２３が１つのシーンしか検出判定されなかった場合は、そのシーンが優先順位最上位となる。

図１１は、優先順位設定部１２４のブロック図である。例えば、図１１に示すように、優先順位設定部１２４は、タイミング検出部１２４ａと、ルール設定部１２４ｂとを有する。

タイミング検出部１２４ａは、シーン検出部１２３にて検出したシーンの発生するタイミングとその終了するタイミングを検出する。例えば、タイミング検出部１２４ａは、シーン検出部１２３からの各時点のシーン情報に基づき、各時点で存在する各シーン（重複状態も把握）、存在するシーンの発生タイミング、存在したシーンが消去したタイミング等を検出する。つまり、タイミング検出部１２４ａは、各時点では存在している全シーンの状態をその発生順位も含めて把握することになる。

ルール設定部１２４ｂは、シーン検出部１２３にて検出されたシーンに対して、臨場感パラメータの決定に使用するシーンの優先順位を設定する。つまり、タイミング検出部１２４ａで把握された存在する全シーンの状態に基づき、その時点で用いる臨場感パラメータをどのシーンに紐づけられたパラメータを優先的に用いるか決定するため、検出シーンについて優先順位を設定する。これにより、情報処理装置１０では、当該優先順位に応じた臨場感パラメータを設定することができる。

すなわち、情報処理装置１０では、予め各シーンに対して優先順位条件を設定しておくことで、シーンＡとシーンＢとが時間的に重複する場合において、どちらのシーンの臨場感パラメータを優先して使用すべきかを適切に決定することができる。

例えば、ルール設定部１２４ｂは、優先順位情報ＤＢ１３３を参照し、音声強調パラメータおよび振動パラメータのそれぞれに対し、使用するパラメータの決めるシーンの優先順位を設定する。この際、ルール設定部１２４ｂは、例えば、音声出力デバイス４毎、振動デバイス５毎にそれぞれ独立した優先順位ルールに基づきパラメータ選択に使用するシーンを設定することにしてもよい。

これにより、それぞれの音声出力デバイス４およびそれぞれの振動デバイス５では、独自のルールにしたがって臨場感パラメータが設定されるので、一律に臨場感パラメータを設定する場合に比べて、さらなる臨場感の向上を図ることができる。

また、ルール設定部１２４ｂは、設定したルールに関する情報を映像データおよび音声データに対応付けてパラメータ抽出部１２５（図４参照）へ渡す。

図４の説明に戻り、パラメータ抽出部１２５について説明する。パラメータ抽出部１２５は、シーン検出部１２３によって検出されたシーンに対して臨場感パラメータを抽出する。

図１３は、パラメータ抽出部１２５のブロック図である。図１３に示すように、パラメータ抽出部１２５は、振動パラメータ抽出部１２５ａと、音声強調パラメータ抽出部１２５ｂと、学習部１２５ｃとを有する。

振動パラメータ抽出部１２５ａは、パラメータ情報ＤＢ１３４を参照し、優先順位設定部１２４により優先順位最上位とされたシーンに対応する振動パラメータを抽出する。例えば、振動パラメータ抽出部１２５ａは、優先順位設定部１２４から受け取った優先順位最上位の「検出シーン」に対応する振動パラメータをパラメータ情報ＤＢ１３４から抽出することで、シーンに対応する振動パラメータを抽出する。

つまり、シーン検出部１２３が音声を発生させる対象物が互いに異なる時間的に重複する複数のシーンを検出した場合に、パラメータ抽出部１２５は、優先度の高い、すなわち振動によりユーザがより臨場感を感じると推定されるシーンを選択し、当該シーンに対応する振動生成のパラメータを抽出することが可能となる。その結果、複数のシーンが重複するコンテンツ再生期間においても、適切なパラメータによる臨場感豊かな振動を生成することができる。

具体的には、図８に示した優先順位情報ＤＢの優先順位ルール、各シーンに対する優先順位条件（図５に示したシーン情報ＤＢに設定記憶しておく）の設定内容により、シーン検出部１２３がこのようなシーン選択処理を行なうことを実現できる。

例えば、シーン検出部１２３は、象が歩行音を発生させるシーン（象の歩行シーン）と、馬が歩行音を発生させるシーン（馬の歩行シーン）とが検出された場合、パラメータ抽出部１２５は、「低域の振幅が大きい方を優先」というルールに従い、象の歩行シーンを優先する。これにより、現実世界でも主に感じる振動である象の歩行による振動を再現する振動がコンテンツ再生（例えば仮想空間）でもユーザに印加され、ユーザは臨場感豊かな、つまり現実に近い振動感を得ることができる。

また、シーン検出部１２３が音声を発生させる対象物が互いに異なる時間的に重複する複数のシーンを検出した場合に、パラメータ抽出部１２５は、コンテンツに含まれる画像における、複数のシーンのそれぞれに対応する対象物の種別、および位置に基づいて複数のシーンの中から選択したシーンに対応するパラメータを抽出する方法を適用することもできる。

具体的には、図８に示した優先順位情報ＤＢの優先順位ルール、各シーンに対する優先順位条件（図５に示したシーン情報ＤＢに設定記憶しておく）の設定内容（本例の場合は、優先順位条件に対象物の種別（ｍ）と対象物までの距離（ｄ）の関数値Ｆ(Ｍ、ｄ)を加え、優先順位ルールに関数値Ｆ(Ｍ、ｄ)による条件（例えば、関数値「Ｆ(Ｍ、ｄ)」が大きい方を優先とする））を設定することにより、シーン検出部１２３がこのようなシーン選択処理を行なうことを実現できる。

図１２に示す具体例を用いて、対象物の位置に基づいて優先するシーンを決定する方法を説明する。図１２は、優先する対象物の決定方法の例を示す図である。

図１２に示すように、表示装置３には、再生中のコンテンツの画像３１が表示されているものとする。画像３１には、オブジェクト３１１（馬）およびオブジェクト３１２（象）が映っている。このとき、シーン検出部１２３は、振動制御の対象シーンとして条件を満たす馬の歩行シーンと象の歩行シーンの両方を検出したものとする。

また、基準位置（コンテンツ画像に対するユーザ位置、例えばＸＲコンテンツにおけるユーザに対応するアバターの位置）からオブジェクト３１１までの距離はＬ１であったとする。一方、基準位置からオブジェクト３１２までの距離はＬ２であったとする。また、オブジェクト３１１およびオブジェクト３１２の基準振動強度（コンテンツにおける物体の音声信号の低周波数成分強度）が、それぞれＶ１、Ｖ２とする。さらに、優先条件が「関数Ｆ（Ｌｎ，Ｖｎ）＝Ｖｎ／（Ｌｎ・Ｌｎ）の値が大きい方を優先」と設定されていた場合を例とする。

なお、基準位置からオブジェクトまでの距離は、コンテンツに付加された情報等により算出される（例えば、ＸＲコンテンツにおける映像生成に用いられる各オブジェクトの位置情報により算出される）。また、オブジェクトの基準振動強度は、オブジェクト種別毎に予め設定された基準振動強度が記憶されたデータテーブルから対象オブジェクトの種別に応じて読み取ることにより決定する方法、コンテンツ情報としてコンテンツに付加しておく方法等により実現できる。また、コンテンツには音声再生のために音声データが付加されている場合が多いので、当該音声データにおける低域特性（音声強度レベル、低域信号レベル等）に基づき基準振動強度を算出すること（振動態様は音声の低域成分と相関が高かく、また音声の低域成分に基づき振動を生成する場合が多い）が可能である。

このように、情報処理装置１０は、コンテンツにおける振動発生対象物が発生する音声の低域特性を推定することができる。その場合、情報処理装置１０は、推定した低域特性に基づき振動発生対象物を選定する。これにより、より適切な振動発生対象物の選定が可能になる。

例えば、音声の低域特性は、低域信号レベルである。その場合、情報処理装置１０は、推定した低域信号レベルが閾値を越える振動発生対象物を選定する。情報処理装置１０は、音声データから低域信号レベルを抽出することができる。これにより、音声データに含まれる低域信号レベルを用いて、振動発生対象物を容易に選定することが可能になる。

また、低域信号レベルの閾値は、コンテンツ種別に応じて設定される。前述の通り、ミュージックビデオは、動物ドキュメンタリーと比べて、同じ対象物であっても振動を発生させた方がよい場合が多い。このように、コンテンツ種別（ミュージックビデオ、動物ドキュメンタリー等）に適した振動対象物の選定が可能になる。

この場合、オブジェクト３１１（馬）とオブジェクト３１２（象）の関数値の関係が関数Ｆ（Ｌ１，Ｖ１）＞関数Ｆ（Ｌ２，Ｖ２）であれば、オブジェクト３１１が音声（振動）を発生させているシーン、すなわち馬の歩行シーンが優先的に選択され、パラメータ抽出部１２５は馬の歩行シーンに対応する振動パラメータを抽出する。そして、馬の歩行シーンに対応する振動がユーザに印加されることになる。その後、例えばオブジェクト３１２（象）が基準位置に接近し、関数Ｆ（Ｌ１，Ｖ１）＜関数Ｆ（Ｌ２，Ｖ２）の関係に変化すれば、オブジェクト３１１が音声（振動）を発生させているシーン、すなわち象の歩行シーンが優先的に選択され、パラメータ抽出部１２５は、象の歩行シーンに対応する振動パラメータを抽出する。そして、象の歩行シーンに対応する振動がユーザに印加されることになる。

なお、関数Ｆ（Ｌｎ，Ｖｎ）が予め定められた所定閾値より小さい場合、つまりコンテツンツ（ゲームの仮想空間等）におけるユーザ位置における対象物による振動が小さい（ユーザがあまり感じない、すなわち振動を印加する必要があまり無い）場合には、振動を発生する対象物として選択しない方法も有効である。換言すれば、コンテツンツ（ゲームの仮想空間等）におけるユーザ位置における対象物による振動がある程度大きい（振動を再現すれば臨場感の向上が感じられる程度）コンテンツの物体だけを振動を発生する対象物として選択する方法も有効である。つまり、振動発生対象物の候補となる対象物候補から発生する振動信号への影響が大きい対象物（ユーザがその振動を強く感じる振動対象物）を選択する。

これにより、情報処理装置１０は、振動発生対象物の候補となる対象物候補から発生する振動信号への影響が大きい対象物候補を推定し、振動発生対象物として選定することができる。その結果、ユーザの実空間での感覚に合致した振動をユーザに印加することとなり、臨場感豊かなコンテンツに再生が可能になる。

この場合、振動を発生する対象物として選択する場合の閾値については、コンテンツ種別に基づき変更するのが好ましい。つまり、コンテンツの内容によっては、コンテンツに登場する物体による振動の再現を控えたり、あるいは強調したりするのが好ましいものがあり、振動を発生する対象物の決定内容（判断レベル）を調整するのが好ましいためである。

つまり、振動の生成原理としては次のようになる。コンテンツの内容に基づきコンテンツ（の各場面）において振動を発生する対象物を決定する。そして、決定した対象物に対応する音響信号（コンテンツに含まれる対象物の音声データ、あるいは当該シーンにおける音声データから生成した対象物の音声データ（例えば、低周波領域をフィルタリングして取り出す））に基づき振動信号（振動データ）を生成する（対象物の音声信号の低周波数成分を取り出し、適当に増幅するなどして生成する）。

また、振動を発生する対象物を決定する方法としては、コンテンツにおける音声発生物体における発声音の低域特性（例えば、音量レベル）を推定し（上述の例の場合は、物体（オブジェクト）の種別に基づく基準振動強度と、基準位置（コンテンツの仮想空間におけるユーザ存在位置等）と物体（オブジェクト）との距離とに基づき推定）、対象物を決定する（音声発生物体における発声音の低域音量レベルが大きい方を、振動を発生する対象物として決定）。

このように、対象物の位置に基づいて優先するシーンを決定することで、ユーザの視覚的な直感により適合した振動、つまりユーザの実空間での感覚に合致した振動をユーザに印加することとなり、臨場感豊かなコンテンツに再生が可能になる。

この際、振動パラメータ抽出部１２５ａは、各振動デバイス５それぞれに対して、それぞれ対応する振動パラメータを抽出する。これにより、一律に振動パラメータを抽出する場合に比べて、臨場感のさらなる向上を図ることができる。

音声強調パラメータ抽出部１２５ｂは、パラメータ情報ＤＢ１３４を参照し、優先順位設定部１２４により優先順位最上位とされたシーンに対応する音声強調パラメータを抽出する。音声強調パラメータ抽出部１２５ｂは、各音声出力デバイス４に対して個別に音声強調パラメータを抽出するとともに、振動パラメータ抽出部１２５ａと同様に優先順位設定部１２４にて設定された優先順位に基づいて（優先順位最上位のシーンに基づき）抽出する音声強調パラメータを決定する。

学習部１２５ｃは、パラメータ情報ＤＢ１３４に記憶されたシーンと臨場感パラメータとの関係性を学習する。例えば、学習部１２５ｃは、パラメータ情報ＤＢ１３４に記憶された各シーンと、対応する各臨場感パラメータとを、当該パラメータによる臨場感制御に対するユーザの反応等を学習データとして機械学習を行うことで、シーンと臨場感パラメータとの関係性を学習する。

この際、例えば、学習部１２５ｃは、臨場感パラメータに対するユーザ評価（臨場感制御後のユーザの調整操作や、アンケート等のユーザ入力）を学習データとして用いることにしてもよい。すなわち、学習部１２５ｃは、どのようなシーンに対してどのような臨場感パラメータを設定すると、高いユーザ評価（すなわち、高い臨場感が得られたか）が得られるかといった視点でシーンと臨場感パラメータとの関係性を学習することにしてもよい。

さらに、学習部１２５ｃは、新たなシーンが入力された場合に、どのような臨場感パラメータを設定すべきかを学習結果から決定することもできる。具体的な例として、例えば、爆発シーン等の類似状況の臨場感制御の学習結果を用いて、花火シーンの臨場感パラメータを決定することができる。また、臨場感制御後のユーザの調整操作や、アンケート等のユーザ入力に、優先順位を変更するような要素の有無・程度（ユーザの調整操作が同時に存在する他のシーンに対応するパラメータに近づくものであった場合や、アンケートで他シーンを優先すべき回答があった場合等）に基づき、優先順位に関するルールを学習することも可能である。

これにより、情報処理装置１０では、例えば、優先順位に関するルールや、臨場感パラメータの最適化を自動的に行うことが可能となる。

図４の説明に戻り、出力部１２６について説明する。出力部１２６は、パラメータ抽出部１２５によって抽出された臨場感パラメータを音声出力デバイス４および振動デバイス５に対し出力する。

図１４は、出力部１２６のブロック図である。図１４に示すように、出力部１２６は、音声強調処理部１２６ａと、音声振動変換処理部１２６ｂと、反射音生成部１２６ｃと、定位感生成部１２６ｄと、を有する。

音声強調処理部１２６ａは、レンダリング処理部１２２から受け取った音声データおよびパラメータ抽出部１２５によって抽出された音声強調パラメータを用いた強調処理を行う。例えば、音声強調処理部１２６ａは、音声強調パラメータに基づいて、ディレイあるいは帯域強調・減衰処理を行うことで、音声データに対する強調処理を行う。これは、ユーザへの振動印加に合わせて再生音声にも適当な強調処理を施し、臨場感に対する振動との協調効果を狙い、また振動印加提供によるユーザの音声聴取に対する影響を考慮したものである。

そして、音声強調処理部１２６ａは、音声強調処理を施した音声データを反射音生成部１２６ｃに出力する。なお、音声強調処理部１２６ａは、レンダリング処理部１２２から受け取った音声データに含まれる（定位感制御のために音声データに含ませている）各音源の位置データを音声データに含めて反射音生成部１２６ｃに出力する。

反射音生成部１２６ｃは、音声強調処理部１２６ａからの音声データ（音声強調処理済）に基づき、コンテンツにおける各音源から発生する音声の反射音を生成する。

尚、反射音を生成する対象の音源は、例えば音声レベルが所定以上の音源、振動発生の対象となった音源、音声レベルが上位所定数（例えば、最大音声レベルの音源のみ）の音源等、処理デバイス（ＣＰＵ等）の性能等を考慮し適宜選択すればよい。

そして、反射音生成部１２６ｃは、音声強調処理部１２６ａからの音声データ（音源位置データを含む）と反射音データ（反射音源位置データを含む）を定位感生成部１２６ｄに出力する。なお、反射音生成部１２６ｃの行う処理の詳細は、後ほど説明する。

定位感生成部１２６ｄは、反射音生成部１２６ｃからの音声データと反射音データに基づき、ユーザが各音源位置に定位感を持つように、音声出力デバイス４の各発音ユニット（スピーカユニット）に対する音声出力信号を生成し、音声出力デバイス４に出力する。

なお、音声出力デバイス４がアナログ入力デバイスであればアナログの音声信号を出力し（出力部１２６はデジタル－アナログ変換器を有する）、デジタル入力デバイスであればデジタルの音声データを出力することになる。

定位感生成部１２６ｄの行う処理は、所謂サラウンド処理等と呼ばれている公知の各種処理を用いることができる。基本的な例では、音の定位感（音源方向）は左右の耳への音声到達時間差および音量差に応じて得られる。例えば、音が先に到着した耳の側に定位感は得られる（例えば、右耳に先に音が届くと右側に音の定位感を感じる）、また音が大きい耳の側に定位感は得られる（例えば、左耳の音が大音量であると左側に音の定位感を感じる）。また、耳の前後位置に別のスピーカユニットを設け、各スピーカユニットにおける出力音声の時間差および音量差を変えると、音の前後方向の定位感が変わる。例えば、耳の前位置（前方向）のスピーカユニットから出力される音声の音量を大きくし、あるいは発声タイミングを早くすると（耳の後位置（後方向）のスピーカユニットに比べて）、音の定位感は前方方向になる。そこで、音源位置情報に応じて、音声信号を音量調整処理、遅延処理して音声出力デバイスの各スピーカユニットに対する音声信号を生成し、各スピーカユニットから当該音声信号による音声を出力させ、音源に対する定位感をユーザに感じさせる。

このような処理により、定位感生成部１２６ｄから、音源位置データに基づく位置（音源位置）に定位感を感じさせる音声信号と、反射音源位置データに基づく位置（反射音源位置）に定位感を感じさせる反射音声信号が、声出力デバイス４（の各スピーカユニット）に出力されて音声再生され、ユーザは対象物の定位感を豊かに感じることができる。

なお、ここでは、図１に示すように音声出力デバイス４はヘッドフォン型であり、左耳および右耳のそれぞれに対応する複数のスピーカユニット（例えば、右耳側前後スピーカユニットと左耳側前後スピーカユニットによる４スピーカユニットのヘッドフォン）を備える。音声出力デバイス４は、音声強調処理部１２６ａから受け取った音声データ（各スピーカユニットに対応した別々の音声データから構成される）を基に、左右前後の各スピーカユニットに音声を分配して出力する。

次に、反射音生成部１２６ｃによる反射音を付加する処理について、詳細に説明する。反射音生成部１２６ｃは、ＸＲコンテンツにおける発声物体（音源）から発生する音声に反射音を付加する。

まず、図１５を用いて反射音について説明する。図１５は、反射音について説明する図である。

図１５に示すように、コンテンツの仮想空間において、コンテンツ視聴ユーザ（リスナー）に、音源であるオブジェクト３１２（発声物体）から発生する音声に、音源から発生する音声が仮想壁３１３に反射した反射音を付加して、提供することで、リスナーはオブジェクト３１２との間の距離感を感じることができる。なお、リスナーはコンテンツの仮想空間におけるリスナーに対応するアバターの存在位置に位置する。換言すれば、実空間のリスナー位置に、仮想空間におけるリスナーに対応するアバターが位置するように仮想空間が形成されている。

反射音により音源の定位感が増すのは、定位感を感じる元となる音声要素が多くなる（直接音に反射音が加わる）、壁による反射音がある室内で音を聞く機会が多くあり、反射音がある空間での定位感が自然と鍛えられている、と言ったような要因等が考えられる。

このため、仮想空間に音声を反射する仮想壁３１３を設置し、音源であるオブジェクト３１２からの音声が当該仮想壁３１３により反射してリスナー６１に到達する反射音をリスナーに提供することにより、音源３１２に対する定位感をリスナー６１に効果的に感じさせることができ、豊かな臨場感のコンテンツ再生が可能となる。

さて、反射音生成部１２６ｃは、コンテンツによって提供される仮想空間において、リスナーの位置が壁に囲まれた空間内（屋内）である場合、壁自体を仮想壁として反射音を生成する。このため、リスナー６１が移動してもリスナー６１と仮想壁との位置関係は、仮想空間における実際のリスナー６１と壁との位置関係と同じであり、上述の方法により反射音を生成すれば自然なものとなる。

しかし、コンテンツによって提供される仮想空間において、リスナーの位置が壁に囲まれた空間内でない場合（例えば、反射物が無い、草原等の屋外）、反射音生成部１２６ｃは、適当に（予め定めた方法で）作成した仮想壁を基に反射音を生成する。このため、仮想空間においてリスナーが移動した場合等、リスナー、仮想壁および音源の特異な位置関係になった場合に、不自然な反射音が生成されると言った問題が発生する。

そこで、本実施形態では、コンテンツによって提供される仮想空間において、リスナーの位置が壁に囲まれた空間内でない場合、リスナー、仮想壁および音源の位置関係に応じて仮想壁を移動させる等の処理を行なう。以降、仮想壁の形成、移動処理等について説明する。

図１６は、仮想壁の移動について説明する図である。図１６は、仮想空間において、リスナーを頭上から鉛直下向きに見た図である。

まず、反射音生成部１２６ｃは、リスナー６１を囲むように仮想壁を作成し、リスナー６１の周囲に横幅Ｗ（壁面長Ｗ）縦幅Ｄ（壁面長Ｄ）の仮想的な長方形の仮想壁面空間６２を作成する。この際、反射音生成部１２６ｃは、リスナー６１が長方形の仮想壁面空間６２の重心に位置するように仮想壁面空間６２を作成する。そして、反射音生成部１２６ｃは、この仮想壁面空間６２内にある音源６５に対して反射音の生成処理を行ない、仮想壁面空間６２の外にある音源６６に対しては反射音の生成処理を行なわない。

なお、仮想壁面空間６２を長方形とするのは、現実空間における壁で囲まれた空間（室内等）は長方形形状が多いため、仮想長方形空間で反射音を生成するのが自然な反射音（リスナーがその経験から自然と感じる）として有利なためである。また、仮想長方形空間を用いることにより、複雑な壁面空間を用いるより仮想音源の算出処理が容易になる利点もある。また、壁面長Ｗと壁面長Ｄとを等しい長さとし、仮想正方形空間を形成してもよい。

なお、壁面長Ｗおよび壁面長Ｄは感応試験等に基づき反射音作成に適当な長さに予め規定され、情報処理装置１０の記憶部１３０に記憶されている。

図１６に示すように、リスナー６１が移動した場合、仮想壁面空間６２はリスナーの位置に追従して移動する。つまり、反射音生成部１２６ｃは、仮想壁面空間６２の重心が常にリスナー６１の位置と重なるように仮想壁面空間６２を移動させる。なお、仮想壁面空間６２の移動は、仮想壁の移動を意味する。

図１７を用いて、反射音の作成方法を説明する。図１７は、反射音の作成方法を説明する図である。反射音生成部１２６ｃは、当該作成方法に基づく処理プログラムに従って具体的処理を行なうことになる。

なお、本実形態においては、定位感の重要成分である水平面方向における成分についてのみ反射音制御を行い、定位感への影響が比較的小さい垂直方向における成分については省略したものである。従って、図１７は仮想空間を上方から見た平面図となっている。

図１７に示すように、反射音生成部１２６ｃは、音源６３の位置を基に、仮想壁６２１、仮想壁６２２、仮想壁６２３、および仮想壁６２４のそれぞれに対応する音源６３の鏡像を作成する。

各仮想壁６２１，６２２，６２３，６２４は、コンテンツにおけるシーンに応じて作成される。具体的には、コンテンツにおけるシーンに壁が存在する場合（例えば、室内等）は当該壁の位置に作成される。また、コンテンツにおけるシーンで壁が存在しない場合、リスナー６１の位置を基準に適当な位置（例えば、定位感の感応試験等で適当な位置を設定する）が決められる。具体的には、リスナー６１の位置から等距離にある直線により構成される正方形の仮想壁が作成される（立体的には、直方体が作成される）。

なお、コンテンツにおけるシーンに存在する壁面が一部の方向の場合、存在する壁については当該壁位置に基づき仮想壁が作成されることになり、また壁が無い方向についてはが存在する方向はリスナー６１の位置から適当な距離ある直線により仮想壁が作成されることになる。

また、説明を分かりやすくするために、リスナー６１の位置から等距離にある直線により構成される正方形の仮想壁の場合で説明を続けるが、他形状の仮想壁についても、仮想壁の位置が異なる点を考慮して、正方形の場合と同様の方法により反射音を生成することが可能である。

反射音生成部１２６ｃは、音源６３の仮想壁６２１に対する鏡像として仮想音源６３１を作成する。つまり、仮想壁６２１に対して音源６３と線対象に仮想音源６３１を作成する。具体的には、音源６３の位置から仮想壁６２１に対して引いた垂線の延長線上に仮想音源６３１を作成する。なお、音源６３から仮想壁６２１までの長さと仮想壁６２１から仮想音源６３１までの長さは等しい。反射音生成部１２６により、情報処理装置１０は、仮想音源生成装置として機能する。

音源６３からの直接音は、音源６３からリスナー６１への直接の直線経路６３１ａで、リスナー６１に到達する。また、音源６３からの反射音（一次反射音）は、音源６３から仮想壁６２１を経て（反射して）リスナー６１へ続く経路６３１ｂで、リスナー６１に到達する。なお、仮想壁６２１での反射音の反射は、入射角と反射角が等しくなる。従って、上述のような方法により仮想音源６３１を作成すると、実際の反射音の経路６３１ｂと仮想反射音（仮想音源６３１からの音）の経路６３１ｃ、経路距離が同じ、リスナー６１から見た音の到来方向が同じとなる。このため、仮想音源６３１から音源６３と同じ音を発声すると実際の反射音を再現できることになる。

同様に、反射音生成部１２６ｃは、仮想壁６２２、仮想壁６２３、および仮想壁６２４の鏡像として、仮想音源６３２、仮想音源６３３および仮想音源６３４を作成する。

このように、各仮想壁６２１，６２２，６２３，６２４に対して仮想音源６３１，６３２，６３３，６３４を作成することにより、音源６３から各仮想壁６２１，６２２，６２３，６２４で反射してリスナー６１に到達する反射音を再現することが可能となる。

なお、反射音の関しては、壁による反射時に音声の減衰が起こるので、減衰係数Ｇ（音声信号に積算して音声信号を当該壁による減衰度に応じて減衰させる）情報も、仮想音源６３１，６３２，６３３，６３４の情報として後段の処理装置に提供する。また、減衰係数Ｇの値は、感応試験等により求めればよく、またコンテンツのシーン種別に応じて設定するようにしてもよい。

図１８は、反射音付加による音源の定位感の発生を説明する図である。仮想音源６３２の一般的な定位感制御では、つまり複数のスピーカから音源６３の発生音の音量レベル、出力タイミング（遅延量）を変えて出力する制御、つまりリスナーに両耳に到達する音源６３の発生音の音量、タイミングを変える制御では、音源６５の定位方向をリスナーに感じさせることができる。しかし、音源との距離感をリスナーに感じさせることは困難で、例えば同じ方向にある音源６３とのでは音の到来方向が同じであるため、方向感は同じとなり、定位感の差をリスナーに感じさせることは困難である。しかし、図１７で示した方法で、壁での反射波を仮想音源６３１，６４２でリスナーに提供すると、音源６３と音源６４でからの反射音の差、つまり反射音の経路６３１ｃ，６４２ｃによる反射音到来方向の差をリスナーに感じさせることができる。つまり、リスナーは音源の定位感に関する情報を得ることができ、過去の室内等（壁のある空間）における目視した音源の位置と聴取音（直接音・反射音が混じった音）の感覚の経験から、リスナーは音源の定位感をより感じることが可能となる。

次に音源の位置が設定された場合における、当該音源の発生音に定位感（方向感）を付与する方法例について説明する。なお、定位感（方向感）付与方法については各所方法が存在するが、単純な方法について説明する。

リスナーは、両耳に到達する音の音量差、および到達タイミングの差により音源の左右方向の定位感（方向感）を感じる。また、前後方向については、耳の前後方向の大まかな音量差感や頭部の僅かな移動に伴う聴取音の変化により、音源の方向感を感じる。この特性を利用し、リスナーの音を提供するデバイスとして、左右耳のそれぞれに前後方向から音を印加する複数のスピーカユニットを設けた音声出力デバイスを用いる。そして、音声出力デバイスの各スピーカユニットから音源が発生する音声の音量、遅延量を調整した音声信号を出力し、実際にリスナーの各耳に届く音源からの音声を再現することにより、音源の定位感をリスナーに感じさせる。

具体的には、音源６５から音声は、経路長６５Ｒでリスナー６１の右耳６１Ｒに到達し、また経路長６５Ｌでリスナー６１の左耳６１Ｌに到達する。このため、図１９（ａ）に示すように、行路差ΔＤ（６５Ｌ－６５Ｒ）分だけ、右耳６１Ｒに到達する音声と左耳６１Ｌに到達する音声には遅延差（（６５Ｌ－６５Ｒ）／ｖ（音速））が生じる。また、右耳６１Ｒと左耳６１Ｌの音量比は、距離の２乗に反比例するので、「経路長６５Ｌの２乗：経路長６５Ｒの２乗」となる。この関係を、右耳６１Ｒと左耳６１Ｌの位置の音声で再現することで、左右方向の定位感が得られることになる。なお、左耳６１Ｌおよび右耳６１Ｒの位置は、リスナー６１に基づき決定され（例えば、人体の重心位置に対する平均的な両耳の位置に基づき算出される位置に決定される）、当該決定された位置に基づき経路長６５Ｒ、６５Ｌ等が算出される。

また、音源はリスナー６１の前方向の距離６５Ｃの点に存在する。従って、前方向の距離６５Ｃに応じた音量割合で、右耳６１Ｒと左耳６１Ｌの各々で、前方側音声と後方側音声を割り振ることで、前後方向の定位感が得られることになる。例えば、音源６５がリスナー６１より前方にある場合は、前方側音声と後方側音声の音量比を「前方向音源の距離６５Ｃ＋Ｗ（感応試験等で得られた所定値）：Ｗ」とし、音源６５がリスナー６１より後方にある場合は、前方側音声と後方側音声の音量比を「Ｗ：後方向音源の距離６５Ｃ＋Ｗ」とする。

具体的には、図１９（ｂ）に示すように、リスナー６１の右耳Ｒ側の前側スピーカユニットＳＵ４ＦＲには、音源の出力音声に左右音量調整係数（６５Ｌ・６５Ｌ／（６５Ｌ・６５Ｌ＋６５Ｒ・６５Ｒ））と前後音量調整係数（６５Ｃ＋Ｗ／（６５Ｃ＋Ｗ＋Ｗ））を積算して音量調整を施した信号を、そして遅延時間（６５Ｒ／ｖ（音速））だけ遅延して出力する。リスナー６１の右耳Ｒ側の後側スピーカユニットＳＵ４ＲＲには、音源の出力音声に左右音量調整係数（６５Ｌ・６５Ｌ／（６５Ｌ・６５Ｌ＋６５Ｒ・６５Ｒ））と前後音量調整係数（Ｗ／（６５Ｃ＋Ｗ＋Ｗ））を積算して音量調整を施した信号を、そして遅延時間（６５Ｒ／ｖ（音速））だけ遅延して出力する。そして、リスナー６１の左耳Ｌ側の前側スピーカユニットＳＵ４ＦＬには、音源の出力音声に左右音量調整係数（６５Ｒ・６５Ｒ／（６５Ｌ・６５Ｌ＋６５Ｒ・６５Ｒ））と前後音量調整係数（６５Ｃ＋Ｗ／（６５Ｃ＋Ｗ＋Ｗ））を積算して音量調整を施した信号を、そして遅延時間（６５Ｒ／ｖ（音速））だけ遅延して出力する。さらに、リスナー６１の左耳Ｌ側の後側スピーカユニットＳＵ４ＲＬには、音源の出力音声に左右音量調整係数（６５Ｒ・６５Ｒ／（６５Ｌ・６５Ｌ＋６５Ｒ・６５Ｒ））と前後音量調整係数（Ｗ／（６５Ｃ＋Ｗ＋Ｗ））を積算して音量調整を施した信号を、そして遅延時間（６５Ｒ／ｖ（音速））だけ遅延して出力する。

このようにして、音源の定位感（特に方向感）をリスナーに感じさせることができる。つまり、このような定位感（方向感）の付与処理を、音源の位置データ（リスナー位置を基準とする音源の位置）と音声データに施すことにより、音源の定位感（特に方向感）をリスナーに感じさせることができる。

なお、反射音の場合は、壁による反射時に音声の減衰を考慮する必要があるので、前述の減衰係数Ｇを音源の出力音声にさらに積算する処理を行なうのが好ましい。

そして、本実施形態では、定位感生成部１２６ｄがこのような音源の定位感（方向感）の付与処理を、音源および上述のように反射音生成部１２６ｃが生成した仮想音源に施すことにより、音源の高度な定位感（方向感および距離感）をリスナーに感じさせることを実現している。

なお、高さ方向の位置も考慮した定位感処理を行なう場合には、音源位置や仮想音源の位置の算出の際に高さ方向の成分も含めて同様の演算処理等を行なえばよく、音声出力に関してもスピーカユニットの数を増やして立体配置する等して、高さ方向も有する仮想音源位置での音声再生を再現できる音響装置構成にする等すればよい。

図２０（ａ）に示すように、反射音生成部１２６ｃは、仮想壁面空間６２内に音源６３が存在すると、仮想壁面空間６２におけるリスナー６１と音源６３および仮想壁面空間６２を形成する各仮想壁の位置データを用いて、音源６３に対する仮想音源６３１等を前述の処理により生成する。

この際、仮想音源６３１等は、仮想壁面空間６２移動後におけるリスナー６１ＮＥＷの位置と音源６３（移動無）および仮想壁面空間６２ＭＯＶの各仮想壁に応じて生成されるが、図２０（ｂ）に示すようにリスナー６１ＮＥＷの移動距離（移動前のリスナー６１ＯＬＤからの距離）によっては、音源６３が仮想壁面空間６２ＭＯＶから外れてしまう（移動中のあるタイミングで外れる）。この際、急に音源６３の反射音が消えてしまい、リスナー６１は音源の定位感および再生音そのものに違和感を持つ虞がある。そこで、本実施形態では、音源６３がリスナー６１の移動後（移動中）の仮想壁面空間６２ＭＯＶの境界の所定位置（壁面長Ｗの１０％）まで近づくと、仮想壁面空間６２ＭＯＶの境界をリスナー６１の移動方向と反対方向に延長する処理を行なう（仮想壁面空間６２ＮＥＷとなる）。この際、延長距離は、音源６３と仮想壁面空間６２ＭＯＶの境界との距離が予め定めた所定距離、例えば壁面長Ｗの１０％とする。

なお、上述の例では、仮想壁面空間６２ＭＯＶの境界をリスナー６１の移動方向と反対方向に延長する処理を行なったが、仮想壁面空間６２ＯＬＤ（６２ＭＯＶ）の形状は同じとする（相似形とする）方法も、つまり図示上下方向にも仮想壁面空間６２ＭＯＶを延長する方法（仮想壁面空間６２ＮＥＷ２となる）も、自然な反射音の生成に有効である。

また、図２０（ｃ）に示すように、図示上下方向に音源６３が仮想壁面空間６２ＭＯＶから外れてしまう場合は、仮想壁面空間６２ＭＯＶの境界をリスナー６１の移動方向と上下方向について反対方向に延長する処理を行なう（仮想壁面空間６２ＮＥＷとなる）。また、仮想壁面空間６２ＭＯＶの境界をリスナー６１の移動方向と左右方向と上下方向の両方について反対方向に延長する処理を行なう（仮想壁面空間６２ＮＥＷとなり、各仮想壁面空間６２は相似形となる）。

また、リスナー６１の移動に伴い、リスナー６１と音源６３の距離が、音源６３の反射音レベルが十分に小さくなる距離（感応試験等に基づき予め定めた距離）になった場合には、当該音源６３に対する反射音生成処理は終了し、また仮想壁面空間６２は当初の大きさに戻す。この場合、リスナー６１に届く音源６３の音声の音量に応じて、反射音レベルが十分に小さくなる距離（反射音生成処理の終了判定用の距離）を変更しても良い。

なお、反射音生成処理、また仮想壁面空間６２の生成処理、および延長処理は、複数の音源６３が存在する場合、各々の音源に対して行うのが好ましい。つまり、複数の音源６３毎に、仮想壁面空間６２を作成して、反射音を生成する処理を行なう。この場合、処理負荷が大きくなるので、例えば、リスナー６１に届く音声の音量が大きい方から、予め定めた所定数の音源６３に対して反射音生成および仮想壁面空間６２の延長処理を行なう等、反射音生成処理を行う対象の音源６３をいくつか選択するのが好ましい。

また、複数の音源６３が存在する場合、反射音生成処理を行う対象の音源６３に対する仮想壁面空間６２（上述の方法により生成）が全て含まれる仮想壁面空間６２（長方形にする）を作成して、当該仮想壁面空間６２に基づき反射音生成処理を行う対象の各音源６３について反射音を生成する処理を行なっても良い。

ところで、リスナー６１と仮想音源が近づきすぎると、仮想音源６３１からの音が大きく聞こえすぎて、違和感のある反射音となる課題がある。これは、リスナー６１の移動に伴う仮想壁面空間６２の移動を行わない仮想音源生成方法や、リスナー６１と音源６３の距離に応じて仮想壁面空間６２の大きさを変える仮想音源生成方法等を適用すると発生する。

図２１は、仮想音源６３１の位置規制処理について説明する図である。なお、図２１では、リスナー６１の移動に伴う仮想壁面空間６２の移動を行わない仮想音源生成方法において、リスナー６１と音源６３が接近し、仮想音源６３２がリスナー６１に近い位置に形成される場合を示している。

リスナー６１が当初位置（リスナー６１と音源６３が接近し、仮想壁面空間６２が形成された位置）から音源６３に接近すると、仮想壁面空間６２に対して音源６３の鏡像位置に形成された仮想音源６３２とリスナー６１の距離Δ６３２が非常に短くなる（図２１（ａ））。このため、リスナー６１に届く仮想音源６３２からの反射音の音量がかなり大きくなり、リスナー６１は当該反射音に違和感を抱く。

そこで、本実施形態において、反射音生成部１２６ｃは、図２１（ｂ）に示すように、仮想壁面空間６２を予め定めた所定の大きさ分（例えば、設計時において実験等により適当な値に設定する）、拡大する（仮想壁面空間６２ＮＥＷとなる）。この処理により、仮想音源６３２とリスナー６１の距離Δ６３２が長くなって、リスナー６１に届く仮想音源６３２からの反射音の音量が適当なものとなり、リスナー６１は当該反射音を自然なものとして感じることとなる。

このように、情報処理装置１０は、コンテンツの仮想空間におけるリスナーと仮想音源との距離に応じて仮想壁の位置を調整する。これにより、反射音の音量が大きくなり過ぎることにより生じる違和感を解消することができる。

また、別の処理方法として、図２１（ｃ）に示すような方法もある。これは仮想音源６３２とリスナー６１の距離Δ６３２に下限の制限を行うもので、反射音生成部１２６ｃは、仮想音源６３２のリスナー６１からの距離が下限値ｒを下回る状態となった場合に、リスナー６１から仮想音源６３２の距離が下限値ｒの位置とするものである。なお、反射音生成部１２６ｃは、当該処理後の仮想音源６３２のリスナー６１から見た方向を、リスナー６１から当初処理における仮想音源６３２を見た方向とし、仮想音源６３２の方向感を当初処理における仮想音源６３２の方向に合わせる。

このように、情報処理装置１０は、コンテンツの仮想空間におけるリスナーと仮想音源との距離に下限を設定して仮想音源の位置を調整する。これにより、反射音の音量が大きくなり過ぎることにより生じる違和感を解消することができる。

また、さらに別の処理方法として、反射音生成部１２６ｃは、リスナー６１と仮想音源６３２との距離に応じて、仮想音源６３２から発生する音声の音量を調整する。

反射音生成部１２６ｃは、図２２に示すような音量調整カーブに従った音量調整値を音声信号（データ）に積算して反射音の音量を調整する。図２２は、仮想音源６３２の音量調整カーブの一例を示すグラフである。

図２２のグラフの横軸はリスナー６１と仮想音源６３２との間の距離である。また、図２２のグラフの縦軸は、仮想音源６３２から発生する音声の音量調整値である。

音量調整値の特性は、リスナーと仮想音源６３２との間の距離が長くなるにつれて徐々に増加して所定距離で最大値となり、仮想音源６３２との間の距離が当該所定距離を超えて長くなるほど徐々に減少する特性である。なお、この音量調整値の特性は、例えば、設計時等における感応試験等により予め適切な特性に定めればよい。

これにより、音源６３と各仮想音源が近くなった際におけるリスナー６１への音量が大きすぎる反射音の提供を防止でき、また仮想音源が遠くなっていく際の反射音が徐々に減衰していく音声状況が再現でき、リスナー６１への自然な反射音の提供が期待できる。

音声振動変換処理部１２６ｂは、レンダリング処理部１２２から受け取った音声データをＬＰＦ等の振動に適した帯域制限処理等を行って振動データへ変換する。また、音声振動変換処理部１２６ｂは、変換した振動パラメータをパラメータ抽出部１２５によって抽出された振動パラメータに応じて強調処理を行う。

例えば、音声振動変換処理部１２６ｂは、振動データに対し、振動パラメータに応じて低域強調等の周波数特性付加処理、ディレイおよび増幅といった強調処理を行うことで、振動データに対する強調処理を行う。このように、音声振動変換処理部１２６ｂは、対象物から発生する音声の信号を加工して得られた振動に適した信号を、振動パラメータを用いて強調処理した信号（振動データ）を振動デバイスへ出力する。

この際、音声振動変換処理部１２６ｂは、振動デバイス５毎に振動強調処理を行い、振動強調処理を施した振動データを対応する各振動デバイス５に対して出力する。

次に、図２３を用いて、実施形態に係る情報処理装置１０が実行する処理手順について説明する。図２３は、情報処理装置１０が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、制御部１２０によって実行される。

図２３に示すフローチャートの処理はＸＲコンテンツの再生開始時（ユーザによる開始操作等）に実行される。情報処理装置１０は、先ずＸＲコンテンツ設定処理を実行する（ステップＳ１０１）。なお、ここでのＸＲコンテンツ設定処理とは、例えば、ＸＲコンテンツ再生のための装置の各初期設定、ユーザによるＸＲコンテンツの選択等に関する各種処理が含まれる。

つづいて、情報処理装置１０は、ＸＲコンテンツの再生を開始し（ステップＳ１０２）、再生中のＸＲコンテンツに対しシーン検出処理を行う（ステップＳ１０３）。そして、情報処理装置１０は、検出したシーンの内容に基づきその優先順位を設定（ステップＳ１０４）し、当該優先順位設定内容に基づき振動制御対象のシーンについて、臨場感パラメータ抽出処理を実行する（ステップＳ１０５）。

そして、情報処理装置１０は、抽出された臨場感パラメータに基づき生成された各種振動データあるいは音声データの出力処理を実行する（ステップＳ１０６）。これにより、臨場感を提供する振動が振動デバイス５から出力され、音声が音声出力デバイス４から出力されることになる。

そして、情報処理装置１０は、ＸＲコンテンツが終了したか否かを判定し（ステップＳ１０７）、ＸＲコンテンツが終了したと判定した場合（ステップＳ１０７；Ｙｅｓ）、処理を終了する。

また、情報処理装置１０は、ステップＳ１０７の判定において、ＸＲコンテンツが終了していないと判定した場合には（ステップＳ１０７；Ｎｏ）、再び、ステップＳ１０３の処理へ移行する。

次に、情報処理装置１０（制御部１２０）の行う反射音の生成手順について、図２４の反射音の生成手順を示すフローチャートを用いて説明する。この処理は、音源（音声発生物体）の定位感を再現するコンテンツの再生中に繰り返し実行される。

まず、情報処理装置１０は、コンテンツの仮想空間におけるリスナーの現在地が屋内であるか（音声を反射する壁等の適当な物体（壁面構成物体）があるか）、屋外であるかを確認する（ステップＳ２０１）。情報処理装置１０は、ステップＳ２０１の後、反射音データ生成のための演算処理を行なうが、当該演算のための演算平面を生成する。なお、演算処理は演算平面での作画処理的に説明するが、実際には当該作画処理で示した内容を行うプログラムに基づき情報処理装置１０が処理を行ない、反射音データを生成することになる。

リスナーの現在地が屋内である場合（ステップＳ２０１、屋内）、情報処理装置１０は、演算平面に対して、リスナー６１をコンテンツの仮想空間におけるリスナー６１の位置に対応する位置に配置し、またコンテンツの仮想空間における当該屋内を形成する壁面（壁面構成物体）の位置に基づき仮想壁を形成する（ステップＳ２０３）。

一方、リスナーの現在地が屋外である場合（ステップＳ２０１、屋外）、情報処理装置１０は、演算平面に対して、リスナー６１をコンテンツの仮想空間におけるリスナー６１の位置に対応する位置に配置し、また演算平面におけるリスナー６１を囲む予め定めた大きさの長方形の仮想壁面空間６２を形成する仮想壁を形成する。なお、リスナー６１の位置は、仮想壁面空間６２の重心位置とする（ステップＳ２０２）。

このように、情報処理装置１０は、仮想空間コンテンツの仮想空間に、音源から発生する音声を反射する反射壁相当の音反射物体が存在する場合には、音反射物体に基づき仮想壁を形成し（例えば、ステップＳ２０３）、仮想空間コンテンツの仮想空間に、音源から発生する音声を反射する反射壁相当の音反射物体が存在しない場合には、仮想空間コンテンツの仮想空間におけるリスナーの位置に応じて仮想壁面を形成する（例えば、ステップＳ２０２）。これにより、コンテンツの仮想空間に音反射物体が存在する場合は当該音反射物体に応じた仮想壁が形成されるため、実際の音反射物体による反射音が再現され、実シーンに近い反射音が再生されることになる。またコンテンツの仮想空間に音反射物体が存在しない場合は適当な仮想壁形成されて反射音が再現されるため、反射音が無い場合に比べて臨場感のある反射音が再生されることになる。

なお、図２４に示した処理は繰り返し行われるため、リスナー６１が移動した場合は、次の処理タイミングで新たなリスナー６１の位置に基づき処理が行われることになる。

続いて、情報処理装置１０は、演算平面に対して、音源６３をコンテンツの仮想空間における音源６３の位置に対応する位置に配置する。そして、情報処理装置１０は、仮想壁面空間６２を形成する各仮想壁に対する音源６３の鏡像位置に仮想音源６３１，６３２，６３３，６３４を配置する（ステップＳ２０４）。なお、リスナー６１の位置と仮想音源６３１，６３２，６３３，６３４の位置関係等に応じた仮想壁面空間６２の調整（図２０等で説明）を行う場合は、情報処理装置１０は、仮想音源６３１，６３２，６３３，６３４を配置した後、当該調整処理を行ない、そして調整を行った仮想壁面空間６２に基づき再度仮想音源６３１，６３２，６３３，６３４を配置することになる。

次に、情報処理装置１０は、演算平面に配置した仮想音源６３１，６３２，６３３，６３４の位置データを、コンテンツにおける仮想空間の位置データに変換する（ステップＳ２０５）。つまり、このステップ２０５の処理を終えた時点で、反射音も用いた音源（コンテンツの音声発生物体）の定位感提供に必要なデータである、音源の音声データ、音源の位置データ、仮想（反射）音源の位置データが揃ったことになる。

そして、情報処理装置１０は、これら音源の音声データ、音源の位置データおよび、仮想（反射）音源の位置データ等を用いて、例えば図１９で説明したような音響信号処理を施して、音声出力デバイスにおける各スピーカユニットに対して出力する音声信号を生成し、当該各スピーカユニットに出力する（ステップＳ２０６）。

このように、情報処理装置１０は、音源と仮想壁に対して鏡像関係にある仮想音源から音源が発生した場合の音声を仮想壁反射音として仮想壁反射音信号を生成する。これにより、音源から仮想壁で反射する経路での反射音を再現でき、臨場感ある定位感の実現が可能になる。

上述したように、実施形態に係る情報処理装置１０は、仮想空間コンテンツの仮想空間に音声信号処理用の仮想壁を形成し、仮想空間コンテンツにおける音源から発生する音声が仮想壁で反射した仮想壁反射音に対応する仮想壁反射音信号を生成する。これにより、ユーザに定位感を感じさせる音成分（（仮想）壁による反射音）が加わることになり、コンテンツ再生において、音源に対する臨場感豊かな定位感を実現することができる。

ところで、上述した実施形態では、コンテンツがＸＲコンテンツである場合について説明したが、これに限定されるものではない。すなわち、コンテンツは、２Ｄの映像および音声、あるいは音声のみであってもよい。

また、情報処理システム１を音響再生装置に内蔵させる構成、つまり音響再生装置に上述の情報処理装置１０の機能を持たせ、生成した反射音を外部スピーカや内蔵スピーカ等の音声出力デバイス４に出力する装置として実現することも有用である。

つまり、当該音響再生装置は、音声信号の処理を行う音声信号処理部を有し、入力信号に応じた音声を発生する音声出力デバイスに生成した音声信号を出力して仮想空間を提供する仮想空間コンテンツの音響再生を行う音響再生装置である。音響信号処理部は、仮想空間コンテンツの仮想空間に音声信号処理用の仮想壁を形成し、仮想空間コンテンツにおける音源から発生する音声が仮想壁で反射した仮想壁反射音に対応する仮想壁反射音信号を生成し、生成した仮想壁反射音信号と、仮想空間コンテンツの仮想空間におけるコンテンツのリスナーの位置とに基づき、音声出力デバイスに出力することにより音声出力デバイスがリスナーの位置における仮想壁反射音を再現する仮想壁反射音出力信号を生成する。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 情報処理システム
３ 表示装置
４ 音声出力デバイス
５ 振動デバイス
１０ 情報処理装置
３１ 画像
６１ リスナー
６２ 仮想壁面空間
６３ 音源
１２１ コンテンツ生成部
１２２ レンダリング処理部
１２３ シーン検出部
１２３ａ シーン判定部
１２３ｂ 条件設定部
１２４ 優先順位設定部
１２４ａ タイミング検出部
１２４ｂ ルール設定部
１２５ パラメータ抽出部
１２５ａ 振動パラメータ抽出部
１２５ｂ 音声強調パラメータ抽出部
１２５ｃ 学習部
１２６ 出力部
１２６ａ 音声強調処理部
１２６ｂ 音声振動変換処理部
１２６ｃ 反射音生成部
１２６ｄ 定位感生成部
１３１ ＸＲコンテンツＤＢ
１３２ シーン情報ＤＢ
１３３ 優先順位情報ＤＢ
１３４ パラメータ情報ＤＢ
３１１、３１２ オブジェクト
６２１、６２２、６２３、６２４ 仮想壁
６３１、６３２、６３３、６３４ 仮想音源

Claims (10)

1. 仮想空間を提供する仮想空間コンテンツの音声信号の信号処理を行なうコントローラを備え、
   前記コントローラは、
   仮想空間コンテンツの仮想空間に音声信号処理用の仮想壁を形成し、
   仮想空間コンテンツにおける音源から発生する音声が前記仮想壁で反射した仮想壁反射音に対応する仮想壁反射音信号を生成する
   情報処理装置。
2. 前記コントローラは、
   仮想空間コンテンツの仮想空間に、音源から発生する音声を反射する反射壁相当の音反射物体が存在する場合には、前記音反射物体に基づき前記仮想壁を形成し、
   仮想空間コンテンツの仮想空間に、音源から発生する音声を反射する反射壁相当の音反射物体が存在しない場合には、仮想空間コンテンツの仮想空間におけるリスナーの位置に応じて前記仮想壁を形成する
   請求項１に記載の情報処理装置。
3. 前記コントローラは、
   前記音源と前記仮想壁に対して鏡像関係にある仮想音源から前記音源が発生した場合の音声を仮想壁反射音として仮想壁反射音信号を生成する
   請求項１または２に記載の情報処理装置。
4. 前記コントローラは、
   コンテンツの仮想空間におけるリスナーと前記仮想音源との距離に応じて仮想壁反射音信号の音量を調整する
   請求項３に記載の情報処理装置。
5. 前記コントローラは、
   コンテンツの仮想空間におけるリスナーと前記仮想音源との距離に応じて仮想壁の位置を調整する
   請求項３に記載の情報処理装置。
6. 前記コントローラは、
   コンテンツの仮想空間におけるリスナーと前記仮想音源との距離に下限を設定して前記仮想音源の位置を調整する
   請求項３に記載の情報処理装置。
7. 音声信号の処理を行うコントローラを有し、入力信号に応じた音声を発生する音声出力デバイスに生成した音声信号を出力して仮想空間を提供する仮想空間コンテンツの音響再生を行う音響再生装置であって、
   コントローラは、
   仮想空間コンテンツの仮想空間に音声信号処理用の仮想壁を形成し、
   仮想空間コンテンツにおける音源から発生する音声が前記仮想壁で反射した仮想壁反射音に対応する仮想壁反射音信号を生成し、
   前記生成した仮想壁反射音信号と、仮想空間コンテンツの仮想空間におけるコンテンツのリスナーの位置とに基づき、音声出力デバイスに出力することにより音声出力デバイスが前記リスナーの位置における仮想壁反射音を再現する仮想壁反射音出力信号を生成する
   音響再生装置。
8. 仮想的な空間を提供するＸＲコンテンツを再生する情報処理装置と、
   前記情報処理装置から出力される映像信号に応じて映像を表示する表示装置と、
   前記情報処理装置から出力される音声信号に応じて音声を発生する音声出力デバイスと、
   を備え、
   前記情報処理装置は音響信号処理部を有し、
   前記音響信号処理部は、
   仮想空間コンテンツの仮想空間に音声信号処理用の仮想壁を形成し、
   仮想空間コンテンツにおける音源から発生する音声が前記仮想壁で反射した仮想壁反射音に対応する仮想壁反射音信号を生成し、
   前記生成した仮想壁反射音信号と、仮想空間コンテンツの仮想空間におけるコンテンツのリスナーの位置とに基づき、前記音声出力デバイスに出力することにより前記音声出力デバイスが前記リスナーの位置における仮想壁反射音を再現する仮想壁反射音出力信号を生成する、
   情報処理システム。
9. 仮想空間を提供する仮想空間コンテンツの音声信号の信号処理を行なう情報処理方法であって、
   仮想空間コンテンツの仮想空間に音声信号処理用の仮想壁を形成し、
   仮想空間コンテンツにおける音源から発生する音声が前記仮想壁で反射した仮想壁反射音に対応する仮想壁反射音信号を生成し、
   仮想壁反射音信号に基づき音声出力デバイスに音声を出力させる
   処理をコンピュータが実行する情報処理方法。
10. 仮想空間を提供する仮想空間コンテンツにおいて、音響効果処理のための仮想音源を生成するコントローラを備え、
    前記コントローラは、
    仮想空間コンテンツの仮想空間に音声信号処理用の仮想壁を形成し、
    仮想空間コンテンツにおける音源の位置の前記仮想壁に対する鏡像位置を仮想音源の位置と定める
    仮想音源生成装置。

Images