JP2017163432A - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Abstract

【課題】反射型スピーカの音に対する満足度を向上させる。【解決手段】ＡＶ（Audio Visual）システムは、反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御部を備える。本技術は、例えば、駆動型プロジェクタ及び駆動型スピーカを用いたＡＶシステムに適用することができる。また、本技術は、例えば、反射型スピーカを備える駆動型プロジェクタを用いたＡＶシステムに適用することができる。【選択図】図１

Description

本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、反射型スピーカの出力制御を行う場合に用いて好適な情報処理装置、情報処理方法、及び、プログラムに関する。

従来、スピーカからの出力音を壁等に当てて反射させることにより、反射位置に仮想音源を生成し、仮想音源から音が出力されているように感じさせる反射型スピーカが知られている（例えば、特許文献１参照）。

反射型スピーカには、例えば、超音波スピーカ（パラメトリックスピーカ）等の鋭い指向性を持つ超指向性スピーカが用いられる。

特開２０１０−５６７１０号公報

しかしながら、反射型スピーカは、仮想音源の位置（反射位置）を自由に設定できる反面、例えば、仮想音源までの距離や反射位置の材質により音量が小さくなりすぎたり、仮想音源の位置が映像の表示位置から離れすぎて、違和感が生じたりするおそれがある。

そこで、本技術は、反射型スピーカの音に対する満足度を向上させるようにするものである。

本技術の一側面の情報処理装置は、反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御部を備える。

前記音響制御部には、前記反射型スピーカから前記反射位置までの距離、及び、前記反射位置からユーザまでの距離のうち少なくとも一方に基づいて、前記出力音の出力を制御させることができる。

前記音響制御部には、前記反射位置の反射特性に基づいて、前記出力音の出力を制御させることができる。

前記反射型スピーカには、超音波の前記出力音を出力させ、前記出力音の出力方向を可変にさせ、前記反射型スピーカが前記出力音を反射させる空間内において前記出力音を走査させ、反射音の検出結果に基づいて、前記空間内の反射特性を含む空間マップを生成するマップ生成部をさらに設けることができる。

前記マップ生成部には、前記反射音の検出結果に基づいて、前記空間の３次元形状を含む前記空間マップを生成させることができる。

前記反射型スピーカには、前記出力音の出力方向を可変にさせ、前記音響制御部には、前記反射型スピーカからの前記出力音の出力方向により前記反射位置を制御させることができる。

前記音響制御部には、前記出力音が対応する映像の表示位置に基づいて、前記反射位置を制御させることができる。

前記音響制御部には、前記反射型スピーカが前記出力音を反射させる空間内の反射特性に基づいて、前記反射位置を制御させることができる。

前記音響制御部には、ユーザにより指定された位置であるポインティング位置及びユーザの視線の方向のうち少なくとも一方に基づいて、前記反射位置を制御させることができる。

前記音響制御部には、前記ポインティング位置において表示する映像が存在する場合、当該映像に対応する前記出力音を前記反射型スピーカから前記反射位置に向けて出力させることができる。

前記ポインティング位置に基づいて、映像の表示を制御する映像制御部をさらに設け、前記映像制御部には、前記ポインティング位置において表示する映像が存在する場合、当該映像を前記ポインティング位置に表示させることができる。

前記音響制御部には、前記ユーザの視線の方向において表示する映像が存在する場合、当該映像に対応する前記出力音を前記反射型スピーカから前記反射位置に向けて出力させることができる。

前記ユーザの視線の方向に基づいて、映像の表示を制御する映像制御部をさらに設け、前記映像制御部には、前記ユーザの視線の方向において表示する映像が存在する場合、当該映像を前記ユーザの視線の方向に表示させることができる。

前記音響制御部には、前記出力音が対応する映像の内容に基づいて、前記反射位置を制御させることができる。

前記音響制御部には、前記映像内の移動体の動きに基づいて、前記反射位置を制御させることができる

前記音響制御部には、前記出力音の特性を制御させることができる。

前記反射型スピーカをさらに設けることができる。

映像の投影方向が可変のプロジェクタをさらに設け、前記反射型スピーカには、前記出力音の出力方向が可変にさせることができる。

本技術の一側面の情報処理方法は、反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御ステップを含む。

本技術の一側面のプログラムは、反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御ステップを含む処理をコンピュータに実行させる。

本技術の一側面においては、反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力が制御される。

本技術の一側面によれば、反射型スピーカの音に対する満足度が向上する。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用したＡＶシステムの第１の実施の形態を示すブロック図である。 図１のＡＶシステムの駆動型プロジェクタ及び駆動型スピーカの外観の構成例を示す模式図である。 図１のＡＶシステムにより実行される空間マップ生成処理を説明するためのフローチャートである。 空間マップの生成方法を説明するための図である。 反射率の算出方法を説明するための図である。 図１のＡＶシステムにより実行される映像音響制御処理を説明するためのフローチャートである。 ポインティングデバイスにより表示位置を設定する例を説明するための図である。 ユーザの視線方向により表示位置を設定する例を説明するための図である。 反射型スピーカの音量制御について説明するための図である。 本技術を適用したＡＶシステムの第２の実施の形態を示すブロック図である。 図１０のＡＶシステムの駆動型プロジェクタの外観の構成例を示す模式図である。 コンピュータの構成例を示すブロック図である。

以下、発明を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
｛ＡＶシステム１０の構成例｝
まず、図１及び図２を参照して、本技術を適用したＡＶ（Audio Visual）システム１０の構成例について説明する。図１は、ＡＶシステム１０の機能の構成例を示すブロック図である。図２は、ＡＶシステム１０を構成する駆動型プロジェクタ１１及び駆動型スピーカ１２の外観の構成例を示す模式図である。

ＡＶシステム１０は、所定の空間（以下、表示空間と称する）に映像を投影するとともに、映像に伴う音を出力するシステムである。また、ＡＶシステム１０は、表示空間内において映像の表示位置及び仮想音源の位置を自由に変更することができ、例えば、プロジェクションマッピング等に用いられる。

ＡＶシステム１０は、駆動型プロジェクタ１１、駆動型スピーカ１２、センサ部１３、操作部１４、情報処理装置１５、及び、情報処理装置１６を備える。

駆動型プロジェクタ１１は、映像の投影方向が可変であるプロジェクタである。駆動型プロジェクタ１１は、プロジェクタ３１、デプスセンサ３２、及び、駆動部３３を備える。図２に示されるように、駆動型プロジェクタ１１においては、駆動部３３の上にデプスセンサ３２が設置され、デプスセンサ３２の上にプロジェクタ３１が設置されている。

プロジェクタ３１は、情報処理装置１５の制御の下に、情報処理装置１５から供給される映像データに基づく映像を表示空間内の壁等に投影する。なお、プロジェクタ３１の方式は、特定の方式に限定されるものではなく、任意の方式を採用することが可能である。

デプスセンサ３２は、情報処理装置１５の制御の下に、例えば、赤外光を用いて、表示空間内の各位置のデプスセンサ３２からの距離を示す距離画像を撮影し、撮影した距離画像を情報処理装置１５に供給する。なお、デプスセンサ３２の方式には、ＴＯＦ（Time of Flight）方式、パターン照射方式、ステレオカメラ方式等の任意の方式を採用することが可能である。

駆動部３３は、情報処理装置１５の制御の下に、プロジェクタ３１の投影方向、及び、デプスセンサ３２の撮影方向を制御する。駆動部３３は、パンモータ４１、チルトモータ４２、及び、モータ制御部４３を備える。

パンモータ４１は、プロジェクタ３１及びデプスセンサ３２をパン方向（水平方向）に回転させるモータである。

チルトモータ４２は、プロジェクタ３１及びデプスセンサ３２をチルト方向（垂直方向）に回転させるモータである。

モータ制御部４３は、情報処理装置１５の制御の下に、パンモータ４１及びチルトモータ４２の回転を制御する。

なお、駆動部３３を、例えば、ヨー方向（映像の投影方向の主軸周り）にも回転可能な構成としてもよい。また、駆動部３３は、モータや車輪等の移動機構をさらに備えていてもよい。

駆動型スピーカ１２は、駆動型プロジェクタ１１により表示空間内に投影される映像に合わせた音を出力するユニットである。図２に示されるように、駆動型スピーカ１２においては、駆動部５２の上に反射型スピーカ５１が設置されている。

反射型スピーカ５１は、情報処理装置１６の制御の下に、表示空間内の所望の位置に出力音を当てて反射させることにより、反射位置に仮想音源を生成するスピーカである。ユーザは、仮想音源の位置から音が出力されているように感じる。反射型スピーカ５１は、反射位置に仮想音源を生成することが可能なスピーカであれば、特に方式は問わない。例えば、反射型スピーカ５１は、鋭い指向性を持つ超指向性スピーカにより構成される。

なお、後述するように、反射型スピーカ５１の出力音に対する反射音に基づいて、表示空間の空間マップを作成する場合、反射型スピーカ５１から超音波の出力音を出力できるようにすることが望ましい。例えば、反射型スピーカ５１を、超音波からなる搬送波を所定の方式で変調した信号を出力する超音波スピーカ（パラメトリックスピーカ）により構成することが望ましい。

なお、以下、反射型スピーカ５１が、仮想音源に向けて出力音を出力し、仮想音源において出力音を反射させることを、仮想音源から音を出力させると表現する場合がある。

駆動部５２は、情報処理装置１５の制御の下に、反射型スピーカ５１の出力方向を制御する。駆動部５２は、パンモータ６１、チルトモータ６２、及び、モータ制御部６３を備える。

パンモータ６１は、反射型スピーカ５１をパン方向（水平方向）に回転させるモータである。

チルトモータ６２は、反射型スピーカ５１をチルト方向（垂直方向）に回転させるモータである。

モータ制御部６３は、情報処理装置１５の制御の下に、パンモータ６１及びチルトモータ６２の回転を制御する。

なお、駆動部５２を、例えば、ヨー方向（出力音の出力方向の主軸周り）にも回転可能な構成としてもよい。また、駆動部５２は、モータや車輪等の移動機構をさらに備えていてもよい。

センサ部１３は、カメラ７１、魚眼カメラ７２、及び、マイクロフォン７３を備える。

カメラ７１は、表示空間内を撮影し、撮影の結果得られた画像（以下、表示空間画像と称する）を情報処理装置１５に供給する。表示空間画像は、例えば、表示空間内のユーザの位置、視線方向、ジェスチャ等の検出に用いられる。

魚眼カメラ７２は、魚眼レンズを備えるカメラにより構成され、超広角の画像を撮影する。魚眼カメラ７２は、撮影の結果得られた画像（以下、魚眼画像と称する）を情報処理装置１５に供給する。魚眼画像は、例えば、ポインティングデバイス８１から出射された赤外光の照射位置（ポインティング位置）の検出に用いられる。

マイクロフォン７３は、例えば、反射型スピーカ５１からの出力音に対する反射音の検出に用いられる。マイクロフォン７３は、検出した音を示す音声信号を情報処理装置１６に供給する。

操作部１４は、ポインティングデバイス８１を備える。

ポインティングデバイス８１は、ユーザが所望の位置を指し示すための操作デバイスである。例えば、ポインティングデバイス８１は、赤外光を照射し、赤外光によりユーザの操作に応じた位置（ポインティング位置）を指し示す。

なお、ポインティングデバイス８１を、専用のデバイスにより構成してもよいし、スマートフォンやリモートコントローラ等の他の用途にも利用可能な汎用のデバイスにより構成してもよい。

情報処理装置１５は、例えば、コンピュータ、又は、ＣＰＵ等のプロセッサ及びメモリ等により構成される。情報処理装置１５は、主に駆動型プロジェクタ１１の制御に用いられる。

情報処理装置１５は、インタフェース（Ｉ／Ｆ）部１０１、ポインティング位置検出部１０２、ユーザ検出部１０３、マップ生成部１０４、記憶部１０５、入力部１０６、及び、映像制御部１０７を備える。

Ｉ／Ｆ部１０１は、例えば、通信デバイス、コネクタ等により構成される。Ｉ／Ｆ部１０１は、情報処理装置１６、プロジェクタ３１、デプスセンサ３２、モータ制御部４３、カメラ７１、及び、魚眼カメラ７２との間でデータ等の送受信を行う。また、Ｉ／Ｆ部１０１は、受信したデータ等を情報処理装置１５の各部に供給したり、送信するデータ等を情報処理装置１５の各部から取得したりする。

なお、Ｉ／Ｆ部１０１の通信方式には、有線又は無線の任意の方式を採用することができる。また、Ｉ／Ｆ部１０１の通信方式を、通信を行う対象毎に変えてもよい。さらに、Ｉ／Ｆ部１０１は、例えば、各通信対象と直接通信を行うようにしてもよいし、ネットワーク等を介して通信を行うようにしてもよい。

ポインティング位置検出部１０２は、魚眼カメラ７２により撮影された魚眼画像に基づいて、ポインティングデバイス８１によるポインティング位置の検出を行う。ポインティング位置検出部１０２は、検出結果を映像制御部１０７に供給したり、Ｉ／Ｆ部１０１を介して情報処理装置１５に供給したりする。

なお、ポインティング位置検出部１０２の検出方法には、任意の方法を採用することができる。

ユーザ検出部１０３は、カメラ７１により撮影された表示空間画像に基づいて、例えば、表示空間内のユーザの位置、視線方向、ジェスチャ等を検出する。ユーザ検出部１０３は、検出結果を映像制御部１０７に供給したり、Ｉ／Ｆ部１０１を介して情報処理装置１６に供給したりする。

なお、ユーザ検出部１０３の検出方法には、任意の方法を採用することができる。

マップ生成部１０４は、Ｉ／Ｆ部１０１を介して、デプスセンサ３２及びモータ制御部４３を制御して、デプスセンサ３２による表示空間内の距離画像の撮影を制御する。そして、マップ生成部１０４は、距離画像を用いて、表示空間内の空間認識を行い、表示空間内の物体や壁等の３次元形状を示す第１空間マップを生成する。第１空間マップは、例えば、３次元の点群マップからなり、表示空間内の各位置の駆動型プロジェクタ１１（デプスセンサ３２）からの距離を示すデプス情報を含む。

また、マップ生成部１０４は、Ｉ／Ｆ部１０１を介して、情報処理装置１６から第２空間マップを取得し、第１空間マップと第２空間マップを統合した統合空間マップを生成する。統合空間マップは、例えば、表示空間内の各位置の駆動型プロジェクタ１１（デプスセンサ３２）からの距離を示すデプス情報、各位置の反射特性（例えば、反射率、反射角等）を示す反射特性情報、及び、表示空間内の各位置の映像の表示の可否（映像の投影の可否）を示す表示特性情報を含む。マップ生成部１０４は、生成した統合空間マップを記憶部１０５に記憶させるとともに、Ｉ／Ｆ部１０１を介して、情報処理装置１６に供給する。

さらに、マップ生成部１０４は、例えば、第１空間マップに基づいて、表示空間内における駆動型スピーカ１２及びマイクロフォン７３等の位置を検出する。マップ生成部１０４は、検出結果を、映像制御部１０７に供給したり、Ｉ／Ｆ部１０１を介して、情報処理装置１６に供給したりする。

なお、例えば、カメラ７１により撮影された表示空間画像に基づいて、駆動型スピーカ１２及びマイクロフォン７３等の位置を検出するようにしてもよい。

入力部１０６は、例えば、操作デバイス等により構成され、映像制御部１０７への指令やデータ（例えば、映像データ）等の入力に用いられる。

映像制御部１０７は、駆動型プロジェクタ１１による映像の表示を制御する。例えば、映像制御部１０７は、Ｉ／Ｆ部１０１を介してプロジェクタ３１を制御して、表示する映像の内容及び表示タイミング等を制御する。また、例えば、映像制御部１０７は、Ｉ／Ｆ部１０１を介してモータ制御部４３を制御して、プロジェクタ３１の映像の投影方向を制御することにより、映像の表示位置を制御する。さらに、映像制御部１０７は、映像の表示位置を示す情報を、Ｉ／Ｆ部１０１を介して情報処理装置１６に供給する。

情報処理装置１６は、例えば、コンピュータ、或いは、ＣＰＵ等のプロセッサ及びメモリ等により構成される。情報処理装置１６は、主に駆動型スピーカ１２の制御に用いられる。

情報処理装置１６は、インタフェース（Ｉ／Ｆ）部１２１、マップ生成部１２２、記憶部１２３、入力部１２４、及び、音響制御部１２５を備える。

Ｉ／Ｆ部１２１は、例えば、通信デバイス、コネクタ等により構成される。Ｉ／Ｆ部１２１は、情報処理装置１５、反射型スピーカ５１、モータ制御部６３、及び、マイクロフォン７３との間でデータ等の送受信を行う。また、Ｉ／Ｆ部１２１は、受信したデータ等を情報処理装置１６の各部に供給したり、送信するデータ等を情報処理装置１６の各部から取得したりする。

なお、Ｉ／Ｆ部１２１の通信方式には、有線又は無線の任意の方式を採用することができる。また、Ｉ／Ｆ部１２１の通信方式を、通信を行う対象毎に変えてもよい。さらに、Ｉ／Ｆ部１２１は、例えば、各通信対象と直接通信を行うようにしてもよいし、ネットワーク等を介して通信を行うようにしてもよい。

マップ生成部１２２は、Ｉ／Ｆ部１２１を介して、反射型スピーカ５１及びモータ制御部６３を制御して、反射型スピーカ５１からの出力音の表示空間内の走査を制御する。そして、マップ生成部１２２は、表示空間内に出力音を走査したときにマイクロフォン７３により検出された反射音の検出結果に基づいて、表示空間内の空間認識を行い、表示空間内の物体や壁等の３次元形状を示す第２空間マップを生成する。第２空間マップは、例えば、３次元の点群マップからなり、表示空間内の各位置の駆動型スピーカ１２（反射型スピーカ５１）からの距離を示すデプス情報、及び、各位置の反射特性を示す反射特性情報を含む。マップ生成部１０４は、生成した第２空間マップを、Ｉ／Ｆ部１２１を介して、情報処理装置１５に供給する。

また、マップ生成部１２２は、Ｉ／Ｆ部１２１を介して、情報処理装置１５から統合空間マップを取得し、記憶部１２３に記憶させる。

入力部１２４は、例えば、操作デバイス等により構成され、音響制御部１２５への指令やデータ（例えば、音声データ）等の入力に用いられる。

音響制御部１２５は、駆動型スピーカ１２による出力音の出力を制御する。例えば、音響制御部１２５は、Ｉ／Ｆ部１２１を介して反射型スピーカ５１を制御して、出力音の内容、音量、及び、出力タイミング等を制御する。また、例えば、音響制御部１２５は、Ｉ／Ｆ部１２１を介してモータ制御部６３を制御して、反射型スピーカ５１の出力方向を制御することにより、出力音の反射位置（すなわち、仮想音源の位置）を制御する。

なお、以下、説明を分かりやすくするために、情報処理装置１５のＩ／Ｆ部１０１、及び、情報処理装置１６のＩ／Ｆ部１２１の記載を適宜省略する。例えば、マップ生成部１０４が、Ｉ／Ｆ部１０１を介して情報処理装置１６に統合空間マップを供給する場合、単に、マップ生成部１０４が、情報処理装置１６に統合空間マップを供給すると記載する。

｛ＡＶシステム１０の処理｝
次に、図３乃至図９を参照して、ＡＶシステム１０の処理について説明する。

（空間マップ生成処理）
まず、図３のフローチャートを参照して、ＡＶシステム１０により実行される空間マップ生成処理について説明する。なお、この処理は、例えば、駆動型プロジェクタ１１及び駆動型スピーカ１２が設置されたとき、又は、駆動型プロジェクタ１１及び駆動型スピーカ１２の少なくとも一方の設置位置が移動したとき開始される。

ステップＳ１において、ＡＶシステム１０は、表示空間内の測定を行う。具体的には、マップ生成部１０４は、図４に示されるように、モータ制御部４３を制御して、駆動部３３をパン方向及びチルト方向に回転させ、デプスセンサ３２に表示空間内の全ての領域を走査させる。これにより、デプスセンサ３２により表示空間内の全ての領域が撮影され、各領域のデプスセンサ３２からの距離を示す距離画像が得られる。デプスセンサ３２は、撮影した距離画像をマップ生成部１０４に供給する。

また、マップ生成部１２２は、図４に示されるように、モータ制御部６３を制御して、駆動部５２をパン方向及びチルト方向に回転させ、反射型スピーカ５１から出力される出力音（超音波信号）を表示空間内の全ての領域を走査させる。これにより、表示空間内の全ての領域からの出力音に対する反射音がマイクロフォン７３により検出される。マイクロフォン７３は、検出結果を示す音声信号をマップ生成部１２２に供給する。

なお、図４では、図を分かりやすくするために、プロジェクタ３１の図示を省略している。

ステップＳ２において、マップ生成部１０４及びマップ生成部１２２は、空間マップを生成する。具体的には、マップ生成部１０４は、デプスセンサ３２により撮影された距離画像に基づいて、第１空間マップを生成する。第１空間マップは、表示空間内の各位置のデプスセンサ３２からの距離を示すデプス情報を含む。

なお、デプスセンサ３２は、赤外光の反射を利用しているため、黒壁、コンクリート、ガラス等の赤外光の反射を利用できない領域のデプス情報が、第１空間マップにおいて欠落する。

また、マップ生成部１０４は、第１空間マップに基づいて、表示空間内における駆動型スピーカ１２及びマイクロフォン７３等の位置を検出する。マップ生成部１０４は、検出結果を情報処理装置１６のマップ生成部１２２に供給する。

マップ生成部１２２は、マイクロフォン７３からの音声信号に基づいて、第２空間マップを生成する。具体的には、マップ生成部１２２は、出力音の出力方向、反射型スピーカ５１及びマイクロフォン７３の位置、並びに、出力音を出力してから反射音を受信するまでの時間に基づいて、反射型スピーカ５１及びマイクロフォン７３からの表示空間内の各位置までの距離を算出する。

また、マップ生成部１２２は、反射音の音量に基づいて、表示空間内の各位置の反射率を算出する。例えば、図５に示されるように、反射型スピーカ５１から出力された出力音が反射位置Ｐ１で反射され、その反射音をマイクロフォン７３により検出した場合について説明する。なお、以下、反射型スピーカ５１と反射位置Ｐ１の間の距離をＬ１とし、反射位置Ｐ１とマイクロフォン７３の間の距離をＬ２とする。

ここで、反射位置Ｐ１において、出力音が減衰することなく全てマイクロフォン７３の方向に反射されると仮定した場合（反射率１００％であると仮定した場合）、マイクロフォン７３により検出される反射音の出力音に対する減衰量は、距離Ｌ１＋距離Ｌ２により推定することができる。以下、この場合の減衰量を基準減衰量と称する。

一方、実際には、出力音は反射位置Ｐ１において拡散又は吸収されるため、マイクロフォン７３の方向に反射される反射音の音量は小さくなる。そこで、マップ生成部１２２は、マイクロフォン７３により実際に検出される反射音の出力音に対する減衰量と基準減衰量との比率により、反射位置Ｐ１の反射率を推定する。

そして、マップ生成部１２２は、表示空間内の各位置の反射型スピーカ５１からの距離を示すデプス情報、及び、表示空間内の各位置の反射率を示す反射特性情報を含む第２空間マップを生成する。

なお、赤外光の反射が利用できず、第１空間マップにおいてデプス情報が欠落している領域であっても、出力音（超音波信号）の反射が利用できる領域であれば、その領域のデプス情報を得ることができる。

マップ生成部１２２は、生成した第２空間マップを情報処理装置１５のマップ生成部１０４に供給する。

ステップＳ３において、マップ生成部１０４は、空間マップを統合する。具体的には、マップ生成部１０４は、第１空間マップにおいてデプス情報が欠落している領域のデプス情報を、第２空間マップのデプス情報で補う。ただし、第２空間マップのデプス情報は、反射型スピーカ５１の位置が基準になっているため、マップ生成部１０４は、デプスセンサ３２の位置を基準とするデプス情報に変換する。

また、マップ生成部１０４は、表示空間内の各位置が映像の表示が可能であるか否かを示す表示特性情報を生成する。例えば、マップ生成部１０４は、第１空間マップにおいてデプス情報が得られている位置を、映像の表示が可能な位置であると判定する。一方、マップ生成部１０４は、第１空間マップにおいてデプス情報が欠落している位置の硬度や表面材質を、第２空間マップの反射特性情報に基づいて推定する。そして、マップ生成部１０４は、推定した硬度及び表面材質に基づいて、第１空間マップにおいてデプス情報が欠落している位置が映像の表示が可能であるか否かを判定する。

なお、マップ生成部１０４は、第１空間マップにおいてデプス情報が欠落している全ての位置を、映像の表示が困難な位置であると判定するようにしてもよい。また、例えば、情報処理装置１６のマップ生成部１２２が、表示特性情報を生成するようにしてもよい。

さらに、マップ生成部１０４は、第２空間マップの表示空間内の各位置の反射特性情報を、そのまま統合空間マップの反射特性情報として用いる。

このようにして、マップ生成部１０４は、表示空間内の各位置のデプス情報、表示特性情報、及び、反射特性情報を含む統合空間マップを生成する。

マップ生成部１０４は、生成した統合空間マップを記憶部１０５に記憶させる。また、マップ生成部１０４は、統合空間マップを情報処理装置１６のマップ生成部１２２に供給する。

マップ生成部１２２は、統合空間マップのデプス情報を、デプスセンサ３２の位置を基準にした情報から反射型スピーカ５１の位置を基準とした情報に変換する。マップ生成部１２２は、変換後の統合空間マップを記憶部１２３に記憶させる。

その後、空間マップ生成処理は終了する。

（表示音響制御処理）
次に、図６のフローチャートを参照して、ＡＶシステム１０により実行される映像音響制御処理について説明する。

ステップＳ５１において、情報処理装置１５は、表示位置を設定する。ここで、表示位置の設定方法の例について説明する。

まず、図７を参照して、眼鏡型のポインティングデバイス８１を用いて表示位置を設定する場合の例について説明する。なお、図７では、図を分かりやすくするために、デプスセンサ３２の図示を省略している。

例えば、ポインティングデバイス８１を装着したユーザＵ１が、映像を表示させたい方向に顔を向けると、ユーザＵ１が顔を向けた方向にポインティングデバイス８１から赤外光が出射される。そして、ポインティング位置検出部１０２は、魚眼カメラ７２により撮影された魚眼画像に基づいて、ポインティングデバイス８１により指定されたポインティング位置Ｐ２を検出する。ポインティング位置検出部１０２は、ポインティング位置Ｐ２の検出結果を映像制御部１０７に供給する。

映像制御部１０７は、ポインティング位置Ｐ２を基準にして表示位置を設定する。例えば、映像制御部１０７は、プロジェクタ３１からポインティング位置Ｐ２までの距離に基づいて、映像が投影される投影領域の大きさを算出する。そして、映像制御部１０７は、投影領域の中心がポインティング位置Ｐ２と一致するように投影領域の位置を設定する。

次に、映像制御部１０７は、統合空間マップの表示特性情報に基づいて、設定した投影領域内に映像の表示が困難な領域が含まれるか否かを確認する。そして、映像制御部１０７は、投影領域内に映像の表示が困難な領域が含まれる場合、その領域を含まないように、投影領域の位置を補正する。このとき、例えば、投影領域の移動量が最小になるように、投影領域の位置が補正される。

次に、図８を参照して、ユーザの視線の方向に基づいて表示位置を設定する場合の例について説明する。なお、図８では、図を分かりやすくするために、デプスセンサ３２の図示を省略している。

例えば、ユーザ検出部１０３は、カメラ７１により撮影された表示空間画像に基づいて、ユーザＵ２の視線方向Ｓ１を検出する。ユーザ検出部１０３は、視線方向Ｓ１の検出結果を映像制御部１０７に供給する。映像制御部１０７は、統合空間マップのデプス情報に基づいて、視線方向Ｓ１と表示空間内の面の交点Ｐ３を検出する。そして、映像制御部１０７は、ポインティング位置Ｐ２を基準にした場合と同様の方法により、交点Ｐ３を基準にして投影領域の位置を設定する。

なお、表示位置の設定方法は、この例に限定されるものではない。例えば、映像制御部１０７は、ユーザがジェスチャにより指定した位置（例えば、指さした位置）をポインティング位置として検出し、検出したポインティング位置を基準にして表示位置を設定することが可能である。

映像制御部１０７は、設定した表示位置（投影領域の位置）を示す情報を、情報処理装置１６の音響制御部１２５に供給する。

ステップＳ５２において、音響制御部１２５は、表示位置に基づいて、仮想音源の位置を設定する。例えば、音響制御部１２５は、映像制御部１０７により設定された投影領域の中心を仮想音源の位置に設定する。

次に、音響制御部１２５は、統合空間マップの反射特性情報に基づいて、設定した仮想音源の位置が適切であるか否かを判定する。例えば、音響制御部１２５は、仮想音源の位置の反射率が所定の閾値以上である場合、仮想音源の位置が適切であると判定する。一方、音響制御部１２５は、仮想音源の位置の反射率が所定の閾値未満である場合、仮想音源の位置が不適切であると判定する。

そして、音響制御部１２５は、仮想音源の位置が不適切であると判定した場合、仮想音源の位置を補正する。例えば、音響制御部１２５は、投影領域内の反射率が所定の閾値以上の位置のうち、現在の仮想音源の位置から最も近い位置に仮想音源の位置を補正する。なお、音響制御部１２５は、例えば、投影領域内に反射率が所定の閾値以上の位置が存在しない場合、投影領域の外で反射率が所定の閾値以上の位置のうち、現在の仮想音源の位置から最も近い位置に仮想音源の位置を補正する。

ステップＳ５３において、音響制御部１２５は、仮想音源の位置に基づいて、音量を設定する。例えば、図９に示されるように、仮想音源が位置Ｐ４に設定されている場合について説明する。

音響制御部１２５は、情報処理装置１５のユーザ検出部１０３から、ユーザＵ３の位置の検出結果を取得する。また、音響制御部１２５は、統合空間マップに基づいて、反射型スピーカ５１と仮想音源Ｐ４との間の距離Ｌ３、仮想音源Ｐ４とユーザＵ３との間の距離Ｌ４、並びに、仮想音源Ｐ４の反射率を求める。音響制御部１２５は、距離Ｌ３、距離Ｌ４、及び、仮想音源Ｐ４の反射率に基づいて、ユーザＵ３の位置において仮想音源Ｐ４からの反射音の音量が所定のレベルになる出力音の音量を算出する。音響制御部１２５は、算出した音量を出力音の音量に設定する。

なお、例えば、距離Ｌ３又は距離Ｌ４のいずれか一方のみを用いて、音量を算出するようにしてもよい。

また、ユーザＵ３の位置における音量のレベルは、例えば、仮想音源Ｐ４までの距離に関わらず一定になるように設定してもよいし、仮想音源Ｐ４までの距離に応じて変化させるようにしてもよい。

後者の場合、例えば、距離Ｌ３と距離Ｌ４の合計が長くなるほど、ユーザＵ３の位置における音量のレベルを小さくし、距離Ｌ３と距離Ｌ４の合計が短くなるほど、ユーザＵ３の位置における音量のレベルを大きくするようにしてもよい。或いは、例えば、距離Ｌ３が長くなるほど、ユーザＵ３の位置における音量のレベルを小さくし、距離Ｌ３が短くなるほど、ユーザＵ３の位置における音量のレベルを大きくするようにしてもよい。或いは、例えば、距離Ｌ４が長くなるほど、ユーザＵ３の位置における音量のレベルを小さくし、距離Ｌ４が短くなるほど、ユーザＵ３の位置における音量のレベルを大きくするようにしてもよい。

ステップＳ５４において、ＡＶシステム１０は、設定に従って、映像及び音の出力を開始する。具体的には、映像制御部１０７は、モータ制御部４３を制御して、プロジェクタ３１からの映像が、設定した投影領域に投影されるようにプロジェクタ３１の向きを調整する。音響制御部１２５は、モータ制御部６３を制御して、反射型スピーカ５１からの出力音が、設定した仮想音源の位置に当たるように反射型スピーカ５１の向きを調整する。

そして、映像制御部１０７と音響制御部１２５は、同期して、プロジェクタ３１からの映像の投影、及び、反射型スピーカ５１からの出力音の出力を開始する。このとき、映像制御部１０７は、例えば、投影される映像が歪まないように幾何補正等を行う。また、音響制御部１２５は、出力音の音量をステップＳ５３の処理で設定した音量に設定する。

ステップＳ５５において、映像制御部１０７は、表示位置を変更するか否かを判定する。表示位置を変更しないと判定された場合、処理はステップＳ５６に進む。

ステップＳ５６において、音響制御部１２５は、音量を変更するか否かを判定する。音量を変更しないと判定された場合、処理はステップＳ５７に進む。

ステップＳ５７において、映像制御部１０７は、映像及び音を停止するか否かを判定する。映像及び音を停止しないと判定された場合、処理はステップＳ５５に戻る。

その後、ステップＳ５５において、表示位置を変更すると判定されるか、ステップＳ５６において音量を変更すると判定されるか、ステップＳ５７において映像及び音を停止すると判定されるまで、ステップＳ５５乃至Ｓ５７の処理が繰り返し実行される。

一方、ステップＳ５５において、映像制御部１０７は、例えば、表示位置を変更するトリガを検出した場合、表示位置を変更すると判定し、処理はステップＳ５１に戻る。ここで、表示位置を変更するトリガとは、例えば、駆動型プロジェクタ１１の移動、ポインティングデバイス８１若しくはジェスチャにより指定されるポインティング位置の移動、ユーザの視線の移動等である。その後、ステップＳ５１以降の処理が実行され、表示位置が変更されるとともに、表示位置の変更に伴い、仮想音源の位置及び音量が変更される。

また、ステップＳ５６において、音響制御部１２５は、例えば、音量を変更するトリガを検出した場合、音量を変更すると判定し、処理はステップＳ５３に戻る。ここで、音量を変更するトリガとは、例えば、駆動型スピーカ１２の移動、ユーザの移動等である。その後、ステップＳ５３以降の処理が実行され、表示位置はそのままで、音量が変更される。

さらに、ステップＳ５７において、映像制御部１０７は、例えば、入力部１０６を介して、映像及び音の停止の指令が入力された場合、映像及び音を停止すると判定し、処理はステップＳ５８に進む。

ステップＳ５８において、ＡＶシステム１０は、映像及び音を停止する。具体的には、映像制御部１０７は、音響制御部１２５に出力音の停止を指令する。そして、映像制御部１０７は、プロジェクタ３１から映像の投影を停止させる。また、音響制御部１２５は、反射型スピーカ５１からの出力音の出力を停止させる。

その後、映像音響制御処理は終了する。

以上のようにして、ポインティング位置や視線の動きに合わせて、ユーザが所望する位置に映像及び仮想音源を自動的に移動させることができる。また、表示が困難な位置を避けて映像が投影されるため、画質が良好に保たれる。

さらに、映像の表示位置に合わせて仮想音源の位置が設定されるので、ユーザは、映像から音が出ているように感じ、臨場感が増し、音に対する満足度が向上する。

さらに、仮想音源の位置や反射率に基づいて、出力音の音量が適切に調整されたり、反射率に基づいて仮想音源の位置が補正されたりするので、音に対する違和感が生じるのを防止することができる。

＜２．変形例＞
以下、上述した本技術の実施の形態の変形例について説明する。

｛映像及び仮想音源の制御に関する変形例｝
以上の説明では、ポインティング位置又はユーザの視線の動きに合わせて、映像の表示位置及び仮想音源の位置を移動させる例を示したが、ポインティング位置又はユーザの視線が所定の条件を満たした場合に映像を表示したり、音を出力したりするようにしてもよい。

例えば、表示空間内における映像の表示位置及び表示内容を予め決めておき、統合空間マップにその情報を予め登録しておく。そして、例えば、ポインティング位置が統合空間マップに設定されている表示位置と一致しない場合、すなわち、ポインティング位置において表示する映像が存在しない場合、映像制御部１０７及び音響制御部１２５は、映像の表示及び出力音の出力を行わないように制御する。一方、例えば、ポインティング位置が統合空間マップに設定されている表示位置と一致した場合、すなわち、ポインティング位置において表示する映像が存在する場合、映像制御部１０７は、その表示位置に対して設定されている表示内容の映像を表示させる。また、音響制御部１２５は、その表示位置に基づいて仮想音源の位置を設定し、表示する映像に対応する出力音を出力させる。

或いは、例えば、ユーザの視線の位置が、統合空間マップに設定されている表示位置と一致しない場合、すなわち、ユーザの視線の方向において表示する映像が存在しない場合、映像制御部１０７及び音響制御部１２５は、映像の表示及び出力音の出力を行わないように制御する。一方、例えば、ユーザの視線の位置が、統合空間マップに設定されている表示位置と一致した場合、すなわち、ユーザの視線の方向において表示する映像が存在する場合、映像制御部１０７は、その表示位置に対して設定されている表示内容の映像を表示させる。また、音響制御部１２５は、その表示位置に基づいて仮想音源の位置を設定し、表示する映像に対応する出力音を出力させる。

この技術は、例えば、ゲームに応用することができる。例えば、表示空間内において敵の位置を予め設定しておく。ユーザは、ポインティング位置又は視線を動かして、表示空間内の敵を探す。そして、ポインティング位置又は視線が、敵が存在する位置と一致した場合、映像制御部１０７は、その位置に敵の映像を投影し、音響制御部１２５は、表示する敵の位置に基づいて仮想音源の位置を設定し、敵の音声の出力を開始する。これにより、ゲームの臨場感が向上する。

なお、映像の表示位置は、１カ所だけでなく、複数個所に設定することが可能である。また、映像の表示位置は、必ずしも固定しておく必要はなく、時間とともに動かすようにしてもよい。これにより、例えば、上述のゲームの例では、敵を動かすことができ、動いている敵の位置にポインティング位置又は視線を合わせることにより、敵の映像及び音声の出力を開始させることができる。

また、上述のゲームの例では、例えば、ポインティングデバイス８１を銃型とし、ポインティングデバイス８１を向けて銃を撃つ動作をした場合に、その位置に敵が存在するとき、敵が倒れる映像を表示したり、敵が倒れる音を出力したりすることも可能である。

また、音響制御部１２５は、表示空間内に設定されている表示位置に仮想音源を設定し、その仮想音源から音を出力させることにより、ユーザに表示位置を知らせるようにしてもよい。そして、ユーザが音の出力される方向、すなわち仮想音源の方向にポインティング位置又は視線を動かしたときに、その位置に映像を表示するようにしてもよい。これにより、例えば、上述のゲームの例において、映像を表示せずに、敵の位置を音で知らせることができる。また、敵の動きに合わせて、仮想音源の位置を動かすことにより、敵が近づいたり、遠ざかったりする様子をユーザに認識させることができる。

また、ＡＶシステム１０では、仮想音源の位置を動かして、ユーザに映像の表示位置を知らせることも可能である。例えば、ユーザが映像とは別の方向に視線を向けている場合、音響制御部１２５は、仮想音源の位置をユーザの視線の方向に設定し、仮想音源から音を出力させる。そして、音響制御部１２５は、仮想音源の位置を映像の表示位置に向けて徐々に動かすことにより、ユーザの注意を映像の方向に向け、映像の存在を知らせることが可能である。

また、映像の内容に合わせて仮想音源の位置を動かすようにしてもよい。例えば、映像内に移動体が存在する場合、音響制御部１２５は、移動体の動きに合わせて仮想音源の位置を動かすことにより、その移動体から音が出ているようにユーザに感じさせることができる。例えば、映像内のキャラクタに合わせて仮想音源を移動させることにより、ユーザは、そのキャラクタが自分に対して話しかけているような体験をすることができる。

なお、移動体が画角内から画角外に移動した場合、仮想音源の位置を画角内から画角外に動かすようにしてもよい。逆に、移動体が画角外から画角内に移動した場合、仮想音源の位置を画角外から画角内に動かすようにしてもよい。例えば、車が走り去る場合、車の動きに合わせて仮想音源の位置を画角内から画角外に移動させることにより、より臨場感を増すことができる。また、例えば、野球のバッターが打ったボールが、ユーザをかすめて後ろに飛んでいくような臨場感のある体験を実現することができる。

また、駆動型スピーカ１２を複数台設けることにより、複数の仮想音源を設置するようにしてもよい。これにより、例えば、映像内の複数の移動体に対して、それぞれ異なる仮想音源を設置して、各移動体の動きに合わせて仮想音源の位置を個別に動かすことができ、より臨場感を高めることができる。

さらに、例えば、サラウンドシステムにおけるスピーカの配置と同様に仮想音源を配置することにより、サラウンドシステムを実現することができる。この場合、駆動型スピーカ１２の設置位置は、通常のスピーカの設置位置より自由度が高いため、より簡単にサラウンドシステムを実現することができる。

また、例えば、１つの映像の投影領域を複数の領域に分け、各領域に対して仮想音源を配置し、各領域の音の出力をそれぞれ対応する仮想音源を中心に分担することにより、より臨場感を高めることができる。なお、仮想音源の位置は、領域内であっても、領域外であってもよい。例えば、投影領域を２×２の４つの領域に分け、投影領域内の４隅、又は、投影領域の外であって、投影領域の４隅の近傍に仮想音源を配置し、各領域内の映像に対応する音を各領域に近い仮想音源から主に出力させることにより、より臨場感を高めることができる。

さらに、本技術は、プロジェクタ３１が駆動型でなく、手で位置や向きを変える場合にも適用することができる。例えば、音響制御部１２５は、プロジェクタ３１の位置や向きが手で変えられた場合に、上述した方法により、表示位置に基づいて仮想音源の位置を制御したり、仮想音源の位置に基づいて反射型スピーカ５１の出力音の音量を制御したりするようにすればよい。

なお、プロジェクタ３１の位置や向きは、例えば、プロジェクタ３１に加速度センサやジャイロセンサ等を設けることにより検出することができる。

また、本技術は、プロジェクタ３１の位置が固定され、映像の表示位置が固定されている場合にも適用することができる。すなわち、音響制御部１２５は、固定されている映像の表示位置や映像の内容に基づいて、上述した方法により、仮想音源の位置を制御したり、反射型スピーカ５１の出力音の音量を制御したりすることが可能である。

さらに、本技術は、投影型のプロジェクタ３１ではなく、スクリーンを有する表示装置を用いる場合にも適用することができる。例えば、音響制御部１２５は、映像が表示されるスクリーンの位置や映像の内容に基づいて、上述した方法により、仮想音源の位置を制御したり、反射型スピーカ５１の出力音の音量を制御したりすることが可能である。また、例えば、スクリーンを複数の領域に分け、各領域に対して仮想音源をスクリーン内又はスクリーンの外に配置し、各領域の音の出力をそれぞれ対応する仮想音源を中心に分担することにより、より臨場感を高めることができる。

また、本技術は、反射型スピーカ５１が駆動型でなく、手で位置や向きを変える場合にも適用することができる。具体的には、反射型スピーカ５１が駆動型でない場合、反射型スピーカ５１を設置することにより、仮想音源の位置が一意に定まる。そして、例えば、音響制御部１２５は、設定された仮想音源までの距離や仮想音源の位置の反射率に基づいて、上述した方法により、反射型スピーカ５１からの出力音の音量を制御することが可能である。

さらに、音響制御部１２５は、反射率以外の反射特性を用いて、仮想音源の位置を設定するようにしてもよい。例えば、音響制御部１２５は、統合空間マップのデプス情報に基づいて、表示空間の形状を認識し、出力音に対する反射位置の角度を算出することにより、反射特性の一種である反射音の反射方向（反射角）を推定することができる。そこで、例えば、音響制御部１２５は、出力音がユーザの存在する方向に多く反射される位置を仮想音源に設定するようにしてもよい。これにより、ユーザに確実に音を聞かせることができるようになる。さらに、例えば、音響制御部１２５は、表示空間の表面材質に基づいて、出力音をほぼ正反射する位置を仮想音源に設定することにより、特定の位置のユーザにのみ音を聞かせるようにすることも可能である。

｛システムの構成例に関する変形例｝
図１のＡＶシステム１０の構成例は、その一例であり、必要に応じて変更することが可能である。

例えば、情報処理装置１５と情報処理装置１６の機能の分担を変更することが可能である。また、例えば、情報処理装置１５と情報処理装置１６を１つにまとめることが可能である。

さらに、例えば、情報処理装置１５の一部又は全部の機能を駆動型プロジェクタ１１に設けたり、情報処理装置１５及び情報処理装置１６の一部又は全部の機能を駆動型プロジェクタ１１に設けたりすることが可能である。また、例えば、情報処理装置１５又は情報処理装置１６に駆動型プロジェクタ１１を設けたりすることが可能である。

さらに、例えば、情報処理装置１６の一部又は全部の機能を駆動型スピーカ１２に設けたり、情報処理装置１５及び情報処理装置１６の一部又は全部の機能を駆動型スピーカ１２に設けたりすることが可能である。また、例えば、情報処理装置１５又は情報処理装置１６に駆動型スピーカ１２を設けたりすることが可能である。

また、例えば、図１０及び図１１に示されるように、プロジェクタ３１と反射型スピーカ５１を一体化させてもよい。図１０は、プロジェクタ３１と反射型スピーカ５１を一体化させたＡＶシステム２００の機能の構成例を示すブロック図である。図１１は、ＡＶシステム２００を構成する駆動型プロジェクタ２０１の外観の構成例を示す模式図である。

なお、図１０及び図１１において、図１及び図２と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。

ＡＶシステム２００は、図１のＡＶシステム１０と比較して、駆動型プロジェクタ１１及び駆動型スピーカ１２の代わりに、駆動型プロジェクタ１１が設けられ、情報処理装置１５及び情報処理装置１６の代わりに情報処理装置２０２が設けられている点が異なる。

図１１に示されるように、駆動型プロジェクタ２０１は、図２の駆動型プロジェクタ１１のプロジェクタ３１の上に反射型スピーカ５１を設置した構成を有している。従って、プロジェクタ３１と反射型スピーカ５１は、駆動部３３によりパン方向及びチルト方向に回転するとともに、常に同じ方向に向けられる。従って、プロジェクタ３１の表示位置と反射型スピーカ５１の仮想音源の位置とが、常に一致する。

情報処理装置２０２は、インタフェース（Ｉ／Ｆ）部２２１、ポインティング位置検出部２２２、ユーザ検出部２２３、マップ生成部２２４、記憶部２２５、入力部２２６、及び、制御部２２７を備える。

Ｉ／Ｆ部２２１は、図１のＩ／Ｆ部１０１やＩ／Ｆ部１２１と同様に、例えば、通信デバイス、コネクタ等により構成される。Ｉ／Ｆ部２２１は、プロジェクタ３１、デプスセンサ３２、モータ制御部４３、反射型スピーカ５１、カメラ７１、魚眼カメラ７２、及び、マイクロフォン７３との間でデータ等の送受信を行う。また、Ｉ／Ｆ部２２１は、受信したデータ等を情報処理装置２０２の各部に供給したり、送信するデータ等を情報処理装置２０２の各部から取得したりする。

ポインティング位置検出部２２２は、図１のポインティング位置検出部１０２と同様に、魚眼カメラ７２により撮影された魚眼画像に基づいて、ポインティングデバイス８１によるポインティング位置の検出を行う。ポインティング位置検出部２２２は、検出結果を制御部２２７に供給する。

ユーザ検出部２２３は、図１のユーザ検出部１０３と同様に、カメラ７１により撮影された表示空間画像に基づいて、例えば、表示空間内のユーザの位置、視線方向、ジェスチャ等を検出する。ユーザ検出部１０３は、検出結果を制御部２２７に供給する。

マップ生成部２２４は、図１のマップ生成部１０４とマップ生成部１２２の機能を併せ持つ。例えば、マップ生成部２２４は、Ｉ／Ｆ部２２１を介して、デプスセンサ３２及びモータ制御部４３を制御して、デプスセンサ３２による表示空間内の距離画像の撮影を制御する。そして、マップ生成部２２４は、図１のマップ生成部１０４と同様に、距離画像を用いて、第１空間マップを生成する。

また、マップ生成部２２４は、Ｉ／Ｆ部２２１を介して、反射型スピーカ５１及びモータ制御部４３を制御して、反射型スピーカ５１からの出力音の表示空間内の走査を制御する。そして、マップ生成部２２４は、図１のマップ生成部１２２と同様に、表示空間内に出力音を走査したときにマイクロフォン７３により検出される反射音の検出結果に基づいて、第２空間マップを生成する。

さらに、マップ生成部２２４は、図１のマップ生成部１０４と同様に、第１空間マップと第２空間マップを統合した統合空間マップを生成する。マップ生成部２２４は、生成した統合空間マップを記憶部２２５に記憶させる。

また、マップ生成部２２４は、図１のマップ生成部１０４と同様に、例えば、第１空間マップに基づいて、表示空間内におけるマイクロフォン７３等の位置を検出する。マップ生成部１０４は、検出結果を制御部２２７に供給する。

入力部２２６は、例えば、操作デバイス等により構成され、制御部２２７への指令やデータ（例えば、映像データ、音声データ）等の入力に用いられる。

制御部２２７は、図１の映像制御部１０７と音響制御部１２５の機能を併せ持ち、映像制御部２３１及び音響制御部２３２を備える。

映像制御部２３１は、駆動型プロジェクタ２０１による映像の表示、及び、反射型スピーカ５１による仮想音源の位置を制御する。例えば、映像制御部２３１は、Ｉ／Ｆ部２２１を介してプロジェクタ３１を制御して、表示する映像の内容及び表示タイミング等を制御する。また、例えば、映像制御部２３１は、Ｉ／Ｆ部２２１を介してモータ制御部４３を制御して、プロジェクタ３１の映像の投影方向、及び、反射型スピーカ５１の出力方向を制御することにより、映像の表示位置、及び、出力音の反射位置（すなわち、仮想音源の位置）を制御する。

音響制御部２３２は、反射型スピーカ５１による出力音の出力を制御する。例えば、音響制御部２３２は、Ｉ／Ｆ部１２１を介して反射型スピーカ５１を制御して、出力音の内容、音量、及び、出力タイミング等を制御する。

ＡＶシステム２００では、駆動部３３のみを制御することにより、プロジェクタ３１と反射型スピーカ５１の向きを同軸制御できるので、制御処理がシンプルになる。また、映像の表示位置と仮想音源の位置を容易に合わせることができる。ただし、ＡＶシステム２００では、ＡＶシステム１０と比較して、仮想音源の位置制御の柔軟性が低下する。例えば、映像の表示位置と異なる位置に仮想音源の位置を設定することが困難になる。

さらに、以上の説明では、プロジェクタ３１の向きを変えることにより、表示位置を移動させる例を示したが、例えば、プロジェクタ３１から投影される映像を鏡等の反射体で反射させるとともに、反射体の向きを変えることにより、表示位置を移動させるようにしてもよい。同様に、以上の説明では、反射型スピーカ５１の向きを変えることにより、仮想音源の位置を移動させる例を示したが、例えば、反射型スピーカ５１から出力される出力音を鏡等の反射体で反射させるとともに、反射体の向きを変えることにより、仮想音源の位置を移動させるようにしてもよい。

また、例えば、デプスセンサ３２以外のセンサを用いて、表示空間内のデプス情報を取得するようにしてもよい。

｛その他の変形例｝
なお、壁、天井、床、スクリーン、カーテン等の平面状の物体だけでなく、例えば、本、ペットボトル等の立体的な物体に映像を投影するとともに、物体の表面に仮想音源を設定することにより、当該物体から音が聞こえてくるような体験を実現することができる。

また、以上の説明では、第１空間マップと第２空間マップを統合した統合空間マップを生成し、用いる例を示したが、いずれか一方のみを生成し、用いることも可能である。例えば、第１空間マップのみを用いる場合、仮想音源の位置の反射率に基づく音量制御を行わずに、仮想音源までの距離のみに基づいて音量制御を行うようにすればよい。

さらに、例えば、表示空間内の各位置の反射特性をより詳細に分析して、音量以外の出力音の特性を制御したり、音量と他の特性を制御したりするようにしてもよい。例えば、各位置の周波数毎の反射特性を分析し、仮想位置の反射特性に応じて、出力音の周波数特性を制御するようにしてもよい。例えば、低音に比べて高音の反射率が悪い位置に仮想音源が設定された場合、出力音の高周波成分を低周波成分より強調するようにしてもよい。

また、例えば、出力音を時分割して、左側の音、右側の音を交互に出力するとともに、左右の音の切り替えに同期して、反射型スピーカ５１の向きを左右に振ることにより、１台の反射型スピーカ５１でステレオ再生を実現することができる。

｛コンピュータの構成例｝
上述した情報処理装置１５、情報処理装置１６、及び、情報処理装置２０２の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記憶部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、例えば、本技術は以下のような構成も取ることができる。

（１）
反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御部を
備える情報処理装置。
（２）
前記音響制御部は、前記反射型スピーカから前記反射位置までの距離、及び、前記反射位置からユーザまでの距離のうち少なくとも一方に基づいて、前記出力音の出力を制御する
前記（１）に記載の情報処理装置。
（３）
前記音響制御部は、前記反射位置の反射特性に基づいて、前記出力音の出力を制御する
前記（１）又は（２）に記載の情報処理装置。
（４）
前記反射型スピーカは、超音波の前記出力音を出力し、前記出力音の出力方向が可変であり、
前記反射型スピーカが前記出力音を反射させる空間内において前記出力音を走査させ、反射音の検出結果に基づいて、前記空間内の反射特性を含む空間マップを生成するマップ生成部を
さらに備える前記（３）に記載の情報処理装置。
（５）
前記マップ生成部は、前記反射音の検出結果に基づいて、前記空間の３次元形状を含む前記空間マップを生成する
前記（４）に記載の情報処理装置。
（６）
前記反射型スピーカは、前記出力音の出力方向が可変であり、
前記音響制御部は、前記反射型スピーカからの前記出力音の出力方向により前記反射位置を制御する
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（７）
前記音響制御部は、前記出力音が対応する映像の表示位置に基づいて、前記反射位置を制御する
前記（６）に記載の情報処理装置。
（８）
前記音響制御部は、前記反射型スピーカが前記出力音を反射させる空間内の反射特性に基づいて、前記反射位置を制御する
前記（６）又は（７）に記載の情報処理装置。
（９）
前記音響制御部は、ユーザにより指定された位置であるポインティング位置及びユーザの視線の方向のうち少なくとも一方に基づいて、前記反射位置を制御する
前記（６）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記音響制御部は、前記ポインティング位置において表示する映像が存在する場合、当該映像に対応する前記出力音を前記反射型スピーカから前記反射位置に向けて出力させる
前記（９）に記載の情報処理装置。
（１１）
前記ポインティング位置に基づいて、映像の表示を制御する映像制御部を
さらに備え、
前記映像制御部は、前記ポインティング位置において表示する映像が存在する場合、当該映像を前記ポインティング位置に表示させる
前記（１０）に記載の情報処理装置。
（１２）
前記音響制御部は、前記ユーザの視線の方向において表示する映像が存在する場合、当該映像に対応する前記出力音を前記反射型スピーカから前記反射位置に向けて出力させる
前記（９）に記載の情報処理装置。
（１３）
前記ユーザの視線の方向に基づいて、映像の表示を制御する映像制御部を
さらに備え、
前記映像制御部は、前記ユーザの視線の方向において表示する映像が存在する場合、当該映像を前記ユーザの視線の方向に表示させる
前記（１２）に記載の情報処理装置。
（１４）
前記音響制御部は、前記出力音が対応する映像の内容に基づいて、前記反射位置を制御する
前記（６）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
前記音響制御部は、前記映像内の移動体の動きに基づいて、前記反射位置を制御する
前記（１４）に記載の情報処理装置。
（１６）
前記音響制御部は、前記出力音の特性を制御する
前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
前記反射型スピーカを
さらに備える前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
映像の投影方向が可変のプロジェクタを
さらに備え、
前記反射型スピーカは、前記出力音の出力方向が可変である
前記（１７）に記載の情報処理装置。
（１９）
反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御ステップを
含む情報処理方法。
（２０）
反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御ステップを
含む処理をコンピュータに実行させるためのプログラム。

１０ ＡＶシステム， １１ 駆動型プロジェクタ， １２ 駆動型スピーカ， １３ センサ部， １４ 操作部， １５，１６ 情報処理装置， ３１ プロジェクタ， ３２ デプスセンサ， ３３ 駆動部， ４１ パンモータ， ４２ チルトモータ， ４３ モータ制御部， ５１ 反射型スピーカ， ５２ 駆動部， ６１ パンモータ， ６２ チルトモータ， ６３ モータ制御部， ７１ カメラ， ７２ 魚眼カメラ， ７３ マイクロフォン， ８１ ポインティングデバイス， １０２ ポインティング位置検出部， １０３ ユーザ検出部， １０４ マップ生成部， １０７ 映像制御部， １２２ マップ生成部， １２５ 音響制御部， ２００ ＡＶシステム， ２０１ 駆動型プロジェクタ， ２０２ 情報処理装置， ２２２ ポインティング位置検出部， ２２３ ユーザ検出部， ２２４ マップ生成部， ２２７ 制御部， ２３１ 映像制御部， ２３２ 音響制御部

Claims (20)

1. 反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御部を
   備える情報処理装置。
2. 前記音響制御部は、前記反射型スピーカから前記反射位置までの距離、及び、前記反射位置からユーザまでの距離のうち少なくとも一方に基づいて、前記出力音の出力を制御する
   請求項１に記載の情報処理装置。
3. 前記音響制御部は、前記反射位置の反射特性に基づいて、前記出力音の出力を制御する
   請求項１に記載の情報処理装置。
4. 前記反射型スピーカは、超音波の前記出力音を出力し、前記出力音の出力方向が可変であり、
   前記反射型スピーカが前記出力音を反射させる空間内において前記出力音を走査させ、反射音の検出結果に基づいて、前記空間内の反射特性を含む空間マップを生成するマップ生成部を
   さらに備える請求項３に記載の情報処理装置。
5. 前記マップ生成部は、前記反射音の検出結果に基づいて、前記空間の３次元形状を含む前記空間マップを生成する
   請求項４に記載の情報処理装置。
6. 前記反射型スピーカは、前記出力音の出力方向が可変であり、
   前記音響制御部は、前記反射型スピーカからの前記出力音の出力方向により前記反射位置を制御する
   請求項１に記載の情報処理装置。
7. 前記音響制御部は、前記出力音が対応する映像の表示位置に基づいて、前記反射位置を制御する
   請求項６に記載の情報処理装置。
8. 前記音響制御部は、前記反射型スピーカが前記出力音を反射させる空間内の反射特性に基づいて、前記反射位置を制御する
   請求項７に記載の情報処理装置。
9. 前記音響制御部は、ユーザにより指定された位置であるポインティング位置及びユーザの視線の方向のうち少なくとも一方に基づいて、前記反射位置を制御する
   請求項６に記載の情報処理装置。
10. 前記音響制御部は、前記ポインティング位置において表示する映像が存在する場合、当該映像に対応する前記出力音を前記反射型スピーカから前記反射位置に向けて出力させる
    請求項９に記載の情報処理装置。
11. 前記ポインティング位置に基づいて、映像の表示を制御する映像制御部を
    さらに備え、
    前記映像制御部は、前記ポインティング位置において表示する映像が存在する場合、当該映像を前記ポインティング位置に表示させる
    請求項１０に記載の情報処理装置。
12. 前記音響制御部は、前記ユーザの視線の方向において表示する映像が存在する場合、当該映像に対応する前記出力音を前記反射型スピーカから前記反射位置に向けて出力させる
    請求項９に記載の情報処理装置。
13. 前記ユーザの視線の方向に基づいて、映像の表示を制御する映像制御部を
    さらに備え、
    前記映像制御部は、前記ユーザの視線の方向において表示する映像が存在する場合、当該映像を前記ユーザの視線の方向に表示させる
    請求項１２に記載の情報処理装置。
14. 前記音響制御部は、前記出力音が対応する映像の内容に基づいて、前記反射位置を制御する
    請求項６に記載の情報処理装置。
15. 前記音響制御部は、前記映像内の移動体の動きに基づいて、前記反射位置を制御する
    請求項１４に記載の情報処理装置。
16. 前記音響制御部は、前記出力音の特性を制御する
    請求項１に記載の情報処理装置。
17. 前記反射型スピーカを
    さらに備える請求項１に記載の情報処理装置。
18. 映像の投影方向が可変のプロジェクタを
    さらに備え、
    前記反射型スピーカは、前記出力音の出力方向が可変である
    請求項１７に記載の情報処理装置。
19. 反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御ステップを
    含む情報処理方法。
20. 反射型スピーカからの出力音の反射位置に基づいて、前記出力音の出力を制御する音響制御ステップを
    含む処理をコンピュータに実行させるためのプログラム。

Images