JP2007129511A - 音声出力装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】聴視位置の制限をなくすとともに、画像の位置または範囲と音声が発せられる位置または範囲とを一致させる。
【解決手段】振動子によって振動させられることにより音声を放射する振動板が、画像を表示する表示面として配置されるか、または表示面の全体の背後に配置される。画像信号処理部８３は、表示される画像に含まれる所定の画像オブジェクトの表示面における位置または画像の表示の倍率を検出する。音響出力位置指示部８６は、画像オブジェクトの表示面における位置から音声を放射する位置を算出するか、または画像の表示の倍率から音声を放射する範囲を算出する。音響出力信号生成部８４は、画像に対応する音声信号から、算出された位置または範囲から音声を放射させるように振動子を駆動する音響信号を生成する。本発明は、画像を表示すると共に音声を出力する装置に適用できる。
【選択図】図３

Description

本発明は音声出力装置および方法、プログラム、並びに記録媒体に関し、特に、画像に応じた音声を出力できるようにした音声出力装置および方法、プログラム、並びに記録媒体に関する。

従来の音声出力装置は、少なくとも２つのスピーカを用いて、それぞれのスピーカに音量または位相が調整された音声を出力させ、その音声を空間的に合成することで、聴視者に、音像の位置またはその動きを認識させていた。

しかしながら、この場合、スピーカの配置によって、音像の位置またはその動きを認識できる聴視の位置の範囲（以下、スイートスポットと称する。）が限定されてしまう。スイートスポットを外れてしまうと、聴視者は音像の位置も音像の動きも認識することができない。

すなわち、室内空間に設置されるステレオスピーカシステムなど、間に距離をおいて複数のスピーカを配置するようなシステムでは、スピーカの配置によって決まるスイートスポットに、サラウンドやバーチャル立体音像の様に、音の像が結像される。この場合、室内空間を歩き回ったり、複数人で聴視するような環境では、聴視者が、このスイートスポットを外れてしまうと、音の像の位置を認識することができなくなってしまい、聴視者に、コンテンツの制作者の意図が伝わりにくくなってしまう。

従来の音響提示システムには、特定音源からの音を取得して音響信号を生成し、特定音源の方向に対する撮影を行い画像信号を生成し、生成された音響信号に基づいて複数の音響出力信号を生成し、音響出力信号に基づいた音響出力を行い、画像信号に基づく画像の動き検出を行い、該検出した動きに応じて画像信号に基づく画像の表示位置を移動させると共に該画像の表示位置を示す表示位置信号を生成し、音響を出力する複数の音響出力手段に関する設置情報と表示位置信号に基づき、音響出力信号生成手段における複数の音響出力信号の生成動作を制御するものもある（例えば、特許文献１参照）。

特開２００３−２６４９００号公報

画像を表示して、画像と共に音声を視聴する場合には、視聴者が、任意の視聴位置で、画像が表示されている位置から音が出ていると認識できるように、画像の位置そのものに音源を配置することが理想と言える。

また、スピーカの数が２つである場合など、スピーカの数が少ない場合には、音声によって物体の大きさを表現することは困難である。物体の大きさに合わせて物理的に振動面の大きさを変えることができるようにすることが理想と言える。

壁全面にスピーカを配置することも考えられるが、壁全面を音源とするためには、極めて多数のスピーカが必要となり、現実的ではなく、実用的でもない。

このようなことから、規模が小さく、壁全面を音源とすることができるようなシステムが要求されていた。

そこで、音源として、振動を加える振動子を設けた振動板を用いることが考えられる。この場合、振動源である振動子の数をそれほど増やすことなく、振動板に振動を伝達することで、音声が放射される面積である音源の面積を稼ぐことができる。

しかしながら、画像の位置と音声が発せられる位置とを一致させたり、画像の大きさに合わせた範囲から音声を発することはできなかった。

本発明は、このような状況に鑑みてなされたものであり、聴視の制限となるスイートスポットを無くすとともに、画像の位置と音声が発せられる位置とを一致させるか、画像の大きさに合わせた範囲から音声を発することで、視聴者の全てが、どの視聴位置でも、より臨場感のある画像と音声とを楽しむことができるようにするものである。

本発明の一側面の音声出力装置は、振動子によって振動させられることにより音声を放射する振動板であって、画像を表示する表示面として配置されるか、または前記表示面の全体の背後に配置される振動板と、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出する検出手段と、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出する算出手段と、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する第１の音響信号を生成する第１の生成手段とを備える。

複数の前記振動板が、前記表示面として配置されるか、または前記表示面の全体の背後に配置され、前記算出手段は、算出された位置または範囲から、前記音声を放射させる前記振動板を選択し、前記第１の生成手段は、選択された前記振動板に設けられた前記振動子を駆動する前記第１の音響信号を生成することができる。

前記算出手段は、算出された位置または範囲から、前記振動板を振動させる前記振動子を選択し、前記第１の生成手段は、選択された前記振動子を駆動する前記第１の音響信号を生成することができる。

前記画像に対応する前記音声信号を、第１の音声信号と第２の音声信号とに分離する分離手段を設け、前記第１の生成手段は、前記第１の音声信号から、前記第１の音響信号を生成し、さらに、前記第２の音声信号から、前記振動子を駆動する第２の音響信号を生成する第２の生成手段と、前記第１の音響信号と前記第２の音響信号とを混合する混合手段とを設け、前記振動子を、混合された前記第１の音響信号および前記第２の音響信号によって駆動することができる。

前記検出手段は、前記表示面における座標で示される、前記画像オブジェクトの位置を検出し、前記算出手段は、音声を放射する面における座標で示される、前記音声を放射する位置を算出するか、または前記音声を放射する範囲を算出することができる。

前記振動板に、前記振動板上の所望の位置から前記音声を放射できるように複数の前記振動子を設けることができる。

本発明の一側面の音声出力装置においては、振動子によって振動させられることにより音声を放射する振動板が、画像を表示する表示面として配置されるか、または前記表示面の全体の背後に配置され、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率が検出され、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置が算出されるか、または前記画像の表示の倍率から前記音声を放射する範囲が算出され、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する第１の音響信号が生成される。

本発明の一側面の音声出力方法は、振動子によって振動させられることにより音声を放射する振動板を、画像を表示する表示面として配置するか、または前記表示面の全体の背後に配置し、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出し、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出し、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する音響信号を生成するステップを含む。

本発明の一側面の音声出力方法においては、振動子によって振動させられることにより音声を放射する振動板が、画像を表示する表示面として配置されるか、または前記表示面の全体の背後に配置され、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率が検出され、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置が算出されるか、または前記画像の表示の倍率から前記音声を放射する範囲が算出され、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する音響信号が生成される。

本発明の一側面のプログラムは、振動子によって振動させられることにより音声を放射する振動板であって、画像を表示する表示面として配置されるか、または前記表示面の全体の背後に配置される振動板を備える音声出力装置のコンピュータに音声出力処理を行わせるプログラムであって、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出し、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出し、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する音響信号を生成するステップを含む。

本発明の一側面のプログラムにおいては、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率が検出され、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置が算出されるか、または前記画像の表示の倍率から前記音声を放射する範囲が算出され、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する音響信号が生成される。

本発明の一側面のプログラムは、記録媒体に記録することができる。

以上のように、本発明の一側面によれば、画像に応じた音声を出力することができる。

また、本発明の一側面によれば、聴視位置の制限をなくすとともに、画像の位置または範囲と音声が発せられる位置または範囲とを一致させることができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の音声出力装置は、第１に、振動子（例えば、図２の振動子４１）によって振動させられることにより音声を放射する振動板であって、画像を表示する表示面として配置されるか、または前記表示面の全体の背後に配置される振動板（例えば、図２の振動板４２）と、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出する検出手段（例えば、図３の画像信号処理部８３）と、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出する算出手段（例えば、図３の音響出力位置指示部８６）と、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する第１の音響信号を生成する第１の生成手段（例えば、図３の音響出力信号生成部８４）とを備える。

本発明の一側面の音声出力装置は、第２に、前記画像に対応する前記音声信号を、第１の音声信号と第２の音声信号とに分離する分離手段（例えば、図３の音声信号分離部８２）を設け、前記第１の生成手段は、前記第１の音声信号から、前記第１の音響信号を生成し、さらに、前記第２の音声信号から、前記振動子を駆動する第２の音響信号を生成する第２の生成手段（例えば、図３の音響出力信号生成部８５）と、前記第１の音響信号と前記第２の音響信号とを混合する混合手段（例えば、図３の音響出力信号混合部８７）とを設け、前記振動子を、混合された前記第１の音響信号および前記第２の音響信号によって駆動することができる。

本発明の一側面の音声出力方法は、振動子（例えば、図２の振動子４１）によって振動させられることにより音声を放射する振動板（例えば、図２の振動板４２）を、画像を表示する表示面として配置するか、または前記表示面の全体の背後に配置し、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出し（例えば、図１５のステップＳ１４）、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出し（例えば、図１５のステップＳ１５）、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する音響信号を生成する（例えば、図１５のステップＳ１８）ステップを含む。

本発明の一側面のプログラムは、振動子（例えば、図２の振動子４１）によって振動させられることにより音声を放射する振動板であって、画像を表示する表示面として配置されるか、または前記表示面の全体の背後に配置される振動板（例えば、図２の振動板４２）を備える音声出力装置のコンピュータに音声出力処理を行わせるプログラムであって、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出し（例えば、図１５のステップＳ１４）、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出し（例えば、図１５のステップＳ１５）、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する音響信号を生成する（例えば、図１５のステップＳ１８）ステップを含む。

図１は、本発明の一実施の形態の画像音響再生装置１１の外観を示す図である。衝立スピーカ２１−１乃至衝立スピーカ２１−６は、それぞれ、音声を出力する。衝立スピーカ２１−１乃至衝立スピーカ２１−６は、隣接して、横一列に配置されている。例えば、衝立スピーカ２１−１乃至衝立スピーカ２１−６は、部屋の壁の一面を覆うように配置されている。

表示部２２は、例えば、スクリーンからなり、後述するプロジェクタである画像表示部によって投影される画像を表示する。

なお、衝立スピーカ２１−１乃至衝立スピーカ２１−６に、直接、画像を投影して画像を表示するようにしてもよい。

また、表示部２２は、液晶表示パネルまたはプラズマディスプレイなどで構成するようにしてもよい。

以下、衝立スピーカ２１−１乃至衝立スピーカ２１−６を個々に区別する必要がないとき、単に、衝立スピーカ２１と称する。

なお、画像音響再生装置１１を構成する衝立スピーカ２１の数は、本発明を限定するものではなく、任意の数とすることができる。

図２は、衝立スピーカ２１の構成の例を示す図である。衝立スピーカ２１は、所定の枚数の振動板４２と、それぞれの振動板４２に設けられた振動子４１からなる。

衝立スピーカ２１は、スピーカの機能と同時に、衝立としての役割も果たす。

振動板４２は、台枠により支えら、台枠は、基礎台に支えられる。

基礎台は、例えば、鉄、アルミニウム、マグネシウム、またはチタニウムなどの金属など、台枠を支える十分な強度を得ることのできる素材から形成される。基礎台の下側には、その四隅に、車輪が設けられ、さらにその近傍に、装置支えが設けられている。例えば、部屋の中に設置された衝立スピーカ２１は、ユーザにより押された場合、車輪が床面上を回転することにより、押された方向に移動する。また、装置支えは、床面と接することにより、衝立スピーカ２１を支える。

すなわち、ユーザは、衝立スピーカ２１を所望の位置に移動させて設置することができる。

基礎台の上側には、例えば、溶接により、台枠が固定されており、台枠は、基礎台上に直立している。

また、台枠は、振動板４２を、着脱自在に固定する。

振動板４２は、例えば、石膏ボード、MDF（Medium Density Fiberboard）などの木材、アルミプレート、カーボン、若しくはアクリルなどの樹脂、またはガラスなどの素材から板状に形成される。また、振動板は、異なる素材を組み合わせた（積層させた）複合材料により形成するようにしてもよい。

また、振動板４２には、それぞれ２つの振動子４１が、図中横一列に取り付けられている。

そして、例えば、振動子４１のそれぞれが、音響出力信号に応じて、振動板４２を振動させることで、振動板４２は、音声を出力する。すなわち、衝立スピーカ２１は、音声信号を音声に変換するスピーカとしての役割を果たす。

また、振動子４１は、振動板４２のそれぞれの振動特性にしたがって、所定の位置に着脱自在に配置される。

なお、振動板４２の数およびその配置、並びに振動子４１の数およびその配置は、任意の数または配置とすることができ、本発明を限定するものではない。

図３は、本発明の一実施の形態の画像音響再生装置１１の機能の構成を示すブロック図である。画像音響再生装置１１は、画像音響取得装置６１または外部入力機器６２からの信号を記録し再生する信号記録再生装置６３に接続されている。

画像音響取得装置６１は、画像および音声を取得して、取得した画像および音声の信号ＷＳを信号記録再生装置６３に供給する。画像音響取得装置６１は、撮像部７１、集音部７２、位置検出部７３、ズーム倍率検出部７４、および情報信号生成部７５から構成される。

撮像部７１は、CCD（Charge Coupled Device）またはCMOS（Complementary Metal-Oxide Semiconductor）センサなどのイメージセンサおよびこのイメージセンサに被写体の光学的な像を結像させる光学系からなり、被写体の画像を撮影して、撮影の結果得られた被写体の画像に応じた画像信号Ｓｖを情報信号生成部７５に供給する。集音部７２は、１つまたは複数のマイクロフォンなどからなり、被写体または被写体周辺の音声を集音して、集音した音声に対応する音声信号Ｓａを生成する。集音部７２は、音声信号Ｓａを情報信号生成部７５に供給する。

位置検出部７３は、回動の角度を検出するセンサ若しくはジャイロまたは超音波若しくはレーザ光などによる距離センサなどからなる。位置検出部７３は、画像音響取得装置６１のパンまたはチルトの角度を検出する。また、位置検出部７３は、画像音響取得装置６１から被写体までの距離を検出する。位置検出部７３は、検出した角度および検出した被写体までの距離を示す距離角度信号Ｓｐを情報信号生成部７５に供給する。

ズーム倍率検出部７４は、撮像部７１における最も短い焦点距離を基準として、ズーム機能により変化する焦点距離の倍率を検出して、検出した焦点距離の倍率を示すズーム信号ＺＯｃを情報信号生成部７５に供給する。例えば、ズーム倍率検出部７４は、撮像部７１からのズーム機能の状態を示す信号、または撮像部７１のズーム機能を制御する信号から、焦点距離の倍率を検出する。

ズーム倍率検出部７４は、撮像部７１におけるズーム機能により変化する焦点距離そのものを検出して、検出した焦点距離を示すズーム信号ＺＯｃを情報信号生成部７５に供給するようにしてもよい。

情報信号生成部７５は、画像信号Ｓｖ、音声信号Ｓａ、距離角度信号Ｓｐ、およびズーム信号ＺＯｃから、これらを統合してなる信号ＷＳを生成し、生成した信号ＷＳを信号記録再生装置６３に供給する。

なお、画像音響取得装置６１から被写体までの距離を、予め定めた基準の距離で割り算して得られた結果を倍率として、その倍率を示すズーム信号ＺＯｃを求めるようにしてもよい。

外部入力機器６２は、外部のビデオカメラなどから供給された画像信号を取得して、取得した画像信号に信号処理を適用する。例えば、外部入力機器６２は、クラス分類適応処理などの信号処理を画像信号に適用して、拡大または縮小した画像を得る。外部入力機器６２は、信号処理を適用した画像信号を信号記録再生装置６３に供給する。

外部入力機器６２は、ズーム倍率検出部７６を備える。ズーム倍率検出部７６は、外部入力機器６２における信号処理による画像の拡大率（縮小率）を検出して、画像信号と共に、検出した拡大率（縮小率）を示すズーム信号ＺＯｏを信号記録再生装置６３に供給する。

信号記録再生装置６３は、ハードディスクまたは光ディスクを駆動するドライブなどを備え、ハードディスクまたはドライブに装着されている光ディスクなどに、画像音響取得装置６１から供給された信号ＷＳを記録する。また、信号記録再生装置６３は、外部入力機器６２から供給された画像信号と、ズーム信号ＺＯｏとを関係付けて記録する。

信号記録再生装置６３は、記録している信号ＷＳ、または関係付けて記録している画像信号とズーム信号ＺＯｏとを、信号ＲＳとして読み出して、読み出した信号ＲＳを画像音響再生装置１１に供給する。

画像音響再生装置１１は、信号記録再生装置６３から供給された信号ＲＳから画像および音声を再生し、画像を表示すると共に、音声を出力する。

例えば、画像音響再生装置１１は、画像を表示すると共に、表示している画像の撮影におけるパンまたはチルトの角度に応じた位置から音声を出力する。

また、例えば、画像音響再生装置１１は、表示されている画像に含まれる画像オブジェクトの表示されている位置から、その画像オブジェクトに対応する音声を出力する。

さらに、例えば、画像音響再生装置１１は、表示されている画像が拡大された場合、画像の拡大応じた範囲から音声を出力する。

画像音響再生装置１１は、情報信号分離部８１、音声信号分離部８２、画像信号処理部８３、音響出力信号生成部８４、音響出力信号生成部８５、音響出力位置指示部８６、音響出力信号混合部８７、画像表示部８８、信号増幅部８９−１乃至信号増幅部８９−ｎ、および倍率入力部９０からなる。

情報信号分離部８１は、信号記録再生装置６３から供給された信号ＲＳを、画像信号Ｓｖと音声信号Ｓａと距離角度信号Ｓｐとに分離して、分離して得られた画像信号Ｓｖを画像信号処理部８３に供給し、音声信号Ｓａを音声信号分離部８２に供給し、距離角度信号Ｓｐを音響出力位置指示部８６に供給する。

音声信号分離部８２は、音声信号Ｓａをさらに２つの音声信号に分離して、分離された一方の音声信号を音響出力信号生成部８４に供給し、他方の音声信号を音響出力信号生成部８５に供給する。

例えば、音声信号分離部８２は、２チャンネルのフロントチャンネル、１チャンネルのセンタチャンネル、および２チャンネルのリアチャンネルの計５チャンネルの音声信号Ｓａを、フロントチャンネルおよびセンタチャンネルの音声信号と、リアチャンネルの音声信号とに分離して、フロントチャンネルおよびセンタチャンネルの音声信号を音響出力信号生成部８４に供給し、リアチャンネルの音声信号を音響出力信号生成部８５に供給する。

これは、詳細は後述するが、音響出力信号生成部８４は、表示されている画像の注目される画像オブジェクトに対応する音声を出力するための音響出力信号を生成するので、通常、表示されている画像の画像オブジェクトに対応する音声を出力するためのフロントチャンネルまたはセンタチャンネルの音声信号を音響出力信号生成部８４に供給するようにしたものである。また、音響出力信号生成部８５は、背景や環境などの音声を出力するための音響出力信号を生成するので、表示されている画像の注目される画像オブジェクトに対応する音声以外の音声を出力するためのリアチャンネルの音声信号を音響出力信号生成部８５に供給するようにしたものである。

画像信号処理部８３は、画像信号Ｓｖから、画像表示部８８に画像を投影させるための画像信号Ｓｖｏｕｔを生成して、生成した画像信号Ｓｖｏｕｔを画像表示部８８に供給する。また、画像信号処理部８３は、表示される画像に含まれる所定の画像オブジェクトの表示面における位置または画像の表示の倍率を検出する。

すなわち、画像信号処理部８３は、画像信号Ｓｖから、画像信号Ｓｖによって表示される画像に含まれる画像オブジェクトの画面上の位置を検出して、画像オブジェクトの画面上の位置を示す表示位置信号ＰＤを音響出力位置指示部８６に供給する。

さらに、画像信号処理部８３は、画像信号Ｓｖから、画像を撮影した機器のズーム機能による画像の拡大の倍率を検出して、画像の拡大の倍率を示すズーム倍率信号ＺＯを音響出力位置指示部８６に供給する。

図４は、画像信号処理部８３の構成を示すブロック図である。画像信号処理部８３は、シーンチェンジ検出部１２１、動き検出部１２２、ズーム倍率検出部１２３、および画像位置移動部１２４から構成される。

シーンチェンジ検出部１２１は、画像信号Ｓｖから、画像信号Ｓｖで表示される画像のシーンチェンジを検出する。例えば、シーンチェンジ検出部１２１は、画像信号Ｓｖで表示される画像について、所定のフレームの画素と、このフレームに時間的に隣接するフレームの画素であって、対応する位置の画素との差分を求めて、差分からシーンチェンジを検出する。より詳細には、例えば、シーンチェンジ検出部１２１は、フレームに配置されている全ての画素について、隣接するフレームの画素であって、画面上で同じ位置の画素との差分の絶対値を求める。さらに、シーンチェンジ検出部１２１は、その絶対値の総和を計算して、計算した総和を予め定めた閾値と比較し、総和が閾値より大きい場合、画像が大きく変化しているのでシーンチェンジしたと判定し、総和が閾値以下である場合、画像がそれほど変化していないのでシーンチェンジしていないと判定することで、シーンチェンジを検出する。

シーンチェンジ検出部１２１は、シーンチェンジしたか否かを示すシーンチェンジ情報ＣＨを動き検出部１２２、ズーム倍率検出部１２３、および画像位置移動部１２４に供給する。

動き検出部１２２は、シーンチェンジ検出部１２１からのシーンチェンジ情報ＣＨを参照して、シーンチェンジしていない場合、ブロックマッチングまたは勾配法などにより、画像に含まれる画像オブジェクトの動きを検出する。例えば、動き検出部１２２は、画像に含まれる画像オブジェクトのうち、画面の中央に位置する画像オブジェクトの動きをブロックマッチングまたは勾配法などにより検出する。また、例えば、動き検出部１２２は、画像に含まれる画像オブジェクトのうち、最も大きい画像オブジェクトの動きを検出する。動き検出部１２２は、検出した画像オブジェクトの動きを示す動きベクトルを画像位置移動部１２４に供給する。

また、例えば、動き検出部１２２は、背景の動きを検出する。

ズーム倍率検出部１２３は、シーンチェンジ検出部１２１からのシーンチェンジ情報ＣＨを参照して、シーンチェンジしていない場合、画像信号Ｓｖで示される、所定のフレームにおける画像オブジェクトと、このフレームに時間的に隣接するフレームにおける画像オブジェクトと大きさの差を求めて、ズーム倍率を検出する。

例えば、ズーム倍率検出部１２３は、画像に含まれる画像オブジェクトのうち、画面の中央に位置する画像オブジェクトか、または最も大きい画像オブジェクトについて、フレーム間の大きさの差を求めて、ズーム倍率を検出する。

図５は、ズーム倍率検出部１２３の構成の例を示すブロック図である。ズーム倍率検出部１２３は、遅延回路１４１、画像位置切替回路１４２、差分演算回路１４３、および倍率決定回路１４４から構成される。

ズーム倍率検出部１２３に入力された画像信号Ｓｖは、遅延回路１４１および差分演算回路１４３に供給される。ズーム倍率検出部１２３に入力されたシーンチェンジ情報ＣＨは、画像位置切替回路１４２および差分演算回路１４３に供給される。

遅延回路１４１は、画像信号Ｓｖを１フレームの期間分だけ遅延させ、遅延させた画像信号Ｓｖを画像位置切替回路１４２に供給する。

画像位置切替回路１４２は、シーンチェンジ検出部１２１からのシーンチェンジ情報ＣＨを参照して、シーンチェンジしていない場合、１フレーム遅延させたフレーム、すなわち１つ前のフレームのうち、指定された領域の画像を抽出して、抽出した画像を差分演算回路１４３に供給する。

例えば、画像位置切替回路１４２は、１フレーム遅延させたフレームのうち、所定の画像オブジェクトを含む指定された領域の画像を抽出して、抽出した画像を差分演算回路１４３に供給する。

なお、画像位置切替回路１４２は、動き検出部１２２で検出された動きベクトルを参照して、画像オブジェクトの動きに応じた領域の画像を抽出して、抽出した画像を差分演算回路１４３に供給するようにしてもよい。

差分演算回路１４３は、画像位置切替回路１４２から供給された、１つ前のフレームの指定された領域の画像と、画像信号Ｓｖとして入力された現在のフレームの対応する領域の画像との差分を算出する。すなわち、差分演算回路１４３は、１つ前のフレームの指定された領域の画像を構成する画素と、現在のフレームの指定された領域の画像を構成する画素であって対応する位置の画素との差分を算出して、算出した差分を倍率決定回路１４４に供給する。

なお、差分演算回路１４３は、差分の絶対値の総和を算出して、倍率決定回路１４４に供給するようにしてもよい。さらに、この場合、差分演算回路１４３は、この総和を指定された領域の輝度または色の平均値で差分を割り算することで、差分の絶対の総和を正規化して、正規化した値を倍率決定回路１４４に供給するようにしてもよい。

倍率決定回路１４４は、差分演算回路１４３から供給された差分から、倍率を決定して、決定した倍率を示すズーム倍率信号ＺＯを出力する。例えば、倍率決定回路１４４は、差分演算回路１４３から供給された差分の絶対値の総和を、指定された領域の大きさ（画素の数）で割り算し、その結果を倍率とする。

なお、例えば、ズーム倍率検出部１２３は、所定のフレームの注目する画像オブジェクトの輪郭を抽出することで、このフレームから画像オブジェクトを検出し、また、このフレームに隣接するフレームのその画像オブジェクトの輪郭を抽出することで、隣接するフレームから画像オブジェクトを検出するようにしてもよい。この場合、ズーム倍率検出部１２３は、画像オブジェクトの大きさを比較することにより、ズーム倍率を検出することができる。すなわち、例えば、ズーム倍率検出部１２３は、それぞれの画像オブジェクトを構成する画素の数の比を求めて、この比をズーム倍率とする。

また、ズーム倍率を検出する場合、輝度信号または色信号を用いるようにしてもよい。例えば、ズーム倍率検出部１２３は、所定のフレームとこれに隣接するフレームにおける輝度または色に対する頻度を示すヒストグラムを求めて、最も頻度の大きい輝度または色の頻度の比をズーム倍率とするようにしてもよい。この場合、頻度は画像オブジェクトの面積を示していると言える。

ズーム倍率検出部１２３は、このように検出したズーム倍率を示すズーム倍率信号ＺＯを画像位置移動部１２４に供給する。

なお、フレームを単位として、動きを検出したり、ズーム倍率を検出すると説明したが、フィールドを単位として、動きを検出したり、ズーム倍率を検出したりするようにしてもよい。

図４に戻り、画像位置移動部１２４は、画像信号Ｓｖから、画像表示部８８に画像を投影させるための画像信号Ｓｖｏｕｔを生成して、生成した画像信号Ｓｖｏｕｔを画像表示部８８に供給する。また、画像位置移動部１２４は、画像信号Ｓｖから、画像信号Ｓｖによって表示される画像に含まれる画像オブジェクトの画面上の位置を検出して、画像オブジェクトの画面上の位置を示す表示位置信号ＰＤを音響出力位置指示部８６に供給する。

また、例えば、画像位置移動部１２４は、動き検出部１２２から出力される動きベクトルによって、画像オブジェクトの位置を知ることができる。例えば、０ベクトル以外の動きベクトルを向きと大きさで分類すると、求められた最も数の多い動きベクトルは、面積の最も大きい画像オブジェクトの動きを示していると言える。例えば、画像位置移動部１２４は、その最も数の多い動きベクトルの始点の重心を、画像オブジェクトの位置とすることができる。

また、例えば、画像位置移動部１２４は、画像オブジェクトの輪郭を抽出することで、画像オブジェクトの画面上の位置を検出する。

例えば、画像位置移動部１２４は、表示面における座標で示される、画像オブジェクトの位置を検出し、画像オブジェクトの表示面の座標上の位置を示す表示位置信号ＰＤを音響出力位置指示部８６に供給する。例えば、表示面における座標の原点は、表示面の左上とされ、表示面の横方向がＸ座標軸とされ、表示面の縦方向がＹ座標軸とされる。この場合、表示面の右方向がＸ座標軸のプラス方向とされ、表示面の下方向がＹ座標軸のプラス方向とされる。

また、画像位置移動部１２４は、ズーム倍率検出部１２３から供給されたズーム倍率信号ＺＯを出力する。

なお、画像位置移動部１２４は、視聴者の指示を示す信号を基に、画像信号Ｓｖで再生される画像の位置を、画面上において上下方向または左右方向に移動した画像を投影させるための画像信号Ｓｖｏｕｔを生成し、生成した画像信号Ｓｖｏｕｔを画像表示部８８に供給するようにしてもよい。この場合、画像位置移動部１２４は、画面上において上下方向または左右方向に移動した画像における画像オブジェクトの画面上の位置を検出して、その画像オブジェクトの画面上の位置を示す表示位置信号ＰＤを音響出力位置指示部８６に供給する。

図３に戻り、音響出力位置指示部８６は、所定の画像オブジェクトの表示面における位置から、その画像オブジェクトに応じた音声を放射する位置を算出するか、または画像の表示の倍率から画像オブジェクトに応じた音声を放射する範囲を算出する。

音響出力位置指示部８６は、音声座標算出部９１および設定情報供給部９２を備える。音声座標算出部９１は、設定情報供給部９２から供給される情報を基に、所定の画像オブジェクトの表示面における位置から、その画像オブジェクトに応じた音声を放射する位置を算出するか、または、画像の表示の倍率から画像オブジェクトに応じた音声を放射する範囲を算出する。

設定情報供給部９２は、衝立スピーカ２１に関する設置情報Ｃｓａを予め記憶している。また、設定情報供給部９２は、画像オブジェクトに応じた音声を放射する範囲であって、視聴者から指示された予め定めた範囲を示す情報を記憶している。

例えば、設定情報供給部９２は、表示面における座標と音声を放射する面における座標との関係を示す情報を含む設置情報Ｃｓａを記憶している。また、例えば、設定情報供給部９２は、音を放射する面の座標上の位置で示される、衝立スピーカ２１のそれぞれの音を放射できる範囲を示す情報を含む設置情報Ｃｓａを記憶している。さらに、設定情報供給部９２は、衝立スピーカ２１のそれぞれについての、音を放射する面の座標上の位置で示される、振動板４２のそれぞれの面の範囲を示す情報を含む設置情報Ｃｓａを記憶している。さらにまた、設定情報供給部９２は、衝立スピーカ２１のそれぞれについての、放射する面の座標上の位置で示される、振動子４１のそれぞれの位置を示す情報を含む設置情報Ｃｓａを記憶している。

例えば、設定情報供給部９２は、設置情報Ｃｓａとして、画像オブジェクトに応じた音声を放射する範囲であって、視聴者から指示された予め定めた範囲として、１つの振動板４２の面と同じ大きさの範囲を記憶している。

すなわち、例えば、音声座標算出部９１は、設定情報供給部９２から供給される設置情報Ｃｓａに含まれる、表示面における座標と音声を放射する面における座標との関係を示す情報を基に、画像信号処理部８３からの表示位置信号ＰＤで示される、画像オブジェクトの表示面における位置から、その画像オブジェクトに応じた音声を放射する位置を算出する。

または、例えば、音声座標算出部９１は、設定情報供給部９２から供給される設置情報Ｃｓａに含まれる、表示面における座標と音声を放射する面における座標との関係を示す情報と、画像オブジェクトに応じた音声を放射する範囲を示す情報とを基に、画像信号処理部８３からのズーム倍率信号ＺＯで示される画像の拡大の倍率から、画像オブジェクトに応じた音声を放射する範囲を算出する。

音声座標算出部９１は、選択部１０１を備える。選択部１０１は、算出された位置または範囲から、衝立スピーカ２１を選択する。また、選択部１０１は、算出された位置または範囲から、画像オブジェクトに応じた音声を放射させる振動板４２を選択し、さらに、算出された位置または範囲から、振動板４２を振動させる振動子４１を選択する。

すなわち、選択部１０１は、算出された位置または範囲から、画像オブジェクトに応じた音声を放射させる振動板４２を選択し、さらに、算出された位置または範囲から、振動板４２を振動させる振動子４１を選択する。音響出力位置指示部８６は、選択された振動板４２または振動子４１を示す選択信号を音響出力信号生成部８４に供給する。

また、選択部１０１は、所定の画像オブジェクトの表示面における位置から、その画像オブジェクトに応じた音声以外の音声を放射させる振動板４２を選択し、さらに、振動板４２を振動させる振動子４１を選択する。例えば、選択部１０１は、全ての振動板４２および振動子４１のうち、画像オブジェクトに応じた音声を放射させるように選択された振動板４２および振動子４１を除いた振動板４２および振動子４１を選択する。

なお、例えば、選択部１０１は、所定の画像オブジェクトに応じた音声以外の音声を放射させる振動板４２および振動子４１として、全ての振動板４２および振動子４１を選択するようにしてもよい。

音響出力位置指示部８６は、所定の画像オブジェクトに応じた音声以外の音声の放射に選択された振動板４２または振動子４１を示す選択信号を音響出力信号生成部８５に供給する。

なお、選択部１０１は、算出された位置または範囲から、選択した振動板４２および振動子４１に出力させる音声の強さに応じた重み付けを求めて、音響出力位置指示部８６は、選択された振動板４２または振動子４１を示すと共に、振動板４２または振動子４１のそれぞれの重み付けを示す選択信号を音響出力信号生成部８４に供給するようにしてもよい。

音響出力信号生成部８４は、音響出力位置指示部８６からの選択信号を基に、音声信号分離部８２から供給された音声信号から、選択信号で示される選択された振動板４２に装着されている振動子４１を駆動するための音響出力信号Ｓａｏｕｔ−１を生成し、生成した音響出力信号Ｓａｏｕｔ−１を音響出力信号混合部８７に供給する。例えば、音響出力信号生成部８４は、５チャンネルの音声信号Ｓａのうち、フロントチャンネルおよびセンタチャンネルの音声信号から、選択された振動子４１を駆動するための音響出力信号Ｓａｏｕｔ−１を生成する。

音響出力信号生成部８５は、音響出力位置指示部８６からの選択信号を基に、音声信号分離部８２から供給された音声信号から、選択信号で示される選択された振動板４２に装着されている振動子４１を駆動するための音響出力信号Ｓａｏｕｔ−２を生成し、生成した音響出力信号Ｓａｏｕｔ−２を音響出力信号混合部８７に供給する。例えば、音響出力信号生成部８４は、５チャンネルの音声信号Ｓａのうち、リアチャンネルの音声信号から、振動子４１を駆動するための音響出力信号Ｓａｏｕｔ−２を生成する。

音響出力信号混合部８７は、いわゆるミキサであり、音響出力信号生成部８４から供給された音響出力信号Ｓａｏｕｔ−１および音響出力信号生成部８５から供給された音響出力信号Ｓａｏｕｔ−２を混合して、混合の結果得られた音響出力信号を信号増幅部８９−１乃至信号増幅部８９−ｎに供給する。

すなわち、音響出力信号混合部８７は、振動子４１毎に、音響出力信号Ｓａｏｕｔ−１および音響出力信号Ｓａｏｕｔ−２を混合する。

これを詳細に説明すれば、音響出力信号混合部８７は、音響出力信号Ｓａｏｕｔ−１から、所定の振動子４１を駆動するための音響出力信号を抽出し、また、音響出力信号Ｓａｏｕｔ−２から、その振動子４１を駆動するための音響出力信号を抽出する。そして、音響出力信号混合部８７は、抽出した音響出力信号を重畳するように混合する。音響出力信号混合部８７は、混合の結果得られた音響出力信号を、信号増幅部８９−１乃至信号増幅部８９−ｎのうち、その振動子４１を駆動する信号増幅部８９−１乃至信号増幅部８９−ｎのいずれかに供給する。

画像表示部８８は、スクリーンからなる表示部２２に画像を投影するプロジェクタである。画像表示部８８は、固定されている固定フロントプロジェクタとするか、または運台に設けたフロントプロジェクタとすることができる。

画像表示部８８をフロントプロジェクタとした場合、スクリーンからなる表示部２２と画像表示部８８との距離で、表示部２２に表示させる画像の大きさを変えることができ、衝立スピーカ２１による音声の出力の範囲と対応させることができる。

信号増幅部８９−１乃至信号増幅部８９−ｎは、それぞれ、音響出力信号混合部８７から供給された音響出力信号を増幅して、振動子４１−１乃至振動子４１−ｎのそれぞれを駆動する。

さらに、視聴者から指示された倍率の画像を表示する場合、その倍率に応じて音声を出力する範囲を変えることができる。

倍率入力部９０は、表示する画像の倍率を指示する視聴者からの操作に応じて、指示された倍率を示す倍率信号を画像信号処理部８３および音響出力位置指示部８６に供給する。

なお、視聴者から拡大または縮小の中心位置が指示された場合、倍率入力部９０は、拡大または縮小の中心位置を示す信号を含む倍率信号を画像信号処理部８３および音響出力位置指示部８６に供給するようにしてもよい。

画像信号処理部８３は、倍率入力部９０から画像の倍率を指示する倍率信号が供給された場合、画像信号Ｓｖから、画像表示部８８に、指示された倍率で拡大したまたは縮小した画像を投影させるための画像信号Ｓｖｏｕｔを生成して、生成した画像信号Ｓｖｏｕｔを画像表示部８８に供給する。倍率信号に拡大または縮小の中心位置を示す信号が含まれている場合には、画像信号処理部８３は、画像信号Ｓｖから、画像表示部８８に、その中心位置を中心として指示された倍率で拡大または縮小した画像を投影させるための画像信号Ｓｖｏｕｔを生成する。

音響出力位置指示部８６は、倍率入力部９０から画像の倍率を指示する倍率信号が供給された場合、設定情報供給部９２から、画像オブジェクトに応じた音声を放射する範囲であって、視聴者から指示された予め定めた範囲を読み出して、予め定めた範囲を指示された倍率に応じて拡大または縮小するように、画像オブジェクトに応じた音声を放射する範囲を算出する。

倍率信号に拡大または縮小の中心位置を示す信号が含まれている場合には、音響出力位置指示部８６の音声座標算出部９１は、拡大または縮小された画像にあわせて、画像オブジェクトに応じた音声を放射する範囲の位置を算出するようにしてもよい。

音声座標算出部９１の選択部１０１は、算出された範囲から、画像オブジェクトに応じた音声を放射させる振動板４２を選択し、さらに、算出された範囲から、振動板４２を振動させる振動子４１を選択する。また、選択部１０１は、算出された範囲から、その画像オブジェクトに応じた音声以外の音声を放射させる振動板４２を選択し、さらに、振動板４２を振動させる振動子４１を選択する。

音響出力位置指示部８６は、所定の画像オブジェクトに応じた音声の放射に選択された振動板４２または振動子４１を示す選択信号を音響出力信号生成部８４に供給し、所定の画像オブジェクトに応じた音声以外の音声の放射に選択された振動板４２または振動子４１を示す選択信号を音響出力信号生成部８５に供給する。

この場合も、上述したように、音響出力信号生成部８４は、音響出力位置指示部８６からの選択信号を基に、音声信号分離部８２から供給された音声信号から音響出力信号Ｓａｏｕｔ−１を生成し、生成した音響出力信号Ｓａｏｕｔ−１を音響出力信号混合部８７に供給する。また、音響出力信号生成部８５は、音響出力位置指示部８６からの選択信号を基に、音声信号分離部８２から供給された音声信号から音響出力信号Ｓａｏｕｔ−２を生成し、生成した音響出力信号Ｓａｏｕｔ−２を音響出力信号混合部８７に供給する。

さらにまた、信号ＲＳに距離角度信号Ｓｐが含まれている場合、距離角度信号Ｓｐで示される角度または距離に応じて音声を出力する範囲を変えることができる。

音響出力位置指示部８６は、情報信号分離部８１から角度を示す距離角度信号Ｓｐが供給された場合、パンまたはチルトに応じて表示部２２に対して背景が移動しているので、音響出力位置指示部８６の選択部１０１は、距離角度信号Ｓｐで示される角度に応じて、リアチャンネルの音声信号に応じた音声を放射させる振動板４２を選択し、さらに、振動板４２を振動させる振動子４１を選択する。この場合、横または縦に並ぶ振動板４２から、横方向に音源が移動するかまたは縦方向に音源が移動するように音声が放射されるように、音声を放射させる振動板４２またはその振動板４２を振動させる振動子４１が順に選択される。

音響出力位置指示部８６は、情報信号分離部８１から被写体と画像音響取得装置６１との距離を示す距離角度信号Ｓｐが供給された場合、予め設定されている基準の距離と距離角度信号Ｓｐで示される距離との比を求める。そして、音響出力位置指示部８６は、設定情報供給部９２から、画像オブジェクトに応じた音声を放射する範囲であって、視聴者から指示された予め定めた範囲を示す情報を読み出す。音響出力位置指示部８６は、予め定めた範囲を距離の比に応じて拡大または縮小するように、すなわち、より近い場合にはより広い（大きい）、より遠い場合にはより狭い（小さい）範囲である、画像オブジェクトに応じた音声を放射する範囲を算出する。

なお、音響出力位置指示部８６は、信号ＲＳに含まれるズーム信号ＺＯｃまたはズーム信号ＺＯｏを基に、振動板４２または振動子４１を選択するようにしてもよい。この場合、情報信号分離部８１は、信号記録再生装置６３から供給された信号ＲＳを、画像信号Ｓｖと音声信号Ｓａと距離角度信号Ｓｐとズーム信号ＺＯｃまたはズーム信号ＺＯｏとに分離し、ズーム信号ＺＯｃまたはズーム信号ＺＯｏを音響出力位置指示部８６に供給する。

次に、画像音響再生装置１１における音声の出力の具体的な例について説明する。

まず、表示している画像の撮影においてパンまたはチルトされた場合の音声の出力について説明する。

例えば、図６Ａで示されるように、走行している自動車を常に画面の中央に捉えるように撮影する場合、撮影中の画像音響取得装置６１は、いわゆる、パンされる（水平方向（横方向）に回動させられる）。このように撮影された画像は、図６Ｂ乃至図６Ｄで示されるように、自動車の画像オブジェクトは、常に、表示部２２の中央に表示され、背景の画像が、表示部２２に対して横方向に移動することになる。

同様に、例えば、図７Ａで示されるように、打ち上げられたロケットを常に画面の中央に捉えるように撮影する場合、撮影中の画像音響取得装置６１は、いわゆる、チルトされる（上下方向（縦方向）に回動させられる）。このように撮影された画像は、図７Ｂ乃至図７Ｄで示されるように、ロケットの画像オブジェクトは、常に、表示部２２の中央に表示され、背景の画像が、表示部２２に対して縦方向に移動することになる。

表示している画像の撮影においてパンされた場合、図８で示されるように、背景の画像が、表示部２２に対して横方向に移動する、すなわち、表示されている画像の画枠が横方向に移動しているとも言える。

そこで、画像音響再生装置１１は、画枠の位置の移動に従って、振動板４２を振動させる振動子４１を順に選択する。

例えば、図９で示されるように、振動子４１が、画枠の動き方向に従って順に選択される。図９において、ｅ１乃至ｅ８は、横に一列に並ぶ振動子４１を示す。例えば、図９の矢印の方向にパンされ、画枠が図９の矢印の方向に動いている場合、振動板４２を振動させる振動子４１として、ｅ１乃至ｅ８が順に選択される。

このようにすることで、背景の画像の動きに応じて、背景の画像に対応して音源が移動するように音声が出力されることになる。

また、自動車の画像などの画像オブジェクトが画面に対して移動した場合、画像音響再生装置１１は、画像オブジェクトの画面上の位置を検出して、その位置から音声を放射する位置を算出し、算出された位置から音声が放射されるように振動子４１を選択するので、画像オブジェクトが表示される位置から、画像オブジェクトに対応する音声が出力される。

この場合、図１０Ａで示されるように、衝立スピーカ２１−５の図中ｅ１で示される振動子４１と図中ｅ２で示される振動子４１との間に、自動車の画像などの画像オブジェクトが表示されている場合には、衝立スピーカ２１−５の図中ｅ１で示される振動子４１と図中ｅ２で示される振動子４１とが、その間が音源となるように振動板４２を振動させる。

図１０Ｂで示されるように、自動車の画像などの画像オブジェクトが左側に移動して、衝立スピーカ２１−４の図中ｅ３で示される振動子４１と、衝立スピーカ２１−５の図中ｅ２で示される振動子４１との間に、その画像オブジェクトが表示されている場合には、衝立スピーカ２１−４の図中ｅ３で示される振動子４１と衝立スピーカ２１−５の図中ｅ２で示される振動子４１とが、その間が音源となるように振動板４２を振動させる。

さらに自動車の画像などの画像オブジェクトが左側に移動して、衝立スピーカ２１−４の図中ｅ４で示される振動子４１と図中ｅ３で示される振動子４１との間に、その画像オブジェクトが表示されている場合には、図１０Ｃで示されるように、衝立スピーカ２１−４の図中ｅ４で示される振動子４１と図中ｅ３で示される振動子４１とが、その間が音源となるように振動板４２を振動させる。

このように、画像オブジェクトが画面に対して移動すると、その画像オブジェクトの位置と同じ位置から、画像オブジェクトに対応する音声が出力されるように、音声を放射する振動板４２およびその振動板４２を振動させる振動子４１が選択される。

２つの振動子４１のそれぞれから加えられた振動が、振動板４２において合成（混合）されて、合成された振動で音声を放射することで、２つの振動子４１の間から音声を出力することができる。音声を放射する振動板４２およびその振動板４２を振動させる振動子４１を順に選択すると共に、選択した振動子４１によって加える振動の強さまたは位相などを制御することで、振動板４２の音声が放射される位置を連続的に移動させることができる。

なお、図１０には２つの振動子４１が振動板４２を振動させる例を示したが、１つの振動子４１により振動板４２を振動させるようにしてもよい。

振動板４２は、材質にもよるが、基本的には、内部損失により振動を減衰させる。一般に、この内部損失は、低い周波数の周波数帯域の振動よりも、高い周波数の周波数帯域の振動を減衰させやすい傾向がある。すなわち、低い周波数帯の振動は、振動子４１の位置からより遠くまで伝達されるが、高い周波数帯域の振動は、振動子４１の位置により近い位置で減衰してしまう。このため、振動子４１で振動板４２を振動させると、低域を除いた周波数帯域において振動子４１の取り付け位置周辺の音が大きくなる傾向がある。すなわち、視聴者には、振動子４１の取り付け位置から音声が発せられているように聞こえやすい。

そこで、このような場合には、振動子４１を１つずつ順に選択して、振動板４２を振動させるようにしてもよい。この場合にも、画像オブジェクトの位置と同じ位置から音声が出力されるように聞こえる。

従来は画面の中央からしか音声が聞こえなかったが、本発明によれば、例えば、救急車の画像オブジェクトが画面上を移動するのにあわせて、救急車のサイレンの音が動いていくようにすることができる。

左右方向の移動と同様に、上下方向についても音声を移動させることができる。すなわち、衝立スピーカ２１の振動板４２の面上の任意の方向の任意の位置に、音声を出力させる位置を移動させることができる。

なお、複数の衝立スピーカ２１で部屋の壁全体を覆うようにした場合には、部屋の壁の全面の任意に位置から音声を出力させることができる。さらに、衝立スピーカ２１で部屋の天井または床を覆うようにした場合には、天井または床の任意の位置から音声を出力させることができる。

次に、表示している画像の撮影においてズームされた場合の音声の出力について説明する。

例えば、図１１Ａで示されるように、その画像をより拡大して表示できるように自動車を撮影する場合、撮影中の画像音響取得装置６１は、いわゆる、ズームインされる（ズーム機構により焦点距離が長くさせられる）。図１１Ｂで示されるズームインされる前の自動車の画像オブジェクトに比較して、図１１Ｃで示されるように、ズームインされた自動車の画像オブジェクトは、より大きく表示部２２に表示されることになる。

また、撮影中の画像音響取得装置６１が被写体に近づいた場合も、画像がより拡大して表示される。

ズーム倍率検出部１２３においては、ズームされた場合または画像音響取得装置６１と被写体との距離が変化した場合に変化する画像の倍率が検出される。

同様に、視聴者が、倍率入力部９０に、表示する画像を拡大するように、画像の倍率を指示する操作を加えた場合、図１２Ａおよび図１２Ｂで示されるように、拡大した画像が表示部２２に表示される。すなわち、例えば、図１２Ａで示される、倍率が１である画像が、表示部２２に表示されていた場合、視聴者が、画像を９倍にする指示を倍率入力部９０に加えたとき、図１２Ｂで示されるように、９倍の画像が表示部２２に表示される。

なお、図中の×印は、拡大または縮小の中心位置を示す。

表示している画像の撮影においてズームされた場合、または画像が拡大された場合、音声を放射する範囲が拡大される。

例えば、図１３Ａで示されるように、ズームされる前または画像が拡大される前において、衝立スピーカ２１−３の１枚の振動板４２が振動させられて、１枚の振動板４２の範囲で音声が放射されている場合、画像（の面積）が９倍になるようにズームされるかまたは画像が拡大されると、図１３Ｂで示されるように、元の振動板４２と、その周りの８枚の振動板４２とが同時に振動させられて、９枚の振動板４２の範囲から音声が放射される。

図１４は、ズームまたは画像の拡大に応じた、振動板４２に加えられる振動子４１の振動の例を説明する図である。図１４において、１つの四角は、１枚の振動板４２を示す。すなわち、ｍ１の振動板４２が中央に配置され、ｍ２乃至ｍ３の３枚の振動板４２がｍ１の振動板４２の上に横１行に並ぶように配置され、ｍ５およびｍ６の振動板４２が、それぞれ、ｍ１の振動板４２の左側と右側とに配置され、ｍ７乃至ｍ９の３枚の振動板４２がｍ１の振動板４２の下に横１行に並ぶように配置されることで、横３枚縦３枚の計９枚の振動板４２が配置されている。

ｍ１乃至ｍ９の振動板４２には、それぞれ、２つの振動子が、所定の距離をおいて、横に１行に並ぶように配置されている。すなわち、図１４において、振動板４２に向かって左側のＬで示される振動子４１と、振動板４２に向かって右側のＲで示される振動子４１とが、ｍ１乃至ｍ９の振動板４２のそれぞれに配置され、９枚の振動板４２には合計１８の振動子４１が設けられている。

図１４において、Ｌの上に配置されている数字は、Ｌで示される振動子４１で加えられる振動の強さを示し、Ｒの上に配置されている数字は、Ｒで示される振動子４１で加えられる振動の強さを示す。

設定情報供給部９２に、画像オブジェクトに応じた音声を放射する範囲であって、視聴者から指示された予め定めた範囲として、１枚の振動板４２の面と同じ大きさの範囲が記憶され、画像オブジェクトがｍ１の振動板４２の位置に表示されている場合を例に説明する。

ズームまたは画像の拡大の倍率が１．０である場合、図１４の上側で示されるように、ｍ１の振動板４２のＬで示される振動子４１およびＲで示される振動子４１が、それぞれ、１．０の強さで、ｍ１の振動板４２を振動させて、音声を放射させる。ｍ２乃至ｍ９の振動板４２は振動させられない。これにより、ｍ１の振動板４２の範囲から音声が出力されることになる。

ズームまたは画像の拡大の倍率が１．ｎ（ｎは自然数）である場合、図１４の中央で示されるように、ｍ１の振動板４２のＬで示される振動子４１およびＲで示される振動子４１が、それぞれ、１．０の強さで、ｍ１の振動板４２を振動させて、音声を放射させるとともに、ｍ２の振動板４２のＲで示される振動子４１、ｍ３の振動板４２のＬで示される振動子４１およびＲで示される振動子４１、ｍ４の振動板４２のＬで示される振動子４１、ｍ５の振動板４２のＲで示される振動子４１、ｍ６の振動板４２のＬで示される振動子４１、ｍ７の振動板４２のＲで示される振動子４１、ｍ８の振動板４２のＬで示される振動子４１およびＲで示される振動子４１、並びにｍ９の振動板４２のＬで示される振動子４１が、０．５の強さで、ｍ２乃至ｍ９の振動板４２を振動させて、音声を放射させる。

これにより、ｍ１の振動板４２の範囲から音声が出力されるとともに、ｍ１の振動板４２の音声の強さに比較して半分の強さの音声が、ｍ３およびｍ８の振動板４２の範囲から出力されることになる。さらに、ｍ２、ｍ４、ｍ５、ｍ６、ｍ７、およびｍ９の振動板４２の範囲のうち、ｍ１の振動板４２に近接する側の約半分の範囲から、ｍ１の振動板４２の音声の強さに比較して４分の１の強さの音声が出力される。

さらに、ズームまたは画像の拡大の倍率がｎ（ｎは自然数）である場合、図１４の下側で示されるように、ｍ１乃至ｍ９の振動板４２のＬで示される振動子４１およびＲで示される振動子４１が、それぞれ、１．０の強さで、ｍ１乃至ｍ９の振動板４２を振動させて、音声を放射させる。これにより、ｍ１乃至ｍ９の振動板４２の範囲から音声が出力される。

このように、倍率が１．０である標準の大きさの画像が表示されている場合には、例えば、１枚の振動板４２の面積などより狭い面から音声が出力され、ズームインするかまたは画像が拡大されることで、表示される画像の倍率が１を超えるようになった場合には、より広い面から音声が出力される。

このように、ズームまたは画像の拡大にあわせて、音声が出力される範囲が変えられる。

なお、表示する画像の画枠の大きさに合わせて、音声が出力される範囲を変えるようにしてもよい。例えば、信号ＲＳに画枠の大きさを示す情報が含まれている場合には、その情報で示される画枠の大きさに応じた面積（数）の振動板４２および振動子４１が選択され、所定の強さで振動板４２が振動させられて、音声が放射させられる。

次に、図１５のフローチャートを参照して、音響出力の処理を説明する。ステップＳ１１において、音響出力位置指示部８６の設置情報供給部９２は、衝立スピーカ２１に関する設置情報Ｃｓａを記憶する。例えば、ステップＳ１１において、設置情報供給部９２は、表示面における座標と音声を放射する面における座標との関係を示す情報、衝立スピーカ２１のそれぞれの音を放射できる範囲を示す情報、衝立スピーカ２１のそれぞれにおける、振動板４２のそれぞれの面の範囲および振動子４１のそれぞれの位置を示す情報を含む設置情報Ｃｓａを記憶する。また、設置情報供給部９２は、画像オブジェクトに応じた音声を放射する予め定めた範囲を記憶する。

ステップＳ１２において、情報信号分離部８１は、信号記録再生装置６３から供給された信号ＲＳに含まれる、画像信号Ｓｖと音声信号Ｓａとを分離する。情報信号分離部８１は、また、信号ＲＳに含まれる距離角度信号Ｓｐを分離する。情報信号分離部８１は、分離して得られた画像信号Ｓｖを画像信号処理部８３に供給し、音声信号Ｓａを音声信号分離部８２に供給し、距離角度信号Ｓｐを音響出力位置指示部８６に供給する。

さらにまた、信号ＲＳにズーム信号ＺＯｃまたはズーム信号ＺＯｏが含まれている場合、情報信号分離部８１は、ズーム信号ＺＯｃまたはズーム信号ＺＯｏを分離して、分離したズーム信号ＺＯｃまたはズーム信号ＺＯｏを音響出力位置指示部８６に供給する。

ステップＳ１３において、音声信号分離部８２は、音声信号Ｓａをさらに２つの音声信号に分離する。音声信号分離部８２は、分離された一方の音声信号を音響出力信号生成部８４に供給し、他方の音声信号を音響出力信号生成部８５に供給する。例えば、ステップＳ１３において、音声信号分離部８２は、５チャンネルの音声信号Ｓａを、２チャンネルのフロントチャンネルおよび１チャンネルのセンタチャンネルの音声信号と、２チャンネルのリアチャンネルの音声信号とに分離して、フロントチャンネルおよびセンタチャンネルの音声信号を音響出力信号生成部８４に供給し、リアチャンネルの音声信号を音響出力信号生成部８５に供給する。

ステップＳ１４において、画像信号処理部８３は、注目する画像オブジェクトが表示される表示位置または画像オブジェクトの表示の倍率を取得する。例えば、ステップＳ１４において、画像信号処理部８３は、動きを検出することで、注目する画像オブジェクトが表示される表示位置を取得する。また、例えば、ステップＳ１４において、画像信号処理部８３は、画像オブジェクトの輪郭を抽出することで、注目する画像オブジェクトが表示される表示位置を取得する。

例えば、ステップＳ１４において、画像信号処理部８３は、指定された領域の画素の差分から画像オブジェクトの表示の倍率を取得する。また、例えば、ステップＳ１４において、画像信号処理部８３は、輝度または色に対する頻度を示すヒストグラムで示される最も頻度の大きい輝度または色の頻度の比から、画像オブジェクトの表示の倍率を取得する。

ステップＳ１５において、音響出力位置指示部８６は、ステップＳ１４で取得した画像オブジェクトの座標位置または倍率を、音声の座標位置または範囲に変換する。例えば、ステップＳ１５において、音響出力位置指示部８６は、設定情報供給部９２に設置情報Ｃｓａとして記憶されている、表示面における座標と音声を放射する面における座標との関係を示す情報を基に、表示面における座標上の画像オブジェクトの座標位置を、音声を放射する面における座標上の座標位置に変換する。

例えば、ステップＳ１５において、音響出力位置指示部８６は、設定情報供給部９２に記憶されている、画像オブジェクトに応じた音声を放射する範囲を倍率に応じて拡大または縮小することで、音声の範囲を求める。

ステップＳ１６において、選択部１０１は、音声の座標位置または範囲に応じた衝立スピーカ２１を選択する。さらに、ステップＳ１７において、選択部１０１は、音声の座標位置または範囲に応じた、振動板４２を選択し、さらにまた、振動板４２を振動させる振動子４１を選択する。

また、ステップＳ１６において、選択部１０１は、注目する画像オブジェクトに応じた音声以外の音声を出力させる衝立スピーカ２１を選択し、ステップＳ１７において、その音声を放射させる振動板４２と振動板４２を振動させる振動子４１とを選択する。

ステップＳ１８において、音響出力信号生成部８４は、ステップＳ１６における、音声の座標位置または範囲に対する、衝立スピーカ２１、振動板４２、振動子４１の選択に応じて、選択された振動子４１を駆動するための音響出力信号を、所定のチャンネルの音声信号から生成する。例えば、ステップＳ１８において、音響出力信号生成部８４は、ステップＳ１３において分離されたフロントチャンネルおよびセンタチャンネルの音声信号から、選択された振動板４２に装着されている選択された振動子４１を駆動するための音響出力信号Ｓａｏｕｔ−１を生成する。

ステップＳ１９において、音響出力信号生成部８５は、注目する画像オブジェクトに応じた音声以外の音声に対する、衝立スピーカ２１、振動板４２、振動子４１の選択に応じて、選択された振動子４１を駆動するための音響出力信号を、他のチャンネルの音声信号から生成する。例えば、ステップＳ１９において、音響出力信号生成部８５は、ステップＳ１３において分離されたリアチャンネルの音声信号から、選択された振動板４２に装着されている選択された振動子４１を駆動するための音響出力信号Ｓａｏｕｔ−２を生成する。

ステップＳ２０において、音響出力信号混合部８７は、ステップＳ１８で生成された音響出力信号とステップＳ１９で生成された音響出力信号とを混合する。例えば、ステップＳ２０において、音響出力信号混合部８７は、振動子４１毎に、音響出力信号Ｓａｏｕｔ−１および音響出力信号Ｓａｏｕｔ−２を混合する。混合された音響出力信号は、それぞれ、信号増幅部８９−１乃至信号増幅部８９−ｎに供給される。

ステップＳ２１において、信号増幅部８９−１乃至信号増幅部８９−ｎは、ステップＳ２０で混合された音響出力信号を基に、振動子４１のそれぞれを駆動して、その結果、衝立スピーカ２１から音声が出力され、処理は終了する。

このように、出力される音声と、表示される画像とが一致する。すなわち、表示される画像オブジェクトの位置から、画像オブジェクトに対応した音声が出力されるようになる。また、表示される画像オブジェクトの大きさに応じた範囲から、画像オブジェクトに対応した音声が出力されるようになる。

画像の位置と音声が発せられる位置との距離がより短くなるので、自然界により近い環境を室内空間に再現させることができるようになる。

さらにまた、画像の位置だけでなく、画像の大きさに合わせた範囲から音声が発せられるようになるので、視聴者が、見ている画像と一致した音声を聞くことができるようになる。

壁全面にスピーカを多数設ける必要がないので、壁全面を音源とすることができるようなシステムをより軽量に実現できる。

パンまたはチルトに対して画像処理により画像オブジェクトの動きを検出し、動いている画像にあわせて動いている音声を出力することができる。

または、画像音響取得装置６１におけるパンまたはチルトに対して、画像音響取得装置６１からの距離角度信号Ｓｐを用いて、パンまたはチルトしながら撮影された画像に応じて動いている音声を出力することができる。

ズームに対して画像処理により画像オブジェクトの倍率を検出し、表示の大きさが変化する画像にあわせた範囲から音声を出力することができる。

または、画像音響取得装置６１におけるズームに対して、画像音響取得装置６１からのズーム信号ＺＯｃを用いて、ズームインまたはズームアウトしながら撮影された画像の表示される大きさにあわせた範囲から音声を出力することができる。

画像音響取得装置６１と被写体との距離が変化することで、表示される画像の大きさが変化する場合には、その距離に応じた範囲から音声を出力するので、画像の大きさと一致する大きさの範囲から音声を出力することができる。

画像を拡大または縮小して表示する場合には、拡大または縮小により表示の大きさが変化する画像にあわせた範囲から音声を出力することができる。

なお、使われていない振動板４２または振動子４１に、任意の音声を出力させるようにしてもよい。例えば、表示部２２の外に配置されている振動板４２または振動子４１に、BGM（background music）である音声を出力させるようにしてもよい。

このように、画像に応じた音声から振動子を駆動する音響信号を生成するようにした場合には、画像に応じた音声を出力することができる。また、表示される画像に含まれる所定の画像オブジェクトの表示面における位置または画像の表示の倍率を検出し、画像オブジェクトの表示面における位置から音声を放射する位置を算出するか、または画像の表示の倍率から音声を放射する範囲を算出し、画像に対応する音声信号から、算出された位置または範囲から音声を放射させるように振動子を駆動する音響信号を生成するようにした場合には、聴視位置の制限を無くすとともに、画像の位置または範囲と音声が発せられる位置または範囲とを一致させることができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。

図１６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。

CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロフォンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。

入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。

入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１、または、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明の一実施の形態の画像音響再生装置の外観を示す図である。 衝立スピーカの構成の例を示す図である。 本発明の一実施の形態の画像音響再生装置の機能の構成を示すブロック図である。 画像信号処理部の構成を示すブロック図である。 ズーム倍率検出部の構成の例を示すブロック図である。 パンを説明する図である。 チルトを説明する図である。 画像の画枠の移動を説明する図である。 画枠の動きに従って順に選択される振動子を説明する図である。 移動する画像オブジェクトに応じて選択される振動子を説明する図である。 ズームを説明する図である。 画像の拡大を説明する図である。 ズームまたは画像の拡大に応じて選択される振動子を説明する図である。 ズームまたは画像の拡大に応じて選択される振動子を説明する図である。 音響出力の処理を説明するフローチャートである。 パーソナルコンピュータの構成の例を示すブロック図である。

符号の説明

１１ 画像音響再生装置， ２１−１乃至２１−６，２１ 衝立スピーカ， ２２ 表示部， ４１ 振動子， ４２ 振動板， ８１ 情報信号分離部， ８２ 音声信号分離部， ８３ 画像信号処理部， ８４ 音響出力信号生成部， ８５ 音響出力信号生成部， ８６ 音響出力位置指示部， ８７ 音響出力信号混合部， ８８ 画像表示部， ８９−１乃至８９−ｎ 信号増幅部， ９０ 倍率入力部， １２１ シーンチェンジ検出部， １２２ 動き検出部， １２３ ズーム倍率検出部， １２４ 画像位置移動部， １４１ 遅延回路， １４２ 画像位置切替回路， １４３ 差分演算回路， １４４ 倍率決定回路， ２０１ ＣＰＵ， ２０２ ＲＯＭ， ２０３ ＲＡＭ， ２０８ 記憶部， ２１１ リムーバブルメディア

Claims (9)

1. 振動子によって振動させられることにより音声を放射する振動板であって、画像を表示する表示面として配置されるか、または前記表示面の全体の背後に配置される振動板と、
   表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出する検出手段と、
   前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出する算出手段と、
   前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する第１の音響信号を生成する第１の生成手段と
   を備える音声出力装置。
2. 複数の前記振動板が、前記表示面として配置されるか、または前記表示面の全体の背後に配置され、
   前記算出手段は、算出された位置または範囲から、前記音声を放射させる前記振動板を選択し、
   前記第１の生成手段は、選択された前記振動板に設けられた前記振動子を駆動する前記第１の音響信号を生成する
   請求項１に記載の音声出力装置。
3. 前記算出手段は、算出された位置または範囲から、前記振動板を振動させる前記振動子を選択し、
   前記第１の生成手段は、選択された前記振動子を駆動する前記第１の音響信号を生成する
   請求項１に記載の音声出力装置。
4. 前記画像に対応する前記音声信号を、第１の音声信号と第２の音声信号とに分離する分離手段を備え、
   前記第１の生成手段は、前記第１の音声信号から、前記第１の音響信号を生成し、
   前記第２の音声信号から、前記振動子を駆動する第２の音響信号を生成する第２の生成手段と、
   前記第１の音響信号と前記第２の音響信号とを混合する混合手段と
   をさらに備え、
   前記振動子は、混合された前記第１の音響信号および前記第２の音響信号によって駆動される
   請求項１に記載の音声出力装置。
5. 前記検出手段は、前記表示面における座標で示される、前記画像オブジェクトの位置を検出し、
   前記算出手段は、音声を放射する面における座標で示される、前記音声を放射する位置を算出するか、または前記音声を放射する範囲を算出する
   請求項１に記載の音声出力装置。
6. 前記振動板には、前記振動板上の所望の位置から前記音声を放射できるように複数の前記振動子が設けられている
   請求項１に記載の音声出力装置。
7. 振動子によって振動させられることにより音声を放射する振動板を、画像を表示する表示面として配置するか、または前記表示面の全体の背後に配置し、
   表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出し、
   前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出し、
   前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する音響信号を生成する
   ステップを含む音声出力方法。
8. 振動子によって振動させられることにより音声を放射する振動板であって、画像を表示する表示面として配置されるか、または前記表示面の全体の背後に配置される振動板を備える音声出力装置のコンピュータに音声出力処理を行わせるプログラムにおいて、
   表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出し、
   前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出し、
   前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する音響信号を生成する
   ステップを含むプログラム。
9. 請求項８に記載のプログラムが記録されている記録媒体。

Images