JP2003264900A - 音響提示システムと音響取得装置と音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム - Google Patents

Abstract

(57)【要約】 【課題】表示画像に対応させて容易に臨場感の高い再生
音場を得るする。 【解決手段】超指向性マイク等を用いた集音部１４によ
って、撮影画像の被写体側から供給された音を取得して
音響信号Ｓaを生成する。また撮像部１２によって画像
信号Ｓvを生成する。信号Ｓa，Ｓv等に基づいて情報信
号ＷＳを生成して音響取得を行う。音響再生時には信号
ＲＳから信号Ｓa，Ｓv等を分離する。信号Ｓvを用いて
動き検出を行い、画像の表示位置を移動させると共に表
示位置信号ＰＤを生成する提示制御部５０は、音響出力
部６０の数や設置位置等に関する設置情報ＣＳaと信号
ＰＤに基づき提示調整信号ＣＰを生成する。音響出力信
号生成部５２は信号ＣＰと信号Ｓaに基づき、複数の音
響出力信号ＳAoutを生成すると共に、この信号ＳAoutの
信号レベル等を制御して複数の音響出力部６０に供給
し、画像の表示位置に対応した音響出力を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、音響提示システ
ムと音響取得装置と音響再生装置及びその方法並びにコ
ンピュータ読み取り可能な記録媒体と音響提示プログラ
ムに関する。詳しくは、特定音源からの音を集音手段に
よって取得して音響信号を生成し、特定音源の方向に対
する撮影を行い画像信号を生成し、画像信号に基づく画
像の動き検出を行い、検出した動きに応じて画像信号に
基づく画像の表示位置を移動させると共に表示位置を示
す表示位置信号を生成し、音響出力信号に基づいた音響
出力を行う複数の音響出力手段に関する設置情報と表示
位置信号に基づいて、複数の音響出力信号を生成して複
数の音響出力手段に供給することにより、画像の表示位
置の移動に合わせて音像の位置を移動させるものであ
る。

【０００２】

【従来の技術】従来の音響提示システムでは、例えばス
テレオマイクロフォンを用いて右側方向の音響と左側方
向の音響を集音して、左右チャンネルの音響信号を生成
すると共に、再生時には右側に配置されているスピーカ
を右チャネルの音響信号に基づいて駆動し、左側に配置
されているスピーカを左チャネルの音響信号に基づいて
駆動することで、モノラルマイクロフォンを用いる場合
よりも臨場感を高める方法が行われている。

【０００３】また、人間の頭蓋骨模型を作り、この模型
の左耳と右耳の内部にマイクを設けて、人間の耳から入
った音を擬似的に集音すると共に、再生時にはヘッドホ
ンを用いる所謂バイノーラルサウンドも実用化されてい
る。

【０００４】また、近年では、臨場感をさらに向上させ
るため、前方のスピーカ以外に補助スピーカを設けて、
この補助スピーカから反射音や後方からの音および低周
波数領域の音等を再生可能とする方式、所謂５．１ｃｈ
や６．１ｃｈ方式のサラウンド方式等も実用化されてい
る。

【０００５】さらに、音響信号に対して信号処理を行う
ことで再生音場を再現や、３次元音場を再現することが
行われている。例えば、無響室で集音した音やコンパク
トディスク等に記録された音に、所望の空間でのインパ
ルス応答（音響伝達関数）を畳み込み、所望の空間の特
性を再生音場で再現させる。すなわち、所望の空間の音
源位置で基準音を出力させると共に視聴位置で集音を行
い、音源位置で出力された音と視聴位置で集音された音
との関係から所望の空間のインパルス応答を求めること
ができる。このため、インパルス応答を実現するフィル
タを登録しておき、音の再生時には、この登録されたフ
ィルタを用いるものとすれば、所望の空間の特性を再生
音場で再現できる。また、種々のフィルタを登録して、
選択可能とすれば、種々の再生音場を再現できると共
に、三次元音場を再現することもできる。

【０００６】

【発明が解決しようとする課題】ところで、画像と音響
を別々に記録した場合、ビデオカメラの向きに関係なく
音響を記録すると、記録された音響信号に基づく再生音
は方向性を持たなくなってしまい、臨場感に欠けたもの
となってしまう。

【０００７】また、このように記録された音響を、臨場
感を高めて再生するためには、画像を見ながら音像の位
置を画像に合わせる操作を人偽的に行わなければなら
ず、簡単に臨場感の高い再生音を得ることができない。

【０００８】また、ビデオカメラにマイクロフォンを設
けて画像と音響を記録した場合、図１９Ａに示すよう
に、所望の被写体ＯＢに合わせてビデオカメラ９０の撮
像方向を変更すると、図１９Ｂに示すように、再生画像
がフレーム「Ｆa」「Ｆb」「Ｆc」の順に変更されても
所望の被写体ＯＢの位置を表示画像の中央に保つことが
できる。しかし、所望の被写体に対応する音像も位置Ｑ
mに固定されてしまう。このため、再生時には、表示画
像の背景の動きによって被写体の動きを表現できるが、
音像の位置は固定されてしまい、臨場感の高い再生音場
を得ることができない。

【０００９】そこで、この発明では、表示画像に対応さ
せて容易に臨場感の高い再生音場を得ることができる音
響提示システムと音響取得装置と音響再生装置及びその
方法並びにコンピュータ読み取り可能な記録媒体と音響
提示プログラムを提供するものである。

【００１０】

【課題を解決するための手段】この発明に係る音響提示
システムは、特定音源からの音を取得して音響信号を生
成する集音手段と、特定音源の方向に対する撮影を行い
画像信号を生成する撮像手段と、集音手段で生成された
音響信号に基づいて複数の音響出力信号を生成する音響
出力信号生成手段と、音響出力信号に基づいた音響出力
を行う複数の音響出力手段と、画像信号に基づく画像の
動き検出を行い、該検出した動きに応じて画像信号に基
づく画像の表示位置を移動させると共に該画像の表示位
置を示す表示位置信号を生成する画像処理手段と、複数
の音響出力手段に関する設置情報と表示位置信号に基づ
き、音響出力信号生成手段における複数の音響出力信号
の生成動作を制御する提示制御手段とを有するものであ
る。また、環境音を取得して環境音信号を生成する環境
音集音手段と、設置情報と前記環境音信号に基づき、環
境音重畳信号を生成する環境音処理手段と、音響出力手
段毎に、対応する環境音信号を音響出力信号に加算する
信号加算手段とを有するものである。

【００１１】また音響取得装置は、特定音源からの音を
取得して音響信号を生成する集音手段と、特定音源の方
向に対する撮影を行い画像信号を生成する撮像手段と、
環境音を取得して環境音信号を生成する環境音集音手段
と、集音手段で生成された音響信号と撮像手段で生成さ
れた画像信号と環境音集音手段で生成された環境音信号
に基づいて、情報信号を生成する情報信号生成手段とを
有するものである。また、特定音源と集音手段の位置関
係を検出して、検出結果を示す位置情報信号を生成する
位置検出手段を設け、情報信号生成手段は、音響信号と
画像信号と環境音信号と位置情報信号に基づいて情報信
号を生成するものである。

【００１２】さらに音響再生装置は、特定音源からの音
を取得して生成された音響信号に基づいて複数の音響出
力信号を生成する音響出力信号生成手段と、特定音源の
方向に対する撮影を行うことにより生成された画像信号
を用いて画像の動き検出を行い、該検出した動きに応じ
て画像信号に基づく画像の表示位置を移動させると共に
該画像の表示位置を示す表示位置信号を生成する画像処
理手段と、音響出力信号に基づいて音響出力を行う複数
の音響出力手段に関する設置情報と表示位置信号に基づ
き、音響出力信号生成手段における複数の音響出力信号
の生成動作を制御する提示制御手段とを有するものであ
る。また、環境音を取得して生成された環境音信号と設
置情報に基づいて環境音重畳信号を生成する環境音処理
手段と、音響出力手段毎に、対応する音響出力信号を環
境音信号に加算する信号加算手段とを有するものであ
る。

【００１３】次に、この発明に係る音響提示方法は、特
定音源からの音を集音手段によって取得して音響信号を
生成し、特定音源の方向に対する撮影を行い画像信号を
生成し、画像信号に基づく画像の動き検出を行い、該検
出した動きに応じて画像信号に基づく画像の表示位置を
移動させると共に該画像の表示位置を示す表示位置信号
を生成し、音響出力信号に基づいた音響出力を行う複数
の音響出力手段に関する設置情報と表示位置信号に基づ
いて、複数の音響出力信号を生成して複数の音響出力手
段に供給するものである。

【００１４】また音響取得方法は、特定音源からの音を
集音手段によって取得して音響信号を生成し、特定音源
の方向に対する撮影を行い画像信号を生成し、環境音を
取得して環境音信号を生成し、音響信号と画像信号と環
境音信号に基づいて情報信号を生成するものである。

【００１５】さらに音響再生方法は、特定音源の方向に
対する撮影を行うことにより生成された画像信号を用い
て画像の動き検出を行い、該検出した動きに応じて画像
信号に基づく画像の表示位置を移動させると共に該画像
の表示位置を示す表示位置信号を生成し、音響出力信号
に基づいて音響出力を行う複数の音響出力手段に関する
設置情報と、表示位置信号と、特定音源からの音を取得
して生成した音響信号に基づいて、複数の音響出力信号
を生成するものである。

【００１６】次に、この発明に係るコンピュータ読み取
り可能な記録媒体は、コンピュータに、特定音源の方向
に対する撮影を行って生成された画像信号を用いて画像
の動き検出を行って、該検出した動きに応じて画像信号
に基づく画像の表示位置を移動させると共に該画像の表
示位置を示す表示位置信号を生成する手順と、音響出力
信号に基づいて音響出力を行う複数の音響出力手段に関
する設置情報と、表示位置信号に基づいて、提示調整信
号を生成する手順と、特定音源からの音を取得して生成
した音響信号と提示調整信号に基づいて、複数の音響出
力手段に供給する音響出力信号を生成する手順とを実行
させる実行させるプログラムを記録したものである。

【００１７】また、音響提示プログラムは、コンピュー
タに、特定音源の方向に対する撮影を行って生成された
画像信号に基づく画像の動き検出を行って、該検出した
動きに応じて画像信号に基づく画像の表示位置を移動さ
せると共に該画像の表示位置を示す表示位置信号を生成
する手順と、音響出力信号に基づいて音響出力を行う複
数の音響出力手段に関する設置情報と、表示位置信号に
基づいて提示調整信号を生成する手順と、特定音源から
の音を取得して生成した音響信号と提示調整信号に基づ
いて、複数の音響出力手段に供給する音響出力信号を生
成する手順とを実行させるものである。

【００１８】この発明においては、撮像手段によって撮
影画像の画像信号が生成されると共に、超指向性マイク
ロフォン等を用いた集音手段によって、特定音源例えば
撮影方向の音を取得して音響信号が生成される。また、
特定音源と集音手段の位置関係として撮影方向や被写体
までの距離を示す位置情報信号や環境音信号が生成され
る。この音響信号と画像信号および位置検出信号や環境
音信号に基づいて情報信号を生成することで音響取得が
行われる。

【００１９】また情報信号を用いて音響再生を行う場合
には、情報信号から音響信号と画像信号および位置検出
信号や環境音信号が分離される。この分離された画像信
号を用いて動き検出が行われて、例えば所望の被写体の
動きに応じて撮影画像の表示位置が移動させると共に、
この撮影画像の表示位置を示す表示位置信号が生成され
る。また、表示位置信号と、音響出力信号に基づいて音
響出力を行う複数の音響出力手段の数や設置位置等を示
す設置情報等に基づき提示調整信号が生成される。この
提示調整信号と音響信号に基づき、複数の音響出力信号
が生成されると共に音響出力信号の信号レベルや位相が
制御されて、複数の音響出力手段に供給される。

【００２０】

【発明の実施の形態】以下、図を参照しながら、この発
明の実施の一形態について説明する。図１は、この発明
におけ音響提示システムの全体構成を示している。音響
取得装置１０の撮像部１２では、撮影画像の画像信号Ｓ
vを生成して情報信号生成部１８に供給する。

【００２１】図２は撮像部１２の構成を示している。撮
像レンズ１２１を通して入射された光は、撮像素子部１
２２に入射されて、撮像面上に撮影画像が結像される。
撮像素子部１２２は固体撮像素子例えばＣＣＤを用いて
構成されており、光電変換によって得られた撮影画像に
基づく信号を後述する駆動部１３２からの駆動信号ＲＣ
に基づいて読み出し、撮影画像の三原色撮像信号Ｓvaを
生成して前処理部１２３に供給する。

【００２２】前処理部１２３では、撮像信号Ｓvaからノ
イズ成分を除去する処理、例えば相関二重サンプリング
処理を行い、ノイズ除去された撮像信号ＳvaをＡ／Ｄ変
換部１２４に供給する。Ａ／Ｄ変換部１２４では、撮像
信号Ｓvaをディジタルの画像信号Ｓvbに変換してフィー
ドバッククランプ部１２５に供給する。フィードバック
クランプ部１２５では、ブランキング期間の黒レベル信
号と基準信号との誤差を検出してＡ／Ｄ変換部１２４に
供給することで、安定した黒レベルで所要の大きさの画
像信号Ｓvbを得ることが出来るように、Ａ／Ｄ変換動作
を制御する。補正処理部１２６では、画像信号Ｓvbに対
してシェーディング補正や撮像素子の欠陥に対する補正
処理等を行う。この補正処理部１２６で補正処理が行わ
れた画像信号Ｓvbは、プロセス処理部１２７に供給され
る。

【００２３】プロセス処理部１２７では、補正処理後の
画像信号Ｓvbに対してγ処理、輪郭補償処理、ニー補正
処理等を行う。この信号処理が行われた画像信号Ｓvb
は、画像信号Ｓvとして情報信号生成部１８に供給され
る。また、画像信号Ｓvは、モニタ部１２８に供給され
て、このモニタ部１２８に画像信号Ｓvに基づく画像が
表示されて、撮影画像の確認が行われる。

【００２４】撮像制御部１３０には、操作部１３１が接
続されており、操作部１３１をユーザが操作すると、ユ
ーザの操作に応じた操作信号ＰＳが操作部１３１から撮
像制御部１３０に供給される。撮像制御部１３０では、
この操作信号ＰＳに基づいて各種の制御信号ＣＴを生成
して各部の動作を制御することにより、撮像部１２をユ
ーザの操作に応じて動作させる。また、撮像素子部１２
２での信号読み出しフレーム周期を設定する制御信号Ｔ
Ｃを生成して駆動部１３２に供給する。この駆動部１３
２では、制御信号ＴＣに基づき駆動信号ＲＣを生成して
撮像素子部１２２に供給する。

【００２５】図１の集音部１４は、マイクロフォンを用
いて構成されており、撮像部１２の前面や上部等に固定
して設けられている。この集音部１４は、特定音源から
の音である撮像部１２の撮像方向からの音を集音して例
えばディジタルの音響信号Ｓaを生成して情報信号生成
部１８に供給する。この集音部１４で用いるマイクロフ
ォンは、狙った音源の音を拾うことができるように超指
向性（鋭指向性）マイクロフォンであるガンマイク等を
用いる。このように超指向性マイクロフォンを用いるこ
とで、不必要な方向からの雑音や音響を簡単に取り除く
ことができる。また、相関利用や複数マイクを用いて各
マイクの遅延量を補正する等の音源分離手法によって、
狙った音源の音を拾うことができる。

【００２６】位置検出部１６は、特定音源と集音部１４
の位置関係、例えば所望の被写体を特定音源として、こ
の所望の被写体を撮影したときの撮像設定情報、すなわ
ち撮像部１２の撮像方向や所望の被写体までの距離を検
出して、検出結果を示す位置情報信号Ｓpを生成したの
ち情報信号生成部１８に供給する。

【００２７】図３は、撮像部１２の撮像方向と所望の被
写体までの距離を検出する位置検出部１６の構成を示し
ている。角度センサ１６１は、回転角を測定できるセン
サやジャイロ等を用いて角度を測定するものであり、撮
像部１２の撮像方向を検出して角度信号Ｓpaを極座標算
出部１６３に供給する。例えば基準位置に対する水平方
向の角度（以下「方位角」という）φや、基準位置に対
する上下方向の角度（以下「ピッチ角」という）δを示
す角度信号Ｓpaを生成して極座標算出部１６３に供給す
る。測距センサ１６２は、光や超音波等を用いてあるい
は撮像部１２における焦点位置に基づいて距離を測定す
るものであり、所望の被写体までの距離ＬＯを検出して
距離信号Ｓpbを極座標算出部１６３に供給する。極座標
算出部１６３では、角度信号Ｓpaと距離信号Ｓpbから極
座標を算出し、ディジタルの位置情報信号Ｓpとして情
報信号生成部１８に供給する。

【００２８】情報信号生成部１８では、供給された画像
信号Ｓvや音響信号Ｓaおよび位置情報信号Ｓpに基づい
て情報信号ＷＳを生成して信号記録再生装置２０に供給
する。

【００２９】信号記録再生装置２０は、光や磁気あるい
は半導体素子等を利用する記録媒体を用いて構成されて
おり、供給された情報信号ＷＳを記録媒体に記録する。
また、記録媒体を再生して得られた情報信号ＲＳは、音
響再生装置３０の情報信号分離部３２に供給される。

【００３０】情報信号分離部３２は、情報信号ＲＳから
画像信号Ｓvと音響信号Ｓaと位置情報信号Ｓpを分離す
る。さらに、分離された画像信号Ｓvを画像信号処理部
４０に供給すると共に、音響信号Ｓaを音響出力信号生
成部５２に供給する。さらに、位置情報信号Ｓpを提示
制御部５０に供給する。

【００３１】画像信号処理部４０は、画像信号Ｓvに基
づく画像から動きを検出して、検出した動きに応じて画
像の表示位置を移動させた画像出力信号ＳVoutと、表示
位置を示す表示位置信号ＰＤを生成する。図４は、画像
信号処理部４０の概略構成を示しており、画像信号Ｓv
は、画像信号処理部４０のシーンチェンジ検出部４１と
動き検出部４２と画像位置移動部４３に供給される。

【００３２】シーンチェンジ検出部４１は、画像信号Ｓ
vに基づいてシーンチェンジ検出、すなわち連続シーン
とこの連続シーンとは異なるシーンとの繋ぎ目部分であ
る画像の不連続位置を検出する。図５は、シーンチェン
ジ検出部４１の概略構成を示しており、例えば２フレー
ム分の画像信号を用いて連続するシーンであるか否かを
検出するものである。

【００３３】シーンチェンジ検出部４１の遅延回路４１
１は、画像信号Ｓvを１フレーム遅延させて遅延画像信
号Ｓvjとして差分平均算出回路４１２に供給する。差分
平均算出回路４１２は、画像信号Ｓvと遅延画像信号Ｓv
jに基づき、２フレーム間の差分平均値Ｄavを算出して
正規化回路４１４に供給する。この差分平均値Ｄavの算
出は、各画素における２フレーム間の輝度レベルの差分
値を算出して、得られた差分値の平均値を差分平均値Ｄ
avとして正規化回路４１４に供給する。なお、１フレー
ムの画像の画素数が「Ｎ」で、画像信号Ｓvに基づく輝
度レベルを「ＹＣ」、遅延画像信号Ｓvjに基づく輝度レ
ベルを「ＹＰ」としたとき、差分平均値Ｄavは式（１）
に基づいて算出できる。

【００３４】

【数１】

【００３５】ここで、差分平均値Ｄavは、画像の輝度レ
ベルによって大きく変化する。例えば画像が明るい場
合、シーンの切り替えが行われなくとも画像の一部が暗
い画像に変化するだけで差分平均値Ｄavが大きくなって
しまう。一方、画像が暗い場合、シーンの切り替えが行
われても輝度レベルの変化が小さいことから差分平均値
Ｄavは大きくならない。このため、シーンチェンジ検出
部４１に正規化回路４１４を設けるものとして、画像の
明るさに応じた差分平均値Ｄavの正規化を行い、画像の
明るさの影響を少なくして正しくシーンチェンジ検出を
可能とする。

【００３６】輝度平均算出回路４１３は、画像信号Ｓv
に基づき、各画素の輝度レベルに基づき１フレームにお
ける輝度レベルの平均値を算出して輝度平均値Ｙavとし
て正規化回路４１４に供給する。なお、上述のように１
フレームの画像の画素数が「Ｎ」で画像信号Ｓvに基づ
く画素の輝度レベルを「ＹＣ」としたとき、輝度平均値
Ｙavは式（２）に基づいて算出できる。

【００３７】

【数２】

【００３８】正規化回路４１４は、画像の明るさに応じ
た差分平均値Ｄavの正規化を行う。すなわち、式（３）
に示すように、画像の明るさを示す輝度平均値Ｙavに応
じて差分平均値Ｄavを補正して差分平均正規化値（以下
単に「正規化値」という）Ｅを生成する。 Ｅ＝Ｄav／Ｙav ・・・（３） この正規化回路４１４で生成された正規化値Ｅは、判定
回路４１５に供給される。

【００３９】判定回路４１５は、予め設定された閾値Ｒ
fを有しており、正規化値Ｅと閾値Ｒfを比較して、正規
化値Ｅが閾値Ｒfよりも大きいときにはシーンチェンジ
と判定する。また、正規化値Ｅが閾値Ｒf以下であると
きにはシーンチェンジでない連続シーンと判定する。さ
らに、判定回路４１５は、この判定結果を示すシーンチ
ェンジ検出信号ＣＨを生成して図４の動き検出部４２と
画像位置移動部４３に供給する。

【００４０】このように、正規化回路４１４は画像の明
るさに応じた差分平均値Ｄavの正規化を行い、判定回路
４１５は正規化値Ｅを用いてシーンチェンジであるか連
続シーンであるかの判別を行うので、画像の明るさの影
響を少なくして正しくシーンチェンジを検出できる。

【００４１】また、上述のシーンチェンジ検出部４１で
は、正規化値Ｅを用いてシーンチェンジ検出を行うもの
としたが、２フレーム間の画像の相関係数ｒを求めて、
この相関係数ｒと閾値を比較することで、精度良くシー
ンチェンジ検出を行うこともできる。

【００４２】動き検出部４２は、シーンチェンジ検出部
４１からのシーンチェンジ検出信号ＣＨによって連続シ
ーンであることが示されたフレームに関して動きベクト
ルの検出を行い、表示面積の広い部分の動きベクトル例
えば背景部分の動きベクトルを検出する。図６は、動き
検出部４２の構成を示しており、例えばブロックマッチ
ング方法を用いて動きベクトルの検出を行う場合であ
る。

【００４３】動き検出部４２の遅延回路４２１は、画像
信号Ｓvを１フレーム遅延させて遅延画像信号Ｓvkとし
て画像位置切替回路４２２に供給する。画像位置切替回
路４２２は、遅延画像信号Ｓvkに基づく画像の位置を、
予め設定された動き探索範囲内で水平方向や垂直方向に
順次変更して新たな画像信号Ｓvlを順次生成する。この
生成された画像信号Ｓvlは、差分演算回路４２３に供給
される。また、画像位置切替回路４２２は、画像の移動
方向と移動量を示す動きベクトルＭＶを最小値判定回路
４２４に供給する。

【００４４】差分演算回路４２３は、画像信号Ｓvlと画
像信号Ｓvとの差分値ＤＭを順次算出して、最小値判定
回路４２４に供給する。最小値判定回路４２４は、差分
値ＤＭと、この差分値ＤＭの算出に用いた画像信号Ｓvl
を生成する際の動きベクトルＭＶとを関係付けて保持す
る。また、画像位置切替回路４２２で動き探索範囲内で
の画像の移動を完了したとき、最小値判定回路４２４
は、保持している差分値ＤＭから最小値を判別して、こ
の最小値となる差分値ＤＭと関係付けて保持されている
動きベクトルＭＶを、動き検出情報ＭＶＤとして図４の
画像位置移動部４３に供給する。

【００４５】画像位置移動部４３は、シーンチェンジ検
出信号ＣＨと動き検出情報ＭＶＤに基づき表示位置を決
定する。さらに、決定した表示位置に画像を表示する画
像出力信号ＳVoutを生成する。

【００４６】図７は、画像位置移動部４３の構成を示し
ている。画像位置移動部４３の画像位置決定回路４３１
は、シーンチェンジ検出信号ＣＨと動き検出情報ＭＶＤ
に基づき表示位置を決定して、この表示位置を示す表示
位置信号ＰＤを書込読出制御回路４３７と後述する提示
制御部５０に供給する。

【００４７】図８は、画像位置決定回路４３１の構成を
示している。動き累積回路４３２は、シーンチェンジ検
出信号ＣＨに基づいて連続シーンの期間を判別すると共
に、この連続シーンの期間中における動き検出情報ＭＶ
Ｄで示された動きベクトルを累積して、動きベクトルの
時間推移情報である動き累積値ＭＶＴを生成して初期位
置決定回路４３３と表示範囲判定回路４３４に供給す
る。

【００４８】初期位置決定回路４３３は、動き累積値Ｍ
ＶＴの振れ幅ＥＷを求めることでシーン毎に表示位置の
移動範囲を判別し、この移動範囲が画像表示領域内の移
動可能範囲（画像表示領域の右側端部に画像を表示した
ときと、画像を水平移動させて左側端部に表示したとき
の表示画像の中心間の距離）の中央となるように、連続
シーンの最初の表示画像に対する表示位置を決定して、
初期位置ＰＰとして表示範囲判定回路４３４と表示位置
決定回路４３６に供給する。

【００４９】表示範囲判定回路４３４は、初期位置ＰＰ
に連続シーンの最初の表示画像を表示してから連続シー
ンの最後の画像を表示するまでの期間中、動き検出情報
ＭＶＤに基づいて画像の表示位置を移動させたときに、
表示画像が画像表示領域に入りきるか否かを、初期位置
ＰＰと動き累積値ＭＶＴに基づいて判別する。この表示
範囲判定回路４３４での判別結果を示す判別結果信号Ｃ
Ｊaは動き補正回路４３５に供給される。

【００５０】動き補正回路４３５は、判別結果信号ＣＪ
aで表示画像が画像表示領域に入りきらないことが示さ
れたとき、表示画像が画像表示領域に入りきるように動
き検出情報ＭＶＤを補正して、動き検出情報ＭＶＥとし
て表示位置決定回路４３６に供給する。また、判別結果
信号ＣＪaで表示画像が画像表示領域に入りきることが
示されたとき、動き検出情報ＭＶＤの補正を行うことな
く表示位置決定回路４３６に供給する。

【００５１】また、動き累積値ＭＶＴの振れ幅ＷＴを初
期位置決定回路４３３から動き補正回路４３５に供給す
ると共に、画像表示領域内の移動可能範囲を動き補正回
路４３５に予め記憶させておくものとし、振れ幅と移動
可能範囲を用いて動き検出情報ＭＶＤを補正するための
補正係数を設定することもできる。この場合には、表示
位置を移動しても表示画像が画像表示領域内となるよう
に動き量が補正されるので、表示位置が移動可能範囲を
超えて制限されてしまうことを防止できる。

【００５２】表示位置決定回路４３６は、初期位置決定
回路４３３から供給された初期位置ＰＰを連続シーンの
最初の表示位置とする。その後、動き検出情報ＭＶＥに
基づき、動き検出情報ＭＶＥで示された動きベクトルの
方向とは逆方向に画像を移動させた位置を表示位置とし
て、この表示位置を示す表示位置信号ＰＤを順次出力し
て、図７の書込読出制御回路４３７に供給する。また、
表示位置信号ＰＤを図１に示す提示制御部に供給する。

【００５３】ここで、表示位置信号ＰＤに基づいて画像
の表示位置を切り換える場合、図７に示すように、例え
ば画像表示領域に対応した記憶領域を有する画像メモリ
４３８を設けるものとし、書込読出制御回路４３７は、
画像メモリ４３８に画像信号Ｓvを書き込む際の書込位
置を、表示位置信号ＰＤに基づいて表示位置に対応させ
る。このように画像信号Ｓvを書き込むものとすれば、
表示領域に対応した画像メモリ４３８から画像信号を読
み出すだけで表示位置を容易に移動できる。

【００５４】書込読出制御回路４３７は、画像メモリ４
３８に画像信号を書き込むための書込制御信号ＭＷＣ
と、画像メモリ４３８に書き込まれている画像信号を読
み出すための読出制御信号ＭＲＣを生成して、画像メモ
リ４３８に供給する。ここで、書込読出制御回路４３７
は、上述したように画像位置決定回路４３１で決定され
た表示位置と対応する画像メモリ４３８の記憶位置に画
像信号を記憶させるため、表示位置信号ＰＤに基づいて
書込制御信号ＭＷＣを生成する。

【００５５】画像メモリ４３８は、書込制御信号ＭＷＣ
に基づき、画像位置決定回路４３１で決定された表示位
置に対応する記憶領域に、この表示位置の決定が行われ
たフレームの画像信号Ｓvを記憶する。なお、画像信号
Ｓvが記憶されていない領域には、例えば黒表示となる
信号を記憶させる。また、画像メモリ４３８は、書込読
出制御回路４３７からの読出制御信号ＭＲＣに基づき、
記憶領域に記憶されている画像信号を読み出して画像出
力信号ＳVoutとして画像出力部４５に供給する。画像出
力部４５では、供給された画像出力信号ＳVoutに基づい
て表示位置を撮影画像の動きに応じて移動させながら画
像提示を行う。

【００５６】図１の提示制御部５０は、設置情報供給部
５０１と調整信号生成部５０２を有している。設置情報
供給部５０１は、後述する複数の音響出力部６０-1〜６
０-nがどのような位置に設けられており、どのようなス
ピーカが用いられているか等を示す設置情報ＣＳaを保
持し、あるいはユーザの操作等によって設置情報ＣＳa
を生成して、この設置情報ＣＳaを調整信号生成部５０
２に供給する。

【００５７】調整信号生成部５０２は、設置情報供給部
５０１から供給された設置情報ＣＳaと画像信号処理部
４０から供給された表示位置信号ＰＤに基づき、あるい
は、さらに情報信号分離部３２から供給された位置情報
信号Ｓpを用いるものとして、これらの信号に基づいて
提示調整信号ＣＰを生成して、音響出力信号生成部５２
に供給する。この提示調整信号ＣＰは、各音響出力部６
０-1〜６０-nに供給する音響出力信号ＳAout-1〜ＳAout
-nの信号レベルや出力タイミングを調整して音像の位置
や臨場感を制御するものである。

【００５８】音響出力信号生成部５２は、音響信号Ｓa
に対して提示調整信号ＣＰに基づいた信号レベル調整や
出力タイミング調整を行い、音響出力信号ＳAout-1を生
成して音響出力部６０-1に供給する。同様に、提示調整
信号ＣＰに基づいた信号レベル調整や位相調整を行い、
音響出力信号ＳAout-2〜ＳAout-nを生成して音響出力部
６０-2〜６０-nに供給する。音響出力部６０-1〜６０-n
は、スピーカを用いて構成されており、供給された音響
出力信号ＳAout-1〜ＳAout-nに基づいて音響出力を行
う。

【００５９】次に動作について説明する。図９は表示位
置信号を用いた場合の動作を説明するための図である。
調整信号生成部５０２は、設置情報ＣＳaと表示位置信
号ＰＤで示された表示位置に基づき、音響信号Ｓaに対
して式（４），（５）に基づいた音圧比となるように信
号レベルの調整を行うための提示調整信号ＣＰを生成し
て音響出力信号生成部５２に供給する。なお、式
（４），（５）において、「Ｘ，Ｙ」は画像表示領域に
おける画像の移動範囲を示す座標値であり「ｘ，ｙ」は
表示位置信号ＰＤで示された表示位置ＪＤを示す座標値
である。

【００６０】 左側の音響出力部の音圧：右側の音響出力部の音圧 ＝（ｘ／Ｘ）：（Ｘ−ｘ）／Ｘ ・・・（４） 上側の音響出力部の音圧：下側の音響出力部の音圧 ＝（ｙ／Ｙ）：（Ｙ−ｙ）／Ｙ ・・・（５） 例えば、図９Ａに示すように、設置情報ＣＳaによって
音響出力部６０-L，６０-Rが、画像表示領域の中央で左
右の端部側に設けられているときには、音響出力部６０
-Lと音響出力部６０-Rとの音圧比が「（ｘ／Ｘ）：（Ｘ
−ｘ）／Ｘ」となるように、音響出力部６０-L，６０-R
に供給する音声出力信号ＳAout-L，ＳAout-Rの信号レベ
ルを調整するための提示調整信号ＣＰを生成する。

【００６１】音響出力信号生成部５２は、音響信号Ｓa
と提示調整信号ＣＰに基づき、音圧比が「（ｘ／Ｘ）：
（Ｘ−ｘ）／Ｘ」となるように音響信号Ｓaの信号レベ
ルの割合を調整して、音響出力信号ＳAout-Lと音響出力
信号ＳAout-Rを生成すると共に、この音響出力信号ＳAo
ut-Lを音響出力部６０-L、音響出力信号ＳAout-Rを音響
出力部６０-Rにそれぞれ供給する。

【００６２】また、図９Ｂに示すように、設置情報ＣＳ
aによって音響出力部６０-LU，６０-LD，６０-RU，６０
-RDが、画像表示領域の４角に設けられていることが示
された場合には、左右方向だけでなく上下方向の音響出
力部の位置も考慮して、音響出力部６０-LU，６０-LD，
６０-RU，６０-RDに供給する音声出力信号ＳAout-LU，
ＳAout-LD，ＳAout-RU，ＳAout-RDの信号レベルを調整
するための提示調整信号ＣＰを生成する。

【００６３】このように、表示位置信号ＰＤに基づい
て、左右方向に設置された音響出力部や上下方向に設置
された音響出力部に供給する音響出力信号の信号レベル
が調整されるので、集音部１４によって撮影方向の音響
のみを集音しても、画像の表示位置に対応させて音像を
定位させることができる。

【００６４】また、調整信号生成部５０２は、位置情報
信号Ｓpで示された角度情報を用いて提示調整信号ＣＰ
を生成すると共に、表示位置信号ＰＤに基づいて、提示
調整信号ＣＰを補正するものとしても良い。

【００６５】図１０は角度情報を用いた場合の動作を示
している。図１０Ａは、聴取位置ＨＰにおいて、左側に
位置する音響出力部６０-Lと右側に位置する音響出力部
６０-Rが、センター位置ＭＰに対して角度αを有するよ
うに設置されていると設置情報ＣＳaによって示された
場合である。ここで、位置情報信号Ｓpに基づく角度情
報、すなわち角度信号Ｓpaによって示されたセンター位
置ＭＰに対する右方向の方位角φを正の値、左方向の方
位角φを負の値としたとき、音響信号Ｓaに対して式
（６）に基づいた音圧比となるように信号レベルの調整
を行うための提示調整信号ＣＰを生成して音響出力信号
生成部５２に供給する。 左側の音響出力部の音圧：右側の音響出力部の音圧 ＝（tanα−tanφ）：（tanα＋tanφ） ・・・（６）

【００６６】ここで、表示画像が画像表示領域から外れ
て途切れてしまうことが無いよう画像の動き量より表示
位置の移動が少なくされると、角度信号Ｓpaに基づいて
信号レベルを調整したとき、被写体の位置よりも音像の
位置が外側となってしまうおそれがある。このため、調
整信号生成部５０２は、提示調整信号ＣＰを生成する際
に表示位置信号ＰＤを用いて補正を行う。例えば表示位
置が画像表示領域の左側端部に近づいたときには、左側
の音圧比が高くなるように音圧比を補正して、音像の位
置を画像表示領域の中央に近づける。また、表示位置が
左側端部に達したときには、その後角度信号Ｓpaによっ
て方位角φが左方向に増加しても、提示調整信号ＣＰを
表示位置が左側端部に達した状態で保持させる。

【００６７】音響出力信号生成部５２は、音響信号Ｓa
と提示調整信号ＣＰに基づき、式（６）に応じた音圧比
となるように音響信号Ｓaの信号レベルの割合を調整し
て、音響出力信号ＳAout-Lと音響出力信号ＳAout-Rを生
成すると共に、この音響出力信号ＳAout-Lを音響出力部
６０-L、音響出力信号ＳAout-Rを音響出力部６０-Rにそ
れぞれ供給する。

【００６８】図１０Ｂは、上側に位置する音響出力部６
０-Uと下側に位置する音響出力部６０-Dが、センター位
置ＭＰに対して角度βを有するように設置されていると
設置情報ＣＳaによって示された場合である。ここで、
角度信号Ｓpaによって示されたセンター位置ＭＰに対す
る下方向のピッチ角δを正の値、上方向のピッチ角δを
負の値としたときには、音響信号Ｓaに対して式（７）
に基づいた音圧比となるように信号レベルの調整を行う
ための提示調整信号ＣＰを生成して音響出力信号生成部
５２に供給する。 上側の音響出力部の音圧：下側の音響出力部の音圧 ＝（tanβ−tanδ）：（tanβ＋tanδ） ・・・（７）

【００６９】音響出力信号生成部５２は、音響信号Ｓa
と提示調整信号ＣＰに基づき、式（７）に応じた音圧比
となるように音響信号Ｓaの信号レベルの割合を調整し
て、音響出力信号ＳAout-Uと音響出力信号ＳAout-Dを生
成すると共に、この音響出力信号ＳAout-Uを音響出力部
６０-U、音響出力信号ＳAout-Dを音響出力部６０-Dにそ
れぞれ供給する。

【００７０】このように、位置情報信号Ｓpで示された
方位角φやピッチ角δに基づいて、左右方向に設置され
た音響出力部や上下方向に設置された音響出力部に供給
する音響出力信号の信号レベルが調整されるので、集音
部１４によって撮影方向の音響のみを集音しても、音像
を正しく定位させることができる。すなわち、撮影方向
の音のみを集音しても、音源の移動に合わせて音像を移
動させることができる。また、表示画像が画像表示領域
から外れてしまうことが無いように表示位置が制御され
ても、表示画像の位置に合わせて音像を定位させること
ができる。

【００７１】次に、距離情報を用いた動作について説明
する。図１１は、左側に位置する音響出力部６０-Lと右
側に位置する音響出力部６０-Rがセンター位置ＭＰと角
度αを有するように設置されており、聴取位置ＨＰと音
響出力部６０-L，６０-Rとの間隔が距離ＫＳであること
が設置情報ＣＳaによって示された場合である。位置情
報信号Ｓpの距離情報すなわち距離信号Ｓpbによって所
望の被写体ＯＢまでが距離ＬＯで、角度信号Ｓpaによっ
て示された方位角や表示位置ＪＤに基づいて算出した方
位角が方位角φであるとき、所望の被写体ＯＢから音響
出力部６０-Lまでの距離ＬSLは式（８）で算出できる。
また、所望の被写体ＯＢから音響出力部６０-Rまでの距
離ＬSRは式（９）で算出できる。

【００７２】 ＬSL＝√(ＫＳ²＋ＬＯ²−２×ＫＳ×ＬＯ×ｃｏｓ(α＋φ)) ・・・（８） ＬSR＝√(ＫＳ²＋ＬＯ²−２×ＫＳ×ＬＯ×ｃｏｓ(α−φ)) ・・・（９） このため、被写体ＯＢから音響出力部６０-Lまでの距離
と被写体ＯＢから音響出力部６０-Rまでの距離との距離
差ＤLRは、「ＤLR＝ＬSL−ＬSR」となる。すなわち、距
離差ＤLRだけ音響出力部６０-Lから出力される音は、音
響出力部６０-Rから出力される音に比べて遅れたものと
なる。

【００７３】調整信号生成部５０２は、距離差ＤLRを算
出すると共に、この距離差ＤLRを音速Ｖauで除算して遅
延時間ＴLRを算出して、この遅延時間ＴLRだけ音響出力
信号の出力が時間差を生じるように位相の制御すなわち
出力タイミングを制御する提示調整信号ＣＰを生成し
て、音響出力信号生成部５２に供給する。なお、上述し
たように信号レベルを調整するための提示調整信号ＣＰ
を生成して、この提示調整信号ＣＰに対して、遅延時間
ＴLRだけ音響出力信号の出力が時間差を生じるように補
正を行い、この補正後の信号を提示調整信号ＣＰとして
音響出力信号生成部５２に供給しても良い。

【００７４】音響出力信号生成部５２は、提示調整信号
ＣＰに基づいて音響出力信号ＳAout-L，ＳAout-Rの信号
レベルを調整するだけでなく、音響出力信号ＳAout-Lを
遅延時間ＴLRだけ音響出力信号ＳAout-Rよりも遅延させ
て音響出力部６０-Lに供給する。

【００７５】このように、位置情報信号Ｓpで示された
距離ＬＯに基づいて、左右方向に設置された音響出力部
や上下方向に設置された音響出力部に供給する音響出力
信号の位相を調整することで、集音部１４によって撮影
方向の音響のみを集音しても、この集音した音に基づい
て臨場感の高い音響提示を行うことが可能となり、聴取
者は現実感の高い良好な再生音場を得ることができる。

【００７６】例えば図１２に示すように、撮影画像を表
示する際には表示画像Ｚaよりも広い画像表示領域Ｚbを
設け、撮影画像の動き検出を行い被写体の動きに合わせ
て表示画像の表示位置を表示位置Ｐ1から表示位置Ｐ2に
移動させる場合、所望の被写体ＯＢの移動に合わせて音
像を位置Ｑ1から位置Ｑ2に移動させることができるの
で、臨場感の高いと共に移動感のある音響提示を行うこ
とができる。

【００７７】このように上述の実施の形態によれば、集
音部１４によって撮影方向の音響のみを集音しても、音
源の移動に合わせて音像を移動させることができると共
に、表示画像が画像表示領域から外れてしまうことが無
いように表示位置が制御されても、表示画像の位置に合
わせて音像を定位させることができる。

【００７８】さらに、図１３Ａに示す場合に比べて図１
３Ｂや図１３Ｃに示すように多くの音響出力部６０を設
けるものとして、設置情報ＣＳaと表示位置信号ＰＤに
基づいて、表示位置に応じた位置の音響出力部６０を選
択して、この選択した音響出力部６０に対して音響出力
信号ＳAoutを供給するように提示調整信号ＣＰを生成し
てもよい。この場合には、表示画像に合わせて音像を容
易に設定できる。

【００７９】ところで、上述の実施の形態では、超指向
性マイクロフォンを用いることで、不必要な方向からの
雑音や音響を取り除いている。しかし、自然環境に近い
再生音場を作るためには、超指向性マイクロフォンで集
音した音だけでなく反射音等の間接音や雑音等も再生す
ることが好ましい。

【００８０】そこで、第２の実施の形態として、周囲の
環境音も提示できる音響提示システムの構成を図１４に
示す。なお、図１４において、図１と対応する部分につ
いては同一符号を付し、詳細な説明は省略する。環境音
集音部１５は、図１５Ａに示す指向特性の無指向性マイ
クロフォンや図１５Ｂに示す指向特性の前方指向性マイ
クロフォン等を用いて構成されており、環境音を集音し
て環境音信号Ｓsaを生成したのち情報信号生成部１８に
供給する。ここで、前方指向性マイクロフォンを用いる
場合には、前方指向性マイクロフォンを撮影者の周囲に
複数設けるものとすれば、環境音をもれなく集音でき
る。なお、図１５Ｃの指向特性は超指向性マイクロフォ
ンを示している。

【００８１】情報信号生成部１８は、供給された画像信
号Ｓvや音響信号Ｓaと位置情報信号Ｓpおよび環境音信
号Ｓsaに基づいて情報信号ＷＳを生成して信号記録再生
装置２０に供給する。

【００８２】情報信号分離部３２は、情報信号ＲＳから
画像信号Ｓvと音響信号Ｓaと位置情報信号Ｓpおよび環
境音信号Ｓsaを分離して、画像信号Ｓvを画像出力部４
５、音響信号Ｓaを音響出力信号生成部５２、位置情報
信号Ｓpを提示制御部５０、環境音信号Ｓsaを環境音処
理部５３に供給する。

【００８３】環境音処理部５３は、設置情報供給部５３
１と環境音信号調整部５３２を有している。設置情報供
給部５３１は、いずれの音響出力部６０-1〜６０-nから
環境音を出力するか、また環境音を出力する音響出力部
では、どのようなスピーカが用いられているか等を示す
設置情報ＣＳbを保持し、あるいはユーザの操作等によ
って設置情報ＣＳbを生成して、設置情報ＣＳbを環境音
信号調整部５３２に供給する。なお、音響出力部６０-1
〜６０-kとは別個に、環境音出力のための音響出力部を
有している場合には、この音響出力部に関する情報も設
置情報ＣＳbに含ませる。

【００８４】環境音信号調整部５３２は、設置情報供給
部５３１から供給された設置情報ＣＳbに基づき、環境
音信号Ｓsaの信号レベルを使用する音響出力部毎に調整
して、各音響出力部から環境音が出力されたとき、環境
音の音像が実際の音像位置とは異なった方向に定位され
てしまうことを防止する。この環境音信号調整部５３２
で生成された音響出力部毎の環境音重畳信号Ｓsbは、信
号加算部５４に供給される。

【００８５】信号加算部５４は、音響出力信号生成部５
２から供給された音響出力信号ＳAoutと環境音信号調整
部５３２から供給された環境音重畳信号Ｓsbを、対応す
る音響出力部６０毎に加算して、音響出力信号ＳBoutと
して音響出力部６０に供給する。例えば、特定音源から
の音と環境音を音響出力部６０-kから出力する場合、音
響出力信号ＳAout-kと環境音重畳信号Ｓsb-kを加算し
て、音響出力信号ＳBout-kを音響出力部６０-kに供給す
る。なお、特定音源から出力された音を前方に位置する
音響出力部から出力し、環境音を後方に位置する音響出
力部から出力する場合には、音響出力信号ＳAoutを音響
出力信号ＳBoutとして前方に位置する音響出力部に供給
すると共に、環境音重畳信号Ｓsbを音響出力信号ＳBout
として後方に位置する音響出力部に供給する。

【００８６】このように、第２の実施の形態によれば、
集音部１４によって特定音源からの音のみを集音して、
音像を正しく定位させることができるだけでなく、周囲
の環境音も正しく再生できるので、自然で臨場感の高い
音響提示を行うことが可能となり、聴取者は自然でより
現実感の高い再生音場を得ることができる。

【００８７】なお、上述の実施の形態では、情報信号を
生成して記録媒体に記録する構成を示したが、信号記録
再生装置に変えて信号伝送装置を設けるものとし、この
情報信号を伝送する構成としても良い。

【００８８】さらに、上述の処理はハードウェアだけで
なくソフトウェアで実現するものとしても良い。この場
合の構成を図１６に示す。コンピュータは、図１６に示
すようにＣＰＵ(Central Processing Unit)７０１を内
蔵しており、このＣＰＵ７０１にはバス７２０を介して
ＲＯＭ７０２，ＲＡＭ７０３，ハード・ディスク・ドラ
イブ７０４，入出力インタフェース７０５が接続されて
いる。さらに、入出力インタフェース７０５には入力部
７１１や記録媒体ドライブ７１２，通信部７１３，信号
入力部７１４，信号出力部７１５が接続されている。

【００８９】外部装置から命令が入力されたり、キーボ
ードやマウス等の操作手段あるいはマイク等の音声入力
手段等を用いて構成された入力部７１１から命令が入力
されると、この命令が入出力インタフェース７０５を介
してＣＰＵ７０１に供給される。

【００９０】ＣＰＵ７０１は、ＲＯＭ７０２やＲＡＭ７
０３あるいはハード・ディスク・ドライブ７０４に記憶
されているプログラムを実行して、供給された命令に応
じた処理を行う。さらに、ＲＯＭ７０２やＲＡＭ７０３
あるいはハード・ディスク・ドライブ７０４には、上述
の音響提示システムに於ける信号処理をコンピュータで
実行させるための音響提示プログラムを予め記憶させ
て、信号入力部７１４に入力された信号に基づいて音響
出力信号を生成して、信号出力部７１５から出力する。
また、記録媒体に音響提示プログラムを記録しておくも
のとし、記録媒体ドライブ７１２によって、音響プログ
ラムを記録媒体に記録しあるいは記録媒体に記録されて
いる音響プログラムを読み出してコンピュータで実行す
るものとしても良い。さらに、通信部７１３によって、
音響プログラムを有線あるいは無線の伝送路を介して送
信あるいは受信するものとし、受信した音響プログラム
をコンピュータで実行するものとしても良い。

【００９１】図１７は、音響提示プログラムの全体構成
を示すフローチャートである。ステップＳＴ１では、音
響取得を行うか否かを判別して、音響取得を行う場合に
はステップＳＴ２に進み、音響取得を行わない場合には
ステップＳＴ６に進む。

【００９２】ステップＳＴ２では、情報信号の生成を行
う。すなわち、信号入力部７１４に入力された角度信号
Ｓpaや距離信号Ｓpbに基づいて位置情報信号Ｓpを生成
する。また、この位置情報信号Ｓpと、信号入力部７１
４に入力された画像信号Ｓvや音響信号Ｓaを例えば多重
化して１つの情報信号ＷＳを生成する。

【００９３】ステップＳＴ３では、生成した情報信号を
記録媒体に記録するあるいは外部機器に伝送するように
設定されているか否かを判別する。ここで、情報信号の
記録や伝送を行うように設定されている場合にはステッ
プＳＴ４に進み、情報信号の記録や伝送を行わないよう
に設定されている場合にはステップＳＴ５に進む。

【００９４】ステップＳＴ４では、情報信号の記録や伝
送を行いステップＳＴ５に進む。ここで、情報信号を記
録する場合には、情報信号を記録媒体ドライブ７１２に
供給して、記録媒体ドライブ７１２に装着されている記
録媒体に記録する。また、情報信号を伝送する場合に
は、通信部７１３を介して情報信号を出力する。

【００９５】ステップＳＴ５では、音響取得を終了する
か否かを判別する。ここで、入力部７１１を用いて終了
操作が行われたときにはステップＳＴ６に進み、終了操
作が行われていないときにはステップＳＴ２に戻り、情
報信号の生成を継続する。ステップＳＴ６では、音響再
生を行うか否かを判別して、音響再生を行う場合にはス
テップＳＴ７に進み、音響再生を行わない場合にはステ
ップＳＴ１に戻る。

【００９６】ステップＳＴ７では、音響出力信号に基づ
いて音響出力を行う音響出力部の設置情報ＣＳaを設定
する。例えば、入力部７１１を操作して音響出力部６０
の設置位置やどのようなスピーカを用いているか等の設
置情報ＣＳaを入力する。あるいはハード・ディスク・
ドライブ７０４等に予め記憶されている設置情報ＣＳa
を読み出す。

【００９７】ステップＳＴ８では、情報信号の分離処理
を行う。すなわち、記録媒体から読み出した情報信号
や、通信部７１３で受信した情報信号あるいは音響取得
処理で生成された情報信号から、画像信号Ｓvと音響信
号Ｓaと位置情報信号Ｓpを分離してステップＳＴ９に進
む。

【００９８】ステップＳＴ９は、画像信号Ｓvを用いて
動き検出を行う。この動き検出によって検出した動きに
応じて画像信号Ｓvに基づく画像の表示位置を移動させ
て、新たな画像出力信号ＳVoutを生成すると共に画像の
表示位置を示す表示位置信号ＰＤを生成してステップＳ
Ｔ１０に進む。

【００９９】ステップＳＴ１０では、表示位置信号ＰＤ
と設置情報ＣＳaおよび位置情報信号Ｓpに基づき、提示
調整信号ＣＰを生成する。ステップＳＴ１１では、音響
信号Ｓaと提示調整信号ＣＰに基づき複数の音響出力信
号ＳAout-1〜ＳAout-ｎを生成して信号出力部７１５か
ら出力する。

【０１００】ステップＳＴ１２では、音響再生を終了す
るか否かを判別する。ここで、入力部７１１を用いて終
了操作が行われたときにはステップＳＴ１に戻る。ま
た、終了操作が行われていないときにはステップＳＴ９
に戻り、画像の表示位置に応じた音響出力信号ＳAout-1
〜ＳAout-ｎの生成および出力を継続する。このような
処理を行って得られた音響出力信号ＳAoutを音響出力部
６０に供給することで、ソフトウェアによっても臨場感
の高い音響提示を行える。

【０１０１】

【発明の効果】この発明によれば、集音手段を用いて特
定音源からの音を取得して音響信号が生成されると共
に、特定音源方向の撮影を行って生成した画像信号を用
いて動き検出が行われて画像の表示位置の移動や表示位
置を示す表示位置信号が生成される。この音響信号と表
示位置信号、および音響出力信号に基づいて音響出力を
行う複数の音響出力手段に関する設置情報とに基づい
て、複数の音響出力信号が生成されて複数の音響出力手
段に供給される。このため、画像の表示位置に対応させ
て音像を定位させることが簡単にできると共に、特定音
源の位置が移動したときには音像の位置も移動されて移
動感のある音響提示ができる。

【０１０２】また、環境音を取得して環境音信号が生成
されると共に、複数の音響出力手段の設置情報と環境音
信号に基づき、環境音重畳信号が生成されて、この環境
音重畳信号が、対応する音響出力信号に加算されるの
で、より自然で臨場感の高い音響提示を行うことができ
る。

【０１０３】さらに、特定音源と集音手段の位置関係か
ら位置情報信号が生成されて、この位置情報信号も用い
て複数の音響出力信号が生成されるので、臨場感の高い
音響提示を行うことができる。

【図面の簡単な説明】

【図１】音響提示システムの構成を示す図である。

【図２】撮像部の構成を示す図である。

【図３】位置検出部の構成を示す図である。

【図４】画像信号処理部の構成を示す図である。

【図５】シーンチェンジ検出部の構成を示す図である。

【図６】動き検出部の構成を示す図である。

【図７】画像位置移動部の構成を示す図である。

【図８】画像位置決定回路の構成を示す図である。

【図９】表示位置信号を用いた場合の動作を説明するた
めの図である。

【図１０】角度情報を用いた場合の動作を説明するため
の図である。

【図１１】距離情報を用いた場合の動作を説明するため
の図である。

【図１２】音像の位置を示す図である。

【図１３】音響出力部の配置を示す図である。

【図１４】第２の実施の形態の構成を示す図である。

【図１５】マイクロフォンの指向特性を示す図である。

【図１６】コンピュータを用いた構成を示す図である。

【図１７】音響提示プログラムを示すフローチャートで
ある。

【図１８】従来の動作を示す図である。

【符号の説明】

１０・・・音響取得装置、１２・・・撮像部、１４・・
・集音部、１５・・・環境音集音部、１６・・・位置検
出部、１８・・・情報信号生成部、２０・・・信号記録
再生装置、３０・・・音響再生装置、３２・・・情報信
号分離部、４０・・・画像信号処理部、４１・・・シー
ンチェンジ検出部、４２・・・動き検出部、４３・・・
画像位置移動部、４５・・・画像出力部、５０・・・提
示制御部、５２・・・音響出力信号生成部、５３・・・
環境音処理部、５４・・・信号加算部、６０・・・音響
出力部、９０・・・ビデオカメラ、１６１・・・角度セ
ンサ、１６２・・・測距センサ、１６３・・・極座標算
出部、５０１・・・設置情報供給部、５０２・・・調整
信号生成部、５３１・・・設置情報供給部、５３２・・
・環境音信号調整部

フロントページの続き (72)発明者 菊地 大介 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5D062 CC13

Claims (24)

【特許請求の範囲】
1. 【請求項１】 特定音源からの音を取得して音響信号を
   生成する集音手段と、 前記特定音源の方向に対する撮影を行い画像信号を生成
   する撮像手段と、 前記集音手段で生成された音響信号に基づいて複数の音
   響出力信号を生成する音響出力信号生成手段と、 前記音響出力信号に基づいた音響出力を行う複数の音響
   出力手段と、 前記画像信号に基づく画像の動き検出を行い、該検出し
   た動きに応じて前記画像信号に基づく画像の表示位置を
   移動させると共に該画像の表示位置を示す表示位置信号
   を生成する画像処理手段と、 前記複数の音響出力手段に関する設置情報と前記表示位
   置信号に基づき、前記音響出力信号生成手段における前
   記複数の音響出力信号の生成動作を制御する提示制御手
   段とを有することを特徴とする音響提示システム。
2. 【請求項２】 前記提示制御手段は、前記複数の音響出
   力信号における信号レベルの割合を制御することを特徴
   とする請求項１記載の音響提示システム。
3. 【請求項３】 環境音を取得して環境音信号を生成する
   環境音集音手段と、 前記設置情報と前記環境音信号に基づき、環境音重畳信
   号を生成する環境音処理手段と、 前記音響出力手段毎に、対応する前記環境音信号を前記
   音響出力信号に加算する信号加算手段とを有することを
   特徴とする請求項１記載の音響提示システム。
4. 【請求項４】 前記特定音源と前記集音手段の位置関係
   を検出して、検出結果を示す位置情報信号を生成する位
   置検出手段を設け、 前記提示制御手段は、前記設置情報と前記表示位置信号
   と前記位置情報信号に基づき、前記複数の音響出力信号
   の生成動作を制御することを特徴とする請求項１記載の
   音響提示システム。
5. 【請求項５】 前記位置情報信号は、前記特定音源まで
   の距離情報を有することを特徴とする請求項４記載の音
   響提示システム。
6. 【請求項６】 前記位置情報信号は、集音方向を示す角
   度情報を有することを特徴とする請求項４記載の音響提
   示システム。
7. 【請求項７】 前記提示制御手段は、前記複数の音響出
   力信号の位相を制御することを特徴とする請求項５記載
   の音響提示システム。
8. 【請求項８】 特定音源からの音を取得して音響信号を
   生成する集音手段と、 前記特定音源の方向に対する撮影を行い画像信号を生成
   する撮像手段と、 環境音を取得して環境音信号を生成する環境音集音手段
   と、 前記集音手段で生成された音響信号と前記撮像手段で生
   成された画像信号と前記環境音集音手段で生成された環
   境音信号に基づいて、情報信号を生成する情報信号生成
   手段とを有することを特徴とする音響取得装置。
9. 【請求項９】 前記特定音源と前記集音手段の位置関係
   を検出して、検出結果を示す位置情報信号を生成する位
   置検出手段を設け、 前記情報信号生成手段は、前記音響信号と前記画像信号
   と前記環境音信号と前記位置情報信号に基づいて情報信
   号を生成することを特徴とする請求項８記載の音響取得
   装置。
10. 【請求項１０】 特定音源からの音を取得して生成され
    た音響信号に基づいて複数の音響出力信号を生成する音
    響出力信号生成手段と、 前記特定音源の方向に対する撮影を行うことにより生成
    された画像信号を用いて画像の動き検出を行い、該検出
    した動きに応じて前記画像信号に基づく画像の表示位置
    を移動させると共に該画像の表示位置を示す表示位置信
    号を生成する画像処理手段と、 前記音響出力信号に基づいて音響出力を行う複数の音響
    出力手段に関する設置情報と前記表示位置信号に基づ
    き、前記音響出力信号生成手段における前記複数の音響
    出力信号の生成動作を制御する提示制御手段とを有する
    ことを特徴とする音響再生装置。
11. 【請求項１１】 環境音を取得して生成された環境音信
    号と前記設置情報に基づいて環境音重畳信号を生成する
    環境音処理手段と、 前記音響出力手段毎に、対応する前記音響出力信号を前
    記環境音信号に加算する信号加算手段とを有することを
    特徴とする請求項１０記載の音響再生装置。
12. 【請求項１２】 特定音源からの音を集音手段によって
    取得して音響信号を生成し、 前記特定音源の方向に対する撮影を行い画像信号を生成
    し、 前記画像信号に基づく画像の動き検出を行い、該検出し
    た動きに応じて前記画像信号に基づく画像の表示位置を
    移動させると共に該画像の表示位置を示す表示位置信号
    を生成し、 音響出力信号に基づいた音響出力を行う複数の音響出力
    手段に関する設置情報と前記表示位置信号に基づいて、
    複数の前記音響出力信号を生成して前記複数の音響出力
    手段に供給することを特徴とする音響提示方法。
13. 【請求項１３】 前記複数の音響出力信号における信号
    レベルの割合を、前記設置情報と前記表示位置信号に基
    づいて制御することを特徴とする請求項１２記載の音響
    提示方法。
14. 【請求項１４】 環境音を取得して環境音信号を生成
    し、 前記設置情報と前記環境音信号に基づき、環境音重畳信
    号を生成し、 前記音響出力手段毎に、対応する前記環境音信号を前記
    音響出力信号に加算することを特徴とする請求項１２記
    載の音響提示方法。
15. 【請求項１５】 前記特定音源と前記集音手段の位置関
    係を検出して、検出結果を示す位置情報信号を生成し、 前記設置情報と前記表示位置信号と前記位置情報信号に
    基づき、前記複数の音響出力信号の生成動作を制御する
    ことを特徴とする請求項１２記載の音響提示方法。
16. 【請求項１６】 前記位置情報信号は、前記特定音源ま
    での距離情報を有することを特徴とする請求項１５記載
    の音響提示方法。
17. 【請求項１７】 前記位置情報信号は、集音方向を示す
    角度情報を有することを特徴とする請求項１５記載の音
    響提示方法。
18. 【請求項１８】 前記複数の音響出力信号の位相を、前
    記設置情報と前記表示位置信号と前記位置情報信号に基
    づき制御することを特徴とする請求項１６記載の音響提
    示方法。
19. 【請求項１９】 特定音源からの音を集音手段によって
    取得して音響信号を生成し、 前記特定音源の方向に対する撮影を行い画像信号を生成
    し、 環境音を取得して環境音信号を生成し、 前記音響信号と前記画像信号と前記環境音信号に基づい
    て情報信号を生成することを特徴とする音響取得方法。
20. 【請求項２０】 前記特定音源と前記集音手段の位置関
    係を検出して、検出結果を示す位置情報信号を生成する
    ものとし、 前記音響信号と前記画像信号と前記環境音信号と前記位
    置情報信号に基づいて前記情報信号を生成することを特
    徴とする請求項１９記載の音響取得方法。
21. 【請求項２１】 特定音源の方向に対する撮影を行うこ
    とにより生成された画像信号を用いて画像の動き検出を
    行い、該検出した動きに応じて前記画像信号に基づく画
    像の表示位置を移動させると共に該画像の表示位置を示
    す表示位置信号を生成し、 音響出力信号に基づいて音響出力を行う複数の音響出力
    手段に関する設置情報と、前記表示位置信号と、前記特
    定音源からの音を取得して生成した音響信号に基づい
    て、複数の前記音響出力信号を生成することを特徴とす
    る音響再生方法。
22. 【請求項２２】 環境音を取得して生成された環境音信
    号と前記設置情報に基づいて環境音重畳信号を生成し、 前記音響出力手段毎に、対応する前記環境音信号を前記
    音響出力信号に加算することを特徴とする請求項２１記
    載の音響再生方法。
23. 【請求項２３】 コンピュータに、 特定音源の方向に対する撮影を行って生成された画像信
    号を用いて画像の動き検出を行って、該検出した動きに
    応じて前記画像信号に基づく画像の表示位置を移動させ
    ると共に該画像の表示位置を示す表示位置信号を生成す
    る手順と、 音響出力信号に基づいて音響出力を行う複数の音響出力
    手段に関する設置情報と、前記表示位置信号に基づい
    て、提示調整信号を生成する手順と、 前記特定音源からの音を取得して生成した音響信号と前
    記提示調整信号に基づいて、前記複数の音響出力手段に
    供給する音響出力信号を生成する手順とを実行させる実
    行させるプログラムを記録したことを特徴とするコンピ
    ュータ読み取り可能な記録媒体。
24. 【請求項２４】 コンピュータに、 特定音源の方向に対する撮影を行って生成された画像信
    号に基づく画像の動き検出を行って、該検出した動きに
    応じて前記画像信号に基づく画像の表示位置を移動させ
    ると共に該画像の表示位置を示す表示位置信号を生成す
    る手順と、 音響出力信号に基づいて音響出力を行う複数の音響出力
    手段に関する設置情報と、前記表示位置信号に基づいて
    提示調整信号を生成する手順と、 前記特定音源からの音を取得して生成した音響信号と前
    記提示調整信号に基づいて、前記複数の音響出力手段に
    供給する音響出力信号を生成する手順とを実行させるこ
    とを特徴とする音響提示プログラム。