JP2003264897A - 音響提示システムと音響取得装置と音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム - Google Patents
音響提示システムと音響取得装置と音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラムInfo
- Publication number
- JP2003264897A JP2003264897A JP2002062385A JP2002062385A JP2003264897A JP 2003264897 A JP2003264897 A JP 2003264897A JP 2002062385 A JP2002062385 A JP 2002062385A JP 2002062385 A JP2002062385 A JP 2002062385A JP 2003264897 A JP2003264897 A JP 2003264897A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- signal
- acoustic
- output
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Stereophonic System (AREA)
- Stereophonic Arrangements (AREA)
Abstract
って、撮影画像の被写体側から供給された音を取得して
音響信号Saを生成する。撮影方向や被写体までの距離
を位置検出部16で検出して位置情報信号Spを生成す
る。信号Sa,Spに基づいて情報信号WSを生成して音
響取得を行う。音響再生時には信号RSから信号Sa,
Spを分離する。提示制御部50は、音響出力部60の
数や設置位置等に関する設置情報CSaと信号Spに基づ
き提示調整信号CPを生成する。音響出力信号生成部5
2は信号CPと信号Saに基づき、複数の音響出力信号
SAoutを生成すると共に信号SAoutの信号レベルや位相
を制御して、複数の音響出力部60に供給し音響出力を
行う。
Description
ムと音響取得装置と音響再生装置及びその方法並びにコ
ンピュータ読み取り可能な記録媒体と音響提示プログラ
ムに関する。詳しくは、集音手段を用いて特定音源から
の音を取得して音響信号を生成し、特定音源と集音手段
の位置関係を検出して位置情報信号を生成し、音響出力
信号に基づいて音響出力を行う複数の音響出力手段に関
する設置情報と位置検出信号と音響信号に基づいて、複
数の音響出力信号を生成して複数の音響出力手段に供給
するものである。
テレオマイクロフォンを用いて右側方向の音響と左側方
向の音響を集音して、左右チャンネルの音響信号を生成
すると共に、再生時には右側に配置されているスピーカ
を右チャネルの音響信号に基づいて駆動し、左側に配置
されているスピーカを左チャネルの音響信号に基づいて
駆動することで、モノラルマイクロフォンを用いる場合
よりも臨場感を高める方法が行われている。
の左耳と右耳の内部にマイクを設けて、人間の耳から入
った音を擬似的に集音すると共に、再生時にはヘッドホ
ンを用いる所謂バイノーラルサウンドも実用化されてい
る。
るため、前方のスピーカ以外に補助スピーカを設けて、
この補助スピーカから反射音や後方からの音および低周
波数領域の音等を再生可能とする方式、所謂5.1ch
や6.1ch方式のサラウンド方式等も実用化されてい
る。
ことで再生音場を再現や、3次元音場を再現することが
行われている。例えば、無響室で集音した音やコンパク
トディスク等に記録された音に、所望の空間でのインパ
ルス応答(音響伝達関数)を畳み込み、所望の空間の特
性を再生音場で再現させる。すなわち、所望の空間の音
源位置で基準音を出力させると共に視聴位置で集音を行
い、音源位置で出力された音と視聴位置で集音された音
との関係から所望の空間のインパルス応答を求めること
ができる。このため、インパルス応答を実現するフィル
タを登録しておき、音の再生時には、この登録されたフ
ィルタを用いるものとすれば、所望の空間の特性を再生
音場で再現できる。また、種々のフィルタを登録して、
選択可能とすれば、種々の再生音場を再現できると共
に、三次元音場を再現することもできる。
を別々に記録した場合、ビデオカメラの向きに関係なく
音響を記録すると、記録された音響信号に基づく再生音
は方向性を持たなくなってしまい、臨場感に欠けたもの
となってしまう。
感を高めて再生するためには、画像を見ながら音像の位
置を画像に合わせる操作を人偽的に行わなければなら
ず、簡単に臨場感の高い再生音を得ることができない。
けて画像と音響を記録した場合、図11Aに示すよう
に、所望の被写体OBに合わせてビデオカメラ90の撮
像方向を変更すると、図11Bに示すように、再生画像
がフレーム「Fa」「Fb」「Fc」の順に変更されても
所望の被写体OBの位置を表示画像の中央に保つことが
できる。しかし、所望の被写体に対応する音像も位置Q
mに固定されてしまう。このため、再生時には、表示画
像の背景の動きによって被写体の動きを表現できるが、
音像の位置は固定されてしまい、臨場感の高い再生音場
を得ることができない。
い再生音場を得ることができる音響提示システムと音響
取得装置と音響再生装置及びその方法並びにコンピュー
タ読み取り可能な記録媒体と音響提示プログラムを提供
するものである。
システムは、特定音源からの音を取得して音響信号を生
成する集音手段と、前記特定音源と前記集音手段の位置
関係を検出して、検出結果を示す位置情報信号を生成す
る位置検出手段と、前記集音手段で生成された音響信号
に基づいて複数の音響出力信号を生成する音響出力信号
生成手段と、前記音響出力信号に基づいた音響出力を行
う複数の音響出力手段と、前記複数の音響出力手段の設
置情報と前記位置検出信号に基づき、前記音響出力信号
生成手段における前記複数の音響出力信号の生成動作を
制御する提示制御手段とを有するものである。
取得して音響信号を生成する集音手段と、前記特定音源
と前記集音手段の位置関係を検出して、検出結果を示す
位置情報信号を生成する位置検出手段と、前記集音手段
で生成された音響信号と前記位置検出手段で生成された
位置情報信号に基づいて情報信号を生成する情報信号生
成手段とを有するものである。
を取得して生成された音響信号に基づいて複数の音響出
力信号を生成する音響出力信号生成手段と、前記音響出
力信号に基づいて音響出力を行う複数の音響出力手段に
関する設置情報と、前記特定音源と前記特定音源からの
音を取得して音響信号を生成する集音手段の位置関係を
示す位置検出信号に基づき、前記音響出力信号生成手段
における前記複数の音響出力信号の生成動作を制御する
提示制御手段とを有するものである。
音手段を用いて特定音源からの音を取得して音響信号を
生成し、前記特定音源と前記集音手段の位置関係を検出
して、検出結果を示す位置情報信号を生成し、音響出力
信号に基づいて音響出力を行う複数の音響出力手段に関
する設置情報と前記位置検出信号と前記音響信号に基づ
いて、複数の前記音響出力信号を生成して前記複数の音
響出力手段に供給するものである。
環境音信号を生成し、前記複数の音響出力手段の設置情
報と前記環境音信号に基づき、環境音重畳信号を生成
し、前記音響出力手段毎に、対応する前記音響出力信号
と前記環境音信号を加算するものである。
づいて音響出力を行う複数の音響出力手段に関する設置
情報と、特定音源と前記特定音源からの音を取得して音
響信号を生成する集音手段の位置関係を示す位置検出信
号と、前記集音手段で生成された音響信号に基づいて、
複数の前記音響出力信号を生成するものである。
取り可能な記録媒体は、コンピュータに、音響出力信号
に基づいて音響出力を行う複数の音響出力手段に関する
設置情報と、特定音源と前記特定音源からの音を取得し
て音響信号を生成する集音手段の位置関係を示す位置検
出信号から提示調整信号を生成する手順と、前記集音手
段で生成された音響信号と前記提示調整信号に基づい
て、前記複数の音響出力手段に供給する音響出力信号を
生成する手順とを実行させるプログラムを記録したもの
である。
タに、音響出力信号に基づいて音響出力を行う複数の音
響出力手段に関する設置情報と、特定音源と前記特定音
源からの音を取得して音響信号を生成する集音手段の位
置関係を示す位置検出信号から提示調整信号を生成する
手順と、前記集音手段で生成された音響信号と前記提示
調整信号に基づいて、前記複数の音響出力手段に供給す
る音響出力信号を生成する手順とを実行させるものであ
る。
ォン等を用いた集音手段によって、特定音源例えば撮影
画像の被写体側から供給された音を取得して音響信号が
生成される。また、特定音源と集音手段の位置関係とし
て撮影方向や被写体までの距離が検出されて、検出結果
を示す位置情報信号が生成される。この音響信号と位置
検出信号に基づいて情報信号を生成することで音響取得
が行われる。また情報信号を用いて音響再生を行う場合
には、情報信号から音響信号と位置検出信号が分離され
る。この分離された位置検出信号と音響出力信号に基づ
いて音響出力を行う複数の音響出力手段の数や設置位置
等を示す設置情報に基づき提示調整信号が生成される。
この提示調整信号と音響信号に基づき、複数の音響出力
信号が生成されると共に音響出力信号の信号レベルや位
相が制御されて、複数の音響出力手段に供給される。
明の実施の一形態について説明する。図1は、この発明
におけ音響提示システムの全体構成を示している。音響
取得装置10の撮像部12では、撮影画像の画像信号S
vを生成して情報信号生成部18に供給する。
像レンズ121を通して入射された光は、撮像素子部1
22に入射されて、撮像面上に撮影画像が結像される。
撮像素子部122は固体撮像素子例えばCCDを用いて
構成されており、光電変換によって得られた撮影画像に
基づく信号を後述する駆動部132からの駆動信号RC
に基づいて読み出し、撮影画像の三原色撮像信号Svaを
生成して前処理部123に供給する。
イズ成分を除去する処理、例えば相関二重サンプリング
処理を行い、ノイズ除去された撮像信号SvaをA/D変
換部124に供給する。A/D変換部124では、撮像
信号Svaをディジタルの画像信号Svbに変換してフィー
ドバッククランプ部125に供給する。フィードバック
クランプ部125では、ブランキング期間の黒レベル信
号と基準信号との誤差を検出してA/D変換部124に
供給することで、安定した黒レベルで所要の大きさの画
像信号Svbを得ることが出来るように、A/D変換動作
を制御する。補正処理部126では、画像信号Svbに対
してシェーディング補正や撮像素子の欠陥に対する補正
処理等を行う。この補正処理部126で補正処理が行わ
れた画像信号Svbは、プロセス処理部127に供給され
る。
画像信号Svbに対してγ処理、輪郭補償処理、ニー補正
処理等を行う。この信号処理が行われた画像信号Svb
は、画像信号Svとして情報信号生成部18に供給され
る。また、画像信号Svは、モニタ部128に供給され
て、このモニタ部128に画像信号Svに基づく画像が
表示されて、撮影画像の確認が行われる。
続されており、操作部131をユーザが操作すると、ユ
ーザの操作に応じた操作信号PSが操作部131から撮
像制御部130に供給される。撮像制御部130では、
この操作信号PSに基づいて各種の制御信号CTを生成
して各部の動作を制御することにより、撮像部12をユ
ーザの操作に応じて動作させる。また、撮像素子部12
2での信号読み出しフレーム周期を設定する制御信号T
Cを生成して駆動部132に供給する。この駆動部13
2では、制御信号TCに基づき駆動信号RCを生成して
撮像素子部122に供給する。
いて構成されており、撮像部12の前面や上部等に固定
して設けられている。この集音部14は、特定音源から
の音である撮像部12の撮像方向からの音を集音して例
えばディジタルの音響信号Saを生成して情報信号生成
部18に供給する。この集音部14で用いるマイクロフ
ォンは、狙った音源の音を拾うことができるように超指
向性(鋭指向性)マイクロフォンであるガンマイク等を
用いる。このように超指向性マイクロフォンを用いるこ
とで、不必要な方向からの雑音や音響を簡単に取り除く
ことができる。また、相関利用や複数マイクを用いて各
マイクの遅延量を補正する等の音源分離手法によって、
狙った音源の音を拾うことができる。
の位置関係、例えば所望の被写体を特定音源として、こ
の所望の被写体を撮影したときの撮像設定情報、すなわ
ち撮像部12の撮像方向や所望の被写体までの距離を検
出して、検出結果を示す位置情報信号Spを生成したの
ち情報信号生成部18に供給する。
写体までの距離を検出する位置検出部16の構成を示し
ている。角度センサ161は、回転角を測定できるセン
サやジャイロ等を用いて角度を測定するものであり、撮
像部12の撮像方向を検出して角度信号Spaを極座標算
出部163に供給する。例えば基準位置に対する水平方
向の角度(以下「方位角」という)φや、基準位置に対
する上下方向の角度(以下「ピッチ角」という)δを示
す角度信号Spaを生成して極座標算出部163に供給す
る。測距センサ162は、光や超音波等を用いてあるい
は撮像部12における焦点位置に基づいて距離を測定す
るものであり、所望の被写体までの距離LOを検出して
距離信号Spbを極座標算出部163に供給する。極座標
算出部163では、角度信号Spaと距離信号Spbから極
座標を算出し、ディジタルの位置情報信号Spとして情
報信号生成部18に供給する。
信号Svや音響信号Saおよび位置情報信号Spに基づい
て情報信号WSを生成して信号記録再生装置20に供給
する。
は半導体素子等を利用する記録媒体を用いて構成されて
おり、供給された情報信号WSを記録媒体に記録する。
また、記録媒体を再生して得られた情報信号RSは、音
響再生装置30の情報信号分離部32に供給される。
画像信号Svと音響信号Saと位置情報信号Spを分離す
る。さらに、分離された画像信号Svを画像出力部45
に供給すると共に、音響信号Saを音響出力信号生成部
52に供給する。さらに、位置情報信号Spを提示制御
部50に供給する。画像出力部45は、画像信号Svに
基づいて撮像画像の表示を行う。
と調整信号生成部502を有している。設置情報供給部
501は、後述する複数の音響出力部60-1〜60-nが
どのような位置に設けられており、どのようなスピーカ
が用いられているか等を示す設置情報CSaを保持し、
あるいはユーザの操作等によって設置情報CSaを生成
して、この設置情報CSaを調整信号生成部502に供
給する。
32から供給された位置情報信号Spと設置情報供給部
501から供給された設置情報CSaに基づき提示調整
信号CPを生成して、音響出力信号生成部52に供給す
る。この提示調整信号CPは、各音響出力部60-1〜6
0-nに供給する音響出力信号SAout-1〜SAout-nの信号
レベルや位相を調整して音像の位置や臨場感を制御する
ものである。
に対して提示調整信号CPに基づいた信号レベルの調整
や位相の調整(音響出力信号の出力タイミングの調整)
を行い、音響出力信号SAout-1を生成して音響出力部6
0-1に供給する。同様に、提示調整信号CPに基づいた
信号レベルの調整や位相の調整を行い、音響出力信号S
Aout-2〜SAout-nを生成して音響出力部60-2〜60-n
に供給する。音響出力部60-1〜60-nは、スピーカを
用いて構成されており、供給された音響出力信号SAout
-1〜SAout-nに基づいて音響出力を行う。
報に基づいた動作を説明するための図である。図4A
は、聴取位置HPにおいて、左側に位置する音響出力部
60-Lと右側に位置する音響出力部60-Rが、センター
位置MPに対して角度αを有するように設置されている
と設置情報CSaによって示された場合である。ここ
で、位置情報信号Spに基づく角度情報、すなわち角度
信号Spaによって示されたセンター位置MPに対する右
方向の方位角φを正の値、左方向の方位角φを負の値と
したとき、音響信号Saに対して式(1)に基づいた音
圧比となるように信号レベルの調整を行うための提示調
整信号CPを生成して音響出力信号生成部52に供給す
る。 左側の音響出力部の音圧:右側の音響出力部の音圧 =(tanα−tanφ):(tanα+tanφ) ・・・(1)
と提示調整信号CPに基づき、式(1)に応じた音圧比
となるように音響信号Saの信号レベルの割合を調整し
て、音響出力信号SAout-Lと音響出力信号SAout-Rを生
成すると共に、この音響出力信号SAout-Lを音響出力部
60-L、音響出力信号SAout-Rを音響出力部60-Rにそ
れぞれ供給する。
-Uと下側に位置する音響出力部60-Dが、センター位置
MPに対して角度βを有するように設置されていると設
置情報CSaによって示された場合である。ここで、角
度信号Spaによって示されたセンター位置MPに対する
下方向のピッチ角δを正の値、上方向のピッチ角δを負
の値としたときには、音響信号Saに対して式(2)に
基づいた音圧比となるように信号レベルの調整を行うた
めの提示調整信号CPを生成して音響出力信号生成部5
2に供給する。 上側の音響出力部の音圧:下側の音響出力部の音圧 =(tanβ−tanδ):(tanβ+tanδ) ・・・(2)
と提示調整信号CPに基づき、式(2)に応じた音圧比
となるように音響信号Saの信号レベルの割合を調整し
て、音響出力信号SAout-Uと音響出力信号SAout-Dを生
成すると共に、この音響出力信号SAout-Uを音響出力部
60-U、音響出力信号SAout-Dを音響出力部60-Dにそ
れぞれ供給する。
方位角φやピッチ角δに基づいて、左右方向に設置され
た音響出力部や上下方向に設置された音響出力部に供給
する音響出力信号の信号レベルが調整されるので、集音
部14によって撮影方向の音響のみを集音しても、音像
を正しく定位させることができる。すなわち、撮影方向
の音のみを集音しても、音源の移動に合わせて音像を移
動させることができる。
ついて説明する。図5は、左側に位置する音響出力部6
0-Lと右側に位置する音響出力部60-Rがセンター位置
MPと角度αを有するように設置されており、聴取位置
HPと音響出力部60-L,60-Rとの間隔が距離KSで
あることが設置情報CSaによって示された場合であ
る。位置情報信号Spの距離情報すなわち距離信号Spb
によって所望の被写体OBまでが距離LOで、角度信号
Spaによって方位角φが示されたとき、所望の被写体O
Bから音響出力部60-Lまでの距離LSLは式(3)で算
出できる。また、所望の被写体OBから音響出力部60
-Rまでの距離LSRは式(4)で算出できる。 LSL=√(KS2+LO2−2×KS×LO×cos(α+φ)) ・・・(3) LSR=√(KS2+LO2−2×KS×LO×cos(α−φ)) ・・・(4)
-Lまでの距離と被写体OBから音響出力部60-Rまでの
距離との距離差DLRは、「DLR=LSL−LSR」となる。
すなわち、距離差DLRだけ音響出力部60-Lから出力さ
れる音は、音響出力部60-Rから出力される音に比べて
遅れたものとなる。
出すると共に、この距離差DLRを音速Vauで除算して遅
延時間TLRを算出して、この遅延時間TLRだけ音響出力
信号の出力が時間差を生じるように出力タイミングを調
整することで位相を制御する提示調整信号CPを生成し
て、音響出力信号生成部52に供給する。
CPに基づいて音響出力信号SAout-L,SAout-Rの信号
レベルを調整するだけでなく、音響出力信号SAout-Lを
遅延時間TLRだけ音響出力信号SAout-Rよりも遅延させ
て音響出力部60-Lに供給する。
距離LOに基づいて、左右方向に設置された音響出力部
や上下方向に設置された音響出力部に供給する音響出力
信号の位相を調整することで、集音部14によって撮影
方向の音響のみを集音しても、この集音した音に基づい
て臨場感の高い音響提示を行うことが可能となり、聴取
者は現実感の高い良好な再生音場を得ることができる。
する際には表示画像Zaよりも広い画像表示領域Zbを設
け、撮影画像の動き検出を行い被写体の動きに合わせて
表示画像の表示位置を表示位置P1から表示位置P2に移
動させる場合、所望の被写体OBの移動に合わせて音像
を位置Q1から位置Q2に移動させることができるので、
臨場感の高いと共に移動感のある音響提示を行うことが
できる。
の所望の被写体を撮影したときの撮像設定情報に基づい
て位置情報信号Spを生成しているので、撮影画像を参
照しながら複数の音響出力信号の信号レベルを人的に調
整して、音像の位置を所望の位置とする操作が不要とな
る。すなわち、撮影空間に適した音像の定位を自動的に
行うことができる。
性マイクロフォンを用いることで、不必要な方向からの
雑音や音響を取り除いている。しかし、自然環境に近い
再生音場を作るためには、超指向性マイクロフォンで集
音した音だけでなく反射音等の間接音や雑音等も再生す
ることが好ましい。
環境音も提示できる音響提示システムの構成を図7に示
す。なお、図7において、図1と対応する部分について
は同一符号を付し、詳細な説明は省略する。環境音集音
部15は、図8Aに示す指向特性の無指向性マイクロフ
ォンや図8Bに示す指向特性の前方指向性マイクロフォ
ン等を用いて構成されており、環境音を集音して環境音
信号Ssaを生成したのち情報信号生成部18に供給す
る。ここで、前方指向性マイクロフォンを用いる場合に
は、前方指向性マイクロフォンを撮影者の周囲に複数設
けるものとすれば、環境音をもれなく集音できる。な
お、図8Cの指向特性は超指向性マイクロフォンを示し
ている。
号Svや音響信号Saと位置情報信号Spおよび環境音信
号Ssaに基づいて情報信号WSを生成して信号記録再生
装置20に供給する。
画像信号Svと音響信号Saと位置情報信号Spおよび環
境音信号Ssaを分離して、画像信号Svを画像出力部4
5、音響信号Saを音響出力信号生成部52、位置情報
信号Spを提示制御部50、環境音信号Ssaを環境音処
理部53に供給する。
1と環境音信号調整部532を有している。設置情報供
給部531は、いずれの音響出力部60-1〜60-nから
環境音を出力するか、また環境音を出力する音響出力部
では、どのようなスピーカが用いられているか等を示す
設置情報CSbを保持し、あるいはユーザの操作等によ
って設置情報CSbを生成して、設置情報CSbを環境音
信号調整部532に供給する。なお、音響出力部60-1
〜60-kとは別個に、環境音出力のための音響出力部を
有している場合には、この音響出力部に関する情報も設
置情報CSbに含ませる。
部531から供給された設置情報CSbに基づき、環境
音信号Ssaの信号レベルを使用する音響出力部毎に調整
して、各音響出力部から環境音が出力されたとき、環境
音の音像が実際の音像位置とは異なった方向に定位され
てしまうことを防止する。この環境音信号調整部532
で生成された音響出力部毎の環境音重畳信号Ssbは、信
号加算部54に供給される。
2から供給された音響出力信号SAoutと環境音信号調整
部532から供給された環境音重畳信号Ssbを、対応す
る音響出力部60毎に加算して、音響出力信号SBoutと
して音響出力部60に供給する。例えば、特定音源から
の音と環境音を音響出力部60-kから出力する場合、音
響出力信号SAout-kと環境音重畳信号Ssb-kを加算し
て、音響出力信号SBout-kを音響出力部60-kに供給す
る。なお、特定音源から出力された音を前方に位置する
音響出力部から出力し、環境音を後方に位置する音響出
力部から出力する場合には、音響出力信号SAoutを音響
出力信号SBoutとして前方に位置する音響出力部に供給
すると共に、環境音重畳信号Ssbを音響出力信号SBout
として後方に位置する音響出力部に供給する。
集音部14によって特定音源からの音のみを集音して、
音像を正しく定位させることができるだけでなく、周囲
の環境音も正しく再生できるので、自然で臨場感の高い
音響提示を行うことが可能となり、聴取者は自然でより
現実感の高い再生音場を得ることができる。
生成して記録媒体に記録する構成を示したが、信号記録
再生装置に変えて信号伝送装置を設けるものとし、この
情報信号を伝送する構成としても良い。
なくソフトウェアで実現するものとしても良い。この場
合の構成を図9に示す。コンピュータは、図9に示すよ
うにCPU(Central Processing Unit)701を内蔵し
ており、このCPU701にはバス720を介してRO
M702,RAM703,ハード・ディスク・ドライブ
704,入出力インタフェース705が接続されてい
る。さらに、入出力インタフェース705には入力部7
11や記録媒体ドライブ712,通信部713,信号入
力部714,信号出力部715が接続されている。
ードやマウス等の操作手段あるいはマイク等の音声入力
手段等を用いて構成された入力部711から命令が入力
されると、この命令が入出力インタフェース705を介
してCPU701に供給される。
03あるいはハード・ディスク・ドライブ704に記憶
されているプログラムを実行して、供給された命令に応
じた処理を行う。さらに、ROM702やRAM703
あるいはハード・ディスク・ドライブ704には、上述
の音響提示システムに於ける信号処理をコンピュータで
実行させるための音響提示プログラムを予め記憶させ
て、信号入力部714に入力された信号に基づいて音響
出力信号を生成して、信号出力部715から出力する。
また、記録媒体に音響提示プログラムを記録しておくも
のとし、記録媒体ドライブ712によって、音響プログ
ラムを記録媒体に記録しあるいは記録媒体に記録されて
いる音響プログラムを再生してコンピュータで実行する
ものとしても良い。さらに、通信部713によって、音
響プログラムを有線あるいは無線の伝送路を介して送信
あるいは受信するものとし、受信した音響プログラムを
コンピュータで実行するものとしても良い。
を示すフローチャートである。ステップST1では、音
響取得を行うか否かを判別して、音響取得を行う場合に
はステップST2に進み、音響取得を行わない場合には
ステップST6に進む。
う。すなわち、信号入力部714に入力された角度信号
Spaや距離信号Spbに基づき極座標計算を行い位置情報
信号Spを生成する。また、この位置情報信号Spと、信
号入力部714に入力された画像信号Svや音響信号Sa
を例えば多重化して1つの情報信号WSを生成する。
記録媒体に記録するあるいは外部機器に伝送するように
設定されているか否かを判別する。ここで、情報信号の
記録や伝送を行うように設定されている場合にはステッ
プST4に進み、情報信号の記録や伝送を行わないよう
に設定されている場合にはステップST5に進む。
送を行いステップST5に進む。ここで、情報信号を記
録する場合には、情報信号を記録媒体ドライブ712に
供給して、記録媒体ドライブ712に装着されている記
録媒体に記録する。また、情報信号を伝送する場合に
は、通信部713を介して情報信号を出力する。
か否かを判別する。ここで、入力部711を用いて終了
操作が行われたときにはステップST6に進み、終了操
作が行われていないときにはステップST2に戻り、情
報信号の生成を継続する。ステップST6では、音響再
生を行うか否かを判別して、音響再生を行う場合にはス
テップST7に進み、音響再生を行わない場合にはステ
ップST1に戻る。
いて音響出力を行う音響出力部の設置情報CSaを設定
する。例えば、入力部711を操作して音響出力部60
の設置位置やどのようなスピーカを用いているか等の設
置情報CSaを入力する。あるいはハード・ディスク・
ドライブ704等に予め記憶されている設置情報CSa
を読み出す。
を行う。すなわち、記録媒体から読み出した情報信号
や、通信部713で受信した情報信号あるいは音響取得
処理で生成された情報信号から、画像信号Svと音響信
号Saと位置情報信号Spを分離してステップST9に進
む。ステップST9では位置情報信号Spと設置情報C
Saに基づき、提示調整信号CPを生成する。
示調整信号CPに基づき複数の音響出力信号SAout-1〜
SAout-nを生成して信号出力部715から出力する。
ステップST11では、音響再生を終了するか否かを判
別する。ここで、入力部711を用いて終了操作が行わ
れたときにはステップST1に戻る。また、終了操作が
行われていないときにはステップST10に戻り、音響
出力信号SAout-1〜SAout-nの生成および出力を継続
する。このような処理を行って得られた音響出力信号S
Aoutを音響出力部に供給することで、ソフトウェアによ
っても臨場感の高い音響提示を行える。
定音源からの音を取得して音響信号が生成されると共
に、特定音源と集音手段の位置関係から位置情報信号が
生成されて、音響出力信号に基づいて音響出力を行う複
数の音響出力手段の設置情報と位置検出信号と音響信号
に基づいて、複数の音響出力信号が生成されて複数の音
響出力手段に供給される。このため、特定音源の位置に
音像を定位させることが簡単にできると共に、特定音源
の位置が移動したときには音像の位置も移動されて移動
感のある音響提示ができる。
度情報や特定音源までの距離情報を有するので、臨場感
の高い音響提示を行うことができる。さらに、特定音源
と集音手段との位置関係として、画像撮影時の撮像設定
情報を用いることにより、撮影空間に適した音像の定位
を人的予測操作等を実行することなく実現できる。
成されると共に、複数の音響出力手段の設置情報と環境
音信号に基づき、環境音重畳信号が生成されて、この環
境音重畳信号が、対応する音響出力信号に加算されるの
で、より自然で臨場感の高い音響提示を行うことができ
る。
図である。
ある。
・集音部、15・・・環境音集音部、16・・・位置検
出部、18・・・情報信号生成部、20・・・信号記録
再生装置、30・・・音響再生装置、32・・・情報信
号分離部、45・・・画像出力部、50・・・提示制御
部、52・・・音響出力信号生成部、53・・・環境音
処理部、54・・・信号加算部、60・・・音響出力
部、90・・・ビデオカメラ、161・・・角度セン
サ、162・・・測距センサ、163・・・極座標算出
部、501・・・設置情報供給部、502・・・調整信
号生成部、531・・・設置情報供給部、532・・・
環境音信号調整部
Claims (24)
- 【請求項1】 特定音源からの音を取得して音響信号を
生成する集音手段と、 前記特定音源と前記集音手段の位置関係を検出して、検
出結果を示す位置情報信号を生成する位置検出手段と、 前記集音手段で生成された音響信号に基づいて複数の音
響出力信号を生成する音響出力信号生成手段と、 前記音響出力信号に基づいた音響出力を行う複数の音響
出力手段と、 前記複数の音響出力手段の設置情報と前記位置検出信号
に基づき、前記音響出力信号生成手段における前記複数
の音響出力信号の生成動作を制御する提示制御手段とを
有することを特徴とする音響提示システム。 - 【請求項2】 前記位置情報信号は、集音方向を示す角
度情報を有することを特徴とする請求項1記載の音響提
示システム。 - 【請求項3】 前記位置情報信号は、前記特定音源まで
の距離情報を有することを特徴とする請求項2記載の音
響提示システム。 - 【請求項4】 前記提示制御手段は、前記複数の音響出
力手段の設置情報と前記位置検出信号に基づき、前記音
響信号出力手段で生成される複数の音響出力信号の信号
レベルの割合を制御することを特徴とする請求項1記載
の音響提示システム。 - 【請求項5】 前記提示制御手段は、前記複数の音響出
力手段の設置情報と前記位置検出信号に基づき、前記音
響信号出力手段で生成される複数の音響出力信号の位相
を制御することを特徴とする請求項3記載の音響提示シ
ステム。 - 【請求項6】 画像信号を生成する撮像手段を設け、 前記位置検出手段は、前記特定音源と前記集音手段との
位置関係として、前記撮像手段での撮像設定情報を用い
るものとし、前記撮像設定情報に基づいて前記位置情報
信号を生成することを特徴とする請求項1記載の音響提
示システム。 - 【請求項7】 環境音を取得して環境音信号を生成する
環境音集音手段と、 前記複数の音響出力手段の設置情報と前記環境音信号に
基づき、環境音重畳信号を生成する環境音処理手段と、 前記音響出力手段毎に、対応する前記音響出力信号と前
記環境音信号を加算する信号加算手段とを有することを
特徴とする請求項1記載の音響提示システム。 - 【請求項8】 特定音源からの音を取得して音響信号を
生成する集音手段と、 前記特定音源と前記集音手段の位置関係を検出して、検
出結果を示す位置情報信号を生成する位置検出手段と、 前記集音手段で生成された音響信号と前記位置検出手段
で生成された位置情報信号に基づいて情報信号を生成す
る情報信号生成手段とを有することを特徴とする音響取
得装置。 - 【請求項9】 画像情報を生成する撮像手段を設け、 前記位置検出手段は、前記特定音源と前記集音手段との
位置関係として、前記撮像手段での撮像設定情報を用い
るものとし、前記撮像設定情報に基づいて前記位置情報
信号を生成することを特徴とする請求項8記載の音響取
得装置。 - 【請求項10】 特定音源からの音を取得して生成され
た音響信号に基づいて複数の音響出力信号を生成する音
響出力信号生成手段と、 前記音響出力信号に基づいて音響出力を行う複数の音響
出力手段に関する設置情報と、前記特定音源と前記特定
音源からの音を取得して音響信号を生成する集音手段の
位置関係を示す位置検出信号に基づき、前記音響出力信
号生成手段における前記複数の音響出力信号の生成動作
を制御する提示制御手段とを有することを特徴とする音
響再生装置。 - 【請求項11】 環境音を取得して生成された環境音信
号と前記複数の音響出力手段の設置情報に基づいて環境
音重畳信号を生成する環境音処理手段と、前記音響出力
手段毎に、対応する前記音響出力信号と前記環境音信号
を加算する信号加算手段とを有することを特徴とする請
求項10記載の音響再生装置。 - 【請求項12】 集音手段を用いて特定音源からの音を
取得して音響信号を生成し、 前記特定音源と前記集音手段の位置関係を検出して、検
出結果を示す位置情報信号を生成し、 音響出力信号に基づいて音響出力を行う複数の音響出力
手段に関する設置情報と前記位置検出信号と前記音響信
号に基づいて、複数の前記音響出力信号を生成して前記
複数の音響出力手段に供給することを特徴とする音響提
示方法。 - 【請求項13】 前記位置情報信号は、集音方向を示す
角度情報を有することを特徴とする請求項12記載の音
響提示方法。 - 【請求項14】 前記位置情報信号は、前記特定音源ま
での距離情報を有することを特徴とする請求項13記載
の音響提示方法。 - 【請求項15】 前記複数の音響出力信号の信号レベル
の割合を、前記複数の音響出力手段の設置情報と前記位
置検出信号に基づき制御することを特徴とする請求項1
2記載の音響提示方法。 - 【請求項16】 前記複数の音響出力信号の位相を、前
記複数の音響出力手段の設置情報と前記位置検出信号に
基づき制御することを特徴とする請求項14記載の音響
提示方法。 - 【請求項17】 前記特定音源と前記集音手段との位置
関係として、画像撮影時の撮像設定情報を用いるものと
し、前記撮像設定情報に基づいて前記位置情報信号を生
成することを特徴とする請求項12記載の音響提示方
法。 - 【請求項18】 環境音を取得して環境音信号を生成
し、 前記複数の音響出力手段の設置情報と前記環境音信号に
基づき、環境音重畳信号を生成し、 前記音響出力手段毎に、対応する前記音響出力信号と前
記環境音信号を加算することを特徴とする請求項12記
載の音響提示方法。 - 【請求項19】 集音手段を用いて特定音源からの音を
取得して音響信号を生成し、 前記特定音源と前記集音手段の位置関係を検出して、検
出結果を示す位置情報信号を生成し、 前記音響信号と前記位置情報信号に基づいて情報信号を
生成することを特徴とする音響取得方法。 - 【請求項20】 前記特定音源と前記集音手段との位置
関係として、画像撮影時の撮像設定情報を用いるものと
し、前記撮像設定情報に基づいて前記位置情報信号を生
成することを特徴とする請求項19記載の音響取得方
法。 - 【請求項21】 音響出力信号に基づいて音響出力を行
う複数の音響出力手段に関する設置情報と、特定音源と
前記特定音源からの音を取得して音響信号を生成する集
音手段の位置関係を示す位置検出信号と、前記集音手段
で生成された音響信号に基づいて、複数の前記音響出力
信号を生成することを特徴とする音響再生方法。 - 【請求項22】 環境音を取得して生成された環境音信
号と前記複数の音響出力手段の設置情報に基づいて環境
音重畳信号を生成し、 前記音響出力手段毎に、対応する前記音響出力信号と前
記環境音信号を加算することを特徴とする請求項21記
載の音響再生方法。 - 【請求項23】 コンピュータに、 音響出力信号に基づいて音響出力を行う複数の音響出力
手段に関する設置情報と、特定音源と前記特定音源から
の音を取得して音響信号を生成する集音手段の位置関係
を示す位置検出信号から提示調整信号を生成する手順
と、 前記集音手段で生成された音響信号と前記提示調整信号
に基づいて、前記複数の音響出力手段に供給する音響出
力信号を生成する手順とを実行させるためのプログラム
を記録したことを特徴とするコンピュータ読み取り可能
な記録媒体。 - 【請求項24】 コンピュータに、 音響出力信号に基づいて音響出力を行う複数の音響出力
手段に関する設置情報と、特定音源と前記特定音源から
の音を取得して音響信号を生成する集音手段の位置関係
を示す位置検出信号から提示調整信号を生成する手順
と、 前記集音手段で生成された音響信号と前記提示調整信号
に基づいて、前記複数の音響出力手段に供給する音響出
力信号を生成する手順とを実行させることを特徴とする
音響提示プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002062385A JP4518729B2 (ja) | 2002-03-07 | 2002-03-07 | 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002062385A JP4518729B2 (ja) | 2002-03-07 | 2002-03-07 | 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003264897A true JP2003264897A (ja) | 2003-09-19 |
JP2003264897A5 JP2003264897A5 (ja) | 2005-09-02 |
JP4518729B2 JP4518729B2 (ja) | 2010-08-04 |
Family
ID=29196187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002062385A Expired - Fee Related JP4518729B2 (ja) | 2002-03-07 | 2002-03-07 | 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4518729B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006066939A (ja) * | 2004-08-24 | 2006-03-09 | National Institute Of Information & Communication Technology | 音響再現方法及び装置 |
JP2006201124A (ja) * | 2005-01-24 | 2006-08-03 | Hajime Hatano | 音源位置検出装置 |
JP2014112912A (ja) * | 2008-04-21 | 2014-06-19 | Snap Networks Inc | スピーカー用電気システムとその制御装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10425726B2 (en) | 2015-10-26 | 2019-09-24 | Sony Corporation | Signal processing device, signal processing method, and program |
-
2002
- 2002-03-07 JP JP2002062385A patent/JP4518729B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006066939A (ja) * | 2004-08-24 | 2006-03-09 | National Institute Of Information & Communication Technology | 音響再現方法及び装置 |
JP2006201124A (ja) * | 2005-01-24 | 2006-08-03 | Hajime Hatano | 音源位置検出装置 |
JP2014112912A (ja) * | 2008-04-21 | 2014-06-19 | Snap Networks Inc | スピーカー用電気システムとその制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4518729B2 (ja) | 2010-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6289121B2 (ja) | 音響信号処理装置、動画撮影装置およびそれらの制御方法 | |
JP4692095B2 (ja) | 記録装置、記録方法、再生装置、再生方法、記録方法のプログラムおよび記録方法のプログラムを記録した記録媒体 | |
JP5801026B2 (ja) | 画像音響処理装置及び撮像装置 | |
WO2017064368A1 (en) | Distributed audio capture and mixing | |
JP2006314078A (ja) | 撮像装置、音声記録装置および音声記録方法 | |
JP5597956B2 (ja) | 音声データ合成装置 | |
KR20100135208A (ko) | 마이크로폰 장치, 재생 장치 및 촬상 장치 | |
TW200835376A (en) | Acoustic collecting apparatus and acoustic collecting method | |
JP4010161B2 (ja) | 音響提示システムと音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム。 | |
US10873824B2 (en) | Apparatus, system, and method of processing data, and recording medium | |
US20020071661A1 (en) | Audio and video reproduction apparatus | |
JP4518729B2 (ja) | 画像音響提示システムと方法並びにコンピュータ読み取り可能な記録媒体と画像音響提示プログラム | |
WO2020059447A1 (ja) | 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、音声信号処理システム及び撮影装置 | |
JP3282202B2 (ja) | 収録装置、再生装置、収録方法および再生方法、および、信号処理装置 | |
JP5954987B2 (ja) | 撮影装置及びその処理方法 | |
WO2010061791A1 (ja) | 映像制御装置およびそれを備えた撮像装置、表示装置 | |
JP6821390B2 (ja) | 音響処理装置、音響処理方法及びプログラム | |
JP6274244B2 (ja) | 収音再生装置、収音再生プログラム、収音装置及び再生装置 | |
JP2016163181A5 (ja) | 信号処理装置、信号処理方法、及びプログラム | |
JP2023078689A (ja) | 音情報収録装置、音情報収録再生システム及び音情報収録方法 | |
JP2020092381A (ja) | 音声取得装置、音声取得方法及び音声取得プログラム | |
JP7111202B2 (ja) | 収音制御システム及び収音制御システムの制御方法 | |
US20240098409A1 (en) | Head-worn computing device with microphone beam steering | |
JP3104348B2 (ja) | 収録装置、再生装置、収録方法および再生方法、および、信号処理装置 | |
JP3104349B2 (ja) | 収録装置、再生装置、収録方法および再生方法、および、信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050303 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050303 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070402 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070724 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070925 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071011 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20071214 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090918 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091102 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100518 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |