JP2007143052A - 記録装置及び再生装置 - Google Patents

Abstract

【課題】
映像と音声定位を一致させる。
【解決手段】
振れ検出装置１４は撮像部１２のパンニングを検出する。ぶれ補正装置１６は、撮像部１２からの画像信号を、検出装置１４からの定位補正量Ｐに基づき、画像信号のぶれを補正する。画像信号処理部１８は、ぶれ補正装置１６からの画像信号に周知の処理を施し、記録処理部２４に転送する。集音マイク２０ａ〜２０ｄの音声信号が音声信号処理部２２に供給される。音声信号処理装置２２は、定位補正量Ｐに基づき音声信号を混合し、混合された音声信号を記録処理部２４に供給する。記録処理装置２４は、装置１８からの画像信号及び音声信号処理装置２２からの音声信号を圧縮符号化処理し、記録メディア２６に記録する。
【選択図】
図１

Description

本発明は、多チャンネル音声入力記録が可能な記録装置及びその再生装置に関し、より具体的には、映像及び音声を同期制御する記録装置及びその再生装置に関する。

従来のテレビ会議用カメラでは、映像を入力する映像入力装置、いわゆるカメラと、音声を収集する装置、いわゆる集音マイクが設けられている。特に、音声については、より鮮明に収集するために、発言者となりうる人物の近辺に、複数の集音マイクが備えられている。

カメラを人が操作して、発言者を画面中央に捉えたとしても、複数の集音マイクの入力音声をそのまま記録した場合、音声の定位に違和感が生じる。即ち、カメラをパンニングした時に、画像は横方向へ移動するが、入力音声は、固定された集音マイクからのものであり、その音像の定位が変わらない。その結果、例えば、被写体が画面の中央に映っているのに、音像が画面端側に定位してしまい、画面上の被写体の位置と音声定位があわない。

同様のことが、監視用途や動物観察用途の撮影において、手持ちビデオカメラを三脚に取り付け、外部集音マイクを監視ポイント又は観察ポイントに複数、固定配置した場合も、同様である。収録後に各集音マイクの入力音声レベルを調整する作業が必要になる。

これに対し、複数の集音マイクを設置した上で、各集音マイクからの音声のレベルにより、カメラを固定したカメラ雲台が回転してカメラを発言者に向けるようにしたシステムが知られている。これにより、収録音声が撮影映像の中心に定位する。このようなカメラ回転制御が、特許文献１に記載されている。
特開平０７−２９８２３６号公報（第４頁、図１）

特許文献１に記載されるような集音マイク連動のカメラ雲台は、高価であるだけでなく、各集音マイクの入力音声のレベルとカメラの向く方向との事前の調整が欠かせず、手軽に利用できるものではない。

そこで、本発明は、映像と音声を同期収録でき、より手軽に利用できる記録装置及びその再生装置を提示することを目的とする。

上記の目的を達成するために、本発明に係る記録装置は、被写体を撮像する撮像手段と、複数の音声入力手段と、前記撮像手段の回転動作を検出する回転検出手段と、前記回転検出手段の検出結果に従う混合比で、前記複数の音声入力手段による入力音声信号を混合する混合手段と、当該混合手段からの複数チャネルの音声信号及び当該撮像手段からの画像信号を記録媒体に記録する記録手段とを具備することを特徴とする。

また、本発明に係る再生装置は、複数チャネルの音声信号と、画像信号と、撮影時の撮像手段の回転操作情報とが記録された記録媒体から、画像と音声を再生する装置であって、当該記録媒体から再生された当該回転操作情報に従う混合比で、当該記録媒体から再生される当該複数チャネルの音声信号を混合する混合手段を具備することを特徴とする。

本発明に係る記録装置によれば、撮像部の回転動作に基づき、音声信号処理部２２で混合処理を行うようにしたので、映像及び音声の同期制御を行うことができ、臨場感のある撮影を行うことができる。

また、本発明に係る再生装置によれば、撮影時の回転操作情報に基づき混合処理を行うようにしたので、映像及び音声の同期制御を行うことができ、臨場感のある撮影を閲覧者に届けることができる。

さらに、本発明によれば、撮像部の回転動作に基づき混合処理を行うようにしたので、カメラ雲台のような高価な装置は必要なく、家庭用のデジタルビデオカメラにも適用することができる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の第１実施例の記録再生システム１の概略構成ブロック図である。記録再生システム１は、記録メディア２６に撮影映像と音声を記録する記録装置１０と、記録メディア２６から記録映像と記録音声を再生する再生装置５０とからなる。

記録装置１０は、主要な要素として、撮像部１２、撮像部１２の振れ（パンニング等）を検出する振れ検出部１４、撮像部１２のズーム又は画角を検出するズーム検出部１５、撮像部１２の振れによる画像ぶれを補正するぶれ補正部１６、画像信号処理部１８、４つの集音マイク２０ａ〜２０ｄ、音声信号処理部２２、記録処理部２４及び記録メディア２６を具備する。

撮像部１２は、ＣＣＤセンサまたはＣＭＯＳセンサからなる撮像素子と、当該撮像素子の撮像面に被写体像を結像するレンズとを具備する。振れ検出部１４は、角速度センサ（ジャイロ又は振動ジャイロ）を具備し、撮像部１２のパン方向の回転動作（パンニング）を検出する。振れ検出部１４は更に、後述する定位補正量（パン方向の角度差分）Ｐを算出する機能を具備する。定位補正量Ｐの算出方法は、後述する。ズーム検出部１５は、撮像部１２のズーム倍率又は画角を検出する。

角速度センサ（ジャイロ）を用いた振れ補正とパンニング検知は、特開平０５−１４２６１４号公報で記載され、角速度センサを用いたパンニング量（角度）検出は、特開平０９−３２２０５５号公報に記載されている。本実施例では、これらに記載された構成を利用可能である。

ぶれ補正部１６は、振れ検出部１４の振れ検出と定位補正量Ｐに応じて、撮像部１２からの画像信号のぶれを補正する。いわゆる手ぶれ補正である。画像信号処理部１８は、ＡＧＣ（自動利得制御）、γ（ガンマ）変換器及びＡ／Ｄ変換器を具備し、画像信号に周知のカメラ信号処理を施し、アナログ信号をデジタル信号に変換する。

集音マイク２０ａは被写体に対して右前の方向に配置されており、集音マイク２０ｂは被写体に対して左前の方向に配置されている。集音マイク２０ｃは被写体に対して右後ろの方向に配置されており、集音マイク２０ｄは被写体に対して左後ろの方向に配置されている。すなわち、集音マイク２０ａ〜２０ｄは、前後左右の定位感がわかるように配置されており、被写体の音声をその前後左右から収集できるようになっている。

音声信号処理部２２は４チャンネルのＡ／Ｄ変換器を具備し、集音マイク２０ａ〜２０ｄからの音声信号をデジタル音声信号に変換する。また、音声信号処理部２２は、振れ検出部１４の振れ検出と定位補正量Ｐに応じて、後述する方法で４チャネルの音声信号を補正（混合処理又は合成処理）する。本実施例では、音声信号処理部２２の音声信号の補正にはイコライザ補正を適用する。

本実施例では、集音マイク２０ａ，２０ｂ，２０ｃ，２０ｄの各出力音声信号をｉａ，ｉｂ，ｉｃ，ｉｄと表記し、音声信号処理部２２により補正された後の４チャネルの音声データをｃｈＦＲ（ｃｈａｎｎｅｌ Ｆｒｏｎｔ Ｒｉｇｈｔ）、ｃｈＦＬ（ｃｈａｎｎｅｌ Ｆｒｏｎｔ Ｌｅｆｔ）、ｃｈＲＲ（ｃｈａｎｎｅｌ Ｒｅａｒ Ｒｉｇｈｔ）及びｃｈＲＬ（ｃｈａｎｎｅｌ Ｒｅａｒ Ｌｅｆｔ）と表記する。

記録処理部２４は圧縮符号化処理部を具備し、画像信号処理部１８からの画像信号と音声信号処理部２２からの音声信号を圧縮符号化し、圧縮データを記録メディア２６に記録する。記録メディア２６はハードディスク、不揮発性のメモリカード又は書込み可能なＤＶＤ等である。また、図１には特に示していないが、記録装置１０は、４チャネルの音声を自動的に混合するか、または手動で混合するかを音声信号処理部２２に指示する操作手段を具備する。

再生装置５０は、再生処理部５２、再生画信号処理部５４、モニタ５６、アンプ５８及び４つのスピーカ６０ａ〜６０ｄを具備する。

再生処理部５２は、圧縮データを伸長する復号化処理部を具備し、記録メディア２６に記録されるデジタルデータを復号化、即ち伸長し、画像信号及び音声信号を分離して出力する。再生処理部２５２は、再生画像信号を再生画像信号処理部２５８に出力し、４チャネルの再生音声信号をアンプ２６２に出力する。再生画像信号処理部５４は、再生処理部５２からの画像信号を所定形式、例えば、ＮＴＳＣ形式のビデオ信号に変換し、モニタ５６に出力する。モニタ５６は液晶パネル又は電子ビューファインダからなり、ビデオ信号に応じた画像を表示する。アンプ５８は、再生処理部５２からの４チャネルの音声信号をそれぞれ増幅して、スピーカ６０ａ〜６０ｄに印加する。

スピーカ６０ａは被写体に対応する位置に対して右前の方向に配置されて、スピーカ６０ｂは被写体に対応する位置に対して左前の方向に配置され、スピーカ６０ｃは被写体対に対応するに対して右後ろの方向に配置され、スピーカ６０ｄは被写体に対応する位置に対して左後ろの方向に配置されている。すなわち、スピーカ６０ａ〜６０ｄは、前後左右の定位感がわかるように配置されており、視聴者に向かって音声を出力する。

アンプ５８は、各チャネルの音声信号を単に増幅するだけである。アンプ５８からスピーカ６０ａに印加される音声信号をｏａ，スピーカ６０ｂに印加される音声信号をｏｂ，スピーカ６０ｃに印加される音声信号をｏｃ、スピーカ６０ｄに印加される音声信号ｏｄとすると、実質的には、
ｃｈＦＲ＝ｏａ
ｃｈＦＬ＝ｏｂ
ｃｈＲＲ＝ｏｃ
ｃｈＲＬ＝ｏｄ
である。

記録装置１０の記録動作を説明する。撮影モードでは、撮像部１２は、被写体の画像信号を出力する。撮像部１２の画像信号はぶれ補正部１６に出力される。ぶれ補正部１６は、振れ検出部１４からの定位補正量Ｐに基づき、撮像部１２からの画像信号のぶれを補正し、補正結果を画像信号処理部１８に供給する。画像信号処理部１８は、ぶれ補正部１６からの画像信号にガンマ補正及び色補正等の周知の処理を施し、記録処理部２４に出力する。

一方、集音マイク２０ａ〜２０ｄは、被写体からの音声信号を音声信号処理部２２に出力する。音声信号処理部２２は、振れ検出部１４からの定位補正量Ｐ及びズーム検出部１５からのズーム位置情報に基づき、集音マイク２０ａ〜２０ｄからの音声信号ｉａ，ｉｂ，ｉｃ，ｉｄを混合処理等で補正し、補正結果としての４チャネルの音声信号ｃｈＦＲ，ｃｈＲＲ，ｃｈＦＬ，ｃｈＲＬを記録処理部２４に供給する。

記録処理部２４は、画像信号処理部１８からの画像信号及び音声信号処理部２２からの音声信号をそれぞれ圧縮符号化処理し、記録メディア２６に記録する。

図２を参照して、振れ検出部１４における定位補正量Ｐの算出方法を説明する。振れ検出部１４は、パン方向の回転動作（パンニング）を検知しないときには（Ｓ１０）、定位補正量Ｐを零とする（Ｓ１４）。

パンニングを検知すると（Ｓ１０）、角速度を示すジャイロ信号を読み取り（Ｓ１１）、積分する（Ｓ１２）。ジャイロ信号の積分、即ちパンの角度を定位補正量Ｐとする（Ｓ１３）。すなわち、定位補正量Ｐは、パンの角度を示す。なお、パン方向は、ジャイロ信号の符号で判別できる。例えば、撮像方向の正面がゼロとなるように積分値を予めリセットしておくと、ジャイロ信号の積分値により、撮像部１２の向く方向を特定できる。

次に、図３乃至図７を用いて、音声信号処理部２２の動作を説明する。図３は、音声信号処理部２２の混合処理を示すフローチャートである。図４は正面を向いて撮影している時の音像定位の模式図を示し、図５は左パンニングを検出した時の音像定位の模式図を示す。図６は右パンニングを検出した時の音像定位の模式図を示し、図７は正面を向いてズーミング撮影している時の音像定位の模式図を示す。

音声信号処理部２２は、振れ検出部１４で求められた定位補正量Ｐを読み取る（Ｓ２０）。定位補正量Ｐが零であるか否かを判別する（Ｓ２１）。零であれば（Ｓ２１）、集音マイク２０ａ〜２０ｄからの音声信号をスルー、即ち、ｃｈＦＲ＝ｉａ、ｃｈＦＬ＝ｉｂ、ｃｈＲＲ＝ｉｃ、ｃｈＲＬ＝ｉｄとする（Ｓ２２〜Ｓ２５）。

一方、定位補正量Ｐが零でなく（Ｓ２１）、振れ検出部１４で検出されたパンニングが左回転であれば（Ｓ２６）、音声信号処理部２２は、図５に示すように、定位補正量Ｐに従い、集音マイク２０ａ〜２０ｄにより入力される音声信号ｉａ，ｉｂ，ｉｃ，ｉｄを合成する。具体的には、
ｃｈＦＲ＝ｉａ×（１−Ｐ）＋ｉｂ×Ｐ
ｃｈＦＬ＝ｉｂ×（１−Ｐ）＋ｉｄ×Ｐ
ｃｈＲＲ＝ｉｃ×（１−Ｐ）＋ｉａ×Ｐ
ｃｈＲＬ＝ｉｄ×（１−Ｐ）＋ｉｃ×Ｐ
とする（Ｓ２７〜Ｓ３０）。

これは、音声信号ｉａ，ｉｂ，ｉｃ，ｉｄが時計方向に定位補正量Ｐに相当する角度だけ回転することに相当する。従って、集音マイク２０ａが担当する右前の音声としては、ｉａ×Ｐに相当する音量を減らし、音声信号ｉｂの、ｉｂ×Ｐに相当する音量を増やせばよい。よって、右前の補正後の音声信号ｃｈＦＲは、ステップＳ２７に示す式で表現される。

右回転の場合（Ｓ２６）、音声信号処理部２２は、図６に示すように、定位補正量Ｐに従い、集音マイク２０ａ〜２０ｄにより入力される音声信号ｉａ，ｉｂ，ｉｃ，ｉｄを合成する。具体的には、
ｃｈＦＲ＝ｉａ×（１−Ｐ）＋ｉｃ×Ｐ
ｃｈＦＬ＝ｉｂ×（１−Ｐ）＋ｉａ×Ｐ
ｃｈＲＲ＝ｉｃ×（１−Ｐ）＋ｉｄ×Ｐ
ｃｈＲＬ＝ｉｄ×（１−Ｐ）＋ｉｂ×Ｐ
となる（Ｓ３１〜Ｓ３４）。

これは、音声信号ｉａ，ｉｂ，ｉｃ，ｉｄが反時計方向に定位補正量Ｐに相当する角度だけ回転することに相当する。従って、集音マイク２０ａが担当する右前の音声としては、ｉａ×Ｐに相当する音量を減らし、音声信号ｉｃの、ｉｃ×Ｐに相当する音量を増やせばよい。よって、右前の補正後の音声信号ｃｈＦＲは、ステップＳ３１に示す式で表現される。

ステップＳ２２〜Ｓ２５，Ｓ２７〜Ｓ３４による各チャネルの音声レベルの補正又は調整の後、ズーム中であるか否かを判別する（Ｓ３５）。ズーム中でなければ（Ｓ３５）、終了する。ズーム中であれば（Ｓ３５）、図７に模式的に示すように、各チャネルの音声信号を補正する（Ｓ３６〜Ｓ３９）。具体的には、ズーム率をＺとすると、
ｃｈＦＲ＝ｃｈＦＲ×（１＋Ｚ）
ｃｈＦＬ＝ｃｈＦＬ×（１＋Ｚ）
ｃｈＲＲ＝ｃｈＲＲ×（１−Ｚ）
ｃｈＲＬ＝ｃｈＲＬ×（１−Ｚ）
とする。

ズームした場合、前側で取り込まれる音声のレベルが上がり、後ろ側で取り込まれる音声のレベルが低下するはずである。従って、前側のチャネルｃｈＦＲ，ｃｈＦＬの音声レベルをズーム率Ｚに応じた量だけ増やし、逆に、後ろ側のチャネルｃｈＲＲ，ｃｈＲＬの音声レベルをズーム率Ｚに応じた量だけ減らしている。

音声信号処理部２２は、このような処理により得られた４チャネルの音声データｃｈＦＲ，ｃｈＦＬ，ｃｈＲＲ，ｃｈＲＬを記録処理部２４に供給し、記録処理部２４が、これらの音声データｃｈＦＲ，ｃｈＦＬ，ｃｈＲＲ，ｃｈＲＬを、画像信号処理部１８からの画像データと一緒に、記録メディア２６に記録する。

このように、本実施例によれば、パン方向の回転角度とズームに基づき、４チャネルのアナログ音声信号を混合し、レベルを調整するので、あたかも内蔵集音マイクで録音したかのように音声を記録できる。即ち、映像と音声定位を対応させることができる。

なお、振れ検出部１４が振動ジャイロにより角速度を測定しているが、電子コンパスを用いてもよい。

また、４つの音声チャンネルで説明したが、特にこれに限らなく、５つ以上のチャンネルを設けてもよい。２チャンネル以上であれば、ある程度以上の効果を得ることができる。

さらに、パン方向の回転動作の実施例を説明したが、チルト方向の回転動作も併せて検知するようにしてもよい。

振動ジャイロのような角速度センサ出力からパンニング量を検出する例を説明したが、特開平５-２８９１５９号公報に記載されるように、動きベクトルから検出しても実現できるのは明らかである。その変更例の概略構成ブロック図を図８に示す。図１と同じ構成要素には、同じ符号を付してある。

記録装置１０ａでは、画像信号処理部１８ａが、動きベクトル検出用に各フレーム又はフィールドの画像信号を動きベクトル検出装置１９に供給する。動きベクトル検出部１９は、画像信号処理部１８ａからの画像信号から動きベクトルを検出し、検出された動きベクトルを振れ検出部１４ａと画像信号処理部１８ａに供給する。振れ検出部１４ａは、動きベクトル検出部１９からの動きベクトルから、カメラの振れを検出し、定位補正量Ｐを算出する。画像信号処理部１８ａは、検出された動きベクトルに従い、手ぶれを電子的に補正する。即ち、画像信号処理部１８ａは、ぶれ補正装置１６と同等のぶれ補正機能を具備する。

その他の構成要素の動作は、実施例１と同じなので、説明を省略する。

図９は、本発明の第３実施例に係る記録再生装置２００の概略構成ブロック図である。この実施例では、撮影方向とズームの影響の補正を、記録時ではなく、再生時に実行する。そのために、記録装置１００には、振れ検出装置２１４及びズーム検出装置２１５の検出結果からメタデータを作成するメタデータ作成装置２２３を設け、再生装置２５０には、メタデータ復元装置２５７と、復元されたメタデータに従い、再生された各チャネルの音声信号ｃｈＦＲ，ｃｈＦＬ，ｃｈＲＲ，ｃｈＲＬを混合及びレベル調整する音声混合装置としてのアンプ２５８を設けた。

記録装置２１０の構成と動作を説明する。撮像部２１２、振れ検出部２１４，ズーム検出部２１５、ぶれ補正装置２１６、画像信号処理装置２１８、マイク２２０ａ〜２２０ｄの機能は、それぞれ、図１に示す実施例の撮像部１２、振れ検出部１４，ズーム検出部１５、ぶれ補正装置１６、画像信号処理装置１８、マイク２０ａ〜２０ｄの機能と同じである。

音声信号処理装置２２２は、マイク２２０ａ〜２２０ｄからの音声信号ｉａ，ｉｂ，ｉｃ，ｉｄを、互いに混合することなしに、デジタル音声信号ｃｈＦＲ，ｃｈＦＬ，ｃｈＲＲ，ｃｈＲＬに変換する。即ち、この実施例では、実質的に、
ｃｈＦＲ＝ｉａ
ｃｈＦＬ＝ｉｂ
ｃｈＲＲ＝ｉｃ
ｃｈＲＬ＝ｉｄ
である。

メタデータ作成装置２２３は、振れ検出装置２１４により検出される振れの有無と定位補正量Ｐ、及びズーム検出装置２１５により検出されるズーム率からメタデータを作成し、作成したメタデータを記録処理装置２２４に供給する。記録処理装置２２４は、メタデータ作成装置２２３で作成されるメタデータを、音声信号処理装置２２２からの４チャネルの音声信号ｃｈＦＲ，ｃｈＦＬ，ｃｈＲＲ，ｃｈＲＬ及び画像信号処理装置２１８からの画像信号と共に、記録メディア２２６に記録する。

再生装置２５０は次のように動作する。再生処理装置２５２は、圧縮データを伸長する復号化処理部を具備し、記録メディア２２６に記録されるデジタルデータを復号化、即ち伸長し、画像信号、音声信号及びメタデータを分離して出力する。再生処理部２５２は、記録メディア２２６から再生した画像信号を再生画像信号処理装置２５４に、再生したメタデータをメタデータ復元装置２５７に、再生した４チャネルの音声信号ｃｈＦＲ，ｃｈＦＬ，ｃｈＲＲ，ｃｈＲＬをアンプ２５８にそれぞれ供給する。

再生画像信号処理部２５４は、再生処理部２５２からの画像信号を所定形式、例えば、ＮＴＳＣ形式のビデオ信号に変換し、モニタ２５６に出力する。モニタ５６は液晶パネル又は電子ビューファインダからなり、ビデオ信号に応じた画像を表示する。

メタデータ復元装置２５７は、復元したメタデータから、撮影時のパン操作の有無と定位補正量Ｐ及びズーム率Ｚを取り出し、これらの値に従い、アンプ２５８における混合処理とレベル調整処理を制御する。

スピーカ２６０ａ，２６０ｂ，２６０ｃ，２６０ｄの配置は、図１に示す実施例のスピーカ６０ａ，６０ｂ，６０ｃ，６０ｄの配置とそれぞれ同じである。即ち、スピーカ２６０ａは被写体に対応する位置に対して右前の方向に配置されて、スピーカ２６０ｂは被写体に対応する位置に対して左前の方向に配置され、スピーカ２６０ｃは被写体対に対応するに対して右後ろの方向に配置され、スピーカ２６０ｄは被写体に対応する位置に対して左後ろの方向に配置されている。このように、スピーカ２６０ａ〜２６０ｄは、前後左右の定位感がわかるように配置されており、視聴者に向かって音声を出力する。

図１０乃至図１４を参照して、アンプ２５８の混合処理とレベル調整処理を説明する。図１０は、アンプ２５８の混合処理とレベル調整処理のフローチャートを示す。図１０は、原理的には、図１に示す実施例の音声信号処理装置２２の処理と同じである。図１１は正面を向いて撮影した時の音像定位の模式図を示し、図１２は左パンニングを検出した時の音像定位の模式図を示す。図１３は右パンニングを検出した時の音像定位の模式図を示す。図１３は正面を向いてズーミング撮影している時の音像定位の模式図を示す。

メタデータ復元装置２５７は、復元したメタデータから回転方向と定位補正量Ｐを読み取る（Ｓ２２０）。定位補正量Ｐが零であるか否かを判別する（Ｓ２２１）。零であれば（Ｓ２２１）、再生処理装置２５２からの音声信号ｃｈＦＲ，ｃｈＦＬ，ｃｈＲＲ，ｃｈＲＬを単に増幅し、それぞれ、出力音声信号ｏａ，ｏｂ，ｏｃ，ｏｄとしてスピーカ６０ａ，６０ｂ，６０ｃ，６０ｄに供給する（Ｓ２２２〜Ｓ２２５）。

復元されたメタデータから、定位補正量Ｐが零でなく（Ｓ２２１）、パンニングが左回転であれば（Ｓ２２６）、アンプ２５８は、図１２に示すように、定位補正量Ｐに従い、 再生された音声信号ｃｈＦＲ，ｃｈＦＬ．ｃｈＲＲ，ｃｈＲＬを合成する。具体的には、
ｏａ＝ｃｈＦＲ×（１−Ｐ）＋ｃｈＦＬ×Ｐ
ｏｂ＝ｃｈＦＬ×（１−Ｐ）＋ｃｈＲＬ×Ｐ
ｏｃ＝ｃｈＲＲ×（１−Ｐ）＋ｃｈＦＲ×Ｐ
ｏｄ＝ｃｈＲＬ×（１−Ｐ）＋ｃｈＲＲ×Ｐ
とする（Ｓ２２７〜Ｓ２３０）。

右回転の場合（Ｓ２２６）、アンプ２５８は、図１３に示すように、復元されたメタデータの定位補正量Ｐに従い、再生処理装置２５２から入力される音声信号ｃｈＦＲ，ｃｈＦＬ．ｃｈＲＲ，ｃｈＲＬを合成する。具体的には、
ｏａ＝ｃｈＦＲ×（１−Ｐ）＋ｃｈＲＲ×Ｐ
ｏｂ＝ｃｈＦＬ×（１−Ｐ）＋ｃｈＦＲ×Ｐ
ｏｃ＝ｃｈＲＲ×（１−Ｐ）＋ｃｈＲＬ×Ｐ
ｏｄ＝ｃｈＲＬ×（１−Ｐ）＋ｃｈＦＬ×Ｐ
となる（Ｓ２３１〜Ｓ２３４）。

ステップＳ２２２〜Ｓ２２５，Ｓ２２７〜Ｓ２３４による各チャネルの音声レベルの補正又は調整の後、ズームがあったかどうかを、復元されたメタデータから判別する（Ｓ２３５）。ズームがなければ（Ｓ２３５）、アンプ２５８は、音声信号ｏａ，ｏｂ，ｏｃ，ｏｄのレベルを調整することなしに、出力する。

ズームがあれば（Ｓ２３５）、図１４に模式的に示すように、各チャネルの音声信号ｏａ，ｏｂ，ｏｃ，ｏｄのレベルをズーム率Ｚに応じて補正する（Ｓ２３６〜Ｓ２３９）。具体的には、ズーム率をＺとすると、
ｏａ＝ｏａ×（１＋Ｚ）
ｏｂ＝ｏｂ×（１＋Ｚ）
ｏｃ＝ｏｃ×（１−Ｚ）
ｏｄ＝ｏｄ×（１−Ｚ）
とする。アンプ２５８は、レベル調整した音声信号ｏａ，ｏｂ，ｏｃ，ｏｄをスピーカ２６０ａ，２６０ｂ，２６０ｃ，２６０ｄに出力する。

このように、本実施例によれば、再生時に、パン方向の回転角度とズームに基づき、４チャネルのアナログ音声信号を混合し、レベルを調整するので、あたかも内蔵集音マイクで録音したかのように音声を出力できる。即ち、再生時に、映像と音声定位を対応させることができる。

メタデータ復元部２５６により復元したメタデータから定位補正量Ｐを自動的に読込んだが、操作部を設けてユーザに選択させるようにしてもよい。

この実施例でも、振れ検出部１４が振動ジャイロにより角速度を測定しているが、電子コンパスを用いてもよい。

また、４つの音声チャンネルで説明したが、特にこれに限らなく、５つ以上のチャンネルを設けてもよい。２チャンネル以上であれば、ある程度以上の効果を得ることができる。

さらに、パン方向の回転動作の実施例を説明したが、チルト方向の回転動作も併せて検知するようにしてもよい。

本発明の一実施例の記録再生システムの概略構成ブロック図である。 定位補正量Ｐの算出を示すフローチャートである。 音声信号処理装置２２の混合処理を示すフローチャートである。 実施例１の混合処理のイメージ図である。 実施例１の混合処理のイメージ図である。 実施例１の混合処理のイメージ図である。 実施例１の混合処理のイメージ図である。 本発明の第２実施例の概略構成ブロック図である。 本発明の第３実施例の概略構成ブロック図である。 アンプ２５８の混合処理を示すフローチャートである。 実施例３の混合処理のイメージ図である。 実施例２の混合処理のイメージ図である。 実施例２の混合処理のイメージ図である。 実施例２の混合処理のイメージ図である。

符号の説明

１ 記録再生システム
１０，１０ａ 記録装置
１２ 撮像部
１４，１４ａ 振れ検出部
１５ ズーム検出装置
１６ ぶれ補正部
１８，１８ａ 画像信号処理部
１９ 動きベクトル検出装置
２０ａ 集音マイク（右前）
２０ｂ 集音マイク（左前）
２０ｃ 集音マイク（右後ろ）
２０ｄ 集音マイク（左後ろ）
２２ 音声信号処理部
２４ 記録処理部
２６ 記録メディア
５０ 再生装置
５２ 再生処理部
５４ 再生画像処理装置
５６ モニタ
５８ アンプ
６０ａ スピーカ（右前）
６０ｂ スピーカ（左前）
６０ｃ スピーカ（右後ろ）
６０ｄ スピーカ（左後ろ）
２００ 記録再生システム
２１０ 記録装置
２１２ 撮像部
２１４ 振れ検出部
２１５ ズーム検出装置
２１６ ぶれ補正部
２１８ 画像信号処理部
２２０ａ 集音マイク（右前）
２２０ｂ 集音マイク（左前）
２２０ｃ 集音マイク（右後ろ）
２２０ｄ 集音マイク（左後ろ）
２２２ 音声信号処理部
２２３ メタデータ作成装置
２２４ 記録処理部
２２６ 記録メディア
２５０ 再生装置
２５２ 再生処理部
２５４ 再生画像処理装置
２５６ モニタ
２５７ メタデータ復元装置
２５８ アンプ
２６０ａ スピーカ（右前）
２６０ｂ スピーカ（左前）
２６０ｃ スピーカ（右後ろ）
２６０ｄ スピーカ（左後ろ）

Claims (7)

1. 被写体を撮像する撮像手段と、
   複数の音声入力手段と、
   前記撮像手段の回転動作を検出する回転検出手段と、
   前記回転検出手段の検出結果に従う混合比で、前記複数の音声入力手段による入力音声信号を混合する混合手段と、
   当該混合手段からの複数チャネルの音声信号及び当該撮像手段からの画像信号を記録媒体に記録する記録手段
   とを具備することを特徴とする記録装置。
2. 前記回転検出手段は、角速度センサからなることを特徴とする請求項１に記載の記録装置。
3. 前記回転検出手段は、前記撮像手段の出力画像信号から動きベクトルを検出する動きベクトル検出手段を含む請求項１に記載の記録装置。
4. 前記回転検出手段は、パン方向及びチルト方向の少なくとも一方の回転角度を検出することを特徴とする請求項１又は２に記載の記録装置。
5. 更に、
   前記撮像手段のズームを検出するズーム検出手段と、
   前記ズーム検出手段の検出結果に従い、前記混合手段による混合後の音声信号のレベルを調整するレベル調整手段
   とを具備することを特徴とする請求項１乃至４の何れか１項に記載の記録装置。
6. 複数チャネルの音声信号と、画像信号と、撮影時の撮像手段の回転操作情報とが記録された記録媒体から、画像と音声を再生する装置であって、
   当該記録媒体から再生された当該回転操作情報に従う混合比で、当該記録媒体から再生される当該複数チャネルの音声信号を混合する混合手段を具備することを特徴とする再生装置。
7. 当該記録媒体には、撮影時のズーム率を示すズーム率情報が記録されており、
   更に、当該ズーム率情報に従い、当該混合手段による混合後の音声信号のレベルを調整するレベル調整手段を具備する
   ことを特徴とする請求項６に記載の再生装置。

Images