JP2004147205A

JP2004147205A - 画像音声記録装置

Info

Publication number: JP2004147205A
Application number: JP2002311499A
Authority: JP
Inventors: Yoshiaki Ishimaru; 石丸　善章
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2002-10-25
Filing date: 2002-10-25
Publication date: 2004-05-20

Abstract

【課題】音声のステレオ記録を可能とし、臨場感のある動画を記録することができる画像音声記録装置を提供。
【解決手段】画像音声記録装置１０は、被写界を撮像してこの被写界を表わす画像信号１０３を形成する。また、被写界の左側および右側の音声を集音してそれぞれ左音声信号１０８および右音声信号１１０を形成する。さらにこの画像信号１０３から信号処理により動きベクトルを検出し、この動きベクトルから画像において最も有力な移動方向を判断する。この移動方向に応じて、左右の音量バランスが変化するように左音声信号１０８および右音声信号１１０をそれぞれ調整し、これらの音声信号をステレオ録音して音声の移動感を強調し、臨場感のある動画記録を実現している。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオ録音が可能であって動画またはスチル動画を記録することができる画像音声記録装置に関するものである。
【０００２】
【従来の技術】
従来から、画像音声記録装置は、動画再生の際、臨場感のある音声を再生させるために、たとえば移動する発音体を撮影する際に、音声信号に特定の信号処理を施し、これらの信号を記録媒体に記録するものが知られている。たとえば、音像定位処理は画像信号処理に比べて要する時間が長いために、再生画面上の発音体の位置と再生音声における音像定位位置とが一致しないことがある。この不一致をなくすために、移動する発音体を撮影した画像信号から発音体の動きベクトルを検出し、この動きベクトルに基づいて、ある時間経過後の発音体の位置を予測し、予測位置に合うように音声信号を音像定位処理して臨場感ある音響再生を可能とした音像定位制御装置が知られている（特許文献１）。
【０００３】
【特許文献１】
特開平８−１８１９６２号公報。
【０００４】
【発明が解決しようとする課題】
上述の特許文献１に記載の音像定位制御装置は、発音体の動きに応じて音像定位を移動しているため、発音体が特定されるテレビ会議システムなどに有利に適用することができる。しかし、この装置は、発音体の発する音声を発音体の動きに応じて音像定位処理するものであり、集音する音源が特定されているため、この被写界における発音体以外に音声を発する音源があるときに、この音源の移動感を表わすような音響再生をすることはできない。
【０００５】
たとえば、発音体以外の音源と発音体とで動く方向が異なり、この音源の動きの量が発音体の動きの量よりも多いときでも、この音源による音声は、発音体の動きに応じて音像定位処理され、また、この音源が移動しても発音体が移動しないときには、この音源による音声は、音像定位処理されない。その結果、被写界全体として、違和感を覚えるような移動感を表わして音響再生が行なわれ、臨場感が損なわれる。
【０００６】
ところで、ビデオカメラなどの画像音声記録装置では、一般的に、ステレオ録音するために左右にマイクロフォンを備えるものがあるが、これらはカメラの機械的制約から互いに近くに備えられ、これらのマイクロフォン同士の距離は短い。したがって、この装置を用いて被写界を撮影するとき、被写界に対応する音場における音声を採取しても立体感が再現されにくい。とくに、発音体が移動する場合、適切な移動感を聴音に与えることは困難であった。
【０００７】
本発明はこのような従来技術の欠点を解消し、再生の際の臨場感を増すように音声をステレオ記録することができ、動画またはスチル動画を記録することができる画像音声記録装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明によれば、被写界を撮像してこの被写界を表わす画像信号を形成する撮像部と、この被写界の音声を集音して音声信号を形成する複数のマイクロフォンとを含み、この複数のマイクロフォンは、この被写界の左側の音声を集音して第１の左音声信号を形成する左マイクロフォンと、この被写界の右側の音声を集音して第１の右音声信号を形成する右マイクロフォンとを含む画像音声記録装置は、この画像信号から動きベクトルを検出する検出手段と、この動きベクトルに応じて左右の音量バランスが変わるように、第１の左音声信号および第１の右音声信号を調整して、それぞれ対応する第２の左音声信号および第２の右音声信号を形成する調整手段とを含み、この調整手段は、この動きベクトルから判断して、画像の有力な移動方向の音量が大きくなるように調整することを特徴とする。
【０００９】
【発明の実施の形態】
次に添付図面を参照して本発明による画像音声記録装置をディジタルカメラに適用した実施例を詳細に説明する。
【００１０】
実施例の画像音声記録装置１０は、図１に示すように、光学レンズ系１２を通して撮像部１４で撮影した画像に対して、信号処理部１６においてその画像の動きベクトルを検出し、音声情報演算部１８においてその動きベクトルに応じた音量バランスを求め、音声信号前処理部２４において、左マイクロフォン２０および右マイクロフォン２２などで集音した音声信号をその音量バランスに応じて前処理し、画像信号および前処理した音声信号を信号処理部１６において信号処理して出力し、情報記録媒体２６に記録する装置である。なお、本発明の理解に直接関係のない部分は、図示を省略し、冗長な説明を避ける。
【００１１】
画像音声記録装置１０において、光学レンズ系１２は、被写界像を撮像部１４の撮像面に結像する撮像光学系である。撮像部１４は、その被写界像を電気信号１０２に光電変換する機能を有し、たとえば電荷結合素子などの固体撮像素子でよい。この電気信号１０２は、アナログ画像信号１０２であり、本実施例では、アナログ・ディジタル変換器１５において、アナログ・ディジタル（Ａ／Ｄ）変換処理を行い、信号処理部１６に出力する。なお、以下の説明において、各信号はその現れる接続線の参照番号で特定する。
【００１２】
信号処理部１６は、音声信号や画像信号などをディジタル信号処理する機能を有する。本実施例では特に、動きベクトル検出部１７およびメモリバッファ２７を含んでいる。動きベクトル検出部１７は、ディジタル画像信号１０３からその表わす絵柄の動きベクトルを検出する機能を有し、検出した動きベクトルを情報信号１０４として音声情報演算部１８に出力する。メモリバッファ２７は、内部メモリとして直前もしくは数フレーム前のディジタル画像信号を一時蓄積する機能を有し、蓄積したディジタル画像信号は、動きベクトル検出部１７において用いられる。また、他方では、アナログ・ディジタル変換器２５から供給される音声信号、本実施例ではディジタル左音声信号１１２およびディジタル右音声信号１１４、ならびにディジタル画像信号１０３に対して、ディジタル信号処理を施して出力を行う。たとえば、この信号処理によって、情報記録媒体２６に記録することができる記録信号１１６を生成し、情報記録媒体２６に記録する。
【００１３】
音声情報演算部１８は、供給される情報信号１０４に表わされる動きベクトルに応じて、左右の音量のバランスを変化させるための調整量を求めるものである。たとえばこの動きベクトルによって、画像の各部の位置、ならびに動きの方向および量を判断し、その一部がある方向に動くとき、それが画像全体において最も有力な方向であれば、その方向の音量を強調させるような調整量を求める。本実施例では、左右の音量に対応するため、この調整量は、たとえば左ゲインおよび右ゲインを変化させるものでよく、情報信号１０６として音声信号前処理部２４に供給する。また、この音声情報演算部１８には、マイクロコンピュータなどを用いてもよい。
【００１４】
左マイクロフォン２０および右マイクロフォン２２は、音声を集音する機能を有し、それぞれアナログ左音声信号１０８およびアナログ左音声信号１１０を生成して、音声信号前処理部２４に出力する。本発明においては、被写界の音声を多様な方向から集音してより臨場感を表わすために、３つ以上のマイクロフォンを備えてもよい。本実施例では特に、被写界の左右から音声を集音してステレオ録音するため、左マイクロフォン２０および右マイクロフォン２２を、それぞれ撮像部１４の左方および右方に設置してもよい。
【００１５】
音声信号前処理部２４は、アナログ音声信号を処理して、移動感を強調した音声信号を生成する機能を有し、本実施例では、左音声信号増幅器２１および右音声信号増幅器２３を含んでいる。これらの増幅器２１および２３は、たとえばマイクアンプなどのアナログ増幅器でよく、それぞれ供給されたアナログ左音声信号１０８およびアナログ右音声信号１１０を、左ゲインおよび右ゲインで増幅または減衰して左音声信号１０９および右音声信号１１１を生成する。これらのゲインは、可変であり、音声の調整量を表わす情報信号１０６により調整する。本実施例では、音声信号１０９および１１１をアナログ・ディジタル変換器２５に供給してＡ／Ｄ変換処理を行い、信号処理部１６へ出力する。
【００１６】
情報記録媒体２６は、画像信号および音声信号を記録する機能を有し、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどが用いられ、着脱可能でもよい。
【００１７】
次に、この実施例における画像音声記録装置１０の動作を、動画を撮影する場合について説明する。画像音声記録装置１０では、光学レンズ系１２により撮像部１４に被写界像が結像され、撮像部１４によってこの被写界像が光電変換され、アナログ画像信号である電気信号１０２が生成される。また、このとき、被写界からの音声が左マイクロフォン２０および右マイクロフォン２２によって集音され、それぞれアナログ左音声信号１０８およびアナログ左音声信号１１０が生成される。このアナログ画像信号１０２は、アナログ・ディジタル変換器１５に、アナログ左音声信号１０８およびアナログ左音声信号１１０は、音声信号前処理部２４にそれぞれ供給される。
【００１８】
アナログ画像信号１０２は、アナログ・ディジタル変換器１５において、Ａ／Ｄ変換処理されてディジタル画像信号１０３が生成され、信号処理部１６に出力される。
【００１９】
このディジタル画像信号１０３は、信号処理部において、ディジタル信号処理され、動きベクトルが検出される。このとき、動きベクトルの検出方法は、たとえば、前の画像信号からフレーム間差分を取る方法などが用いられるが、分散およびノルムが最小になるように、２つの画像をずらして求めるとよい。また、有利には、動き補償を用いることによって、効果的に動きベクトルを求めることができる。これらの処理では、現在の画像だけでなく過去の画像、つまり直前もしくは数フレーム前の画像をも必要とするため、信号処理部１６内に備えたメモリバッファ２７において、過去のディジタル画像信号を蓄積してもよい。また、信号処理部１６において、検出された動きベクトルを表わす情報信号１０４が生成され、音声情報演算部１８に供給される。
【００２０】
音声情報演算部１８において、情報信号１０４で表わされる動きベクトルを用いて、画像における最も有力な移動方向を判断し、その方向に応じて音量のバランスを変化させるような調整量が求められる。たとえば、動きベクトルから画像の各部における水平方向成分を取り出し、各部の画像における位置ならびに水平方向成分の方向および量から動きが片寄っている方向を求め、この方向を有力な移動方向とすることができる。本実施例では、音量の左右の変化によって臨場感を表わすため、有力な移動方向およびその量に応じて左右の音量のバランスを変化させる。
【００２１】
本実施例では、左右の音量のバランスを、画像の移動に応じて以下のように変化させる。被写体３２が有力な移動方向を支配している場合、図２に示すように、被写体３２が停止して、画像３０の動きベクトルに有力な移動方向がないと判断したときには、図３に示すように、左の音量３４と右の音量３６とを同じ大きさ、すなわち標準状態にさせる。しかし、図４に示すように、被写体３２が画像３０の中心より右方向２０２へ移動して、画像３０の動きベクトルが右方向に有力に移動していると判断したときには、図５に示すように、左の音量３４より右の音量３６を大きくさせる。また、これとは逆に、図６に示すように、被写体３２が画像の中心より左方向２０４へ移動して、画像３０の動きベクトルが左方向に有力に移動していると判断したときには、図７に示すように、右の音量３４より左の音量３６を大きくさせる。これらのように、被写体３２が図４または図６に示すように移動するとき、この移動方向と逆側の音量を小さくさせてもよい。これらの左右の音量３４および３６は徐々に変化させるとより臨場感が増す。さらに、被写体３２が移動している状態から停止している状態になり、画像３０の動きベクトルの有力な移動が減少してなくなったと判断したときには、左右の音量３４および３６を標準状態に徐々に移行させてもよい。
【００２２】
音声情報演算部１８では、上述のように左右の音量を変化させるように調整量が求められ、また、この調整量を示す情報信号１０６が生成されて音声信号前処理部２４に供給される。
【００２３】
音声信号前処理部２４における左音声信号増幅器２１および右音声信号増幅器２３において、この情報信号１０６で表わされる調整量は、それぞれ左ゲインおよび右ゲインを調整し、前述において供給されたアナログ左音声信号１０８およびアナログ左音声信号１１０は、これらの左ゲインおよび右ゲインによりそれぞれ増幅または減衰されることによって、そのバランスが調整され、左音声信号１０９および右音声信号１１１が生成される。
【００２４】
これらの左右の音声信号１０９および１１１は、アナログ・ディジタル変換器２５に供給されてＡ／Ｄ変換処理され、それぞれディジタル左音声信号１１２およびディジタル右音声信号１１４が生成される。さらに、これら左右のディジタル音声信号１１２および１１４は、信号処理部１６に供給される。
【００２５】
ディジタル画像信号１０３、ならびにディジタル左音声信号１１２およびディジタル音声信号１１４は、信号処理部１６においてさらにディジタル信号処理が施され、本実施例では、情報記録媒体２６に記録可能な記録信号１１６が生成され、情報記録媒体２６に記録される。
【００２６】
【発明の効果】
このように本発明によれば、画像音声記録装置は、動画を撮影する際に、画像の動きベクトルに応じて音量の左右のバランスが変化するように移動感を強調した音声信号を生成することができる。本装置は、たとえばビデオカメラなどに有効に適用され、この音声をステレオ記録して、臨場感のある画像および音声を記録することができる。
【００２７】
有利には、画像信号の動きベクトルの水平方向成分より画像の左右の有力な動きを判断し、この判断結果に応じて左右の音声信号を調整することにより、被写界の左右の移動感を強調させた音声信号を生成することができる。このとき、左右の音量を徐々に変化させるように調整して音声信号を生成すると、さらに臨場感のある音声を記録することができる。
【００２８】
また、このようにして記録された画像および音声は、臨場感を表わすことができない再生装置を用いても、臨場感のある音声を表わすことができる。
【００２９】
本発明は、完全な動画だけでなく、スチル動画（スチルムービー）や連写により撮影した画像のように複数の連続した静止画に合わせて音声を記録する場合にも有効に適用することができる。
【図面の簡単な説明】
【図１】本発明に係る画像音声記録装置の一実施例を示すブロック図である。
【図２】図１に示す実施例の画像音声記録装置において、画像に有力な移動方向がないと判断された被写界像の例を示す説明図である。
【図３】図１に示す実施例の画像音声記録装置において、画像に有力な移動方向がないと判断されたときの左右の音量バランスを示す、図２に対応した説明図である。
【図４】図１に示す実施例の画像音声記録装置において、画像が右方向へ有力に移動していると判断された被写界像の例を示す説明図である。
【図５】図１に示す実施例の画像音声記録装置において、画像が右方向へ有力に移動していると判断されたときの左右の音量バランスを示す、図４に対応した説明図である。
【図６】図１に示す実施例の画像音声記録装置において、画像が左方向へ有力に移動していると判断された被写界像の例を示す説明図である。
【図７】図１に示す実施例の画像音声記録装置において、画像が左方向へ有力に移動していると判断されたときの左右の音量バランスを示す図６に対応した説明図である。
【符号の説明】
１０　画像音声記録装置
１２　光学レンズ系
１４　撮像部
１５　アナログ・ディジタル変換器
１６　信号処理部
１７　動きベクトル検出部
１８　音声情報演算部
２０　左マイクロフォン
２１　左音声信号増幅器
２２　右マイクロフォン
２３　右音声信号増幅器
２４　音声信号前処理部
２５　アナログ・ディジタル変換器
２６　情報記録媒体
２７　メモリバッファ

Claims

被写界を撮像して該被写界を表わす画像信号を形成する撮像部と、
前記被写界の音声を集音して音声信号を形成する複数のマイクロフォンとを含み、
該複数のマイクロフォンは、前記被写界の左側の音声を集音して第１の左音声信号を形成する左マイクロフォンと、前記被写界の右側の音声を集音して第１の右音声信号を形成する右マイクロフォンとを含む画像音声記録装置において、該画像音声記録装置は、
前記画像信号から動きベクトルを検出する検出手段と、
前記動きベクトルに応じて左右の音量バランスが変わるように、第１の左音声信号および第１の右音声信号を調整して、それぞれ対応する第２の左音声信号および第２の右音声信号を形成する調整手段とを含み、
該調整手段は、前記動きベクトルから判断して、画像の有力な移動方向の音量が大きくなるように調整することを特徴とする画像音声記録装置。
請求項１に記載の画像音声記録装置において、前記調整手段は、左右の音量バランスは徐々に変わるように第１の左音声信号および第１の右音声信号を調整することを特徴とする画像音声記録装置。
請求項１または２に記載の画像音声記録装置において、前記調整手段は、有力な移動方向と逆側の音量は小さくなるように第１の左音声信号および第１の右音声信号を調整することを特徴とする画像音声記録装置。
請求項１ないし３のいずれかに記載の画像音声記録装置において、前記調整手段は、前記動きベクトルの水平方向成分に応じて、第１の左音声信号および第１の右音声信号を調整することを特徴とする画像音声記録装置。
請求項１ないし４のいずれかに記載の画像音声記録装置において、前記調整手段は、画像に有力な移動方向がないときには左右の音量が同じ音量になるように第１の左音声信号および第１の右音声信号を調整することを特徴とする画像音声記録装置。
請求項１ないし５のいずれかに記載の画像音声記録装置において、前記調整手段は、画像が左方向に有力に移動しているときには左の音量が大きくなるように、また、画像が右方向に有力に移動しているときには右の音量が大きくなるように第１の左音声信号および第１の右音声信号を調整することを特徴とする画像音声記録装置。
請求項１ないし５のいずれかに記載の装置において、該装置は、前記画像信号、第２の左音声信号および第２の右音声信号を信号処理して記録媒体に記録するビデオカメラであることを特徴とする画像音声記録装置。