JP2008048374A

JP2008048374A - ビデオカメラ装置

Info

Publication number: JP2008048374A
Application number: JP2006279811A
Authority: JP
Inventors: Yoshio Ezure; 美穂江連
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-07-21
Filing date: 2006-10-13
Publication date: 2008-02-28

Abstract

【課題】花火の開花から遅延して到着する炸裂音と開花画像とを同期した花火の映像信号として記録、再生出来るようにしたビデオカメラ装置を実現する
【解決手段】撮影する被写体の大きさを設定する操作設定部３１、３２と、レンズのズーム倍率を検出するズーム比検出部３３と、操作設定部で設定された被写体の大きさとズーム比検出部で検出されたズーム倍率との関係から被写体までの距離を求め、その距離により生じる音声の遅延時間を算出する遅延時間算出部３４、３５と、被写体を撮影して得られる画像信号を記憶する画像記憶部２４と、記憶された画像信号を、遅延時間算出部で求められた遅延時間だけ遅延した遅延画像信号として読みだす画像読出し部２５と、音声信号と遅延画像信号とを記録媒体に記録する記録部２７とを備えて構成した。
【選択図】図１

Description

本発明は、撮影して得られる動画信号及びその動画信号に付随する音声信号を媒体に記録して再生するビデオカメラ装置に関する。

最近になり、画像信号及び画像信号に付随する音声信号を符号化して媒体に記録する所謂ＤＶ（Digital Video）も製品化されるようになってきた。ディジタル化された画像信号や音声信号は記録媒体の非直線性歪の影響を受けることなく、高画質、高音質の信号として媒体に記録できる。
一方、ビデオカメラ装置に搭載される撮像用レンズのズーム特性も高品質化され、光学１０倍ズームはもとより光学２０倍以上の鮮明な拡大画像の撮像も可能である。遠方にある被写体をすぐ近くにある被写体として撮影できる。
ところで、光速は毎秒３０万ｋｍであるのに比し音速は毎秒３４０ｍ程度でしかない。高性能の望遠レンズを用いて撮影した画像は、被写体が近くに存在するように撮影できるものの音声は遅れて受音される。画像に比して音声が遅れてしまう。所謂リップシンクが取れなくなり、映像に違和感が感じられる。遠距離の被写体を撮像した画像に付随する音声は画像の動きに同期され、リップシンクが取られている映像として撮影、記録され、再生できることが好ましい。

特許文献１には、簡単な回路構成によって動画像データと音声データとの同期を実現できるようにしたビデオカメラが開示されている。動画像と音声との記録時に、音声フレームに対応する画像のフィールド番号とビデオエンコーダから取得した画像成分の垂直ライン位置および水平画素位置とを音声フレームに付加する。再生時には、再生する音声フレームから取り出した画像フィールド番号情報、垂直ライン位置情報および水平画素位置情報と、現在再生している画像のフィールド番号、垂直ライン位置および水平画素位置とから音声と画像との同期のズレを算出し、このズレが許容範囲を超える場合に、画像を一時停止するかもしくは画像をスキップするようにして音声と画像の同期ズレを修正するようにしたビデオカメラが開示されている。
特開２００５−１１７４００号公報

しかしながら、特許文献１に開示されているビデオカメラでは、動画像データと音声データとの同期を簡単な回路構成により実現し、撮影する被写体の画像と音声とが同期関係にある場合は同期された映像を再生することは可能であるものの、例えば花火のように音声が画像から遅延して受音される場合には、開花する花火の画像とその開花画像に同期した炸裂音とを記録したり、開花画像と炸裂音とを同期して再生するようにしたビデオカメラ装置を実現することはできない。

そこで、本発明は、上記のような問題点を解消するためになされたもので、被写体が例えば花火であり、開花してから遅延して到着する炸裂音を開花画像に同期した音声として再生することを可能とするなど、ズームアップ撮影時に近距離画像として得られる画像と、遠距離被写体から到来する遅延音声に対して、再生時には画像と音声との同期が保れた映像信号としての同期再生を可能とするビデオカメラ装置を提供することを目的とする。

本願発明における第１の発明は、被写体から発せられる音を収音して音声信号に変換して出力する収音用マイクロフォンと、前記被写体から発せられる光を被写体画像として検出した後、光電変換して画像信号を出力する撮像素子と、前記収音用マイクロフォンに近接配置され、前記被写体から発せられる光を前記撮像素子に結像するズームレンズと、を備えたビデオカメラ装置において、前記被写体画像が前記撮像素子の撮像範囲内に入るようにズームイン又はズームアウトする操作部と、前記撮像素子の撮像範囲内の前記被写体画像のサイズを検出する画像検出部と、前記ズームイン又は前記ズームアウトした時のズーム比を検出するズーム比検出部と、前記画像信号を一時記憶する一時記憶部と、前記被写体のサイズ、前記画像検出部で検出された前記被写体画像のサイズ及び前記ズーム比検出部で検出されたズーム比に基づいて、前記ズームレンズから前記被写体までの距離を求め、この求められた距離と前記音の速度とから前記被写体から前記収音用マイクロフォンまでの音の伝達時間を算出する伝達時間算出部と、前記一時記憶部に一時記憶された前記画像信号を前記音の伝達時間だけ遅延させて読み出し、前記音声信号に時間同期させた遅延画像信号として出力する画像読出し部と、前記画像読み出し部で読み出された前記遅延画像信号を前記音声信号と共に記録媒体に記録させる記録部と、を備えたことを特徴とするビデオカメラ装置を提供する。
第２の発明は、前記収音用マイクロフォンから出力される音声信号のうち、前記画像信号に時間同期して前記記録媒体に記録される前記音声信号を第１音声信号とし、前記画像信号に時間同期しないで前記記録媒体に記録される前記音声信号を第２音声信号とするとき、前記第１音声信号と前記第２音声信号とを分離する音源分離部と、前記第２音声信号を前記伝達時間だけ遅延させて前記画像信号に時間同期させた遅延音声信号を生成する音声遅延部と、前記音声信号を前記第１音声信号と前記遅延音声信号とに置き換えて前記記録媒体に記録させる記録部と、を備えたことを特徴とするビデオカメラ装置を提供する。
第３の発明は、被写体から発せられる音を収音して音声信号に変換して出力する収音用マイクロフォンと、前記被写体から発せられる光を被写体画像として検出した後、光電変換して画像信号を出力する撮像素子と、前記収音用マイクロフォンに近接配置され、前記被写体から発せられる光を前記撮像素子に結像するズームレンズと、を備えたビデオカメラ装置において、前記被写体画像が前記撮像素子の撮像範囲内に入るようにズームイン又はズームアウトする操作部と、前記撮像素子の撮像範囲内の前記被写体画像のサイズを検出する画像検出部と、前記ズームイン又は前記ズームアウトした時のズーム比を検出するズーム比検出部と、前記被写体のサイズ、前記画像検出部で検出された前記被写体画像のサイズ及び前記ズーム比検出部で検出されたズーム比に基づいて、前記ズームレンズから前記被写体までの距離を求め、この求められた距離と前記音の速度とから前記被写体から前記収音用マイクロフォンまでの音の伝達時間を算出する伝達時間算出部と、前記音声信号をパケット化してタイムスタンプを付したパケット化音声信号を生成するパケット化音声信号生成部と、前記パケット化音声信号生成部で生成されたパケット化音声信号に付されるタイムスタンプで示される発音時刻に前記伝達時間算出部で算出された伝達時間を加算した時刻を表示時刻として示すタイムスタンプを付したパケット化画像信号を生成するパケット画像化信号生成部と、前記パケット画像化信号生成部で生成されたパケット化画像信号と前記パケット化音声信号生成部で生成されたパケット化音声信号とを共に記録媒体に記録させる記録部と、を備えたことを特徴とするビデオカメラ装置を提供する。

本発明によれば、被写体画像が撮像素子の撮像範囲内に入るようにズームイン又はズームアウトする操作部と、撮像素子の撮像範囲内の被写体画像のサイズを検出する画像検出部と、ズームイン又はズームアウトした時のズーム比を検出するズーム比検出部と、画像信号を一時記憶する一時記憶部と、被写体のサイズ、画像検出部で検出された被写体画像のサイズ及びズーム比検出部で検出されたズーム比に基づいて、ズームレンズから被写体までの距離を求め、この求められた距離と音の速度とから被写体から収音用マイクロフォンまでの音の伝達時間を算出する伝達時間算出部と、一時記憶部に一時記憶された画像信号を音の伝達時間だけ遅延させて読み出し、音声信号に時間同期させた遅延画像信号として出力する画像読出し部と、画像読み出し部で読み出された遅延画像信号を音声信号と共に記録媒体に記録させる記録部と、を備える格別な構成があるので、被写体が例えば花火であり、開花してから遅延して到着する炸裂音を開花画像に同期した音声として再生することを可能とするなど、ズームアップ撮影時に近距離画像として得られる画像と、遠距離被写体から到来する遅延音声に対して、再生時には画像と音声との同期が保れた映像信号としての同期再生を可能とするビデオカメラ装置を実現できる。

以下に本発明の実施例に係るビデオカメラ装置について図１〜図１０を用いて説明する。
図１は、本発明の実施に係るビデオカメラ装置の構成例を示すブロック図である。図２は、本発明の実施に係るビデオカメラ装置の要部の動作例を説明するための図である。図３は、本発明の実施に係るビデオカメラ装置の動作例をフローチャートで示した図である。図４は、本発明の第１の応用実施に係るビデオカメラ装置の構成例を示すブロック図である。図５は、本発明の第１の応用実施に係るビデオカメラ装置の動作例における音声フレームと画像フィールドの関係を示す図である。図６は、本発明の第１の応用実施に係る音声フレームデータの構成例を示す図である。図７は、本発明の第１の応用実施に係る音声フレーム管理データの構成例を示す図である。図８は、本発明の第１の応用実施に係るビデオカメラ装置の動作例をフローチャートで示した図である。図９は、本発明の第２の応用実施に係るビデオカメラ装置の構成例を示すブロック図である。図１０は、本発明の第２の応用実施に係るビデオカメラ装置の要部の動作例を説明するための図である。

そのビデオカメラ装置は、被写体が例えば花火であり、開花してから遅延して到着する炸裂音を開花画像に同期した音声として再生することを可能とするなど、ズームアップ撮影時に近距離画像として得られる画像と、遠距離被写体から到来する遅延音声に対して、再生時には画像と音声との同期が保れた映像信号としての同期再生を可能とするビデオカメラ装置を実現するという目的を、被写体画像が撮像素子の撮像範囲内に入るようにズームイン又はズームアウトする操作部と、撮像素子の撮像範囲内の被写体画像のサイズを検出する画像検出部と、ズームイン又はズームアウトした時のズーム比を検出するズーム比検出部と、画像信号を一時記憶する一時記憶部と、被写体のサイズ、画像検出部で検出された被写体画像のサイズ及びズーム比検出部で検出されたズーム比に基づいて、ズームレンズから被写体までの距離を求め、この求められた距離と音の速度とから被写体から収音用マイクロフォンまでの音の伝達時間を算出する伝達時間算出部と、一時記憶部に一時記憶された画像信号を音の伝達時間だけ遅延させて読み出し、音声信号に時間同期させた遅延画像信号として出力する画像読出し部と、画像読み出し部で読み出された遅延画像信号を音声信号と共に記録媒体に記録させる記録部とを備えるようにして実現した。

ビデオカメラ装置の構成について述べる。
図１に示すビデオカメラ装置１はマイクロフォン１１、ＡＤ変換器（ＡＤＣ）１２、メモリ１３、音声読出し部１４、レンズ２１、ＣＣＤ（Charge Coupled Device）２２、ＡＤ変換器２３、画像検出部２３ａ、メモリ２４、画像読出し調整部２５、符号化復号化部２６、記録再生部２７、ＤＡＣ（digital-to-analog converter）２８、２９、操作部３１、制御部３２、ズーム比検出部３３、距離検出部３４、遅延時間計算部３５、スピーカ４１、及びモニタ４２より構成される。
図４に第１応用構成例として示したビデオカメラ装置１ａは、図１に示したビデオカメラ装置１に比し、ＴＳ（Transport Stream）生成部３６及びＴＳ付加部３７を多く備える一方、メモリ１３、音声読出し部１４、メモリ２４、及び画像読出し調整部２５を備えていない点で異なっている。
図９に第２応用構成例として示したビデオカメラ装置１ｂは、図１に示したビデオカメラ装置１に比し、マイクロフォン１１、ＡＤ変換器１２、及びメモリ１３の代わりに２つの受音素子を有するマイクロフォン１１ａ、２つの信号を変換するＡＤ変換器１２ａ、２系統のオーディオ信号を記憶するメモリ１３ａ、及び音源分離部１５を備えている点で異なっている。

ビデオカメラ装置の動作について述べる。
まず、花火大会の映像を撮影する使用者は、ビデオカメラ装置１の操作部３１を操作し、被写体の撮影モードを花火大会に設定する。やがて花火大会がスタートし、使用者は打ち上げられた花火を撮影する。例えば、打ち上げられた尺玉（１０号玉）は高度３３０ｍの位置で開花し、開花直径は２８０ｍである。使用者は操作部３１を操作し、所定の開花直径の花火が所定の画角に収まるようにレンズ２１のズーム比を調整する。レンズ２１を介してＣＣＤ２２で撮像された画像はＡＤ変換器２３でディジタル画像とされ、画像検出部２３ａで輝度の高い部分の画素数が検出されると共にディジタル画像はメモリ２４に記憶される。やがて花火の開花時の炸裂音は音速と撮影場所までの距離で決まる時間遅延して到来する。マイクロフォン１１で受音された炸裂音はＡＤ変換器１２でディジタルオーディオ信号に変換され、メモリ１３に記憶される。ズーム比検出部３３は使用者により操作されたレンズ２１のズーム比、即ちレンズ２１の焦点距離を求める。ここで、画像検出部２３ａで検出される所定の画角で撮影されたＣＣＤ２２上の花火半径の大きさをＭ、撮影時のレンズ２１の焦点距離がｆであるとすると、開花半径Ｗと花火の炸裂点までの距離ｄは式（１）により求められる。
ｄ＝Ｗ×ｆ／Ｍ式（１）
距離検出部３４は、Ｗを１４０ｍとする場合に、焦点距離ｆ及び画像検出部２３ａで検出されるＣＣＤ２２上の花火の大きさＬを用いて距離ｄを求める。

遅延時間計算部３５は求められた距離ｄを音速３４０ｍで除し、炸裂音が受音されるまでの遅延時間を求める。画像読出し調整部２５はメモリ２４に記憶されたディジタル画像を、遅延時間計算部３５で求められた遅延時間分だけ遅延させて読みだす。ＤＡＣ２９はディジタル画像をアナログ画像に変換する。モニタ４２はアナログ画像を表示する。
音声読出し部１４はメモリ１３に記憶されたディジタルオーディオ信号を、直ちに読みだす。ＤＡＣ２８はディジタルオーディオ信号をオーディオ信号（アナログオーディオ信号）に変換する。スピーカ４１はオーディオ信号を発音する。
モニタ４２に表示されるアナログ画像は、遅延して受音されるオーディオ信号と共に表示される。符号化復号化部２６は同期関係にあるディジタル画像とディジタルオーディオ信号とを所定の方式により符号化する。記録再生部２７は符号化されたディジタル画像及びディジタルオーディオ信号を記録媒体に記録する。記録媒体は、例えばＤＶＣカセット、ハードディスク、ＤＶＤ、乃至はＢＤなどを用いる。

次に、詳細に説明する。
図２を参照して花火までの距離の測定方法について述べる。
同図において、開花した花火５と、レンズ２１及びＣＣＤ２２を備えるビデオカメラ装置１との位置関係を模写的に示している。ＣＣＤ２２中に破線で示す楕円は撮像素子上に投影された花火の結像イメージ２２ａである。花火５の半径Ｗ、花火の結像イメージ２２ａの半径Ｍ、レンズ２１の焦点距離ｆ、及びレンズ２１から花火５までの距離ｄには次の関係がある。
Ｍ：ｆ＝Ｗ：ｄ
この関係から上記の
ｄ＝Ｗ×ｆ／Ｍ式（１）
が求められる。

さらに、レンズ２１の焦点距離がｆの場合にＣＣＤ２２で撮影可能な視野の半値角をθとし、距離ｄにおける撮影可能な距離の半値をＶとすると、ｔａｎθ＝Ｖ／ｄである。ＣＣＤ２２に結像されるイメージの半値幅をＬとすると、ｔａｎθ＝Ｌ／ｆである。
Ｌに対するＭの比率をｒとするとｒ＝Ｍ／Ｌである。
式（１）にＭ＝ｒＬを代入すると式（２）が得られる。
ｄ＝Ｗ×ｆ／（ｒ×Ｌ）式（２）
式（１）がＣＣＤ２２に結像されるイメージの幅を基に距離ｄを算出したのに比し、式（２）は花火である被写体が画面の幅に比率ｒで撮影されている場合に、その比率ｒを用いて距離ｄを検出する点で異なっている。距離の算出に式（１）、（２）のいずれを用いるかは設計事項である。

図３を参照し、ビデオカメラ装置１の処理の流れについて説明する。
Ｓ（ステップ）６１において、マイクロフォン１１で収音した音声データとレンズ２１を介してＣＣＤ２２で撮像して得られた画像データとをメモリ１３、２４に記憶する。Ｓ６２で、距離検出部３４は予め設定された花火の開花直径、レンズ２１のズーム比に係る焦点距離、及びＣＣＤ２２に撮像される花火の大きさを基に花火までの距離を検出する。Ｓ６３で距離検出部３４は検出された距離を音速で除し、到来する音声の遅延時間を求める。Ｓ６４で音声読出し部１４はメモリ１３に記憶した音声データを遅延時間なく読み出すと共に画像読出し調整部２５はメモリ２４に記憶された画像データを音声の遅延時間分だけ遅延して読みだす。Ｓ６５で音声データがスピーカ４１により再生され、遅延された画像データがモニタ４２に表示される。Ｓ６６で画像は音声よりも早いかを検出する。画像が音声よりも早い場合は花火会場をより大きな会場に設定しＳ６１からの流れを繰り返す。Ｓ６６で画像が音声よりも早いとして検出されない場合はＳ６８で画像は音声よりも遅いかが検出される。画像は音声よりも遅いとして検出された場合は花火会場をより小さな会場に設定しＳ６１からの流れを繰り返す。Ｓ６８で画像は音声よりも遅いとして検出されなかった場合は、Ｓ７１で音声と画像を符号化し記録媒体に記録する。Ｓ７２で花火映像の記録を終えるとして検出されない場合はＳ６１からのフローを繰り返し、終えるとして検出された場合は花火映像の撮影を終了する。

ここで、打ち上げられた花火が例えば１０号玉より小さな７号玉である場合がある。花火会場は打ち上げ場所の環境により打ち上げ可能な玉の大きさが定められている。７号玉以下と定められている打ち上げ会場では７号玉が主に打ち上げられる。７号玉の開花直径は約２００ｍであり、１０号玉の約７割である。距離検出部はＷを１００ｍとして距離ｄを求める必要がある。上記の操作部３１を操作してなされる被写体のモード設定を、花火大会の会場を例えば大、中、小としてランク分けすることにより、その花火会場における距離ｄの測定精度を向上させることが出来る。花火会場のランク分けをさらに細かくすることにより、距離ｄの測定精度を高めるようにしても良い。

また、Ｓ６６やＳ６８における画像が音声よりも早いか又は遅いかの検出は使用者により判定するとして述べた。ビデオカメラ装置１の制御部３２に音声の遅延時間の判定を行わせるようにしても良い。制御部３２により行う音声遅延時間の判定は、まず花火の開花により画像の輝度レベルの上昇した時刻と、音声に含まれる炸裂音との時間の進み又は遅れを検出する。検出される信号には、複数の花火が開花する場合は複数の輝度レベルの上昇、及び複数の炸裂音が存在する。輝度レベルの上昇に係る輝度パターンの波形と、炸裂音による音声レベルの上昇に係る音声レベルパターンの両者を一致させるための遅延時間を時間軸上で比較しながら求めるようにし、画像と音声との同期の取れた映像信号として得るための遅延時間を求めるようにする。

以上のように、本実施例で示したビデオカメラ装置１によれば、被写体画像が撮像素子の撮像範囲内に入るようにズームイン又はズームアウトする操作部３１と、撮像素子の撮像範囲内の被写体画像のサイズを検出する画像検出部２３ａと、ズームイン又はズームアウトした時のズーム比を検出するズーム比検出部３３と、画像信号を一時記憶する一時記憶部２４と、被写体のサイズ、画像検出部で検出された被写体画像のサイズ及びズーム比検出部で検出されたズーム比に基づいて、ズームレンズから被写体までの距離を求め、この求められた距離と音の速度とから被写体から収音用マイクロフォンまでの音の伝達時間を算出する伝達時間算出部３５と、一時記憶部に一時記憶された画像信号を音の伝達時間だけ遅延させて読み出し、音声信号に時間同期させた遅延画像信号として出力する画像読出し部２５と、画像読み出し部で読み出された遅延画像信号を音声信号と共に記録媒体に記録させる記録部２７とを備える格別な構成があるので、被写体が例えば花火であり、開花してから遅延して到着する炸裂音を開花画像に同期した音声として再生することを可能とするなど、ズームアップ撮影時に近距離画像として得られる画像と、遠距離被写体から到来する遅延音声に対して、再生時には画像と音声との同期が保れた映像信号としての同期再生を可能とするビデオカメラ装置を実現できる。
≪第１応用実施例≫

図４を参照して第１応用実施例であるビデオカメラ装置１ａについて述べる。図１に示したと同じ機能部分については同一の符号を付し、説明を省く。
図１に示すビデオカメラ装置１はメモリ２４に記憶した画像データを遅延して読み出すのに比し、図４に示すビデオカメラ装置１ａは、記録再生部２７に記録した画像を遅延時間計算部３５で求められた時間だけ遅延させて読み出させようとするものである。撮影時に音声は遅延されてモニタされるが記録再生部２７で記録した映像信号を再生する場合には花火の開花に同期した炸裂音を再生させるものである。

図４において、ＡＤ変換器１２から出力される音声データ及びＡＤ変換器２３から出力される画像データのそれぞれは符号化復号化部２６で符号化される。ＴＳ付加部３７は符号化された符号化信号の復号化開始に係る時刻ＤＴＳ（Decoding Time Stamp）、及び復号化して得られた画像の表示時刻、音声の発音時刻に係るＰＴＳ（Presentation Time Stamp）信号を生成する。音声データのＤＴＳ及びＰＴＳの時刻は通常の時刻として生成し、画像データのＤＴＳ及びＰＴＳの時刻は遅延時間計算部３５で求められた時間だけ遅延して再生するための時刻として生成する。操作部３１を操作し、撮影する被写体を花火に設定して撮影した場合は花火の炸裂音に同期して開花する花火の開花映像を再生することができる。この場合は、上記の制御部３２により音声と画像との同期状態を得るための自動化された時間合わせは好適な再生用映像信号としての記録を行う。

図５〜図７を参照して遅延した画像を再生させるためのタイムスタンプの付加についてさらに述べる。
図５は、記録媒体に音声データ及び画像データを記録する場合のそれぞれのデータ分割方法について示したものである。音声データは１０．５ミリ秒を１フレームとし、それぞれのフレームにはフレーム番号を付して記録する。画像データは１フィールドのデータを１６．６ミリ秒ごとの画像フィールドとして記録媒体に記録する。音声フレームと画像フィールドとは異なる区間の信号として記録している。異なる区間の画像及び音声を同期再生するためにタイムスタンプを用いる。

図６（Ａ）は音声フレームの構成を示したものである。各音声フレームは音声データヘッダ、フレーム番号情報、及び音声データより構成される。音声データヘッダには再生時の時刻を表す５バイトのデータであるプレゼンテーションタイムスタンプ（［３２．．３０］、マークビット１、［２９．．１５］、マークビット１、［１４．．０］）を含んで記述される。音声データは、例えば２チャンネルのＰＣＭ信号で記録される。図６（Ｂ）は画像フィールドの構成を示したものである。各画像フィールドは画像データヘッダ、フィールド番号情報、及び画像データより構成される。画像データヘッダには音声データヘッダと同様にプレゼンテーションタイムスタンプが含まれて記述される。画像データは、例えば１フィールドごとの画像が圧縮符号化されて記録される。

図７は画像データを遅延して表示させるための管理情報の記述例である。管理情報はフィールド番号１〜Ｐと遅延表示のための時間を示す５バイトの時間情報Ｔ１〜Ｔｐとして記述される。画像データに付されるプレゼンテーションタイムスタンプ（ＰＴＳ）は遅延して収音された音声データと同期再生する画像データのＰＴＳ情報として記述される。従って、撮影時の、遅延しない画像データとしての表示を行う場合には画像データのＰＴＳから遅延表示時間減算して新たな画像データ用ＰＴＳを生成すればよい。

図８を参照し、ビデオカメラ装置１ａの再生動作の流れについて述べる。
まずＳ８１で、操作部３１の再生ボタンが操作され、制御部３２で生成された制御信号により記録再生部２７は記録媒体に記録した符号化画像データ及び符号化音声データをデコーダタイムスタンプに従って再生する。Ｓ８２で、符号化復号化部２６は再生された符号化画像データ及び符号化音声データを復号化して画像データ及び音声データを得る。Ｓ８３で内部タイマーの時刻情報に従い、音声ＰＴＳに従った音声データをＤＡＣ２８を介して出力すると共に、画像ＰＴＳに従った画像データをＤＡＣ２９を介して出力する。Ｓ８４で映像の再生を終えるための停止ボタンの操作が検出されない場合はＳ８５で映像は音声よりも遅れているかを検出する。それは、花火以外の被写体を花火モードで撮影し、花火モードで再生した場合に生じる遅延画像を検出するステップである。画像が遅くない場合はＳ８１からの動作を継続し、画像が遅れている場合にはＳ８６で画像の遅延処理を中止し、元の状態に戻す操作がなされるかを検出する。操作がなされない場合はＳ８１からの流れを繰り返す。Ｓ８６で元の状態に戻す操作が検出された場合はＳ８７で、画像データのＰＴＳの値から図７に示した管理情報として記述される遅延表示のための時間を減算して新たな画像データ用のＰＴＳを生成する。新たなＰＴＳを用いて再生動作を行う。即ち、記録再生部２７は、符号化画像データに付されるＰＴＳよりも管理情報として記述される遅延表示の時間だけ先行させることにより遅延を伴わない符号化画像データを再生する。

以上、画像データに付すＰＴＳ値を花火の炸裂音が遅延して到達する時間分だけ遅延したＰＴＳ値として記録し、花火の開花画像と炸裂音を同期して再生するビデオカメラ装置１ａについて述べた。画像の再生制御を行うためにＰＴＳ値を用いる制御について述べたが、符号化された画像データの復号化を開始させるためのＤＴＳ（デコーダタイムスタンプ）についても同様の遅延時間処理を行う。
また、ＰＴＳやＤＴＳを符号化画像データと共に画像データと共に記録媒体に記録するとして述べた。その記録領域は補助データ記録領域、又は記録媒体以外の例えば半導体記憶素子に記憶するようにしても良い。

以上のように、本実施の第１応用例で示したビデオカメラ装置１ａによれば、被写体画像が撮像素子の撮像範囲内に入るようにズームイン又はズームアウトする操作部３１と、撮像素子の撮像範囲内の被写体画像のサイズを検出する画像検出部２３ａと、ズームイン又はズームアウトした時のズーム比を検出するズーム比検出部３３と、被写体のサイズ、画像検出部で検出された被写体画像のサイズ及びズーム比検出部で検出されたズーム比に基づいて、ズームレンズから被写体までの距離を求め、この求められた距離と音の速度とから被写体から収音用マイクロフォンまでの音の伝達時間を算出する伝達時間算出部３４、３５と、音声信号をパケット化してタイムスタンプを付したパケット化音声信号を生成するパケット化音声信号生成部３７と、パケット化音声信号生成部で生成されたパケット化音声信号に付されるタイムスタンプで示される発音時刻に伝達時間算出部で算出された伝達時間を加算した時刻を表示時刻として示すタイムスタンプを付したパケット化画像信号を生成するパケット画像化信号生成部３６、３７と、パケット画像化信号生成部で生成されたパケット化画像信号とパケット化音声信号生成部で生成されたパケット化音声信号とを共に記録媒体に記録させる記録部２７と、を備える格別な構成があるので、被写体が例えば花火であり、開花してから遅延して到着する炸裂音を開花画像に同期した音声として再生することを可能とするなど、ズームアップ撮影時に近距離画像として得られる画像と、遠距離被写体から到来する遅延音声に対して、再生時には画像と音声との同期が保れた映像信号としての同期再生を可能とするビデオカメラ装置を実現できる。
≪第２応用実施例≫

図９を参照して第２応用実施例であるビデオカメラ装置１ｂについて述べる。図１に示したと同じ機能部分については同一の符号を付し、説明を省く。
図１に示すビデオカメラ装置１はメモリ２４に記憶した画像データをマイクロフォン１１により収音されたオーディオ信号の炸裂音に同期させるように遅延させて読み出すのに比し、図９に示すビデオカメラ装置１ｂは、２つの受音素子を有するマイクロフォン１１ａで収音し、音源分離部１５で花火の炸裂音と撮影者の周囲音とを分離して得た後メモリ１３ａに記憶し、周囲音は所定時間遅延させて読出し炸裂音は直ちに読み出すようにする。メモリ２４に記録した画像を遅延時間計算部３５で求められた時間だけ遅延させて読み出すことにより、撮影時に遅延して到来する炸裂音を花火の開花に同期した炸裂音として読み出し、記録媒体に記録するものである。

図１０を参照し、花火の炸裂音及び撮影者の周囲音の収音についてさらに説明する。
まず、収音用マイクロフォンに対して花火の炸裂音及び撮影者の周囲音が同一方向から到来する場合について述べる。即ち、マイクロフォン１１ａを構成する受音素子１１２、受音素子１１１、撮影者の前方の周囲音である音源５１、及び花火の炸裂音である音源５２が一直線上に配列される場合である。受音素子１１１と受音素子１１２の間の距離をｋ₁、受音素子１１１と音源５１の間の距離をｌ₁、受音素子１１１と音源５２の間の距離をｌ₂とする。また、受音素子１１１及び受音素子１１２は共に単一指向性のマイクユニット、又は共に無指向性のマイクユニットを用いるものとする。

音源５１及び音源５２から発音された音のそれぞれは混合されて受音素子１１１及び１１２で受音される。受音素子１１１で受音される信号をｘ₁とし、受音素子１１２で受音される信号をｘ₂とする。ここで、受音素子１１１及び受音素子１１２の特性は同一であるとする。音源５１から発音される音と、音源５２から発音される音とのそれぞれは受音素子１１１及び１１２までの伝達距離が異なるため、受音素子１１１及び受音素子１１２では異なる混合比で受音される。
ここで、音源５１の発する音を音源位置で受音して得られる音源信号をＳ₁とし、同様に音源５２の音源位置で得られる音源信号をＳ₂とする。受音素子１１１が図の位置で音源５１及び音源５２から到来し、受音される混合信号をｘ₁とし、同様に受音素子１１２で受音して得られる混合信号をｘ₂とする。
混合信号ｘ₁及びｘ₂は、距離ｌ１、ｌ２、及びｋ１を用い、音源信号Ｓ₁、Ｓ₂の線形結合により、概念的に式（３）で記述できる。

このため、原理的に、上記の混合信号ｘ₁、ｘ₂を用い、線形変換によって音源５１、５２からの音源信号Ｓ₁、Ｓ₂に分離できる。音源分離をして得られる信号をｙ₁、ｙ₂とする。その線形変換式を式（４）に示す。

ここで、Ｃ_ij（ｉ，ｊ＝１，２）は混合信号ｘ₁、ｘ₂を用いて音源信号Ｓ₁、Ｓ₂を分離するための分離係数である。

距離ｋ₁が既知であり、距離ｌ₂は距離検出部３４で求められるため、マイクロフォン１１ａの周囲で発音する音源５１までの距離ｌ₁が例えば２ｍ前方の観客であるとして設定されれば、音源５１から発せられ受音素子１１１及び１１２で受音される音声の混合比は（ｌ₁＋ｋ₁）：ｌ₁として算出される。そこでＣ₂₁＝１と、Ｃ₂₂＝−（ｌ₁＋ｋ₁）／ｌ₁とを与え、式（３）を式（４）に代入して、式（４）の左辺のｙ₂には、以下の式（５）に示すように、音源信号Ｓ₂のみが含まれるようにして式（５）が得られる。

次に、上記の式（４）の出力信号ｙ₁と絶対値は異なるが、音源信号Ｓ₁、Ｓ₂の混合比を維持し、線形結合で表される信号を次の式（６）に示すように得ることが出来る。

式（６）のｙ₁は、新たに線形結合で表した出力信号であり、式（６）のＣ₁₂はその結合係数であり、分離係数となる。

上記の式（５）の出力信号ｙ₂には音源信号Ｓ₂のみしか含まれないため、分離係数Ｃ₁₂を調整することにより混合信号ｘ₁から音源信号Ｓ₂を除いて、音源信号Ｓ₁成分のみの式（６）の出力信号ｙ₁を得ることが出来る。
式（３）と式（６）を用いて、音源信号Ｓ₂が除かれて、音源信号Ｓ₁成分のみとなった出力信号ｙ₁を以下の式（７）に示す。

ここで、上記の音源信号Ｓ₂を除いて音源信号Ｓ₁成分のみとする方法について、分離係数Ｃ₁₂を変化させ、分離係数Ｃ₁₂毎に出力信号ｙ₁と音源信号Ｓ₂との相互相関を取り、相互相関の計算値が最も小さくなる分離係数Ｃ₁₂における出力信号を取り出す方法がある。これは、音源信号Ｓ₁と音源信号Ｓ₂との統計的独立性に基づくものである。
以上のようにして、混合信号ｘ₁、ｘ₂を用いて音源信号Ｓ₁と音源信号Ｓ₂とを分離することが出来、炸裂音である音源５２からの音声と周囲音である音源５１からの音声信号とを分離し、ＣＣＤ２２により撮影される花火の炸裂画像と収音された音源５２からの炸裂音との時間のずれを補正することが出来る。

以上、花火の観客を想定した音源５１、花火の炸裂音である音源５２、受音素子１１１、及び受音素子１１２が直線的に配置される場合の音源５１と音源５２の分離について述べた。音源分離部１５は、入力される２つの受音素子１１１及び１１２の信号を上記の式を基に演算処理して音源５１からの音と音源５２からの音とに分離して出力する。
そして、音源５２が前方に配置されるのに対して音源５１がビデオカメラ装置１ｂを囲むように配置される場合では、音源５１を指向性マイクロフォンにより、音源５２を無指向性マイクロフォンにより収音することにより両者を所定の分離された音として収音することが出来る。
音源５２は炸裂音を、音源５１はざわめき音である場合には収音された音から低域成分を多く含むインパルス的な信号を炸裂音とし、中域成分の多いランダムノイズ的な音を周囲音としてフィルター処理することにより、さらに音源５１と音源５２とを分離して得ることが出来る。音源分離部１５に、上記のフィルタ処理機能を持たせることにより炸裂音とざわめき音の分離度を改善できる。

第２応用例として示したビデオカメラ装置１ｂは、ＣＣＤ２２により撮像して得られた画像、及び音源分離部１５により分離して得られた音源５１である周囲音は遅延時間計算部３５で求められた時間だけ遅延させ、音源分離部１５により分離して得られた音源５２である炸裂音には遅延時間を与えないようにした画像及び音声信号を媒体に記録して再生させるものであり、収音用マイクロフォンから出力される音声信号のうち、画像信号に時間同期して記録媒体に記録される音声信号を第１音声信号とし、画像信号に時間同期しないで記録媒体に記録される音声信号を第２音声信号とするとき、第１音声信号と第２音声信号とを分離する音源分離部１５と、第２音声信号を伝達時間だけ遅延させて画像信号に時間同期させた遅延音声信号を生成する音声遅延部１３ａ、１４と、音声信号を第１音声信号と遅延音声信号とに置き換えて記録媒体に記録させる記録部２７とを備えたビデオカメラ装置を実現するものである。

本発明の実施に係るビデオカメラ装置の構成例を示すブロック図である。本発明の実施に係るビデオカメラ装置の要部の動作例を説明するための図である。本発明の実施に係るビデオカメラ装置の動作例をフローチャートで示した図である。本発明の第１応用実施に係るビデオカメラ装置の構成例を示すブロック図である。本発明の第１応用実施に係るビデオカメラ装置の動作例における音声フレームと画像フィールドの関係を示す図である。本発明の第１応用実施に係る音声フレームデータの構成例を示す図である。本発明の第１応用実施に係る音声フレーム管理データの構成例を示す図である。本発明の第１応用実施に係るビデオカメラ装置の動作例をフローチャートで示した図である。本発明の第２応用実施に係るビデオカメラ装置の構成例を示すブロック図である。本発明の第２応用実施に係るビデオカメラ装置の要部の動作例を説明するための図である。

符号の説明

１、１ａ、１ｂビデオカメラ装置
１１、１１ａマイクロフォン
１２、１２ａ、２３ＡＤ変換器
１３、１３ａ、２４メモリ
１４音声読出し部
１５音源分離部
２１レンズ
２２ＣＣＤ
２３ａ画像検出部
２５画像読出し調整部
２６符号化復号化部
２７記録再生部
２８、２９ＤＡＣ
３１操作部
３２制御部
３３ズーム比検出部
３４距離検出部
３５遅延時間計算部
３６ＴＳ生成部
３７ＴＳ付加部
４１スピーカ
４２モニタ
５１、５２音源
１１１、１１２受音素子

Claims

被写体から発せられる音を収音して音声信号に変換して出力する収音用マイクロフォンと、前記被写体から発せられる光を被写体画像として検出した後、光電変換して画像信号を出力する撮像素子と、前記収音用マイクロフォンに近接配置され、前記被写体から発せられる光を前記撮像素子に結像するズームレンズと、を備えたビデオカメラ装置において、
前記被写体画像が前記撮像素子の撮像範囲内に入るようにズームイン又はズームアウトする操作部と、
前記撮像素子の撮像範囲内の前記被写体画像のサイズを検出する画像検出部と、
前記ズームイン又は前記ズームアウトした時のズーム比を検出するズーム比検出部と、
前記画像信号を一時記憶する一時記憶部と、
前記被写体のサイズ、前記画像検出部で検出された前記被写体画像のサイズ及び前記ズーム比検出部で検出されたズーム比に基づいて、前記ズームレンズから前記被写体までの距離を求め、この求められた距離と前記音の速度とから前記被写体から前記収音用マイクロフォンまでの音の伝達時間を算出する伝達時間算出部と、
前記一時記憶部に一時記憶された前記画像信号を前記音の伝達時間だけ遅延させて読み出し、前記音声信号に時間同期させた遅延画像信号として出力する画像読出し部と、
前記画像読み出し部で読み出された前記遅延画像信号を前記音声信号と共に記録媒体に記録させる記録部と、
を備えたことを特徴とするビデオカメラ装置。
前記収音用マイクロフォンから出力される音声信号のうち、前記画像信号に時間同期して前記記録媒体に記録される前記音声信号を第１音声信号とし、前記画像信号に時間同期しないで前記記録媒体に記録される前記音声信号を第２音声信号とするとき、前記第１音声信号と前記第２音声信号とを分離する音源分離部と、
前記第２音声信号を前記伝達時間だけ遅延させて前記画像信号に時間同期させた遅延音声信号を生成する音声遅延部と、
前記音声信号を前記第１音声信号と前記遅延音声信号とに置き換えて前記記録媒体に記録させる記録部と、
を備えたことを特徴とする請求項１記載のビデオカメラ装置。
被写体から発せられる音を収音して音声信号に変換して出力する収音用マイクロフォンと、前記被写体から発せられる光を被写体画像として検出した後、光電変換して画像信号を出力する撮像素子と、前記収音用マイクロフォンに近接配置され、前記被写体から発せられる光を前記撮像素子に結像するズームレンズと、を備えたビデオカメラ装置において、
前記被写体画像が前記撮像素子の撮像範囲内に入るようにズームイン又はズームアウトする操作部と、
前記撮像素子の撮像範囲内の前記被写体画像のサイズを検出する画像検出部と、
前記ズームイン又は前記ズームアウトした時のズーム比を検出するズーム比検出部と、
前記被写体のサイズ、前記画像検出部で検出された前記被写体画像のサイズ及び前記ズーム比検出部で検出されたズーム比に基づいて、前記ズームレンズから前記被写体までの距離を求め、この求められた距離と前記音の速度とから前記被写体から前記収音用マイクロフォンまでの音の伝達時間を算出する伝達時間算出部と、
前記音声信号をパケット化してタイムスタンプを付したパケット化音声信号を生成するパケット化音声信号生成部と、
前記パケット化音声信号生成部で生成されたパケット化音声信号に付されるタイムスタンプで示される発音時刻に前記伝達時間算出部で算出された伝達時間を加算した時刻を表示時刻として示すタイムスタンプを付したパケット化画像信号を生成するパケット画像化信号生成部と、
前記パケット画像化信号生成部で生成されたパケット化画像信号と前記パケット化音声信号生成部で生成されたパケット化音声信号とを共に記録媒体に記録させる記録部と、
を備えたことを特徴とするビデオカメラ装置。