JP2005117400A - ビデオカメラ - Google Patents

Abstract

【構成】 動画像と音声との記録時に、音声フレームに対応する画像のフィールド番号とビデオエンコーダ２２から取得した画像成分の垂直ライン位置および水平画素位置とを音声フレームに付加する。再生時には、再生する音声フレームから取り出した画像フィールド番号情報，垂直ライン位置情報および水平画素位置情報(同期サンプル情報)と、現在再生されている画像のフィールド番号，垂直ライン位置および水平画素位置とから音声と画像との同期のズレを算出する。そして、このズレが許容範囲を超える場合に、画像を一時停止するかもしくは画像をスキップすることによってズレを修正する。
【効果】 簡単な回路構成によって動画像データと音声データとの同期を実現できる。
【選択図】 図１

Description

この発明は、ビデオカメラに関し、特にたとえば、画像データおよび音声データを記録再生する、ビデオカメラに関する。

従来のこの種の信号処理装置の一例が、特許文献１および２に開示されている。特許文献１で開示された従来技術(１)は、ビデオ信号に付加されたタイムスタンプとオーディオ信号に付加されたタイムスタンプとの差分を求め、ディスプレイに送出する垂直帰線消去信号期間をこの差分に応じて変更し、これによってビデオ信号およびオーディオ信号の滑らかな同期再生を実現しようとするものである。

また、特許文献２で開示された従来技術(２)は、音声データの再生量を監視して求められた再生時刻と画像データに割り当てられたタイムスタンプとに基づいて、音声および画像の間で同期を確保しようとするものである。
特開平８−１４００５４号公報［Ｈ０４Ｎ ５／９３，Ｇ１１Ｂ ２０／１０］ 特開平１１−１３４８０４号公報［Ｇ１１Ｂ ２０／１０，Ｈ０４Ｎ ５／９３７，７／０８，７／０８１］

しかし、従来技術(１)では、記録時にビデオ信号およびオーディオ信号の両方にタイムスタンプを付加するため、タイムスタンプの生成に時計回路が必要となる。従来技術(２)でも、記録時に画像データにタイムスタンプを付加するため、タイムスタンプを生成するための時計回路を準備する必要がある。つまり、従来技術(１)および(２)のいずれにおいても、回路構成が複雑になるという問題がある。

それゆえに、この発明の主たる目的は、簡単な回路構成で再生画像と再生音声との同期を確保することができる、ビデオカメラを提供することである。

請求項１の発明は、イメージセンサによって撮影された被写体の動画像信号とマイクロフォンによって取り込まれた音声信号とを記録媒体に記録するビデオカメラにおいて、動画像信号を形成する各画面の静止画像信号をラスタ走査態様でモニタに向けて出力する第１画像出力手段、第１画像出力手段によって走査されている画素位置を間欠的に検出する第１検出手段、および第１検出手段によって検出された画素位置を第１検出手段による検出時点でマイクロフォンによって取り込まれた音声信号に割り当てる割り当て手段を備えることを特徴とする、ビデオカメラである。

請求項１の発明では、第１画面出力手段が動画像信号を形成する各画面の静止画像信号をラスタ走査態様でモニタに向けて出力し、第１検出手段が第１画像出力手段によって走査されている画素位置を間欠的に検出する。そして、割り当て手段が第１検出手段によって検出された画素位置を第１検出手段による検出時点でマイクロフォンによって取り込まれた音声信号に割り当てる。したがって、再生時に、音声信号に割り当てられた画素位置と現在再生(走査)されている静止画像信号の画素位置とを比較することによって再生画像と再生音声との同期を確保することができる。

請求項２の発明は、マイクロフォンによって取り込まれた音声信号の記録に先立って所定量毎の符号化処理を施す符号化手段をさらに備え、第１検出手段は所定量の音声信号が取り込まれる毎に画素位置を検出する、請求項１記載のビデオカメラである。

請求項２の発明では、符号化手段がマイクロフォンによって取り込まれた音声信号の記録に先立って所定量毎の音声信号に対して符号化処理を施し、第１検出手段は所定量の音声信号が取り込まれる毎に走査されている画素位置を検出する。したがって、音声信号が取り込まれた時点での画素位置が音声信号に割り当てられる。

請求項３の発明は、記録媒体から読み出された動画像信号を形成する各画像の静止画像信号をラスタ走査態様でモニタに向けて出力する第２画像出力手段、記録媒体から読み出された音声信号をスピーカに向けて出力する音声出力手段、音声出力手段によって出力される音声信号に割り当てられた画素位置を検出する第２検出手段、第２検出手段の検出時点で第２画像出力手段によって走査されている画素位置と第２検出手段によって検出された画素位置とのずれを判別する判別手段、および第２画像出力手段によって出力される静止画像信号の画面数を判別手段の判別結果に応じて調整する調整手段をさらに備える、請求項１または２記載のビデオカメラである。

請求項３の発明では、第２画像出力手段が記録媒体から読み出された動画像信号を形成する各画像の静止画像信号をラスタ走査態様でモニタに向けて出力し、音声出力手段が記録媒体から読み出された音声信号をスピーカに向けて出力する。第２検出手段が音声出力手段によって出力される音声信号に割り当てられた画素位置を検出する。判別手段が第２検出手段の検出時点で第２画像出力手段によって走査されている画素位置と第２検出手段によって検出された画素位置とのずれを判別する。そして、調整手段は第２画像出力手段によって出力される静止画像信号の画面数を判別手段の判別結果に応じて調整する。したがって、音声と画像との同期のずれを画素位置レベルで検出し、ずれに応じて画像の枚数を調整することによって音声と画像との同期を確保することができる。

請求項４の発明は、動画像信号は１画面ずつ符号化された状態で記録媒体に記録され、第２画像出力手段は各画面の符号化静止画像信号を復号命令に応答して復号する復号手段を含み、調整手段は復号命令の発生タイミングを制御する、請求項１ないし３のいずれかに記載のビデオカメラである。

請求項４の発明では、動画像信号は１画面ずつ符号化された状態で記録媒体に記録され、復号手段が各画面の符号化静止画像信号を復号命令に応じて復号する。そして、調整手段が復号手段に与える復号命令の発生タイミングを制御する。したがって、符号化静止画像信号の復号のタイミングを制御することによって、音声と画像との同期のずれを調整し、同期を確保することができる。

請求項５の発明は、復号手段は、復号命令に応答して復号された静止画像信号を第１メモリに書き込み、かつ第１メモリに格納された静止画像信号を所定周期で第１メモリから読み出す、請求項４記載のビデオカメラである。

請求項５の発明では、復号手段は、復号命令に応答して復号した静止画像信号をバッファである第１メモリに書き込み、第１メモリに書き込まれた静止画像信号を一定の周期で第１メモリから読み出す。第１メモリに書き込まれた静止画像信号が再生されるので、復号手段に与える復号命令の周期を第１メモリに書き込まれた静止画像信号を読み出す周期よりも短くしたり長くしたりすることによって、再生される動画像を見かけ上スキップしたり停止したりして音声との同期を調整することができる。

請求項６の発明は、調整手段は、画面数を増大させるとき復号命令の発生周期を延長し、画面数を減少させるとき復号命令の発生周期を短縮する、請求項４または５記載のビデオカメラである。

請求項６の発明では、調整手段は、画像数を増大させるとき画像の復号命令の発生周期を延長し、画面数を減少させるとき復号命令の発生周期を短縮する。つまり、復号命令の発生周期を第１メモリからの静止画像信号の読み出し周期よりも長くすると、第１メモリに記録されている静止画像信号が更新されないうちに第１メモリから静止画像信号が読み出されるので同一画像が再生されて画面数が増大する。これによって画像の表示が一時停止されて音声が画像に追いつくことができる。逆に、復号命令の発生周期を第１メモリからの静止画像信号の読み出し周期よりも短くすると、第１メモリから静止画像信号が読み出される前に第１メモリの内容が上書きされるので、第１メモリから読み出される静止画像信号は１画面分スキップされる。したがって、再生される画面数が減少する。これによって、音声に対する画像の遅れを取り戻すことができる。

請求項７の発明は、第２画像出力手段は、復号手段から出力された静止画像信号を第２メモリに書き込む書き込み手段、および第２メモリに格納された静止画像信号を読み出す読み出し手段をさらに含む、請求項４ないし６に記載のビデオカメラである。

請求項７の発明では、書き込み手段が復号手段から出力された静止画像信号をＳＤＲＡＭなどの第２メモリに書き込み、読み出し手段が第２メモリに書き込まれた静止画像信号を読み出す。こうして第２メモリに書き込まれた静止画像信号が読み出されて再生される。

請求項８の発明は、第２メモリは第１エリアおよび第２エリアを含み、書き込み手段は復号手段から出力された静止画像信号を第１エリアおよび第２エリアに交互に書き込み、読み出し手段は静止画像信号を第１エリアおよび第２エリアから交互に読み出す、請求項７記載のビデオカメラである。

請求項８の発明では、第２メモリは第１エリアおよび第２エリアを含んでいる。そして、書き込み手段は復号手段のバッファ(第１メモリ)から出力された静止画像信号を第１エリアおよび第２エリアに交互に書き込み、読み出し手段は静止画像信号を第１エリアおよび第２エリアから交互に読み出す。

請求項９の発明は、書き込み手段による書き込みと読み出し手段による読み出しとは相補的に行われる、請求項８記載のビデオカメラである。

請求項９の発明では、書き込み手段による第２メモリへの書き込みと読み出し手段による第２メモリからの読み出しとは相補的に行われる。したがって、第２メモリにおける書き込みアドレスに対する読み出しアドレスの追い越しが発生しないので再生画面にフレームのずれが出現することがない。

請求項１０の発明は、動画像信号はＭＰＥＧ４方式に従って符号化される、請求項４ないし９のいずれかに記載のビデオカメラである。

請求項１０の発明では、動画像信号はＭＰＥＧ４方式に従って符号化される。

この発明によれば、動画像データの画素位置に基づいて動画像データの再生タイミングを制御するので、時計回路を必要としないのでより簡単な回路構成によって動画像データと音声データとの同期を実現することができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１に示すこの発明の一実施例であるビデオカメラ１０は、タイムスタンプを用いることなく画像(動画)データおよび音声データの同期を確保しようとするものである。再生時に画像と音声との同期を取るために、記録時に音声データにこの音声データの入力タイミングにおいて表示されているスルー画像データのフィールド番号情報，垂直ライン位置情報および水平画素位置情報(これらを“同期サンプル情報”と呼ぶ)を付加する。そして、再生時には、音声フレームから同期サンプル情報を取り出し、取り出された同期サンプル情報と、現在再生されている画像のフィールド番号，垂直ライン位置および水平画素位置とから音声と画像との同期のずれを算出する。このずれが許容範囲を超えるときには、画像を一時停止するかもしくは画像をスキップすることによって画面数を調整してずれを修正する。

この実施例のビデオカメラ１０では、上述の構成によって画像と音声との同期をとるので、従来とは違って時計回路が必要でなく、簡単な回路構成で画像と音声との同期を実現できる。

図１を参照して、ビデオカメラ１０は、イメージセンサ１２を含む。被写界の光学像は、図示しない光学レンズを介してこのイメージセンサ１２の受光面に照射される。

オペレータが操作パネル４２に設けられたモード切換スイッチ４２ｍｄによってカメラモードを選択すると、ＣＰＵ４０によってスルー画像処理が実行される。イメージセンサ１２は被写界の生画像信号を１／３０秒ごとに出力し、ＣＤＳ／ＡＧＣ／ＡＤ回路１４は出力された生画像信号にノイズ除去，レベル調整およびＡ／Ｄ変換の一連の処理を実行する。ＣＤＳ／ＡＧＣ／ＡＤ回路１４からはディジタル信号である生画像データが出力される。信号処理回路１６は、出力された生画像データに白バランス調整，色分離，ＹＵＶ変換などの信号処理を施し、これによってＹＵＶ形式の画像データが生成される。生成された画像データは、メモリ制御回路３２によってＳＤＲＡＭ３０の伸長画像記録領域に書き込まれる。伸長画像記録領域は、ＡおよびＢの２つのバンクに区切られており、画像データの第１フレームは、まず、バンクＡに書き込まれる。１／３０秒ごとにバンクが切り換えられ、第２フレームはバンクＢに書き込まれ、第３フレームは再びバンクＡに書き込まれる。

ビデオエンコーダ２２は、ＳＤＲＡＭ３０のバンクに書き込まれた画像データを１／６０秒ごとにメモリ制御回路３２を通してプログレッシブ方式で読み出す。まずバンクＡから画像データを読み出し、次にバンクＢから画像データを読み出す。ＳＤＲＡＭ３０のバンクＡもしくはバンクＢから読み出された画像データはビデオエンコーダ２２によってコンポジットビデオ信号に変換されて６４０画素×２４０ラインのサイズに縮小される。この縮小されたコンポジットビデオ信号が疑似インタレーススキャン方式でＬＣＤ２４に与えられる。これによって、１／６０秒(１６．６ミリ秒)に１フィールドの割合で画像がＬＣＤ２４に表示される。

また、ビデオエンコーダ２２では、現フィールドの何ライン目までの描画が終了したかをＶカウンタ２２ｖを用いてカウントし、現ラインの何画素目までを描画し終えたかをＨカウンタ２２ｈを用いてカウントしている。Ｖカウンタ２２ｖの最高値は２４０であり、Ｈカウンタ２２ｈの最高値は６４０である。

操作パネル４２に設けられたシャッタボタン４２ｓｔがオペレータによって操作されると、ＣＰＵ４０は、信号処理回路２０を能動化するとともに、画像圧縮(符号化)命令および音声圧縮(符号化)命令の各々を周期的にＭＰＥＧ−４コーデック３４に与える。

能動化された信号処理回路２０は、マイクロフォン１８から入力される音声信号を４８ｋＨｚの周期でサンプリングしてディジタル信号である音声データに変換し、この音声データをメモリ制御回路３２を通してＳＤＲＡＭ３０に書き込む。４８ｋＨｚのサンプリング処理では、１０２４サンプルによって約２１ミリ秒分の音声データが生成される。詳しくは後述するが、音声データは１０２４サンプル単位で音声フレームというデータに加工される。ＣＰＵ４０は、ＳＤＲＡＭ３０への音声データの書き込み量を監視しており、１０２４サンプル分の音声データの書き込みが開始されるごとに、書き込み開始のタイミングでビデオエンコーダ２２からＶカウンタ２２ｖのカウント値(垂直ライン位置情報)およびＨカウンタ２２ｈのカウント値(水平画素位置情報)を取得する。

また、ＣＰＵ４０はＬＣＤ２４に表示されるスルー画像の画像フィールド番号を画像の表示開始時からフィールドカウンタ４０ｆによってカウントしている。このフィールドカウンタ４０ｆのカウント値(フィールド番号情報)は、ビデオエンコーダ２２から取得された垂直ライン位置情報および水平画素位置情報とともに、１０２４サンプルごとの音声データに対応付けられてＲＡＭ４６上のテーブル４６ｔに記録される。

画像フィールドは１／６０秒(１６．６ミリ秒)ごとに生成され、音声フレームは２１ミリ秒ごとに生成されるため、画像フィールドと音声フレームとの発生タイミングは図２に示すようになる。図２からわかるように、音声フレーム番号と音声フレームに同期サンプル情報として付加されるフィールド番号(情報)とは１対１の対応関係にはない。図２の例では、フィールド番号“４”が添付される音声フレームは存在しない。

ＭＰＥＧ−４コーデック３４は、画像圧縮命令が与えられると、メモリ制御回路３２を通してＳＤＲＡＭ３０から音声データを随時読み出し、読み出した画像データにＭＰＥＧ−４圧縮を施す。１回の画像圧縮命令によって１フレームの画像データが圧縮される。ＭＰＥＧ−４圧縮によって再生された圧縮画像データはメモリ制御回路３２を通して再びＳＤＲＡＭ３０に書き込まれる。

また、ＭＰＥＧ−４コーデック３４は、音声圧縮命令が与えられると、メモリ制御回路３２を通してＳＤＲＡＭ３０から音声データを随時読み出す。そして、読み出した音声データにＭＰＥＧ−４圧縮を施す。１回の音声圧縮命令によって１０２４サンプルの音声データが圧縮される。ＭＰＥＧ−４圧縮によって生成された圧縮音声データはメモリ制御回路３２を通して再びＳＤＲＡＭ３０に書き込まれる。

シャッタボタン４２ｓｔが再度押されない限り、ＣＰＵ４０は、ＭＰＥＧ−４コーデック３４に画像圧縮命令および音声圧縮命令を繰り返し与え、信号処理回路２０を能動化し続ける。これによって、圧縮画像データおよび圧縮音声データがＳＤＲＡＭ３０に蓄積されてゆく。

メモリカード３８には、最初のシャッタボタン４２ｓｔの操作に応答してＭＰＥＧファイルが新規に作成される。ＣＰＵ４０は、上述の圧縮処理の出力と並行して、ＳＤＲＡＭ３０に蓄積された圧縮画像データおよび圧縮音声データをメモリ制御回路３２を通して読み出す。読み出された圧縮画像データおよび圧縮音声データは、Ｉ／Ｆ３６を通してメモリカード３８に与えられて記録される。

圧縮音声データは、ＳＤＲＡＭ３０から読み出されてメモリカード３８に記録されるときに、図３に示すように、１０２４サンプルごとに音声データヘッダを有する音声フレームという単位にまとめられる。１０２４サンプルの音声データが音声フレームにまとめられると、ＲＡＭ４６に形成されたテーブル４６ｔを参照して当該１０２４サンプルの音声データに対応する同期サンプル情報が特定され、特定された同期サンプル情報が音声フレームに付加される。図３には音声フレームが連続した状態で示されているが、メモリカード３８に形成されるＭＰＥＧファイルには、圧縮画像データと圧縮音声データとが混在した状態で記録される。

圧縮画像データおよび圧縮音声データの記録が終了すると、総ファイルサイズ，総フレーム数，総音声サイズ，フレームレートなどの情報がＭＰＥＧファイルのファイルヘッダに書き込まれる。また、ファイルヘッダには第何画像フレームの画像データおよび第何音声フレームの音声データがどのアドレスに記録されているかとう情報を保持したテーブルが含まれている。このテーブルを参照することによって所望のフレームの画像データおよび音声データを読み出すことができる。

シャッタボタン４２ｓｔがオペレータによって操作されると、ＣＰＵ４０は、信号処理回路２０を不能化し、ＭＰＥＧ−４コーデック３４への圧縮命令の出力を停止する。これによって、圧縮画像データおよび圧縮音声データの生成が終了し、その後、メモリカード３８への圧縮画像データおよび圧縮音声データの書き込みが終了する。

このように、ＭＰＥＧファイルに記録された音声データは１０２４サンプルごとに音声フレームという単位にまとめられ、各音声フレームには１０２４サンプルの音声データがＳＤＲＡＭ３０に記録され始めたタイミングの画像データのフィールド番号，垂直ライン位置および水平画素位置を示す情報(同期サンプル情報)が付加されている。

オペレータがモード切換スイッチ４２ｍｄによって再生モードを選択し、かつ、ファイル選択キー４２ｆｓによって所望のＭＰＥＧファイルを選択すると、ＣＰＵ４０は、ファイルヘッダに含まれる上述のテーブルを参照して、第１フレームである圧縮画像データおよび第１音声フレームである圧縮音声データをメモリカード３８から読み出す。読み出された圧縮画像データおよび圧縮音声データはメモリ制御回路３２を通してＳＤＲＡＭ３０に書き込まれる。

ＣＰＵ４０はまた、ＭＰＥＧ−４コーデック３４に画像伸長(復号)命令および音声伸長(復号)命令を繰り返し与える。画像伸長命令は１／３０秒(３３ミリ秒)ごとに発行され、音声伸長命令は２１ミリ秒ごとに発行される。

ＣＰＵ４０から音声伸長命令が与えられると、ＭＰＥＧ−４コーデック３４は、メモリ制御回路３２を通して圧縮音声データをＳＤＲＡＭ３０から読み出し、読み出した圧縮音声データにＭＰＥＧ−４伸長を施す。１回の音声伸長命令によって１フレームの圧縮音声データが伸長される。伸長された音声データは、メモリ制御回路３２を通して再びＳＤＲＡＭ３０に書き込まれる。信号処理回路２６は、伸長音声データをメモリ制御回路３２を通して読み出し、読み出した伸長音声データをアナログ信号に変換し、そして、変換した音声データをスピーカ２８に与える。これによって、再生音声がスピーカ２８から出力される。圧縮音声データは、順次メモリカード３８から読み出され、ＭＰＥＧ−４コーデック３４によって伸長されて、スピーカ２８から出力される。これによって、途切れることなく音声がスピーカ２８から出力される。

また、ＭＰＥＧ−４コーデック３４は、ＣＰＵ４０から画像伸長命令が与えられると、メモリ制御回路３２を通して圧縮画像データをＳＤＲＡＭ３０から読み出す。読み出した圧縮画像データはＭＰＥＧ−４伸長が施される。１回の画像伸長命令によって１フレームの圧縮画像データが伸長される。伸長された画像データはＭＰＥＧ−４コーデック３４が備えるバッファ３４ａ(第１メモリ)に蓄積される。 バッファ３４ａに蓄積された１フレームの画像データは、１／３０秒(３３ミリ秒)ごとに読み出され、メモリ制御回路３２を通してＳＤＲＡＭ３０の伸長画像記録領域(第２メモリ)に記録される。伸長画像記録領域は、上述したように、ＡおよびＢの２つのバンクに区切られており、伸長された画像データは、まず、バンクＡ(第１エリア)に記録される。１／３０秒ごとにバンクが切り換えられ、次に伸長された第２画像フレームはバンクＢ(第２エリア)に記録され、第３画像フレームは再びバンクＡに記録される。

ビデオエンコーダ２２は、１／６０秒ごとにメモリ制御回路３２を通してＳＤＲＡＭ３０のバンクから伸長された画像データをプログレッシブスキャン方式によって読み出す。まず、バンクＡに記録されている画像データを読み出し、次にバンクを切り換えてバンクＢに記録されている画像データを読み出す。ビデオエンコーダ２２は、ＳＤＲＡＭ３０から読み出した画像データをコンポジットビデオ信号に変換して６４０画素×２４０ラインのサイズに縮小し、縮小した画像データを疑似インタレーススキャン方式でＬＣＤ２４に与える。この疑似インタレーススキャン方式によって、ＬＣＤ２４には１／６０秒に１フィールドの割合で画像が表示される。

また、ビデオエンコーダ２２は、記録時と同様に再生時においても、Ｖカウンタ２２ｖおよびＨカウンタ２２ｈを用いて、現フィールドの何ライン目までの描画が終了したか、および現ラインの何画素目までを描画し終えたかをそれぞれカウントしている。さらに、第何番目の画像フィールドが描画されているかがＣＰＵ４０のフィールドカウンタ４０ｆによってカウントされている。

図２に示したように、音声フレームと画像フィールドとは１対１の対応関係にないので、音声フレームと画像フィールドとの同期を確保する仕組みが必要になる。音声は１音声フレームずつ順番に逐次の再生を行い、途中でスキップされたり停止されたりすることはない。一方、画像は、現在再生されている画像データの描画位置(フィールドカウンタ４０ｆの値，Ｖカウンタ２２ｖの値およびＨカウンタ２２ｈの値)と音声フレームに付加されている同期サンプル情報(画像フィールド番号情報，垂直ライン位置情報および水平画素位置情報)とから音声フレームと画像フィールドとのずれが算出され、ずれが許容範囲外であるときには、ずれを修正するためにスキップされたり停止されたりする。

図４を用いてより具体的に説明する。メモリカード３８から音声フレームが読み出されると、読み出された音声フレームから同期サンプル情報(画像フィールド番号情報，垂直ライン位置情報および水平画素位置情報)が抽出される。この同期サンプル情報が示す画面上の位置をＡ点とする。このＡ点は、この音声フレームがサンプリングされたときに再生されていた画像の画素の位置を示している。つまり、この音声フレームがサンプリングされていたときには、第Ｘフィールドの第(Ｘａ＋１)ラインの第Ｙａ画素が描画されたところであったことを示している。

また、音声フレームから同期サンプル情報が抽出されるタイミングで、ＣＰＵ４０は、ビデオエンコーダ２２からＶカウンタ２２ｖおよびＨカウンタ２２ｈのカウント値を取得する。取得したカウント値とフィールドカウンタ４０ｆのカウント値とが示す位置をＢ点とする。つまり、音声フレームから同期サンプル情報が抽出された時点では、第Ｘフィールドの第(Ｘｂ＋１)ラインの第Ｙｂ画素が描画されていたことになる。

Ａ点とＢ点とが一致する場合に音声と画像とが記録時と同じタイミングで再生されていることになる。したがって、Ａ点とＢ点との位置の差が音声と画像との同期のずれとなる。図４の例の場合、画像の再生が音声の再生に比べて、(Ｘｂ−Ｘａ)ラインと(Ｙｂ−Ｙａ)画素分だけ進んでいることになる。なお、図４の例ではＡ点とＢ点とは同一の画像フィールド上に存在するが、Ａ点とＢ点とが異なる画像フィールド上に存在する場合もある。

音声と画像との同期のずれが許容範囲を超える場合はずれの修正を行う。つまり、画像が音声よりも進んでいる場合には画像を１フレーム時間分(１／３０秒)だけ停止させ、画像が音声よりも遅れている場合には画像を１フレーム分だけスキップさせる。

画像を停止させる場合には、ＣＰＵ４０は、１／３０秒おきに発生させるＭＰＥＧ−４コーデック３４への画像伸長命令を１回中止する。ＭＰＥＧ−４コーデック３４によって伸長された画像データはバッファ３４ａに格納され、バッファ３４ａに格納された画像データは１／３０秒おきにメモリ制御回路３２を通してＳＤＲＡＭ３０のバンクＡもしくはバンクＢに書き込まれる。ＣＰＵ４０が画像伸長命令の発生を１回中止すると、バッファ３４ａに蓄積されている伸長された画像データは更新されない。したがって、ＳＤＲＡＭ３０のバンクＡもしくはバンクＢには前回と同じ画像データが書き込まれる。つまり、バンクＡとバンクＢには同じ画像データが書き込まれた状態となる。

このため、ビデオエンコーダ２２は、バンクは異なるものの２回続けて同じ画像データを読み出して再生することになる。したがって、ＬＣＤ２４には前回と同じ画像が表示され、見かけ上画像が１フレーム時間分停止されることになる。

一方、画像をスキップさせる場合には、ＣＰＵ４０は、通常１／３０秒に１回発生させるＭＰＥＧ−４コーデック３４への画像伸長命令を１／３０秒の間に２回発生させる。すると、１／３０秒に１回読み出されてＳＤＲＡＭ３０のバンクに書き込まれるバッファ３４ａの内容が、読み出される前に次の伸長画像データによって上書きされる。このためＳＤＲＡＭ３０のバンクＡもしくはバンクＢにはバッファ３４ａに上書きされた画像データが書き込まれる。そして、この上書きされた画像データがビデオエンコーダ２２によって読み出されて再生される。したがって、連続した画像フレームがＭＰＥＧ−４コーデック３４によって伸長されるが、ＬＣＤ２４には１フレーム分スキップされて画像が表示される。このようにして音声と画像とのずれが修正され、同期が保たれる。

以下に、図５から図１０に示すフロー図を用いて、画像圧縮タスク，音声取込タスク，音声圧縮タスク，音声再生タスクおよび画像再生タスクにおけるＣＰＵ４０の動作について説明する。なお、画像圧縮タスク，音声取込タスクおよび音声圧縮タスクは同時に平行して実行され、音声再生タスクおよび画像再生タスクは同時に平行して実行される。また、ＣＰＵ４０はフラッシュメモリ４４に格納されているプログラムにしたがって動作する。

画像圧縮タスクにおけるＣＰＵ４０の動作は図５のフロー図に示される。まず、ＣＰＵ４０は、ステップＳ１において、オペレータによって記録開始操作が行われたかどうかを判断する。ステップＳ１においてＹＥＳと判断すると、次にステップＳ３において、記録開始操作から１／３０秒が経過するまで待機する。この１／３０秒の待機は、１フレーム分の画像データが信号処理回路１６を経てメモリ制御回路３２によってＳＤＲＡＭ３０に書き込まれるのを待つためのものである。

ステップＳ３においてＹＥＳと判断すると、ステップＳ５では、ＭＰＥＧ−４コーデック３４に対して画像圧縮命令を与える。すると、ＭＰＥＧ−４コーデック３４はメモリ制御回路３２を通してＳＤＲＡＭ３０から１フレーム分の画像データを読み出してＭＰＥＧ−４圧縮を施す。そして、圧縮画像データは再びメモリ制御回路３２を通してＳＤＲＡＭ３０に書き込まれる。ＳＤＲＡＭ３０に書き込まれた圧縮画像データは別のタスクによって順次メモリカード３８に書き込まれる。

ステップＳ５において画像の圧縮命令をＭＰＥＧ−４コーデック３４に対して与えると、ステップＳ７では、圧縮命令の発生から１／３０秒が経過したかどうかを判断する。ステップＳ７においてＹＥＳと判断すると、ステップＳ５に戻って再びＭＰＥＧ−４コーデック３４に対して画像の圧縮命令を与える。

ステップＳ７においてＮＯと判断すると、ステップＳ９においてオペレータによって記録停止の操作が行われたかどうかを判断する。ステップＳ７においてＮＯと判断するとステップＳ７に戻り、ＹＥＳと判断すると画像圧縮タスクを終了する。

音声取込タスクにおけるＣＰＵ４０の動作は図６のフロー図に示される。まず、ＣＰＵ４０は、ステップＳ１１において、オペレータによって記録開始操作が行われたかどうかを判断する。記録開始操作が行われると、マイクロフォン１８から入力された音声が信号処理回路２０によって音声データに変換され、この音声データがメモリ制御回路３２を通してＳＤＲＡＭ３０に書き込まれる。ステップＳ１３では、ＳＤＲＡＭ３０における音声データの書き込み開始位置(アドレス)を取得してレジスタＷ１に格納する。なお、レジスタＷ１に格納されている値を“Ｗ１”で表現する。

ステップＳ１５では、第１同期サンプル処理を行う。第１同期サンプル処理では、１番目の１０２４サンプル(第１フレーム)に対応する同期サンプル情報を取得し、取得した同期サンプル情報を当該１０２４サンプルの音声データに対応させてＲＡＭ４６のテーブル４６ｔに記録する。つまり、音声データのＳＤＲＡＭ３０への書き込みが開始された時点で、ビデオエンコーダ２２からＶカウンタ２２ｖおよびＨカウンタ２２ｈの値を取得し、ＣＰＵ４０がカウントしている画像フィールド番号の値をフィールドカウンタ４０ｆから取得する。

ステップＳ１７では、ＳＤＲＡＭ３０における音声データの現状での書き込み終了位置(アドレス)を取得してレジスタＷ２に格納する。なお、レジスタＷ２に格納されている値を“Ｗ２”で表現する。

ステップＳ１９では、レジスタＷ１に格納されている値とレジスタＷ２に格納されている値とから、ＳＤＲＡＭ３０に書き込まれた音声データのデータ量を算出する。そして、ステップＳ２１では、ＳＤＲＡＭ３０に書き込まれた音声データの量が１０２４サンプル分となったかどうかを判断する。

ステップＳ２１においてＮＯと判断すると、ステップＳ１７に戻って再び書き込み終了位置を取得する。一方、ステップＳ２１においてＹＥＳと判断すると、ステップＳ２３において第１同期サンプル処理を行う。この第１同期サンプル処理では、上述したように、次にＳＤＲＡＭ３０に書き込まれる１０２４サンプル分の音声データに対応する同期サンプル情報を取得して、ＲＡＭ４６に形成されたテーブル４６ｔに記録する。

ステップＳ２５では、次の１０２４サンプル分の音声データを算出するために、書き込み開始位置(Ｗ１)を現状における書き込み終了アドレスの次のアドレス(Ｗ２＋１)で更新する。そして、ステップＳ２７では、オペレータがシャッタボタン４２ｓｔを操作して記録終了操作を行ったかどうかを判断する。ステップＳ２７においてＮＯと判断するとステップＳ１７に戻る。ステップＳ２７でＹＥＳと判断すると音声取込タスクを終了する。

音声圧縮タスクにおけるＣＰＵ４０の動作は図７のフロー図に示される。まず、ＣＰＵ４０は、オペレータが記録開始の操作を行うと、その旨がステップＳ３１において判断される。ステップＳ３３では、記録開始の操作から１０２４サンプル期間(２１ミリ秒)が経過するまで待機する。この待機は、マイクロフォン１８から入力された１０２４サンプル分の音声が信号処理回路２０およびメモリ制御回路３２を通してＳＤＲＡＭ３０に書き込まれるのを待つために行われる。

ステップＳ３３においてＹＥＳと判断すると、ＣＰＵ４０は、ステップＳ３５において音声データの圧縮命令をＭＰＥＧ−４コーデック３４に対して与える。これによって、１フレーム、つまり、１０２４サンプル分の音声データがＭＰＥＧ−４コーデック３４に取り込まれＭＰＥＧ−４圧縮が施される。圧縮された音声データはメモリ制御回路３２を通して再びＳＤＲＡＭ３０に書き込まれる。

音声データの圧縮命令の発行を行うと、ステップＳ３７において、ＲＡＭ４６に形成されたテーブル４６ｔを参照して当該１０２４サンプルの音声データに対応する同期サンプル情報を取得する。そして、ステップＳ３９において、取得した同期サンプル情報を音声データに付加する。これによって１音声フレームがＳＤＲＡＭ３０上に形成される。こうして形成された音声フレームは、別のタスクによって適宜ＳＤＲＡＭ３０から読み出されてＩ／Ｆ３６を通してメモリカード３８に書き込まれる。

ステップＳ４１では、ステップＳ３５における音声の圧縮命令の発生から１０２４サンプル期間(２１ミリ秒)が経過したかどうかを判断する。ステップＳ４１においてＹＥＳと判断すると、ステップＳ３５に戻って再びＭＰＥＧ−４コーデック３４に音声の圧縮命令を与える。ステップＳ４１においてＮＯと判断すると、ステップＳ４３において、オペレータがシャッタボタン４２ｓｔを操作して記録終了操作を行ったかどうかを判断する。ステップＳ４３においてＮＯと判断するとステップＳ４１に戻る。ステップＳ４３でＹＥＳと判断すると音声圧縮タスクを終了する。

以上に説明した画像圧縮タスク，音声取込タスクおよび音声圧縮タスクによって、メモリカード３８に音声データと画像データとを含むＭＰＥＧファイルが形成される。次に、音声再生タスクおよび画像再生タスクについて説明する。

音声再生タスクにおけるＣＰＵ４０の動作は図９のフロー図に示される。まず、ステップＳ５１において音声停止フラグがオン状態であるかどうかを判断し、オン状態である場合には音声停止フラグがオフ状態になるまで待機する。音声停止フラグがオフ状態になると、ステップＳ５３において位置特定フラグがオン状態であるかどうかを判断する。

音声停止フラグおよび位置特定フラグは、後述する画像再生タスクにおいてオン状態に設定される。画像再生タスクにおいて、画像のコマ送り再生やスキップ再生を行っているときには、音声の再生は行わない。そこで、コマ送り再生やスキップ再生を行っている間は、音声停止フラグをオン状態にして音声の再生を停止する。また、画像を第１フレームから再生するときには音声も第１音声フレームから再生すればよいが、画像のコマ送り再生やスキップ再生を行った後に、途中の画像から再生する場合には、再生される画像フレームに対応した音声フレームを特定し、特定された音声フレームから再生しなければならない。そのため、画像のコマ送り再生やスキップ再生を行ったときに位置特定フラグをオン状態に設定して再生する音声フレームの特定が必要なことを画像再生タスクに知らせる。

ステップＳ５３でＹＥＳと判断すると、ステップＳ５５で、画像再生タスクにおいてＣＰＵ４０がレジスタＦｐを用いてカウントしている再生画像フレームの番号Ｆｐを参照して第Ｆｐ番目の画像フレームに対応する音声フレームを特定する。なお、レジスタＦｐに格納されている値を“Ｆｐ”で表す。音声フレームは、画像フレームの番号ではなく、画像フィールドの番号を保持しているので、(Ｆｐ×２−１)番のフィールド番号を保持している音声フレームを第Ｆｐ画像フレームに対応する音声フレームとして特定する。そして、ステップＳ５７では、音声フレームの特定を終えたので位置特定フラグをオフ状態に設定する。

ステップＳ５９では、ステップＳ５５において特定された音声フレームの伸長命令をＭＰＥＧ−４コーデック３４に与える。ステップＳ５３でＮＯと判断された場合には、第１音声フレームから伸長される。

ステップＳ６１では、伸長命令の対象となった音声フレームから、同期サンプル情報(画像フィールド番号情報，垂直ライン位置情報および水平画素位置情報)を取得して、ＲＡＭ４６に記録する。そして、ステップＳ６３では、同期サンプリング情報の取得を画像再生タスクに知らせるために同期サンプル情報取得フラグをオン状態に設定する。

ステップＳ６５では、ステップＳ５９で音声フレームの伸長命令を発してから１音声フレームの再生にかかる時間である２１ミリ秒が経過したかどうかを判断する。ステップＳ６５においてＹＥＳと判断するとステップＳ５１に戻る。一方、ステップＳ６５においてＮＯと判断するとステップＳ６７に進む。

ステップＳ６７では、オペレータによって再生終了操作が行われるか、もしくは、すべてのデータ(音声フレームおよび画像フレーム)の再生が終了したかどうかを判断する。ステップＳ６７でＮＯと判断したときにはステップＳ６５に戻り、ＹＥＳと判断したときには音声再生タスクを終了する。

画像再生タスクにおけるＣＰＵ４０の動作は図９および図１０のフロー図に示される。まず、図９のステップＳ７１では、再生される画像フレームをカウントするためにレジスタＦｐに１を格納して初期化する。ステップＳ７３では、オペレータによってコマ送り再生もしくはスキップ再生の操作が行われたかどうかを判断する。ステップＳ７３においてＹＥＳと判断すると、ステップＳ８７においてコマ送り再生もしくはスキップ再生が行われている旨を音声再生タスクに知らせるために音声停止フラグをオン状態に設定する。また、ステップＳ８９では、コマ送り再生もしくはスキップ再生によって画像が途中から再生されるので再生を開始する音声フレームを特定する必要がある旨を音声再生タスクに知らせるために位置特定フラグをオン状態に設定する。

ステップＳ９１ではコマ送り再生もしくはスキップ再生の処理を行う。コマ送り再生およびスキップ再生の処理の詳細な説明は省略する。コマ送り再生およびスキップ再生の処理では、コマ送り再生もしくはスキップ再生に応じた画像フレームの伸長命令を発行するとともに、画像フレームカウンタＦｐの更新が行われる。

ステップＳ７３においてＮＯと判断すると、ステップＳ７５において音声停止フラグをオフ状態に設定する。これによって、音声再生タスクにおいて、音声フレームの再生が開始される。

次に、ステップＳ７７では同期サンプル情報取得フラグがオン状態であるかどうか、つまり、音声再生タスクにおいて音声フレームから同期サンプル情報が取得され、画像と音声とのずれを確認するタイミングが到来したかどうかを判断する。

ステップＳ７７においてＮＯと判断すると、ステップＳ９３において前回画像フレームの伸長命令が発生されてから１／３０秒が経過したかどうかを判断する。画像フレームは１／３０秒ごとに再生されるため、１／３０秒が経過していなければステップＳ７３に戻る。

ステップＳ９３においてＹＥＳと判断すると、ステップＳ９５において、第Ｆｐ画像フレームの伸長命令をＭＰＥＧ−４エンコーダ３４に対して発生する。これによって、第Ｆｐ画像フレームが伸長されて再生される。そして、ステップＳ９７において、カウンタＦｐに格納されている値を１だけインクリメントする。

一方、ステップＳ７７においてＹＥＳと判断すると、画像と音声とのずれの確認および修正を行う。まず、ステップＳ７９では、同期サンプル情報取得フラグをオフ状態に設定する。

ステップＳ８１では、第２同期サンプル処理を行う。この第２同期サンプル処理では、ビデオエンコーダ２２からＶカウンタ２２ｖおよびＨカウンタ２２ｈの値を取得してＲＡＭ４６に記録するとともに、ＣＰＵ４０がカウントしている画像フィールド番号の値をフィールドカウンタ４０ｆから取得してＲＡＭ４６に記録する。

そして、ステップＳ８３では、先の音声再生タスクのステップＳ６１(図８)において音声フレームから取り出されてＲＡＭ４６に記録された、フィールド番号情報が示す値，垂直ライン位置情報が示す値および水平画素位置情報が示す値と、この画像再生タスクのステップＳ８１における第２同期サンプル処理において取得されてＲＡＭ４６に記録された、フィールドカウンタ４０ｆの値，Ｖカウンタ２２ｖの値およびＨカウンタ２２ｈの値とから、音声と画像との再生タイミングが何フィールド，何ラインそして何画素分ずれているかを計算する。

ステップＳ８５では、音声と画像とタイミングのずれが許容範囲内であるかどうかを判断する。ステップＳ８５でＹＥＳと判断すると前述のステップＳ９３に進んで前回の画像フレームの伸長から１／３０秒が経過したかどうかを判断し、判断結果がＹＥＳであればステップＳ９５においてＭＰＥＧ−４コーデック３４に対する画像フレームの伸長命令を発生する。

一方、ステップＳ８５においてＮＯと判断すると、図１０のステップＳ１０１において、音声と画像とのずれは画像の遅れによるものであるかどうかを判断する。ステップＳ１０１においてＹＥＳと判断すると、画像の遅れを取り戻すために画像のスキップ処理を行う。つまり、ステップＳ１０３において、前回の画像フレームの伸長命令の発生から１／３０秒の経過を待たずに第Ｆｐ画像フレームの伸長命令をＭＰＥＧ−４コーデック３４に対して発生する。そして、ステップＳ１０５では、レジスタＦｐに格納されている値を１だけインクリメントして図９のステップＳ７３に戻る。

ＭＰＥＧ−４コーデック３４によって伸長されてバッファ３４ａに蓄積された伸長画像データは、１／３０秒ごとに読み出されてメモリ制御回路３２を通してＳＤＲＡＭ３０のバンク(バンクＡもしくはバンクＢ)に書き込まれる。そして、バンクに書き込まれた伸長画像データがビデオエンコーダ２２によって読み出されて再生される。

しかし、ステップＳ１０３では、１／３０秒を待たずに画像の伸長命令がＭＰＥＧ−４コーデック３４に与えられるので、バッファ３４ａの内容は１／３０秒の間に２回更新される。そのため、ＳＤＲＡＭ３０のバンクには１フレーム分とんで伸長画像データが書き込まれる。そして、ビデオエンコーダ２２はそのまま伸長画像データを読み出すので、ＬＣＤ２４に表示される画像は１フレーム分スキップされる。このようにして、画像を音声に追いつかせる。

一方、ステップＳ１０１においてＮＯと判断すると、画像の先行を修正するために画像の表示を１フレーム分停止させる。つまり、ステップＳ１０７において、１／１５秒(１／３０秒の２回分)待機し、ステップＳ１０３に進む。

ＭＰＥＧ−４エンコーダ３４のバッファ３４ａの内容は１／３０秒ごとに読み出されてＳＤＲＡＭ３０のバンクに書き込まれる。しかし、ＭＰＥＧ−４エンコーダ３４に画像の伸長命令が与えられないまま１／３０秒が経過するので、１／３０秒経ってもバッファ３４ａの内容は更新されない。そのため、ＳＤＲＡＭ３０のバンクには前回と同じ伸長画像データがバッファ３４ａから読み出されて書き込まれ、バンクＡとバンクＢとの内容が同じになる。したがって、ビデオエンコーダ２２は、バンクは異なるが前回と同じ伸長画像データをＳＤＲＡＭ３０から読み出して再生するので、ＬＣＤ２４に表示される画像は見かけ上停止することになる。画像が停止している間にも音声は再生されるので、音声が画像に追いつく。

以上に説明したように、この実施例のビデオカメラ１０においては、画像と音声とを記録するときに音声フレームに対応する画像のフィールド番号，垂直ライン位置および水平画素位置の各情報を音声フレームに付加する。そして、再生するときには、再生される音声フレームから取り出した画像フィールド番号情報，垂直ライン位置情報および水平画素位置情報と、現在再生されている画像のフィールド番号，垂直ライン位置および水平画素位置とから音声と画像との同期のずれを算出する。そして、このずれが許容範囲を超えるときには、画像を一時停止するかもしくは画像をスキップすることによってずれを修正する。したがって、従来とは異なりタイムスタンプ用の時計回路を必要とせず、簡単な回路構成によって音声と画像との同期を実現することができる。

この発明の一実施例の全体構成を示す図解図である。 音声フレームと画像フィールドとの発生タイミングを示す図解図である。 音声フレームのデータ構成例を示す図解図である。 音声と画像とのずれの計算方法を示す図解図である。 画像圧縮タスクにおけるＣＰＵの動作を示すフロー図である。 音声取込タスクにおけるＣＰＵの動作を示すフロー図である。 音声圧縮タスクにおけるＣＰＵの動作を示すフロー図である。 音声再生タスクにおけるＣＰＵの動作を示すフロー図である。 画像再生タスクにおけるＣＰＵの動作を示すフロー図である。 図９のフロー図に続くフロー図である。

符号の説明

１０ …ビデオカメラ
１６，２０，２６ …信号処理回路
２２ …ビデオエンコーダ
３０ …ＳＤＲＡＭ
３２ …メモリ制御回路
３４ …ＭＰＥＧ−４コーデック
３８ …メモリカード
４０ …ＣＰＵ
４４ …フラッシュメモリ
４６ …ＲＡＭ

Claims (10)

1. イメージセンサによって撮影された被写体の動画像信号とマイクロフォンによって取り込まれた音声信号とを記録媒体に記録するビデオカメラにおいて、
   前記動画像信号を形成する各画面の静止画像信号をラスタ走査態様でモニタに向けて出力する第１画像出力手段、
   前記第１画像出力手段によって走査されている画素位置を間欠的に検出する第１検出手段、および
   前記第１検出手段によって検出された画素位置を前記第１検出手段による検出時点で前記マイクロフォンによって取り込まれた音声信号に割り当てる割り当て手段を備えることを特徴とする、ビデオカメラ。
2. 前記マイクロフォンによって取り込まれた音声信号の記録に先立って所定量毎の符号化処理を施す符号化手段をさらに備え、
   前記第１検出手段は前記所定量の音声信号が取り込まれる毎に前記画素位置を検出する、請求項１記載のビデオカメラ。
3. 前記記録媒体から読み出された動画像信号を形成する各画像の静止画像信号を前記ラスタ走査態様で前記モニタに向けて出力する第２画像出力手段、
   前記記録媒体から読み出された音声信号をスピーカに向けて出力する音声出力手段、
   前記音声出力手段によって出力される音声信号に割り当てられた画素位置を検出する第２検出手段、
   前記第２検出手段の検出時点で前記第２画像出力手段によって走査されている画素位置と前記第２検出手段によって検出された画素位置とのずれを判別する判別手段、および
   前記第２画像出力手段によって出力される静止画像信号の画面数を前記判別手段の判別結果に応じて調整する調整手段をさらに備える、請求項１または２記載のビデオカメラ。
4. 前記動画像信号は１画面ずつ符号化された状態で前記記録媒体に記録され、
   前記第２画像出力手段は各画面の符号化静止画像信号を復号命令に応答して復号する復号手段を含み、
   前記調整手段は前記復号命令の発生タイミングを制御する、請求項１ないし３のいずれかに記載のビデオカメラ。
5. 前記復号手段は、前記復号命令に応答して復号された静止画像信号を第１メモリに書き込み、かつ前記第１メモリに格納された静止画像信号を所定周期で前記第１メモリから読み出す、請求項４記載のビデオカメラ。
6. 前記調整手段は、前記画面数を増大させるとき前記復号命令の発生周期を延長し、前記画面数を減少させるとき前記復号命令の発生周期を短縮する、請求項４または５記載のビデオカメラ。
7. 前記第２画像出力手段は、前記復号手段から出力された静止画像信号を第２メモリに書き込む書き込み手段、および前記第２メモリに格納された静止画像信号を読み出す読み出し手段をさらに含む、請求項４ないし６に記載のビデオカメラ。
8. 前記第２メモリは第１エリアおよび第２エリアを含み、
   前記書き込み手段は前記復号手段から出力された静止画像信号を前記第１エリアおよび前記第２エリアに交互に書き込み、
   前記読み出し手段は前記静止画像信号を前記第１エリアおよび前記第２エリアから交互に読み出す、請求項７記載のビデオカメラ。
9. 前記書き込み手段による書き込みと前記読み出し手段による読み出しとは相補的に行われる、請求項８記載のビデオカメラ。
10. 前記動画像信号はＭＰＥＧ４方式に従って符号化される、請求項４ないし９のいずれかに記載のビデオカメラ。

Images