JP2012018352A

JP2012018352A - 画像記録装置

Info

Publication number: JP2012018352A
Application number: JP2010156841A
Authority: JP
Inventors: Masahiko Morita; 正彦森田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-07-09
Filing date: 2010-07-09
Publication date: 2012-01-26
Anticipated expiration: 2030-07-09
Also published as: JP5631084B2

Abstract

【課題】行単位で蓄積を行うローリングシャッタ動作が可能な撮像素子を用いた画像記録装置において、動画撮影記録での映像と音声のずれを調節することによって生じる各ＡＦ評価値枠ごとのフォーカスレンズ位置のずれを少ないリソースで補償し、焦点調節の合焦精度向上を実現する画像記録装置を提供する。
【解決手段】動画撮像手段によって駆動された撮像手段の出力に基づいてフォーカスレンズを移動しながら自動焦点調節行う画像記録装置において、前記動画撮像手段は、音声データのサンプリング用クロックを基調として、撮像手段の出力のレートを調節するフレームレート調節手段を有し、フレームレート調節を行ったフレームにまたがって自動焦点調節を行う際に、フレームレート調節による時間ずれ量を補正する。
【選択図】図５

Description

本発明は、動画像を撮像または、撮像して記録する際に、撮像素子の出力を用いて自動焦点調節を行う画像記録装置に関する。特に自動焦点調節のために撮像素子出力データの撮像面に設定した複数の評価領域それぞれについての露光タイミングが異なる撮像素子を用いた画像記録装置に関する。

近年のデジタルカメラなどを構成する画像記録装置では、音声付き動画を撮影及び、または記録する場合において、音声と映像のずれを調整すること（リップシンク）が必要となることがある。これは、音声サンプリングを行うためのクロック発信源と、撮像信号のサンプリングを行うためのクロック発信源が異なる場合は、上記ずれは温度偏差によるクロック位相差に起因する。また、発信源が同じであっても、実現する撮像レートと記録レートとの微小なレート差に起因するずれがある。調節が必要か否かは、長時間再生した場合に、音声と映像のずれが許容範囲を超えるか否かで決定される。

一方、動画撮影記録中においては、撮像素子の出力を用いて自動焦点調節を行って、良質な動画像を得る画像記録再生装置が提案されている。この自動焦点調節には大きく２つに分類される。一つは、概ね焦点が合っている場合の焦点調節で、他の一つは、撮像素子出力を演算して得られた評価値から焦点が合っていないと判断された場合の焦点調節である。概ね焦点が合っている場合には、焦点調節用のフォーカスレンズを数点の位置に移動させ且つ、フォーカスレンズが各位置に停止した状態で得られた撮像素子出力から評価値を演算して得られた複数の結果から焦点位置補正を行っていく。焦点が合っていないと判断された場合には、焦点距離に応じて、一定の範囲にわたってフォーカスレンズを移動させながら撮像出力から評価値を順次演算し、評価値とフォーカスレンズの位置の相関を取って、最終的な合焦位置にフォーカスレンズを移動する。

特開２００５−２５３０５６号公報特開２００７−０１０９０８号公報

ＣＭＯＳセンサを撮像素子に用いた焦点調節に関しては、行単位で蓄積を行うローリングシャッタ動作における焦点調節評価領域の蓄積タイミングのずれを保証する提案がなされている。

ＣＭＯＳセンサを撮像素子に用いた場合、音声と映像のずれを調整するには、上述の特許文献に開示されたＣＣＤを用いた場合と異なり、１フレーム内の特定のフィールドの時間を調節することは、画面内の露光斑が発生する可能性があるため困難である。ここおよび以下において、「フィールド」という用語は、単数または、複数の行または水平転送期間の意味で用いる。

図２（ａ）及び、図２（ｂ）は、ＣＭＯＳセンサで特定のフィールドだけ時間調節を行ったときの駆動タイミングチャートを示す。図のように、時間調節を行った特定のフィールドが蓄積時間に含まれるか否かによって、フィールド間に蓄積時間の段差が生じ、特に蓄積時間が短い場合(図２（ｂ）)に段差が目立ってしまう場合がある。

また、このような状況において、先に説明した焦点が合っていないと判断して焦点調節を行う場合、合焦位置がずれてしまうことがある。すなわち、フォーカスレンズを移動しながら評価値サンプリングしている過程で、音声と映像のずれの調節が行われると、一時的にフォーカスレンズと評価値の相関関係がフレーム間でずれてしまう。

また、参考文献２の方法での各評価値領域単位の開始及び終了時刻の測定は、領域開始または終了信号に応じてシステム時刻を取り込むためのシステムリソースが領域分必要である。このため、少数のリソースを時分割して使用する場合においてもランタイムで割り当てるには時間が掛かり、時刻を取りこぼす可能性があった。

本発明は、動画記録に用いる撮像駆動の出力レートと動画記録レートとのずれに起因して発生する映像と音声のずれを調節する画像記録装置において、上記問題点を解決するためになされたものである。具体的には、複数フレームに跨ってフォーカスレンズを移動しながら撮像データをサンプリングして行う焦点調節の合焦精度を少ないリソースで実現することを目的とする。

上記目的を達成するために、本発明によれば、二次元に配置された複数の画素を有し、各画素のリセットタイミングを行単位で変更可能な撮像手段と、撮像手段の画像領域に複数の評価領域を設定し、フォーカスレンズを移動しながら複数の評価領域内の画素の出力から得られる評価値に基づいて合焦位置を検出することにより焦点調節を行う自動焦点調節手段と、撮像手段を駆動する動画撮像手段と、音声をサンプリングする音声取得手段と、動画撮像手段により駆動された撮像手段の出力と音声取得手段の出力を動画として記録する動画記録手段とを有する画像記録装置は、動画撮像手段が、音声データをサンプリングするクロックを基調として、撮像手段の出力レートを調節するフレームレート調節手段を有し、フレームレート調節を行ったフレームでの撮像手段の画素の出力から得られる評価値に基づいて前記自動焦点調節を行う際に、自動焦点調節手段は、フレームレート調節による時間ずれ量を補正して前記複数の評価領域ごとのフォーカスレンズ位置を求めることを特徴とする。

本発明によれば、動画撮影記録中に映像と音声のずれの調節を行っても、焦点調節用の評価値をフォーカスレンズを移動しながら撮像出力から演算する自動焦点調節の合焦精度を維持できる画像記録装置を提供できる。

本発明の実施例に係わる画像記録装置のブロック図。本発明の実施例に係わる画像記録装置に含まれる顔検出回路のブロック図。従来の手段でリップシンクを行ったＣＭＯＳセンサ駆動タイミングチャートを示す図。従来の手段でリップシンクを行ったＣＭＯＳセンサ駆動タイミングチャートを示す図。本発明の本実施例でのリップシンクを行ったＣＭＯＳセンサ駆動タイミングチャートを示す図。本発明の本実施例でのリップシンクを行ったＣＭＯＳセンサ駆動タイミングチャートを示す図。本発明の本実施例でのリップシンクを行ったＣＭＯＳセンサ駆動タイミングチャートを示す図。本発明の本実施例でのリップシンクを行ったＣＭＯＳセンサ駆動タイミングチャートを示す図。本発明のＣＭＯＳセンサにおける音声と映像のずれ検出と調節フローチャートを示す図。本発明の実施例に係わるＳＳＧ回路のブロック図。本発明の実施例に係わる動画用ＡＦスキャンのフローチャートを示す図。本発明の実施例でのイメージプロパティとＡＦ枠のタイミングチャートを示す図。本発明の実施例でのイメージプロパティとＡＦ枠のタイミングチャートを示す図。

＜実施例１＞
以下、添付図面を参照して本発明を実施する最良の形態を詳細に説明する。
図１（ａ）は、本実施の形態に係る画像記録再生装置システムの構成を示すブロック図である。同図において、１００は画像記録装置本体、１１０は変倍レンズ、１１１は焦点調節用フォーカスレンズ、１１２は後段への光束を遮断するメカニカルシャッタ、１１３は後段への光束を調節する絞である。１１４は、二次元に配置された複数の画素を有する撮像素子、１１５は撮像素子１１４を駆動及び、サンプリングに必要なタイミングパルスを発生するタイミング発生器である。１８０は撮像駆動を行うためのクロック発信源となる水晶発振器Ａであり、撮像素子１１４及び、タイミング発生器１１５は、水晶発振器Ａが発生するクロックをマスタクロックとして撮像駆動を行う。本実施の形態の撮像素子１１４は、各画素のリセットタイミングが行単位で変更可能なＣＭＯＳ型であり、内部にＡ／Ｄ変換機能を備えたデジタル出力タイプの撮像素子を用いる。

１１６は、撮像駆動用の同期信号を発生するＳＳＧ回路や、撮像出力となるデジタル出力を受信し、前処理回路、ＡＦ評価値演算回路、輝度積分回路、信号処理回路、顔検出回路、縮小回路、ラスタブロック変換回路及び、圧縮回路を含む画像処理部である。ＳＳＧ回路では、タイミング発生器から撮像駆動用のクロックを受けて、水平及び垂直同期信号を発生し、タイミング発生器と撮像素子に出力する。前処理回路では、入力画像を行単位で輝度積分回路と信号処理回路とに分配する。また、撮像データに必要となるチャネル間のデータ補正等の処理を行う。ＡＦ評価値演算回路では、設定された複数の評価領域内に入力される画像信号の輝度成分について水平方向のフィルタ処理を施し、コントラストをあらわす所定周波数を抽出しながら最大値を選択し、垂直方向に積分演算を行う。輝度積分回路では、ＲＧＢ信号から輝度成分を混合生成し、入力画像を複数領域に分割し、領域毎に輝度成分を生成する。信号処理回路では、撮像素子出力データに色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成する。同時に、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成し、メモリ部１２２にＹＵＶ形式の画像データを形成する。

縮小回路では、信号処理回路の出力を受けて、入力される画素データの切り出し、間引き及び、線形補間処理等を行い、水平垂直方向に画素データの縮小処理を施す。それを受けて、ラスタブロック変換回路では、縮小回路で変倍されたラスタスキャン画像データをブロックスキャン画像データに変換する。こうした一連の画像処理は、メモリ部１２２がバッファメモリとして用いられて実現される。圧縮回路は、バッファメモリでブロックスキャンデータに変換したＹＵＶ画像データを動画圧縮方式に従って圧縮して動画ビットストリームを出力する。

顔検出回路の構成は、図１（ｂ）に示すブロック図で表される。入力される信号としては、信号処理回路の出力ＹＵＶ形式の画像データ或いは、ＪＰＥＧ伸張され、メモリ部１２２にバッファリングされたＹＵＶ形式の画像データが選択可能である。入力されたＹＵＶ形式の画像データは、画像変換部１７１で一旦、所定サイズの画像に変換される。その後、画像抽出部１７２において所望領域が切り出され、中間画像が生成される。中間画像は一時メモリ１７３に記憶される。中間画像を一時的に記憶するメモリは１２２を併用してもよい。次に、特徴抽出部１７４において輝度抽出および、フィルタ処理を行う。その結果をパターン比較部１７５でパターン比較を行って、顔の座標とサイズ、目の座標とサイズ及びその信頼度を出力する。尚、顔検出時のパターン比較を行う場合において、検出する顔の最大個数や、顔として認識する画素サイズを設定することができる。

ここで図１（ａ）に戻り、１１７はメカニカルシャッタ１１２、絞り１１３を制御する露出制御部である。１１８は変倍レンズ１１０、焦点調節レンズ１１１を光軸上に沿って移動させ、被写界像を撮像素子１１４上に結像させるレンズ制御部である。また、１１９は撮影指示を行うレリーズスイッチである。

１２６は入力された音声を音声信号に変換するマイクロフォン、１２７はマイクロフォンの音声出力をデジタル音声信号に変換するＡ／Ｄ変換器、１２８は、デジタル音声データに所定の音声処理を施し、音声ビットストリームを出力する音声処理部ある（以上、音声取得手段を構成する）。

これらの制御は、ＣＰＵとそのインターフェイス回路、ＤＭＡＣ（Direct・Memory・Access・Controller）、バスアービター等で構成されるシステム制御回路１２０で行われる。１９０はシステム制御のマスタクロックとなる水晶発振器Ｂであり、システム制御回路内部のクロック生成部では、音声のＡ／Ｄ変換用のクロックや、プログラム実行用のシステムプライマリクロックを生成する。ＣＰＵが実行するプログラムは、フラッシュメモリ１２１に記憶されている。システム制御回路１２０の内部には、外部の信号を割り込みとして捉えるＩＲＱ（Interrupt Request Signal Line）部、クロック生成部で生成されたクロックで動作するフリーランカウンタ及びインプットキャプチャ部がある。インプットキャプチャ部は、ＩＲＱ部から出力される任意の割込み信号を入力し、割込み発生時のフリーランカウンタを内部に保持するレジスタを複数持つ。また、フリーランカウンタは、クロック生成部の１ＭＨｚのクロックで動作する２０ビットのカウンタであり、インプットキャプチャは、１μｓｅｃ単位の時間計測が可能である。

１４２は電源となる電池、１２９と１４１は画像記録装置１００と電池１４２とを係合させる接続端子、１４０は画像記録装置１００に電池１４２を保持する電池ＢＯＸである。１３２は画像を記録する記録媒体、１２４と１３１は、画像記録装置１００と記録媒体１３２とを係合させる接続端子、１３３は記録媒体の書き込み禁止スイッチを検出するスイッチ、１２５は記録媒体１３２の着脱を検出する検出スイッチである。

１５０は画像処理部１１６で生成され、メモリ部１２２に記憶された画像データを表示用画像に変換してモニタに転送する再生回路、１５１は表示装置である。再生回路１５０では、ＹＵＶ形式の画像データを輝度成分信号Ｙと変調色差成分Ｃとに分離し、Ｄ／Ａ変換を行ったアナログ化されたＹ信号にＬＰＦを施す。また、Ｄ／Ａ変換を行ったアナログＣ信号にＢＰＦを施して変調色差成分の周波数成分のみを抽出する。こうして生成された信号成分とサブキャリア周波数に基づいて、Ｙ信号とＲＧＢ信号に変換生成して、モニタ１５１に出力される。このように、撮像素子からの画像データを逐次処理して表示することによってＥＶＦが実現される。

＜動画撮影記録の説明＞
動画撮影記録を行うため、システム制御回路１２０は予めプログラミングされた動画撮影用の同期信号パターンを画像処理部１１６のＳＳＧ回路に設定する。ＳＳＧ回路は、タイミング発生回路１１５に外付けの水晶発振器のクロックに基づいて、後述する構成で水平及び垂直同期信号を出力する。撮像素子１１４は、これらの同期信号に基づいて生成されるタイミング発生器１１５の出力に従って駆動され、連続的に撮像して得られたデジタル画像データが画像処理部に取り込まれる。取り込まれた画像データは順次、先に説明した画像処理を受けて、表示用のＹＵＶデータと動画記録用のＹＵＶデータに変換される。圧縮部では、動画記録用のＹＵＶデータを圧縮して動画ビットストリームを出力する。システム制御回路１２０は、動画ビットストリームと音声ビットストリームから記録用の動画データをメモリに逐次蓄積しながら、順次記録媒体に記録する。

動画撮影及び記録中において、システム制御回路１２０では、撮像の垂直同期信号を受けて立ち下がりのタイミングで割り込みを発生させ、ＩＲＱ部に割込み信号を入力する。インプットキャプチャ部では、ＩＲＱ部からの垂直同期信号の割込みを受けて、垂直同期信号の立下りタイミングのフリーランカウンタの出力をレジスタに保持する。

撮像同期信号は、音声サンプリングと同期したクロックでカウントした値に変換することにより、音声サンプリングと映像サンプリングとの水晶発振器の温度偏差等によるずれ量を定量的に測定することができる。多くのセンサでは、水平期間の最小期間（クロック数）が規定されている。そのため、音声用のクロックと撮像用のクロックが別の水晶発振器で構成されて温度偏差があるシステムの場合では、水平期間を温度偏差量に応じて長めに設定し、調節時にリミットを掛けて最小水平期間を補償する。

ずれの検出から補正までの処理動作を図３のフローチャートを用いて説明する。本処理動作は、システム制御回路１２０がフラッシュメモリ１２１に記憶されたプログラムをロードして実行することで実現する。

システム制御回路１２０のＣＰＵは、垂直同期信号の割り込みでインプットキャプチャを開始する（Ｓ３００）。動画撮影用の同期信号パターンを画像処理部１１６のＳＳＧ回路に設定し、動画撮影記録用の撮像駆動を開始する（Ｓ３０１）。ＣＰＵは撮像垂直信号の割り込みを受けて（Ｓ３０２）、インプットキャプチャ部の所定のレジスタを読み込んで（Ｓ３０３）、次フレームの期待値を演算する（Ｓ３０４）。この期待値は、次の垂直同期信号の割り込み時刻に相当するフリーランカウンタ値の予測値である。フリーランカウンタは２０ビットであるため、インプットキャプチャのレジスタ値に対して0ｘＦＦＦＦＦ（ＨＥＸ）でＡＮＤ処理を行う。

次フレーム以降は、撮像垂直信号の割り込みを受けて（Ｓ３０５）、インプットキャプチャ部の所定のレジスタを読み込んで（Ｓ３０６）、クロック誤差を演算する（Ｓ３０７）。ずれ量の測定は、測定開始時点から測定毎の期待時刻に相当するフリーランカウンタ値と実際に取り込んだフリーランカウンタの値を減算して求める。また、次フレームの期待値を前回の期待値とフレーム時間から求める（Ｓ３０８）。求めたずれ時間を比率計算で撮像クロックに変換し（Ｓ３０９）、調節する行のサイクル数を演算して求める（Ｓ３１０）。また、調節サイクルと調節する行数で決定するクロック数分を減算した水平同期信号のクロック数を求める（Ｓ３１１）。求められた水平同期信号のクロック数が最小水平期間より短いか判定し（Ｓ３１２）、短い場合には水平期間のクロック数を最小水平期間のクロック数に制限し（Ｓ３１３）、次フレームの水平期間のクロック数を設定し直す（Ｓ３１４）。動画撮影が終了でなければ（Ｓ３１５）、次の垂直同期信号の割り込みを待つ（Ｓ３０５）。以上の処理動作により、音声サンプリング用のクロックを基調として撮像用のクロックを調節し、音声サンプリングと映像サンプリングとの水晶発振器の温度偏差等によるずれを調整できる。

画像処理部１１６のＳＳＧ回路の構成は、図４に示す構成で実現することができる。

システム制御回路１２０のＣＰＵは、動画駆動に適した水平同期信号のクロック数と、垂直同期信号の行数をそれぞれ、ＨレジスタＡ（４１０）とＶレジスタ（４０１）に設定する。また、ＣＰＵはＣＹＣレジスタ（４０８）に音声と映像のずれを調節する行のサイクル数（調節周期）を設定して保持する。本実施例では、ＣＹＣレジスタには、全行で調節する場合にはゼロを設定し、１行おきに調節する場合には１を設定するが、これに限るものではない。ＣＰＵは先に説明した調節用の水平同期信号のクロック数をＨレジスタＢ（４１１）に設定する。通常、映像と音声を調節しない時には調節許可レジスタ（４１３）を非許可設定にし、Ｈレジスタセレクタ（４１２）をＨレジスタＡの選択に固定する。

Ｈカウンタ４０５は、撮像クロック入力に伴ってカウントアップを行う。Ｈレジスタセレクタ（４１２）出力は、Ｈカウントコンパレータ（４０６）に入力され、Ｈカウンタ(水平カウンタ)（４０５）の出力値が、Ｈレジスタセレクタ（４１２）が選択しているＨレジスタ値と等しくなった時に１を出力する。Ｈカウントコンパレータ（４０６）出力は、Ｖカウンタ(垂直カウンタ)（４０２）に入力され、Ｖカウントを更新する。Ｖカウンタ出力はＶカウントコンパレータ（４０３）に入力され、Ｖレジスタ値と一致した時に、Ｖカウントコンパレータ（４０１）は、ＩＲＱ（４０４）に割り込みのための信号を出力する。また、Ｖカウントコンパレータの出力がＶカウンタ（４０２）に入力されると、Ｖカウンタがゼロにリセットされる。

また、Ｈカウントコンパレータ（４０６）の出力がＨカウンタ（４０５）に入力されると、Ｈカウントがゼロにリセットされる。

更に、Ｈカウントコンパレータ（４０６）の出力はＣＹＣカウンタ(調節周期カウンタ)（４０７）に入力され、ＣＹＣカウントアップを行う。ＣＹＣカウンタ出力はＣＹＣカウンタコンパレータ（４０９）に入力され、ＣＹＣレジスタ値と等しくなった時に１を出力する。ＣＹＣカウンタコンパレータ出力はＨレジスタセレクタ（４１２）に入力され、調節許可レジスタが許可になっている場合には、ＨレジスタＢが選択される。ＣＹＣカウンタコンパレータの出力がゼロの場合には、ＨレジスタＡが選択される。

このような構成により、音声と映像のずれ量を動的に検出し、検出したずれ量から撮像クロック数に変換して求められた水平期間のクロック数と本来の水平期間のクロック数を切り替えてデコードすることにより、撮像同期信号を生成する。これにより、音声と映像のずれ量が広がることを抑えるように音声および映像の同期を調節することができる。

ここまで説明した構成とは別に、撮像クロック発信源となる水晶発振器Ａを使用しないシステムも可能である。すなわち、システム制御用のプライマリクロックから分周されたクロックを外付けのクロックＩＣに入力し、クロックＩＣ出力をタイミング発生回路１１５及び画像処理部１１６のＳＳＧに入力して撮像タイミング信号を生成する。この構成では水晶発振器による温度偏差はない。しかしながら、クロック周波数と実現する動画のフレームレートと出力画素数などの制約により、撮像フレームレートが記録フォーマット上のフレームレートと乖離することがある。この場合においても、同様に記録フォーマット上のフレームレートを期待値として実際の撮像フレームレートとのずれ量を検出することによりフレームレート調節をすることが可能となる。

また、調節サイクルを設定可能としているので、全行でのクロック調節に代わり所定行間隔に分散して微小な調節が可能となる。この機構を使わず、全行での調節だけにするかどうかは１行の時間と最短露光時間との兼ね合いで適宜決めることができる。

図２（ｃ）及び、（ｄ）は、それぞれ異なる蓄積時間での動画撮影で、全行のみで調節を行った場合の駆動タイミングチャートである。露光時間によって各行の露光時間にクロック単位でずれが生じるが、クロックが微小であるため、実際の露光斑にはならない。

図２（ｅ）及び、（ｆ）は、それぞれ異なる蓄積時間での動画撮影で、所定行間隔で調節を行った場合の駆動タイミングチャートである（調整用水平期間の周期的な挿入）。この場合も露光時間によって調整行の露光時間にクロック単位でずれが生じるが、クロックが小さいため、実際の露光斑にはならない。

＜ＡＦ動作の説明＞
図５は、動画撮影記録中におけるＡＦ(自動焦点調節)動作のフローチャートである。このフローチャートを用いて本実施例に係わるＡＦ動作を説明する。この動作も、システム制御回路１２０がフラッシュメモリ１２１に記憶されたプログラムをロードして実行することで実現する。

システム制御回路１２０のＣＰＵは、動作撮影記録を開始し（Ｓ５００）、撮像素子の撮像領域に設定された評価領域に対し定期的な評価値による合焦率判定を行う（Ｓ５０１）。合焦率が低いと判断された場合には、撮像に同期してフォーカスレンズを等速で移動する（Ｓ５０２）。最初の先頭行の露光が完了すると（Ｓ５０３）、該当フレームのイメージプロパティ(画像情報)を取得し（Ｓ５０４）、評価値の積分を行う（Ｓ５０５）。焦点距離に応じた評価値サンプリング数分のスキャンが終了したかを判定し（Ｓ５０６）、スキャンが終了すると、上段、中段、下段それぞれの評価値枠の重心時刻を求める（Ｓ５０７）。各評価値枠の重心時刻にフォーカスレンズの位置を対応付け（Ｓ５０８）、所定のアルゴリズムで最も焦点の合った位置(合焦位置)にフォーカスレンズを移動させる（Ｓ５０９）。これらを動画記録が終了するまで続ける（Ｓ５１０）。

次に、図６を用いて、各評価値枠の重心時刻の算出処理を説明する。この処理も、システム制御回路１２０がフラッシュメモリ１２１に記憶されたプログラムをロードして実行することで実現する。

図６（ａ）は、調節フレームにおける調節フィールドのサイクルを１とし、全フィールドで調節を行う場合のタイミングチャートを示している。また、図６（ｂ）は、調節フレームにおける調節フィールドのサイクルを４とした時のタイミングチャートである。なお、各フレームについての画像情報出力のデータも図示してある。

実施例においては、ＡＦ評価値を演算する領域は、垂直方向に３分割され、上段が２乃至５行、中段が６乃至９行、下段が１０乃至１３行としているが、これに限られるわけではない。

システム制御回路１２０のＣＰＵは、動画記録中に音声と映像のずれを調節しながら、垂直同期信号の割り込みを受けてインプットキャプチャのデータを取得すると共に、これから始まるフレームのフィールドデータを収集する。この収集されたデータは、イメージプロパティとしてＡＦ評価値を演算するプログラムモジュールに受け渡される。イメージプロパティの内容は様々であるが、ＡＦ評価に必要なデータに限定すれば、次のデータが含まれる。すなわち、フレームの先頭時刻（ＶＤ立下りのフリーランカウンタ値（Tv）、フレーム内の標準の水平期間の時間（Tr）、前フィールドの調節用水平期間の時間（Tf）、本フィールドの調節用水平期間の時間（Tb）、本フィールドの蓄積行数（AcL）である。

システム制御回路１２０のＣＰＵは、イメージプロパティと各枠の開始行（SL）と終了行（EL）(枠の位置情報)に基づいて以下の式から、各枠の開始時刻（Tfs）と終了時刻（Tfe）を求め、各枠の重心時刻（Tg）を求める。尚、式中のiは１、２および３のいずれかで、１が上段、２が中段、３が下段を示す。

上記式から明らかなように、本件発明の重心時刻の演算方法は、標準水平期間の時間（Tr）が本フィールドの調節用水平期間の時間（Tb）であるかどうかによって異なっている。すなわち、音声と映像のずれの調節が行われた場合にはそれを考慮(補正)した演算方法を用いている。

以上のように、ＡＦ評価値積分を行う撮像出力データと、撮像出力データの特徴を示すイメージプロパティと、ＡＦ評価値枠の開始行及び終了行から各評価値枠の重心時刻を求めることができる。従って、従来技術のようにシステム時刻の取り込みがないので、少ないシステムリソースでも重心時刻におけるフォーカスレンズ位置を対応させることが可能となる。また、動画撮影及び、または記録中において、音声と映像のずれを調節する場合においても、ＡＦ評価値の重心時刻とフォーカスレンズ位置の対応付けは常に同じ処理で行うことが可能となる。

本発明をその好適な実施形態に基づいて詳述してきたが、本発明はそれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

なお、システム制御回路１２０による制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims

二次元に配置された複数の画素を有し、各画素のリセットタイミングを行単位で変更可能な撮像手段と、前記撮像手段の撮像領域に複数の評価領域を設定し、フォーカスレンズを移動しながら前記複数の評価領域内の画素の出力から得られる評価値に基づいて合焦位置を検出することにより焦点調節を行う自動焦点調節手段と、前記撮像手段を駆動する撮像駆動手段と、音声をサンプリングする音声取得手段と、前記撮像駆動手段により駆動された前記撮像手段の出力と前記音声取得手段の出力を動画として記録する動画記録手段とを有する画像記録装置において、前記撮像駆動手段が、音声データのサンプリングするクロックを基調として、前記撮像手段の出力のレートを調節するフレームレート調節手段を有し、前記フレームレート調節手段によりフレームレート調節を行ったフレームでの前記撮像手段の画素の出力から得られる評価値に基づいて前記自動焦点調節を行う際に、前記自動焦点調節手段は、フレームレート調節による時間ずれ量を補正して前記複数の評価領域ごとのフォーカスレンズの位置を求めることを特徴とする画像記録装置。
前記撮像手段は、出力される画像の特徴を示す画像情報を出力する画像情報出力手段を有し、前記自動焦点調節手段は、前記画素の出力から得られた評価値と、前記画像情報出力手段が出力した画像情報と、複数の評価領域の位置情報とに基づいて、評価領域ごとにフレームレート調節による時間ずれ量が補正された重心時刻を求め、該重心時刻とフォーカスレンズ位置を対応付けることを特徴とする請求項１に記載の画像記録装置。
前記画像情報は、前記フレームレート調節手段によるフレームレート調節の情報を含むことを特徴とする請求項２に記載の画像記録装置。
前記フレームレート調節手段は、前記撮像駆動手段が前記撮像手段を駆動するために設定されたフレーム内の標準水平期間に調節用の水平期間を周期的に挿入して調節用の水平期間を設定することによりフレームレートを調節することを特徴とする請求項１乃至３のいずれか１項に記載の画像記録装置。
前記フレームレート調節手段は、前記設定された標準の水平期間を保持する標準水平期間の保持手段と、前記設定された調節用の水平期間を保持する調節用水平期間の保持手段と、該標準水平期間の保持手段と調節用水平期間の保持手段の出力を選択する水平期間の選択手段と、調節周期を設定して保持する調節周期の保持手段と、撮像クロックごとにカウントアップする水平カウンタと、該水平カウンタの値と前記水平期間の選択手段で選択された出力値が一致したときに、それぞれがカウントアップする垂直カウンタと調節周期カウンタとを有し、前記水平期間の選択手段は、前記調節周期カウンタの値が調節周期の保持手段の保持する値に等しくなったときに、前記調節用水平期間の保持手段の出力を選択することを特徴とする請求項１乃至４のいずれか１項に記載の画像記録装置。
二次元に配置された複数の画素を有し、各画素のリセットタイミングを行単位で変更可能な撮像手段と、前記撮像手段の撮像領域に複数の評価領域を設定し、フォーカスレンズを移動しながら前記複数の評価領域内の画素の出力から得られる評価値に基づいて合焦位置を検出することにより焦点調節を行う自動焦点調節手段と、前記撮像手段を駆動する撮像駆動手段と、音声をサンプリングする音声取得手段と、前記撮像駆動手段により駆動された前記撮像手段の出力と前記音声取得手段の出力を動画として記録する動画記録手段とを有する画像記録装置の制御方法において、音声データのサンプリングするクロックを基調として、前記撮像手段の出力のレートを調節するフレームレート調節ステップ、前記フレームレート調節ステップでフレームレート調節を行ったフレームでの前記撮像手段の画素の出力から得られる評価値に基づいて前記自動焦点調節を行う際に、フレームレート調節による時間ずれ量を補正して前記複数の評価領域ごとのフォーカスレンズ位置を求める自動焦点調節ステップを備えることを特徴とする画像記録装置の制御方法。
コンピュータを、請求項１乃至５のいずれか１項に記載された画像記録装置の各手段として機能させるプログラム。
コンピュータを、請求項１乃至６のいずれか１項に記載された撮像装置の各手段として機能させるプログラムを記憶した記憶媒体。
請求項６に記載の制御方法をコンピュータに実行させるプログラム。
請求項９項記載のプログラムを記録したコンピュータが読み取り可能な記憶媒体。