JP2010166462A - ビデオカメラ - Google Patents

Abstract

【構成】イメージセンサ１８は、フォーカルプレーン電子シャッタ方式で撮像面を露光し、被写界を表す画像を繰り返し出力する。イメージセンサ１８から出力された画像は、前処理回路２４に設けられたズーム回路２４ｚによって縮小される。メモリ制御回路４０は、ズーム回路２４ｚによって作成された縮小画像のうち、既定サイズの抽出エリアＥＸに属する一部の縮小画像を抽出する。ＬＣＤモニタ４８には、抽出された縮小画像に基づく動画像が表示される。ＣＰＵ３６は、フォーカルプレーン歪みが抑制されるように抽出エリアＥＸの形状を変更するとともに、光軸に直交する方向における撮像面の動きが補償されるように抽出エリアＥＸの位置を変更する。ＣＰＵ３６はまた、ズーム操作を受け付けたとき、ズーム回路２４ｚによって作成される縮小画像のサイズを既定サイズを上回る範囲で変更する。
【効果】被写界像の再現性能が向上する。
【選択図】図１

Description

この発明は、ビデオカメラに関し、特にフォーカルプレーン電子シャッタ方式を採用するイメージセンサから出力された画像データにフォーカルプレーン歪補正処理を施す、ビデオカメラに関する。

この種のカメラの一例が、特許文献１に開示されている。この背景技術によれば、ズームキーによって指示された電子ズーム倍率に対応する変倍パラメータが、ＲＡＷデータ用変倍回路に設定される。ＲＡＷデータ用変倍回路は、Ａ／Ｄ変換器から出力された画像データに変倍パラメータに従う変倍処理を施す。画像表示部には、変倍処理回路から出力されたＲＡＷデータに基づく動画像が表示される。

特開２００７−１６６５５１号公報

しかし、変倍処理を施されたＲＡＷデータによって表現される画像の画角が画像表示部に表示される画像の画角と一致すると、画角に影響を及ぼす画質補正処理を実行することができず、被写界像の再現性能が低下するおそれがある。

それゆえに、この発明の主たる目的は、被写界像の再現性能を向上させることができる、ビデオカメラを提供することである。

この発明に従うビデオカメラ(10：実施例で相当する参照符号。以下同じ)は、被写界を表す画像を繰り返し出力する撮像手段(18)、撮像手段から出力された画像を縮小する縮小手段(24z)、縮小手段によって作成された縮小画像のうち既定サイズの抽出エリアに属する一部の縮小画像を抽出する抽出手段(40)、およびズーム操作を受け付けたとき縮小手段によって作成される縮小画像のサイズを既定サイズを上回る範囲で変更するサイズ変更手段(S79)を備える。

撮像手段は、被写界を表す画像を繰り返し出力する。撮像手段から出力された画像は、縮小手段によって縮小される。抽出手段は、縮小手段によって作成された縮小画像のうち既定サイズの抽出エリアに属する一部の縮小画像を抽出する。サイズ変更手段は、ズーム操作を受け付けたとき、縮小手段によって作成される縮小画像のサイズを既定サイズを上回る範囲で変更する。

既定サイズを上回る範囲で縮小画像のサイズを変更することで、画角に影響を及ぼす画質補正処理をズーム範囲の全域において実行することができる。これによって、被写界像の再現性能が向上する。

好ましくは、撮像手段の前方に設けられるズームレンズ(12)、およびサイズ変更手段の変更処理に関連してズームレンズの倍率をサイズ変更手段の変更方向と同じ方向に変更する倍率変更手段(S75)がさらに備えられる。

好ましくは、光軸に直交する方向における撮像面の動きを検出する検出手段(S23, S25)、および検出手段によって検出された動きが補償されるように抽出エリアの位置を変更する位置変更手段(S33)がさらに備えられる。

或る局面では、撮像手段はフォーカルプレーン電子シャッタ方式で撮像面を露光する露光手段(66)を含み、検出手段によって検出された動きに基づいてフォーカルプレーン歪みが抑制されるように抽出エリアの形状を変更する形状変更手段(S27)がさらに備えられる。

或る実施例では、抽出エリアは左辺および右辺を有する矩形のエリアであり、形状変更手段は検出手段によって検出された動きの水平成分に基づいて右辺および左辺の傾斜量を変更する。

さらに好ましくは、形状変更手段によって変更された傾斜量を参照して位置変更手段の変更量を制限する制限手段(S31)がさらに備えられる。

他の局面では、検出手段によって検出された動きが撮像面のパン／チルト動作に相当するとき位置変更手段を停止させる停止手段(S29)がさらに備えられる。

好ましくは、撮像手段から出力された画像は各画素が複数色のいずれか１つの色情報を有する画像に相当し、抽出手段によって抽出された縮小画像を各画素が複数色の全ての色情報を有する画像に変換する変換手段(44)がさらに備えられる。

好ましくは、抽出手段によって抽出された縮小画像に基づく動画像を出力する出力手段(46)がさらに備えられる。

この発明によれば、既定サイズを上回る範囲で縮小画像のサイズを変更することで、画角に影響を及ぼす画質補正処理をズーム範囲の全域において実行することができる。これによって、被写界像の再現性能が向上する。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の一実施例の構成を示すブロック図である。 （Ａ）はイメージセンサから出力される画像の解像度の一例を示す図解図であり、（Ｂ）はＥＩＳ／ＡＦ評価画像の解像度の一例を示す図解図であり、（Ｃ）はＡＥ／ＡＷＢ評価画像の解像度の一例を示す図解図である。 図１実施例に適用されるイメージセンサの構成の一例を示すブロック図である。 図１実施例に適用される前処理回路の構成の一例を示すブロック図である。 ズーム倍率特性の一例を示すグラフである。 （Ａ）はイメージセンサから出力される画像の一例を示す図解図であり、（Ｂ）は前処理回路から出力される画像の一例を示す図解図であり、（Ｃ）はＥＩＳ／ＡＦ評価画像の解像度の一例を示す図解図であり、（Ｄ）はＡＥ／ＡＷＢ評価画像の解像度の一例を示す図解図である。 （Ａ）はイメージセンサから出力される画像の他の一例を示す図解図であり、（Ｂ）は前処理回路から出力される画像の他の一例を示す図解図であり、（Ｃ）はＥＩＳ／ＡＦ評価画像の解像度の他の一例を示す図解図であり、（Ｄ）はＡＥ／ＡＷＢ評価画像の解像度の他の一例を示す図解図である。 （Ａ）はイメージセンサから出力される画像のその他の一例を示す図解図であり、（Ｂ）は前処理回路から出力される画像のその他の一例を示す図解図であり、（Ｃ）はＥＩＳ／ＡＦ評価画像の解像度のその他の一例を示す図解図であり、（Ｄ）はＡＥ／ＡＷＢ評価画像の解像度のその他の一例を示す図解図である。 図１実施例における撮像動作の一例を示す図解図である。 （Ａ）は抽出エリアの形状変更処理の一例を示す図解図であり、（Ｂ）は抽出エリアの形状変更処理の他の一例を示す図解図であり、（Ｃ）は抽出エリアの形状変更処理のその他の一例を示す図解図であり、（Ｄ）は抽出エリアの形状変更処理のさらにその他の一例を示す図解図である。 （Ａ）は抽出エリアの左辺および右辺の傾斜量を決定する動作の一例を示す図解図であり、（Ｂ）は抽出エリアの左辺および右辺の傾斜量を決定する動作の他の一例を示す図解図である。 （Ａ）は表示倍率“１．０”に対応する抽出エリアの形状の一例を示す図解図であり、（Ｂ）は表示倍率“８．０”に対応する抽出エリアの形状の一例を示す図解図であり、（Ｃ）は表示倍率“１６”に対応する抽出エリアの形状の一例を示す図解図である。 水平マージン特性の一例を示すグラフである。 図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。

図１を参照して、この実施例のディジタルビデオカメラ１０は、ドライバ２０ａ，２０ｂおよび２０ｃによってそれぞれ駆動されるズームレンズ１２，フォーカスレンズ１４および絞りユニット１６を含む。被写界の光学像は、これらの部材を通してＣＭＯＳ型のイメージセンサ１８の撮像面に照射される。撮像面は、水平３０７２画素×垂直１７２８画素に相当する有効画素エリアを有し、かつ原色ベイヤ配列の色フィルタ（図示せず）によって覆われる。各画素で生成される電荷は、Ｒ（Red），Ｇ（Green）およびＢ（Blue）のいずれか１つの色情報を有する。

電源が投入されると、ＣＰＵ３６は、スルー画像処理を実行するべく、対応する命令をドライバ２０ｄに与える。ＳＧ(Signal Generator)２２からは、たとえば１／３０秒毎に垂直同期信号Ｖｓｙｎｃが発生する。ドライバ２０ｄは、ＳＧ２２から発生した垂直同期信号Ｖｓｙｎｃに応答して撮像面をフォーカルプレーン電子シャッタ方式で露光し、これによって生成された電荷を撮像面から読み出す。イメージセンサ１８はＮ個（Ｎ：２以上の整数であり、たとえば“４”）のチャネルＣＨ１〜ＣＨＮを有し、読み出された電荷に基づく生画像データはチャネルＣＨ１〜ＣＨＮから分散的（並列的）に出力される。出力された生画像データは、図２（Ａ）に示すように水平３０７２画素×垂直１７２８画素の解像度を有する。

前処理回路２４は、イメージセンサ１８から出力されたＮチャネルの生画像データに並列的なＮ系統の前処理をそれぞれ施す。各系統の前処理はノイズ除去，縮小ズームおよびエッジ調整によって構成され、このような前処理を経た生画像データはメモリ制御回路４０を通してＳＤＲＡＭ４２の生画像エリア４２ａに書き込まれる。

なお、前処理回路２４における縮小ズームは、ズーム回路２４ｚによって実行される。以下では、ズーム回路２４ｚによって実行される縮小ズームを“ＲＡＷズーム”と定義する。

前処理回路２２によってノイズ除去を施された生画像データ（解像度：水平３０７２画素×垂直１７２８画素）はまた、評価画像作成回路２６および２８に与えられる。評価画像作成回路２６は、与えられた生画像データに垂直２画素の加算処理および水平２画素の加算処理を施して、ＥＩＳ／ＡＦ評価画像データを作成する。一方、評価画像作成回路２８は、与えられた生画像データに水平４画素の加算処理を施して、ＡＥ／ＡＷＢ評価画像データを作成する。

ＥＩＳ／ＡＦ評価画像データは、図２（Ｂ）に示すように水平１５３６画素×垂直８６４画素の解像度を有する。ＡＥ／ＡＷＢ評価画像データは、図２（Ｃ）に示すように水平７６８画素×垂直１７２８画素の解像度を有する。ＥＩＳ／ＡＦ評価画像データは動き検出回路３０およびＡＦ評価回路３２に与えられ、ＡＥ／ＡＷＢ評価画像データはＡＥ／ＡＷＢ評価回路３４に与えられる。

図２（Ａ）および図２（Ｂ）を参照して、撮像面には１つの抽出エリアＥＸと９つの動き検出エリアＭＤ１〜ＭＤと９が割り当てられる。抽出エリアＥＸは、水平１９２０画素×垂直１０８０画素のサイズを有する矩形のエリアである。また、動き検出エリアＭＤ１〜ＭＤ３は撮像面の上段に水平方向に並び、動き検出エリアＭＤ４〜ＭＤ６は撮像面の中段に水平方向に並び、動き検出エリアＭＤ７〜ＭＤ９は撮像面の下段に水平方向に並ぶ。

動き検出回路３０は、動き検出エリアＭＤ１〜ＭＤ９の各々における被写界の動きを表す部分動きベクトルを、ＥＩＳ／ＡＦ評価画像データに基づいて検出する。動き検出回路３０はまた、動き検出エリアＭＤ１〜ＭＤ３の部分動きベクトルを合成して合成動きベクトルＵＶＣを生成し、動き検出エリアＭＤ４〜ＭＤ６の部分動きベクトルを合成して合成動きベクトルＭＶＣを生成し、そして動き検出エリアＭＤ７〜ＭＤ９の部分動きベクトルを合成して合成動きベクトルＬＶＣを生成する。

部分動きベクトルの検出処理および合成動きベクトルの作成処理のいずれも、垂直同期信号Ｖｓｙｎｃが発生する毎に実行される。また、合成動きベクトルＵＶＣは撮像面の上段における被写界の動きを表し、合成動きベクトルＭＶＣは撮像面の中段における被写界の動きを表し、そして合成動きベクトルＬＶＣは撮像面の下段における被写界の動きを表す。

ＣＰＵ３６は、動き検出回路３０から出力された合成動きベクトルＵＶＣ，ＭＶＣおよびＬＶＣに基づいて全体動きベクトルを作成し、光軸に直交する方向における撮像面の動きが手振れおよびパン／チルト動作のいずれに起因するかを全体動きベクトルに基づいて判別し、そして撮像面の動きが手振れに起因するときに全体動きベクトルに沿って抽出エリアＥＸを移動させる。抽出エリアＥＸの位置は、手振れに起因する撮像面の動きが補償（相殺）されるように変更される。

後処理回路４４は、生画像エリア４２ａに格納された生画像データのうち抽出エリアＥＸに属する部分生画像データをメモリ制御回路４０を通して読み出し、読み出された部分生画像データに色分離，白バランス調整，ＹＵＶ変換，拡大ズームなどの後処理を施す。部分生画像データは垂直同期信号Ｖｓｙｎｃに応答して生画像エリア４２ａから読み出され、後処理もまた垂直同期信号Ｖｓｙｎｃに応答して実行される。こうして生成されたＹＵＶ形式の画像データは、動画出力端Ｍ＿ＯＵＴから出力され、メモリ制御回路４０を通してＳＤＲＡＭ４２の動画像エリア４２ｂに書き込まれる。

なお、色分離処理を施された画像データを形成する複数の画素の各々は、Ｒ，ＧおよびＢの全ての色情報を有する。このような画像データの形式がＹＵＶ変換によってＹＵＶ形式に変換され、さらに拡大ズームを施される。また、後処理回路４４における拡大ズームは、ズーム回路４４ｚによって実行される。以下では、後処理回路４４によって実行される拡大ズームを“ＹＵＶズーム”と定義する。

ＬＣＤドライバ４６は、動画像エリア４２ｂに格納された画像データを繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ４８を駆動する。この結果、被写界を表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。

ＡＥ／ＡＷＢ評価回路３４は、評価画像作成回路２８から出力されたＡＥ／ＡＷＢ評価画像データのうち図２（Ｃ）に示す測光／白バランスエリアＥＷＡに属する一部のＡＥ／ＡＷＢ評価画像データを垂直同期信号Ｖｓｙｎｃが発生する毎に積分し、積分値つまりＡＥ／ＡＷＢ評価値を出力する。ＣＰＵ３６は、ＡＥ／ＡＷＢ評価回路３４から出力されたＡＥ／ＡＷＢ評価値に基づいて適正ＥＶ値と適正白バランス調整ゲインとを算出するべく、ＡＥ／ＡＷＢ処理を実行する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ２０ｃおよび２０ｄにそれぞれ設定され、算出された適正白バランス調整ゲインは後処理回路４４に設定される。この結果、ＬＣＤモニタ４８から出力される動画像の明るさおよび白バランスが適度に調整される。

ＡＦ評価回路３２は、評価画像作成回路２６から出力されたＥＩＳ／ＡＦ評価画像データのうち図２（Ｂ）に示すフォーカスエリアＦＡに属する一部のＥＩＳ／ＡＦ評価画像データを抽出し、抽出されたＥＩＳ／ＡＦ評価画像データの高周波成分を垂直同期信号Ｖｓｙｎｃに応答して積分する。算出された積分値つまりＡＦ評価値は、コンティニュアスＡＦ処理のためにＣＰＵ３６に与えられる。ＣＰＵ３６は、与えられたＡＦ評価値を参照して、いわゆる山登り処理によって合焦点を継続的に探索する。フォーカスレンズ１４は、発見された合焦点に配置される。

キー入力装置３８上のズームボタン３８ｚが操作されると、ＣＰＵ３６は、現時点の表示倍率よりも所望の方向に既定量（＝微少量）だけ異なる表示倍率を目標表示倍率として設定し、設定された目標表示倍率に対応する光学ズーム倍率，ＲＡＷズーム倍率およびＹＵＶズーム倍率を算出する。

ＣＰＵ３６は続いて、ズーム処理を実行するべく、算出された光学ズーム倍率，ＲＡＷズーム倍率およびＹＵＶズーム倍率をドライバ２０ａ，ズーム回路２４ｚおよびズーム回路４４ｚにそれぞれ設定する。これによって、目標表示倍率を有するスルー画像がＬＣＤモニタ４８から出力される。

ＣＰＵ３６はその後、ズーム回路２４ｚに設定されたＲＡＷズーム倍率およびズーム回路４４ｚに設定されたＹＵＶズーム倍率に適合するように、動き検出エリアＭＤ１〜ＭＤ９，フォーカスエリアＦＡおよび測光／白バランスエリアＥＷＡの設定を変更する。この結果、手振れ補正処理，コンティニュアスＡＦ処理およびＡＥ／ＡＷＢ処理の精度が向上する。

キー入力装置３８上のムービボタン３８ｍが操作されると、ＣＰＵ３６は、動画記録処理を開始するべくＩ／Ｆ５０に記録開始命令を与える。Ｉ／Ｆ５０は、記録媒体５２内に動画ファイルを作成し、動画像エリア４２ｂに格納された画像データを周期的に読み出し、そして読み出された画像データを記録媒体５２内の動画ファイルに書き込む。ムービボタン３８ｍが再度操作されると、記録停止命令がＩ／Ｆ５０に与えられる。Ｉ／Ｆ５０は、動画像エリア４２ｂからの画像データの読み出しを終了し、書き込み先の動画ファイルをクローズする。これによって、動画ファイルが完成する。

動画記録処理が実行されている途中でキー入力装置３８上のシャッタボタン３８ｓが操作されると、ＣＰＵ３６は、並列静止画記録処理を実行するべく、静止画抽出命令を後処理回路４４に与え、静止画記録命令をＩ／Ｆ５０に与える。後処理回路４４は、シャッタボタン３８ｓが操作された時点の被写界像を表す１フレームの画像データを静止画出力端Ｓ＿ＯＵＴから出力する。出力された画像データは、メモリ制御回路４０を通してＳＤＲＡＭ４２の静止画像エリア４２ｂに書き込まれる。Ｉ／Ｆ５０は、静止画像エリア４２ｃに格納された画像データをメモリ制御回路４０を通して読み出し、読み出された画像データを収めた静止画ファイルを記録媒体５２内に作成する。

一方、動画記録処理が中断されている状態でシャッタボタン３８ｓが操作されると、ＣＰＵ３６は、単独静止画記録処理を実行するべく、いずれも“１．０”を示すＲＡＷズーム倍率およびＹＵＶズーム倍率をズーム回路２４ｚおよび４４ｚに設定し、かつ静止画処理命令および静止画記録命令を前処理回路２４，後処理回路４４およびＩ／Ｆ５０にそれぞれ与える。

これによって、水平３０７２画素×１７２８画素の解像度を有する１フレームの生画像データが前処理回路２４から出力され、ＳＤＲＡＭ４２の生画像エリア４２ａに書き込まれる。

後処理回路４４は、同じ解像度を有する生画像データを生画像エリア４２ａから読み出し、読み出された生画像データに基づくＹＵＶ形式の画像データを静止画出力端Ｓ＿ＯＵＴから出力する。出力された画像データは、メモリ制御回路４０を通してＳＤＲＡＭ４２の静止画像エリア４２ｃに書き込まれる。

Ｉ／Ｆ５０は、静止画像エリア４２ｃに格納された画像データをメモリ制御回路４０を通して読み出し、読み出された画像データを収めた静止画ファイルを記録媒体５２内に作成する。記録が完了すると、上述のスルー画像処理が再開される。

イメージセンサ１８は、図３に示すように構成される。被写界像を表す電荷は、マトリクス状に配置された複数の受光素子５６，５６，…によって生成される。各々の受光素子５６が、上述した画素に相当する。垂直方向に並ぶ受光素子５６，５６，…の各々は、Ａ／Ｄ変換器５８および行選択スイッチ６０を介して共通のＣＤＳ回路６２に接続される。受光素子５６で生成された電荷は、Ａ／Ｄ変換器５８によって１２ビットのディジタルデータに変換される。垂直走査回路６６は、フォーカルプレーン電子シャッタ方式で撮像面を露光するべく、行選択スイッチ６０，６０，…をオン／オフする動作をラスタ走査態様で１画素ずつ実行する。オン状態の行選択スイッチ６０を経た画素データに含まれるノイズは、ＣＤＳ回路６２によって除去される。

列選択スイッチ６４１はＮ＊Ｍ＋１列目（Ｍ：０，１，２，３，…）のＣＤＳ回路６２に割り当てられ、列選択スイッチ６４２はＮ＊Ｍ＋２列目のＣＤＳ回路６２に割り当てられる。同様に、列選択スイッチ６４ＮはＮ＊Ｍ＋Ｎ列目のＣＤＳ回路６２に割り当てられる。

水平走査回路６８は、Ｎ＊Ｍ＋１列目の行選択スイッチ６０がオンされるタイミングで列選択スイッチ６４１をオンし、Ｎ＊Ｍ＋２列目の行選択スイッチ６０がオンされるタイミングで列選択スイッチ６４２をオンする。同様にして、水平走査回路６８は、Ｎ＊Ｍ＋Ｎ列目の行選択スイッチ６０がオンされるタイミングで列選択スイッチ６４Ｎをオンする。

この結果、Ｎ＊Ｍ＋１列目の受光素子５６で生成された電荷に基づく部分生画像データがチャネルＣＨ１から出力され、Ｎ＊Ｍ＋２列目の受光素子５６で生成された電荷に基づく部分生画像データがチャネルＣＨ２から出力される。Ｎ＊Ｍ＋Ｎ列目の受光素子５６で生成された電荷に基づく部分生画像データは、チャネルＣＨＮから出力される。

前処理回路２４は、図４に示すように構成される。チャネルＣＨ１の部分生画像データは前処理ブロックＰＢ１に与えられ、チャネルＣＨ２の部分生画像データは前処理ブロックＰＢ２に与えられる。チャネルＣＨＮの部分生画像データは前処理ブロックＰＢＮに与えられる。

前処理ブロックＰＢ１はＬＰＦ７０１，縮小ズーム回路７２１およびエッジ調整回路７４１によって構成され、前処理ブロックＰＢ２はＬＰＦ７０２，縮小ズーム回路７２２およびエッジ調整回路７４２によって構成される。前処理ブロックＰＢＮはＬＰＦ７０Ｎ，縮小ズーム回路７２Ｎおよびエッジ調整回路７４Ｎによって構成される。なお、縮小ズーム回路７２１〜７２Ｎによって、図１に示すズーム回路２４ｚが構成される。

したがって、各チャネルの部分生画像データは、互いに並列してノイズ除去，縮小ズームおよびエッジ調整の一連の処理を施される。ノイズ除去を施された部分生画像データは評価画像作成回路２６および２８に向けて出力され、エッジ調整を施された部分生画像データはＳＲＡＭ７８に書き込まれる。コントローラ７６は、ＳＲＡＭ７８に格納されたデータ量が閾値に達する毎に書き込み要求をメモリ制御回路４０に向けて発行し、発行先から承認信号が返送されたときに既定量の生画像データをメモリ制御回路４０に向けて出力する。

ズームボタン３８ｚの操作に応答したズーム倍率の設定処理、ならびにＲＡＷズーム倍率を参照した動き検出エリアＭＤ１〜ＭＤ９，フォーカスエリアＦＡおよび測光／白バランスエリアＥＷＡの設定処理は、以下に述べる要領で実行される。目標表示倍率が設定されると、図５に示すグラフを参照して、光学ズーム倍率，ＲＡＷズーム倍率およびＹＵＶズーム倍率が算出される。なお、図５に示すグラフに相当するデータは、グラフデータＧＲＤ１としてフラッシュメモリ５４に保存される。

図５によれば、光学ズーム倍率は、ズームレンズ１２がワイド端に位置するときに“１．０”を示し、ズームレンズ１２がテレ端に位置するときに“１０．０”を示す。光学ズーム倍率はまた、ズームレンズ１２がワイド端からテレ端に移動するにつれて線形に増大し、表示倍率が“１６”を上回る範囲において“１０．０”を維持する。ＹＵＶズーム倍率は、表示倍率が“１６”以下の範囲において“１．０”を維持し、表示倍率が“１６”を上回る範囲において“１０．０”まで線形に増大する。

ＲＡＷズーム倍率は、表示倍率＝１．０（ズームレンズ１２＝ワイド端）に対応して“０．６２５”を示し、表示倍率＝１６（ズームレンズ１２＝テレ端）に対応して“１．０”を示す。ＲＡＷズーム倍率はまた、表示倍率が“１．０”から“１６”に向かうにつれて線形に増大し、表示倍率が“１６”を上回る範囲において“１．０”を維持する。

目標表示倍率が“１．０”に設定されると、光学ズーム倍率として“１．０”が算出され、ＲＡＷズーム倍率として“０．６２５”が算出され、そしてＹＵＶズーム倍率として“１．０”が算出される。また、目標表示倍率が“８．０”に設定されると、光学ズーム倍率として“５．０”が算出され、ＲＡＷズーム倍率として“０．７６９２”が算出され、そしてＹＵＶズーム倍率として“１．０”が算出される。さらに、目標表示倍率が“１６”に設定されると、光学ズーム倍率として“１０．０”が算出され、ＲＡＷズーム倍率として“１．０”が算出され、そしてＹＵＶズーム倍率として“１．０”が算出される。

こうして算出された光学ズーム倍率，ＲＡＷズーム倍率およびＹＵＶズーム倍率は、ドライバ２０ａ，ズーム回路２４ｚおよびズーム回路４４ｚにそれぞれ設定される。また、動き検出エリアＭＤ１〜ＭＤ９，フォーカスエリアＦＡおよび測光／白バランスエリアＥＷＡは、設定されたＲＡＷズーム倍率の大きさに応じて異なる態様で撮像面に割り当てられる。

図６（Ａ）に示す生画像データが光学ズーム倍率“１．０”に対応してイメージセンサ１８から出力された場合、前処理回路２４からは図６（Ｂ）に示すサイズ（＝水平１９３５画素×垂直１０８８画素）を有する生画像データが出力される。後処理回路４４は、図６（Ｂ）に示す生画像データのうち抽出エリアＥＸ（サイズ：水平１９２０画素×垂直１０８０画素）に属する一部の生画像データに後処理を施す。ＹＵＶズーム倍率は“１．０”であるため、抽出エリアＥＸに相当する画角の画像がＬＣＤモニタ４８に表示される。

また、図６（Ｃ）に示すように、フォーカスエリアＦＡはＥＩＳ／ＡＦ評価画像の全域に割り当てられ、動き検出エリアＭＤ１〜ＭＤ９はフォーカスエリアＦＡとの間で既定関係を有するようにＥＩＳ／ＡＦ評価画像上に割り当てられる。さらに、図６（Ｄ）に示すように、測光／白バランスエリアＥＷＡは、ＡＥ／ＡＷＢ評価画像の全域に割り当てられる。

光学ズーム倍率が“５．０”に変更されると、図７（Ａ）に示す生画像データがイメージセンサ１８から出力される。ＲＡＷズーム倍率は“０．７６９２”に変更されるため、前処理回路２４からは図７（Ｂ）に示すサイズ（＝水平２３６３画素×垂直１３２９画素）を有する生画像データが出力される。後処理回路４４は、図７（Ｂ）に示す生画像データのうち抽出エリアＥＸに属する一部の生画像データに後処理を施す。ＹＵＶズーム倍率は“１．０”であり、この結果、図７（Ｂ）に示す抽出エリアＥＸに相当する画角のスルー画像がＬＣＤモニタ４８に表示される。

また、図７（Ｃ）を参照して、ＥＩＳ／ＡＦ評価画像の中央には水平１２５８画素×垂直６９７画素に相当するサイズのフォーカスエリアＦＡが割り当てられる。動き検出エリアＭＤ１〜ＭＤ９は、このようなフォーカスエリアＦＡとの間で既定関係を有するようにＥＩＳ／ＡＦ評価画像上に割り当てられる。さらに、図７（Ｄ）を参照して、測光／白バランスエリアＥＷＡは、水平５９０画素×垂直１３２９画素を有して、ＡＥ／ＡＷＢ評価画像上に割り当てられる。

光学ズーム倍率が“１０．０”に変更されると、図８（Ａ）に示す生画像データがイメージセンサ１８から出力される。ＲＡＷズーム倍率は“１．０”に変更され、前処理回路２４からは図８（Ｂ）に示すサイズ（＝水平３０９６画素×垂直１７２８画素）を有する生画像データが出力される。後処理回路４４は、図８（Ｂ）に示す生画像データのうち抽出エリアＥＸに属する一部の生画像データに後処理を施す。ＹＵＶズーム倍率は“１．０”であり、この結果、図８（Ｂ）に示す評価エリアＥＸに相当する画角のスルー画像がＬＣＤモニタ４８に表示される。

図８（Ｃ）を参照して、ＥＩＳ／ＡＦ評価画像の中央には水平９６８画素×垂直５４０画素に相当するサイズのフォーカスエリアＦＡが割り当てられる。動き検出エリアＭＤ１〜ＭＤ９は、このようなフォーカスエリアＦＡとの間で既定関係を有するようにＥＩＳ／ＡＦ評価画像上に割り当てられる。さらに、図８（Ｄ）を参照して、測光／白バランスエリアＥＷＡは、水平４８４画素×垂直１０８０画素を有して、ＡＥ／ＡＷＢ評価画像上に割り当てられる。

このように、ＲＡＷズーム倍率は、光学ズーム倍率の増大に伴って増大し、光学ズーム倍率の減少に伴って減少する。したがって、後処理回路４４によって抽出された生画像データに基づく被写界像の画角は、光学ズーム倍率の増大に起因する減少率を上回る率で減少し、光学ズーム倍率の減少に起因する増大率を上回る率で増大する。この結果、低ズーム倍率範囲では、撮像面の解像度の増大に関わらず、広い画角が確保される。また、高ズーム倍率範囲では、ズーム効果が増大する。こうして、被写界像の再現性能が向上する。

上述のように、イメージセンサ１６はフォーカルプレーン電子シャッタ方式で撮像面を露光するため、露光タイミングは水平画素列によって異なる。すると、生画像エリア４２ａに格納された生画像データには、撮像面の水平移動に起因して水平方向のフォーカルプレーン歪が発生する（図９参照）。そこで、ＣＰＵ３６は、動き検出回路３０から取り込まれた合成ベクトルＵＶＣ，ＭＶＣおよびＬＶＣに基づいて、フォーカスプレーン歪が抑制されるように抽出エリアＥＸの形状を変更する。

水平方向のフォーカルプレーン歪が発生したときは、抽出エリアＥＸを表す矩形の右辺および左辺の傾斜量が、図１０（Ａ）〜図１０（Ｄ）に示す要領で変更される。つまり、撮像面が右方向に移動したとき、撮像面の露光タイミングは図１０（Ａ）の左欄に示す要領で変化するため、抽出エリアＥＸの右辺および左辺は図１０（Ａ）の右欄に示す要領で傾斜される。また、撮像面が左方向に移動したとき、撮像面の露光タイミングは図１０（Ｂ）の左欄に示す要領で変化するため、抽出エリアＥＸの右辺および左辺は図１０（Ｂ）の右欄に示す要領で傾斜される。

さらに、撮像面の移動方向が右から左に反転したとき、撮像面の露光タイミングは図１０（Ｃ）の左欄に示す要領で変化するため、抽出エリアＥＸの右辺および左辺は図１０（Ｃ）の右欄に示す要領で傾斜される。さらにまた、撮像面の移動方向が左から右に反転したとき、撮像面の露光タイミングは図１０（Ｄ）の左欄に示す要領で変化するため、抽出エリアＥＸの右辺および左辺は図１０（Ｄ）の右欄に示す要領で傾斜される。

傾斜量は、動き検出回路２２から出力された合成ベクトルＵＶＣ，ＭＶＣおよびＬＶＣに基づいて、図１１（Ａ）または図１１（Ｂ）に示す要領で決定される。まず、合成動きベクトルＵＶＣ，ＭＶＣおよびＬＶＣの水平成分が“ＵＶＣｘ”，“ＭＶＣｘ”および“ＬＶＣｘ”として特定される。次に、動き検出エリアＭＤ１〜ＭＤ３の垂直位置に対応して水平成分ＵＶＣｘのＹ座標が決定され、動き検出エリアＭＤ４〜ＭＤ６の垂直位置に対応して水平成分ＭＶＣｘのＹ座標が決定され、そして動き検出エリアＭＤ７〜ＭＤ９の垂直位置に対応して水平成分ＬＶＣｘのＹ座標が決定される。

さらに、水平成分ＭＶＣｘの末端のＸ座標が水平成分ＵＶＣｘの先端のＸ座標と一致し、かつ水平成分ＬＶＣｘの末端のＸ座標が水平成分ＭＶＣｘの先端のＸ座標と一致するように、水平成分ＵＶＣｘ，ＭＶＣｘおよびＬＶＣｘの先端のＸ座標が決定される。その後、決定された３つのＸＹ座標を結ぶ直線または曲線を表す近似関数が算出される。

したがって、水平成分ＵＶＣｘ，ＭＶＣｘおよびＬＶＣｘが図１１（Ａ）の左欄に示す大きさを有する場合、図１１（Ａ）の中央欄に示す要領で３つのＸＹ座標が決定され、図１１（Ａ）の右欄に示す傾斜を有する近似関数が算出される。また、水平成分ＵＶＣｘ，ＭＶＣｘおよびＬＶＣｘが図１１（Ｂ）の左欄に示す大きさを有する場合、図１１（Ｂ）の中央欄に示す要領で３つのＸＹ座標が決定され、図１１（Ｂ）の右欄に示す傾斜を有する近似関数が算出される。抽出エリアＥＸの形状は、こうして算出された近似関数を参照して変更される。

手振れが発生した場合、撮像面は最大１０Ｈｚ程度で振動する。すると、抽出エリアＥＸには、表示倍率“１．０”に対応して最大で水平５画素に相当する傾斜が発生し、表示倍率“８．０”に対応して最大で水平４０画素に相当する傾斜が発生し、そして表示倍率“１６”に対応して最大で水平８０画素に相当する傾斜が発生する（図１２（Ａ）〜図１２（Ｃ）参照）。

一方、生画像データのサイズは、ズームボタン３８ｚの操作に応答して変更されるものの、ズーム範囲の全域において抽出エリアＥＸのサイズを上回る。特に、表示倍率“１．０”が設定されたときは、図６（Ｂ）に示すように水平方向において１５画素のマージンが確保される。この結果、最低の表示倍率においてもフォーカルプレーン歪みを補正することができる。

ただし、抽出エリアＥＸの移動可能範囲は、このような抽出エリアＥＸの変形に対応して減少する。つまり、抽出エリアの移動可能範囲は、表示倍率“１．０”に対応して最大で水平１５画素分減少し、表示倍率“８．０”に対応して最大で水平４２画素分減少し、そして表示倍率“１６”に対応して最大で水平６４画素分減少する。

そこで、ＣＰＵ３６は、図１３に示すグラフを参照して目標表示倍率に対応する水平マージンを特定し、特定された水平マージンを参照して抽出エリアＥＸの移動量を決定する。抽出エリアの移動量は、全体動きベクトルの水平成分から水平マージンを減算した量に相当する。これによって、抽出エリアＥＸの一部が生画像エリア４２ａから外れる事態を回避することができる。なお、図１３に示すグラフに相当するデータは、グラフデータＧＲＤ２としてフラッシュメモリ５４に保存される。

ＣＰＵ３６は、図１４に示す撮像タスク，図１５〜図１６に示す手振れ補正タスクおよび図１７〜図１８に示すズーム制御タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ５４に記憶される。

図１４を参照して、ステップＳ１ではスルー画像処理を開始し、ステップＳ３ではコンティニュアスＡＦ処理を開始する。ステップＳ１の処理の結果、水平３０７２画素×垂直１９２８画素の解像度を有する生画像データが１／３０秒毎にイメージセンサ１８から出力され、この生画像データに基づくスルー画像がＬＣＤモニタ４８から出力される。また、ステップＳ３の処理の結果、フォーカスレンズ１４の位置が継続的に調整される。

ステップＳ５では、ＡＥ／ＡＷＢ処理を実行する。この結果、スルー画像の明るさおよび白バランスが適度に調整される。ステップＳ７ではムービボタン３８ｍが操作されたか否かを判別し、ステップＳ９ではシャッタボタン３８ｓが操作されたか否かを判別する。

ムービボタン３８ｍが操作されたときは、ステップＳ７からステップＳ１１に進み、動画記録処理が実行中であるか否かを判別する。ここでＮＯであればステップＳ１３で動画記録処理を開始する一方、ＹＥＳであればステップＳ１５で動画記録処理を停止する。ステップＳ１３またはＳ１５の処理が完了すると、ステップＳ５に戻る。シャッタボタン３８ｓが操作されたときは、ステップＳ１７で単独静止画記録処理または並列静止画記録処理を実行し、その後にステップＳ５に戻る。

図１５を参照して、ステップＳ２１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、ＹＥＳであればステップＳ２３で動き検出回路３０から合成動きベクトルＵＶＣ，ＭＶＣおよびＬＶＣを取り込む。ステップＳ２５では、取り込まれた合成動きベクトルＵＶＣ，ＭＶＣおよびＬＶＣに基づいて全体動きベクトルを作成する。ステップＳ２７ではエリア形状変更処理を実行し、続くステップＳ２９では現時点の撮像面の動きがパン／チルト動作に起因するものであるか否かを全体動きベクトルに基づいて判別する。ここでＹＥＳであればそのままステップＳ１に戻る。ＮＯであればステップＳ３１に進み、ステップＳ２５で作成された全体動きベクトルと後述するステップＳ６３で特定された水平マージンとを参照して抽出エリアＥＸの移動量を算出する。移動量は、全体動きベクトルの水平成分から水平マージンを減算した量に相当する。ステップＳ３３では算出された移動量に従って抽出エリアＥＸを移動させ、その後にステップＳ２１に戻る。

ステップＳ２７のエリア形状変更処理は、図１６に示すサブルーチンに従って実行される。まずステップＳ４１で、合成動きベクトルＵＶＣ，ＭＶＣおよびＬＶＣの水平成分を“ＵＶＣｘ”，“ＭＶＣｘ”および“ＬＶＣｘ”として特定する。ステップＳ４３では、動き検出エリアＭＤ１〜ＭＤ３の垂直位置に対応して水平成分ＵＶＣｘのＹ座標を決定し、動き検出エリアＭＤ４〜ＭＤ６の垂直位置に対応して水平成分ＭＶＣｘのＹ座標を決定し、そして動き検出エリアＭＤ７〜ＭＤ９の垂直位置に対応して水平成分ＬＶＣｘのＹ座標を決定する。

ステップＳ４５では、水平成分ＭＶＣｘの末端のＸ座標が水平成分ＵＶＣｘの先端のＸ座標と一致し、かつ水平成分ＬＶＣｘの末端のＸ座標が水平成分ＭＶＣｘの先端のＸ座標と一致するように、水平成分ＵＶＣｘ，ＭＶＣｘおよびＬＶＣｘの先端のＸ座標を決定する。ステップＳ４７では決定された３つのＸＹ座標を結ぶ直線または曲線を表す近似関数を算出し、ステップＳ４９では算出された近似関数に従って抽出エリアＥＸの右辺および左辺の傾斜量を決定する。ステップＳ４９の処理が完了すると、上階層のルーチンに復帰する。

図１７を参照して、ステップＳ５１ではズーム設定を初期化し、ステップＳ５３ではズームボタン３８ｚが操作されたか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ５５に進み、ズームボタン３８ｚの操作態様に応じて異なる表示倍率を目標表示倍率として設定する。ステップＳ５７では、図５に示すグラフを参照して、目標表示倍率に対応する光学ズーム倍率，ＲＡＷズーム倍率およびＹＵＶズーム倍率を算出する。

ステップＳ５９では、ズーム処理を実行するべく、算出された光学ズーム倍率，ＲＡＷズーム倍率およびＹＵＶズーム倍率をドライバ２０ａ，ズーム回路２４ｚおよびズーム回路４４ｚにそれぞれ設定する。これによって、目標表示倍率を有するスルー画像がＬＣＤモニタ４８から出力される。

ステップＳ６１では、ステップＳ５９で設定されたＲＡＷズーム倍率に適合するように、動き検出エリアＭＤ１〜ＭＤ９，フォーカスエリアＦＡおよび測光／白バランスエリアＥＷＡの設定を変更する。この結果、手振れ補正処理，コンティニュアスＡＦ処理およびＡＥ／ＡＷＢ処理が高精度で実行される。ステップＳ６３では、図１３に示すグラフを参照して目標表示倍率に対応する水平マージンを特定する。ステップＳ６３の処理が完了すると、ステップＳ５３に戻る。

ステップＳ５９のズーム処理は、図１８に示すサブルーチンに従って実行される。まず現表示倍率および目標表示倍率のいずれもが１．０倍〜１６倍の範囲内であるか否かをステップＳ７１で判別し、現表示倍率および目標表示倍率のいずれもが１６倍を上回る範囲であるか否かをステップＳ７３で判別する。

ステップＳ７１でＹＥＳであれば、ステップＳ７５で光学ズーム倍率を変更する。光学ズーム倍率の変更動作が完了すると、ステップＳ７７でＹＥＳと判断し、ステップＳ７９でＲＡＷズーム倍率を変更する。ステップＳ７３でＹＥＳであれば、ステップＳ８１でＹＵＶズーム倍率を変更する。ステップＳ７３でＮＯであれば、現表示倍率および目標ズーム倍率が１６倍を跨ぐとみなし、ステップＳ８３３で対応する倍率変更処理を実行する。ステップＳ７９〜Ｓ８３の処理が完了すると、上階層のルーチンに復帰する。

以上の説明から分かるように、イメージセンサ１８は、フォーカルプレーン電子シャッタ方式で撮像面を露光し、被写界を表す画像を繰り返し出力する。イメージセンサ１８から出力された画像は、前処理回路２４に設けられたズーム回路２４ｚによって縮小される。メモリ制御回路４０は、ズーム回路２４ｚによって作成された縮小画像のうち、既定サイズの抽出エリアＥＸに属する一部の縮小画像を抽出する。ＬＣＤモニタ４８には、抽出された縮小画像に基づく動画像が表示される。

ＣＰＵ３６は、フォーカルプレーン歪みが抑制されるように抽出エリアＥＸの形状を変更するとともに(S27)、光軸に直交する方向における撮像面の動きが補償されるように抽出エリアＥＸの位置を変更する(S33)。ＣＰＵ３６はまた、ズーム操作を受け付けたとき、ズーム回路２４ｚによって作成される縮小画像のサイズを既定サイズを上回る範囲で変更する(S79)。

既定サイズを上回る範囲で縮小画像のサイズを変更することで、抽出エリアＥＸの移動および／または変形のような画角に影響を及ぼす画質補正処理をズーム範囲の全域において実行することができる。これによって、被写界像の再現性能が向上する。また、手振れ補正処理およびフォーカルプレーン歪み補正を同時に実行することで、処理に要する時間を短縮することができる。

なお、この実施例では、ＣＭＯＳ型のイメージセンサを用いているが、これに代えてＣＣＤ型のイメージセンサを用いるようにしてもよい。

１０ …ディジタルビデオカメラ
１８ …イメージセンサ
２４ …前処理回路
３０ …動き検出回路
３２ …ＡＦ評価回路
３４ …ＡＥ／ＡＷＢ評価回路
３６ …ＣＰＵ

Claims (9)

1. 被写界を表す画像を繰り返し出力する撮像手段、
   前記撮像手段から出力された画像を縮小する縮小手段、
   前記縮小手段によって作成された縮小画像のうち既定サイズの抽出エリアに属する一部の縮小画像を抽出する抽出手段、および
   ズーム操作を受け付けたとき前記縮小手段によって作成される縮小画像のサイズを前記既定サイズを上回る範囲で変更するサイズ変更手段を備える、ビデオカメラ。
2. 前記撮像手段の前方に設けられるズームレンズ、および
   前記サイズ変更手段の変更処理に関連して前記ズームレンズの倍率を前記サイズ変更手段の変更方向と同じ方向に変更する倍率変更手段をさらに備える、請求項１記載のビデオカメラ。
3. 光軸に直交する方向における撮像面の動きを検出する検出手段、および
   前記検出手段によって検出された動きが補償されるように前記抽出エリアの位置を変更する位置変更手段をさらに備える、請求項１または２記載のビデオカメラ。
4. 前記撮像手段はフォーカルプレーン電子シャッタ方式で前記撮像面を露光する露光手段を含み、
   前記検出手段によって検出された動きに基づいてフォーカルプレーン歪みが抑制されるように前記抽出エリアの形状を変更する形状変更手段をさらに備える、請求項３記載のビデオカメラ。
5. 前記抽出エリアは左辺および右辺を有する矩形のエリアであり、
   前記形状変更手段は前記検出手段によって検出された動きの水平成分に基づいて前記右辺および前記左辺の傾斜量を変更する、請求項４記載のビデオカメラ。
6. 前記形状変更手段によって変更された傾斜量を参照して前記位置変更手段の変更量を制限する制限手段をさらに備える、請求項５記載のビデオカメラ。
7. 前記検出手段によって検出された動きが前記撮像面のパン／チルト動作に相当するとき前記位置変更手段を停止させる停止手段をさらに備える、請求項３ないし６のいずれかに記載のビデオカメラ。
8. 前記撮像手段から出力された画像は各画素が複数色のいずれか１つの色情報を有する画像に相当し、
   前記抽出手段によって抽出された縮小画像を各画素が前記複数色の全ての色情報を有する画像に変換する変換手段をさらに備える、請求項１ないし７のいずれかに記載の電子カメラ。
9. 前記抽出手段によって抽出された縮小画像に基づく動画像を出力する出力手段をさらに備える、請求項１ないし８のいずれかに記載のビデオカメラ。

Images