JP2012227897A - 電子カメラ - Google Patents

Abstract

【構成】光学／撮像系１２Ｌに設けられたＣＭＯＳ型の撮像装置は、左側視野ＶＦ＿Ｌを捉えるＬ側撮像面を有する。一方、光学／撮像系１２Ｒに設けられたＣＣＤ型の撮像装置１２Ｒは、左側視野Ｆ＿Ｌと部分的に共通する右側視野ＶＦ＿Ｒを捉えるＲ側撮像面を有する。Ｌ側撮像面上の複数の位置を互いに異なるタイミングで露光され、Ｒ側撮像面上の複数の位置は同時に露光される。ＣＰＵ３４は、光学／撮像系１２Ｌから出力されたＬ側画像をＬ側撮像面の動きを参照して補正する。画像合成回路２４は、ＣＰＵ３４によって補正されたＬ側画像を光学／撮像系１２Ｒから出力されたＲ側画像を参照して補正する。
【効果】Ｌ側画像に現れた歪みを補正する性能が向上する。
【選択図】図２

Description

この発明は、電子カメラに関し、特にフォーカルプレーン電子シャッタ方式を採用するイメージセンサによってシーンを捉える、電子カメラに関する。

この種のカメラの一例が、特許文献１に開示されている。この背景技術によれば、画像信号は、ＣＭＯＳ型イメージセンサから出力される。補間処理部は、補正対象フレームの画像信号と補正対象フレームの前後の２フレームの画像信号とが供給される。補間処理部にはまた、走査線（画素行）の位置に対応した数値を示す補間係数が供給される。補間処理部は、補正対象フレームの基準時点（たとえばＮ本の走査線の略中心に位置する走査線ｎの露光タイミング）に対応した各画素位置の画素データを、線形補間によって生成する。補間処理部からは、フォーカルプレーン歪みを抑圧するように補正された画像信号が出力される。

特開２００９−２８４００１号公報

しかし、背景技術では、動きの速いオブジェクトが存在する場合に補間処理部の動作が停止される。このため、歪み補正性能に限界がある。

それゆえに、この発明の主たる目的は、画像に現れた歪みを補正する性能を高めることができる、電子カメラを提供することである。

この発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)は、第１視野を捉える第１撮像面を有する第１撮像手段(123L)、第１視野と共通する第２視野を捉える第２撮像面を有する第２撮像手段(123R)、第１撮像面上の複数の位置を互いに異なるタイミングで露光する第１露光手段(126L)、第２撮像面上の複数の位置を同時に露光する第２露光手段(126R)、第１露光手段の露光に対応して第１撮像手段から出力された第１画像を第１撮像面の動きを参照して補正する第１補正手段(S29~S31, 20, 42)、および第１補正手段によって補正された第１画像を第２露光手段の露光に対応して第２撮像手段から出力された第２画像を参照して補正する第２補正手段(24)を備える。

好ましくは、第１補正手段の補正のために第１露光手段の露光と並列して第１撮像面の動きを検出する検出手段(16L, S25)がさらに備えられる。

好ましくは、第２補正手段は、共通視野に属する第１部分画像を第１画像から抽出する第１抽出手段(40L, 44)、共通視野に属する第２部分画像を第２画像から抽出する第２抽出手段(40R, 46)、および第１抽出手段によって抽出された第１部分画像と第２抽出手段によって抽出された第２部分画像とを合成する合成手段(48~58)を含む。

さらに好ましくは、合成手段は、第２部分画像の低域周波数成分を抽出して低周波画像を出力するフィルタ手段(48)、およびフィルタ手段から出力された低周波画像と第１部分画像とを合成して第１合成画像を出力する第１合成画像出力手段(50~52)を含む。

或る局面では、第１合成画像出力手段は、低周波画像と第１部分画像との差分を検出する差分検出手段(50)、および差分検出手段によって検出された差分が小さいほど第１部分画像に対する重み付けが増大する態様で低周波画像と第１部分画像とに加重加算を施す第１加重加算手段(52)を含む。

他の局面では、合成手段は第１合成画像出力手段から出力された第１合成画像と第２部分画像とを合成して第２合成画像を出力する第２合成画像出力手段(54~56)をさらに含む。

より好ましくは、第２合成処理手段は、低周波画像からエッジ成分を検出するエッジ成分検出手段(54)、およびエッジ成分検出手段によって検出されたエッジ成分が大きいほど第２部分画像に対する重み付けが増大する態様で第１合成画像と第２部分画像とに加重加算を施す第２加重加算手段(56)を含む。

好ましくは、第１撮像面は第１数の画素を有し、第２撮像面は第１数よりも大きい第２数の画素を有し、第１抽出手段は画像サイズを拡大する拡大手段(44)を含む。

好ましくは、第１撮像面は第１感度を有し、第２撮像面は第１感度よりも小さい第２感度を有し、第２抽出手段は画像の明るさを増幅する増幅手段(46)を含む。

この発明によれば、第１撮像面上の複数の位置は互いに異なるタイミングで露光されるため、第１撮像面の動きに起因する歪みと第１視野に存在する物体の動きに起因する歪みとが第１画像に現れる。これに対して、第２撮像面上の複数の位置は同時に露光されるため、第１画像に現れた歪みに相当する歪みが第２画像に現れることはない。第１撮像面の動きに起因する歪みは第１撮像面の動きを参照して補正され、物体の動きに起因する歪みは第２画像を参照して補正される。これによって、第１画像に現れた歪みを補正する性能が向上する。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の一実施例の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 図２実施例の外観を示す斜視図である。 図２実施例によって捉えられるシーンの一例を示す図解図である。 （Ａ）は図２実施例に適用されるＳＤＲＡＭに割り当てられたＬ側抽出エリアの分布状態の一例を示す図解図であり、（Ｂ）は図２実施例に適用されるＳＤＲＡＭに割り当てられたＲ側抽出エリアの分布状態の一例を示す図解図である。 図２実施例に適用される光学／撮像系の構成の一例を示す図解図である。 撮像面に割り当てられた評価エリアおよび動き検出ブロックの分布状態の一例を示す図解図である。 （Ａ）はＬ側画像データに対する手振れ補正処理の一例を示す図解図であり、（Ｂ）はＲ側画像データに対する手振れ補正処理の一例を示す図解図である。 図２実施例における撮像動作の一例を示す図解図である。 （Ａ）は水平方向におけるフォーカルプレーン歪みを補正する処理の一例を示す図解図であり、（Ｂ）は水平方向におけるフォーカルプレーン歪みを補正する処理の他の一例を示す図解図であり、（Ｃ）は水平方向におけるフォーカルプレーン歪みを補正する処理のその他の一例を示す図解図であり、（Ｄ）は水平方向におけるフォーカルプレーン歪みを補正する処理のさらにその他の一例を示す図解図である。 図２実施例における撮像動作の他の一例を示す図解図である。 （Ａ）は垂直方向におけるフォーカルプレーン歪みを補正する処理の一例を示す図解図であり、（Ｂ）は垂直方向におけるフォーカルプレーン歪みを補正する処理の他の一例を示す図解図である。 図２実施例に適用される画像合成回路の構成の一例を示すブロック図である。 （Ａ）はＬ側画像データの一例を示す図解図であり、（Ｂ）は拡大画像データの一例を示す図解図である。 （Ａ）はＲ側画像データの一例を示す図解図であり、（Ｂ）は増幅画像データの一例を示す図解図である。 加重加算回路によって参照される重み付け量αの特性の一例を示すグラフである。 他の加重加算回路によって参照される重み付け量βの特性の一例を示すグラフである。 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用される画像合成回路の構成の他の一例を示すブロック図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］

図１を参照して、この実施例の電子カメラは、基本的に次のように構成される。第１撮像手段１は、第１視野を捉える第１撮像面を有する。第２撮像手段２は、第１視野と共通する第２視野を捉える第２撮像面を有する。第１露光手段３は、第１撮像面上の複数の位置を互いに異なるタイミングで露光する。第２露光手段４は、第２撮像面上の複数の位置を同時に露光する。第１補正手段５は、第１露光手段３の露光に対応して第１撮像手段１から出力された第１画像を第１撮像面の動きを参照して補正する。第２補正手段６は、第１補正手段５によって補正された第１画像を第２露光手段４の露光に対応して第２撮像手段２から出力された第２画像を参照して補正する。

第１撮像面上の複数の位置は互いに異なるタイミングで露光されるため、第１撮像面の動きに起因する歪みと第１視野に存在する物体の動きに起因する歪みとが第１画像に現れる。これに対して、第２撮像面上の複数の位置は同時に露光されるため、第１画像に現れた歪みに相当する歪みが第２画像に現れることはない。第１撮像面の動きに起因する歪みは第１撮像面の動きを参照して補正され、物体の動きに起因する歪みは第２画像を参照して補正される。これによって、第１画像に現れた歪みを補正する性能が向上する。
［実施例］

図２を参照して、この実施例のディジタルビデオカメラ１０は、光学／撮像系１２Ｌおよび１２Ｒを含む。電源が投入されると、ＣＰＵ３４によって実行される撮像タスクの下で、光学／撮像系１２Ｌおよび１２Ｒが起動される。光学／撮像系１２Ｌおよび１２Ｒは、ＳＧ(Signal Generator)１８から周期的に出力される垂直同期信号Ｖｓｙｎｃに応答して、生画像データを繰り返し出力する。以下では、光学／撮像系１２Ｌから出力される生画像データを“Ｌ側生画像データ”と定義し、光学／撮像系１２Ｒから出力される生画像データを“Ｒ側生画像データ”と定義する。

図３に示すように、光学／撮像系１２Ｌおよび１２Ｒは、カメラ筐体ＣＢ１の前面に固定的に設けられる。光学／撮像系１２Ｌはカメラ筐体ＣＢ１の前方に向かって左側に位置し、光学／撮像系１２Ｒはカメラ筐体ＣＢ１の前方に向かって右側に位置する。

光学／撮像系１２Ｌおよび１２Ｒはそれぞれ光軸ＡＸ＿ＬおよびＡＸ＿Ｒを有し、カメラ筐体ＣＢ１の底面から光軸ＡＸ＿Ｌまでの距離（＝Ｈ＿Ｌ）はカメラ筐体ＣＢ１の底面から光軸ＡＸ＿Ｒまでの距離（＝Ｈ＿Ｒ）と一致する。また、水平方向における光軸ＡＸ＿ＬおよびＡＸ＿Ｒの間隔（＝Ｗ１）は、人間の両目の間隔を考慮して６ｃｍ程度に設定される。

したがって、カメラ筐体ＣＢ１の前方に図４に示すシーンが広がっているとき、光学／撮像系１２Ｌは左側視野ＶＦ＿Ｌを捉える一方、光学／撮像系１２Ｒは右側視野ＶＦ＿Ｒを捉える。光学／撮像系１２Ｌおよび１２Ｒはカメラ筐体ＣＢ１において互いに同じ高さ位置に設けられるため、左側視野ＶＦ＿Ｌおよび右側視野ＶＦ＿Ｒの水平位置は僅かにずれるものの、左側視野ＶＦ＿Ｌおよび右側視野ＶＦ＿Ｒの垂直位置は互いに一致する。この結果、光学／撮像系１２Ｌおよび１２Ｒの両方で捉えられる共通視野ＶＦ＿Ｃが、左側視野ＶＦ＿Ｌおよび右側視野ＶＦ＿Ｒの各々に部分的に出現する。

図２に戻って、光学／撮像系１２Ｌから出力されたＬ側生画像データは信号処理回路１４Ｌに与えられ、光学／撮像系１２Ｒから出力されたＲ側生画像データは信号処理回路１４Ｒに与えられる。信号処理回路１４Ｌおよび１４Ｒはいずれも、与えられた生画像データに色分離，白バランス調整，ＹＵＶ変換などの処理を施し、ＹＵＶ形式の画像データをメモリ制御回路２０を通してＳＤＲＡＭ２２に書き込む。信号処理回路１４Ｌから出力された画像データ（Ｌ側画像データ）はＬ側画像エリア２２Ｌに格納され、信号処理回路１４Ｒから出力された画像データ（Ｒ側画像データ）はＲ側画像エリア２２Ｒに格納される。

メモリ制御回路２０は、Ｌ側抽出エリアＥＸ＿Ｌを図５（Ａ）に示す要領でＬ側画像エリア２２Ｌに割り当て、Ｌ側抽出エリアＥＸ＿Ｒを図５（Ｂ）に示す要領でＲ側画像エリア２２Ｒに割り当てる。後段で詳述するように、Ｌ側抽出エリアＥＸ＿ＬおよびＲ側抽出エリアＥＸ＿Ｒはいずれも共通視野ＶＦ＿Ｃに属し、Ｌ側抽出エリアＥＸ＿Ｌに相当する視野はＲ側抽出エリアＥＸ＿Ｒに相当する視野と一致する。

画像合成回路２４は、Ｌ側抽出エリアＥＸ＿Ｌに属する一部のＬ側画像データをメモリ制御回路２０を通してＬ側画像エリア２２Ｌから繰り返し読み出し、Ｒ側抽出エリアＥＸ＿Ｒに属する一部のＲ側画像データをメモリ制御回路２０を通してＲ側画像エリア２２Ｒから繰り返し読み出す。

Ｌ側画像エリア２２Ｌからの読み出し処理およびＲ側画像エリア２２Ｒからの読み出し処理は並列的に実行され、これによって共通するフレームのＬ側画像データおよびＲ側画像データが同時に画像合成回路２４に入力される。画像合成回路２４は、こうして入力されたＬ側画像データおよびＲ側画像データを合成し、合成画像データを作成する。作成された各フレームの合成画像データは、メモリ制御回路２０を通してＳＤＲＡＭ２２の合成画像エリア２２Ｃに書き込まれる。

ＬＣＤドライバ２６は、合成画像エリア２２Ｃに格納された合成画像データをメモリ制御回路２０を通して繰り返し読み出し、読み出された合成画像データに基づいてＬＣＤモニタ２８を駆動する。この結果、Ｌ側抽出エリアＥＸ＿ＬおよびＲ側抽出エリアＥＸ＿Ｒに相当する視野を表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。

図６を参照して、光学／撮像系１２Ｌは、ドライバ１２４Ｌ，１２５Ｌおよび１２６Ｌによってそれぞれ駆動されるフォーカスレンズ１２１Ｌ，絞り機構１２２Ｌおよび撮像装置１２３Ｌを備える。同様に、光学／撮像系１２Ｒは、ドライバ１２４Ｒ，１２５Ｒおよび１２６Ｒによってそれぞれ駆動されるフォーカスレンズ１２１Ｒ，絞り機構１２２Ｒおよび撮像装置１２３Ｒを有する。

左側視野ＶＦ＿Ｌを表す光学像は、フォーカスレンズ１２１Ｌおよび絞り機構１２２Ｌを経由して撮像装置１２３Ｌの撮像面つまりＬ側撮像面に照射される。ドライバ１２６Ｌは、ＳＧ１８から与えられた垂直同期信号Ｖｓｙｎｃに応答してＬ側撮像面を露光し、Ｌ側撮像面に２次元に配列された複数の画素で生成された電荷をラスタ走査態様で読み出す。Ｌ側生画像データは、読み出された電荷に基づいて作成される。

右側視野ＶＦ＿Ｒを表す光学像は、フォーカスレンズ１２１Ｒおよび絞り機構１２２Ｒを経由して撮像装置１２３Ｒの撮像面つまりＲ側撮像面に照射される。ドライバ１２６Ｒもまた、ＳＧ１８から与えられた垂直同期信号Ｖｓｙｎｃに応答してＲ側撮像面を露光し、Ｒ側撮像面に２次元に配列された複数の画素で生成された電荷をラスタ走査態様で読み出す。Ｒ側生画像データは、読み出された電荷に基づいて作成される。

ここで、撮像装置１２３ＬはＣＭＯＳ型の撮像装置に相当し、ドライバ１２６ＬはＬ側撮像面の露光タイミングが水平画素列によって異なるように（フォーカルプレーン電子シャッタ方式で）Ｌ側撮像面を露光する。これに対して、撮像装置１２３ＲはＣＣＤ型の撮像装置に相当し、ドライバ１２６ＲはＲ側撮像面の露光タイミングが水平画素列間で一致するようにＲ側撮像面を露光する。

また、Ｒ側撮像面に設けられた各画素のサイズは、Ｌ側撮像面に設けられた各画素のサイズよりも小さい。したがって、Ｒ側撮像面の感度はＬ側撮像面の感度よりも低く、Ｒ側生画像データのＳ／Ｎ比はＬ側生画像データのＳ／Ｎ比よりも低い。

さらに、Ｒ側撮像面に設けられた画素の数は、Ｌ側撮像面に設けられた画素の数よりも大きい。したがって、Ｒ側生画像データの解像度は、Ｌ側生画像データの解像度よりも高い。また、共通視野ＶＦ＿Ｃに注目したとき、Ｒ側生画像データのエッジ成分量は、Ｌ側生画像データのエッジ成分量よりも多い。

Ｌ側撮像面およびＲ側撮像面の各々には、評価エリアＥＶＡおよび動き検出ブロックＭＤ＿１〜ＭＤ＿９が図７に示す要領で割り当てられる。評価エリアＥＶＡは、各撮像面の中央に配置される。また、動き検出エリアＭＤ１〜ＭＤ３は各撮像面の上段に水平方向に並ぶように配置され、動き検出エリアＭＤ４〜ＭＤ６は各撮像面の中段に水平方向に並ぶように配置され、そして動き検出エリアＭＤ７〜ＭＤ９は各撮像面の下段に水平方向に並ぶように配置される。

図２に示すＡＥ／ＡＦ／動き評価回路１６Ｌは、左側視野ＶＦ＿Ｌを表す画像の明るさおよび鮮鋭度をそれぞれ示す輝度評価値およびフォーカス評価値を、信号処理回路１４Ｌによって生成されたＬ側画像データのうち評価エリアＥＶＡに属する一部のＬ側画像データに基づいて繰り返し作成する。

同様に、ＡＥ／ＡＦ／動き評価回路１６Ｒは、右側視野ＶＦ＿Ｒを表す画像の明るさおよび鮮鋭度をそれぞれ示す輝度評価値およびフォーカス評価値を、信号処理回路１４Ｒによって生成されたＲ側画像データのうち評価エリアＥＶＡに属する一部のＲ側画像データに基づいて繰り返し作成する。

ＡＥ／ＡＦ／動き評価回路１６Ｌはまた、動き検出ブロックＭＤ１〜ＭＤ９の各々におけるシーンの動きを表す部分動きベクトルを、信号処理回路１４Ｌによって生成されたＬ側画像データに基づいて繰り返し検出する。同様に、ＡＥ／ＡＦ／動き評価回路１６Ｒは、動き検出ブロックＭＤ１〜ＭＤ９の各々におけるシーンの動きを表す部分動きベクトルを、信号処理回路１４Ｒによって生成されたＲ側画像データに基づいて繰り返し検出する。

ＣＰＵ３４は、ＡＥ／ＡＦ／動き評価回路１６Ｌおよび１６Ｒの各々から出力された輝度評価値に基づくＡＥ処理を撮像タスクの下で実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量はドライバ１２５Ｌおよび１２５Ｒに設定され、算出された適正ＥＶ値を定義する露光時間はドライバ１２６Ｌおよび１２６Ｒに設定される。この結果、信号処理回路１４Ｌおよび１４Ｒからそれぞれ出力されるＬ側画像データおよびＲ側画像データの輝度が適正に調整される。

ＣＰＵ３４はまた、ＡＥ／ＡＦ／動き評価回路１６Ｌおよび１６Ｒの各々から出力されたフォーカス評価値に基づくＡＦ処理を撮像タスクの下で実行する。ドライバ１２４Ｌおよび１２４Ｒは、ＣＰＵ３４の制御の下でフォーカスレンズ１２１Ｌおよび１２１Ｒを合焦点が存在する方向に移動させる。この結果、信号処理回路１４Ｌおよび１４Ｒからそれぞれ出力されるＬ側画像データおよびＲ側画像データの鮮鋭度が適正に調整される。

ＣＰＵ３４はさらに、カメラ筐体ＣＢ１の動きが手振れおよびパン／チルト動作のいずれに起因するかをＡＥ／ＡＦ／動き評価回路１６Ｌおよび１６Ｒの各々から出力された部分動きベクトルに基づいて判別し、カメラ筐体ＣＢ１の動きが手振れに起因するときに全体動きベクトルに沿ってＬ側抽出エリアＥＸ＿ＬおよびＲ側抽出エリアＥＸ＿Ｒを移動させる。

Ｌ側抽出エリアＥＸ＿ＬおよびＲ側抽出エリアＥＸ＿Ｒの各々の位置は、手振れに起因するカメラ筐体ＣＢ１の動きが補償（相殺）されるように変更される。カメラ筐体ＣＢ１に手振れが生じたとき、Ｌ側抽出エリアＥＸ＿Ｌは図８（Ａ）の下側に示す要領でＬ側画像エリア２２Ｌ上を移動し、Ｒ側抽出エリアＥＸ＿Ｒは図８（Ｂ）の下側に示す要領でＲ側画像エリア２２Ｒ上を移動する。なお、このような手振れ補正は、撮像タスクと並列する補正タスクの下で実行される。

キー入力装置３６に設けられたムービボタン３６ｍｖが操作されると、ＣＰＵ３４は、動画記録処理の実行を撮像タスクの下でメモリＩ／Ｆ３０に命令する。メモリＩ／Ｆ３０は、新規の動画ファイルを記録媒体３２に作成し（作成した動画ファイルはオープンされる）、ＳＤＲＡＭ２２の合成画像エリア２２Ｃに格納された合成画像データをメモリ制御回路２０を通して繰り返し読み出し、そして読み出された合成画像データをオープン状態の動画ファイルに収める。

ムービボタン３６ｍｖが再度操作されると、ＣＰＵ３４は、動画記録処理の停止を撮像タスクの下でメモリＩ／Ｆ３０に命令する。メモリＩ／Ｆ３０は、合成画像エリア２２Ｃからの合成画像データの読み出しを終了し、オープン状態の動画ファイルをクローズする。これによって、共通視野ＶＦ＿Ｃを継続的に表す動画像がファイル形式で記録媒体３２に記録される。

上述のように、撮像装置１２３ＬはＣＭＯＳ型を採用し、ドライバ１２６Ｌはフォーカルプレーン電子シャッタ方式でＬ側撮像面を露光する。このため、ＳＤＲＡＭ３４に格納されたＬ側画像データには、カメラ筐体ＣＢ１の水平移動に起因して水平方向のフォーカルプレーン歪が発生し（図９参照）、カメラ筐体ＣＢ１の垂直移動に起因して垂直方向のフォーカルプレーン歪が発生する（図１１参照）。

ＣＰＵ３４は、水平方向および／または垂直方向に発生したフォーカルプレーン歪みを補正タスクの下で補正するべく、ＡＥ／ＡＦ／動き検出回路１６Ｌから出力された部分動きベクトルに基づいて以下の処理を実行する。

水平方向のフォーカルプレーン歪が発生したときは、Ｌ側抽出エリアＥＸ＿Ｌを表す矩形の右辺および左辺の傾斜量が図１０（Ａ）〜図１０（Ｄ）に示す要領で変更される。

具体的には、カメラ筐体ＣＢ１が右方向に移動すると、Ｌ側撮像面の露光タイミングは図１０（Ａ）の左側に示す要領で変化する。Ｌ側抽出エリアＥＸ＿Ｌの右辺および左辺は、ＡＥ／ＡＦ／動き評価回路１６Ｌから出力された部分動きベクトルに基づいて、図１０（Ａ）の右側に示す要領で傾斜される。カメラ筐体ＣＢ１が左方向に移動すると、Ｌ側撮像面の露光タイミングは図１０（Ｂ）の左側に示す要領で変化する。Ｌ側抽出エリアＥＸ＿Ｌの右辺および左辺は、ＡＥ／ＡＦ／動き評価回路１６Ｌから出力された部分動きベクトルに基づいて図１０（Ｂ）の右側に示す要領で傾斜される。

カメラ筐体ＣＢ１の移動方向が右から左に反転すると、Ｌ側撮像面の露光タイミングは図１０（Ｃ）の左側に示す要領で変化する。Ｌ側抽出エリアＥＸ＿Ｌの右辺および左辺は、ＡＥ／ＡＦ／動き評価回路１６Ｌから出力された部分動きベクトルに基づいて図１０（Ｃ）の右側に示す要領で傾斜される。カメラ筐体ＣＢ１の移動方向が左から右に反転すると、撮像面の露光タイミングは図１０（Ｄ）の左側に示す要領で変化する。Ｌ側抽出エリアＥＸ＿Ｌの右辺および左辺は、ＡＥ／ＡＦ／動き評価回路１６Ｌから出力された部分動きベクトルに基づいて図１０（Ｄ）の右側に示す要領で傾斜される。

垂直方向のフォーカルプレーン歪が発生したときは、Ｌ側抽出エリアＥＸ＿Ｌの垂直サイズが図１２（Ａ）〜図１２（Ｂ）の左側に示す要領で縮小または拡大され、Ｌ側抽出エリアＥＸ＿Ｌに属するＬ側画像データの垂直サイズが図１２（Ａ）〜図１２（Ｂ）の右側に示す要領で拡大または縮小される。

カメラ筐体ＣＢ１が下方向に移動すると、Ｌ側画像データによって表現された画像が垂直方向に縮小される。Ｌ側抽出エリアＥＸ＿Ｌの垂直サイズは、ＡＥ／ＡＦ／動き評価回路１６Ｌから出力された部分動きベクトルに基づいて図１２（Ａ）の左側に示す要領で縮小される。また、抽出エリアＥＸ＿Ｌから切り出されたＬ側画像データの垂直サイズは、後述するＶズーム回路４２（図１３参照）によって図１２（Ａ）の右側に示す要領で拡大される。

カメラ筐体ＣＢ１が上方向に移動すると、Ｌ側画像データによって表現された画像が垂直方向に拡大される。Ｌ側抽出エリアＥＸ＿Ｌの垂直サイズは、ＡＥ／ＡＦ／動き評価回路１６Ｌから出力された部分動きベクトルに基づいて図１２（Ｂ）の左側に示す要領で拡大される。また、抽出エリアＥＸ＿Ｌから切り出されたＬ側画像データの垂直サイズは、Ｖズーム回路４２によって図１２（Ｂ）の右側に示す要領で縮小される。

なお、Ｖズーム回路４２の倍率つまりＶズーム係数は、ＡＥ／ＡＦ／動き評価回路１６Ｌから出力された部分動きベクトルに基づいて算出される。

画像合成回路２４は、図１３に示すように構成される。バッファ回路４０Ｌは、Ｌ側画像エリア２２Ｌに割り当てられたＬ側抽出エリアＥＸ＿Ｌに属するＬ側画像データを部分量ずつ読み出すべく、読み出し要求をメモリ制御回路２０に向けて繰り返し発行する。同様に、バッファ回路４０Ｒは、Ｒ側画像エリア２２Ｒに割り当てられたＲ側抽出エリアＥＸ＿Ｒに属するＲ側画像データを部分量ずつ読み出すべく、読み出し要求をメモリ制御回路２０に向けて繰り返し発行する。

メモリ制御回路２０は、バッファ回路４０Ｌから発行された読み出し要求に従う一部のＬ側画像データをＬ側画像エリア２２Ｌから読み出し、読み出されたＬ側画像データをバッファ回路４０Ｌに与える。メモリ制御回路２０はまた、バッファ回路４０Ｒから発行された読み出し要求に従う一部のＲ側画像データをＲ側画像エリア２２Ｒから読み出し、読み出されたＲ側画像データをバッファ回路４０Ｒに与える。

こうして部分量ずつ与えられたＬ側画像データおよびＲ側画像データは、バッファ回路４０Ｌおよび４０Ｒから連続的に出力される。バッファ回路４０Ｌから出力されたＬ側画像データはＶズーム回路４２に与えられ、Ｖズーム係数を参照した拡大／縮小処理を施される。

Ｌ側撮像面およびＲ側撮像面の各々に設けられた画素の数および感度は、上述のように相違する。したがって、図４に示すシーンが捉えられたとき、Ｖズーム回路４２から出力されたＬ側画像データは図１４（Ａ）に示すサイズおよび明るさを有し、バッファ回路４０Ｒから出力されたＲ側画像データは図１５（Ａ）に示すサイズおよび明るさを有する。

スケーラ４４は、Ｖズーム回路４２から出力されたＬ側画像データに拡大処理を施し、Ｒ側画像データのサイズと同じサイズを有する拡大画像データを作成する。拡大画像データは、図１４（Ａ）に示すＬ側画像データに基づいて図１４（Ｂ）に示す要領で作成される。一方、増幅器４６は、バッファ回路４０Ｒから出力されたＲ側画像データを増幅し、Ｌ側画像データの明るさと同じ明るさを有する増幅画像データを作成する。増幅画像データは、図１５（Ａ）に示すＲ側画像データに基づいて図１５（Ｂ）に示す要領で作成される。

ＬＰＦ４８は、増幅器４６から出力された増幅画像データから低域周波数成分を抽出し、抽出された低域周波数成分つまり低周波画像データを減算器５０および加重加算回路５２に与える。減算器５０および加重加算回路５２には、スケーラ４４から出力された拡大画像データも与えられる。

なお、増幅器４６はノイズも増幅するため、低周波画像データのＳ／Ｎ比は拡大画像データのＳ／Ｎ比よりも低い。ただし、ＬＰＦ４８によって高域周波数成分が除去されるとは言え、低周波画像データが有するエッジ成分量は拡大画像データが有するエッジ成分量よりも多い。

減算器５０は、このような低周波画像データおよび拡大画像データの間の差分絶対値を画素毎に算出し、算出された差分絶対値を加重加算回路５２に入力する。加重加算回路５２は、入力された差分絶対値を図１６に示すグラフに適用して重み付け量αを決定し、決定された重み付け量αに従う加重加算処理（合成処理）を数１に示す要領で実行する。
［数１］
Ｐｃｐ１＝Ｐｓｃｌ＊α＋Ｐｌｐｆ×（１−α）
α：重み付け量
Ｐｓｃｌ：拡大画像データを形成する画素の値
Ｐｌｐｆ：低周波画像データを形成する画素の値
Ｐｃｐ１：中間合成画像データを形成する画素の値

数１によれば、拡大画像データを形成する画素の値のα倍の値と低周波画像データを形成する画素の値の（１−α）倍の値とが互いに加算される。ここで、重み付け量αの値は、差分絶対値の増大に伴って減少するように“０”〜“１”の間で変化する（図１６参照）。

したがって、平坦部を形成する画素については、Ｓ／Ｎ比が高い拡大画像データが重視されるように加重加算処理が実行される。これに対して、エッジ部を形成する画素については、エッジ成分量が大きい低周波画像データが重視されるように加重加算処理が実行される。

カメラ筐体ＣＢ１の手振れに起因してＬ側画像データに現れたフォーカルプレーン歪みは、図１０（Ａ）〜図１０（Ｄ）および図１２（Ａ）〜図１２（Ｂ）に示すＬ側抽出エリアＥＸ＿Ｌの変形とＶズーム回路４２のズーム係数の調整とによって補正できる。しかし、共通視野ＶＦ＿Ｃに属する物体自身の動きに起因するフォーカルプレーン歪み（たとえばボールの回転に起因するボールの模様の歪み）は、Ｌ側抽出エリアＥＸ＿Ｌの変形およびズーム係数の調整によっては補正できない。

ただし、物体自身の動きに起因するフォーカルプレーン歪みはエッジ部分において目立つため、数２に従う加重加算処理を実行することで、物体自体の動きに起因するフォーカルプレーン歪みが抑制された中間合成画像データが得られる。つまり、中間合成画像データは、Ｓ／Ｎ比が改善され、エッジがある程度鮮明で、そしてフォーカルプレーン歪みが抑制された画像データとなる。

増幅器４６から出力された増幅画像データおよび加重加算回路５２から出力された中間合成画像データは、加重加算回路５６に与えられる。また、エッジ検出回路５４は、ＬＰＦ４８から出力された低周波画像データのエッジ強度を検出し、検出されたエッジ強度を加重加算回路５６に入力する。加重加算回路５６は、エッジ検出回路５４から入力されたエッジ強度を図１７に示すグラフに適用して重み付け量βを決定し、決定された重み付け量βに従う加重加算処理（合成処理）を数２に示す要領で実行する。
［数２］
Ｐｃｐ２＝Ｐａｍｐ＊β＋Ｐｃｐ１×（１−β）
β：重み付け量
Ｐａｍｐ：増幅画像データを形成する画素の値
Ｐｃｐ２：最終合成画像データを形成する画素の値

数２によれば、増幅画像データを形成する画素の値のβ倍の値と中間合成画像データを形成する画素の値の（１−β）倍の値とが互いに加算される。ここで、重み付け量βの値は、エッジ強度の増大に伴って増大するように“０”〜“１”の間で変化する（図１７参照）。

したがって、平坦部を形成する画素については、Ｓ／Ｎ比が高い中間合成画像データが重視されるように加重加算処理が実行される。これに対して、エッジ部を形成する画素については、エッジ成分量が多い増幅画像データが重視されるように加重加算処理が実行される。上述のように、増幅画像データは、フォーカルプレーン歪みが発生し得ない画像データである。したがって、数２に従う加重加算処理を実行することで、Ｓ／Ｎ比が改善されかつエッジが鮮明で、さらに物体自身の動きに起因するフォーカルプレーン歪みが抑制された最終合成画像データが得られる。

バッファ回路５８は、こうして作成された合成画像データをＳＤＲＡＭ２２の合成画像エリア２２Ｃに部分量ずつ書き込むべく、部分量の合成画像データと書き込み要求とをメモリ制御回路２０に向けて繰り返し出力する。合成画像データは、メモリ制御回路２０によって合成画像エリア２２Ｃに書き込まれる。

ＣＰＵ３４は、図１８に示す撮像タスクおよび図１９に示す補正タスクを含む複数のタスクをマルチタスクＯＳの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ３８に記憶される。

図１８を参照して、ステップＳ１では光学／撮像系１２Ｌおよび１２Ｒを起動する。この結果、Ｌ側画像データがＳＤＲＡＭ２２のＬ側画像エリア２２Ｌに書き込まれ、Ｒ側画像データがＳＤＲＡＭ２２のＲ側画像エリア２２Ｒに書き込まれ、そして合成画像データがＳＤＲＡＭ２２の合成画像エリア２２Ｃに書き込まれる。ＬＣＤモニタ２８には、合成画像データに基づくスルー画像が表示される。

ステップＳ３ではＡＥ処理を実行し、ステップＳ５ではＡＦ処理を実行する。この結果、Ｌ側画像データおよびＲ側画像データの輝度および鮮鋭度が適正に調整される。ステップＳ７ではムービボタン３６ｍｖが操作されたか否かを判別し、判別結果がＮＯであればステップＳ３に戻る一方、判別結果がＹＥＳであればステップＳ９に進む。

ステップＳ９では動画記録処理が実行中であるか否かを判別し、判別結果がＹＥＳであればステップＳ１１で動画記録処理を開始する一方、判別結果がＮＯであればステップＳ１３で動画記録処理を中止する。ステップＳ１１またはＳ１３の処理が完了すると、ステップＳ３に戻る。ステップＳ１１およびＳ１３の処理の結果、ムービボタン３６ｍｖの１回目の操作から２回目の操作までの期間に作成された合成画像データが動画ファイル形式で記録媒体３０に記録される。

図１９を参照して、ステップＳ２１ではＬ側抽出エリアＥＸ＿ＬおよびＲ側抽出エリアＥＸ＿Ｒの配置を初期化する。ステップＳ２３では、垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ＡＥ／ＡＦ／動き評価回路１６Ｌから出力された部分動きベクトルをステップＳ２５で取得し、ＡＥ／ＡＦ／動き評価回路１６Ｒから出力された部分動きベクトルをステップＳ２７で取得する。

ステップＳ２９では、ステップＳ２７で取得された部分動きベクトルを参照してＬ側抽出エリアＥＸ＿Ｌを変形する。ステップＳ３１では、ステップＳ２７で取得された部分動きベクトルの垂直成分を参照してズーム回路４２のズーム係数を調整する。これによって、フォーカルプレーン歪みが補正される。

ステップＳ３３では、現時点のカメラ筐体ＣＢ１の動きがパン／チルト動作に起因するものであるか否かを、ステップＳ２５〜Ｓ２７で取得された部分動きベクトルに基づいて判別する。判別結果がＹＥＳであればそのままステップＳ２３に戻り、判別結果がＮＯであればステップＳ３５の処理を経てステップＳ２３に戻る。ステップＳ３５では、カメラ筐体ＣＢ１の動きが補償されるように、Ｌ側抽出エリアＥＸ＿ＬおよびＲ側抽出エリアＥＸ＿Ｒを移動させる。これによって、手振れが補正される。

以上の説明から分かるように、ＣＭＯＳ型の撮像装置１２３Ｌは左側視野ＶＦ＿Ｌを捉えるＬ側撮像面を有し、ＣＣＤ型の撮像装置１２３Ｒは左側視野Ｆ＿Ｌと部分的に共通する右側視野ＶＦ＿Ｒを捉えるＲ側撮像面を有する。ドライバ１２６ＬはＬ側撮像面上の複数の位置を互いに異なるタイミングで露光し、ドライバ１２６ＲはＲ側撮像面上の複数の位置を同時に露光する。ＣＰＵ３４は、ドライバ１２６Ｌの露光に対応して撮像装置１２３Ｌから出力されたＬ側画像をＬ側撮像面の動きを参照して補正する(S29~S31)。画像合成回路２４は、ＣＰＵ３４によって補正されたＬ側画像をドライバ１２６Ｒの露光に対応して撮像装置１２３Ｒから出力されたＲ側画像を参照して補正する。

Ｌ側撮像面上の複数の位置は互いに異なるタイミングで露光されるため、Ｌ側撮像面の動きに起因する歪みと左側視野ＶＦ＿Ｌに存在する物体の動きに起因する歪みとがＬ側画像に現れる。これに対して、Ｒ側撮像面上の複数の位置は同時に露光されるため、Ｌ側画像に現れた歪みに相当する歪みがＲ側画像に現れることはない。Ｌ側撮像面の動きに起因する歪みはＬ側撮像面の動きを参照して補正され、物体の動きに起因する歪みはＲ側画像を参照して補正される。これによって、Ｌ側画像に現れた歪みを補正する性能が向上する。

なお、この実施例では、共通視野ＶＦ＿Ｃに存在する物体の動きの起因するフォーカルプレーン歪みを画像合成回路２４によって補正するようにしている。しかし、画像合成回路２４を用いると、Ｒ側画像データに現れたスミアをＬ側画像データによって抑制することもできる。この場合、好ましくは、ＬＰＦ４８と同じ特性を示すＬＰＦ６０がスケーラ４４の後段に追加される（図２０参照）。また、この実施例では、動画像を記録するビデオカメラを想定しているが、この発明はシャッタボタンの操作に応答して静止画像を記録するスチルカメラにも適用できる。

１０ …ディジタルビデオカメラ
１２Ｌ，１２Ｒ …光学／撮像系
１４Ｌ，１４Ｒ …信号処理回路
１６Ｌ，１６Ｒ …ＡＥ／ＡＦ／動き評価回路
２４ …画像合成回路
３４ …ＣＰＵ

Claims (9)

1. 第１視野を捉える第１撮像面を有する第１撮像手段、
   前記第１視野と共通する第２視野を捉える第２撮像面を有する第２撮像手段、
   前記第１撮像面上の複数の位置を互いに異なるタイミングで露光する第１露光手段、
   前記第２撮像面上の複数の位置を同時に露光する第２露光手段、
   前記第１露光手段の露光に対応して前記第１撮像手段から出力された第１画像を前記第１撮像面の動きを参照して補正する第１補正手段、および
   前記第１補正手段によって補正された第１画像を前記第２露光手段の露光に対応して前記第２撮像手段から出力された第２画像を参照して補正する第２補正手段を備える、電子カメラ。
2. 前記第１補正手段の補正のために前記第１露光手段の露光と並列して前記第１撮像面の動きを検出する検出手段をさらに備える、請求項１記載の電子カメラ。
3. 前記第２補正手段は、共通視野に属する第１部分画像を前記第１画像から抽出する第１抽出手段、前記共通視野に属する第２部分画像を前記第２画像から抽出する第２抽出手段、および前記第１抽出手段によって抽出された第１部分画像と前記第２抽出手段によって抽出された第２部分画像とを合成する合成手段を含む、請求項１または２記載の電子カメラ。
4. 前記合成手段は、前記第２部分画像の低域周波数成分を抽出して低周波画像を出力するフィルタ手段、および前記フィルタ手段から出力された低周波画像と前記第１部分画像とを合成して第１合成画像を出力する第１合成画像出力手段を含む、請求項３記載の電子カメラ。
5. 前記第１合成画像出力手段は、前記低周波画像と前記第１部分画像との差分を検出する差分検出手段、および前記差分検出手段によって検出された差分が小さいほど前記第１部分画像に対する重み付けが増大する態様で前記低周波画像と前記第１部分画像とに加重加算を施す第１加重加算手段を含む、請求項４記載の電子カメラ。
6. 前記合成手段は前記第１合成画像出力手段から出力された第１合成画像と前記第２部分画像とを合成して第２合成画像を出力する第２合成画像出力手段をさらに含む、請求項４または５記載の電子カメラ。
7. 前記第２合成処理手段は、前記低周波画像からエッジ成分を検出するエッジ成分検出手段、および前記エッジ成分検出手段によって検出されたエッジ成分が大きいほど前記第２部分画像に対する重み付けが増大する態様で前記第１合成画像と前記第２部分画像とに加重加算を施す第２加重加算手段を含む、請求項６記載の電子カメラ。
8. 前記第１撮像面は第１数の画素を有し、
   前記第２撮像面は前記第１数よりも大きい第２数の画素を有し、
   前記第１抽出手段は画像サイズを拡大する拡大手段を含む、請求項２ないし７のいずれかに記載の電子カメラ。
9. 前記第１撮像面は第１感度を有し、
   前記第２撮像面は前記第１感度よりも小さい第２感度を有し、
   前記第２抽出手段は画像の明るさを増幅する増幅手段を含む、請求項２ないし８のいずれかに記載の電子カメラ。

Images