JP2011223367A

JP2011223367A - 歪み補正装置

Info

Publication number: JP2011223367A
Application number: JP2010091044A
Authority: JP
Inventors: Minoru Omori; 実大森
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2010-04-12
Filing date: 2010-04-12
Publication date: 2011-11-04

Abstract

【構成】撮像装置１４は、フォーカルプレーン電子シャッタ方式を採用し、ズームレンズ１２を通して被写界を捉える。バッファ回路２８は、撮像装置１４によって捉えられた被写界を表しかつ第１数の水平画素を有する画像データをＳＤＲＡＭ３２に書き込む。バッファ回路４０は、ＳＤＲＡＭ３２に格納された画像データを、基準水平画素を含みかつ第１数よりも小さい第２数の水平画素ずつ垂直画素方向に読み出す。バッファ回路４０によって読み出された画像データに現われた垂直歪みおよびフォーカルプレーン歪みは、垂直歪み補正回路４２およびＦＰ歪み補正回路４４によって補正される。垂直歪み補正回路４２に設けられたバッファ制御回路は、撮像装置１４のパン動作の速度に対応する第３数を第２数から減算した数に相当する水平画素を隔てて、基準水平画素の位置を変更する。
【効果】歪み補正性能が向上する。
【選択図】図２

Description

この発明は、歪み補正装置に関し、特に撮影面で捉えられた被写界を表す画像の歪みを補正する、歪み補正装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、第１のバッファ回路は、第１数の水平画素と水平画素位置に応じて異なる垂直歪みとを有する画像データをＳＤＲＡＭに書き込む。第２のバッファ回路は、ＳＤＲＡＭに格納された画像データを、基準水平画素を含みかつ第１数よりも小さい第２数の水平画素ずつ垂直画素方向に読み出す。第２のバッファ回路によって読み出された画像データは、垂直歪み補正回路によって垂直歪み補正を施される。

垂直歪み補正回路に設けられたバッファ制御回路は、基準水平画素に対応する垂直歪みが小さいほど大きい数値を示すように第２数を決定して第２のバッファ回路を起動する。バッファ制御回路はまた、垂直歪み補正回路の補正量に基づくタイミングで基準水平画素の位置を第２数に対応する位置に変更して上述の決定処理を起動する。これによって、水平画素方向における垂直歪みの変化を考慮した読み出し動作が実現され、垂直歪み補正の性能が向上する。

特開２００９−１７７６５１号公報

しかし、ＣＭＯＳ型の撮像装置を採用した場合、撮像面の露光動作はフォーカルプレーン電子シャッタ方式に従って実行される。この電子シャッタ方式では露光タイミングが水平画素列毎に異なるため、たとえばパン動作と並列して露光動作を実行するとパン動作の速度に対応する傾きがフォーカルプレーン歪みとして被写界像に現れる。背景技術は、このようなフォーカルプレーン歪みを想定した歪み補正を行っておらず、歪み補正性能に限界がある。

それゆえに、この発明の主たる目的は、歪み補正の性能の向上させることができる、歪み補正装置を提供することである。

この発明に従う歪み補正装置(10：実施例で相当する参照符号。以下同じ)は、撮像面で捉えられた被写界を表しかつ第１数の水平画素を有する画像データをメモリ(32)に書き込む書き込み手段(28)、書き込み手段によってメモリに格納された画像データを基準水平画素を含みかつ第１数よりも小さい第２数の水平画素ずつ垂直画素方向に読み出す読み出し手段(40)、読み出し手段によって読み出された画像データに現れた歪みを補正する補正手段(42, 44)、および撮像面のパン動作の速度に対応する第３数を第２数から減算した数に相当する水平画素を隔てて基準水平画素の位置を変更する変更手段(S53)を備える。

好ましくは、撮像面の前方に設けられる光学レンズ(12)、および撮像面を水平画素列によって異なるタイミングで露光する露光手段(18)がさらに備えられる。

さらに好ましくは、補正手段は、光学レンズの収差に起因する垂直歪みを補正する第１歪み補正手段(42)、および露光手段の露光特性に起因する歪みを補正する第２歪み補正手段(44)を含む。

より好ましくは、読み出し手段によって読み出された画像データは第４数の垂直画素を有し、第３数は撮像面のパン動作の速度の１／Ｎ（Ｎ：整数）に相当し、第２歪み補正手段は第１歪み補正手段から出力された画像データの歪みを第４数の１／Ｎの垂直画素ずつ補正する。

好ましくは、基準水平画素に対応する垂直歪みが小さいほど大きい数値を示すように第２数を調整する調整手段(S37)がさらに備えられる。

好ましくは、撮像面で捉えられた被写界を表す画像データに基づいて撮像面のパン動作の速度を検出する検出手段(S49)、および検出手段によって検出された速度を参照して第３数の大きさを調整する調整手段(S51)がさらに備えられる。

この発明によれば、画像データは、基準水平画素を含む第２数の水平画素ずつ垂直画素方向に読み出される。一方、基準水平画素の位置は、第２数から第３数を減算した数に相当する水平画素を隔てて変更される。したがって、画像データの読み出し動作は、第３数に相当する水平画素が重複する態様で実行される。ここで、第３数は、撮像面のパン動作の速度に対応する。これによって、光学レンズの収差および撮像面の露光動作の特性に起因して画像データに現れた歪みを連続的に補正することができ、歪み補正性能が向上する。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の基本的構成を示すブロック図である。この発明の一実施例の構成を示すブロック図である。撮像面のパン動作の一例を示す図解図である。（Ａ）は被写体の一例を示す図解図であり、（Ｂ）は図２実施例に適用される撮像装置の出力動作の一部を示す図解図であり、（Ｃ）は元画像の一例を示す図解図である。（Ａ）は元画像の一例を示す図解図であり、（Ｂ）は水平歪み補正を施された画像の一例を示す図解図であり、（Ｃ）は垂直歪み補正を施された画像の一例を示す図解図であり、（Ｄ）はフォーカルプレーン歪み補正を施された画像の一例を示す図解図である。図２実施例に適用される垂直歪み補正回路の構成の一例を示すブロック図である。図６実施例に適用されるバッファ制御回路の動作の一部を示すフロー図である。図６実施例に適用されるバッファ制御回路の動作の他の一部を示すフロー図である。図６実施例に適用されるバッファ制御回路の動作のその他の一部を示すフロー図である。図６実施例の動作の一部を示す図解図である。図６実施例の動作の他の一部を示す図解図である。図６実施例の動作のその他の一部を示す図解図である。図６実施例の動作のさらにその他の一部を示す図解図である。図２実施例に適用されるＦＰ歪み補正回路の動作の一部を示す図解図である。図２実施例に適用されるＦＰ歪み補正回路の動作の他の一部を示す図解図である。図２実施例に適用されるＦＰ歪み補正回路の動作のその他の一部を示す図解図である。図２実施例に適用されるＦＰ歪み補正回路の動作のさらにその他の一部を示す図解図である。図６実施例の動作の他の一部を示す図解図である。（Ａ）はブロックＢＬＫ１に対応する図６実施例の動作の一部を示す図解図であり、（Ｂ）はブロックＢＬＫ２に対応する図６実施例の動作の一部を示す図解図であり、（Ｃ）はブロックＢＬＫ３に対応する図６実施例の動作の一部を示す図解図であり、（Ｄ）はブロックＢＬＫ４に対応する図６実施例の動作の一部を示す図解図である。図６実施例に適用されるバッファ制御回路の動作のその他の一部を示すフロー図である。ｈｖ座標系とｘｙ座標系との関係を示す図解図である。像高比と歪み率との関係の一例を示すグラフである。図６実施例の動作の一部を示す図解図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］

図１を参照して、この発明の歪み補正装置は、書き込み手段１は、撮像面で捉えられた被写界を表しかつ第１数の水平画素を有する画像データをメモリ５に書き込む。読み出し手段２は、書き込み手段１によってメモリ５に格納された画像データを基準水平画素を含みかつ第１数よりも小さい第２数の水平画素ずつ垂直画素方向に読み出す。補正手段３は、読み出し手段２によって読み出された画像データに現れた歪みを補正する。変更手段４は、撮像面のパン動作の速度に対応する第３数を第２数から減算した数に相当する水平画素を隔てて基準水平画素の位置を変更する。

画像データは、基準水平画素を含む第２数の水平画素ずつ垂直画素方向に読み出される。一方、基準水平画素の位置は、第２数から第３数を減算した数に相当する水平画素を隔てて変更される。したがって、画像データの読み出し動作は、第３数に相当する水平画素が重複する態様で実行される。ここで、第３数は、撮像面のパン動作の速度に対応する。これによって、光学レンズの収差および撮像面の露光動作の特性に起因して画像データに現れた歪みを連続的に補正することができ、歪み補正性能が向上する。
［実施例］

図１を参照して、この実施例のディジタルカメラ１０は、ズームレンズ１２を含む。被写界の光学像は、ズームレンズ１２を経てＣＭＯＳ型の撮像装置１４の撮像面に照射される。撮像面は、水平６４０画素×垂直４８０画素を有し、かつ原色ベイヤ配列の色フィルタ（図示せず）によって覆われる。各画素で生成される電荷は、Ｒ(Red)，Ｇ(Green)およびＢ(Blue)のいずれか１つの色情報を有する。

電源が投入されると、ＣＰＵ２０は、スルー画像処理を実行するべく、露光動作および電荷読み出し動作の繰り返しをドライバ１８に命令する。ドライバ１８は、１／３０秒毎に発生する垂直同期信号Ｖｓｙｎｃに応答して撮像面をフォーカルプレーン電子シャッタ方式で露光し、これによって生成された電荷をラスタ走査態様で撮像面から読み出す。撮像装置１４からは、読み出された電荷に基づく水平６４０画素×垂直４８０画素の生画像データが３０ｆｐｓのフレームレートで出力される。

撮像面に照射される被写界の光学像には、ズームレンズ１２の収差に起因する樽型歪みが発生する。また、フォーカルプレーン電子シャッタ方式では、撮像面の露光タイミングが水平画素列によって異なる。したがって、図３に示すようなパン動作の途中で図４（Ａ）に示す被写体が捉えられた場合、撮像面は図４（Ｂ）に示すタイミングで露光される。この結果、撮像装置１４から出力される生画像データには、樽型歪みと水平方向のフォーカルプレーン歪とが図４（Ｃ）に示す要領で現れる。

信号処理回路２４は、このような生画像データに白バランス調整，色分離，ＹＵＶ変換の一連の処理を施し、ＹＵＶ形式に対応する水平６４０画素×垂直４８０画素の画像データを作成する。作成された画像データは水平歪み補正回路２６に与えられ、現時点のズーム倍率を考慮した水平歪み補正を施される。図５（Ａ）に示す要領で画像データに現われた歪みは、図５（Ｂ）に示す要領で部分的に補正される。バッファ回路２８は、補正された画像データをメモリ制御回路３０を通してＳＤＲＡＭ３２の動画像エリア３２ａに書き込む。

信号処理回路２４はまた、被写界の動きを示す動きベクトルをＹデータに基づいて繰り返し検出し、検出された動きベクトルをＣＰＵ２０に与える。このような動き検出処理は、特に動き検出回路２４ａによって実行される。ＣＰＵ２０は、信号処理回路２４から与えられた動きベクトルに基づいて、撮像面のパン動作速度およびチルト動作速度を繰り返し算出する。

垂直歪み補正回路４２は、ＣＰＵ２０によって算出されたパン動作速度を参照して読み出し要求（後述）を作成し、作成された読み出し要求をバッファ回路４０に向けて発行する。バッファ回路４０は、与えられた読み出し要求に従う一部の画像データをメモリ制御回路３０を通して動画像エリア３２ａから読み出し、読み出された画像データを垂直歪み補正回路４２に入力する。

垂直歪み補正回路４２は、バッファ回路４０から入力された画像データに現時点のズーム倍率を考慮した垂直歪み補正を施す。この結果、垂直歪みが補正された画像データが図５（Ｃ）に示す要領で作成される。作成された画像データは、ＦＰ歪み補正回路４４に与えられる。

ＦＰ歪み補正回路４４は、ＣＰＵ２０によって算出されたパン動作速度およびチルト動作速度を考慮して、垂直歪み補正回路４２から与えられた画像データにフォーカルプレーン歪み補正を施す。この結果、フォーカスプレーン歪みが補正された画像データが図５（Ｄ）に示す要領で作成される。

作成された画像データはバッファ回路４６に与えられ、その後、メモリ制御回路３０を通してＳＤＲＡＭ３２の動画像エリア３２ｂに書き込まれる。バッファ回路３４は、動画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して読み出し、ＬＣＤドライバ３６は、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、３０ｆｐｓのフレームレートを有するスルー画像がモニタ画面に表示される。

なお、メモリ制御回路３０は、ＳＤＲＡＭ３２へのデータ書き込みおよびＳＤＲＡＭ３２からのデータ読み出しをバーストアクセス態様で実行する。したがって、書き込み開始アドレスおよび水平サイズが指定された場合、指定された水平サイズを有する画像データは、指定された書き込み開始アドレス以降のアドレスに１回のアクセス動作で書き込まれる。また、読み出し開始アドレスおよび水平サイズが指定された場合、指定された水平サイズを有する画像データは、指定された読み出し開始アドレス以降のアドレスから１回のアクセス動作で読み出される。

キー入力装置２２によってズーム操作が行われると、ＣＰＵ２０は、対応する命令をドライバ１６に与える。ズームレンズ１２はドライバ１６によって光軸方向に変位し、これによって撮像面に照射される光学像のズーム倍率が変化する。なお、水平歪み補正および垂直歪み補正は、変化後のズーム倍率を考慮して実行される。

キー入力装置２２によって記録開始操作が行われると、ＣＰＵ２０は、バッファ回路４８およびＩ／Ｆ４９を起動する。バッファ回路４８は、動画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して読み出し、Ｉ／Ｆ４９はバッファ回路４８によって読み出された画像データを記録媒体５０に形成された動画ファイルに書き込む。バッファ回路４８による読み出し動作およびＩ／Ｆ４９による書き込み動作は、キー入力装置２２によって記録終了操作が行われたとき終了される。

垂直歪み補正回路４２は、図６に示すように構成される。バッファ制御回路７６は、読み出し開始アドレスと水平サイズとが記述された読み出し要求をバッファ回路４０に向けて発行する。読み出し開始アドレスを定義する水平アドレスは、図１０〜図１３にそれぞれ示すブロックＢＬＫ１〜ＢＬＫ４のうち所望のブロックの左端の水平アドレスを示す。また、読み出し開始アドレスを定義する水平サイズは、同じブロックＢＬＫ１〜ＢＬＫ４のうち所望のブロックの水平サイズを示す。バッファ回路４０は、メモリ制御回路３０を通してＳＤＲＡＭ３２にアクセスし、所望のブロックに属する画像データをラスタ走査態様で読み出す。

バッファ回路４０から出力された画像データのうち、Ｙデータはセレクタ５２に与えられ、Ｕデータはセレクタ５４に与えられ、Ｖデータはセレクタ５６に与えられる。セレクタ５２は、奇数ラインのＹデータをＳＲＡＭ５８ａに書き込む一方、偶数ラインのＹデータをＳＲＡＭ５８ｂに書き込む。セレクタ５４は、奇数ラインのＵデータをＳＲＡＭ６０ａに書き込む一方、偶数ラインのＵデータをＳＲＡＭ６０ｂに書き込む。セレクタ５６は、奇数ラインのＶデータをＳＲＡＭ６２ａに書き込む一方、偶数ラインのＶデータをＳＲＡＭ６２ｂに書き込む。

なお、ＹＵＶデータはＹ：Ｕ：Ｖ＝４：２：２の比率を有する。このため、ＳＲＡＭ５８ａ〜５８ｂの容量はＳＲＡＭ６０ａ〜６０ｂの容量の２倍に相当し、ＳＲＡＭ６０ａ〜６０ｂの合計容量はＳＲＡＭ６２ａ〜６０ｂの容量に等しい。

図１０〜図１３から分かるように、画像データの垂直歪み率は水平アドレスに応じて変化する。一方、ＳＲＡＭ５８ａ〜５８ｂ（６０ａ〜６０ｂ，６２ａ〜６２ｂ）の容量は有限である。そこで、この実施例では、図１０〜図１２にそれぞれ示すエリアＭ１〜Ｍ３の面積が共通しかつ上述のＳＲＡＭ容量に適合するように（あるいはエリアＭ１〜Ｍ３の各々の面積に相当する容量がＳＲＡＭ容量に近づくように）、ブロックＢＬＫ１〜ＢＬＫ３の水平サイズを決定するようにしている（エリアＭ４の面積はＳＲＡＭ容量未満）。これによって、ＳＤＲＡＭ３２のアクセス速度の向上ひいては垂直歪み補正の性能の向上が図られる。

また、ＦＰ歪み補正回路４４は、ブロックＢＬＫ１〜ＢＬＫ４の各々から読み出された画像データを“ＶＳＺ”に相当する垂直サイズを各々が有する部分画像データに４分割し、分割された部分画像データに対してフォーカルプレーン歪み補正を施す。フォーカルプレーン歪み補正は、ブロックＢＬＫ１に対応して図１４に示す要領で実行され、ブロックＢＬＫ２に対応して図１５に示す要領で実行され、ブロックＢＬＫ３に対応して図１６に示す要領で実行され、ブロックＢＬＫ４に対応して図１７に示す要領で実行される。

ただし、フォーカルプレーン歪みが補正された画像データを作成するには、互いに隣接するブロックを部分的に重複させる必要がある（図１８参照）。さらに、重複部分の水平サイズ（＝ΔＬ）は、フォーカルプレーン歪みの大きさつまり撮像面のパン動作速度に応じて異なる。そこで、この実施例では、撮像面のパン動作速度をＣＰＵ２０から取得し、取得されたパン動作速度を参照して重複サイズΔＬを算出するようにしている。これによって、垂直歪みおよびフォーカルプレーン歪みを連続的に補正することができ、歪み補正性能が向上する。

バッファ制御回路７６は、図７〜図９に示すフロー図に従って、読み出し開始アドレスおよび水平サイズを算出し、かつバッファ制御回路４０に向けた読み出し要求を発行する。このフロー図に従う処理は、垂直同期信号Ｖｓｙｎｃが発生する毎に実行される。

以下の説明では、動画像エリア３２ａに格納された画像データを“元画像データ”と定義し、垂直歪み補正を施された画像データを“垂直歪み補正画像データ”と定義する。また、図７に示すブロックＢ１〜Ｂ４のうち注目するブロックを“注目ブロック”と定義し、注目ブロックに属する垂直歪み補正画像データ上で注目する画素を“注目画素”と定義し、注目画素の作成に必要な元画像データ上の画素を“元画素”と定義する。

なお、後述するように、注目画素は、元画像データ上で垂直方向に隣接する２つの画素に補間演算を施すことで得られ、垂直歪み補正画像データ上の適切な位置（垂直歪みが解消される位置）に配置される。元画素は、補間演算を施される２つの画素のうち下側の画素に相当する。

図７を参照して、まずステップＳ１でフラグＦＬＧを“０”にセットし、ステップＳ３で変数ＨａｄｒｓおよびＶａｄｒｓを“０”に設定する。ステップＳ５では変数Ｈａｄｒｓを変数Ｈｓｔａｒｔに設定し、ステップＳ７では変数Ｈａｄｒｓを変数Ｈｅｎｄに設定する。

変数ＨａｄｒｓおよびＶａｄｒｓはそれぞれ、注目画素の水平アドレスおよび垂直アドレスを示す変数であり、変数ＨｓｔａｒｔおよびＨｅｎｄはそれぞれ、注目ブロックの左端の水平アドレスおよび右端の水平アドレスを示す変数である。

ステップＳ９では、元画素の垂直アドレスを算出する。算出された垂直アドレスは、変数Ｖｏｒｉｇｎに設定される。ステップＳ１１では、フラグＦＬＧが“０”であるか否かを判別する。ここでＹＥＳであれば、ステップＳ１３〜Ｓ１５で変数Ｖｏｒｉｇｉｎを変数ＶｍａｘおよびＶｍｉｎに設定し、ステップＳ１７でフラグＦＬＧを“１”に設定し、その後にステップＳ２７に進む。

一方、ステップＳ１１でＮＯであれば、変数Ｖｏｒｉｇｉｎが変数Ｖｍａｘを上回るか否かをステップＳ１９で判別し、変数Ｖｏｒｉｇｉｎが変数Ｖｍｉｎを下回るか否かをステップＳ２３で判別する。ステップＳ１９でＹＥＳであれば、ステップＳ２１で変数Ｖｏｒｉｇｉｎを変数Ｖｍａｘに設定してからステップＳ２７に進む。ステップＳ２３でＹＥＳであれば、ステップＳ２５で変数Ｖｏｒｉｇｉｎを変数Ｖｍｉｎに設定してからステップＳ２７に進む。

ステップＳ２７では、数１に従ってデータ量ＤＴを算出する。
［数１］
ＤＴ＝（Ｈｅｎｄ−Ｈｓｔａｒｔ）×（Ｖｍａｘ−Ｖｍｉｎ）

ステップＳ２９ではデータ量ＤＴが上述のＳＲＡＭ容量に対応する閾値ＤＴｔｈを上回るか否かを判別し、ステップＳ３１では変数Ｈａｄｒｓが定数ＥＮＤ（＝６３９）に等しいか否かを判別する。ステップＳ２９およびＳ３１のいずれもＮＯであれば、ステップＳ３３で変数Ｈａｄｒｓをインクリメントし、ステップＳ３５で変数Ｈａｄｒｓを変数Ｈｅｎｄに設定してからステップＳ９に戻る。一方、ステップＳ２９またはＳ３１でＹＥＳであればステップＳ３７以降の処理に進む。

ステップＳ３７では、読み出し開始アドレスおよび水平サイズを決定する。読み出し開始サイズは（Ｈｓｔａｒｔ，Ｖｍａｘ）によって定義され、水平サイズは“Ｈｅｎｄ−Ｈｓｔａｒｔ”によって定義される。ステップＳ３９では、決定された読み出し開始アドレスおよび水平サイズを記述した読み出し要求をバッファ回路４０に向けて発行する。

ステップＳ４１では、ステップＳ３１と同様の判別処理を実行し、ＹＥＳであれば処理を終了する一方、ＮＯであればステップＳ４３で読み出し制御回路７８からの再起動要求を待つ。再起動要求が発行されれば、ステップＳ４５に進む。

なお、再起動要求は、補間演算のためにＳＲＡＭ５８ａ〜６２ｂから読み出される画素の水平アドレスおよび垂直アドレスが注目ブロックの左端および下端に達するタイミングで発行される。

ステップＳ４５ではフラグＦＬＧを“０”に設定し、ステップＳ４７では変数Ｈａｄｒｓをインクリメントする。ステップＳ４９では撮像面のパン動作速度をＣＰＵ２０から取得し、ステップＳ５１では取得されたパン動作速度に基づいて重複サイズΔＬを算出する。重複サイズΔＬは、パン動作速度のＫ倍（Ｋ：定数）に相当する。ステップＳ５３では、変数Ｈａｄｒｓから重複サイズΔＬに相当する数値を減算する。減算処理が完了すると、ステップＳ５に戻る。

１回目のループにおけるステップＳ２９の判別結果がＹＥＳとなることで、エリアＭ１が図１０に示す要領で確定し、２回目のループにおけるステップＳ２９の判別結果がＹＥＳとなることで、エリアＭ２が図１１に示す要領で確定する。また、３回目のループにおけるステップＳ２９の判別結果がＹＥＳとなることで、エリアＭ３が図１２に示す要領で確定し、４回目のループにおけるステップＳ３１の判別結果がＹＥＳとなることで、エリアＭ４が図１３に示す要領で確定する。

また、ブロックＢＬＫ１から読み出された各ラインの画像データは、図１９（Ａ）に示す要領でＳＲＡＭ１（５８ａ，６０ａ，６２ａ）およびＳＲＡＭ２（５８ｂ，６０ｂ，６２ｂ）に書き込まれ、ブロックＢＬＫ２から読み出された各ラインの画像データは、図１９（Ｂ）に示す要領でＳＲＡＭ１およびＳＲＡＭ２に書き込まれる。同様に、ブロックＢＬＫ３から読み出された各ラインの画像データは、図１９（Ｃ）に示す要領でＳＲＡＭ１およびＳＲＡＭ２に書き込まれ、ブロックＢＬＫ４から読み出された各ラインの画像データは、図１９（Ｄ）に示す要領でＳＲＡＭ１およびＳＲＡＭ２に書き込まれる。なお、図１９（Ａ）〜図１９（Ｄ）に示す数字はライン番号を示す。

図７に示すステップＳ９の処理は、図２０に示すサブルーチンに従って実行される。まずステップＳ６１で、数２に従って注目画素のアドレスをＨＶ座標系からＸＹ座標系に変換する。ステップＳ６３では、注目画素の像高比を数３に従って算出する。図２１を参照して、画像データ上の画素位置は、被写界像の左上頂角を原点とするＨＶ座標系を用いて特定される。これに対して、像高比は、ズームレンズ１２の中心つまり被写界像の中心を原点とするＸＹ座標系を用いて算出される。そこで、注目画素のアドレスをＨＶ座標系からＸＹ座標系に変換し、次に像高比を算出する。
［数２］
Ｘａｄｒｓ＝Ｈａｄｒｓ−Ｈｓｉｚｅ／２
Ｙａｄｒｓ＝Ｖａｄｒｓ−Ｖｓｉｚｅ／２
Ｘａｄｒｓ：注目画素のＸアドレス
Ｙａｄｒｓ：注目画素のＹアドレス
Ｈｓｉｚｅ：被写界像の水平サイズ
Ｖｓｉｚｅ：被写界像の垂直サイズ
［数３］
ｒ＝√｛Ｘａｄｒｓ^２＋Ｙａｄｒｓ^２｝
Ｒ＝√｛（Ｈｓｉｚｅ／２）^２＋（Ｖｓｉｚｅ／２）^２｝
ＲＤ＝ｒ／Ｒ
ＲＤ：像高比

ステップＳ６５では、ステップＳ５３で得られた像高比に対応する垂直歪み率を図２２に示す曲線Ｃ１〜Ｃ３を参照して算出する。曲線Ｃ１は１．０倍のズーム倍率に対応する垂直歪み率と像高比との関係を示し、曲線Ｃ２は２．０倍のズーム倍率に対応する垂直歪み率と像高比との関係を示し、曲線Ｃ３は３．０倍のズーム倍率に対応する垂直歪み率と像高比との関係を示す。曲線Ｃ１〜Ｃ３のいずれについても、垂直歪み率は、像高比が“０．０”のとき“０．０”を示し、像高比の増大に従って減少する。ステップＳ６５では、このような曲線Ｃ１〜Ｃ３に基づいて現時点のズーム倍率に対応する曲線の近似式を作成し、作成された近似式を参照して垂直歪み率を算出する。

ステップＳ６７では、ステップＳ６１およびＳ６５で得られた注目画素のＹアドレスおよび垂直歪み率を参照して、注目画素に対応する元画像データ上の画素のＹアドレスを算出する。具体的には、数４に従う演算を実行する。
［数４］
Ｙｃｖｔ＝Ｙａｄｒｓ＊（１＋β）＊Ｋ
Ｙｃｖｔ：注目画素に対応する画素のＹアドレス
β：注目画素の垂直歪み率
Ｋ：定数

ステップＳ６９では、ステップＳ６７で得られたＹアドレスを数５に従ってＨＶ座標系の垂直アドレスに変換する。また、ステップＳ７１では、変換された垂直アドレスに数６に従う演算を施して元画素の垂直アドレスを算出する。
［数５］
Ｖｃｖｔ＝Ｙｃｖｔ＋Ｖｓｉｚｅ／２
Ｖｃｖｔ：注目画素に対応する画素の垂直アドレス
［数６］
Ｖｏｒｉｇｎ＝ｉｎｔ（Ｖｃｖｔ）＋１
ｉｎｔ（Ｖｃｖｔ）：Ｖｃｖｔの整数部
Ｖｏｒｉｇｎ：元画素の垂直アドレス

図６に戻って、セレクタ５２〜５６に入力する画素データの水平アドレスおよび垂直アドレスは、バッファ回路４０から垂直アドレス変換回路８２に与えられる。また、同じ水平アドレスおよび垂直アドレスのうち水平アドレスのみが、読み出し制御回路７８に与えられる。

垂直アドレス変換回路８２は、図２１に示す処理と同じ要領で元画素の垂直アドレスを算出し、算出した垂直アドレスとこれよりも１つ小さい垂直アドレスとを読み出し制御回路７８および補間係数算出回路８０の各々に与える。

読み出し制御回路７８は、垂直アドレス変換回路８２から与えられた２つの垂直アドレスとバッファ回路４０から与えられた水平アドレスとよって定義される２画素を特定し、特定した２画素の読み出しをセレクタ６４，６６および６８に要求する。

セレクタ６４は要求された２画素のＹデータをＳＲＡＭ５８ａおよび５８ｂから読み出し、読み出された２画素のＹデータを線形補間回路７０に与える。セレクタ６６は、要求された２画素のＵデータをＳＲＡＭ６０ａおよび６０ｂから読み出し、読み出された２画素のＵデータを線形補間回路７２に与える。セレクタ６８は、要求された２画素のＶデータをＳＲＡＭ６２ａおよび６２２ｂから読み出し、読み出された２画素のＶデータを線形補間回路７４に与える。

補間係数算出回路８０は、垂直アドレス変換回路８２から与えられた２つの垂直アドレスに基づいて垂直補間係数を算出し、算出された垂直補間係数を線形補間回路７０〜７４の各々に与える。

線形補間回路７０は、セレクタ６４から与えられた２画素のＹデータに補間係数算出回路８０から与えられた垂直補間係数に従う垂直補間演算を施す。また、線形補間回路７２は、セレクタ６６から与えられた２画素のＵデータに補間係数算出回路８０から与えられた垂直補間係数に従う垂直補間演算を施す。さらに、線形補間回路７４は、セレクタ６８から与えられた２画素のＶデータに補間係数算出回路８０から与えられた垂直補間係数に従う垂直補間演算を施す。垂直補間を施された画素は、図２３に示す位置に配置される。こうして得られた垂直歪み補正画像データは、ＦＰ歪み補正回路４４に向けて出力される。

以上の説明から分かるように、撮像装置１４は、フォーカルプレーン電子シャッタ方式を採用し、ズームレンズ１２を通して被写界を捉える。バッファ回路２８は、撮像装置１４によって捉えられた被写界を表しかつ第１数（＝６４０）の水平画素を有する画像データをＳＤＲＡＭ３２に書き込む。バッファ回路４０は、ＳＤＲＡＭ３２に格納された画像データを、基準水平画素を含みかつ第１数よりも小さい第２数（＝ブロックＢＬＫ１〜ＢＬＫ４の水平サイズ）の水平画素ずつ垂直画素方向に読み出す。バッファ回路４０によって読み出された画像データに現われた垂直歪みおよびフォーカルプレーン歪みは、垂直歪み補正回路４２およびＦＰ歪み補正回路４４によって補正される。バッファ制御回路７６は、撮像装置１４のパン動作の速度に対応する第３数（＝ΔＬ）を第２数から減算した数に相当する水平画素を隔てて、基準水平画素の位置を変更する(S53)。

画像データは、基準水平画素を含む第２数の水平画素ずつ垂直画素方向に読み出される。一方、基準水平画素の位置は、第２数から第３数を減算した数に相当する水平画素を隔てて変更される。したがって、画像データの読み出し動作は、第３数に相当する水平画素が重複する態様で実行される。ここで、第３数は、撮像装置１４のパン動作の速度に対応する。これによって、ズームレンズ１２およびフォーカルプレーン電子シャッタの特性に起因して画像データに表われた歪みを連続的に補正することができ、歪み補正性能が向上する。

なお、この実施例では動画像に対する歪み補正を想定しているが、歪み補正は静止画像に対して実行するようにしてもよい。

また、この実施例では、ブロックＢＬＫ１〜ＢＬＫ４の各々の水平サイズが垂直方向において均一とされる（図１０〜図１３参照）。しかし、垂直歪み率は垂直位置によって異なり、さらにブロックＢＬＫ１〜ＢＬＫ４の各々は垂直サイズ“ＶＳＺ”を各々が有する４つの部分ブロックに分割される（図１４〜図１７参照）。したがって、ブロックＢＬＫ１〜ＢＬＫ４の各々の水平サイズは、垂直方向において分割された部分ブロック毎に変更するようにしてもよい。

ここで、部分ブロックの総数を“Ｋｍａｘ”とし、識別番号Ｋ（Ｋ：１〜Ｋｍａｘ）をＫｍａｘ個の部分ブロックの各々に上から順に割り当てた場合、１番目の部分ブロックからｉｎｔ（Ｋｍａｘ／２）番目の部分ブロックに注目すると、注目部分ブロックの幅は垂直方向の中心座標から注目部分ブロックの上端までの距離に基づいて決定される。これに対して、ｉｎｔ（Ｋｍａｘ／２）＋１番目の部分ブロックからＫｍａｘ番目の部分ブロックに注目すると、注目部分ブロックの幅は垂直方向の中心座標から注目部分ブロックの下端までの距離に基づいて決定される。

１０ …ディジタルカメラ
１２ …ズームレンズ
１４ …撮像装置
３０ …メモリ制御回路
３２ …ＳＤＲＡＭ
４２ …垂直歪み補正回路

Claims

撮像面で捉えられた被写界を表しかつ第１数の水平画素を有する画像データをメモリに書き込む書き込み手段、
前記書き込み手段によって前記メモリに格納された画像データを基準水平画素を含みかつ前記第１数よりも小さい第２数の水平画素ずつ垂直画素方向に読み出す読み出し手段、
前記読み出し手段によって読み出された画像データに現れた歪みを補正する補正手段、および
前記撮像面のパン動作の速度に対応する第３数を前記第２数から減算した数に相当する水平画素を隔てて前記基準水平画素の位置を変更する変更手段を備える、歪み補正装置。
前記撮像面の前方に設けられる光学レンズ、および
前記撮像面を水平画素列によって異なるタイミングで露光する露光手段をさらに備える、請求項１記載の歪み補正装置。
前記補正手段は、前記光学レンズの収差に起因する垂直歪みを補正する第１歪み補正手段、および前記露光手段の露光特性に起因する歪みを補正する第２歪み補正手段を含む、請求項２記載の歪み補正装置。
前記読み出し手段によって読み出された画像データは第４数の垂直画素を有し、
前記第３数は前記撮像面のパン動作の速度の１／Ｎ（Ｎ：整数）に相当し、
前記第２歪み補正手段は前記第１歪み補正手段から出力された画像データの歪みを前記第４数の１／Ｎの垂直画素ずつ補正する、請求項３記載の歪み補正装置。
前記基準水平画素に対応する垂直歪みが小さいほど大きい数値を示すように前記第２数を調整する調整手段をさらに備える、請求項３または４記載の歪み補正装置。
前記撮像面で捉えられた被写界を表す画像データに基づいて前記撮像面のパン動作の速度を検出する検出手段、および
前記検出手段によって検出された速度を参照して前記第３数の大きさを調整する調整手段をさらに備える、請求項１ないし５のいずれかに記載の歪み補正装置。