JP2014099714A - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】入力画像に対する水平方向の歪補正処理期間の開始から最終的な補正画像を得るまでの遅延を小さくする。
【解決手段】 水平歪補正処理部が、供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行い、この水平歪補正処理部による水平方向の歪補正処理の結果をメモリに順次保存する。次に、垂直歪補正処理部が、水平歪補正処理部による水平方向の歪補正処理の開始後、１フレーム分未満の所定時間遅延させて上記メモリから水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する。
【選択図】図２

Description

本開示は、ビデオカメラやデジタルスチルカメラなどに適用される画像処理装置、撮像装置、画像処理方法及びプログラムに関するものである。

従来、ビデオカメラやデジタルスチルカメラ、あるいは銀塩カメラなどにより撮像された画像においては、撮像レンズの歪曲収差特性の影響により歪みが生じていた。また、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサでは、ローリングシャッタ方式による信号電荷の蓄積及び読み出しが行われるので、被写体が高速に移動すると画像が歪むという問題が発生する。

通常、入力画像に対して垂直方向の歪補正処理をする際、タップ数の多いフィルタを用いる場合や垂直方向の移動量が多い画像の場合では、大量のデータ処理を必要とするためにフレームメモリが用いられる。

以下、従来の歪補正処理について図面を参照して説明する。図１は、従来の歪補正処理についての説明図である。
従来の歪補正回路は、入力された画像２００の上端の行から下端の行まで歪補正テーブルを参照して水平方向に歪補正処理（ラスター処理）を行い、その結果をフレームメモリに蓄積する。そして、１フレーム分の画像の水平方向の歪補正結果が得られた後、画像の上端の行から下端の行まで順に垂直方向に読み出し、歪補正テーブルを参照して垂直方向の歪補正を行う。このとき、例えば１行の画素行を所定数の画素ごとに分割し、この所定数の画素単位で垂直方向の歪補正処理（短冊処理）を実施する。

図２は、図１に示した歪補正処理のタイミングチャートである。
１／６０秒周期のイメージセンサ用の同期信号（２−１）に応じて、イメージセンサの露光を行う。また、図示しないＣＰＵ(Central Processing Unit)が撮像レンズのレンズ情報（歪補正に用いるテーブル）を取得する（２−２）。図２の例では、イメージセンサから順次出力される第１〜第３の画像に関わる期間をそれぞれ、（１）、（２）及び（３）と表記している。

イメージセンサの露光及びＣＰＵによるレンズ情報の取得が行われた後、歪補正回路は、水平方向の歪補正処理用の同期信号（２−３）に応じて、ＣＰＵから水平歪補正処理用の歪補正データの受信及び設定（２−４）を行う。以下、水平方向の歪補正処理を「水平歪補正処理」と表記することがある。その後、イメージセンサから画像が出力され、この画像に水平歪補正処理が順次行われ（２−５）、水平歪補正処理がなされた画像（以下、「水平補正画像」という。）がメモリへ順次書き込まれる（２−６）。

水平歪補正処理が終了後、歪補正回路は、垂直方向の歪補正処理用の同期信号（２−７）に応じて、ＣＰＵから垂直歪補正処理用の歪補正データの受信及び設定を行う（２−８）。以下、垂直方向の歪補正処理を「垂直歪補正処理」と表記することがある。その後、垂直歪補正処理用の同期信号に応じて、メモリから水平歪補正が行われた画像の上端の行から下端の行まで順に垂直方向に読み出して、垂直歪補正処理を行う（２−９）。そして、垂直歪補正処理がなされた画像（補正画像）をメモリへ書き込む（２−１０）。

その後、歪補正回路は、垂直歪補正処理用の同期信号に応じて、補正画像をメモリから読み出し、外部へ出力する（２−１１）。

例えば、特許文献１には、水平方向の歪補正処理後に垂直方向の歪補正処理を行う画像処理装置が提案されている。この特許文献１に記載された画像処理装置では、水平１次元補間部により、歪みを持った原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いて１次元補間演算を施すことにより、水平方向における歪みを補正する。さらに、水平方向における補正により得られた画像に対し、該原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた１次元補間演算を施すことにより、該原画像の垂直方向における歪みを補正する。

特開２００４−８０５４５号公報

しかし、上記の方法では、画像のすべての行に対する水平歪補正処理が完了した後に垂直歪補正処理を行っているため、図２に示したように、水平歪補正処理期間の開始から垂直歪補正処理が完了して補正画像を得るまでに、２フレーム分の遅延が発生する。このような遅延は、低処理遅延を要求されるスポーツ中継用などの高性能のビデオカメラや、危険監視用途のセキュリティカメラなどでは好ましくない。

以上の状況から、入力画像に対する水平方向の歪補正処理期間の開始から最終的な補正画像を得るまでの遅延を小さくする手法が要望されていた。

本開示では、水平歪補正処理部が、供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行い、この水平歪補正処理部による水平方向の歪補正処理の結果をメモリに順次保存する。次に、垂直歪補正処理部が、水平歪補正処理部による水平方向の歪補正処理の開始後、１フレーム分未満の所定時間遅延させて上記メモリから水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する。

本開示の構成によれば、入力画像全体の水平歪補正処理が完了する前に垂直歪補正処理を開始することができる。その結果、水平歪補正処理期間の開始から垂直歪補正処理が完了して補正画像を得るまでの遅延を、従来と比べて小さくすることができる。

本開示によれば、水平方向の歪補正処理期間の開始から最終的な補正画像を得るまでの遅延を小さくすることができる。

従来の歪補正処理についての説明図である。 図１に示した歪補正処理のタイミングチャートである。 本開示の一実施の形態に係る歪補正処理についての説明図であり、図３Ａは入力画像の上半分の歪補正処理、図３Ｂは入力画像の下半分の歪補正処理についての説明図である。 本開示の一実施の形態に係る歪補正処理時の、補正処理入力画像と補正処理出力画像の説明図であり、図４Ａは入力画像の上半分の歪補正処理時、図４Ｂは入力画像の下半分の歪補正処理時の説明図である。 本開示の一実施の形態に係る撮像装置の内部構成例を示すブロック図である。 図５に示した撮像装置内の歪補正処理部の内部構成例を示すブロック図である。 本開示の一実施の形態に係る歪補正処理を示すフローチャートである。 本開示の一実施の形態に係る歪補正処理のタイミングチャートである。 図９は、コンピュータのハードウェアの構成例を示すブロック図である。

以下、本開示を実施するための形態（以下、実施の形態という）の例について説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。説明は以下の順序で行う。
１．一実施の形態（画面を複数の領域に分割し、水平歪補正処理が完了した領域から垂直歪補正処理を開始する例）
２．その他（変形例）

＜１．一実施の形態＞
[概要]
本開示の一実施の形態に係る歪補正処理の概要を、図３及び図４を参照して説明する。
図３は、本開示の一実施の形態に係る歪補正処理についての説明図であり、図３Ａは入力画像の上半分の歪補正処理、図３Ｂは入力画像の下半分の歪補正処理についての説明図である。
図４は、本開示の一実施の形態に係る歪補正処理時の、補正処理入力画像と補正処理出力画像の説明図であり、図４Ａは入力画像の上半分の歪補正処理時、図４Ｂは入力画像の下半分の歪補正処理時の説明図である。

本開示は、入力画像の水平方向の歪補正処理が完了後、１フレーム分未満の所定時間遅延させて垂直方向の歪補正処理を行うものである。一例として、補正対象の画像を垂直方向に分割した複数の領域のうちの一の領域に対する水平方向の歪補正処理が完了後、一の領域に対する垂直方向の歪補正処理を開始する。図３及び図４では、入力された画像１を中心線ｃで上下（垂直方向）に２つの領域に分割し、それぞれについて水平方向及び垂直方向に歪補正処理を行う例を示している。

まず、補正対象の画像１の上端の行２Ｕ−１から下端の行２Ｌ−ｎまで水平方向に歪補正処理（ラスター処理）を行い、その結果を後述するメモリ５０に蓄積していく。そして、上記の画像１に対して水平方向の歪補正処理を実行中に、画像１の上半分である第１の領域の水平方向の歪補正処理が完了したとき、第１の領域に対して垂直方向の歪補正処理を開始する。

ここでは、画像１の第１の領域の上端の行２Ｕ−１から下端の行２Ｕ−ｎ、さらに該下端の行２Ｕ−ｎの１行下の行２Ｕ−ｍに対する水平方向の歪補正処理が完了したとき、第１の領域に対して垂直方向の歪補正処理を開始する。行２Ｕ−ｍは、画像１の下半分である第２の領域の上端の行２Ｌ−１に相当する。

垂直方向の歪補正処理では、１行の画素行を所定数の画素（画素群）を単位として分割し、この画素群単位で左端の列から順に垂直方向の歪補正処理（短冊処理）を行う。すなわち、画像１の第１の領域の左端における、該第１の領域の上端の行２Ｕ−１における画素群３Ｕ−１から該第１の領域の下端の行２Ｕ−ｎにおける画素群３Ｕ−ｎ、その１行下の行２Ｕ−ｍにおける画素群３Ｕ−ｍに対して、垂直方向の歪み補正処理を行う。この垂直方向の歪補正処理を、第１の領域の左端の列の画素群から右端の列の画素群まで順次行う。

同様に、画像１の下半分である第２の領域の水平方向の歪補正処理が完了したとき、第２の領域に対して垂直方向の歪補正処理を開始する。すなわち、画像１の第２の領域の上端の行２Ｌ−１から該第２の領域の下端の行２Ｌ−ｎに対して、水平方向の歪補正処理を順次行い、下端の行２Ｌ−ｎに対する水平方向の歪補正処理が完了したとき、第２の領域に対して垂直方向の歪補正処理を開始する。そして、画像１の第２の領域の左端における、該第２の領域の上端の行２Ｌ−１の１行上の行２Ｕ−ｎにおける画素群３Ｌ−ｍ、さらに該第２の領域の上端の行２Ｌ−１における画素群３Ｌ−１から下端の行２Ｌ−ｎにおける画素群３Ｌ−ｎに対して、垂直方向の歪み補正処理を行う。この垂直方向の歪補正処理を、第２の領域の左端の列の画素群から右端の列の画素群まで順次行う。

上記のとおり、画像１の第１の領域（上側）の歪補正処理では、第１の領域と、第２の領域（下側）に属しかつ第１の領域と連続する行２Ｕ−ｍを含む補正処理入力画像５Ｕに対して水平方向及び垂直方向の歪補正処理を行う。そして、出力する補正処理出力画像６Ｕでは拡張して処理した行２Ｕ−ｍを除外する（図４Ａ）。
同様に、第２の領域の歪補正処理では、第２の領域と、第１の領域（下側）に属しかつ第２の領域と連続する行２Ｕ−ｎを含む補正処理入力画像５Ｌに対して水平方向及び垂直方向の歪補正処理を行う。そして、出力する補正処理出力画像６Ｌでは拡張して処理した行２Ｕ−ｎを除外する（図４Ｂ）。
これにより、画像１の第１の領域と第２の領域との間で、中心線ｃ付近の歪補正結果の連続性を保つことができるので、高品質な補正画像が得られる。なお、この補正処理入力画像と補正処理出力画像との差分は、歪みの大きさ（撮像レンズの歪み特性）や歪みの精度等に応じて適宜調整することがより望ましい。

換言すると、本開示では、まず入力画像を分割した複数の領域に対し水平方向の歪補正処理を行う。次に、水平方向の歪補正処理が実施された一の領域（例えば第１の領域）に加え、該一の領域と連続しかつ該一の領域と隣接する領域（例えば第２の領域）に含まれる所定数の水平ラインを含む部分に対して垂直方向の歪補正処理を行う。そして、その垂直方向の歪補正処理を行った入力画像の一の領域のみを、補正画像として出力する。これにより、隣接する領域間において分割線（例えば中心線ｃ）付近の歪補正結果の連続性を保つことができる。

[撮像装置]
次に、画像処理装置の一実施の形態例としての撮像装置の構成例について、図５を参照して説明する。
図５は、本開示の一実施の形態に係る撮像装置１０の内部構成例を示すブロック図である。撮像装置１０は、イメージセンサ３０、信号処理回路４０、メモリ５０、及び制御部６０を備えている。

イメージセンサ３０は、ＣＣＤ(Charge Coupled Devices)やＣＭＯＳイメージセンサ等が適用される撮像素子である。所定のシャッタ動作に従った領域単位、例えば行単位の順次読み出し処理が実行される。イメージセンサ３０は、撮像装置１０本体の同期信号に基づき、撮像レンズ２０を介した入射光に応じて有効撮像領域の各画素のフォトダイオードを利用して電荷を蓄積し、蓄積電荷に基づくアナログの光電変換信号を出力する。該アナログの光電変換信号は、不図示のＡ／Ｄ変換器によりデジタルの信号に変換され、映像信号（画像）として信号処理回路４０に供給される。なお、イメージセンサ３０が、光電変換信号に対してアナログ／デジタル変換処理を行う構成としてもよい。

信号処理回路４０は、イメージセンサ３０から供給される映像信号（画像）に歪補正処理等の信号処理を施して外部へ出力する。
この信号処理回路４０は、カメラ信号処理部４１、歪補正処理部４２、同期信号生成部４３及び表示系処理部４４のブロックを備え、各ブロックがバス４５を介して相互にデータ通信可能に接続されている。

カメラ信号処理部４１は、例えばイメージセンサ３０から供給される映像信号（画像）に画素欠陥補正やシェーディング補正、ホワイトバランス調整、ニー補正、ガンマ補正などの処理を施し、出力画像を生成して出力する。通常、ニー補正やガンマ補正などの後では、ビット幅（ダイナミックレンジ）が圧縮されるので、これらの補正結果を使って歪補正処理を行うことにより、回路規模を小さく抑えられる。

歪補正処理部４２は、カメラ信号処理部４１から入力された映像信号による画像の歪みを補正する処理を行う。この処理については、後に詳細に説明する。
同期信号生成部４３は、外部から供給されるクロック信号に応じて信号処理回路４０内の各ブロックの制御や信号処理に用いられる同期信号を生成する。同期信号生成部４３は、生成した同期信号を歪補正処理部４２へ供給する。
表示系処理部４４は、歪補正処理部４２で歪補正処理された映像信号あるいはメモリ５０に保存された映像信号を最終的な映像出力形式に変換して、表示装置７０へ出力する。例えば、表示系処理部４４はマトリクス回路を備え、映像信号に含まれる赤、緑、青の色データを、輝度信号Ｙ、赤色差信号Ｃｒ、青色差信号Ｃｂの形式に変換して出力する。表示装置７０としては、液晶表示装置や有機ＥＬ表示装置などが用いられる。

メモリ５０は、信号処理回路４０から出力されるデータの書き込み及び呼び出しが行われる記録部である。メモリ５０は、後述するようにメモリ５０−１とメモリ５０−２（図６参照）を備えている。

制御部６０は、例えばＣＰＵ（中央演算処理装置）６１と、ＣＰＵ６１が実行するプログラム等を記憶するためのＲＯＭ（Read Only Memory）６２と、ＣＰＵ６１の作業領域として使用されるＲＡＭ（Random Access Memory）６３とを有している。なお、ＲＯＭ６２としては、例えば、通常電気的に消去可能なプログラマブルＲＯＭを用いる。ＣＰＵ６１は、例えばバス４５を通じて撮像装置１０のイメージセンサ３０、信号処理回路４０、メモリ５０と接続しており、各ブロックの制御を行う。ＣＰＵ６１は、外部から供給されるクロック信号に応じて動作する。

[歪補正処理部]
図６は、図５に示した信号処理回路４０内の歪補正処理部４２の内部構成例を示すブロック図である。

歪補正処理部４２は、水平方向の歪補正処理を行う水平歪補正処理部４２ｈと、垂直方向の歪補正処理を行う垂直歪補正処理部４２ｖと、歪補正用同期信号生成部４２ＴＧを備えている。

水平歪補正処理部４２ｈは、入力バッファ部４２１、水平歪補正部４２２、水平歪補正成分算出部４２３及び出力バッファ部４２４を備えている。
垂直歪補正処理部４２ｖは、入力バッファ部４２５、垂直歪補正部４２６、垂直歪補正成分算出部４２７及び出力バッファ部４２８を備えている。
歪補正用同期信号生成部４２ＴＧには、カメラ信号処理部４１及び同期信号生成部４３から同期信号が供給される。歪補正用同期信号生成部４２ＴＧは、カメラ信号処理部４１から供給される同期信号に基づいて水平方向の歪補正処理用の同期信号Ｓｈを生成し、水平歪補正処理部４２ｈの各ブロックに供給する。また、同期信号生成部４３から供給される同期信号に基づいて垂直方向の歪補正処理用の同期信号Ｓｖを生成し、垂直歪補正処理部４２ｖの各ブロックに供給する。
本実施の形態では、垂直方向の歪補正処理用の同期信号Ｓｖは、水平方向の歪補正処理用の同期信号Ｓｈよりも１フレーム分未満の所定時間遅延している。これら水平方向及び垂直方向の歪補正処理用の同期信号Ｓｈ及びＳｖに応じて、水平歪補正処理部４２ｈ及び垂直歪補正処理部４２ｖの各ブロックの処理が行われる。

（水平歪補正処理部）
以下、水平歪補正処理部４２ｈについて説明する。
入力バッファ部４２１は、カメラ信号処理部４１から画像１の１水平ライン分の映像信号のデータを受信し、内部に備えるラインメモリに一時的に保存する。入力バッファ部４２１は、歪補正用同期信号生成部４２ＴＧから供給される水平歪補正処理用の同期信号Ｓｈに応じて、ラインメモリに一時的に保存された映像信号に係る画像の各行の画素データ、を水平歪補正部４２２へ順次出力する。なお、カメラ信号処理部４１から順次出力される画素データの順番等が、バス４５を流れるデータのデータ量が多いなどの理由によりばらつくことがある。入力バッファ部４２１がラインメモリを備えることにより、そのようなバラツキを吸収し、入力バッファ部４２１から水平歪補正部４２２へ画素データを所定順に出力することができる。

水平歪補正部４２２は、入力バッファ部４２１から供給される１フレーム分の映像信号に対し、水平歪補正処理用の同期信号Ｓｈに応じて、水平歪補正成分算出部４２３から供給される各画素の水平方向の歪補正データ（水平歪補正データ）に基づく水平歪補正処理（ラスター処理）を行う。水平歪補正部４２２による水平歪補正処理は、補正対象の画像１の上端の行２Ｕ−１から下端の行２Ｌ−ｎまでの各画素に行い（図３Ａ参照）、その補正結果を出力バッファ部４２４に順次出力する。水平歪補正データは、歪みを持った原画像を構成する画素点における水平方向の補正量を示すパラメータである。

水平歪補正成分算出部４２３は、水平歪補正処理用の同期信号Ｓｈに応じて、ＣＰＵ６１から供給される撮像レンズ２０のレンズ情報やその他の設定情報を取得し、内部のレジスタ等の記憶部に一時的に保存、設定する。そして、水平歪補正成分算出部４２３は、内部の記憶部に保存した情報に基づいて、１画素ごとの水平歪補正データを生成して水平歪補正部４２２へ供給する。

レンズ情報は、例えば画像１の垂直方向と水平方向を格子状に区切った格子点における歪補正データであり、例えば撮像レンズ２０の歪曲収差特性及びその瞬間における撮像レンズ２０のズーム位置等から求められる。一般に、光学ズーム機能においてワイドの向きに撮像レンズ２０が移動すると画像に樽型歪みが生じ、テレの向きに撮像レンズ２０が移動すると画像に糸巻き型歪みが発生する。歪補正データは、例えば画像１上の格子点と水平方向及び垂直方向の歪補正データ（補正値）を対応づけたテーブルとして、ＣＰＵ６１内部のレジスタやＲＯＭ６２等の記憶部に保存される。例えば、水平方向２０４８画素及び垂直方向１０８０画素の画像を各方向において１０等分した場合、水平方向では約２００画素、垂直方向では約１００画素おきに格子点が存在する。
なお、ＣＰＵ６１から供給されるその他の設定情報としては、画像１の補正対象領域などがある。歪補正処理部４２は、画像１のうちＣＰＵ６１から指示された領域に対して、水平方向及び垂直方向の歪補正処理を行う。

水平歪補正成分算出部４２３は、水平歪補正処理用の同期信号Ｓｈに基づいて補正対象の画素を決定する。そして、この画素の位置と同一又は近傍の格子点の水平方向の歪補正データ（補正値）をテーブルから読み出し、当該画素における水平歪補正データを算出する。

出力バッファ部４２４は、ＦＩＦＯ（First-In First-Out）メモリである。出力バッファ部４２４は、水平歪補正処理用の同期信号Ｓｈに応じて、水平歪補正部４２２で水平歪補正処理された水平補正映像信号が入力され、バッファ処理後に水平補正映像信号をメモリ５０−１に書き込む。

メモリ５０−１は、所定容量のフレームメモリで構成できる。メモリ５０−１は、垂直歪補正処理用の同期信号Ｓｖに応じて、水平補正映像信号が所定の画素幅で垂直方向に読み出される。

（垂直歪補正処理部）
以下、垂直歪補正処理部４２ｖについて説明する。
入力バッファ部４２５は、歪補正用同期信号生成部４２ＴＧから供給される垂直歪補正処理用の同期信号Ｓｖに応じて、メモリ５０−１から水平補正映像信号を読み出し、内部に備えるラインメモリに一時的に保存する。入力バッファ部４２５は、本実施の形態に係る垂直方向の歪補正処理を実現するために必要な最小限のライン数分に渡るデータを格納できるだけの容量を有すればよい。例えば、ライン数が少ないほど処理遅延が小さくなるが、垂直歪補正の効果も小さくなるので、ライン数を適宜設計することが望ましい。メモリ５０−１の１ラインには、所定数の画素のデータ、例えば１２８画素分のデータが格納される。入力バッファ部４２５は、水平歪補正処理用の同期信号Ｓｈに応じて、ラインメモリに一時的に保存された映像信号に係る画像の各行の画素データを、垂直歪補正部４２６へ順次出力する。

垂直歪補正部４２６は、入力バッファ部４２５から供給される映像信号に対し、垂直歪補正処理用の同期信号Ｓｖに応じて、垂直歪補正成分算出部４２７から供給される各画素の垂直方向の歪補正データ（垂直歪補正データ）に基づく垂直歪補正処理（短冊処理）を行う。垂直歪補正データは、歪みを持った原画像を構成する画素点における垂直方向の補正量を示すパラメータである。

垂直歪補正成分算出部４２７は、垂直歪補正処理用の同期信号Ｓｖに応じて、ＣＰＵ６１から供給される撮像レンズ２０のレンズ情報（歪補正に用いるテーブル）やその他の設定情報を取得し、内部のレジスタ等の記憶部に一時的に保存、設定する。そして、垂直歪補正成分算出部４２７は、内部の記憶部に保存したテーブルの情報に基づいて、１画素ごとの垂直歪補正データを生成して垂直歪補正部４２６へ供給する。水平歪補正処理の場合と同様に、垂直歪補正成分算出部４２７は、垂直歪補正処理用の同期信号Ｓｖに基づいて補正対象の画素を決定する。そして、この画素の位置と同一又は近傍の格子点の垂直方向の歪補正データ（補正値）をテーブルから読み出し、当該画素における垂直歪補正データを算出する。

出力バッファ部４２８は、ＦＩＦＯ（First-In First-Out）メモリである。出力バッファ部４２８は、垂直歪補正処理用の同期信号Ｓｖに応じて、垂直歪補正部４２６で垂直歪補正処理された映像信号（補正映像信号）が入力され、バッファ処理後にこの補正映像信号をメモリ５０−２に書き込む。

メモリ５０−２は、所定容量のフレームメモリで構成される。撮像装置１０本体の同期信号に応じて、メモリ５０−２に保存された映像信号のデータがフレーム単位で読み出され、表示系処理部４４へ供給される。

次に、上記のように構成された信号処理回路４０による歪補正処理について、図７を参照して説明する。
図７は、本開示の一実施の形態に係る歪補正処理を示すフローチャートである。

まず、ＣＰＵ６１（図５参照）は、図示しないシャッタボタンや録画ボタンが押されたこと又はその他の撮影を指示する制御信号に従い、撮像装置１０本体の同期信号に応じて、イメージセンサ３０の各画素において露光を行う（ステップＳ１）。そして、イメージセンサ３０は各画素から画素データを読み出す（ステップＳ２）。その後、イメージセンサ３０の各画素から読み出された画素データに基づく映像信号（画像）が、信号処理回路４０に入力される（ステップＳ３）。

この処理と並行して、ＣＰＵ６１は、撮像レンズ２０のレンズデータ（歪曲収差特性及びズーム位置等）を取得し（ステップＳ４）、歪補正データの算出及び設定を行う（ステップＳ５）。そして、ＣＰＵ６１は、算出した歪補正データ（補正値）を含むテーブルを水平歪補正処理部４２ｈ及び垂直歪補正処理部４２ｖ（図６参照）へ供給する（ステップＳ３）。

次に、信号処理回路４０のカメラ信号処理部４１は、入力された映像信号（画像）に対して所定の信号処理を実行する（ステップＳ６）。そして、カメラ信号処理部４１は、所定の信号処理を行った映像信号を歪補正処理部４２の水平歪補正処理部４２ｈ（入力バッファ部４２１）に供給し、また上記の同期信号を歪補正処理部４２の歪補正用同期信号生成部４２ＴＧに供給する（ステップＳ７）。

そして、水平歪補正処理部４２ｈの水平歪補正成分算出部４２３は、歪補正用同期信号生成部４２ＴＧから供給される水平歪補正処理用の同期信号Ｓｖに応じて、ＣＰＵ６１から供給されるレンズ情報（歪補正に用いるテーブル）やその他の設定情報をレジスタ等の記憶部に保存する。そして、そのレンズ情報やその他の設定情報に基づいて、水平方向の歪補正処理に用いる１画素ごとの歪補正データをそれぞれ算出し、設定する。同様に、垂直歪補正処理部４２ｖの垂直歪補正成分算出部４２７は、歪補正用同期信号生成部４２ＴＧから同期信号Ｓｈより１フレーム分未満の所定時間遅延させて供給される垂直歪補正処理用の同期信号Ｓｖに応じて、ＣＰＵ６１から供給されるレンズ情報やその他の設定情報をレジスタ等の記憶部に保存する。そして、垂直方向の歪補正処理に用いる１画素ごとの歪補正データをそれぞれ算出し、設定する（ステップＳ７）。

次に、水平歪補正部４２２は、水平歪補正処理用の同期信号Ｓｈに応じて、入力バッファ部４２１から供給される１フレーム分の映像信号に対し、水平歪補正成分算出部４２３から供給される各画素の水平歪補正データに基づく水平歪補正処理（ラスター処理）を行う（ステップＳ８）。その補正結果（水平補正映像信号のデータ）を、出力バッファ部４２４に順次出力する。この水平歪補正部４２２による水平歪補正処理は、１フレーム分の映像信号による画像の全画素に対する処理が完了するまで行われる。

出力バッファ部４２４は、水平歪補正処理用の同期信号Ｓｈに応じて、水平歪補正部４２２から入力された水平補正映像信号をメモリ５０−１に順次書き込む（ステップＳ９）。

垂直歪補正処理部４２ｖの入力バッファ部４２５は、垂直歪補正処理用の同期信号Ｓｖに応じて、メモリ５０−１から水平補正映像信号のデータを順次読み出し、垂直歪補正部４２６へ供給する（ステップＳ１０）。この垂直歪補正処理用の同期信号Ｓｖは、入力画像を垂直方向に分割した複数の領域のうちの一の領域に対する水平方向の歪補正処理が完了したとき、入力バッファ部４２５に供給される。

垂直歪補正部４２６は、垂直歪補正処理用の同期信号Ｓｖに応じて、入力バッファ部４２５から供給される上記入力画像の一の領域の映像信号に対し、垂直歪補正成分算出部４２７から供給される歪補正データに基づいて垂直歪補正処理（短冊処理）を行う（ステップＳ１１）。この垂直歪補正処理の間、水平歪補正処理用の同期信号Ｓｈに応じて、水平歪補正処理部４２ｈによる上記一の領域に隣接する領域の水平歪補正処理が行われている。

出力バッファ部４２８は、垂直歪補正処理用の同期信号Ｓｖに応じて、垂直歪補正部４２６から入力された上記入力画像の一の領域の補正映像信号のデータをメモリ５０−２に順次書き込む（ステップＳ１２）。

ここで、上記入力画像の一の領域に隣接する領域に対する水平歪補正処理が完了した場合、ステップＳ１０に移行し、当該一の領域に隣接する領域に対し垂直歪補正部４２６による垂直歪補正処理が行われる。

入力画像のすべての領域すなわち全画素に対する垂直歪補正処理が終了した後、メモリ５０−２から補正映像信号を読み出し（ステップＳ１３）、例えば表示系処理部４４へ出力する（ステップＳ１４）。

［垂直歪補正処理のタイミング］
図８は、本開示の一実施の形態（図３参照）に係る歪補正処理のタイミングチャートである。なお、この例では、垂直歪補正処理の開始タイミングを、画像の分割領域の水平歪補正処理の完了時ではなく、水平歪補正処理の完了後の垂直歪補正処理用の同期信号Ｓｖに応じたタイミングとしている。

例えば１／６０（最短１／６２．５）秒周期のイメージセンサ３０用の同期信号（８−１）に応じて、イメージセンサ３０の露光を行う。また、ＣＰＵ６１が撮像レンズ２０のレンズ情報（歪補正に用いるテーブル）等を取得する（８−２）。図８の例では、イメージセンサ３０から順次出力される第１〜第３の画像に係わる期間をそれぞれ、（１）、（２）及び（３）と表記している。

イメージセンサ３０の露光及びＣＰＵ６１によるレンズ情報等の取得が行われた後、歪補正処理部４２の水平歪補正処理部４２ｈにより、水平歪補正処理用の同期信号Ｓｈ（８−３）に応じて、ＣＰＵ６１から水平歪補正処理用の歪補正データの受信及び設定が行われる（８−４）。その後、イメージセンサ３０から画像が出力され、水平歪補正処理用の同期信号Ｓｈに応じて、この画像の各画素に水平歪補正処理が順次行われ（８−５）、水平歪補正処理がなされた画像（水平補正画像）がメモリ５０−１へ順次書き込まれる（８−６）。

このとき、図３Ａに示すように、補正対象の画像１の上端の行２Ｕ−１から下端の行２Ｌ−ｎまで水平方向に歪補正処理が行われ、その結果が水平歪補正処理用の同期信号Ｓｈに応じてメモリ５０−１に蓄積されていく。そして、上記の画像１に対して画素行単位で歪補正処理を実行中に、画像１の上半分である第１の領域に加え、第２の領域に属しかつ第１の領域と連続する行に対する水平方向の歪補正処理が完了すると、その直後に、垂直歪補正処理用の同期信号Ｓｖに応じて、第１の領域に対する垂直方向の歪補正処理が開始される。

画像１の第１の領域に対する水平歪補正処理が完了後、垂直歪補正処理部４２ｖにより、垂直歪補正処理用の同期信号Ｓｖ（８−７）に応じて、ＣＰＵ６１から垂直歪補正処理の歪補正データの受信及び設定が行われる（８−８）。ここでは、水平歪補正処理の歪補正データの設定が終了し、水平歪補正処理が開始されるタイミング（時刻ｔ１）で、垂直歪補正処理の歪補正データの設定が開始される。第１の領域と第２の領域のそれぞれについて垂直歪補正処理の歪補正データを設定する。この垂直歪補正処理用の同期信号Ｓｖは、水平歪補正処理用の同期信号より遅延させた同期信号であって、周期は水平歪補正処理用の同期信号の半分（本例では１/１２０秒）である。

その１周期後（時刻ｔ２）、垂直歪補正処理用の同期信号Ｓｖに応じて、メモリ５０−１から、画像１の第１の領域の水平補正画像の上端の行２Ｕ−１における画素群３Ｕ−１から下端の行２Ｌ−ｎにおける画素群３Ｌ−ｎ、さらに該下端の行２Ｕ−ｎの１行下の行２Ｕ−ｍにおける３Ｕ−ｍまで順に垂直方向に読み出されて、垂直歪補正処理が行われる。
さらに、画像１の下半分である第２の領域に対する水平方向の歪補正処理が完了すると、その直後に、垂直歪補正処理用の同期信号Ｓｖに応じて、第２の領域に対する垂直方向の歪補正処理が開始される。すなわち、時刻ｔ２から１周期後（時刻ｔ３）、メモリ５０−１から、画像１の第２の領域の水平補正画像の上端の行２Ｌ−１の１行上の行２Ｕ−ｎにおける画素群３Ｌ−ｍ、該第２の領域の上端の行２Ｌ−１における画素群３Ｌ−１から下端の行２Ｌ−ｎにおける画素群３Ｌ−ｎまで順に垂直方向に読み出されて、垂直歪補正処理が行われる（８−９）。

画像１の第１の領域に対して垂直歪補正処理を実施した補正画像と、画像１の第２の領域に対して垂直歪補正処理を実施した補正画像は、垂直歪補正処理用の同期信号Ｓｖに応じて、順次メモリ５０−２へ書き込まれる（８−１０）。

その後、垂直歪補正処理部４２ｖにより、垂直歪補正処理用の同期信号Ｓｖに応じて、第２の領域に対する垂直歪補正処理の開始タイミングから１周期後（時刻ｔ４）、補正画像をメモリ５０−２から読み出し、表示系処理部４４へ出力する（８−１１）。

歪補正処理部４２によるこのような一連の歪補正処理を、第１の画像に続いて、第２の画像、第３の画像・・・と順次実行する。

上述した本実施の形態では、入力画像を垂直方向に２等分し、上側の領域に対する水平歪補正処理が完了したところで上側の領域に対する垂直歪補正処理を開始する構成となっている。すなわち、水平歪補正処理の開始後、１フレーム分未満の所定時間（上記の例では１／２フレーム）遅延させて垂直歪補正処理を開始する。それにより、入力画像全体の水平歪補正処理が完了する前に垂直歪補正処理を開始することができる。その結果、水平歪補正処理期間の開始から垂直歪補正処理が完了して補正画像を得るまでの遅延を、従来と比べて小さくすることができる。例えば、入力画像の上側の領域の水平歪補正処理が完了した時点で該上側の領域の垂直歪補正処理を開始する場合、水平歪補正処理期間の開始から垂直歪補正処理が完了して補正画像を得るまでの遅延をほぼ１．５フレーム分の時間に抑えられる。

また、本実施の形態では、垂直方向の歪補正処理を実現するために必要な最小限のライン数分に渡るデータを格納できるだけの容量を有すればよく、多数のラインメモリを必要としない。

入力画像の第１の領域に加え、該第１の領域及び第２の領域で重複して処理される部分に対する水平歪補正処理にかかる時間が、垂直同期信号の半分より短い場合、図４に示すように、垂直歪補正処理開始の周期を水平歪補正処理開始の周期の半分としてもよい。このようにした場合、第１の領域の水平歪補正処理が完了したことを確認しなくてもよく、処理を簡素化できるので、回路規模の増大を抑えられる。

＜２．その他＞
なお、上述した実施の形態では、入力画像を垂直方向に２等分した例（図３及び図４参照）を説明したが、２等分でなくてもよい。例えば入力画像を垂直方向に３等分又はそれ以上の領域に等分してもよい。入力画像の分割した複数の領域の各々の領域に対する水平方向の歪補正処理が完了するごとに、当該水平方向の歪補正処理が完了した領域に対して垂直方向の歪補正処理を開始する。

例えば、入力画像を垂直方向に２等分した場合、画像中央部の歪みを精度よく補正することができる。
また、入力画像を垂直方向に３等分又はそれ以上に分割した場合、２等分の場合と比してより高速な処理が可能であるが、複数の分割領域で重複して処理される部分が増えるため処理画素数が増える。ただし、歪みが大きい撮像レンズや撮影条件、環境にある場合、入力画像を精度よく補正することができる。

また、上述した実施の形態では、画像を垂直方向に２等分した例（図３及び図４参照）を説明したが、等分でなくてもよい。例えば、画像を垂直方向に２分割する場合、上側の領域を画像全体の１／３の領域、下側の領域を画像全体の２／３の領域とするなどのように不均等に分割してもよい。
ただし、高速な処理と処理画素数、歪みの補正精度のバランスをとるという観点から、１つの領域は、画像全体の１／３以上の大きさであることが望ましい。

また、上述した実施の形態において、入力バッファ部４２５内のラインメモリに、所定数の画素（例えば１２８画素）のデータを格納することで、垂直歪補正処理時に短冊処理を行う例を説明したが、この例に限られるものではない。入力バッファ部４２５内のラインメモリに制約がなければ、１ラインに１画素のデータを格納する構成としてもよい。この場合、より精細な垂直歪補正処理を実行することができるが、例えば垂直歪補正処理を開始する画素のアドレス分のデータ量が増大する。１画素や少ない画素単位で垂直歪補正処理を行うより、ある程度まとまった画素単位で垂直歪補正処理を行うほうが、処理効率がよく処理速度が速くなる。

また、歪補正処理の対象となる画像は、イメージセンサ３０から出力される画像だけでなく、イメージセンサ３０から出力されてフラッシュメモリ等の記録媒体に一旦保存された画像や、外部から受信して記録媒体に保存された画像なども含まれる。なお、この場合の記録媒体として、メモリ５０を利用してもよい。

また、上述した実施の形態では、カメラ信号処理部４１から供給される同期信号に基づいて水平歪補正処理用の同期信号Ｓｈを生成し、同期信号生成部４３から供給される同期信号に基づいて垂直歪補正処理用の同期信号Ｓｖを生成する構成を例示（図６、図８参照）した。しかし、この構成に限られない。例えば、同期信号生成部４３から供給される同期信号に基づいて、水平歪補正処理用の同期信号Ｓｈと、この同期信号より遅延するとともに周期が半分である垂直歪補正処理用の同期信号Ｓｖを生成してもよい。例えば、記録媒体に保存された画像の歪補正を行う場合、イメージセンサ３０から出力される同期信号を利用できないが、このように構成することにより、同期信号生成部４３から供給される同期信号を用いて垂直歪補正処理及び水平歪補正処理を行うことができる。

また、上述した実施の形態例におけるＣＰＵ６１から歪補正処理部４２に供給されるその他の設定情報として、手ぶれ補正機能の設定情報なども挙げられる。

また、上述した実施の形態は、ローリングシャッタ方式による画像の歪みに対する歪補正にも適用可能である。この場合、ＣＰＵ６１から供給される歪補正用のテーブルに、画像上の格子点とローリングシャッタ方式による水平方向及び垂直方向の歪みを補正するための歪補正データを対応づけて登録しておけばよい。また、撮像レンズによる歪みに対する補正量とローリングシャッタ方式による歪みに対する補正量の両方を反映した歪補正データを、画像上の格子点と対応づけてテーブルに登録してもよい。これにより、撮像レンズによる歪みとローリングシャッタ方式による歪みを合わせて補正することができる。

また、上術した実施の形態において、撮像装置１０本体に撮像レンズ２０が取り付けられている例を説明したが、撮像装置１０本体に対して撮像レンズ２０が着脱可能でもよい。

なお、本開示は以下のような構成も取ることができる。
（１）
供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行う水平歪補正処理部と、
前記水平歪補正処理部による前記水平方向の歪補正処理の結果を順次保存するメモリと、
前記水平歪補正処理部による水平方向の歪補正処理の開始後、１フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する垂直歪補正処理部と、を備える
画像処理装置。
（２）
前記垂直歪補正処理部は、前記入力画像を垂直方向に分割した複数の領域の各々の領域に対する前記水平歪補正処理部による前記水平方向の歪補正処理が完了するごとに、前記水平方向の歪補正処理が完了した領域に対して前記垂直方向の歪補正処理を開始する
請求項１に記載の画像処理装置。
（３）
前記複数の領域の各々は、前記入力画像の全体の３分の１以上の大きさである
請求項２に記載の画像処理装置。
（４）
前記垂直歪補正処理部は、前記入力画像を垂直方向に２等分した領域のうちの第１の領域に対する前記水平歪補正処理部による水平方向の歪補正処理が完了後、前記入力画像の第１の領域に対する垂直方向の歪補正処理を開始する
請求項２又は３に記載の画像処理装置。
（５）
前記水平歪補正処理部は、前記入力画像の一の領域に加え、該一の領域と連続しかつ該一の領域と隣接する領域に含まれる所定数の水平ラインを含む部分に対して水平方向の歪補正処理を行い、
前記垂直歪補正処理部は、前記水平方向の歪補正処理が実施された前記入力画像の一の領域及び前記所定数の水平ラインを含む補正処理入力画像に対して垂直方向の歪補正処理を行い、前記垂直方向の歪補正処理を行った前記入力画像の一の領域を補正処理出力画像として出力する
請求項２乃至４のいずれかに記載の画像処理装置。
（６）
イメージセンサと、
供給される同期信号に応じて、前記イメージセンサからの入力画像における水平方向の歪補正処理を行う水平歪補正処理部と、
前記水平歪補正処理部による前記水平方向の歪補正処理の結果を順次保存するメモリと、
前記水平歪補正処理部による水平方向の歪補正処理の開始後、１フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する垂直歪補正処理部と、を備える
撮像装置。
（７）
画像処理装置が備える水平歪補正処理部により、供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行うことと、
前記水平歪補正処理部により、前記水平歪補正処理部による前記水平方向の歪補正処理の結果をメモリに順次保存することと、
前記画像処理装置が備える垂直歪補正処理部により、前記水平歪補正処理部による水平方向の歪補正処理の開始後、１フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始すること
を含む画像処理方法。
（８）
コンピュータに、
供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行う手順と
前記水平方向の歪補正処理の結果をメモリに順次保存する手順と、
前記水平方向の歪補正処理の開始後、１フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する手順を
実行させるためのプログラム。

［本開示の適用範囲の例］
なお、以上において説明したように、図５の撮像装置１０は、画像の大局的な構造を抽出する画像処理を行う。このような画像処理により抽出された情報は、画質を向上させる処理などに利用することが可能であるため、画像の大局的な構造を抽出するブロックを実装する装置として、デジタルビデオカメラだけでなく他の装置にも適用することが可能である。例えば、そのような装置として、デジタルスチルカメラなどの撮像装置や、プリンタ、ディスプレイなどの表示装置等が考えられる。さらに、画像を加工したり、編集したりする装置やコンピュータプログラムにも応用することができる。

［コンピュータのハードウェアの構成例］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、ＣＰＵ１０１，ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２，ＲＡＭ１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インターフェース１０５が接続されている。入出力インターフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記録部１０８、ネットワークインターフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータでは、ＣＰＵ１０１が、例えば、記録部１０８に記録されているプログラムを、入出力インターフェース１０５及びバス１０４を介して、ＲＡＭ１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インターフェース１０５を介して、記録部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記録部１０８にインストールすることができる。その他、プログラムは、ＲＯＭ１０２や記録部１０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

以上、本開示は上述した各実施の形態に限定されるものではなく、特許請求の範囲に記載された要旨を逸脱しない限りにおいて、その他種々の変形例、応用例を取り得ることは勿論である。
すなわち、上述した各実施形態の例は、本開示の好適な具体例であるため、技術的に好ましい種々の限定が付されている。しかしながら、本開示の技術範囲は、各説明において特に本開示を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以上の説明で挙げた使用材料とその使用量、処理時間、処理順序および各パラメータの数値的条件等は好適例に過ぎず、また説明に用いた各図における寸法、形状および配置関係も概略的なものである。

１…画像、 ２Ｕ−１，２Ｌ−１…行（上端）、 ２Ｕ−ｎ，２Ｌ−ｎ…行（下端）、２Ｕ−ｍ…行、 ３Ｕ−１，３Ｕ−ｎ，３Ｕ−ｍ，３Ｌ−１，３Ｌ−ｎ，３Ｌ−ｍ…画素群、 ５Ｕ，５Ｌ…補正処理入力画像、 ６Ｕ，６Ｌ…補正処理出力画像、 １０…撮像装置、 ２０…撮像レンズ、 ３０…イメージセンサ、 ４０…信号処理回路、 ４１…カメラ信号処理部、 ４２…歪補正処理部、 ４２ＴＧ…歪補正用同期信号生成部、 ４２ｈ…水平歪補正処理部、 ４２ｖ…垂直歪補正処理部、 ４２１，４２５…入力バッファ部、 ４２２，４２６…歪補正部、 ４２３，４２７…補正成分算出部、 ４２４，４２８…出力バッファ部、 ４３…同期信号生成部、 ４４…表示系処理部、 ５０，５０−１，５０−２…メモリ、 ６０…制御部、 ６１…ＣＰＵ、 ｃ…中心線、Ｓｈ…同期信号（水平歪補正処理用）、 Ｓｖ…同期信号（垂直歪補正処理用）

Claims (8)

1. 供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行う水平歪補正処理部と、
   前記水平歪補正処理部による前記水平方向の歪補正処理の結果を順次保存するメモリと、
   前記水平歪補正処理部による水平方向の歪補正処理の開始後、１フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する垂直歪補正処理部と、を備える
   画像処理装置。
2. 前記垂直歪補正処理部は、前記入力画像を垂直方向に分割した複数の領域の各々の領域に対する前記水平歪補正処理部による前記水平方向の歪補正処理が完了するごとに、前記水平方向の歪補正処理が完了した領域に対して前記垂直方向の歪補正処理を開始する
   請求項１に記載の画像処理装置。
3. 前記複数の領域の各々は、前記入力画像の全体の３分の１以上の大きさである
   請求項２に記載の画像処理装置。
4. 前記垂直歪補正処理部は、前記入力画像を垂直方向に２等分した領域のうちの第１の領域に対する前記水平歪補正処理部による水平方向の歪補正処理が完了後、前記入力画像の第１の領域に対する垂直方向の歪補正処理を開始する
   請求項３に記載の画像処理装置。
5. 前記水平歪補正処理部は、前記入力画像の一の領域に加え、該一の領域と連続しかつ該一の領域と隣接する領域に含まれる所定数の水平ラインを含む部分に対して水平方向の歪補正処理を行い、
   前記垂直歪補正処理部は、前記水平方向の歪補正処理が実施された前記入力画像の一の領域及び前記所定数の水平ラインを含む補正処理入力画像に対して垂直方向の歪補正処理を行い、前記垂直方向の歪補正処理を行った前記入力画像の一の領域を補正処理出力画像として出力する
   請求項２に記載の画像処理装置。
6. イメージセンサと、
   供給される同期信号に応じて、前記イメージセンサからの入力画像における水平方向の歪補正処理を行う水平歪補正処理部と、
   前記水平歪補正処理部による前記水平方向の歪補正処理の結果を順次保存するメモリと、
   前記水平歪補正処理部による水平方向の歪補正処理の開始後、１フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する垂直歪補正処理部と、を備える
   撮像装置。
7. 画像処理装置が備える水平歪補正処理部により、供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行うことと、
   前記水平歪補正処理部により、前記水平歪補正処理部による前記水平方向の歪補正処理の結果をメモリに順次保存することと、
   前記画像処理装置が備える垂直歪補正処理部により、前記水平歪補正処理部による水平方向の歪補正処理の開始後、１フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始すること
   を含む画像処理方法。
8. コンピュータに、
   供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行う手順と
   前記水平方向の歪補正処理の結果をメモリに順次保存する手順と、
   前記水平方向の歪補正処理の開始後、１フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する手順を
   実行させるためのプログラム。

Images