JP2009033498A - 光学歪み補正装置とその方法及びプログラム並びに撮像装置 - Google Patents

Abstract

【課題】光学歪み補正の処理負荷を軽減することができる光学歪み補正装置とその方法及びプログラム並びに撮像装置を提供する。
【解決手段】本発明は、撮像された画像データの画像の周辺領域を補正座標として算出し、補正座標に基づいて周辺領域の光学歪み補正を行い、周辺領域以外の領域は光学歪み補正を行わない。
【選択図】図２

Description

本発明は、デジタルカメラ等で撮像した画像における光学歪みを補正する光学歪み補正装置とその方法及びプログラム並びに撮像装置に関する。

図１０は、デジタルカメラ等に搭載される撮影レンズが持つ光学歪み（ディストーション）を示す図である。図１０（ａ）に示す正方格子模様をデジタルカメラで撮影した場合、「糸巻き型歪み」を持つ撮影レンズでは、図１０（ｂ）に示す様に、四隅の角部が外側に伸びる画像が撮影され、「樽型歪み」を持つ撮影レンズでは、図１０（ｃ）に示す様に、四隅の角部が内側に縮む画像が撮影される。

光学歪みを持たない撮影レンズを軽量，低コストで製造するのは困難であり、このため、デジタルカメラの内部処理で、歪んだ画像を補正することが行われている。例えば、下記特許文献１，２に記載の従来技術では、固体撮像素子から出力された画像データをメインメモリに格納し、メインメモリ上の画像データの歪み補正を行ってから、出力する様にしている。

特開２００６―１６４１８７号公報 特開２００６―１３９３５０号公報

近年のデジタルカメラに搭載される固体撮像素子の画素数は数百万画素以上が普通になってきており、光学歪み補正を行う画像データのデータ量は膨大になっている。このため、歪み補正処理を行う演算処理装置の処理負荷は非常に大きくなってしまうという問題がある。

本発明は、上記事情に鑑みてなされたもので、その目的は、光学歪み補正の処理負荷を軽減することができる光学歪み補正装置とその方法及びプログラム並びに撮像装置を提供することにある。

本発明の上記目的は、下記構成によって達成される。
（１）撮像された画像データの光学歪み補正を行う光学歪み補正装置であって、
前記画像データの画像の周辺領域を補正座標として算出し、前記補正座標に基づいて前記周辺領域の光学歪み補正を行う光学歪み補正手段を備えていることを特徴とする光学歪み補正装置。
（２）前記周辺領域の画像データを短冊領域に分割して光学歪み補正を行うことを特徴とする上記（１）に記載の光学歪み補正装置。
（３）前記画像データを撮像する撮影レンズに応じた光学歪みのパラメータが入力され、前記光学歪みパラメータに基づいて前記補正座標を算出することを特徴とする上記（１）又は（２）に記載の光学歪み補正装置。
（４）撮像された画像データの光学歪み補正を行う光学歪み補正方法であって、
前記画像データの画像の周辺領域を補正座標として算出し、前記補正座標に基づいて前記周辺領域の光学歪み補正を行うことを特徴とする光学歪み補正方法。
（５）前記周辺領域の画像データを短冊領域に分割して光学歪み補正を行うことを特徴とする上記（４）に記載の光学歪み補正方法。
（６）前記画像データを撮像する撮影レンズに応じた光学歪みのパラメータが入力され、前記光学歪みパラメータに基づいて前記補正座標を算出することを特徴とする上記（４）又は（５）に記載の光学歪み補正方法。
（７）撮像された画像データの光学歪み補正を行う光学歪み補正プログラムであって、
前記画像データの画像の周辺領域を補正座標として算出し、前記補正座標に基づいて前記周辺領域の光学歪み補正を行うステップを有することを特徴とする光学歪み補正プログラム。
（８）前記周辺領域の画像データを短冊領域に分割して光学歪み補正を行うことを特徴とする上記（７）に記載の光学歪み補正プログラム。
（９）前記画像データを撮像する撮影レンズに応じた光学歪みのパラメータが入力され、前記光学歪みパラメータに基づいて前記補正座標を算出することを特徴とする上記（７）又は（８）に記載の光学歪み補正プログラム。
（１０）被写体の光学像を受光し、前記被写体の画像データを出力する撮像素子と、前記画像データの画像の周辺領域を補正座標として算出し、前記補正座標に基づいて前記周辺領域の光学歪み補正を行う光学歪み補正手段を備えていることを特徴とする撮像装置。

本発明は、光学歪みを有する撮影レンズで影響の大きい画像の周辺領域のみを対象として光学歪み補正を行うものである。こうすれば、光学歪みの影響の小さい画像の中央領域に対して光学歪み補正を行わずに、そのままの画像データを用いることができるため、光学歪み補正にかかる処理負担を軽減することができる。

また、画像データを撮像する撮影レンズに応じた光学歪みのパラメータが入力され、光学歪みパラメータに基づいて補正座標を算出することが好ましい。こうすれば、撮影レンズに応じて光学歪みが生じている領域に合わせて補正座標を適正に設定することができ、光学歪み補正の精度をより一層向上させることができる。

本発明によれば、光学歪み補正の処理負荷を軽減することができる光学歪み補正装置とその方法及びプログラム並びに撮像装置を提供できる。

以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、本発明の一実施形態に係るデジタルカメラのブロック構成図である。本実施形態では、撮像装置の一例としてデジタルカメラの構成を例に説明するが、撮像装置はこれに限定されない。また、下記の実施形態では、光学歪み補正装置を備えた撮像装置の例を説明するが、本発明にかかる光学歪み補正装置は、撮像装置に設けられている必要はなく、撮像装置から独立して別に構成されていてもよい。

本実施形態のデジタルカメラ１０は、被写体像を結像させるための光学ユニット１２と、光学ユニット１２の光軸後方に配設され光学ユニット１２を通して得られる被写体反射光を受光しアナログ画像データを出力するＣＣＤ型撮像素子やＣＭＯＳ型イメージセンサなどの撮像素子１４とを備える。

この光学ユニット１２は、図示は省略するが、ズームレンズ群、フォーカスレンズ、これら撮影レンズの各々を光軸方向に移動させるレンズ移動機構を含んで構成され、焦点距離の変更（変倍）が可能になっている。光学ユニット１２が有する光学歪みは光学ユニット１２の設計で決まり、既知である。

光学ユニット１２は、Ａ／Ｆ制御回路３２に接続されており、Ａ／Ｆ制御回路３２の制御により所望のズーム倍率になるようにズームレンズ群が光軸方向に移動され、光学ユニット１２を通過した被写体像を示す入射光が撮像素子１４の受光面上に結像するようにフォーカスレンズが光軸方向に移動制御される。

また、このデジタルカメラ１０は、撮像素子１４から出力された被写体像を示すアナログ画像データをデジタルの画像データに変換して出力するＡ／Ｄ変換器１６と、Ａ／Ｄ変換器１６から入力された画像データに対して、ホワイトバランス調整，ガンマ補正，シャープネス補正等の各種補正処理やＲＧＢデータをＹＣ信号に変換する処理等を行う信号処理プロセッサ２２と、信号処理プロセッサ２２によって信号処理された画像データを格納するメインメモリ３８とを備えている。

更に、このデジタルカメラ１０は、光学ユニット１２を介して被写体を撮影することにより得られた画像データの光学歪みを演算処理して補正するディストーション補正部２４と、各種情報や撮像画像を表示する液晶表示部１８の表示制御を行うＬＣＤ制御部２６と、光学歪みが補正された画像データを記憶する外部記録メディア２８に対する各種情報の読み書きを制御するメディア制御部３０と、レリーズボタンや電源スイッチ，動画／静止画撮影切替等の指示をユーザが入力する操作手段２０に接続されたＩ／Ｆ（インタフェース）部３４と、デジタルカメラ１０の全体制御を司るＣＰＵ３６と、各種プログラムや処理ルーチン等を予め記憶したＲＯＭ４０とを備えている。

信号処理プロセッサ２２、ディストーション補正部２４、ＬＣＤ制御部２６、メディア制御部３０、Ａ／Ｆ制御回路３２、Ｉ／Ｆ部３４、ＣＰＵ３６、メインメモリ３８、及びＲＯＭ４０は、これらを相互接続するバス４２を介して各種データ，信号を入出力する。

図２は、ディストーション補正部２４の構成部である。ディストーション補正部２４は、メインメモリ３８に格納されている画像データを後述するように読み出す入力処理制御部５２と、入力処理制御部５２から出力された画像データを受け取り、画像の光学歪みをデータ処理で補正する演算処理部５８と、演算処理部５８によって光学歪みが補正された補正後の画像データをメインメモリ３８へ転送する出力処理制御部５６と、画像データにおいて光学歪み補正を行う領域を表す補正座標と、補正座標を算出するための演算係数を格納し、補正座標を入力処理制御部５２及び演算処理部５８との間で信号を入出力可能な補正座標演算係数格納メモリ５４とを備えている。

画像データは、複数の画素が所定方向（例えば水平方向（Ｘ軸方向））に配列された画素行を、この所定方向と交差する方向（例えば垂直方向（Ｙ軸方向））に複数行配列することで、構成されている。

入力処理制御部５２は、被写体の静止画像を処理する場合に、図３に示すように、メインメモリ３８に格納されている１画面の画像データ８０を、Ｘ軸方向の幅が所定の処理単位画素数となるように短冊状に区切って複数の短冊領域８２に分割する。そして、各短冊領域８２毎に、短冊領域８２内の１画素行８４毎に演算処理部５８にＤＭＡ（Direct Memory Access）転送する。

入力処理制御部５２は、ＤＭＡ転送時に、１画素行８４分の画像データの各画素の画素値を水平方向（Ｘ軸方向）にスキャンすることによって、順次各画素の画素値を読み出す。

入力処理制御部５２は、１つの短冊領域８２内の画像データを全て読み出し演算処理部５８に転送した後は、補正座標演算係数格納メモリ５６から指示された次の短冊領域８２の開始位置から再び画像データを読み出して演算処理部５８に転送するという処理を繰り返し実行し、画像データ８０の画像の一端（画像始点に位置する画素８３）から対向する他端（画像終点に位置する画素８５）まで、順次各画素を読み出す。

演算処理部５８は、入力処理制御部５２から転送された１画素行８４分の画像データを格納するためのラインバッファを備えている。また、演算処理部５８は、ラインバッファに格納された１画素行８４分の画像データについて、水平方向の光学歪み補正を行うためのディストーション補正処理を実行し、水平方向の光学歪みが補正された各画素行８４の画像データを、各画素行８４毎に各々格納するためのラインバッファを備えている。演算処理部５８は、ラインバッファの各々に格納された複数の水平方向の光学歪み補正済みの画素行８４の画像データに基づいて、垂直方向の光学歪み補正を行うための垂直方向ディストーション補正処理を実行する。

演算処理部に設けられるラインバッファはそれぞれ、各画素行８４分の画素数の画素値からなる画像データを記憶可能な容量を備えている。

光学歪みとしては、図１０（ｂ）に示すように画像の角部が外側に伸びて表示される「糸巻き型」と、図１０（ｃ）に示すように角部が縮むように表示される「たる型」の２種類があり、何れも光学中心からの距離によって光学歪み量が決まっている。

光学歪み量は、図４に示すように非線形カーブ（ディストーションカーブ）で示され、正の光学歪み量の場合は、各画素は、光学歪みの無いときの位置から中心より遠ざかる位置にずれて「糸巻き型」となり、負の光学歪み量の場合は、各画素は、光学歪みの無いときの位置から中心へ近づく位置になるので「たる型」となる。光学歪み量は、歪みパラメータによって表すことができる。

「糸巻き型」と「たる型」の何れの光学歪みを有するかは、光学ユニット１２によって定まり、デジタルカメラに搭載された光学ユニット１２の歪みパラメータは、予めＲＯＭ４０に設定される。

図５は、本実施形態にかかる光学歪み補正の手順を示すフローチャートである。先ず、ユーザによる静止画撮影指示の入力を判別し、ＣＰＵ３６から撮影情報を取得する。

撮影時には、ＲＯＭ４０からＣＰＵ３６に歪みパラメータが入力され（ステップＳ１）、ＣＰＵ３６から補正座標演算係数格納メモリ５４に、歪みパラメータと、補正座標の算出を開始する制御信号とが入力される。補正座標演算係数格納メモリ５４は、歪みパラメータに応じて補正座標演算係数を設定し、補正座標を算出する（ステップＳ２）。

ここで、本実施形態では、図７に示すように、角部が縮むように表示される「たる型」の光学歪みがあると仮定する。この場合には、図７に示す様に、画面の四隅の画素データが矢印Ａに示す様に内側に縮んだ状態となるため、縮んだ位置の画素Ｂのデータ位置を、矢印Ｃに示す様に外方に再配置することで補正する。

図６に示すように画像データの１画面９０の四隅領域９１，９２，９３，９４を示す補正座標を算出する。算出された四隅領域の補正座標は、入力処理制御部５２に読み込まれる。

入力処理制御部５２は、補正座標に基づいて画像データをメインメモリ３８から読み出す。そして、読み出された画像データは演算処理部５８により、補正座標の画像データ、つまり、四隅領域９１，９２，９３，９４のみ光学歪み補正を行う。また、四隅を除く領域９５については、光学歪み補正を行わない（ステップＳ３）。

次に、四隅領域９１，９２，９３，９４の歪み補正済み画像データをメインメモリ３８に出力し、この四隅の画像データを図６に示す１画面９０の画像データに貼り合わせる。すなわち、１画面９０の画像データのうち、四隅領域９１，９２，９３，９４を除いた領域９５の画像データと、四隅の補正画像データとを貼り合わせ、この画像データを出力する（ステップＳ４）。

領域９５の画像データは、光学歪みの残った画像であるが、画面の中心から近い場所にあるため、その歪み量は小さい。この小さな歪みは、静止画像の場合には目立つが、動画像の場合には、１秒間に１５フレームとか３０フレームの画像が流れるため、目立つことはない。従って、本実施形態では、静止画撮影時には、ピントの合わない場所（多くの場合、撮影者はピントを画面中央に合わせるため）すなわち歪みの大きい四隅を含む周辺領域だけの歪み補正を行う。

また、図８に示すように画像の角部が外側に伸びて表示される「糸巻き型」の光学歪みがある場合も、光学歪みは四隅領域９１，９２，９３，９４が大きく、光学歪み補正の対象となるのは画像データの周辺領域であるため、同様に光学歪み補正を行うことができる。また、光学歪みが、四隅だけでなく、画像データの周辺領域にまで及ぶ場合であっても、その周辺領域の補正座標を算出することで、光学歪みのある領域のみを補正処理することができる。このため、光学歪みの種類にかかわらず、光学歪み補正にかかる処理負担を軽減することができる。

図９は、データ読出領域の説明図である。上述した実施形態では、四隅の画像データの読み出し領域９１，９２，９３，９４を図６に示す様に夫々矩形領域としたが、例えば「たる型歪み」の場合には、図７に示す様に、隅の外側の三角形の部分の歪みが大きく、内側の三角形部分の歪みは小さい。そこで、外側の三角形領域の画素データだけを読み出して歪み補正することで、更に処理の高速化を図ることが可能となる。この場合、図９に示す様に、三角形領域を短冊９１ａ，９１ｂ，…，９１ｅに分割し、各短冊毎にデータを読み出し補正処理すればよい。なお、図９の短冊９１ａ，９１ｂ，…，９１ｅを縦方向に分割したが、横方向に分割してもよい。

また、デジタルカメラでの内部処理として説明したが、固体撮像素子の撮像画像データをパーソナルコンピュータなどに取り込み、パーソナルコンピュータで動画の光学歪み補正をプログラム処理する場合にも上述した実施形態を適用可能である。

本発明に係る光学歪み補正方法等は、高速処理が可能であるため、デジタルカメラ等に適用すると有用である。

本発明の一実施形態に係る撮像装置の機能ブロック図である。 図１に示すディストーション補正部の詳細構成図である。 １画面を短冊領域に分けて光学歪み補正する様子を示す図である。 光学歪みの歪み量の説明図である。 本発明の一実施形態に係る撮影画像の光学歪み補正処理手順を示すフローチャートである。 本発明の一実施形態に係る動画像の光学歪み補正を行う領域を示す図である。 樽型歪みの歪み補正説明図である。 糸巻き歪みの歪み補正説明図である。 歪み補正領域の別実施形態の説明図である。 レンズの樽型歪みと糸巻き歪みの説明図である。

符号の説明

１４ 固体撮像素子
２４ ディストーション補正部
５２ 入力処理制御部
５４ 補正座標演算係数格納メモリ
５８ 演算処理部
９１，９２，９３，９４ 光学歪み補正を行う四隅領域

Claims (10)

1. 撮像された画像データの光学歪み補正を行う光学歪み補正装置であって、
   前記画像データの画像の周辺領域を補正座標として算出し、前記補正座標に基づいて前記周辺領域の光学歪み補正を行う光学歪み補正手段を備えていることを特徴とする光学歪み補正装置。
2. 前記周辺領域の画像データを短冊領域に分割して光学歪み補正を行うことを特徴とする請求項１に記載の光学歪み補正装置。
3. 前記画像データを撮像する撮影レンズに応じた光学歪みのパラメータが入力され、前記光学歪みパラメータに基づいて前記補正座標を算出することを特徴とする請求項１又は２に記載の光学歪み補正装置。
4. 撮像された画像データの光学歪み補正を行う光学歪み補正方法であって、
   前記画像データの画像の周辺領域を補正座標として算出し、前記補正座標に基づいて前記周辺領域の光学歪み補正を行うことを特徴とする光学歪み補正方法。
5. 前記周辺領域の画像データを短冊領域に分割して光学歪み補正を行うことを特徴とする請求項４に記載の光学歪み補正方法。
6. 前記画像データを撮像する撮影レンズに応じた光学歪みのパラメータが入力され、前記光学歪みパラメータに基づいて前記補正座標を算出することを特徴とする請求項４又は５に記載の光学歪み補正方法。
7. 撮像された画像データの光学歪み補正を行う光学歪み補正プログラムであって、
   前記画像データの画像の周辺領域を補正座標として算出し、前記補正座標に基づいて前記周辺領域の光学歪み補正を行うステップを有することを特徴とする光学歪み補正プログラム。
8. 前記周辺領域の画像データを短冊領域に分割して光学歪み補正を行うことを特徴とする請求項７に記載の光学歪み補正プログラム。
9. 前記画像データを撮像する撮影レンズに応じた光学歪みのパラメータが入力され、前記光学歪みパラメータに基づいて前記補正座標を算出することを特徴とする請求項７又は８に記載の光学歪み補正プログラム。
10. 被写体の光学像を受光し、前記被写体の画像データを出力する撮像素子と、
    前記画像データの画像の周辺領域を補正座標として算出し、前記補正座標に基づいて前記周辺領域の光学歪み補正を行う光学歪み補正手段を備えていることを特徴とする撮像装置。

Images