JP2008191921A - 光学歪み補正方法及びその装置並びに動画撮影機能付撮像装置と光学歪み補正プログラム - Google Patents

Abstract

【課題】 撮影レンズの有する光学歪み補正を演算処理で行うときの処理負荷の軽減と動画撮影時の光学歪み補正のリアルタイム性の向上を図る。
【解決手段】 光学歪みを有する撮影レンズで撮像された動画像データの光学歪み補正を行う場合に、動画像データの１画面１画面の各画像データのうち各画面の四隅９１〜９４の領域の画像データに対して光学歪み補正を行い、四隅以外の領域９５の光学歪み補正を行わない画像データに光学歪み補正した画像データを貼り合わせて出力する。更に好適には、今回フレームの光学歪み補正を行わない画像データに対して、前回フレームの四隅の領域の光学歪み補正を行った画像データを貼り合わせて出力する。
【選択図】 図６

Description

本発明は、デジタルカメラ等の撮像装置で撮影した動画像の光学歪みを補正する方法及びその装置等に関する。

図１０は、デジタルカメラ等に搭載される撮影レンズが持つ光学歪み（ディストーション）を示す図である。図１０（ａ）に示す正方格子模様をデジタルカメラで撮影した場合、「糸巻き型歪み」を持つ撮影レンズでは、図１０（ｂ）に示す様に、四隅の角部が外側に伸びる画像が撮影され、「樽型歪み」を持つ撮影レンズでは、図１０（ｃ）に示す様に、四隅の角部が内側に縮む画像が撮影される。

光学歪みを持たない撮影レンズを軽量，低コストで製造するのは困難であり、このため、デジタルカメラの内部処理で、歪んだ画像を補正することが行われている。例えば、下記特許文献１，２に記載の従来技術では、固体撮像素子から出力された画像データをメインメモリに格納し、メインメモリ上の画像データの歪み補正を行ってから、出力する様にしている。

特開２００６―１６４１８７号公報 特開２００６―１３９３５０号公報

近年のデジタルカメラに搭載される固体撮像素子の画素数は数百万画素以上が普通になってきており、光学歪み補正を行う画像データのデータ量は膨大になっている。このため、歪み補正処理を行う演算処理装置の処理負荷は非常に大きく、特に、動画像を撮影した場合、光学歪み補正の演算処理をリアルタイムで行うには、高性能な演算処理装置すなわち高価な演算処理装置が必要になってしまうという問題がある。

本発明の目的は、光学歪み補正の処理負荷を軽減し動画像の光学歪み補正をリアルタイムで行うことができる光学歪み補正方法及びその装置並びに動画撮影機能付撮像装置と光学歪み補正プログラムを提供することにある。

本発明の光学歪み補正方法及びその装置並びに補正プログラムは、光学歪みを有する撮影レンズで撮像された動画像データの光学歪み補正を行う場合に、前記動画像データの１画面１画面の各画像データのうち各画面の四隅の領域の画像データに対して光学歪み補正を行い、前記四隅以外の領域の光学歪み補正を行わない画像データに光学歪み補正した画像データを貼り合わせて出力することを特徴とする。

本発明の光学歪み補正方法及びその装置並びに補正プログラムは、今回フレームの前記光学歪み補正を行わない画像データに対して、前回フレームの前記四隅の領域の光学歪み補正を行った画像データを貼り合わせて出力することを特徴とする。

本発明の光学歪み補正方法及びその装置並びに補正プログラムは、前記四隅の領域の画像データを短冊領域に分けて光学歪み補正を行うことを特徴とする。

本発明の撮像装置は、光学歪みを有する撮影レンズと、該撮影レンズを通した被写体の光学像を受光し該被写体の撮像画像データを出力する固体撮像素子と、上記のいずれかに記載の光学歪み補正装置とを備えることを特徴とする。

本発明の撮像装置の前記光学歪み補正装置は、前記被写体の撮像画像データが静止画像の撮像画像データのときは全画面で光学歪み補正を行うことを特徴とする。

本発明によれば、動画撮影時には、画面の四隅のみ光学歪み補正を行うため、処理負荷が軽減し、リアルタイム性が向上する。また、前回フレームの四隅の光学歪み補正画像データを今回フレームの画像データに貼り合わせて出力することで、更にリアルタイム性を向上させることが可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る動画撮影機能付デジタルカメラのブロック構成図である。このデジタルカメラは、上述した特許文献１，２記載のデジタルカメラと同様の構成になっているが、特許文献１，２記載のデジタルカメラが静止画像の光学歪み補正を行う構成を備えているのに対し、本実施形態のデジタルカメラは、静止画像の光学歪み補正とは別に、動画像の光学歪み補正処理モードを備えている点が異なる。

本実施形態のデジタルカメラ１０は、被写体像を結像させるための光学ユニット１２と、光学ユニット１２の光軸後方に配設され光学ユニット１２を通して得られる被写体反射光を受光しアナログ画像データを出力する固体撮像素子１４とを備える。

この光学ユニット１２は、図示は省略するが、ズームレンズ群、フォーカスレンズ、これらレンズの各々を光軸方向に移動させるレンズ移動機構を含んで構成され、焦点距離の変更（変倍）が可能になっている。光学ユニット１２が有する光学歪みは光学ユニット１２の設計で決まり、既知である。

光学ユニット１２は、Ａ／Ｆ制御回路３２に接続されており、Ａ／Ｆ制御回路３２の制御により所望のズーム倍率になるようにズームレンズ群が光軸方向に移動され、光学ユニット１２を通過した被写体像を示す入射光が固体撮像素子１４の受光面上に結像するようにフォーカスレンズが光軸方向に移動制御される。

また、このデジタルカメラ１０は、固体撮像素子１４から出力された被写体像を示すアナログ画像データをデジタルの画像データに変換して出力するＡ／Ｄ変換器１６と、Ａ／Ｄ変換器１６から入力された画像データに対して、ホワイトバランス調整，ガンマ補正，シャープネス補正等の各種補正処理やＲＧＢデータをＹＣ信号に変換する処理等を行う信号処理プロセッサ２２と、信号処理プロセッサ２２によって信号処理された画像データを格納するメインメモリ３８とを備えている。

更に、このデジタルカメラ１０は、光学ユニット１２を介して被写体を撮影することにより得られた画像データの光学歪みを演算処理して補正するディストーション補正部２４と、各種情報や撮像画像を表示する液晶表示部１８の表示制御を行うＬＣＤ制御部２６と、光学歪みが補正された画像データを記憶する外部記録メディア２８に対する各種情報の読み書きを制御するメディア制御部３０と、レリーズボタンや電源スイッチ，動画／静止画撮影切替指示をユーザが入力する操作手段２０に接続されたＩ／Ｆ（インタフェース）部３４と、デジタルカメラ１０の全体制御を司るＣＰＵ３６と、各種プログラムや処理ルーチン等を予め記憶したＲＯＭ４０とを備えている。

信号処理プロセッサ２２、ディストーション補正部２４、ＬＣＤ制御部２６、メディア制御部３０、Ａ／Ｆ制御回路３２、Ｉ／Ｆ部３４、ＣＰＵ３６、メインメモリ３８、及びＲＯＭ４０は、これらを相互接続するバス４２を介して各種データ，信号を授受する。

図２は、図１に示すディストーション補正部２４の詳細構成図である。このディストーション補正部２４は、メインメモリ３８に格納されている画像データを後述するように読み出す入力領域処理制御部５２と、入力領域処理制御部５２から出力された画像データを受け取り画像の光学歪みをデータ処理で補正する演算処理部５４と、演算処理部５４によって光学歪みが補正された補正後の画像データをメインメモリ３８へ転送する出力領域処理制御部５８と、入力領域処理制御部５２に入力開始位置情報を指示する処理対象領域・入力開始位置設定部５６とを含んで構成される。

画像データは、複数の画素が所定方向（例えば水平方向（Ｘ軸方向））に配列された画素行を、この所定方向と交差する方向（例えば垂直方向（Ｙ軸方向））に複数行配列することで、構成されている。

入力領域処理制御部５２は、被写体の静止画像を処理する場合には、図３に示すように、メインメモリ３８に格納されている１画面の画像データ８０を、Ｘ軸方向の幅が所定の処理単位画素数となるように短冊状に区切って複数の短冊領域８２に分割する。そして、各短冊領域８２毎に、短冊領域８２内の１画素行８４毎に演算処理部５４にＤＭＡ転送する。

入力領域処理制御部５２は、ＤＭＡ転送時に、１画素行８４分の画像データの各画素の画素値を水平方向（Ｘ軸方向）にスキャンすることによって、順次各画素の画素値を読み出す。

入力領域処理制御部５２は、１つの短冊領域８２内の画像データを全て読み出し演算処理部５４に転送した後は、処理対象領域・入力開始位置設定部５６から指示された次の短冊領域８２の開始位置から再び画像データを読み出して演算処理部５４に転送するという処理を繰り返し実行し、画像データ８０の画像の一端（画像始点に位置する画素８３）から対向する他端（画像終点に位置する画素８５）まで、順次各画素を読出す。

演算処理部５４は、入力領域処理制御部５２から転送された１画素行８４分の画像データを格納するためのラインバッファ６４を備え、ラインバッファ６４に格納された１画素行８４分の画像データについて、水平方向の光学歪み補正を行うための水平方向ディストーション補正部６０と、水平方向の光学歪みが補正された各画素行８４の画像データを、各画素行８４毎に各々格納するためのラインバッファ７２１〜７２３と、ラインバッファ７２１〜７２３の各々に格納された複数の水平方向の光学歪み補正済みの画素行８４の画像データに基づいて、垂直方向の光学歪み補正を行うための垂直方向ディストーション補正部６２とを含んで構成される。

なお、図示する例の実施形態では、垂直方向ディストーション補正部６２には３個のラインバッファ７２１〜７２３が設けられているが、複数のラインバッファが設けられれば良く、３個に限られるものではない。上記各ラインバッファ６４，７２１〜７２３の各々は、本実施形態では、１画素行８４分の画素数の画素値からなる画像データを記憶可能な容量を備えている。

光学歪みとしては、図１０（ｂ）に示すように画像の角部が外側に伸びて表示される「糸巻き型」と、図１０（ｃ）に示すように角部が縮むように表示される「たる型」の２種類があり、何れも光学中心からの距離によって光学歪み量が決まっている。

光学歪み量は、図４に示すように非線形カーブ（ディストーションカーブ）で示され、正の光学歪み量の場合は、各画素は、光学歪みの無いときの位置から中心より遠ざかる位置にずれて「糸巻き型」となり、負の光学歪み量の場合は、各画素は、光学歪みの無いときの位置から中心へ近づく位置になるので「たる型」となる。

「糸巻き型」と「たる型」の何れの光学歪みを有するかは、光学ユニット１２によって定まり、デジタルカメラに搭載された光学ユニット１２の光学歪み量の情報は、予めＲＯＭ４０に設定される。

図５は、本実施形態に係るディストーション補正処理部２４が行う歪み補正処理手順を示すフローチャートである。ディストーション補正処理部２４は、先ず、ＣＰＵ３６から撮影情報を取得し、ユーザが操作手段２０から動画撮影指示を入力したか、それとも静止画撮影指示を入力したかを判定する（ステップＳ１）。

ユーザが静止画像の撮影指示を入力している場合には、ステップＳ２に進む。このステップＳ２では、図２の処理対象領域・入力開始位置設定部５６は、図３に示す各短冊領域８２を設定し、各短冊領域８２の画素データ読出開始位置を入力領域処理制御部５２に指示させる。

次のステップＳ３では、図３の短冊領域８２毎に画素データが演算処理部５４に取り込まれ、光学歪み量に応じて画素位置の再配置演算補正が行われ、補正した画像データでメインメモリ３８上の画像データを書き換え、この画像データが出力される（ステップＳ７）。

ステップＳ３における光学歪み補正演算処理は、例えば、上述した特許文献１，２記載と同様に行われるが、静止画像の補正演算であるため、１秒間に３０フレームの画像が取り込まれる動画撮影時と異なり、演算時間を確保でき、画像全体の細部に渡る歪み補正が可能になる。

ステップＳ１での判定の結果、ユーザが動画撮影指示を入力していると判定した場合には、ステップＳ１からステップＳ４に進む。このステップＳ４では、処理対象領域・入力開始位置設定部５６は、図６に示す様に、１画面９０の四隅領域９１，９２，９３，９４を設定し、各領域９１，９２，９３，９４の画素データ読出開始位置を入力領域処理制御部５２に指示させる。

これにより、演算処理部５４は、各領域９１，９２，９３，９４の画素データを取り込むことができ、演算処理部５４は、各領域９１，９２，９３，９４における画像データの光学歪み補正処理すなわち画素データの再配置処理を行う（ステップＳ５）。

いま、光学ユニット１２がたる型歪みを持っているとする。この場合には、図７に示す様に、画面の四隅の画素データが矢印Ａに示す様に内側に縮んだ状態となるため、縮んだ位置の画素Ｂのデータ位置を、矢印Ｃに示す様に外方に再配置することで補正する。

次に、四隅領域９１，９２，９３，９４の歪み補正済み画像データをメインメモリ３８に出力し、この四隅の画像データを図６に示す１画面９０の画像データに貼り合わせる（ステップＳ６）。即ち、１画面９０の画像データのうち、四隅領域９１，９２，９３，９４を除いた領域９５の画像データと、四隅の補正画像データとを貼り合わせ、この画像データを出力する（ステップＳ７）。

領域９５の画像データは、光学歪みの残った画像であるが、画面の中心から近い場所にあるため、その歪み量は小さい。この小さな歪みは、静止画像の場合には目立つが、動画像の場合には、１秒間に１５フレームとか３０フレームの画像が流れるため、目立つことはない。従って、本実施形態では、動画撮影時には、ピントの合わない場所（多くの場合、撮影者はピントを画面中央に合わせるため）すなわち歪みの大きい四隅領域だけの歪み補正を行う。

上述した実施形態では、メインメモリ３８に一旦取り込んだ１画面の画像データのうち、四隅の画像データをディストーション補正部２４が読み込んで補正し、補正済みの四隅画像データを元画像の領域９５の画像データに貼り合わせて出力し、歪み補正する領域を狭めることでリアルタイム性を向上させている。しかし、更にリアルタイム性を向上させることができる。

例えば、動画撮影時には、メインメモリ３８に一々画像データを格納することはせずに、固体撮像素子１４から１秒間に３０フレームの画像データが出力されるとき、この画像データを次々とディストーション補正部２４が取り込み、出力する。

ｎ＋１フレーム目の画像データがディストーション補正部２４に取り込まれ、ディストーション補正部２４から出力されるとき、これと並行して、ディストーション補正部２４が保持していた１フレーム前のｎフレーム目の四隅の画像データの歪み補正を行い、ｎ＋１フレーム目の画像データのうち補正しない領域９５の画像データをディストーション補正部２４が出力するとき、前回フレームの四隅領域９１〜９４の歪み補正済み画像データを領域９５の画像データに貼り合わせて出力する。

動画像の場合、前回フレームの画像と今回フレームの画像との差違は小さく、シーンが大きく代わる場面であっても、次々と画像が流れるため、今回フレーム画像の四隅が前回フレームの補正画像であっても、目立つことはなく、リアルタイム性が一層向上する。

図８は、光学ユニット１２の持つ光学歪みが糸巻き型の場合の説明図である。糸巻き型の場合にも、四隅位置の画像データの歪みが大きいため、四隅領域９１，９１，９３，９４の歪み補正を行うことで、処理の軽減とリアルタイム性の向上を図ることが可能となる。

図９は、データ読出領域の説明図である。上述した実施形態では、四隅の画像データの読み出し領域９１，９２，９３，９４を図６に示す様に夫々矩形領域としたが、例えば「たる型歪み」の場合には、図７に示す様に、隅の外側の三角形の部分の歪みが大きく、内側の三角形部分の歪みは小さい。そこで、外側の三角形領域の画素データだけを読み出して歪み補正することで、更に処理の高速化を図ることが可能となる。この場合、図９に示す様に、三角形領域を短冊９１ａ，９１ｂ，…，９１ｅに分割し、各短冊毎にデータを読み出し補正処理すればよい。なお、図９の短冊９１ａ，９１ｂ，…，９１ｅを縦方向に分割したが、横方向に分割してもよい。

尚、上述した実施形態では、静止画像も撮影できる撮像装置で動画撮影時の光学歪み補正を行う例を説明したが、静止画像の撮影を行わない撮像装置に上述した実施形態を適用するのであれば、ディストーション補正部２４に設けるメモリ量を大幅に削減することが可能になることはいうまでもない。

また、デジタルカメラでの内部処理として説明したが、固体撮像素子の撮像画像データをパーソナルコンピュータなどに取り込み、パーソナルコンピュータで動画の光学歪み補正をプログラム処理する場合にも上述した実施形態を適用可能である。

本発明に係る光学歪み補正方法等は、高速処理が可能であるため、動画撮影機能付デジタルカメラ等に適用すると有用である。

本発明の一実施形態に係る撮像装置の機能ブロック図である。 図１に示すディストーション補正部の詳細構成図である。 １画面を短冊領域に分けて光学歪み補正する様子を示す図である。 光学歪みの歪み量の説明図である。 本発明の一実施形態に係る撮影画像の光学歪み補正処理手順を示すフローチャートである。 本発明の一実施形態に係る動画像の光学歪み補正を行う領域を示す図である。 樽型歪みの歪み補正説明図である。 糸巻き歪みの歪み補正説明図である。 歪み補正領域の別実施形態の説明図である。 レンズの樽型歪みと糸巻き歪みの説明図である。

符号の説明

１４ 固体撮像素子
２４ ディストーション補正部
５４ 光学歪み補正を行う演算処理部
５６ 処理対象領域・入力開始位置設定部
９１，９２，９３，９４ 光学歪み補正を行う四隅領域
９５ 光学歪み補正を行わない領域

Claims (11)

1. 光学歪みを有する撮影レンズで撮像された動画像データの光学歪み補正を行う方法において、前記動画像データの１画面１画面の各画像データのうち各画面の四隅の領域の画像データに対して光学歪み補正を行い、前記四隅以外の領域の光学歪み補正を行わない画像データに光学歪み補正した画像データを貼り合わせて出力することを特徴とする光学歪み補正方法。
2. 今回フレームの前記光学歪み補正を行わない画像データに対して、前回フレームの前記四隅の領域の光学歪み補正を行った画像データを貼り合わせて出力することを特徴とする請求項１に記載の光学歪み補正方法。
3. 前記四隅の領域の画像データを短冊領域に分けて光学歪み補正を行うことを特徴とする請求項１または請求項２に記載の光学歪み補正方法。
4. 光学歪みを有する撮影レンズで撮像された動画像データの光学歪み補正を行う光学歪み補正プログラムにおいて、前記動画像データの１画面１画面の各画像データのうち各画面の四隅の領域の画像データに対して光学歪み補正を行うステップと、前記四隅以外の領域の光学歪み補正を行わない画像データに光学歪み補正した画像データを貼り合わせて出力するステップとを備えることを特徴とする光学歪み補正プログラム。
5. 今回フレームの前記光学歪み補正を行わない画像データに対して前回フレームの前記四隅の領域の光学歪み補正を行った画像データを貼り合わせて出力することを特徴とする請求項４に記載の光学歪み補正プログラム。
6. 前記四隅の領域の画像データを短冊領域に分けて光学歪み補正を行うことを特徴とする請求項４または請求項５に記載の光学歪み補正プログラム。
7. 光学歪みを有する撮影レンズで撮像された動画像データの光学歪み補正を行う装置において、前記動画像データの１画面１画面の各画像データのうち各画面の四隅の領域の画像データに対して光学歪み補正を行い前記四隅以外の領域の光学歪み補正を行わない画像データに光学歪み補正した画像データを貼り合わせて出力する手段を備えることを特徴とする光学歪み補正装置。
8. 今回フレームの前記光学歪み補正を行わない画像データに対して、前回フレームの前記四隅の領域の光学歪み補正を行った画像データを貼り合わせて出力することを特徴とする請求項７に記載の光学歪み補正装置。
9. 前記四隅の領域の画像データを短冊領域に分けて光学歪み補正を行うことを特徴とする請求項７または請求項８に記載の光学歪み補正装置。
10. 光学歪みを有する撮影レンズと、該撮影レンズを通した被写体の光学像を受光し該被写体の撮像画像データを出力する固体撮像素子と、請求項７乃至請求項９のいずれかに記載の光学歪み補正装置とを備えることを特徴とする撮像装置。
11. 前記光学歪み補正装置は、前記被写体の撮像画像データが静止画像の撮像画像データのときは全画面で光学歪み補正を行うことを特徴とする請求項１０に記載の撮像装置。

Images