JP2016535911A

JP2016535911A - 魚眼レンズ画像補正方法及びその装置

Info

Publication number: JP2016535911A
Application number: JP2016550447A
Authority: JP
Inventors: キペク，ジュン; ホパク，ジン; ギュンキム，ドン; ジョンユー，ユーン; ヒーキム，デ
Original assignee: チュンアンユニバーシティーインダストリーアカデミックコアポレイションファウンデイション
Priority date: 2014-09-24
Filing date: 2015-06-16
Publication date: 2016-11-17
Anticipated expiration: 2035-06-16
Also published as: US9697591B2; JP6152485B2; US20160180507A1; WO2016047893A1; KR101583155B1

Abstract

【課題】魚眼レンズ画像の補正過程において発生する幾何学的放射状歪みによる階段及びぼやけ現象（エイリアシング現象）を除去できる魚眼レンズ画像補正方法を提供する。【解決手段】本発明に係る魚眼レンズ画像補正方法は、画像獲得部、補正部、補償部、メモリ、及びプロセッサを含む装置において、前記プロセッサの制御の下に、（ａ）前記画像獲得部が魚眼レンズを通じて撮影された魚眼レンズ画像を獲得する段階、（ｂ）前記補正部が正射影モデルに基づいた拡大率を適用して段階的に上記魚眼レンズ画像に対する幾何学的歪みを補正する段階、及び（ｃ）前記補償部が、上記幾何学的歪みが補正された魚眼レンズ画像に、以前の段階で補正された画像の高周波成分をパッチ単位で補償する段階を含む。【選択図】図１

Description

本発明は、魚眼レンズ画像の幾何学的歪みを補正して復元できる魚眼レンズ画像補正方法及びその装置に関するものである。

広い画角（ｆｉｅｌｄｏｆｖｉｅｗ）を有する魚眼レンズは、一般のレンズより広い視野を含む画像の獲得が可能なことが利点であって、監視システム、医療画像機器、自動車のリアカメラなど、多様なデジタル画像装置において使用されている。このような魚眼レンズを通じて獲得された画像は、画像の中心から離れるほど深刻な放射状歪みを有するようになる欠点を持っている。

このような魚眼レンズを通じて獲得された画像は、中心において多くの情報を含む高解像度の画像が獲得できる一方、周辺部においては、非線形的な解像度の低下が発生するため、画像の全体的な品質を低下させる原因として作用している。

このような魚眼レンズの放射状歪みの問題を解決するために、多様な歪み補正方法が研究されている。代表的に、Ｂｒｏｗｎは奇数次多項式を使用して放射状歪みを解明しており、ＴｓａｉはＢｒｏｗｎの奇数次多項式を使用して３次元空間においての画像補正方法を提案している。また、Ｚｈａｎｇは多様な距離と方向から撮影された平面パターンを使用して補正する方法を提案しており、Ｈｕｇｈｅｓは歪み画像から消失点（ｖａｎｉｓｈｉｎｇｐｏｉｎｔ）を抽出して補正する方法を提案している。

しかし、これらの従来の歪みを補正する方法は線形補間方法を使用するため、画像の中心から離れるほど放射状方向に沿ってエイリアシング（ａｌｉａｓｉｎｇ）現象が増加するという問題がある。

本発明の目的は、魚眼レンズ画像の補正過程において発生する幾何学的放射状歪みによる階段及びぼやけ現象（エイリアシング現象）を除去できる魚眼レンズ画像補正方法及びその装置を提供することにある。

本発明の一側面によると、魚眼レンズ画像の補正過程において発生する幾何学的放射状歪みによる階段及びぼやけ現象（エイリアシング現象）を除去できる魚眼レンズ画像補正方法が提供される。

本発明の一実施例によると、画像獲得部、補正部、補償部、メモリ、及びプロセッサを含む装置において、
前記プロセッサの制御の下に、
（ａ）前記画像獲得部が、魚眼レンズを通じて撮影された魚眼レンズ画像を獲得する段階、（ｂ）前記補正部が、正射影モデルに基づいた拡大率を適用して段階的に上記魚眼レンズ画像に対する幾何学的歪みを補正する段階、及び（ｃ）前記補償部が、上記幾何学的歪みが補正された魚眼レンズ画像に、以前の段階で補正された画像の高周波成分をパッチ単位で補償する段階を含む魚眼レンズ画像補正方法が提供される。

上記（ｂ）段階及び上記（ｃ）段階は、当該補正段階回数が最終補正段階回数を超えるまで上記拡大率に応じて段階的に遂行され得る。
上記（ｂ）段階は、当該補正段階回数をｉとして（但し、１≦ｉ≦ｍ、ｍは最終補正段階回数）、上記正射影モデルにおける歪み関数に上記拡大率を乗じて上記拡大率に応じた段階的補償点（ｐ_ｉ）を計算する段階、上記正射影モデルに基づいて原点と、画像平面上の最終補正段階補償点（ｐ_ｍ）とを連結する直線上にあって上記段階的補償点（ｐ_ｉ）に対応する対応点（ｎ_ｉ）を計算する段階、画像平面（ｉｍａｇｅｐｌａｎｅ）上の光軸と上記対応点（ｎ_ｉ）とを通る放物線方程式の焦点（Ｆ_ｉ）を計算する段階、及び上記焦点（Ｆ_ｉ）を利用して上記拡大率に応じた上記魚眼レンズ画像の幾何学的歪みを補正する段階を含み得る。
上記焦点（Ｆ_ｉ）は下記［数３］に示すように計算され得る。

ここで、上記Ｒは上記原点と画像平面との間の距離を示し、上記ｓは補正段階１回当たりの拡大率を示し、上記ｉは補正段階回数を示し、上記θは上記光軸と上記画像平面上の最終補正段階補償点（ｐ_ｍ）との間の角度を示す。
上記（ｃ）段階は、上記補正された魚眼レンズ画像及び上記以前の段階で補正された画像のそれぞれに対して二重ツリー複素数ウェーブレット変換を遂行する段階、上記ウェーブレット変換結果において低周波サブバンドを第１の値に変換した後、逆変換を遂行して高周波成分をそれぞれ抽出する段階、上記補正された魚眼レンズ画像のパッチと最も類似した以前の段階で補正された画像の例題パッチを検索する段階、及び上記検索された例題パッチの高周波成分を上記補正された魚眼レンズ画像のパッチに補償する段階を含み得る。

上記補正された魚眼レンズ画像のパッチと最も類似した以前の段階で補正された画像の例題パッチを検索する段階は、上記ウェーブレット変換結果の低周波サブバンドを利用して検索し得る。

上記補正された魚眼レンズ画像のパッチと最も類似した以前の段階で補正された画像の例題パッチを検索する段階は、上記補正された魚眼レンズ画像のパッチと上記以前の段階で補正された画像の例題パッチとの間のベクトル差分の絶対値が最小値となる最適の移動ベクトルを計算する段階、及び上記移動ベクトルを上記例題パッチに反映して最終例題パッチを選択する段階を含み得る。

本発明の他の側面によると、魚眼レンズ画像の補正過程において発生する幾何学的放射状歪みによる階段及びぼやけ現象を除去できる魚眼レンズ画像補正装置が提供される。

本発明の一実施例によると、魚眼レンズを通じて撮影された魚眼レンズ画像を獲得する画像獲得部、正射影モデルに基づいて拡大率を適用して段階的に上記魚眼レンズ画像に対する幾何学的歪みを補正する補正部、及び上記幾何学的歪みが補正された魚眼レンズ画像に以前の段階で補正された画像の高周波成分をパッチ単位で補償する補償部を含む魚眼レンズ画像補正装置が提供される。

上記補正部及び上記補償部は、当該補正段階回数が最終補正段階回数を超えるまで上記拡大率に応じて上記補正及び補償過程を繰り返し遂行し得る。
上記補正部は、当該補正段階回数をｉとして（但し、１≦ｉ≦ｍ、ｍは最終補正段階回数）、上記正射影モデルにおける歪み関数に上記拡大率を乗じて上記拡大率に応じた段階的補償点（ｐ_ｉ）を計算し、上記正射影モデルに基づいて原点と、画像平面上の最終補正段階補償点（ｐ_ｍ）とを連結する直線上にあって、上記段階的補償点（ｐ_ｉ）に対応する対応点（ｎ_ｉ）を計算し、画像平面（ｉｍａｇｅｐｌａｎｅ）上の光軸と上記対応点（ｎ_ｉ）を通る放物線方程式の焦点（Ｆ_ｉ）を計算した後、上記焦点（Ｆ_ｉ）を利用して上記拡大率に応じた上記魚眼レンズ画像の幾何学的歪みを補正し得る。
上記補償部は、上記補正された魚眼レンズ画像及び上記以前の段階で補正された画像のそれぞれに対して、二重ツリー複素数ウェーブレット変換を遂行し、上記ウェーブレット変換結果において低周波サブバンドを第１の値に変換した後、逆変換を遂行して高周波成分をそれぞれ抽出し、上記補正された魚眼レンズ画像のパッチと最も類似した以前の段階で補正された画像の例題パッチを検索した後、上記検索された例題パッチの高周波成分を上記補正された魚眼レンズ画像のパッチに補償し得る。
上記補償部は、上記補正された魚眼レンズ画像及び上記以前の段階で補正された画像に対するウェーブレット変換結果のうち、低周波サブバンドを利用して上記類似した例題パッチを検索し得る。
上記補償部は、上記補正された魚眼レンズ画像のパッチと上記以前の段階で補正された画像の例題パッチとの間のベクトル差分の絶対値が最小値となる最適の移動ベクトルを計算し、上記移動ベクトルを上記例題パッチに反映して上記補正された魚眼レンズ画像のパッチと最も類似した最終例題パッチを選択し得る。

本発明の一実施例による魚眼レンズ画像補正方法乃至その装置は、幾何学的歪みが補正された魚眼レンズ画像に、以前の段階で補正された画像の高周波成分をパッチ単位で補償する段階乃至補償部を含むので、魚眼レンズ画像の補正過程において発生する幾何学的放射状歪みによる階段及びぼやけ現象を除去でき、これを通じて高い品質の画像を生成できる利点がある。

は、本発明の一実施例による魚眼レンズ画像を補正する方法を示したフローチャートである。（ａ）は、魚眼レンズを使用して撮影された原画像を例示し、（ｂ）は、従来技術の正射影モデルに基づいた魚眼レンズ画像補正結果を示した図面である。は、本発明の一実施例による段階的魚眼レンズ画像補正方法を示したフローチャートである。は、本発明の一実施例による段階的魚眼レンズ補正モデルを図示した図面である。は、本発明の一実施例によるパッチ単位で補正された魚眼レンズ画像に高周波成分を補償する方法を示したフローチャートである。は、本発明の一実施例による二重ツリー複素数ウェーブレット変換を説明するために図示した図面である。は、本発明の一実施例によるパッチ探索の概念を説明するために図示した図面である。は、本発明の一実施例による魚眼レンズ画像補正装置の内部構成を概略的に図示したブロック図である。（ａ）は原画像を例示し、（ｂ）は従来の正射影モデルに基づいた画像補正結果を示し、（ｃ）は、図８の（ｂ）にパッチ参照方法を適用した結果を示し、（ｄ）は、本発明の一実施例による魚眼レンズ画像補正結果を図示した図面である。

本発明は多様な変換を付加でき、様々な実施例を有し得るところ、特定実施例を図面に例示して詳細な説明において詳細に説明することにする。しかし、これは本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術範囲に含まれる全ての変換、均等物乃至代替物を含むものとして理解されなければならない。本発明を説明する際に、関連した公知技術に対する具体的な説明が本発明の要旨を却って不明瞭にする可能性があると判断される場合にはその詳細な説明を省略する。

第１、第２などの用語は、多様な構成要素を説明するために使用できるが、上記構成要素が上記用語によって限定されてはならない。上記用語は、一つの構成要素を他の構成要素から区別する目的にのみ使用される。

本出願で使用している用語は、単に特定の実施例を説明するために使用されており、その用語により本発明を限定しようとする意図はない。単数の表現は、文脈上明らかに異なる意味を有しない限り、複数の表現を含む。本出願において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定するものであって、１つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品又はこれらを組み合わせたものの存在又は付加可能性を予め排除しないものと理解されなければならない。

以下、本発明の実施例を添付した図面を参照して詳細に説明する。
図１を参照すると、本発明の一実施例による魚眼レンズ画像を補正する方法を示したフローチャートであって、以下、本方法の各段階の動作主体は、図８に示すような魚眼レンズ画像補正装置（１００）に具現されるハードウェアの各構成要素の何れかである。
魚眼レンズ画像補正装置（１００）は構成要素として、画像獲得部（８１０）、補正部（８１５）、補償部（８２０）、メモリ（８２５）、及びこれらを制御するプロセッサ（８３０）を含む。これらの構成要素の詳細については、図８を参照して後述する。

段階１１０で、魚眼レンズ画像補正装置（１００）の画像獲得部（８１０）は魚眼レンズ画像を獲得する。
魚眼レンズ画像補正装置（１００）は、魚眼レンズが搭載された画像獲得装置を通じて魚眼レンズ画像を獲得でき、魚眼レンズ画像補正装置（１００）が、その内部に一構成として魚眼レンズが搭載された画像獲得装置を含むことによってこれを通じても魚眼レンズ画像を獲得する。

段階１１５で、魚眼レンズ画像補正装置（１００）の補正部（８１５）は、正射影モデルに基づいて拡大率を適用して段階的に魚眼レンズ画像の幾何学的歪みを補正する。

魚眼レンズを使用して撮影された画像は、図２（ａ）に示すように幾何学的に放射状歪みが発生することになる。一般に従来技術を用いて、このような幾何学的歪みをバイキュービック補間法やバイリニア補間法などを利用して補正する場合、図２の（ｂ）に示されたようにぼやけ現象と階段現象（エイリシング現象）が発生することになる。

これに対して本発明に係る実施形態では、本発明の正射影モデルに基づいて指定された拡大率を適用して、段階的に魚眼レンズ画像を拡大して補正する。図３を参照してこれをより詳細に説明する。

段階３１０で、魚眼レンズ画像補正装置（１００）の補正部（８１５）は、正射影モデルにおける歪み関数、Ｒ・ｓｉｎ（θ）に拡大率を乗じて拡大率に応じた段階的補償点（ｐ_ｉ）を計算する。

ここで、段階的補償点（ｐ_ｉ）は下記［数１］のように定義される。
［数１］

ｐ_ｉ＝（Ｒ・ｓｉｎ（θ）×ｓ^ｉ，０）

ここで、Ｒ・ｓｉｎ（θ）は、正射影モデルにおける歪み関数であり、Ｒは魚眼レンズの原点（ｐｒｉｎｃｉｐａｌｐｏｉｎｔ）Ｃから画像平面（ｉｍａｇｅｐｌａｎｅ）までの距離を示し、拡大率は補正段階回数に応じて変更され、本実施例では、ｓは補正段階１回当たりの拡大率を示し、第ｉ補正段階の拡大率（ｓ^ｉ）は、ｉにより決定され、ｉは０≦ｉ≦ｍの整数（ｍは予め定められた最終補正段階回数）である。たとえば、補正段階１回当たりの拡大率（ｓ）は、１．２５以下に決定される。また、θは、画像平面上の最終補正段階補償点（ｐ_ｍ）及び原点Ｃを結ぶ直線と、画像平面に垂直な光軸（ｏｐｔｉｃａｌａｘｉｓ、ここでは、ｙ軸）とのなす角度を示す。

本発明の一実施例においては、魚眼レンズ画像補正時に類似度が高いパッチを選択するために補正段階１段当たりの拡大率ｓを１．２５以下に決定することを想定しているが、補正段階１段当たりの拡大率ｓが１．２５を超えるように決定できることも当然である。

即ち、各補正段階においての段階的補償点（ｐ_ｉ）は光軸（ｙ）から、上記（ａ）段階において獲得された歪んだ画像平面の点（ｐ_０）までの距離に、第ｉ段階拡大率（ｓ^ｉ）を乗じて計算される。

段階的補償点（ｐ_ｉ）の計算が完了すると、段階３１５で魚眼レンズ画像補正装置（１００）の補正部（８１５）は、第ｉ段階的補償点（ｐ_ｉ）を利用して、正射影モデルに基づいて原点Ｃと画像平面上の最終補正段階補償点（ｐ_ｍ）とを連結する直線上にあって、段階的補償点（ｐ_ｉ）（１≦ｉ≦ｍ−１）に対応する対応点（ｎ_ｉ）を計算する。

段階的補償点（ｐ_ｉ）に対応する対応点（ｎ_ｉ）は、下記［数２］を利用して計算される。

図４を参照すると、段階的補償点（ｐ_ｉ）に対応する対応点（ｎ_ｉ）との関係が明確に図示されている。図４により、より明確に第ｉ段階的補償点（ｐ_ｉ）と対応点（ｎ_ｉ）との関係を理解できる。
このように、原点（Ｃ）と点（ｐ_ｍ）を結ぶ直線上の対応点（ｎ_ｉ）が求められると、段階３２０で、魚眼レンズ画像補正装置（１００）は、画像平面上の光軸（即ち、画像平面と光軸の交点（ｃ））と対応点（ｎ_ｉ）を通る放物線方程式の焦点のｙ座標値、即ち焦点距離（以下、単に「焦点」という）（Ｆ_ｉ）を計算する。
対応点（ｎ_ｉ）を通る放物線方程式の焦点（Ｆ_ｉ）は［数３］のように定義される。

段階３２５で、魚眼レンズ画像補正装置（１００）の補正部（８１５）は、焦点（Ｆ_ｉ）を利用して当該補正段階における拡大率に応じた魚眼レンズ画像の幾何学的歪みを補正する。

このように、魚眼レンズ画像補正装置（１００）は、当該補正段階における拡大率に応じた放物線方程式に基づいて段階的に魚眼レンズ画像を拡大するようにして補正する。

段階１２０で、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、幾何学的歪みが補正された魚眼レンズ画像に、以前の段階で補正された画像の高周波成分をパッチ単位で補償する。
これに関して、図５を参照してより詳細に説明する。

段階５１０で、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、当該補正段階で幾何学的歪みが補正された魚眼レンズ画像に対して二重ツリー複素数ウェーブレット変換（ＤＴ−ＣＷＴ、ｄｕａｌ−ｔｒｅｅｃｏｍｐｌｅｘｗａｖｅｌｅｔｔｒａｎｓｆｏｒｍ）を遂行する。

段階５１５で、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、二重ツリー複素数ウェーブレット変換を逆変換して、補正された魚眼レンズ画像に対する高周波成分を抽出する。

より詳細に説明すると、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、二重ツリー複素数ウェーブレット変換結果において低周波サブバンド（ＬＬ）を０にした後、逆変換を遂行して当該魚眼レンズ画像に対する多様な方向の高周波成分を抽出する。

図６を参照して説明すると、一般的な離散ウェーブレット変換は、画像を低周波帯域と水平、垂直及び対角方向の高周波成分に分解するので、多様な斜線方向のエッジを表現するときに不連続又は断絶現象が発生する。しかし、ＤＴ−ＣＷＴは、入力画像を二つの低周波サブバンドＬＬ、ＬＬと、６つの方向性（１５度、−１５度、４５度、−４５度、７５度、−７５度）を有する高周波サブバンドに分解するので、離散ウェーブレット変換に比べて細密な（多様な）方向のエッジを不連続又は断絶現象を発生することなく表現できる。

即ち、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、ＤＴ−ＣＷＴを使用して分割された８つのサブバンドのうち二つの低周波サブバンドＬＬ、ＬＬを０にした後、逆変換を遂行して画像の多様な方向の高周波成分を抽出できる。

以前の段階で補正された画像については、以前の段階で高周波成分が抽出されているので、これを抽出する過程については別途の説明を省略する。

段階５２０で、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、補正された魚眼レンズ画像に対してパッチ単位で以前の段階で補正された画像の例題パッチを検索した後、当該例題パッチの高周波成分をパッチ単位で補償する（図７参照）。

そのため、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、現在の段階で補正された魚眼レンズ画像の中心座標が（ｘ_Ｄ、ｙ_Ｄ）であるパッチと以前の段階で補正された画像に対応する座標（ｘ’_Ｄ、ｙ’_Ｄ）周辺の例題パッチを下記［数４］のようにそれぞれ定義する。

ここで、ａ、ｂは、

−（Ｂ／２） ≦ ａ、ｂ ≦ ＋（Ｂ／２）

を満足し、Ｂはパッチのサイズを示し、（ｉ、ｊ）は移動ベクトルを示し、Ｐはパッチを示す。

この時、最適の移動ベクトル（ｉ_０，ｊ_０）は、ベクトル差分の絶対値の和（ＳＡＤ：ｓｕｍｏｆａｂｓｏｌｕｔｅｄｉｆｆｅｒｅｎｃｅｓ）が最小値を有するパッチによって決定され、これを数式で表すと、［数５］のようである。

ここで、

二重ツリー複素数ウェーブレット変換結果において低周波サブバンド（ＬＬｓｕｂｂａｎｄ）画像のパッチを示す。

従って、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、二重ツリー複素数ウェーブレット変換結果において低周波サブバンド画像のパッチと最も類似した例題パッチを決定した後、最適の移動ベクトルを反映して以前の段階で補正された画像における最終例題パッチを決定できる。

このように、現在の補正段階で補正された魚眼レンズ画像のパッチと類似度が最も高い以前の段階で補正された画像の例題パッチを選択した後、当該例題パッチの高周波成分を補正された魚眼レンズ画像のパッチに補償して、最終改善された魚眼レンズ画像を［数６］のように獲得する。

ここで、

（１／Ｂ^２）は重なるパッチを正規化させるための項を示す。

図５を用いて説明したように、魚眼レンズ画像補正装置（１００）の補償部（８２０）は、幾何学的歪みが補正された魚眼レンズ画像に、以前の段階で補正された画像の高周波成分をパッチ単位で補償して、最終改善された画像を生成できる。このような過程を繰り返し遂行して最終補正された魚眼レンズ画像を出力する。

再び、図１を参照して、段階１２５で魚眼レンズ画像補正装置（１００）は、補正段階回数が最終補正段階回数以上であるか否かを判断する。

もし、最終補正段階回数以上であれば、魚眼レンズ画像補正装置（１００）は、最終補正された魚眼レンズ画像を出力する。

しかし、もし、現在の補正段階回数が最終補正段階回数未満であれば、段階１３０で魚眼レンズ画像補正装置（１００）は補正段階回数を増加させた後、段階１１５に進行する。

図８は、本発明の一実施例による魚眼レンズ画像補正装置の内部構成を概略的に図示したブロック図である。
図８を参照すると、本発明の一実施例による魚眼レンズ画像補正装置（１００）は、画像獲得部（８１０）、補正部（８１５）、補償部（８２０）、メモリ（８２５）及びプロセッサ（８３０）を含んで構成される。

画像獲得部（８１０）は、魚眼レンズを通じて撮影された魚眼レンズ画像を獲得する機能を遂行する。
補正部（８１５）は、正射影モデルに基づいて拡大率を適用して段階的に魚眼レンズ画像の幾何学的歪みを補正する機能を遂行する。これについては、図３を参照して説明したものと同一であるので、重複した説明を省略する。
補償部（８２０）は、幾何学的歪みが補正された魚眼レンズ画像に、以前の段階で補正された画像の高周波成分をパッチ単位で補償する機能を遂行する。これは、図５を参照して説明したものと同一であるので、重複した説明を省略する。

また、補正部（８１５）及び補償部（８２０）は、プロセッサ（８３０）の制御によって複数回繰り返して動作する。即ち、補正部（８１５）及び補償部（８２０）は、プロセッサ（８３０）の制御によって補正段階回数が最終補正段階回数以上になるまで複数回繰り返し遂行する。プロセッサ（８３０）は、補正部（８１５）及び補償部（８２０）が一つの補正段階を遂行するたびに補正段階回数を指定された大きさ（たとえば、１）づつ増加させる。

メモリ（８２５）は、本発明の一実施例による段階的に魚眼レンズを補正する過程において利用される多様なアルゴリズム、当該過程で派生する多様なデータを格納する機能を有する。
プロセッサ（８３０）は、本発明の一実施例による魚眼レンズ画像補正装置（１００）の内部構成要素（例えば、画像獲得部（８１０）、補正部（８１５）、補償部（８２０）、メモリ（８２５）等）を制御する機能を遂行する。

図９は、従来と本発明の一実施例による魚眼レンズ画像補正結果を図示した図面である。
図９の（ａ）は原画像を示し、図９の（ｂ）は従来の正射影モデルに基づいた画像補正結果を示し、図９の（ｃ）は、図８の（ｂ）にパッチ参照方法を適用した結果を示し、図９の（ｄ）は、本発明の一実施例による魚眼レンズ画像補正結果を示す。

図９に示したように、段階的魚眼レンズ補正方法を適用して、自己例題パッチを適用して魚眼レンズ画像を補正した結果が、これを適用していない従来に比べて魚眼レンズ補正過程で生じる階段及びぼやけ現象を効果的に除去できることが分かる。

一方、本発明の実施例による魚眼レンズ補正方法は多様な電子的に情報を処理する手段を通じて遂行できるプログラム命令形態で具現されて格納媒体に記録できる。格納媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせて含むことができる。

格納媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであるか、又は、ソフトウェア分野の当業者に公知されて使用可能なものである。格納媒体の例には、ハードディスク、フロッピー（登録商標）ディスク、及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュ（登録商標）メモリなどのようなプログラム命令を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラにより作成されるような機械語コードだけでなく、インタプリタなどを用いて電子的に情報を処理する装置、例えば、コンピュータによって実行可能な高級言語コードを含む。

上述したハードウェア装置は、本発明の動作を遂行するために１つ以上のソフトウェアモジュールとして作動するように構成可能であり、その逆も同様である。

上記においては、本発明の好ましい実施例を参照して説明したが、当該技術分野における通常的な知識を有する者であれば、別途の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で本発明を多様に修正及び変更できることが理解できるであろう。

１００魚眼レンズ画像補正装置
８１０画像獲得部
８１５補正部
８２０補償部
８２５メモリ
８３０プロセッサ

Claims

画像獲得部、補正部、補償部、メモリ、及びプロセッサを含む装置において、
前記プロセッサの制御の下に、
（ａ）前記画像獲得部が、魚眼レンズを通じて撮影された魚眼レンズ画像を獲得する段階、（ｂ）前記補正部が、正射影モデルに基づいた拡大率を適用して段階的に上記魚眼レンズ画像に対する幾何学的歪みを補正する段階、及び（ｃ）前記補償部が、上記の幾何学的歪みが補正された魚眼レンズ画像に以前の段階で補正された画像の高周波成分をパッチ単位で補償する段階を含む、ことを特徴とする魚眼レンズ画像補正方法。
上記（ｂ）段階及び上記（ｃ）段階は、当該補正段階回数が最終補正段階回数を超えるまで、上記拡大率に応じて段階的に遂行されることを特徴とする請求項１に記載の魚眼レンズ画像補正方法。
上記（ｂ）段階は、当該補正段階回数をｉとして（但し、１≦ｉ≦ｍ、ｍは最終補正段階回数）、上記正射影モデルにおける歪み関数に上記拡大率を乗じて上記拡大率に応じた段階的補償点（ｐ_ｉ）を計算する段階、上記正射影モデルに基づいて原点と、画像平面上の最終補正段階補償点（ｐ_ｍ）とを連結する直線上にあって、上記段階的補償点（ｐ_ｉ）に対応する対応点（ｎ_ｉ）を計算する段階、画像平面（ｉｍａｇｅｐｌａｎｅ）上の光軸と上記対応点（ｎ_ｉ）とを通る放物線方程式の焦点（Ｆ_ｉ）を計算する段階、及び上記焦点（Ｆ_ｉ）を利用して、上記拡大率による上記魚眼レンズ画像の幾何学的歪みを補正する段階を含む、ことを特徴とする請求項１に記載の魚眼レンズ画像補正方法。
上記焦点（Ｆ_ｉ）は、下記［数３］に示すように計算されることを特徴とする請求項３に記載の魚眼レンズ画像補正方法。

ここで、上記Ｒは上記原点と画像平面との間の距離を示し、上記ｓは補正段階１回当たりの拡大率を示し、上記ｉは補正段階回数を示し、上記θは上記光軸と上記画像平面上の最終補正段階補償点（ｐ_ｍ）との間の角度を示す。
上記（ｃ）段階は、上記補正された魚眼レンズ画像及び上記以前の段階で補正された画像のそれぞれに対して、二重ツリー複素数ウェーブレット変換を遂行する段階、上記ウェーブレット変換結果において低周波サブバンドを第１の値に変換した後、逆変換を遂行して、高周波成分をそれぞれ抽出する段階、上記補正された魚眼レンズ画像のパッチと最も類似した以前の段階で補正された画像の例題パッチを検索する段階、及び上記検索された例題パッチの高周波成分を上記補正された魚眼レンズ画像のパッチに補償する段階を含む、ことを特徴とする請求項１に記載の魚眼レンズ画像補正方法。
上記補正された魚眼レンズ画像のパッチと最も類似した以前の段階で補正された画像の例題パッチを検索する段階は、上記ウェーブレット変換結果の低周波サブバンドを利用して検索することを特徴とする請求項５に記載の魚眼レンズ画像補正方法。
上記補正された魚眼レンズ画像のパッチと最も類似した以前の段階で補正された画像の例題パッチを検索する段階は、上記補正された魚眼レンズ画像のパッチと上記以前の段階で補正された画像の例題パッチとの間のベクトル差分の絶対値が最小値となる最適の移動ベクトルを計算する段階、及び上記移動ベクトルを上記例題パッチに反映して、最終例題パッチを選択する段階を含むことを特徴とする請求項５に記載の魚眼レンズ画像補正方法。
請求項１乃至７のいずれか一項に記載の方法を遂行するためのプログラムコードを記録した、ことを特徴とするコンピュータで読み取り可能な記録媒体製品。
魚眼レンズを通じて撮影された魚眼レンズ画像を獲得する画像獲得部、正射影モデルに基づいて拡大率を適用して段階的に上記魚眼レンズ画像の幾何学的歪みを補正する補正部、及び上記幾何学的歪みが補正された魚眼レンズ画像に以前の段階で補正された画像の高周波成分をパッチ単位で補償する補償部を含む、ことを特徴とする魚眼レンズ画像補正装置。
上記補正部及び上記補償部は、当該補正段階回数が最終補正段階回数を超えるまで、上記拡大率に応じて上記補正及び補償過程を繰り返し遂行することを特徴とする請求項９に記載の魚眼レンズ画像補正装置。
上記補正部は、当該補正段階回数をｉとして（但し、１≦ｉ≦ｍ、ｍは最終補正段階回数）、上記正射影モデルにおける歪み関数に上記拡大率を乗じて上記拡大率に応じた段階的補償点（ｐ_ｉ）を計算し、上記正射影モデルに基づいて原点と、画像平面上の最終補正段階補償点（ｐ_ｍ）とを連結する直線上にあって、上記段階的補償点（ｐ_ｉ）に対応する対応点（ｎ_ｉ）を計算し、画像平面（ｉｍａｇｅｐｌａｎｅ）上の光軸と上記対応点（ｎ_ｉ）とを通る放物線方程式の焦点（Ｆ_ｉ）を計算した後、上記の焦点（Ｆ_ｉ）を利用して、上記拡大率による上記魚眼レンズ画像の幾何学的歪みを補正することを特徴とする請求項９に記載の魚眼レンズ画像補正装置。
上記の補償部は、上記補正された魚眼レンズ画像及び上記以前の段階で補正された画像のそれぞれに対して、二重ツリー複素数ウェーブレット変換を遂行し、上記ウェーブレット変換結果において低周波サブバンドを第１の値に変換した後、逆変換を遂行して、高周波成分をそれぞれ抽出し、上記補正された魚眼レンズ画像のパッチと最も類似した以前の段階で補正された画像の例題パッチを検索した後、上記検索された例題パッチの高周波成分を上記補正された魚眼レンズ画像のパッチに補償することを特徴とする請求項９に記載の魚眼レンズ画像補正装置。
上記の補償部は、上記補正された魚眼レンズ画像及び上記以前の段階で補正された画像に対するウェーブレット変換結果のうち低周波サブバンドを利用して、上記類似した例題パッチを検索することを特徴とする請求項１２に記載の魚眼レンズ画像補正装置。
上記の補償部は、上記補正された魚眼レンズ画像のパッチと上記以前の段階で補正された画像の例題パッチとの間のベクトル差分の絶対値が最小値となる最適の移動ベクトルを計算し、上記移動ベクトルを上記例題パッチに反映して上記補正された魚眼レンズ画像のパッチと最も類似した最終例題パッチを選択することを特徴とする請求項１２に記載の魚眼レンズ画像補正装置。