JP2013110647A

JP2013110647A - 画像補正装置および画像補正方法

Info

Publication number: JP2013110647A
Application number: JP2011255355A
Authority: JP
Inventors: Takahiro Usami; 貴弘宇佐美
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2011-11-22
Filing date: 2011-11-22
Publication date: 2013-06-06
Anticipated expiration: 2031-11-22
Also published as: JP5704057B2

Abstract

【課題】光学歪み補正の補正率を高める技術を提供する。
【解決手段】画像データ圧縮部９は、ズーム機能を有する光学レンズを介して撮像された画像データを圧縮し、圧縮画像データとしてメモリ１０に格納する。歪曲補正部１１は、画像データに生じている光学歪みを補正する。画像データ伸張部１３は、メモリ１０に格納された圧縮画像データを伸張し、歪曲補正部１１に補正させる。ここで画像データ圧縮部９は、撮像時の前記光学レンズのズーム値をもとに、メモリ１０の容量におさまるように前記撮像された画像データを圧縮する。
【選択図】図１

Description

本発明は画像補正装置に関し、特に光学レンズを介して撮像された被写体像を示す画像データを補正する画像補正装置に関する。

光学レンズは、通常、製造時のバラつきなどによって生じる各光学レンズ固有の歪曲収差を有している。これらの光学レンズを介して被写体像を撮影すると、歪曲収差によって撮影画像が歪む「光学歪み」という現象が発生する。この光学歪みは光軸中心から対象性があり、撮影時の光学レンズのズーム値（焦点距離の値）によって大きく変動する。撮像装置におけるこの光学歪みの補正に関する技術は種々提案されており、それらの中には光学レンズの撮像時のズーム値から光学歪みの補正に必要な補正係数を算出し補正を行う技術が存在する（特許文献１参照）。

また、光学歪みの補正においては、画像データを一時的に記憶するメモリが必要となる。しかし、一般にメモリは容量が大きければ大きいほど高額となり、またメモリのアクセス速度が高速であればあるほど高額となる。上述した種々提案されている光学歪みに関する技術の中には、光学歪みの補正時におけるメモリ領域の使用を効率化する技術も存在する（特許文献２参照）。

特開２００３−２１９２４６号公報特開２００６−２２２８２７号公報

一般に、光学歪みを補正するには光学歪みが生じている画像データを格納するメモリを必要とする。これらのメモリは高価であるため、限られたメモリ容量の範囲内で光学歪み補正の補正率を高める技術が望まれている。

本発明はこうした状況に鑑みなされたものであり、その目的は、光学歪み補正の補正率を高める技術を提供することにある。

上記目的を達成するため、本発明のある態様は画像補正装置である。この装置は、ズーム機能を有する光学レンズを介して撮像された画像データを圧縮し、圧縮画像データとしてメモリに格納する画像データ圧縮部と、画像データに生じている光学歪みを補正する歪曲補正部と、前記メモリに格納された圧縮画像データを伸張し、前記歪曲補正部に補正させる画像データ伸張部とを含む。ここで前記画像データ圧縮部は、撮像時の前記光学レンズのズーム値をもとに、前記メモリの容量におさまるように前記撮像された画像データを圧縮する。
本発明の別の態様は画像補正方法である。この方法は、ズーム機能を有する光学レンズを介して撮像された画像データを取得するステップと、前記画像データの撮像時の前記光学レンズのズーム値をもとに、メモリの容量におさまるように圧縮し、圧縮画像データとして前記メモリに格納するステップと、前記メモリに格納された圧縮画像データを伸張してキャッシュメモリに格納するステップと、前記キャッシュメモリに格納された画像データの光学歪みを補正するステップとを含む。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、光学歪み補正の補正率を高める技術を提供することができる。

本発明の第１の実施の形態に係る画像補正装置の内部構造を模式的に示す図である。光学レンズを通して撮像した像の光学歪みとその歪曲率を説明する図である。ズーム値がＭの場合における光学歪みと必要とするメインメモリの容量との関係を説明する図である。ズーム値がＮの場合における光学歪みと必要とするメインメモリの容量との関係を説明する図である。実施の形態１に係る画像補正装置の処理の流れを説明するフローチャートの前半部である。実施の形態１に係る画像補正装置の処理の流れを説明するフローチャートの後半部である。本発明の第２の実施の形態に係る画像補正装置の歪み補正処理の流れを説明するフローチャートの前半部である。本発明の第２の実施の形態に係る画像補正装置の歪み補正処理の流れを説明するフローチャートの後半部である。

（実施の形態１）
実施の形態１の概要を述べる。実施の形態１に係る画像補正装置は、撮像時の光学レンズにおけるズーム値が一定値を下回った際、メモリに順次格納する画像データを圧縮し、メモリから読み出すときに圧縮された画像データを伸張することで、圧縮伸張処理なしではメモリ容量を上回る画像データを必要とするズーム値で撮像された画像データに対しても、補正処理を実現できるようにする。

図１は、実施の形態１に係る画像補正装置１００の内部構造を模式的に示す図である。画像補正装置１００は、光学系１、光学制御部２、歪み補正値記憶部３、撮像素子４、歪み補正値取得部５、画像前処理部６、画像補正部７、メインメモリ１０、画像後処理部１４、記録部１５、記録媒体１６、および出力部１７を含む。

光学系１はズーム機能を有したレンズである。光学系１は複数枚のレンズを含み、被写体からの光情報を結像して取得する。撮像素子４は、光学系１から取得した光情報を電気情報に変換する。撮像素子４は、例えばＣＭＯＳ（Complementary metal Oxide Semiconductor）イメージセンサや、ＣＣＤ（Charge Coupled Devices）イメージセンサなどを用いて実現できる。画像前処理部６は、撮像素子４が変換した電気情報をＲＧＢ各色の信号に変換する。画像前処理部６が変換する信号はＲＧＢ信号に限られず、例えばＹＵＶ信号であってもよい。

光学制御部２は、光学系１のレンズを制御する。光学制御部２はまた、撮像時における光学系１のズーム値を出力する。歪み補正値記憶部３は、光学系１のズーム値についての複数のサンプル値と、その時に撮像される像の歪みを補正するための「歪み補正値」（詳細は後述する）とを紐づけて記憶する。歪み補正値取得部５は、光学制御部２から取得した光学系１における撮像時のズーム値をもとに、歪み補正値記憶部３を参照して歪み補正値を取得する。歪み補正値記憶部３に撮像時のズーム値が格納されていない場合には、歪み補正値取得部５は、歪み補正値を補間計算により取得する。

画像補正部７は、画像前処理部６から取得した複数ライン分の画素の画像データと、歪み補正値取得部５から取得した歪み補正値とをもとに、光学歪みを補正した画像データを作成する。詳細は後述するが、画像補正部７は、画像前処理部６から取得した画像データをメインメモリ１０に格納し、次いで歪み補正を実行する領域の画像（画素）をメインメモリ１０から読み出して歪み補正を実行する。これらを実現するために、画像補正部７は、画像データ制御部８、画像データ圧縮部９、画像データ伸張部１３、キャッシュメモリ１２、および歪曲補正部１１をさらに含む。

画像データ制御部８は、画像補正部７の各部を統括的に制御する。画像データ制御部８は、画像データ圧縮部９に画像データを圧縮させたり、画像データ伸張部に圧縮された画像データを伸張させたり、あるいは歪曲補正部１１に画像データの歪み補正を実行させたりする。

画像データ圧縮部９は、画像前処理部６を介して取得した画像データを圧縮し、圧縮画像データとしてメインメモリ１０に格納する。ここで画像データ圧縮部９は、光学レンズの撮像時のズーム値をもとに、メインメモリ１０の容量におさまるように画像データを圧縮する。より具体的には、画像データ制御部８が、光学制御部２から取得した撮像時の光学系１におけるズーム値に基づいて後述する画像データの圧縮処理をするか否かを決定する。画像データの圧縮処理をすることが決定した場合、画像データ圧縮部９は、画像データを圧縮する。このため、画像データを圧縮しなくてもメインメモリ１０に格納できるのであれば、画像データ圧縮部９は画像データを圧縮しないこともあり得る。したがって、本明細書において「画像データを圧縮する」とは、圧縮率が１００％の場合、すなわち圧縮しない場合も含む。なお、本明細書において「圧縮率」とは、圧縮前のデータサイズに対する圧縮後のデータサイズの割合を百分率で表したものとする。

画像データ圧縮部９が画像データを圧縮してメインメモリ１０に格納した場合、画像データ伸張部１３は、圧縮画像データを伸張して、キャッシュメモリ１２に格納する。より具体的には、画像データ制御部８が、画像データ圧縮部９に画像データを圧縮させてメインメモリ１０に格納させた場合、メインメモリ１０から読み出す補正用画素を画像データ伸張部１３に伸張させる。

歪曲補正部１１は、画像データ制御部８を介して歪み補正値取得部５から取得した歪み補正値をもとに、キャッシュメモリ１２に格納された補正用画像データに含まれる光学歪みを補正する。具体的な補正方法については後述する。

画像後処理部１４は、画像補正部７が歪み補正処理をした画像データを記録媒体１６に記録するための画像信号に変換する。記録部１５は、画像後処理部１４で変換された画像信号を記録媒体１６に記録する。出力部１７は、記録媒体１６に記録した画像信号を読み出し図示しない表示部に出力する。

以下、歪曲補正部１１による光学歪みの補正について説明する。

図２は光学レンズを通して撮像した場合の像の光学歪みとその歪曲率とを説明する図である。光学レンズを通して被写体像を撮影し、その被写体像を示す画像データを記録する場合、光学レンズが有する固有の歪曲収差に起因して、撮像画像の周辺に歪みが生じる。この歪みは、一般に光学歪みと称され、画像の角部が外側に伸びる「糸巻き型」と、逆に角部が縮む「たる型」との２種類に分けられる。何れの歪みも光学中心からの距離によって歪み量が決まることが一般的に知られている。

図２（ａ）は「たる型」の歪みを例示する図である。図２（ａ）は、本来点Ａに撮像されるべき点が、歪みによって点Ａ’に撮像されていることを図示している。点Ａおよび点Ａ’の画像の中心からの距離をそれぞれＬ１、Ｌ２とするとき、点Ａにおける歪曲率Ｄは以下の式（１）で定義され、その単位は［％］である。
歪曲率Ｄ［％］＝１００×（Ｌ２−Ｌ１）／Ｌ１（１）
ここで画像の中心は、光学系の中心軸と一致しているものとする。

図２（ａ）に示すようなたる型の歪みの場合、歪曲率Ｄは負の値となる。反対に、糸巻き型歪みの場合、歪曲率Ｄは正の値となる。ここで式（１）をＬ２について解くと、以下の式（２）を得る。
Ｌ２＝（１００＋Ｄ）／１００×Ｌ１（２）

式（２）より、歪曲率Ｄを用いることで、中心からの距離がＬ１となる点Ａに本来存在すべき画素が、歪みの生じている画像上においてどの位置に存在するかを求めることができる。具体的には、中心からの距離Ｌ１に、歪曲率Ｄを用いて計算される係数を乗じた距離であるＬ２が、本来点Ａに存在すべき画素が存在する位置である。式（２）を用いて求めた位置に存在する画素を点Ａの位置に戻す画像処理を施すことにより、歪みの生じた画像を補正することができる。したがって、以下、歪曲率Ｄと歪み補正値とを同じ意味で用いる。

図２（ｂ）は、ある固定されたズーム値において、ｄｓｔ０〜ｄｓｔ４までの５点における歪み補正値を求める場合のそのサンプリング点を例示する図である。図２（ｃ）は、図２（ｂ）のサンプリング点ｄｓｔ４の位置における、ズーム値と歪み補正値との関係を模式的に示す図である。歪み補正値記憶部３には、各サンプリング点におけるズーム値と歪み補正値とが紐づけられて格納されている。図２（ｃ）に示すように、ズーム値と歪み補正値とは複数点が記憶されている。歪み補正値取得部５は、歪み補正値記憶部３に撮像時のズーム値が格納されていない場合には、歪み補正値を補間計算により取得する。補間計算は、例えば公知のスプライン補間を用いることで実現できる。図２（ｂ）および図２（ｃ）においてサンプリング数をいくつにするかは、正確性とデータ量とのトレードオフの関係になるため、コスト等を鑑みて実験により定めればよく、例えば２０点程度である。

図３および図４は、ズーム値がそれぞれＭとＮとの場合における光学歪みと必要メインメモリ１０容量との関係を説明する図である。以下本明細書において、ズーム値Ｍはズーム値Ｎよりも大きな値であるとする。

図３（ａ）はズーム値Ｍにおける「たる型」の歪みを示す図である。図３（ａ）の光学歪みを補正するために必要なメインメモリ１０のライン数は、前記式（２）を用いてすべてのラインにおけるすべての画素についての点Ａと点Ａ’との関係を求めることで算出することができる。具体的に、図３（ａ）の光学歪みを補正するために必要なメインメモリ１０のライン数は、図３（ｂ）で示すｍとなる。ここで、メインメモリ１０の水平方向の画素数をＷとすると、ズーム値Ｍにおける歪曲率Ｄｍの光学歪みを補正するために必要なメインメモリ１０容量Ｑ_Ｍは、以下の式（３）で表される。
Ｑ_Ｍ＝ＲＧＢ信号データ量×Ｗ×ｍ（３）

ここで、図３（ｃ）に示すように、ズーム値Ｍ＞ズーム値Ｎを前提として、ズーム値Ｍにおける歪曲率をＤｍ、ズーム値Ｎにおける歪曲率をＤｎとする。Ｄｍ、Ｄｎとも「たる型」の歪曲率を示す負の歪曲率であるため、Ｄｎ＜Ｄｍとなる。以下、歪曲率の大小関係を比較するときは、その絶対値をとることにする。すなわち、｜Ｄｍ｜＜｜Ｄｎ｜であるから、Ｄｎの方がＤｍに対してより高い歪曲率を有すものとする。

図４（ａ）はズーム値Ｎにおける「たる型」の歪みを示す図であり、式（３）と同様にして図２（ａ）の光学歪みを補正するために必要なメインメモリ１０のライン数を求めると、図４（ｂ）で示すｎとなる。したがって、ズーム値Ｎにおける歪曲率Ｄｎの光学歪みを補正するために必要なメインメモリ１０容量Ｑ_Ｎは、以下の式（４）で表される。
Ｑ_Ｎ＝ＲＧＢ信号データ量×Ｗ×ｎ（４）
ここで、｜Ｄｍ｜＜｜Ｄｎ｜であるため、ｍ＜ｎとなる。

歪曲率の絶対値が大きければ大きいほど光学歪みの補正に必要なメインメモリ１０の容量は大きくなる。仮にメインメモリ１０容量が前記式（３）と同値である場合、歪曲率Ｄｍの光学歪み補正は実行することができるが、Ｄｍより高い歪曲率の補正はメインメモリ１０の容量不足により実行できず、したがって歪曲率Ｄｎの光学歪み補正は実行できない。

そこで、メインメモリ１０容量が前記式（３）と同値であっても、歪曲率Ｄｎの光学歪みを補正するために、画像データ制御部８は、画像データ圧縮部９に画像データを圧縮させる。画像データ圧縮部９が圧縮すべき画像データ量の圧縮率の最大値をＣとしたとき、
Ｃ×Ｗ×ｎ≦Ｗ×ｍ（５）
で表される式（５）を満たす圧縮処理を実行できれば、メインメモリ１０は圧縮処理後の画像データを格納することが可能となる。

画像データ量の圧縮率ＣはＲＧＢ信号データ量をＲＧＢ各８ｂｉｔの２４ｂｉｔとすると、２４ｂｉｔを１８ｂｉｔに圧縮した場合はＣ＝０．７５となり、２４ｂｉｔを１２ｂｉｔに圧縮した場合はＣ＝０．５となる。画像データ圧縮部９は、圧縮伸張処理は公知であるゼロ圧縮やハフマンコードを利用した圧縮など、種々の圧縮伸張アルゴリズムが利用できるが、圧縮後のビット幅が一定とならない可変長データ圧縮伸張回路の実装は計算コストの増大から回路規模が大きくなるため、固定長データ圧縮伸張回路の実装が好ましい。

圧縮率Ｃの値がより低くなる圧縮伸張アルゴリズムを使用することで、メインメモリ１０容量に制限がある場合であっても、より高い歪曲率の光学歪み補正が可能となる。しかしながら、より圧縮率Ｃが低くデータの可逆性がない圧縮伸張アルゴリズムを使用した場合、補正後の画像データは正しい数値より外れた数値となり、最終的には出力画像の画質劣化の要因ともなりうる。

図３（ｃ）は撮像時における光学系１のズーム値と補正量（歪曲率）の関係を示す図である。画像データ制御部８は、出力画像の画質劣化を抑えるため、光学制御部２から取得する撮像時における光学系１のズーム値が所定の閾値Ｔより大きいズーム値である場合は画像データ圧縮部９に画像データの圧縮処理を実行させない。ここで、所定の閾値Ｔは、画像データの圧縮処理を行わなくてもメインメモリ１０容量が不足しないか否かを判断するための基準値である。例えば、メインメモリ１０の容量Ｑが式（３）で表されるＱ_Ｍとすると、閾値Ｔ＝Ｍとなる。

画像データ制御部８は、光学制御部２から取得する撮像時における光学系１のズーム値が閾値Ｔより小さいズーム値である場合、画像データの圧縮処理が必要であると判断し、画像データ圧縮部９に画像データの圧縮処理をさせる。これにより、圧縮処理の必要ない補正率における光学歪み補正においては出力画像の画質劣化を伴わず、圧縮処理の必要な補正率における光学歪み補正においては出力画像の画質劣化を伴うことにはなるが、光学歪み補正自体は実行することが可能となる。

図５は、実施の形態１に係る画像補正装置１００の処理の流れを説明するフローチャートの前半部である。本フローチャートにおける処理は、例えば画像補正装置１００が起動したときに開始する。

撮像素子４は、被写体から放出され光学制御部２によってズーム値の制御を受けた光学系１で集光された光信号を電気信号に変換する（Ｓ０）。画像前処理部６は、撮像素子４が変換した電気信号を画像データに変換する（Ｓ１）。ここで画像前処理部６は、撮像素子４が変換したが総データの左上を先頭としてラインごとに順次に右下に至るまで、画像データを画像補正部７に出力する。この時点では光学歪み補正処理を行っていないため、画像データには光学歪みが発生している。

歪み補正値取得部５は、歪み補正値記憶部３に記憶したズーム値についての複数のサンプル値を参照して、光学制御部２における撮像時のズーム値と同値、または最も近いサンプル値、及びこのサンプル値に対応する歪み補正値を抽出するとともに、撮像時のズーム値とサンプル値の差に応じた補間計算によって、実際の歪み補正値を取得する（Ｓ２）。

画像補正部７内の画像データ制御部８は、光学制御部２から取得した撮像時のズーム値をもとに、画像データ圧縮部９に画像データの圧縮処理をさせる必要があるか否かの判定を行う（Ｓ３）。

画像データ制御部８が画像データ圧縮部９に画像データの圧縮処理をさせる必要があると判断した場合（Ｓ３のＹ）、画像データ圧縮部９は画像データの圧縮処理を行う（Ｓ４）。

画像データ制御部８が画像データ圧縮部９に画像データの圧縮処理をさせる必要がないと判断した場合（Ｓ３のＮ）、画像データ圧縮部９は圧縮処理をしない

画像データ圧縮部９は、画像データをラインメモリであるメインメモリ１０に書き込む（Ｓ５）。メインメモリ１０は容量に上限があるため、画像データ制御部８は、メインメモリ１０がいっぱいである場合、上位のライン、すなわち画像データを記録したタイミングが最も過去のラインから順に消去して新しいラインを記録する。

図６は、実施の形態１に係る画像補正装置１００の処理の流れを説明するフローチャートの後半部である。

画像補正部７の画像データ制御部８は、光学制御部２から取得した撮影時のズーム値における歪み補正値をもとに、１ライン分の歪み補正処理に必要な水平画素位置、垂直ラインを計算し、メインメモリ１０に記録した複数ライン分の全画素画像データから補正用画像データを読み出す位置を決定する（Ｓ６）。

画像補正部７の画像データ制御部８は、ステップＳ６の結果をもとに、補正用画像データをメインメモリ１０から画像データ伸張部１３に読み出させる（Ｓ７）。

画像補正部７の画像データ制御部８は、画像データ圧縮部９に画像データを圧縮させたか否かの判定をする（Ｓ８）。

画像データ圧縮部９が画像データを圧縮した場合（Ｓ８のＹ）、画像データ制御部８は、画像データ伸張部１３に、画像データ圧縮部９がした圧縮処理に対応した伸張処理を実行させるとともに、伸張した補正用画像データをキャッシュメモリ１２に格納させる（Ｓ９）。

画像データ圧縮部９が画像データを圧縮していない場合（Ｓ８のＮ）、画像データ制御部８は、画像データ伸張部１３に伸張処理を実行させずに、補正用画像データをキャッシュメモリ１２に格納させる。

画像補正部７の歪曲補正部１１は、画像データ制御部８の制御の下、キャッシュメモリ１２に保持した歪み補正処理に必要な水平画素位置、垂直ラインの画像データ、及び、その周辺画素位置、ライン位置における画像データを取り出して画素補間処理を行い、１点の画素位置における歪み補正処理した結果の画像データを算出する（Ｓ１０）。なお、キャッシュメモリ１２の空き容量が不足する場合、画像データ伸張部１３は、キャッシュメモリ１２に格納されている古い画像データに新しい画像データを上書きする。

１ライン分の処理が終了した場合、画像データ制御部８は、全ラインの補正が終了しているかどうかを判定し（Ｓ１１）、全入力ラインの補正が終了していない場合（Ｓ１１のＮ）、ステップＳ６に戻る。

全ラインの補正が終了している場合（Ｓ１１のＹ）、画像後処理部１４は、補正された画像データを記録媒体１６に記録する際の信号仕様の変換や圧縮処理等の信号変換を行う（Ｓ１２）。記録部１５は、画像後処理部１４より取得した画像信号を記録媒体１６に記録する（Ｓ１３）。出力部１７は、記録媒体１６に記録した画像信号を図示しない表示部で表示するための仕様にあわせて表示する（Ｓ１４）。記録媒体１６に記録した画像信号が表示されると、本フローチャートにおける処理は終了する。

以上の構成による動作は以下のとおりである。ユーザが実施の形態１に係る画像補正装置１００を用いて画像を撮像すると、歪み補正値取得部５は撮像時のズーム値と、歪み補正値記憶部３から取得したズーム値のサンプル値、及び、このサンプル値に対応する歪み補正値とに基づいて、撮像時のズーム値に対応する歪み補正値を補間計算によって取得する。画像データ制御部８は、光学制御部２から取得したズーム値に基づいて、画像データ圧縮部９に画像データの圧縮処理をさせるか否かを決定する。画像データ制御部８は歪み補正値をもとに光学歪みを補正するために必要な補正用画像データ位置を決定する。画像データ制御部８に画像データを圧縮させた場合、画像データ制御部８は、画像データ伸張部１３に補正用画像データを伸張させる。

このように、撮像時における光学系１のズーム値に基づいて、画像データを圧縮処理および伸張処理をするか否かを制御することで、メインメモリ１０容量の不足により高い補正率の光学歪み補正処理が実行できない場合には、画像データを圧縮することでメインメモリ１０に格納し、光学歪み補正処理を実行することが可能となる。画像データを圧縮する場合、圧縮伸張処理によって画質劣化を伴うことにもなりうるが、画像データを圧縮しなくてもメインメモリ１０の容量が不足しない場合には、従来と同等の画質性能を保ちつつ補正率の光学歪み補正処理が実現できる。

以上説明したように、実施の形態１に係る画像補正装置１００によれば、特定のズーム値区間において歪曲率が高く、一定量のメモリでは補正できない画像データの入力に対して、画質劣化を抑えながら光学歪み補正を実現できる。

（実施の形態２）
実施の形態２の概要を述べる。実施の形態２に係る画像補正装置１０１は、光学レンズにおけるズーム値の取り得る範囲を複数の領域に分割し、分割したそれぞれの領域に対して個別の圧縮伸張アルゴリズムを用意し、撮像時のズーム値に基づいた圧縮伸張アルゴリズムを使用して画像データの圧縮伸張処理を実行する、圧縮処理後の画像データをメモリへ書き込み、メモリから読み出した画像データに対して伸張処理をすることで、圧縮伸張処理なしではメモリ量の不足により補正処理を実行できないズーム値における補正処理を実行しつつ、複数の圧縮率の圧縮伸張アルゴリズムを適宜使用することで、圧縮伸張による画質劣を極力抑えた補正処理を実行できる。

実施の形態２に係る画像補正装置１０１は、実施の形態１に係る画像補正装置１００と内部構造は同等であるため、画像補正装置１０１の内部構造を示す図として図１を流用して説明する。以下、実施の形態１に係る画像補正装置１００と重複する説明は適宜省略または簡略化して記載する。

以下、図１を実施の形態２に係る画像補正装置１０１の内部構造を模式的に示す図として以下を説明する。画像補正装置１０１は、光学系１、光学制御部２、歪み補正値記憶部３、撮像素子４、歪み補正値取得部５、画像前処理部６、画像補正部７、メインメモリ１０、画像後処理部１４、記録部１５、記録媒体１６、および出力部１７を含む。

画像補正装置１０１において、画像データ圧縮部９は、圧縮率の異なる複数の圧縮アルゴリズムを有する。画像データ制御部８は、光学制御部２から取得したズーム値が光学系１におけるズーム値の取り得る範囲を複数の領域に分割したどの領域に該当するかによって、画像データ圧縮部９に使用させる圧縮アルゴリズムを切り替る。以下、説明の便宜上、圧縮アルゴリズムの数を３つとし、ズーム値の取り得る範囲を３つの領域に分割する場合について説明するが、圧縮アルゴリズムの数やズーム値の取り得る範囲の分割数は３に限られないことは当業者には容易に理解されることである。

画像データ制御部８は、画像データ圧縮部９において選択された圧縮アルゴリズムに対応する伸張アルゴリズムを使用して画像データ伸張部１３に補正用画像データを伸張させる。

図４（ｃ）は光学系１の取り得るズーム値区間と、分割領域の一例を示す図である。図４（ｃ）のズーム値Ｏからズーム値Ｎまでを領域Ｆａ、ズーム値Ｎからズーム値Ｍまでを領域Ｆｂ、ズーム値Ｍ以上の領域をＦｃとする。領域Ｆａにおける歪曲率の絶対値は最も大きく、領域Ｆｃにおける歪曲率の絶対値が最も小さい。

画像データ圧縮部９は、画像データ制御部８を介して光学制御部２から取得した撮像時における光学系１のズーム値が領域Ｆａの範囲内である場合、圧縮率Ｃの値が最も低く、画質が最も劣化しうる不可逆圧縮アルゴリズムＡを用いて画像データを圧縮する。ズーム値が領域Ｆｃの範囲内である場合、画像データ圧縮部９は、圧縮率Ｃの値が最も高く、画質劣化の生じない可逆圧縮アルゴリズムＣを用いて画像データを圧縮する。ズーム値が領域Ｆｂの範囲内である場合には、両者の中間的な性質を持つ圧縮アルゴリズムＢを用いて画像データを圧縮する。

画像データ伸張部１３は、ズーム値が領域Ｆａの範囲内である場合、画像データ圧縮部９が実行した圧縮アルゴリズムＡに対応する伸張アルゴリズムＡを用いて補正用画像データを伸張する。画像データ伸張部１３は、ズーム値が領域Ｆｃの範囲内である場合、圧縮アルゴリズムＣに対応する伸張アルゴリズムＣを用いて補正用画像データを伸張する。同様に、画像データ伸張部１３は、ズーム値が領域Ｆｂの範囲内である場合、圧縮アルゴリズムＢに対応する伸張アルゴリズムＢを使用して補正用画像データを伸張する。

図７は、実施の形態２に係る画像補正装置１０１の処理の流れを説明するフローチャートの前半部である。本フローチャートにおいて、ステップＳ２０からステップＳ２２までの各処理は、それぞれ図５におけるステップＳ０からステップＳ２までの各処理と同様である。

画像補正部７内の画像データ制御部８は、光学制御部２から取得した撮像時のズーム値から画像データに対して圧縮処理が必要であるか判定を行う（Ｓ２３）。

画像データ制御部８が圧縮処理が必要であると判断した場合（Ｓ２３のＹ）、画像データ制御部８は、光学制御部２から取得した撮像時のズーム値がズーム値領域Ｆａ、Ｆｂ、Ｆｃのいずれに該当するか判定し、画像データ圧縮部９に使用させる画像データの圧縮アルゴリズムを選択する（Ｓ２４）。

画像データ圧縮部９は、画像データ制御部８が選択した圧縮アルゴリズムを使用して画像データを圧縮する。

画像データ制御部８が圧縮処理が必要ないと判断した場合（Ｓ２３のＮ）、画像データ制御部８は画像データ圧縮部９に特段の処理をさせない。

ステップＳ２６の処理は、図５におけるステップＳ５の処理と同様である。

図８は、実施の形態２に係る画像補正装置１０１の処理の流れを説明するフローチャートの後半部である。

ステップＳ２７からステップＳ２９までの各処理は、それぞれ図６におけるステップＳ６からステップＳ８までの各処理と同様である。

画像データ圧縮部９が画像データを圧縮した場合（Ｓ２９のＹ）、画像データ制御部８は、ステップＳ２４において選択した圧縮アルゴリズムに対応する伸張アルゴリズムを選択する（Ｓ３０）。

画像データ制御部８は、ステップＳ３０において選択した伸張アルゴリズムを使用して画像データ伸張部１３に補正用画像データを伸張させるとともに、伸張した補正用画像データをキャッシュメモリ１２に格納させる（Ｓ３１）。

画像データ圧縮部９が画像データを圧縮していない場合（Ｓ２９のＮ）、画像データ制御部８は、画像データ伸張部１３に特段の処理をさせない。ステップ３２からステップ３６までの各処理は、それぞれ図６におけるステップＳ１０からステップＳ３６までの各処理と同様である。

以上の構成による動作は以下のとおりである。ユーザが実施の形態２に係る画像補正装置１０１を用いて画像を撮像すると、歪み補正値取得部５は撮像時のズーム値と、歪み補正値記憶部３から取得したズーム値のサンプル値、及び、このサンプル値に対応する歪み補正値とに基づいて、撮像時のズーム値に対応する歪み補正値を補間計算によって取得する。画像データ圧縮部９は、画像データ制御部８を介して光学制御部２から取得したズーム値に基づいて選択された圧縮アルゴリズムを使用して画像データを圧縮する。画像データ制御部８は、歪み補正値をもとに光学歪みを補正するために必要な補正用画像データ位置を決定する。画像データ伸張部１３は、画像データ圧縮部９が実行した圧縮アルゴリズムに対応する伸張アルゴリズムを使用して補正用画像データを伸張する。

これにより、撮像時における光学レンズのズーム値に基づいて、画像データの圧縮伸張アルゴリズムを圧縮率の異なる複数の圧縮伸張アルゴリズムから適切なアルゴリズムを選択して圧縮伸張処理をすることが可能となる。メインメモリ１０の容量に上限があり、メインメモリ１０容量の不足により高い補正率の光学歪み補正処理が実行できない場合には、圧縮伸張処理をすることで光学歪み補正が可能となる。圧縮伸張処理による画質劣化を伴う場合があるものの、複数の圧縮伸張アルゴリズムを適宜使い分けることにより、画質劣化を歪曲率に応じて段階的に制御できる。

以上説明したように、実施の形態２に係る画像補正装置１０１によれば、特定のズーム値区間において歪曲率が高く、一定量のメモリでは補正できない画像データの入力に対して、画質劣化を段階的に調整しながら光学歪み補正を実現できる。

特に、特定のズーム値区間において歪曲率が高く、一定量のメモリでは補正できない画像データの入力に対しては、画像データの圧縮処理・伸張処理を行うことで、光学歪みの補正を実現することができる。また、画像データの圧縮アルゴリズムにおいて、圧縮率・伸張率を不可逆の領域に高めることで、画質劣化を伴う場合があるものの、光学歪み補正することが可能な歪曲率の範囲を広げることが可能となる。圧縮処理や伸張処理をしなくてもメモリ量が十分である場合には、不可逆の圧縮処理・伸張処理を用いず、画質劣化のない光学歪み補正を実現することも可能となる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

（変形例１）
上述した実施の形態２においては、光学レンズにおけるズーム値の取り得る範囲を複数の領域に分割し、分割したそれぞれの領域に対して個別の圧縮伸張アルゴリズムを用意する場合、すなわち、圧縮率を離散的に用意する場合について説明した。画像データ圧縮部９は、圧縮率を連続的に変更可能なアルゴリズムを用いてもよい。これにより、メインメモリ１０に画像データを格納する際に圧縮処理が必要な場合に、圧縮後の画像データがメインメモリ１０にちょうど収まるように圧縮率を設定することができる。一般に、圧縮率の高い圧縮が施された画像データは、圧縮率が低い圧縮が施された画像データよりも、画像の劣化が抑制できる。メインメモリ１０の利用限度まで圧縮率を高めることにより、画像劣化を抑えつつ、画像補正を実行できるようになる点で有利である。

１光学系、２光学制御部、３補正値記憶部、４撮像素子、５補正値取得部、６画像前処理部、７画像補正部、８画像データ制御部、９画像データ圧縮部、１０メインメモリ、１１歪曲補正部、１２キャッシュメモリ、１３画像データ伸張部、１４画像後処理部、１５記録部、１６記録媒体、１７出力部、１００、１０１画像補正装置。

Claims

ズーム機能を有する光学レンズを介して撮像された画像データを圧縮し、圧縮画像データとしてメモリに格納する画像データ圧縮部と、
画像データに生じている光学歪みを補正する歪曲補正部と、
前記メモリに格納された圧縮画像データを伸張し、前記歪曲補正部に補正させる画像データ伸張部とを含み、
前記画像データ圧縮部は、撮像時の前記光学レンズのズーム値をもとに、前記メモリの容量におさまるように前記撮像された画像データを圧縮することを特徴とする画像補正装置。
撮像時のズーム値と所定の閾値との大小関係から、前記画像データ圧縮部に画像データを圧縮させるか否かを決定する画像データ制御部をさらに含むことを特徴とする請求項１に記載の画像補正装置。
前記画像データ圧縮部は、圧縮率の異なる複数の圧縮アルゴリズムを有し、
前記画像データ制御部は、撮像時のズーム値をもとに前記複数の圧縮アルゴリズムの中からひとつのアルゴリズムを選択し、選択したアルゴリズムを用いて前記画像データ圧縮部に画像データを圧縮させることを特徴とする請求項２に記載の画像補正装置。
前記画像データ制御部は、前記画像データ圧縮部に画像データを圧縮させて前記メモリに格納させた場合、前記メモリに格納された圧縮画像データを前記画像データ伸張部に伸張させることを特徴とする請求項２または３に記載の画像補正装置。
予め決定される値であり、前記光学レンズが有する歪曲収差によって前記画像データに生ずる光学歪みの補正に用いる値である歪み補正値を記憶する歪み補正値記憶部とをさらに含み、
前記歪曲補正部は、前記画像データ伸張部が伸張した画像データの各画素を、それぞれ補正対象画素とするとともに、当該補正対象画素の位置と、前記歪み補正記憶部から取得した歪み補正値とをもとに、前記補正対象画素を補正するための補正用画素位置を算出し、この補正用画素位置に基づいて前記補正対象画素を補正することを特徴とする請求項２から４のいずれかに記載の画像補正装置。
ズーム機能を有する光学レンズを介して撮像された画像データを取得するステップと、
前記画像データの撮像時の前記光学レンズのズーム値をもとに、メモリの容量におさまるように圧縮し、圧縮画像データとして前記メモリに格納するステップと、
前記メモリに格納された圧縮画像データを伸張してキャッシュメモリに格納するステップと、
前記キャッシュメモリに格納された画像データの光学歪みを補正するステップとを含むことを特徴とする画像補正方法。