JP2010213175A - 画像処理装置及び撮像装置 - Google Patents

Abstract

【課題】歪み補正画像に対して高周波数成分を十分に与え、周辺部においても良好な解像感を得ることができるようにする。
【解決手段】 入力画像（Ｄｉｎ）を歪み補正した第１の歪み補正画像を出力する第１の歪み補正手段（２Ａ）と、入力画像（Ｄｉｎ）の高周波数成分を取り出した高周波数成分画像（Ｄ１）を生成する高周波数成分画像生成手段（１）と、高周波数成分画像（Ｄ１）を歪み補正した第２の歪み補正画像（Ｄ２Ｂ）を出力する第２の歪み補正手段（２Ｂ）と、第２の歪み補正画像（Ｄ２Ｂ）を処理した高周波数成分画像（Ｄ３）を生成する高周波成分画像処理手段（３）と、高周波数成分画像（Ｄ３）にゲインを乗算して高周波数成分画像（Ｄ７）を出力する調整手段７を有し、第１の歪み補正画像（Ｄ２Ａ）と高周波数成分画像（Ｄ７）を加算した結果を、入力画像（Ｄｉｎ）を歪み補正した結果（Ｄｏｕｔ）として出力する。
【選択図】図２

Description

本発明は、広角レンズを用いて撮像された画像の歪みを補正する画像処理装置、及びこれを用いた撮像装置に関するものである。

従来から監視カメラや車載カメラ用途として、広角レンズを用いて広範囲の画像を撮像し、画像信号処理によってレンズの特性による画像歪みを補正して出力する画像処理装置が用いられている。

このような画像処理装置では、補正後の画像における画素の位置に対応する補正前の画像の画素の位置を演算または歪み補正テーブルを用いた座標変換により求め、変換後の画素値を近傍の画素値で補間することによって画像歪みを補正する。

ここで、上述のような座標変換によって画像歪みを補正した場合に、画像の中心に対して周辺での補正量が大きくなるため、補正後の画像においては中心から周辺に向かうに従って解像性能が低下してしまう問題があった。

そこで、従来例では、輪郭強調処理を利用して、画像歪みの補正量が大きくなるほど輪郭強調レベルが大きくなるように強調係数を設定することにより、画像歪みの補正に起因する解像感の低下を補うようにしたものがある（特許文献１参照）。

特開２００４−２４２１２５号公報（段落番号００５３〜００６５、図４〜６）

しかしながら、画像歪みの補正量に応じて輪郭強調処理の強調係数を設定する画像処理装置では、歪み補正量によっては強調処理が不十分となり、適正な画質の出力画像を得ることができないことがあった。

例えば、歪み補正量が大きい周辺部での歪み補正処理は、局所的には拡大処理と等価となるため、歪み補正後の画像においては入力画像に含まれる周波数よりも高い周波数成分を表現しうる。しかしながら、歪み補正時の補間処理は、入力画像の低周波数成分のみを通過させるローパスフィルタ処理であるため、入力画像に含まれる周波数よりも高い周波数帯域の周波数スペクトルは、補間処理によって失われる。したがって、上記の従来の技術では、輪郭強調処理によって高周波数成分を取り出そうとしても取り出すことができず、補正後の画像に対して、高周波数成分を十分に与えることができない。そのため、画像の周辺部においては十分な解像感が得られないという問題があった。

本発明は、上述のような課題を解決するためになされたもので、歪み補正画像に対して高周波数成分を十分に与え、周辺部においても良好な解像感を得ることができる画像処理装置、及びこれを用いた撮像装置を提供することを目的とする。

本発明の画像処理装置は、
入力画像（Ｄｉｎ）の歪み特性から決定される補間位置パラメータ（Ｄ６Ａ）を出力する歪み補正パラメータ出力手段（６）と、
前記補間位置パラメータ（Ｄ６Ａ）を用いて前記入力画像を歪み補正した第１の歪み補正画像（Ｄ２Ａ）を出力する第１の歪み補正手段（２Ａ）と、
前記入力画像（Ｄｉｎ）の高周波数成分を取り出した第１の高周波数成分画像（Ｄ１）を生成する高周波数成分画像生成手段（１）と、
前記補間位置パラメータ（Ｄ６Ａ）を用いて前記第１の高周波数成分画像（Ｄ１）を歪み補正した第２の歪み補正画像（Ｄ２Ｂ）を出力する第２の歪み補正手段（２Ｂ）と、
前記第２の歪み補正画像（Ｄ２Ｂ）を処理した第２の高周波数成分画像（Ｄ３）を生成する高周波数成分画像処理手段（３）と、
前記第２の高周波数成分画像（Ｄ３）にゲインを乗算して第３の高周波数成分画像（Ｄ７）を出力する調整手段（７）と、
前記第１の歪み補正画像（Ｄ２Ａ）と前記第３の高周波数成分画像（Ｄ７）を加算した結果を、前記入力画像を歪み補正した結果（Ｄout）として出力する加算手段（４）と
を有することを特徴とする。

本発明によれば、
歪み補正画像に対して高周波数成分を十分に与えることができ、解像感のある歪み補正画像を得ることができる。

本発明に係る撮像装置を示すブロック図である。 図１の撮像装置の歪み補正処理部４００の一例を示すブロック図である。 （Ａ）〜（Ｃ）は、画像の中心部における歪み、及び歪み補正処理を示す図である。 （Ａ）〜（Ｃ）は、画像の周辺部における歪み、及び歪み補正処理を示す図である。 （Ａ）及び（Ｂ）は、歪み補正処理における、画像の拡大率の分布を示す図である。 図２の非線形処理手段３１の一例を示すブロック図である。 （Ａ）〜（Ｃ）は、画像の中心部と周辺部に対する第１の歪み補正手段２Ａの動作を説明するための画像の周波数スペクトルを示す図である。 （Ａ）〜（Ｅ）は、画像の周辺部に対する、高周波数成分画像生成手段１、第２の歪み補正手段２Ｂ、及び高周波数成分画像通過手段３２Ａの動作を説明するための、画像の周波数スペクトル、及び周波数応答を示す図である。 （Ａ）〜（Ｃ）は、画像の周辺部に対する非線形処理手段３１及び高周波数成分通過手段３２Ｂの動作を説明するための周波数スペクトル及び周波数応答を示す図である。 （Ａ）〜（Ｃ）は、ステップエッジとステップエッジをサンプリング間隔Ｓ１でサンプリングしたときに得られる、相連続する画素の信号の値を示す図である。 （Ａ）〜（Ｃ）は、ステップエッジとステップエッジをサンプリング間隔Ｓ２でサンプリングしたときに得られる、相連続する画素の信号の値を示す図である。 （Ａ）〜（Ｆ）は、第２の歪み補正手段２Ｂ、非線形処理手段３１及び高周波数成分画像通過手段３２Ｂの動作を説明するための、相連続する画素の信号の値を示す図である。

実施の形態１．
図１は本発明の実施の形態１の撮像装置の構成を表す図である。
図示の撮像装置は、レンズ１００、撮像素子２００、前処理部３００、歪み補正処理部４００、後処理部５００、及び映像信号出力端子６００を備える。

撮像素子２００は、ＣＣＤあるいはＣＭＯＳイメージセンサからなり、レンズ１００により集光された光信号を電気信号に変換し、アナログ画像信号を出力する。

前処理部３００は、撮像素子２００からのアナログ画像信号に対して、ＣＤＳ（相関二重サンプリング）処理、ゲイン処理、Ａ／Ｄ変換処理等を行い、デジタル画像信号を出力する。
撮像素子２００と前処理部３００とで、被写体からの光を受けることで、被写体を撮像しデジタル信号を出力する撮像部が構成されている。

歪み補正処理部４００は、前処理部３００からのデジタル画像信号に対して、後述するように高周波成分を与えながら歪み補正処理を行う。歪み処理部４００が、本発明に係る画像処理装置を構成する。

後処理部５００は、歪み補正処理部４００で歪み補正された画像に対して、出力装置（表示装置など）に応じたＹＣｂＣｒ変換、カラーマトリクス変換、階調変換等の処理を行い、最終的な映像信号を映像信号出力端子６００から出力する。

次に、歪み補正処理部４００の一例について図２のブロック図を用いて説明する。
図２に示される歪み補正処理部４００は、歪み補正パラメータ出力手段６と、第１の歪み補正手段２Ａと、高周波数成分画像生成手段１と、第２の歪み補正手段２Ｂと、高周波成分画像処理手段３と、調整手段７と、加算手段４とを備える。

歪み補正パラメータ出力手段６は、第１及び第２の歪み補正手段２Ａ、２Ｂに対して歪みを補正するための補間位置情報Ｄ６Ａを供給し、高周波数成分画像生成手段１、高周波成分画像処理手段３、調整手段７に対して歪み補正に伴う拡大率情報Ｄ６Ｂを供給する。補間位置情報Ｄ６Ａ及び拡大率情報Ｄ６Ｂはいずれも、歪み補正パラメータの一部を構成するものであり、それぞれ「補間位置パラメータ」、「拡大率パラメータ」と呼ばれることもある。

第１の歪み補正手段２Ａは、入力画像Ｄｉｎを歪み補正した歪み補正画像Ｄ２Ａを生成する。
高周波数成分画像生成手段１は、入力画像Ｄｉｎがもつ高周波数成分を取り出した高周波数成分画像Ｄ１を生成する。
第２の歪み補正手段２Ｂは、高周波数成分画像Ｄ１を歪み補正した歪み補正画像Ｄ２Ｂを生成する。
高周波数成分画像処理手段３は、歪み補正画像Ｄ２Ｂをもとに歪み補正後の画像に高周波数成分を与えるための高周波数成分画像Ｄ３を生成する。

調整手段７は、高周波数成分画像Ｄ３の各画素に対して歪み補正パラメータに応じた調整係数を乗算して高周波数成分画像Ｄ７を生成する。
加算手段４は、歪み補正画像Ｄ２Ａに高周波数成分画像Ｄ７を加算した結果を最終的な歪み補正画像Ｄｏｕｔとして出力する。

第１の歪み補正手段２Ａ、高周波数成分画像生成手段１、第２の歪み補正手段２Ｂ、高周波成分画像処理手段３、歪み補正パラメータ出力手段６、及び調整手段７の詳細な動作については後に詳しく説明するが、高周波数成分画像Ｄ７のもつ周波数成分は歪み補正画像Ｄ２Ａがもつ周波数成分より高い周波数帯域のものを含んでいる。したがって加算手段４において歪み補正画像Ｄ２Ａに高周波数成分画像Ｄ３を加算することで、高周波数成分を多く含んだ歪み補正画像Ｄｏｕｔを得ることができる。

以下に第１の歪み補正手段２Ａ、高周波数成分画像生成手段１、第２の歪み補正手段２Ｂ、高周波成分画像処理手段３、歪み補正パラメータ出力手段６、及び調整手段７の動作をより詳細に説明する。この説明を通じて本発明の作用、効果もより明らかなものとなるであろう。

まず、第１の歪み補正手段２Ａの動作について説明する。
第１の歪み補正手段２Ａは入力画像Ｄｉｎを歪み補正した歪み補正画像Ｄ２Ａを生成する。第１の歪み補正手段２Ａは画像メモリ２１Ａおよび補間手段２２Ａを備える。

図３（Ａ）〜（Ｃ）及び図４（Ａ）〜（Ｃ）は第１の歪み補正手段２Ａにおける歪み補正画像Ｄ２Ａの生成方法の一例を模式的に示した図である。以下、図３（Ａ）〜（Ｃ）及び図４（Ａ）〜（Ｃ）を用いて画像メモリ２１Ａおよび補間手段２２Ａの動作を説明する。

図３（Ａ）〜（Ｃ）及び図４（Ａ）〜（Ｃ）は樽型の歪み特性を持つレンズで撮影された画像を例として、歪みを補正する場合の座標変換の概略を示す。このうち、図３（Ａ）〜（Ｃ）は、画像中央部付近（図３（Ａ））の歪み補正を示し、図４（Ａ）〜（Ｃ）は、画像の周辺部付近の歪み補正を示す。

図３（Ｃ）及び図４（Ｃ）は、歪み補正画像Ｄ２Ａにおける各画素の位置を「●」で示す。図３（Ｂ）及び図４（Ｂ）は、歪み補正画像Ｄ２Ａの各画素の位置（図３（Ｃ）及び図４（Ｃ）の「●」印）に対応する、入力画像Ｄｉｎ内の位置（補間位置）を「●」印で示すとともに、入力画像Ｄｉｎの各画素の位置を「□」印で示す。

まず、第１の歪み補正手段２Ａは、前処理部３００でデジタル化された入力画像Ｄｉｎの１フレーム分（または所定のライン数分）を画像メモリ２１Ａに保持する。画像メモリ２１Ａに書き込まれた画像は、レンズ１００による歪みを含んだ画像である。
補間手段２２Ａは、画像メモリ２１Ａから、入力画像Ｄｉｎの画素のうち、歪み補正画像Ｄ２Ａの各画素の位置（図３（Ｃ）及び図４（Ｃ）の「●」印）に対応する位置（図３（Ｂ）及び図４（Ｂ）の「●」印）の近傍に位置する画素（□）の値を読み出し、読み出した画素の値を用いた補間処理によって歪み補正画像Ｄ２Ａの画素（●）の値を求める。

歪み補正画像Ｄ２Ａの各画素の位置に対応する入力画像Ｄｉｎ内の位置を求める処理は、座標変換により行なわれる。歪み補正画像Ｄ２Ａの各位置の座標（ｘ，ｙ）、例えば図３（Ｃ）の画素Ｑ１１の座標（ｘ，ｙ）に対応する入力画像Ｄｉｎの位置（補間位置）の座標（Ｘ，Ｙ）、例えば、図３（Ｂ）の補間位置Ｑ１１’の座標（Ｘ，Ｙ）は、画像の歪み特性から算出されるもので、補間位置の近傍の画素の位置、及び該補間位置の、その近傍の画素、例えば画素Ｐ１１、Ｐ１２、Ｐ２１、Ｐ２２に対する相対位置を示す情報が、歪み補正パラメータ出力手段６から補間位置情報として供給される。補間位置の算出については後述する。

補間処理の方法としては、最近傍補間法（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、線形補間法（ｂｉ−ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、バイキュービック法（ｂｉ−ｃｕｂｉｃ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を用いることができる。

ここでは、線形補間法を用いる場合について説明する。線形補間法は、特許文献１にも開示されているように周知であり、図３（Ｂ）及び図４（Ｂ）の「●」で示された補間位置に対して、近傍の４つの画素の値から補間後の画素値を線形近似により求める。図３（Ｂ）及び図４（Ｂ）に示したように、歪み補正画像の画素Ｑ１１（その座標が（ｘ，ｙ）で示される）に対応する補間位置Ｑ１１’（その座標が（Ｘ，Ｙ）で示される）のすぐ左上の画素（Ｑ１１’よりも左でかつ上に位置し、最も近い画素）の値をＰ１１、すぐ右上の画素（Ｑ１１’よりも右でかつ上に位置し、最も近い画素）の値をＰ２１、すぐ左下の画素（Ｑ１１’よりも左でかつ下に位置し、最も近い画素）の値をＰ１２、すぐ右下の画素（Ｑ１１’よりも右でかつ下に位置し、最も近い画素）の値をＰ２２とすると、補間後の画素Ｑ１１の値は、次式（１）により求められる。

ただし、入力画素Ｄｉｎにおいて、隣接する画素間の距離が水平方向、垂直方向ともに、「１」で表されており、（ｍ，ｎ）は補間位置のすぐ左上の画素（Ｑ１１’の場合はＰ１１）から補間位置までの水平方向、垂直方向の距離を表しており、従って、上記補間位置（Ｘ，Ｙ）の、その近傍の画素に対する相対位置を表す。Ｘ，Ｙがともに実数であるとし、入力画像Ｄｉｎの画素（□）については、Ｘ，Ｙがともに整数であるとすると、ｍはＸの小数部分を、ｎはＹの小数部分を表している。

図３（Ｃ）及び図４（Ｃ）に示すように、上記の補間処理を行った結果を、歪み補正画像の対応する画素の値とすることで、歪み補正画像Ｄ２Ａが生成される。

なお、上記の補間処理はローパスフィルタ処理と等価であり、入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎ以下の低周波数成分を取り出すことに対応する。
以上が第１の歪み補正手段２Ａの動作である。

続いて、歪み補正パラメータ出力手段６の動作について説明する。
歪み補正パラメータ出力手段６は、補間位置出力手段６Ａと拡大率出力手段６Ｂとを備え、入力画像の歪み特性から決定される歪み補正パラメータを出力する。ここで、歪み補正パラメータは、補間位置出力手段６Ａから出力される補間位置情報（補間位置パラメータ）と、拡大率出力手段６Ｂから出力される拡大率情報（拡大率パラメータ）を含む。

補間位置出力手段６Ａは、歪み補正画像の座標（ｘ，ｙ）に対応する入力画像の座標（Ｘ，Ｙ）を出力する。この対応関係は、画像の歪み特性から算出されるものであり、図３（Ａ）及び図４（Ａ）に示したような樽型の歪み特性を持つレンズで撮影された画像の歪みを補正する場合には、例えば次式（２）が用いられる。

ここで、ｋ１、ｋ２は半径方向の歪みを表す係数、ｐ１、ｐ２は円周方向の歪みを表す係数である。これらの係数はレンズの特性に依存するものであり、種々のカメラキャリブレーション手法により求めることができる。また、式（２）による座標変換式は一例であってこれに限定されるものではない。

式（２）の演算により求めたＸ，Ｙは、その整数部により、補間位置（Ｘ，Ｙ）の近傍にある入力画像の画素（図３（Ｂ）の□印）を特定し、その小数部（ｍ，ｎ）により、上記補間位置（Ｘ，Ｙ）の、上記近傍にある入力画像の画素に対する相対位置を表す。従って、Ｘ，Ｙを、上記近傍の画素を特定するするとともに、上記近傍の画素に対する相対位置を表す補間位置情報として、出力する。

なお、補間位置出力手段６Ａとして、式（２）による演算を実行して補間位置（Ｘ，Ｙ）を得てもよいが、予め歪み補正画像の座標（ｘ，ｙ）に対応する補間位置（Ｘ，Ｙ）をルックアップテーブル（ＬＵＴ）の形で保持しておくこともできる。このようなＬＵＴを用いた場合には、式（２）の演算を行う必要がなくなるので、補間位置出力手段６Ａにおける処理の簡素化を図ることができる。

補間位置出力手段６Ａにより出力された補間位置（Ｘ，Ｙ）は、第１の歪み補正手段２Ａおよび第２の歪み補正手段２Ｂに供給され、入力画像Ｄｉｎおよび後述する高周波数成分画像Ｄ１を歪み補正する際に使用される。

次に、拡大率出力手段６Ｂは、歪み補正画像の各位置における画像の局所的な拡大率を算出する。

図３（Ａ）〜（Ｃ）に示したように、画像の中心付近においては、隣接する補間位置の間隔が入力画像Ｄｉｎの画素の間隔とほぼ等しくなっており、歪み補正に伴う画像の局所的な拡大率はほぼ１倍となる。

一方、画像の周辺部付近では、図４（Ａ）〜（Ｃ）に示したように、歪み補正に伴う画像の拡大率が大きくなり、歪み補正処理は局所的には拡大処理と等価になる。画像周辺部付近では、画面の中心部付近に比べ歪みの量が大きくなるため、隣接する補間位置（図４（Ｂ）の「●」印）の間隔が入力画像Ｄｉｎの画素（図４（Ｂ）の「□」印）の間隔よりも狭くなり（図４（Ｂ））、歪み補正画像では、補間位置（●）の間隔を広げるように補正が行われる（図４（Ｃ））。図４（Ａ）〜（Ｃ）に示した例では、局所的な拡大率は約２倍となる。

このような歪み補正に伴う画像の局所的な拡大率を算出するため、本実施の形態では、隣接する補間位置の間隔の逆数を用いる。すなわち、補間位置出力手段６Ａが出力する歪み補正画像の座標（ｘ，ｙ）に対応する補間位置
（Ｘ，Ｙ）＝（ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）） …（３）
を用いて、歪み補正画像の座標（ｘ，ｙ）における水平方向、垂直方向の拡大率Ｍｘ（ｘ，ｙ）、Ｍｙ（ｘ，ｙ）を、次式（３）により算出する。

なお、補間位置の算出に式（２）を用いる場合には、

である。

図５は、図３（Ａ）、図４（Ａ）に示した樽型の歪み特性を持つレンズで撮影された画像を歪み補正する座標変換において、式（４）により算出される拡大率Ｍｘ、Ｍｙの分布を表したものである。画像の中心部に比べ、画像の周辺部において拡大率が大きくなっている。

なお、拡大率出力手段６Ｂとして、式（４）による演算を実行して拡大率Ｍｘ、Ｍｙを得てもよいが、予め歪み補正画像の座標（ｘ，ｙ）に対応するＭｘ、Ｍｙをルックアップテーブル（ＬＵＴ）の形で保持しておくこともできる。このようなＬＵＴを用いた場合には、式（４）の演算を行う必要がなくなるので、拡大率出力手段６Ｂにおける処理の簡素化を図ることができる。

拡大率出力手段６Ｂにより出力された拡大率Ｍｘ、Ｍｙは、高周波数成分画像生成手段１、非線形処理手段３１、高周波数成分通過手段３２Ａ、高周波数成分通過手段３２Ｂ、及び調整手段７に供給され、後述するフィルタ処理のカットオフ周波数や増幅率の調整に使用される。

次に、高周波数成分画像生成手段１について説明する。
まず、高周波数成分画像生成手段１は、入力画像Ｄｉｎの高周波数成分を取り出した高周波数成分画像を生成するものであり、入力画像Ｄｉｎの第１の周波数Ｆ１以上の高周波数成分のみを取り出した画像（高周波数成分画像）Ｄ１を生成する。高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。なお、高周波数成分の取り出しは画像の水平方向、垂直方向それぞれについて行ってもよい。

次に第２の歪み補正手段２Ｂの動作について説明する。
第２の歪み補正手段２Ｂは高周波数成分画像Ｄ１を歪み補正した歪み補正画像Ｄ２Ｂを生成する。第２の歪み補正手段２Ｂは画像メモリ２１Ｂおよび補間手段２２Ｂを備える。画像メモリ２１Ｂおよび補間手段２２Ｂは、第１の歪み補正手段２Ａの画像メモリ２１Ａおよび補間手段２２Ａと同様の機能を有する。第２の歪み補正手段２Ｂが歪み補正画像Ｄ２Ｂを生成する処理は第１の歪み補正手段２Ａと同じ処理を用いることができるのでその説明は省略する。高周波数成分画像生成手段１において水平方向、垂直方向それぞれについてフィルタ処理を行った場合には、これら２種類の画像について第２の歪み補正手段２Ｂで歪み補正を行う。

次に、高周波数成分画像処理手段３の詳細な動作について説明する。
高周波数成分画像処理手段３は、高周波数成分通過手段３２Ａと、非線形処理手段３１と、高周波数成分通過手段３２Ｂと、加算手段３３とを有する。

高周波数成分通過手段３２Ａは、画像Ｄ２Ｂの第２の周波数Ｆ２以上の高周波数成分のみを取り出した画像Ｄ３２Ａを生成する。高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。なお、高周波数成分の取り出しは画像の水平方向、垂直方向それぞれについて行ってもよい。

非線形処理手段３１は、画像２Ｂの画素値を画素に応じて、例えば画像中のエッジの中心からの距離に応じて、変化させた増幅率によって増幅させる非線形処理によって処理する。
図６は非線形処理手段３１の一例を示す。図示の非線形処理手段３１は、ゼロクロス判定手段３１１と、信号増幅手段３１２とを備える。
図６において、入力画像Ｄｉｎ３１１は非線形処理手段３１に入力される画像を表す。非線形処理手段３１において入力Ｄｉｎ３１１は歪み補正画像Ｄ２Ｂである。

ゼロクロス判定手段３１１は入力画像Ｄｉｎ３１１における画素値の変化を確認し、画素値が正の値から負の値へ、あるいは負の値から正の値へ変化する箇所をゼロクロス点として捉え、信号Ｄ３１１によってゼロクロス点の前後にある画素（前後において隣接する画素）の位置を信号増幅手段３１２に伝達する。ここで「前後」とは信号が供給される順序における前後であり、水平方向に左から右に画素の信号が供給されるときは「左右」を意味し、垂直方向に上から下に画素の信号が供給されるときは「上下」を意味する。

信号増幅手段３１２は信号Ｄ３１１をもとにゼロクロス点の前後にある画素（前後において隣接する画素）を特定し、ゼロクロス点前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１２を生成する。即ち、ゼロクロス点前後にある画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率は１とする。

ここで、ゼロクロス点前後にある画素の画素値に対する増幅率は一定値としてもよいし、拡大率出力手段６Ｂから供給される拡大率パラメータに応じて変更してもよい。拡大率パラメータに応じて変更する場合は、拡大率が大きくなるほど増幅率が大きくなるような特性をもつものとする。すなわち、図３に示したような拡大率が１倍に近い画像領域では増幅率を小さくし、図４に示したような拡大率が２倍に近い画像領域では増幅率を大きくする。

なお、非線形処理画像Ｄ３１２が非線形処理画像Ｄ３１に対応する。また、上記のように水平方向、垂直方向それぞれについて処理を行う場合には、非線形処理画像Ｄ３１は水平方向、垂直方向それぞれについて生成される。

高周波数成分通過手段３２Ｂは、非線形処理画像Ｄ３１の第３の周波数Ｆ３以上の高周波数成分のみを取り出した画像Ｄ３２Ｂを生成する。第３の周波数Ｆ３は、入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎに略一致する。高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。なお、水平方向、垂直方向それぞれについて非線形処理画像Ｄ３１を生成する場合には、高周波数成分の取り出しは画像の水平方向、垂直方向それぞれについて行ってもよい。

加算手段３３は、画像Ｄ３２Ａと画像Ｄ３２Ｂを加算した結果を高周波数成分画像Ｄ３として出力する。
以上が、高周波成分画像処理手段３の動作である。

調整手段７は、高周波数成分画像Ｄ３に対してゲインを乗算して高周波数成分画像Ｄ７を生成する。ここで、高周波数成分画像Ｄ３に対して乗算するゲインは、拡大率出力手段６Ｂから供給される拡大率パラメータに応じて決定され、拡大率が大きくなるほどゲインが大きくなるような特性をもつものとする。すなわち、図３に示したような拡大率が１倍に近い画像領域ではゲインが小さくなるようにし、図４に示したような拡大率が２倍に近い画像領域ではゲインが大きくなるようにしてある。

加算手段４は、歪み補正画像Ｄ２Ａと高周波数成分画像Ｄ７を加算する。そして加算手段４において歪み補正画像Ｄ２Ａと高周波数成分画像Ｄ７を加算した結果得られた画像が、最終的な歪み補正画像Ｄｏｕｔとして歪み補正処理部４００から出力される。

以下、本発明における画像処理装置（歪み補正処理部４００）の作用、効果について説明する。
図５に示したように、現在広く用いられている樽型の歪み特性を持った広角レンズにより撮影された画像の歪みを補正する場合、画像の中心部から周辺部にいくにつれて拡大率が大きくなる。ここでは、歪み補正処理において、画像の中心部では等倍、画像の周辺部では２倍に拡大が行われるものとして本発明における画像処理装置の作用、効果を説明する。

本発明における画像処理装置では、歪み補正画像Ｄ２Ａと高周波数成分画像Ｄ７を加算して最終的な歪み補正画像Ｄｏｕｔを生成する。出力画像Ｄｏｕｔのナイキスト周波数をＦｎ−ｏｕｔとすると、歪み補正画像Ｄ２Ａの中心部（拡大率＝１）ではＦｎ−ｏｕｔに至る全ての周波数成分が含まれているが、歪み補正画像Ｄ２Ａの周辺部（拡大率＝２）では入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎ（＝Ｆｎ−ｏｕｔ／２）以上の周波数成分は含まれない。そこで、主に周辺部で入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎ（＝Ｆｎ−ｏｕｔ／２）以上の周波数に相当する周波数成分を含むようにした高周波数成分画像Ｄ７を加算することで、最終的な歪み補正画像Ｄｏｕｔでは、画像の周辺部においても出力画像のナイキスト周波数Ｆｎ−ｏｕｔに至る全ての周波数領域にわたって周波数成分を持つことになる。

まず、歪み補正画像Ｄ２Ａの中心部（拡大率＝１）では出力画像のナイキスト周波数Ｆｎ−ｏｕｔに至る全ての周波数成分が含まれていること、および、歪み補正画像Ｄ２Ａの周辺部（拡大率＝２）では入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎ（＝Ｆｎ−ｏｕｔ／２）以上の周波数成分は含まれないことについて説明する。

図７は入力画像Ｄｉｎから歪み補正画像Ｄ２Ａを生成する際の作用を模式的に表した図であり、図７（Ａ）は入力画像Ｄｉｎの周波数スペクトルを、図７（Ｂ）は歪み補正画像Ｄ２Ａの中心部（拡大率＝１）の周波数スペクトルを、図７（Ｃ）は歪み補正画像Ｄ２Ａの周辺部（拡大率＝２）の周波数スペクトルを表している。

入力画像Ｄｉｎの周波数スペクトルについて説明する。入力画像Ｄｉｎからは通常、自然画などが入力されるが、これらの画像のスペクトル強度は周波数空間の原点周辺に集中している。従って入力画像Ｄｉｎの周波数スペクトルは図７（Ａ）のように表すことが出来る。ここで図７（Ａ）の縦軸はスペクトル強度を、横軸は空間周波数を、Ｆｎ−ｉｎは入力画像Ｄｉｎのナイキスト周波数を表している。

なお、通常入力画像Ｄｉｎは２次元の画像のため、その周波数スペクトルも２次元の周波数空間で表されるが、その形状は図７（Ａ）に示した周波数スペクトルが原点を中心に等方的に広がったものとなる。従って周波数スペクトルについて説明するためには１次元分の形状を示せば十分であり、今後、特に断らない限り、周波数空間の形状は１次元分のみ示して説明を行う。

次に歪み補正画像Ｄ２Ａの中心部（拡大率＝１）の周波数スペクトル（図７（Ｂ））について説明する。画像中心部では、入力画像Ｄｉｎに対して、1画素につき1画素分のサンプリングを行うことで歪み補正画像Ｄ２Ａが生成される。言い換えると、歪み補正画像Ｄ２Ａが表現しうる周波数は入力画像Ｄｉｎの周波数と同じである。すなわち、入力画像Ｄｉｎのナイキスト周波数をＦｎ−ｉｎ、歪み補正画像Ｄ２Ａのナイキスト周波数をＦｎ−ｏｕｔとすると、Ｆｎ−ｏｕｔ＝Ｆｎ−ｉｎの関係が成り立つ。したがって、歪み補正画像Ｄ２Ａの中心部の周波数スペクトルはＦｎ−ｉｎ＝Ｆｎ−ｏｕｔまでの周波数において入力画像Ｄｉｎの周波数スペクトルと同じ形の周波数スペクトルを持ったものとなる。

次に歪み補正画像Ｄ２Ａの周辺部（拡大率＝２）の周波数スペクトル（図７（Ｃ））について説明する。画像周辺部では、入力画像Ｄｉｎに対して、1画素につき２画素分のサンプリングを行うことで歪み補正画像Ｄ２Ａが生成される。言い換えると、歪み補正画像Ｄ２Ａが表現しうる周波数は入力画像Ｄｉｎの周波数の２倍となる。すなわち、入力画像Ｄｉｎのナイキスト周波数をＦｎ−ｉｎ、歪み補正画像Ｄ２Ａのナイキスト周波数をＦｎ−ｏｕｔとすると、Ｆｎ−ｏｕｔ＝２＊Ｆｎ−ｉｎの関係が成り立つ。したがって、歪み補正画像Ｄ２Ａの周辺部の周波数スペクトルは、Ｆｎ−ｉｎ＝Ｆｎ−ｏｕｔ／２までの周波数において入力画像Ｄｉｎの周波数スペクトルと同じ形の周波数スペクトルを持ち、さらに補間処理によりＦｎ−ｉｎ＝Ｆｎ−ｏｕｔ／２以上の高周波数側の領域Ｒ２ＡＨが取り除かれたものとなる。

以上で説明したように、歪み補正画像Ｄ２Ａの中心部（拡大率＝１）ではナイキスト周波数Ｆｎ−ｏｕｔに至る全ての周波数成分が含まれているが、歪み補正画像Ｄ２Ａの周辺部（拡大率＝２）では入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎ（＝Ｆｎ−ｏｕｔ／２）以上の周波数成分は含まれない。

次に、高周波数成分画像Ｄ３が主に入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎ以上の周波数に相当する周波数成分を持つことについて説明する。高周波数成分画像Ｄ３は画像Ｄ３２Ａと画像Ｄ３２Ｂを加算して得られるが、画像Ｄ３２Ａは特に入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎに近い周波数に相当する周波数成分を持ち、画像Ｄ３２Ｂは特に入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎより高い周波数に相当する周波数成分を持ち、高周波数成分画像Ｄ３では画像Ｄ３２Ａ、Ｄ３２Ｂがもつ周波数成分が加算されるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎ以上の周波数成分を持つことになる。以下、画像周辺部（拡大率＝２）の場合について、入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎ（＝Ｆｎ−ｏｕｔ／２）以上の周波数成分を生成する作用について説明する。

まず、画像Ｄ３２Ａの周波数スペクトルについて説明する。
図８（Ａ）〜（Ｅ）は画像Ｄ３２Ａを生成する際の作用を模式的に表した図であり、図８（Ａ）は高周波数成分画像生成手段１の周波数応答を、図８（Ｂ）は高周波数成分画像Ｄ１の周波数スペクトルを、図８（Ｃ）は歪み補正画像Ｄ２Ｂの周波数スペクトルを、図８（Ｄ）は高周波数成分通過手段３２Ａの周波数応答を、図８（Ｅ）は画像Ｄ３２Ａの周波数スペクトルを表している。

まず、高周波数成分画像生成手段１の周波数応答および高周波数成分画像Ｄ１の周波数スペクトルについて説明する。高周波数成分画像生成手段１はハイパスフィルタを用いて高周波数成分画像Ｄ１を生成するので、図８（Ａ）に示すように高周波数成分画像生成手段１の周波数応答は、周波数が高くなるほど高くなる。なお、ハイパスフィルタの周波数応答は図示のように周波数とともに応答が徐々に変化するが、以下では、説明の簡単化のために、ハイパスフィルタは図８（Ａ）の周波数Ｆ１以上の周波数成分を通過させるものとして説明する。他の部材の周波数応答、信号の周波数スペクトルについても同様である。図７（Ａ）に示した周波数スペクトルを持つ入力画像Ｄｉｎが図８（Ａ）に示す周波数応答をもつハイパスフィルタを通過することで高周波数成分画像Ｄ１が得られるので、高周波数成分画像Ｄ１の周波数スペクトルは図８（Ｂ）に示すように周波数が低い領域では小さくなり、周波数が高い領域でのみある程度の強度をもつことになる。

次に歪み補正画像Ｄ２Ｂの周波数スペクトルについて説明する。歪み補正画像Ｄ２Ｂを生成する際、画像周辺部（拡大率＝２）では、高周波数成分画像Ｄ１に対して、1画素につき２画素分のサンプリングを行うことで歪み補正画像Ｄ２Ｂが生成される。言い換えると、歪み補正画像Ｄ２Ｂが表現しうる周波数は高周波数成分画像Ｄ１の周波数の２倍となる。高周波数成分画像Ｄ１のナイキスト周波数をＦｎ−ｉｎ、歪み補正画像Ｄ２Ｂのナイキスト周波数をＦｎ−ｏｕｔとすると、Ｆｎ−ｏｕｔ＝２＊Ｆｎ−ｉｎの関係が成り立つ。したがって、歪み補正画像Ｄ２Ｂの周辺部の周波数スペクトルは、Ｆｎ−ｉｎ＝Ｆｎ−ｏｕｔ／２までの周波数において高周波数成分画像Ｄ１の周波数スペクトルと同じ形の周波数スペクトルを持ち、さらに補間処理によりＦｎ−ｉｎ＝Ｆｎ−ｏｕｔ／２以上の高周波数側の領域Ｒ３２ＡＨが取り除かれたものとなる。

最後に高周波数成分通過手段３２Ａの周波数応答および画像Ｄ３２Ａの周波数スペクトルについて説明する。高周波数成分通過手段３２Ａはハイパスフィルタとなっているのでその周波数応答は図８（Ｄ）に示すように周波数が高くなるほど高くなる。以下、簡単のため、第２の周波数Ｆ２以上の周波数成分を通過させるものとして説明する。画像Ｄ３２Ａは、図８（Ｃ）に示した周波数スペクトルをもつ歪み補正画像Ｄ２Ｂが、図８（Ｄ）に示した周波数応答をもつハイパスフィルタを通過することで生成される。したがって画像Ｄ３２Ａの周波数応答は図８（Ｅ）に示すように、図８（Ｃ）に示した歪み補正画像Ｄ２Ｂの周波数スペクトルからさらに低周波数側の領域Ｒ３２ＡＬが取り除かれたものとなる。

したがって画像Ｄ３２Ａは主に入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎに近い周波数に相当する周波数成分（第２の周波数Ｆ２から周波数Ｆｎ−ｉｎまでの成分）を持つことになる。

次に画像Ｄ３２Ｂの周波数スペクトルについて説明する。
図９（Ａ）〜（Ｃ）は画像Ｄ３２Ｂを生成する際の作用を模式的に表した図であり、図９（Ａ）は非線形処理手段３１により高周波数成分が生成される様子を、図９（Ｂ）は高周波数成分通過手段３２Ｂの周波数応答を、図９（Ｃ）は画像Ｄ３２Ｂの周波数スペクトルを表している。

後述するように、非線形処理画像Ｄ３１では入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎより高い周波数に相当する高周波数成分が生成される。図９（Ａ）はその様子を模式的に表した図である。
画像Ｄ３２Ｂは非線形処理画像Ｄ３１が高周波数成分通過手段３２Ｂを通過することで生成される。高周波数成分通過手段３２Ｂはハイパスフィルタでありその周波数応答は図９（Ｂ）に示すように、周波数が高くなるほど高くなっている。したがって画像Ｄ３２Ｂの周波数スペクトルは図９（Ｃ）に示すように、非線形処理画像Ｄ３１の周波数スペクトルから低周波数側の領域Ｒ３２ＢＬが取り除かれたものとなるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎより高い周波数に相当するものとなる。

図１０（Ａ）〜（Ｃ）、図１１（Ａ）〜（Ｃ）及び図１２を用いて画像Ｄ３２Ｂの周波数スペクトルについて、より詳しく説明を行う。

図１０（Ａ）〜（Ｃ）及び図１１（Ａ）〜（Ｃ）はステップエッジ信号とステップエッジ信号を異なるサンプリング周波数（サンプリング間隔がＳ１とＳ２（＞Ｓ１））でサンプリングした際に得られる信号およびその高周波数成分信号を表している。図１０（Ａ）及び図１１（Ａ）は、ステップエッジ信号、図１０（Ｂ）は、図１０（Ａ）のステップエッジ信号をサンプリング間隔Ｓ１でサンプリングして得られる信号、図１０（Ｃ）は、図１０（Ａ）のステップエッジ信号を間隔Ｓ１でサンプリングして得られる信号の高周波数成分を表し、図１１（Ｂ）は、図１１（Ａ）のステップエッジ信号をサンプリング間隔Ｓ２でサンプリングして得られる信号、図１１（Ｃ）は、図１１（Ａ）のステップエッジ信号を間隔Ｓ１でサンプリングして得られる信号の高周波数成分を表す。説明を簡単にするため、図１０（Ａ）及び図１１（Ａ）に示すように、ステップエッジが一つのサンプリング位置に一致している場合を想定している。なお、サンプリング間隔Ｓ２はサンプリング間隔Ｓ１より長く、図示の例では、サンプリング間隔Ｓ２はサンプリング間隔Ｓ１の２倍である。サンプリング間隔を短くすることによる周波数特性の変化は画像の周辺部における歪み補正と同じである。

図１０（Ｃ）と図１１（Ｃ）を比較すると明らかなようにエッジの中央は高周波数成分信号においてゼロクロス点Ｚとして現れる。また、ゼロクロス点Ｚ前後での高周波数成分信号の傾きはサンプリング間隔を短くするにつれて（あるいは画像を拡大させるのに応じて）急になり、かつゼロクロス点Ｚ近傍で高周波数成分の局所的な最大値、最小値を与える点の位置もゼロクロス点Ｚに近づく。

従って画像を拡大する際、入力画像Ｄｉｎの高周波数成分を取り出し、その変化をゼロクロス近傍で急峻にし、かつゼロクロス近傍で局所的な最大値、最小値を与える点をゼロクロス点に近づけることで入力画像Ｄｉｎの解像度には含まれない（あるいは入力画像Ｄｉｎのナイキスト周波数より高い）高周波数成分を生成することが可能となる。

図１２（Ａ）〜（Ｆ）は非線形処理手段３１および高周波数成分通過手段３２Ｂによる高周波数成分生成の手順を模式的に表した図であり、図１２（Ａ）はステップ信号、図１２（Ｂ）はステップ画像に対応した入力画像Ｄｉｎ、図１２（Ｃ）は高周波数成分画像Ｄ１、図１２（Ｄ）は歪み補正画像Ｄ２Ｂ、図１２（Ｅ）は非線形処理画像Ｄ３１、図１２（Ｆ）は画像Ｄ３２Ｂを表す。なお、説明を簡単にするため各々１次元信号として示している。

ステップエッジ信号に対応した入力画像Ｄｉｎ、高周波数成分画像Ｄ１については図１０（Ｂ）、（Ｃ）、図１１（Ｂ）、（Ｃ）で説明した通りであり、その説明は省略し、まず歪み補正画像Ｄ２Ｂの説明を行う。

歪み補正画像Ｄ２Ｂは、高周波数成分画像Ｄ１に対して１画素につき２画素分のサンプリングを行い、画素と画素の間の値を線形補間などの方法により補間処理することで得られる。したがって、歪み補正画像Ｄ２Ｂは、図１２（Ｄ）に示したように、図１２（Ｃ）に示す高周波数成分画像Ｄ１とほぼ同じ形をし、サンプリング数の増えた信号となる。

次に非線形処理画像Ｄ３１の説明を行う。非線形処理画像Ｄ３１は、非線形処理手段３１が歪み補正画像Ｄ２Ｂ中のゼロクロス点Ｚを検出し、そのゼロクロス点Ｚ前後の画素の画素値を増幅した結果として出力される。したがって非線形処理画像Ｄ３１は図１２（Ｅ）に示したような信号となる。

最後に画像Ｄ３２Ｂの説明を行う。画像Ｄ３２Ｂは非線形処理画像Ｄ３１のもつ高周波数成分が高周波数成分通過手段３２Ｂにて取り出されたものである。高周波数成分は、入力信号から入力信号の低周波数成分（もしくは局所領域における画素値の平均値あるいは加重平均値）を引くことで取り出すことができる。

非線形処理画像Ｄ３１ではゼロクロス点Ｚ前後の画素の画素値については、その値が信号増幅手段３１２にて増幅されているため、局所領域における平均的な画素値からの差は大きくなる。一方、ゼロクロス点近傍のその他の画素の画素値については、その値が増幅されることはないので、局所領域における平均的な画素値からの差は小さな値となる。従って歪み補正画像Ｄ２Ｂと比較すると画像Ｄ３２Ｂ（図１２（Ｆ））では、ゼロクロス点Ｚ近傍での局所的な最大値、最小値を与える点はよりゼロクロス点Ｚ近傍へと近づく。また、局所的な最大値、最小値を与える点がゼロクロス点Ｚ近傍へと近づいた分、ゼロクロス点近傍での信号の変化も急になる。

このことは画像Ｄ３２Ｂに、入力画像Ｄｉｎの解像度には含まれない高周波数成分が含まることを意味する。言い換えると非線形処理手段３１において、歪み補正画像Ｄ２Ｂのゼロクロス点前後の画素値を増幅することで、入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎより高い周波数に対応した高周波数成分を生成したことになる。

また、画像Ｄ３２Ｂは非線形処理手段３１において生成した高周波数成分を高周波数成分通過手段３２Ｂで取り出すことで生成されるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎより高い周波数に対応した高周波数成分をもつ画像となる。

高周波数成分画像Ｄ３は画像Ｄ３２Ａ、Ｄ３２Ｂを加算して得られるので、高周波数成分画像Ｄ３には、画像Ｄ３２Ａ、Ｄ３２Ｂが持つ周波数成分が含まれている。画像Ｄ３２Ａには入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎに近い周波数に相当する周波数成分が含まれており、画像Ｄ３２Ｂには入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎより高い周波数に相当する周波数成分が含まれているので、高周波数成分画像Ｄ３には入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎ以上の周波数成分が含まれることになる。すなわち、高周波数成分画像生成手段１で生成した高周波数成分画像Ｄ１を第２の歪み補正手段２Ｂで歪み補正し、さらに高周波数成分画像処理手段３で処理することによって、入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎ以上の周波数成分をもつ高周波数成分画像Ｄ３を得ることができる。

本発明では、歪み補正画像Ｄ２Ａと高周波数成分画像Ｄ３をそのまま加算するのではなく、調整手段７を通してゲインを乗算した高周波数成分画像Ｄ７を加算して最終的な歪み補正画像Ｄｏｕｔを生成する。このゲインは、歪み補正に伴う拡大率パラメータに応じて決定され、拡大率が大きい画像領域ほどゲインが大きく、拡大率が小さい画像領域ほどゲインが小さくなる特性としている。

拡大率が大きい画像の周辺部では、Ｆｎ−ｏｕｔ＞Ｆｎ−ｉｎとなり、入力画像のナイキスト周波数Ｆｎ−ｉｎ以上の高周波数成分が不足するため、歪み補正画像Ｄ２Ａだけでは解像感のないボケた画像となる。そこで、調整手段７において高周波数成分画像Ｄ３に対するゲインを大きくし、入力画像のナイキスト周波数Ｆｎ−ｉｎ以上の高周波数成分を補うことで、ボケの改善した解像感の高い画像が得られる。

一方、拡大率が小さい画像の中心部では、Ｆｎ−ｏｕｔ＝Ｆｎ−ｉｎとなり、もともと出力画像のナイキスト周波数Ｆｎ−ｏｕｔに至る全ての周波数成分が含まれている。そのため画像のボケは生じず、高周波数成分画像Ｄ３を加算することで高周波数成分を補う必要はない。そこで、調整手段７において高周波数成分画像Ｄ３に対するゲインを小さくし、その強度を弱めることで、不要な周波数成分の強調を防止することができる。

以上に説明したように、画像の周辺部の歪み補正（拡大率＝２）においては、高周波数成分画像Ｄ３に対するゲインを大きくすることによって、入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎ以上の周波数に相当する周波数成分を含んだ高周波数成分画像Ｄ７を得ることができる。本実施の形態１による画像処理装置および撮像装置では加算手段４において、入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎより低い周波数に相当する領域の周波数成分を含む歪み補正画像Ｄ２Ａと入力画像Ｄｉｎのナイキスト周波数Ｆｎ−ｉｎ以上の周波数に相当する領域の周波数成分を含む高周波数成分画像Ｄ７を加算して歪み補正画像Ｄｏｕｔを生成することとしているので、歪み補正画像Ｄｏｕｔに対して高周波数成分を十分に与えることができ、拡大処理を含む画像の周辺部においても解像感のある歪み補正画像Ｄｏｕｔを得ることができる。

また、画像の中心部の歪み補正（拡大率＝１）においては、高周波数成分画像Ｄ３に対するゲインを小さくすることによって、不要な周波数成分の強調を防止することができる。

なお、入力画像Ｄｉｎから歪み補正画像Ｄｏｕｔを生成する場合の局所的な拡大率を、画像中心部で１倍、画像周辺部で２倍として説明を行ったが、拡大率は１倍、２倍に限定されるものではない。拡大率が変われば、Ｆｎ−ｉｎとＦｎ−ｏｕｔの関係が変化するため、歪み補正画像Ｄ２Ａが持っている周波数と高周波数成分画像Ｄ３が持つべき周波数の帯域も変化する。そこで、拡大率パラメータに応じて、高周波数成分画像生成手段１におけるハイパスフィルタの通過帯域、非線形処理手段３１における増幅率、高周波数成分通過手段３２Ａ、３２Ｂにおけるハイパスフィルタの通過帯域の各々を適宜調節することで、高周波数成分画像Ｄ３に含まれる高周波数成分の帯域を制御することが可能である。すなわち、画像の各部分において連続的に変化する拡大率に応じて、高周波数成分画像生成手段１、非線形処理手段３１、高周波数成分通過手段３２Ａ、高周波数成分通過手段３２Ｂ、調整手段７を適宜設定し、上記と同様の効果を得ることができる。

１００ レンズ、 ２００ 撮像素子、 ３００ 前処理部、 ４００ 歪み補正処理部、 ５００ 後処理部、 ６００ 映像信号出力端子、 １ 高周波数成分画像生成手段、 ２Ａ 歪み補正手段、 ２Ｂ 歪み補正手段、 ３ 高周波数成分画像処理手段、 ４ 加算手段、 Ｄｉｎ 入力画像、 Ｄ１ 高周波数成分画像、 Ｄ２Ａ 歪み補正画像、 Ｄ２Ｂ 歪み補正画像、 Ｄ３ 高周波数成分画像、 Ｄ７ 高周波数成分画像、 Ｄｏｕｔ 歪み補正画像。

Claims (6)

1. 入力画像の歪み特性から決定される補間位置パラメータを出力する歪み補正パラメータ出力手段と、
   前記補間位置パラメータを用いて前記入力画像を歪み補正した第１の歪み補正画像を出力する第１の歪み補正手段と、
   前記入力画像の高周波数成分を取り出した第１の高周波数成分画像を生成する高周波数成分画像生成手段と、
   前記補間位置パラメータを用いて前記第１の高周波数成分画像を歪み補正した第２の歪み補正画像を出力する第２の歪み補正手段と、
   前記第２の歪み補正画像を処理した第２の高周波数成分画像を生成する高周波数成分画像処理手段と、
   前記第２の高周波数成分画像にゲインを乗算して第３の高周波数成分画像を出力する調整手段と、
   前記第１の歪み補正画像と前記第３の高周波数成分画像を加算した結果を、前記入力画像を歪み補正した結果として出力する加算手段と
   を有することを特徴とする画像処理装置。
2. 前記調整手段は、
   歪み補正処理における拡大率を表す拡大率パラメータに応じて前記第２の高周波成分画像の各画素に対するゲインを決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記高周波数成分画像処理手段は、
   前記第２の歪み補正画像の高周波数成分のみを取り出す第１の高周波数成分通過手段と、
   前記第２の歪み補正画像の画素値を画素に応じて変化させた増幅率によって増幅させる非線形処理によって処理する非線形処理手段と、
   前記非線形処理手段が出力する画像の高周波数成分のみを取り出す第２の高周波数成分通過手段を有し、
   前記増幅率は、前記歪み補正パラメータに応じて決定されることを特徴とする請求項１に記載の画像処理装置。
4. 前記非線形処理手段は、
   前記第２の歪み補正画像の画素値が正から負へ、もしくは負から正へと変化する箇所をゼロクロス点として判定するゼロクロス判定手段と、
   前記ゼロクロス判定手段の判定結果に応じて前記第２の歪み補正手段が出力する画像の各画素の画素値に対する増幅率を決定する信号増幅手段を有する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記信号増幅手段は、ゼロクロス判定手段で検出されたゼロクロス点からの距離に応じて前記増幅率を決定する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 被写体を撮像しデジタル信号を出力する撮像部と、
   請求項１〜５のいずれかに記載の画像処理装置とを備えた
   ことを特徴とする撮像装置。

Images