JP2007148500A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】歪曲収差に係る画素位置補正後に、画質の良好な画像を得ることが可能な画像処理装置を提供する。
【解決手段】光学系の歪曲収差特性に起因する歪みを含む画像データに対し、その画素位置の歪みを補正する歪補正部と、歪補正部に入力される前記画像データに対し、フィルタ係数に基づき所定のフィルタ処理を施すフィルタ処理部と、フィルタの係数として、画像データの光学系の光学的中心に対応する位置からフィルタ処理の対象となる対象画素までの距離若しくは相対座標を入力として、対象画素位置における歪曲収差特性に応じた係数を設定するフィルタ係数設定部とを有する。
【選択図】図１

Description

本発明は、画像処理装置に関し、特に、ディジタルカメラ等においてレンズによる歪曲収差の補正に用いて好適な画像処理装置に関する。

一般的に、カメラの光学系においては、ディジタルカメラ、銀塩カメラを問わず、歪曲収差が現れることが知られている。また、現在市場に出回っているカメラにおいては、光学式ズームを採用した機種がそのほとんどを占めており、その場合、ワイド端からテレ端にかけて、歪曲収差の状態が変化する。ここで、歪曲収差は、例えば、樽型の歪曲収差を有する場合には、図２７（ａ）に示すような格子状の被写体が図２７（ｂ）に示すように樽型に歪んで観測される。

上記のような歪曲収差を有する画像は、通常、撮影画像としては好ましくないため、このような歪曲収差を画像処理によって補正する方法が種々開示されている。具体的には、樽型の歪曲収差の場合には、図２６に示すように、実線で示された撮像画像の位置を点線で示された位置、すなわち、収差を相殺する方向に補正する。

図２５は、一般的な歪曲収差補正処理を伴う画像処理を行う画像処理装置の構成例を示している。図中、プリプロセス１は、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）で撮像された画像に対してＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）やＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）のための評価値を取得するとともに、ＯＢクランプ、画素欠陥補正などの処理を施した後、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３にその画像データを書き出す。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２は、ＡＥやＡＦ、ＡＷＢ値を参照して露出、フォーカス、ＲＧＢゲイン、ホワイトバランス係数等を算出する。

ＳＤＲＡＭ３は、画像データ等を一時的に記憶する記憶装置である。イメージプロセス４は、ＳＤＲＡＭ３上に格納されている画像データのうち、一部の矩形領域を切り出してその画像データを取り込み、ホワイトバランスやシェーディング補正、同時化、フィルタ処理などの幾つかの処理を行う。イメージプロセス４を構成するＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）４１は、画像の矩形領域を読み込み、第一画像処理部４２は、歪補正前の画像処理を行う。なお、第一画像処理部４２には、図２４に示すようなフィルタ処理を行う構成が含まれており、図中、遅延部４２１はＦＩＦＯメモリ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ ｍｅｍｏｒｙ）やＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＦＦ（Ｆｌｉｐ Ｆｌｏｐ）等で構成され、着目画素の周辺２５画素を取り出し、フィルタ処理部４２２は、取り出された２５個の画素情報に係数を乗じてフィルタ処理を行う。この処理は、ＲＧＢのそれぞれについて実行される。

歪補正処理部５は、イメージプロセス４から入力されるＲＧＢ信号に対して歪曲収差補正を行うものであり、歪補正後座標生成部５４は、歪補正後の出力画像上の座標（例えば、図２６に示す点線の交点）を出力する。歪補正前座標生成部５１１は、歪補正後座標生成部５４の出力座標に対応する歪補正前の画像上の座標（例えば、図２６に示す実線の交点）を算出する。すなわち、歪補正後の画像の着目座標の画素を（Ｘ、Ｙ）としたときに、これがＳＤＲＡＭ３等のメモリに格納された歪んだ画像のどこ（Ｘ´、Ｙ´）に当たるかを計算する。

アドレス変換部５１２は、歪補正前座標生成部５１１の座標（Ｘ´、Ｙ´）に近接する周辺１６画素の情報をメモリから取得するためのアドレスを算出する。メモリ５１３は、カラー画像データを格納する２ポートメモリ群であり、補間演算部５１４は、メモリ５１３から出力される周辺１６画素情報からバイキュービック法による補間演算を行い、結果を出力する。なお、補間係数は座標（Ｘ´、Ｙ´）の小数部から求める。

イメージプロセス６は、歪曲収差が補正された画像に対してエッジ強調やクロマサプレスなど幾つかの処理を行う。ここで、クロマサプレスとは、ベイヤ画像を周辺画素からの補間により同時化する場合に、エッジ近傍に発生する本来存在しない色（偽色）を抑圧するためにエッジ近傍の画素に対して色成分のレベルを段階的に抑制する処理をいう。イメージプロセス６は、第二画像処理部６１とＤＭＡ６２とから構成され、第二画像処理部６１は、歪補正後の画像処理を行い、ＤＭＡ６２は、この画像処理結果をＳＤＲＡＭ３に出力する。

図２３は、クロマサプレス処理を行う回路の構成例である。図２３において、マトリクス６１１は、ＲＧＢ信号をＹＣｒＣｂの輝度・色差信号に変換する３×３マトリクスであり、エッジ判定部６１２は、輝度信号（Ｙ信号）からエッジ近傍を判定する回路である。また、サプレス係数算出部６１３は、エッジ近傍と判定された画素に対して、偽色を抑えるようにサプレス係数を出力する。さらに、乗算部６１４は、色成分Ｃｒ、Ｃｂにサプレス係数算出部６１３から得られた係数を乗算する。

以上のような構成により、例えば、図２２（ａ）のようにＳＤＲＡＭ上に円弧状に歪んだ長方形の画像ａは、歪補正処理部５によって図２２（ｂ）に示すような長方形ｂとして補正される。なお、図２２（ａ）中、符号ｃの部分は、ＤＭＡ４１で取り込む矩形の領域を示している。

ここで、図２５に示すイメージプロセス４およびイメージプロセス６においては、従来、画像が歪曲している事を考慮せずに画像処理が実行されている。ところが、歪曲収差補正の影響を考慮すると、図２６のように中心部は縮小、周辺部は拡大されるように補正されるため、中心部に比べると画像の周辺部は高周波成分が少ないボケた画像となる。これに対して、従来では、例えば特許文献１に示すように、歪曲収差補正前の画像に対して輪郭補正などの周知の画像処理が実行されている。
特開２００４−２７２５７８号公報

ところで、歪曲収差補正前に、ある画像処理（図２５に示すイメージプロセス４）で隣接画素を用いてフィルタ処理（５×５）を行う場合、画像の中央付近で見た隣接画素は、歪曲収差補正後の画像上で見ると、例えば、樽型の歪曲収差の場合には、図２１（ａ）に示すような位置になる。一方、歪曲収差量の大きい画像の周辺部に行くと、隣接画素は例えば、樽型の歪曲収差の場合には、図２１（ｂ）に示すような位置になる。つまり、歪補正前に同じサイズのフィルタ処理をしても、歪補正後の画像で見ると隣接画素間の距離が変わるために画像の中央部と周辺部とでフィルタの周波数特性が変わってしまうという問題がある。

そこで、本発明は、上述の問題点に鑑みてなされたものであり、歪曲収差に係る画素位置補正後に、画質の良好な画像を得ることが可能な画像処理装置を提供することを目的とする。

本発明は、上述の課題を解決するために、以下の手段を提案している。
請求項１に係る発明は、光学系の歪曲収差特性に起因する歪みを含む画像データに対し、その画素位置の前記歪みを補正する歪補正部と、前記歪補正部に入力される前記画像データに対し、フィルタ係数に基づき所定のフィルタ処理を施すフィルタ処理部と、前記フィルタの係数として、前記画像データの前記光学系の光学的中心に対応する位置から前記フィルタ処理の対象となる対象画素までの距離若しくは相対座標を入力として、前記対象画素位置における前記歪曲収差特性に応じた係数を設定するフィルタ係数設定部と、を有することを特徴とする画像処理装置を提案している。

請求項９に係る発明は、光学系の歪曲収差特性に起因する歪みを含む画像データに対し、その画素位置の歪みを補正する歪補正ステップと、前記歪補正ステップにおいて、前記画像データの前記歪が補正されるのに先立って、フィルタ係数に基づき所定のフィルタ処理を施すフィルタ処理ステップと、前記フィルタ係数として画像データの光学系の光学的中心に対応する位置からフィルタ処理の対象となる対象画素までの距離若しくは相対座標を入力として、対象画素位置における歪曲収差特性に応じた係数を設定するフィルタ係数設定ステップと、を有することを特徴とする画像処理方法を提案している。

これらの発明によれば、歪補正部の前段に位置するフィルタ処理部に設定するフィルタ係数を光学系の光学的中心に対応する位置から、対象画素までの距離若しくは相対座標を入力として、着目画素位置における歪曲収差特性に応じた係数に設定することで、歪補正部の前段におけるフィルタ処理を歪補正部から出力された画像データ上で均等な処理が施されたようにすることが可能となる。

請求項２に係る発明は、請求項１に記載の画像処理装置について、前記フィルタ係数設定部は、前記歪処理部から出力された画像データ上で、全領域に亘って周波数特性がほぼ同一となるように前記フィルタ係数を設定することを特徴とする請求項１に記載の画像処理装置を提案している。

請求項１０に係る発明は、請求項９に記載の画像処理方法について、前記フィルタ係数設定ステップは、前記歪補正ステップにおいて出力される画像データ上で、全領域に亘って周波数特性がほぼ同一となるように前記フィルタ係数を設定することを特徴とする画像処理方法を提案している。

これらの発明によれば、歪処理部から出力された画像データ上で、全領域に亘って周波数特性がほぼ同一となるようにフィルタ係数を設定することにより、画像データの中心と周辺部での先鋭度が、ほぼ等しくなる補正を行うことが可能となる。

請求項３に係る発明は、請求項１に記載の画像処理装置について、前記フィルタ係数設定部は、前記歪処理部に入力される画像データ上の各画素間に対応する前記歪処理部から出力された画像データ上における各画素間の距離に応じて前記フィルタ係数を設定することを特徴とする画像処理装置を提案している。

請求項１１に係る発明は、請求項９に記載の画像処理方法について、前記フィルタ係数設定ステップは、前記歪補正ステップに入力される画像データ上の各画素間に対応する、前記歪補正ステップにおいて出力される画像データ上における各画素間の距離に応じて前記フィルタ係数を設定することを特徴とする画像処理方法を提案している。

これらの発明によれば、歪処理部から出力された画像データ上における各画素間の距離に応じてフィルタ係数を設定することにより、着目画素から遠い画素の影響は低減させられることとなり、画像データの中心と周辺部での先鋭度を、ほぼ均等にすることが可能となる。

請求項４に係る発明は、請求項１に記載の画像処理装置について、前記歪補正部から出力された画像データの前記光学的中心に対応する位置から着目画素までの距離若しくは相対座標を入力として、前記着目画素における前記歪曲収差特性に係る歪曲収差量に応じた偽色を抑圧するためのサプレス係数を設定し、前記サプレス係数に基づき、前記画像データのエッジ近傍に位置する前記着目画素の偽色を抑圧するクロマサプレス処理部を更に有することを特徴とする請求項１に記載の画像処理装置を提案している。

請求項１２に係る発明は、請求項９に記載の画像処理方法について、前記フィルタ係数設定ステップにおいて出力される画像データの前記光学的中心に対応する位置から着目画素までの距離若しくは相対座標を入力として、前記着目画素における前記歪曲収差特性に係る歪曲収差量に応じた偽色を抑圧するためのサプレス係数を設定し、前記サプレス係数に基づき、前記画像データのエッジ近傍に位置する前記着目画素の偽色を抑圧するクロマサプレスステップを更に有することを特徴とする画像処理方法を提案している。

これらの発明によれば、歪曲収差量に応じた偽色を抑圧するためのサプレス係数を設定し、サプレス係数に基づき、歪補正部から出力された画像データのエッジ近傍の着目画素の偽色を抑圧することで、不均一な偽色を抑制することが可能となる。

請求項５に係る発明は、請求項４に記載の画像処理装置について、前記クロマサプレス処理部は、前記サプレス係数を前記歪曲収差量が大きいほど前記偽色を抑圧する度合いを強くするように設定することを特徴とする画像処理装置を提案している。

請求項１３に係る発明は、請求項１２に記載の画像処理方法について、前記クロマサプレスステップは、前記サプレス係数を前記歪曲収差量が大きいほど前記偽色を抑圧する度合いを強くするように設定することを特徴とする画像処理方法を提案している。

これらの発明によれば、サプレス係数を、歪曲収差量が大きいほど偽色を抑圧する度合いを強くするように設定することで、強い偽色が発生する箇所において偽色をより強く抑圧することが可能となる。

請求項６に係る発明は、請求項４に記載の画像処理装置について、前記クロマサプレス処理部は、前記歪曲収差量が大きいほど前記偽色を抑圧する画像データの領域を広くするように設定することを特徴とする画像処理装置を提案している。

請求項１４に係る発明は、請求項１２に記載の画像処理方法について、前記クロマサプレスステップは、前記歪曲収差量が大きいほど前記偽色を抑圧する画像データの領域を広くするように設定することを特徴とする画像処理方法を提案している。

これらの発明によれば、歪曲収差量が大きいほど偽色を抑圧する画像データの領域を広くするように設定することで、偽色の広がりが大きい領域において、偽色を抑圧することが可能となる。

請求項７に係る発明は、請求項４に記載の画像処理装置について、前記歪補正部は、前記光学的中心に対応する前記画像データの位置から前記着目画素までの距離若しくは相対座標を入力として、前記歪を補正した前記着目画素における画像データを演算することを特徴とする画像処理装置を提案している。

請求項１５に係る発明は、請求項１２に記載の画像処理方法について、前記フィルタ係数設定ステップは、前記光学的中心に対応する前記画像データの位置から前記着目画素までの距離若しくは相対座標を入力として、前記歪みを補正した前記着目画素における画像データを演算することを特徴とする画像処理方法を提案している。

これらの発明によれば、光学的中心に対応する画像データの位置から着目画素までの距離若しくは相対座標を入力として、歪を補正した着目画素における画像データを演算することで、光学的中心に対応する画像データの位置から、着目画素までの距離若しくは相対座標を演算する回路をクロマサプレス処理部と共有することが可能となり、回路構成を簡素化することが可能となる。

請求項８に係る発明は、請求項１から７までの何れか１項に記載の画像処理装置について、前記光学系は、非回転対称でかつ光学的中心を法線とする平面内で互いに直交する方向に対して独立な歪曲収差特性を有する複数のレンズを複数有してなるレンズ群で構成されていることを特徴とする画像処理装置を提案している。

請求項１６に係る発明は、請求項９から１５までの何れか１項に記載の画像処理方法について、前記光学系は、非回転対称でかつ光学的中心を法線とする平面内で互いに直交する方向に対して独立な歪曲収差特性を有する複数のレンズを複数有してなるレンズ群で構成されていることを特徴とする画像処理方法を提案している。

これらの発明によれば、互いに直交する方向に対して独立な歪曲収差特性を有するレンズ群を用いることで、各方向を独立に扱えるので、回路構成を簡素化することが可能となる。

本発明によれば、フィルタ処理を歪補正部から出力された画像データ上で均等な処理が施されたようにすることが可能となり、歪曲収差に係る画素位置補正後に、画質の良好な画像を得ることができるという効果がある。また、歪曲収差補正後に生ずる不均一な偽色を抑制することが可能となるという効果がある。さらに、回路を共有化することにより、回路構成を簡略化できるという効果がある。

以下、本発明の実施形態に係る画像処理装置について図面を参照して詳細に説明する。
＜第１の実施形態＞
本実施形態に係る画像処理装置は、図１に示すように、プリプロセス１と、ＣＰＵ２と、ＳＤＲＡＭ３と、イメージプロセス１４と、歪補正処理部（歪補正部に相当）１５と、イメージプロセス１６と、座標・距離生成部８とから構成されている。

また、イメージプロセス１４は、第一画像処理部１４２と、ＤＭＡ１４１とから構成されている。歪補正処理部１５は、Ｒ用歪補正処理部１５１と、Ｇ用歪補正処理部１５２と、Ｂ用歪補正処理部１５３とから構成されており、さらに、Ｒ用歪補正処理部１５１、Ｇ用歪補正処理部１５２、Ｂ用歪補正処理部１５３は、それぞれ、歪補正前座標変換部１５１１と、アドレス変換部５１２と、メモリ５１３と、補間演算部５１４と、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）１５１５とから構成されている。また、イメージプロセス１６は、第二画像処理部１６１と、ＤＭＡ１６２とから構成されており、座標・距離生成部８は、歪補正後座標生成部８１と、距離演算部８３と、座標距離格納部８２とから構成されている。なお、図２４と同一の符号を付した部分については、同様の機能を有することから詳細な説明は省略する。

座標・距離生成部８は、歪曲収差補正後の画像上における座標・距離を算出し、かつそれらの値を記憶する。歪補正後座標生成部８１は、歪曲収差補正後の画像上における座標情報（Ｘ、Ｙ）を生成する。距離演算部８３は、歪補正後座標生成部８１で求められた座標情報（Ｘ、Ｙ）に基づいて光学的中心からの距離（ｒ）を算出する。なお、一般に、平方根演算用の回路は回路の増大を招くため、距離の２乗（ｒ^２）を算出するようにしてもよい。そこで、本実施形態においては、距離の２乗（ｒ^２）を用いて説明する。

座標距離格納部８２は、ＦＩＦＯメモリやＳＲＡＭ等で構成され、距離情報（ｒ^２）を格納する。そして、第二画像処理部１６１からのトリガ信号により距離情報（ｒ^２）を順次、第二画像処理部１６１に出力する。

第一画像処理部１４２は、ホワイトバランスやシェーディング補正、同時化、ＬＰＦ処理など幾つかの処理を実行する。図２は、ＬＰＦ処理部の一例を示しており、遅延部４２１と、フィルタ処理部（フィルタ処理部に相当）４２２と、フィルタ係数算出部（フィルタ係数設定部に相当）４２３と、距離算出部４２４とから構成されている。

遅延部４２１は、ＦＩＦＯやＳＲＡＭ、ＦＦ等で構成されており、着目画素の周辺２５画素を取り出す。フィルタ処理部４２２は、遅延部４２１において取り出された２５個の画素情報に、５種の係数を乗じてフィルタ処理する。なお、フィルタ係数の一例を図３に示す。

フィルタ係数算出部４２３は、歪曲補正後の画像上で周波数特性がほぼ同じになるようにフィルタ係数Ｋａ、Ｋｂ、Ｋｃを算出する。概念的には、同じフィルタ特性を持たせるためには、光軸中心付近は低周波寄りで、そして光軸中心から外側に行くほど高周波を強調するフィルタ特性を実現するような係数を出力するようにする。このフィルタ特性を図４に示す。図４に示すように、フィルタの特性は、光軸中心からの距離が短いほどカットオフ周波数が低周波数領域になり、光軸中心からの距離が長いほどカットオフ周波数が高周波数領域になる。なお、実際には、幾つかの特性を保持しておき、光軸中心からの距離に応じてそれらのフィルタの線形補間を行い、スムーズに特性を繋いで図に示すようなフィルタ特性を実現する。距離算出部４２４は、入力画像データの座標に基づいて光学的中心からの距離（ｒ^２）を算出する。

歪補正処理部１５は、イメージプロセス１４から入力したＲＧＢ信号に対して、それぞれ歪補正を行う。ＬＵＴ１５１５は、座標・距離生成部８内の距離演算部８３から供給される距離情報（ｒ^２）に対し、歪曲収差を補正するパラメータＦを出力するテーブルである。歪補正前座標変換部１５１１は、ＬＵＴ１５１５から出力されたパラメータＦと座標・距離生成部８内の歪補正後座標生成部８１から出力される座標情報（Ｘ、Ｙ）に基づいて、歪補正前座標（Ｘ´、Ｙ´）をＸ´＝ＦＸ、Ｙ´＝ＦＹの演算により算出する。なお、本実施形態では、ＬＵＴ１５１５を予め設ける例について説明したが、ＬＵＴ１５１５を設けず演算によって処理してもよい。

第二画像処理部１６１は、エッジ強調やクロマサプレスなど幾つかの処理を実行する。なお、第二画像処理部１６１に歪補正処理部１５から供給される画像データに対応する座標情報および距離情報は座標・距離生成部８において生成された情報を適切に遅延させることで得られるため、第二画像処理部１６１は、座標・距離格納部８２に対してトリガパルスを出力することにより、距離情報（ｒ^２）を取得する。したがって、本実施形態においては、比較的大きな回路規模を有する距離演算部８３を座標・距離生成部８とイメージプロセス６とで共用化することにより、回路規模の増大を抑制している。

第二画像処理部１６１内のクロマサプレス部（クロマサプレス処理部に相当）は、図５に示すように、マトリクス６１１と、エッジ判定部６１２と、サプレス係数算出部６１３と、乗算部６１４と、歪サプレス係数算出部６１５とから構成されている。なお、一般に、クロマサプレス処理は、エッジ近傍に一様にかけるが、本実施形態においては、光学中心の外側ほどサプレスを強くかける点に特徴がある。

マトリクス６１１は、ＲＧＢ信号をＹＣｒＣｂの輝度・色差信号に変換する３×３マトリクスであり、エッジ判定部６１２は、輝度信号（Ｙ信号）からエッジ近傍を判定する回路である。サプレス係数算出部６１３は、エッジ近傍と判定された画素に対して、エッジ周辺の偽色を抑えるようにサプレス係数を出力する。乗算部６１４は、色成分Ｃｒ、Ｃｂにサプレス係数を乗算する。歪サプレス係数算出部６１５は、距離情報（ｒ^２）を入力して、歪曲収差量に応じてサプレス係数を変化させるパラメータを出力する。このパラメータは図６のようにサプレス係数算出部６１３で算出するサプレス係数を変化させる。

図６は、横軸に輝度レベル（Ｙ：右方向にいくほど輝度レベルが高い）、縦軸に減衰量を示したものであり、図中、ＳＴはサプレスをかけ始める輝度レベルを、ＶＯはＳＴ以上の輝度レベルに対するサプレス係数特性の傾きを示している。そして、図中、点線で示すように、光学中心から遠いほどＳＴの値は低くなり、ＶＯの傾きが小さくなる特性を有している。

したがって、本実施形態によれば、所定の画素に対するフィルタ処理を光学中心からの距離によって適宜調整することから、歪曲収差を有する場合においても適切な画像処理を行うことができる。また、クロマサプレスに対しても、同様に、光学中心からの距離によって適宜サプレス係数を調整することから、歪曲収差を有する場合にエッジ付近に発生する偽色を効果的に抑制することができる。

＜第２の実施形態＞
本実施形態に係る画像処理装置は、第１の実施形態に対して、クロマサプレス回路およびフィルタ処理部の構成が異なっている。一般に、歪曲収差が補正されると、周辺部は中心部より広い範囲で偽色が発生し、また、エッジも鈍くなる。そこで、本実施形態においては、光学的中心からの距離が遠ざかるほどエッジ判定条件を緩くしてサプレスを行う。また、エッジの近傍と判定する領域を広く取るように変化させている。

本実施形態に係るクロマサプレス回路（クロマサプレス処理部に相当）は、図７に示すように、マトリクス６１１と、エッジ判定部１６１２と、サプレス係数算出部１６１３と、乗算部６１４と、歪サプレス係数算出部１６１５とから構成されている。なお、従来例および第１の実施形態と同一の符号を付した部分については、同一の機能を有するため、その詳細な説明は省略する。

歪サプレス係数算出部１６１５は、距離の２乗（ｒ^２）に対するクロマサプレスを施す範囲ｋとエッジ判定条件ＴＨを出力する。画像の中心部は画像が拡大されないので、エッジが平坦化されることはないが、周辺部は画像が拡大されることによりエッジが平坦化するので、エッジ判定条件を緩和しなければならない。さらに、周辺部は色収差が大きくなるので、画像の中心部に比べると、エッジから遠い所にも偽色が発生することになる。そのため、図８に示すように画像の中心部はエッジ判定条件が厳しく、かつ、クロマサプレスを施すエッジ近傍の領域は狭くし、周辺部ほどエッジ判定条件を緩和するとともにクロマサプレス領域が広くなるように係数を算出する。

なお、図８は、画像の中心と外側で設定するＴＨとｋとの関係を示した図であり、縦軸のＴＨは輝度の変化量を示し、横軸のｋはエッジからの距離を示している。この図に示すように、光学的中心付近のときは、ｋが小さい値、すなわち、エッジ近傍として判定される範囲が狭くなり、ＴＨが大きな値、すなわち、エッジと判定される条件が厳しくなることを示している。一方で、周辺部の場合には、ｋが大きな値、すなわち、エッジ近傍として判定される範囲が広くなり、ＴＨが小さな値、すなわち、エッジと判定される条件が緩くなることを示している。

エッジ判定部１６１２は、歪サプレス係数算出部１６１５から上述のＴＨおよびｋを入力するとともに、輝度信号Ｙを入力して、エッジ抽出フィルタにより、着目画素がエッジ周辺であるかどうかを判定する。サプレス係数算出部１６１３は、エッジ判定部１６１２の判定結果と輝度信号Ｙを入力してサプレス係数を算出し、乗算部６１４は、色成分Ｃｒ、Ｃｂにサプレス係数を乗算する。

また、本実施形態に係る画像処理装置は、フィルタ処理に関して、光学的中心からの距離だけでなく、方向によって隣接する画素の距離が変化することも考慮する構成になっている。具体的には、図９に示すように、座標算出部１４２４と、フィルタ係数算出部（フィルタ係数設定部に相当）１４２３と、遅延部４２１と、フィルタ処理部（フィルタ処理部に相当）１４２２とから構成されている。なお、従来例および第１の実施形態と同一の符号を付した部分については、同一の機能を有するため、その詳細な説明は省略する。

座標算出部１４２４は、着目画素の座標情報（Ｘ、Ｙ）と距離情報（ｒ^２）をフィルタ係数算出部１４２３に出力する。フィルタ係数算出部１４２３は、光学的中心からの距離情報（ｒ^２）と、方向を判別するための座標情報（Ｘ、Ｙ）を入力し、フィルタ係数を算出する。なお、本実施形態においては、フィルタが回転対称ではないため出力する係数は２５個分となる。

次に、図１０から図１４を用いて、フィルタ係数設定について詳細に説明する。
なお、ここでは、着目画素と左右上下に隣接する４画素だけでフィルタ処理を行う例で説明する。本例では、フィルタ係数は、図１０に示すような十字型（図中、Ｆ１〜Ｆ５が係数）をしており、それぞれの値をＦ１=Ｆ２=Ｆ３=Ｆ４=０．１２５、Ｆ５=０．５とする。光学的な中心部分では、歪曲収差がほとんど発生しないため、歪曲収差補正後も図１１に示すように等距離に画素があると考えてよい。したがって、通常のフィルタ係数を使ってフィルタ処理を行う。

一方、画像の右上端では、歪曲収差補正後は図１２のように歪み、各画素間の距離も図１２のａ〜ｄに示すように一定ではないため、距離に応じたフィルタ係数を乗ずる。ここで、図１２では、上下方向と左右方向が直交しておらず、フィルタ係数の生成が複雑であるが、ここでは、これを簡単化して図１３の様になっていると考える。すると、フィルタ係数は、例えば、以下のようになる。

Ｆ１+Ｆ４=Ｍ／４、Ｆ２+Ｆ３=Ｍ／４、ａＦ１=ｃＦ４、ｂＦ２=ｄＦ３
ここで、Ｍは各画素間の距離に依存するパラメータであり、定数である。

いま、１＜a＜ｂ、ｃ、ｄとして、ｃＦ１+ｄＦ２+ｂＦ３+ｄＦ４=０．５／ａを含む５つの式から、Ｆ１、Ｆ２、Ｆ３、Ｆ４を求めると、Ｆ１=ｃ／４ａ（ａ＋ｃ）、 Ｆ２=ｄ／４ａ（ｂ＋ｄ）、Ｆ３=ｂ／４ａ（ｂ＋ｄ）、Ｆ４=ａ／４ａ（ａ＋ｃ）となる。

上記の関係に従って、図１４に示すＣ〜Ｏの位置についてフィルタ係数を予め算出しておく。なお、フィルタ係数の組み合わせは、すべて回転対称であるため図１４に示すように第一象限の半分についてのみフィルタ係数を算出すればよい。なお、フィルタ係数を算出する箇所については、図１４に示す箇所に限定されるものではない。

フィルタ係数算出部１４２３は、入力した座標情報（Ｘ、Ｙ）と距離情報（ｒ^２）からフィルタ係数として最も近くに存在するものをいくつか取得し、それらの補間により着目画素にかけるフィルタ係数を生成する。例えば、図１４の例では、着目画素周辺のＮ、Ｌ、Ｏ、Ｍに対応するフィルタ係数から重みつき加算平均を行って所望のフィルタ係数を作成する。

したがって、本実施形態においては、クロマサプレスの処理に関して、光学的中心からの距離が遠ざかるほどエッジ判定条件を緩くしてサプレスを行い、また、エッジの近傍と判定する領域を広く取るように変化させる。これにより、周辺部における広範囲な偽色の発生を抑制し、また、エッジが鈍くなる現象についても軽減することができる。また、フィルタ処理については、光学的中心からの距離だけでなく、座標情報を用いてフィルタ係数を算出することにより、方向によって隣接する画素の距離が変化することにも対応することができる。

＜第３の実施形態＞
本実施形態は、図１５に示すようなシリンドリカルレンズを光学系に用いて、歪曲収差を発生させる構成とした画像処理装置に関するものである。このレンズの特徴は、図２０（ａ）に示すような格子状の被写体が図２０（ｂ）に示すように歪曲する。このような歪曲収差を持たせることにより、ＣＣＤのような矩形の撮像面を有する撮像素子の全受光面を無駄なく有効に使うことができる。この光学系の歪補正を行う場合、図１９に示すように実線で示された撮像画像の位置を点線で示された位置、すなわち、収差を相殺する方向に補正する。このとき、歪曲収差はＸ、Ｙ独立に発生するため、Ｘ、Ｙの値がそのまま水平垂直各方向の距離（ｒ）に等しいとみることができる。本実施形態では、この事実を考慮して、独立した２系統の距離情報（Ｘ、Ｙ）から歪曲収差を補正する。

具体的には、本実施形態に係る画像処理装置の全体構成は、図１６に示すようになっており、プリプロセス１と、ＣＰＵ２と、ＳＤＲＡＭ３と、イメージプロセス１４と、歪補正処理部２５と、イメージプロセス２６と、座標・距離生成部２８とから構成されている。なお、従来例および第１の実施形態と同一の符号を付した部分については、同一の機能を有するため、その詳細な説明は省略する。

また、座標・距離生成部２８は、歪補正後座標生成部２８１と、座標・距離格納部２８２とから構成されており、歪補正後座標生成部２８１は、歪補正後の座標値（Ｘ、Ｙ）を生成し、座標・距離格納部２８２は、歪補正後座標生成部２８１が生成した座標値（Ｘ、Ｙ）を距離情報として格納する。

歪補正処理部２５は、Ｒ用歪補正処理部２５１と、Ｇ用歪補正処理部２５２と、Ｂ用歪補正処理部２５３とから構成されており、各ＲＧＢの歪補正処理部は、歪補正前座標変換部２５１１と、アドレス変換部２５１２と、メモリ５１３と、補間演算部２５１４とから構成されている。なお、従来例および第１の実施形態と同一の符号を付した部分については、同一の機能を有するため、その詳細な説明は省略する。歪補正前座標変換部２５１１は、歪補正後座標生成部２８１から歪補正後の座標値（Ｘ、Ｙ）を入力し、これを歪補正前の座標値（Ｘ´、Ｙ´）に変換する。変換された座標値（Ｘ´、Ｙ´）は、アドレス変換部２５１２および補間演算部２５１４に出力される。

また、第一画像処理部２４２内のフィルタ処理回路は、図１７に示すように、座標算出部４２６と、第一フィルタ係数算出部（フィルタ係数設定部に相当）２４２３と、第二フィルタ係数算出部（フィルタ係数設定部に相当）２４２４と、乗算部２４２５と、遅延部４２１と、フィルタ処理部（フィルタ処理部に相当）４２２とから構成されている。なお、従来例および第１の実施形態と同一の符号を付した部分については、同一の機能を有するため、その詳細な説明は省略する。

座標算出部４２６は、着目画素の座標値（Ｘ、Ｙ）を算出し、Ｘの値については第一フィルタ係数算出部２４２３に、Ｙの値については第二フィルタ係数算出部２４２４に入力する。第一フィルタ係数算出部２４２３および第二フィルタ係数算出部２４２４は、それぞれ入力した座標値をもとにフィルタ係数を算出して、乗算部２４２５に入力する。乗算部２４２５は、入力したフィルタ係数を用いて乗算処理を行うことにより、Ｋａ、Ｋｂ、Ｋｃの係数を算出してフィルタ処理部４２２に出力する。

また、第一画像処理部２６１内のクロマサプレス回路（クロマサプレス処理部に相当）は、図１８に示すように、マトリクス６１１と、エッジ判定部１６１２と、サプレス係数算出部１６１３と、乗算部６１４と、第一歪サプレス係数算出部２６１５と、第二歪サプレス係数算出部２６１６と、乗算部２６１７とから構成されている。なお、従来例および第１の実施形態と同一の符号を付した部分については、同一の機能を有するため、その詳細な説明は省略する。

第一歪サプレス係数算出部２６１５および第二歪サプレス係数算出部２６１６は、（Ｘ、Ｙ）の座標値をそれぞれ入力し、Ｘ、ＹそれぞれにＳＴｘ、ＶＯｘ、ＳＴｙ、ＶＯｙを算出する。算出されたＳＴｘ、ＶＯｘ、ＳＴｙ、ＶＯｙの各係数は、乗算部２６１７に出力され、ＳＴおよびＶＯが算出される。

したがって、本実施形態によれば、歪光学系が図１５のように構成されている場合においても、着目画素の座標値に基づいてフィルタ処理を適宜調整することから、適切な画像処理を行うことができる。また、クロマサプレスに対しても、同様に、着目画素の座標値に基づいて適宜サプレス係数を調整することから、歪曲収差を有する場合にエッジ付近に発生する偽色を効果的に抑制することができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

第１の実施形態に係る画像処理装置の構成図である。 第１の実施形態に係る画像処理装置内のＬＰＦ処理部の一例を示した図である。 第１の実施形態に係るフィルタ係数の一例を示した図である。 第１の実施形態に係るフィルタ特性の一例を示した図である。 第１の実施形態に係る画像処理装置内のクロマサプレス部の一例を示した図である。 輝度レベルとＳＴ、ＶＯとの関係を示した図である。 第２の実施形態に係る画像処理装置内のクロマサプレス部の一例を示した図である。 ＴＨとｋとの関係を示した図である。 第２の実施形態に係る画像処理装置内のＬＰＦ処理部の一例を示した図である。 第２の実施形態に係るフィルタ係数の配列を示した図である。 光学中心部における歪曲収差補正後の画素配列を示した図である。 周辺部における歪曲収差補正後の画素配列を示した図である。 図１２を等価的に示した図である。 フィルタ係数の配列を示した図である。 第３の実施形態に係る光学系の構成を示した図である。 第３の実施形態に係る画像処理装置の構成図である。 第３の実施形態に係る画像処理装置内のＬＰＦ処理部の一例を示した図である。 第３の実施形態に係る画像処理装置内のクロマサプレス部の一例を示した図である。 第３の実施形態に係る歪曲収差補正の方法を示す図である。 第３の実施形態に係る歪曲収差を有する光学系により被写体を撮影した場合の撮影画像を示した図である。 従来例において、光学系に樽型の歪曲収差がある場合の歪曲収差補正前後の画素配列を示した図である。 従来例において、歪曲収差補正前後の画像を示す図である。 従来例におけるクロマサプレス部の一例を示した図である。 従来例におけるＬＰＦ処理部の一例を示した図である。 従来例に係る画像処理装置の構成図である。 樽型の歪曲収差がある場合の歪曲収差補正の方法を示す図である。 樽型の歪曲収差を有する光学系により被写体を撮影した場合の撮影画像を示した図である。

符号の説明

１・・・プリプロセス、
２・・・ＣＰＵ、
３・・・ＳＤＲＡＭ、
８、２８・・・座標・距離生成部、
１４・・・イメージプロセス、
１５、２５・・・歪補正処理部、
１６、２６・・・イメージプロセス、
８１、２８１・・・歪補正後座標生成部、
８３・・・距離演算部、
８２、２８２・・・座標距離格納部、
１４１、１６２・・・ＤＭＡ、
１４２・・・第一画像処理部、
１５１、２５１・・・Ｒ用歪補正処理部、
１５２、２５２・・・Ｇ用歪補正処理部、
１５３、２５３・・・Ｂ用歪補正処理部、
１６１・・・第二画像処理部、
４２１・・・遅延部、
４２２、１４２２・・・フィルタ処理部、
４２３、１４２３・・・フィルタ係数算出部、
４２４、１４２４・・・距離算出部、
４２６・・・座標算出部
５１２、２５１２・・・アドレス変換部、
５１３・・・メモリ、
５１４、２５１４・・・補間演算部、
６１１・・・マトリクス、
６１２、１６１２・・・エッジ判定部、
６１３、１６１３・・・サプレス係数算出部、
６１４・・・乗算部、
６１５、１６１５・・・歪サプレス係数算出部、
１５１１、２５１１・・・歪補正前座標変換部、
１５１５・・・ＬＵＴ、
２４２３・・・第一フィルタ係数算出部、
２４２４・・・第二フィルタ係数算出部、
２４２５、２６１７・・・乗算部、
２６１５・・・第一歪サプレス係数算出部、
２６１６・・・第二歪サプレス係数算出部、

Claims (16)

1. 光学系の歪曲収差特性に起因する歪みを含む画像データに対し、その画素位置の前記歪みを補正する歪補正部と、
   前記歪補正部に入力される前記画像データに対し、フィルタ係数に基づき所定のフィルタ処理を施すフィルタ処理部と、
   前記フィルタの係数として、前記画像データの前記光学系の光学的中心に対応する位置から前記フィルタ処理の対象となる対象画素までの距離若しくは相対座標を入力として、前記対象画素位置における前記歪曲収差特性に応じた係数を設定するフィルタ係数設定部と、
   を有することを特徴とする画像処理装置。
2. 前記フィルタ係数設定部は、前記歪処理部から出力された画像データ上で、全領域に亘って周波数特性がほぼ同一となるように前記フィルタ係数を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記フィルタ係数設定部は、前記歪処理部に入力される画像データ上の各画素間に対応する前記歪処理部から出力された画像データ上における各画素間の距離に応じて前記フィルタ係数を設定することを特徴とする請求項１に記載の画像処理装置。
4. 前記歪補正部から出力された画像データの前記光学的中心に対応する位置から着目画素までの距離若しくは相対座標を入力として、前記着目画素における前記歪曲収差特性に係る歪曲収差量に応じた偽色を抑圧するためのサプレス係数を設定し、前記サプレス係数に基づき、前記画像データのエッジ近傍に位置する前記着目画素の偽色を抑圧するクロマサプレス処理部を更に有することを特徴とする請求項１に記載の画像処理装置。
5. 前記クロマサプレス処理部は、前記サプレス係数を前記歪曲収差量が大きいほど前記偽色を抑圧する度合いを強くするように設定することを特徴とする請求項４に記載の画像処理装置。
6. 前記クロマサプレス処理部は、前記歪曲収差量が大きいほど前記偽色を抑圧する画像データの領域を広くするように設定することを特徴とする請求項４に記載の画像処理装置。
7. 前記歪補正部は、前記光学的中心に対応する前記画像データの位置から前記着目画素までの距離若しくは相対座標を入力として、前記歪を補正した前記着目画素における画像データを演算することを特徴とする請求項４に記載の画像処理装置。
8. 前記光学系は、非回転対称でかつ光学的中心を法線とする平面内で互いに直交する方向に対して独立な歪曲収差特性を有する複数のレンズを複数有してなるレンズ群で構成されていることを特徴とする請求項１から７までの何れか１項に記載の画像処理装置。
9. 光学系の歪曲収差特性に起因する歪みを含む画像データに対し、その画素位置の歪みを補正する歪補正ステップと、
   前記歪補正ステップにおいて、前記画像データの前記歪が補正されるのに先立って、フィルタ係数に基づき所定のフィルタ処理を施すフィルタ処理ステップと、
   前記フィルタ係数として画像データの光学系の光学的中心に対応する位置からフィルタ処理の対象となる対象画素までの距離若しくは相対座標を入力として、対象画素位置における歪曲収差特性に応じた係数を設定するフィルタ係数設定ステップと、
   を有することを特徴とする画像処理方法。
10. 前記フィルタ係数設定ステップは、前記歪補正ステップにおいて出力される画像データ上で、全領域に亘って周波数特性がほぼ同一となるように前記フィルタ係数を設定することを特徴とする請求項９に記載の画像処理方法。
11. 前記フィルタ係数設定ステップは、前記歪補正ステップに入力される画像データ上の各画素間に対応する、前記歪補正ステップにおいて出力される画像データ上における各画素間の距離に応じて前記フィルタ係数を設定することを特徴とする請求項９に記載の画像処理方法。
12. 前記フィルタ係数設定ステップにおいて出力される画像データの前記光学的中心に対応する位置から着目画素までの距離若しくは相対座標を入力として、前記着目画素における前記歪曲収差特性に係る歪曲収差量に応じた偽色を抑圧するためのサプレス係数を設定し、前記サプレス係数に基づき、前記画像データのエッジ近傍に位置する前記着目画素の偽色を抑圧するクロマサプレスステップを更に有することを特徴とする請求項９に記載の画像処理方法。
13. 前記クロマサプレスステップは、前記サプレス係数を前記歪曲収差量が大きいほど前記偽色を抑圧する度合いを強くするように設定することを特徴とする請求項１２に記載の画像処理方法。
14. 前記クロマサプレスステップは、前記歪曲収差量が大きいほど前記偽色を抑圧する画像データの領域を広くするように設定することを特徴とする請求項１２に記載の画像処理方法。
15. 前記フィルタ係数設定ステップは、前記光学的中心に対応する前記画像データの位置から前記着目画素までの距離若しくは相対座標を入力として、前記歪みを補正した前記着目画素における画像データを演算することを特徴とする請求項１２に記載の画像処理方法。
16. 前記光学系は、非回転対称でかつ光学的中心を法線とする平面内で互いに直交する方向に対して独立な歪曲収差特性を有する複数のレンズを複数有してなるレンズ群で構成されていることを特徴とする請求項９から１５までの何れか１項に記載の画像処理方法。
    
    

Images