JP2009033304A - 画像フィルタ、画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】急峻なピークを持つ出力特性の画像フィルタを簡易な構成で実現する。
【解決手段】周波数特性がそれぞれ異なる第１のフィルタ部２０ａおよび第２のフィルタ部２０ｂと、第１のフィルタ部２０ａを通過した入力画像信号の絶対値成分から、第２のフィルタ部２０ｂを通過した入力画像信号の絶対値成分を減算する減算部２０ｃと、減算部２０ｃからの出力信号のうち、負の成分を０に置き換える０クリップ部２０ｄとを備える。第１のフィルタ部２０ａは、特定の空間周波数を含む周波数帯域の成分を通過させるような出力特性を有し、第２のフィルタ部２０ｂは、これと同じ特定の空間周波数の入力成分について減算部２０ｃからの出力が最大となるように構成される。これにより、上記の特定の空間周波数において急峻なピークが現れるような出力特性が簡易な構成で得られる。
【選択図】図２

Description

本発明は、入力画像信号から所望の空間周波数の成分を検出する画像フィルタ、この画像フィルタを備えた画像処理装置、撮像装置、画像処理方法およびプログラムに関する。

単板式の撮像素子を用いて撮像した画像では、その画像を再生する際に、実際とは異なる色が表示（再生）される“色偽”と呼ばれる現象が発生することが知られている。この現象は、Ｒ（Red），Ｇ（Green），Ｂ（Blue）などの色成分ごとに空間的なサンプリング周波数が異なることに起因して発生する。

例えば、人間の視感度特性上、Ｇ信号はＲ信号やＢ信号と比較して解像度に影響する度合いが高い。このため、Ｇ信号と比較して、Ｒ信号およびＢ信号のサンプリング点数は少なく、サンプリング周波数が低いことが一般的となっている。従って、Ｒ信号およびＢ信号が表現可能な信号の最大周波数（ナイキスト周波数）は、Ｇ信号より低い。この場合、ナイキスト周波数以上のＲ信号およびＢ信号が入力されると、それらの信号はナイキスト周波数を中心とした折り返り信号となる。このような実際には存在しない折り返り信号が、色偽を発生させる。

Ｇ信号のサンプリング周波数をｆｓとすると、Ｒ信号およびＢ信号のサンプリング周波数がともに（１／２）ｆｓまたは（１／４）ｆｓの場合、折り返り信号による色偽が最も強く発生する（すなわち、Ｒ信号およびＢ信号のＤＣ成分が折り返される）のは、Ｒ信号およびＢ信号における空間周波数が（１／２）ｆｓまたは（１／４）ｆｓを中心とした周波数帯域に含まれる部分である。

そこで、従来の撮像装置では、このような折り返り信号による色偽発生の影響を軽減するために、（１／２）ｆｓ、（１／４）ｆｓをそれぞれ中心とした周囲の周波数帯域の信号成分（エッジ成分）をフィルタを用いて検波し、その信号レベルを抑圧するような処理を施していた（例えば、特許文献１参照）。また、エッジ検出フィルタにより検出された領域の色差データを、ローパスフィルタにより平均化するようにしたものもあった（例えば、特許文献２参照）。さらに、輝度信号に基づく高周波エリア内であって、かつ、色差信号に基づく低彩度エリア内である画素について、色差信号を抑圧するようにしたものもあった（例えば、特許文献３参照）。
特開平１１−２８５０１３号公報（段落番号〔００１６〕〜〔００２２〕、図１） 特開２００２−２６２２９９号公報（段落番号〔００２９〕〜〔００３３〕、図４） 特開２００３−２２４８５９号公報（段落番号〔００６５〕〜〔００８５〕、図５）

ところで、上述したような折り返り信号による色偽発生の影響を軽減するためには、（１／２）ｆｓ、（１／４）ｆｓをそれぞれ中心とする周波数帯域の成分を正確に検出できる必要がある。このためには、ターゲットとする周波数帯域を中心とした急峻な出力特性を持つフィルタが必要となる。しかし、急峻な出力特性を得るためにはフィルタのＴＡＰ数を大きくする必要があり、このようなフィルタは回路規模が非常に大きく、処理負荷も高くなるため、実際に採用するのは難しいという問題があった。このため、従来の撮像装置や画像処理装置では、（１／２）ｆｓや（１／４）ｆｓを中心とする周波数帯域を検波するフィルタとして、例えば、−１，０，２，０，−１というフィルタ係数を持つものなど、比較的ＴＡＰ数の小さい、ブロードな出力特性を持つフィルタを採用せざるを得なかった。

また、撮像装置や画像処理装置においては、上記のような色偽対策用の検波に限らず、特定の空間周波数帯域の検波などを目的とした各種のデジタルフィルタが搭載されている。しかし、このようなフィルタとして、急峻な出力特性を持つものを採用することは、上記と同様の理由により難しいという問題もあった。

本発明はこのような課題に鑑みてなされたものであり、特定の空間周波数に急峻なピークを持つ出力特性を簡易な構成で実現可能な画像フィルタ、このような画像フィルタを備えた画像処理装置、撮像装置、画像処理方法およびプログラムを提供することを目的とする。

本発明では上記課題を解決するために、入力画像信号から所望の空間周波数の成分を検出する画像フィルタにおいて、それぞれ異なる周波数特性を有する第１のフィルタ部および第２のフィルタ部と、前記第１のフィルタ部を通過した前記入力画像信号の絶対値成分から、前記第２のフィルタ部を通過した前記入力画像信号の絶対値成分を減算する減算部と、を有し、前記第１のフィルタ部は、特定の空間周波数を含む周波数帯域の成分を通過させるように構成され、前記第２のフィルタ部は、前記特定の空間周波数の入力成分について前記減算部からの出力が最大となるように構成されたことを特徴とする画像フィルタが提供される。

このような画像フィルタでは、それぞれ異なる周波数特性を有する第１のフィルタ部と第２のフィルタ部とが設けられ、第１のフィルタ部を通過した入力画像信号の絶対値成分から、第２のフィルタ部を通過した入力画像信号の絶対値成分が、減算部によって減算される。また、第１のフィルタ部は、特定の空間周波数を含む周波数帯域の成分を通過させるように構成され、第２のフィルタ部は、これと同じ特定の空間周波数の入力成分について減算部からの出力が最大となるように構成される。

また、本発明では、入力画像信号から所望の空間周波数の成分を検出する画像フィルタを備えた画像処理装置において、前記画像フィルタは、それぞれ異なる周波数特性を有する第１のフィルタ部および第２のフィルタ部と、前記第１のフィルタ部を通過した前記入力画像信号の絶対値成分から、前記第２のフィルタ部を通過した前記入力画像信号の絶対値成分を減算する減算部と、を有し、前記第１のフィルタ部は、特定の空間周波数を含む周波数帯域の成分を通過させるように構成され、前記第２のフィルタ部は、前記特定の空間周波数の入力成分について前記減算部からの出力が最大となるように構成されたことを特徴とする画像処理装置が提供される。

このような画像処理装置では、画像フィルタにおいて、それぞれ異なる周波数特性を有する第１のフィルタ部と第２のフィルタ部とが設けられ、第１のフィルタ部を通過した入力画像信号の絶対値成分から、第２のフィルタ部を通過した入力画像信号の絶対値成分が、減算部によって減算される。また、第１のフィルタ部は、特定の空間周波数を含む周波数帯域の成分を通過させるように構成され、第２のフィルタ部は、これと同じ特定の空間周波数の入力成分について減算部からの出力が最大となるように構成される。

また、第２のフィルタ部の例として、上記の特定の空間周波数またはその近傍の入力成分について出力が最小となるような出力特性を有するものを適用できる。この場合、第１のフィルタ部の出力の絶対値成分では、特定の空間周波数の成分が確実に出力されるが、第２のフィルタ部の出力の絶対値成分では、同じ特定の空間周波数の成分の出力が最小となるため、これらの絶対値成分の差は他の空間周波数の場合と比較して極端に大きくなる。このため、入力画像信号に対する減算部での出力特性においては、上記の特定の空間周波数において急峻なピークが現れるようになる。

本発明によれば、周波数特性の異なる２つのフィルタ部の出力の絶対値成分の差分を減算部において算出する構成とし、第１のフィルタ部として、単に、特定の空間周波数を含む周波数帯域の成分を通過させるような出力特性を持つ構成とし、第２のフィルタ部として、これと同じ特定の空間周波数の入力成分について減算部からの出力が最大となるような構成とすることで、特定の空間周波数に急峻なピークが現れるような出力特性の画像フィルタを簡易な構成で実現できる。

また、第２のフィルタ部を、上記の特定の空間周波数またはその近傍の入力成分について出力が最小となるような出力特性を有するものとした場合には、画像フィルタの減算部での入力画像信号に対する出力特性において、特定の空間周波数において急峻なピークが現れるようになり、このような出力特性を、特定の空間周波数を含む周波数帯域の成分を通過させる第１のフィルタ部と、これと同じ特定の空間周波数の入力成分について出力が最小となるような出力特性を有する第２のフィルタ部という簡易な構成の２つのフィルタ部によって実現することができる。特に、これらの通過域特性の条件を満たしていれば、第１のフィルタ部と第２のフィルタ部のどちらについてもＴＡＰ数を大きくする必要がないため、画像フィルタの回路規模や処理負荷を抑制できる。

以下、本発明を、デジタルスチルカメラなど、撮像画像をデジタルデータとして記録可能な撮像装置に適用した場合を例に挙げて、本発明の実施の形態を図面を参照して詳細に説明する。

図１は、実施の形態に係る撮像装置の構成を示すブロック図である。
図１に示す撮像装置は、光学ブロック１１、撮像素子１２、ＡＦＥ（Analog Front End）回路１３、カメラ信号処理回路１４、画像エンコーダ１５、記録装置１６、ディスプレイ１７、およびマイクロコンピュータ１８を具備する。

光学ブロック１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備しており、これらはマイクロコンピュータ１８からの制御信号に基づいて駆動される。

撮像素子１２は、ＣＣＤ（Charge Coupled Devices）あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、被写体から光学ブロック１１を通じて入射した光を、電気信号に変換する。

ＡＦＥ回路１３は、撮像素子１２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。

カメラ信号処理回路１４は、ＡＦＥ回路１３からの画像信号を基にＡＦ（Auto Focus）処理、ＡＥ（Auto Exposure）処理などのための各種検波処理を行う。また、その画像信号に対して、ホワイトバランス調整処理や色補正処理などの信号処理を施す。本実施の形態では、特に、このカメラ信号処理回路１４の内部に、後述するフィルタ２０が設けられている。

画像エンコーダ１５は、カメラ信号処理回路１４からの画像信号に対して、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式などの所定の画像データフォーマットで圧縮符号化処理を行う。ディスプレイ１７は、例えばＬＣＤ（Liquid Crystal Display）からなり、カメラ信号処理回路１４からの画像信号に基づく撮像画像を表示する。

マイクロコンピュータ１８は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成され、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。

《差分フィルタの構成》
次に、カメラ信号処理回路１４に設けられているフィルタ２０について説明する。このフィルタ２０は、入力画像データから、特定の空間周波数を含む周波数帯域の信号成分を検波するためのものであり、ここでは最初に、例として（１／４）ｆｓを中心とする周波数帯域を検波するためのフィルタの構成について説明する。なお、以下の説明では、フィルタ２０が検波のターゲットとする空間周波数（すなわち、出力が最大となる空間周波数）を“検波周波数ｆｔ”と呼ぶことにする。

なお、以下の説明では、フィルタ係数として、ｈ_-i，ｈ_-(i-1)，ｈ_-(i-2)，……，ｈ_-1，ｈ₀，ｈ₁，……，ｈ_i-2，ｈ_i-1，ｈ_iを有するデジタルフィルタを、“［ｈ_-i，ｈ_-(i-1)，ｈ_-(i-2)，……，ｈ_-1，ｈ₀，ｈ₁，……，ｈ_i-2，ｈ_i-1，ｈ_i］フィルタ”と呼び、そのフィルタの出力値を［ｈ_-i，ｈ_-(i-1)，ｈ_-(i-2)，……，ｈ_-1，ｈ₀，ｈ₁，……，ｈ_i-2，ｈ_i-1，ｈ_i］と表すことにする。例えば、注目画素のデータをｘ₀とし、この注目画素を中心とした連続５画素のデータを、ｘ_-2，ｘ_-1，ｘ₀，ｘ₁，ｘ₂とすると、注目画素にＴＡＰ数が“５”である［−１，０，２，０，−１］フィルタを適用したときの出力値は、次の式（１）によって表される。
［−１，０，２，０，−１］＝（−１）×ｘ_-2＋０×ｘ_-1＋２×ｘ₀＋０×ｘ₁＋（−１）×ｘ₂ ……（１）
図２は、実施の形態に係るフィルタの基本構成を示すブロック図である。また、図３は、（１／４）ｆｓを中心とする周波数帯域を検波するフィルタの構成例について説明するための図である。

フィルタ２０は、周波数特性の異なる２つのフィルタを備えており、ここでは図２に示すように、それらを第１のフィルタ部２０ａ、第２のフィルタ部２０ｂとする。第１のフィルタ部２０ａおよび第２のフィルタ部２０ｂは、このフィルタ２０の検波周波数ｆｔの入力成分がそれぞれに入力されたときに、それぞれの出力の絶対値の差分が最大となるように構成される。

このような条件を満たす第１のフィルタ部２０ａおよび第２のフィルタ部２０ｂの代表的な構成例としては、第１のフィルタ部２０ａとして、検波周波数ｆｔを含む周波数帯域の成分を通過させるような出力特性を持つものを適用し、第２のフィルタ部２０ｂとして、検波周波数ｆｔを含む周波数帯域の成分の出力が、その周囲の周波数帯域より小さくなるような出力特性を持つものを適用することが可能である。また、そのような第２のフィルタ部２０ｂとして、検波周波数ｆｔ（またはその近傍）の入力成分について出力が最小となるような出力特性を持つものを適用可能である。

以下の説明では、例として、フィルタ２０の検波周波数ｆｔを（１／４）ｆｓとし、第１のフィルタ部２０ａとして、検波周波数ｆｔの入力成分について出力が最大となるような出力特性を持つバンドパスフィルタを適用する。図３では例として、（１／４）ｆｓを中心とする周波数帯域を検波するための［−１，０，２，０，−１］フィルタを用いており、この第１のフィルタ部２０ａの出力特性を図中上段のグラフに示している。

一方、第２のフィルタ部２０ｂとしては、フィルタ２０の検波周波数ｆｔにおいて出力値が０となるような（すなわち、検波周波数ｆｔがＮＵＬＬ点となるような）出力特性を持つものを適用する。最も代表的な構成としては、第２のフィルタ部２０ｂとして、フィルタ２０の検波周波数ｆｔの１／２を中心とする周波数帯域を検波するためのバンドパスフィルタを用いることができる。図３では例として、（１／８）ｆｓを中心とする周波数帯域を検波するための［−１，０，０，０，２，０，０，０，−１］フィルタを用いており、この第２のフィルタ部２０ｂの出力特性も図中上段のグラフに示している。

図２に示すように、フィルタ２０は、基本的に、入力画像信号をそれぞれ受ける第１のフィルタ部２０ａおよび第２のフィルタ部２０ｂと、第１のフィルタ部２０ａの出力の絶対値から、第２のフィルタ部２０ｂの出力の絶対値を減算する減算部２０ｃとを備えた差分フィルタとして実現される。また、減算部２０ｃからの出力値のうち、０未満の値は、０クリップ部２０ｄによって０に固定されて出力される。

図３の例では、フィルタ２０の出力特性ｙ₁は、次の式（２）によって表される値の０以上の成分となる。ただし、Ｋｘ＞０である。また、図２では、係数Ｋｘを乗算するブロックを省略している。
ｙ₁＝Ｋｘ｜［−１，０，２，０，−１］｜−｜［−１，０，０，０，２，０，０，０，−１］｜ ……（２）
このようなフィルタ２０の出力成分は、図３上段のグラフにおける斜線領域に相当し、出力特性は下段のグラフのようになる。このフィルタ２０では、フィルタ２０の検波周波数帯域ｆｔにおいて、第１のフィルタ部２０ａの出力の絶対値が大きくなり、逆に第２のフィルタ部２０ｂの出力値が０となることで、それらの差分値が極めて大きな値となることから、検波周波数ｆｔにおいて急峻なピークを持つような出力特性となる。このため、検波周波数ｆｔの近傍のみの信号成分を正確に検波することが可能になる。

また、このフィルタ２０は、第１のフィルタ部２０ａ、第２のフィルタ部２０ｂともに、上記の条件を満たすようなブロードな出力特性を持つものを用いることができるので、簡単な回路構成によって上記の出力特性を得ることが可能になる。特に、図３の例のように、フィルタ２０の検波周波数ｆｔと同じ検波周波数を持つ第１のフィルタ部２０ａと、その１／２の検波周波数を持つ第２のフィルタ部２０ｂとを採用でき、しかも、両方とも比較的ＴＡＰ数の少ないフィルタ部を用いることができる。このため、フィルタ２０の回路構成を簡易化でき、処理負荷を低くすることができる。

なお、第１のフィルタ部２０ａの出力特性においては、フィルタ２０の検波周波数ｆｔが必ずしも出力値のピークとなっている必要はない。例えば、この検波周波数ｆｔの周辺帯域で出力特性曲線が凹んだ形状や歪んだ形状となっていてもよい。すなわち、第２のフィルタ部２０ｂの出力特性がフィルタ２０の検波周波数ｆｔにＮＵＬＬ点を持っていれば、この検波周波数ｆｔを含む帯域において、第１のフィルタ部２０ａが周囲の帯域と比較して大きな出力特性を有していることで、それらの差分値は周囲と比較して明らかに大きな値となり、急峻なピークを持つ出力特性を得ることが可能になる。

また、上記の式（２）において、係数Ｋｘを変化させると、第１のフィルタ部２０ａの出力特性曲線が、係数Ｋｘが１となる状態を境に＋方向あるいは−方向に変化する。このため、係数Ｋｘに応じて、図３中の領域Ｒ１で表される検波帯域の幅を変化させることができる。従って、例えばユーザによる設定操作などに応じて、マイクロコンピュータ１８からフィルタ２０に対して係数Ｋｘを指定し、フィルタ２０の出力特性を任意に設定変更することも可能である。また、式（２）では第１のフィルタ部２０ａの出力に係数Ｋｘによるゲインを与えているが、その代わりに第２のフィルタ部２０ｂの出力にゲインを与えるようにしてもよい。

図４は、（１／４）ｆｓを中心とする周波数帯域を検波するフィルタの別の構成例について説明するための図である。
図４では、フィルタ２０を構成する第１のフィルタ部２０ａおよび第２のフィルタ部２０ｂとして、よりＴＡＰ数の少ないフィルタを用いた場合の出力特性例を示している。ここでは、第１のフィルタ部２０ａとして、（１／４）ｆｓを中心とする周波数帯域を検波するための［−１，０，１］フィルタを、第２のフィルタ部２０ｂとして、（１／８）ｆｓを中心とする周波数帯域を検波するための［−１，０，０，０，１］フィルタをそれぞれ用いており、これらのフィルタ部を用いたフィルタ２０の出力特性ｙ₂は、次の式（３）によって表される値の０以上の成分となる。
ｙ₂＝Ｋｘ｜［−１，０，１］｜−｜［−１，０，０，０，１］｜ ……（３）
図４に示すように、このような構成のフィルタ２０であっても、その出力特性には十分に急峻なピークが現れるようになる。なお、この場合でも、係数Ｋｘを変化させることにより、図中の領域Ｒ２で示されるフィルタ２０の検波帯域の幅を変化させることができる。

一方、図５は、（１／４）ｆｓを中心とする周波数帯域を検波するフィルタを、単独のフィルタ部により実現した場合の出力特性例を示す図である。
この図５では、例として、（１／４）ｆｓを中心とする周波数帯域を検波するための［−３，０，５，０，−５，０，６，０，−５，０，５，０，−３］フィルタの出力特性例を示している。このフィルタは、図４の場合の２つのフィルタ部のＴＡＰ数より多くのＴＡＰ数を持ち、係数に対して多くのビット数が必要でありながらも、その出力特性には図４の場合ほど急峻なピークが現れていない。一般に、図３あるいは図４に示すような急峻なピークを持つ出力特性のフィルタを実現するには、ＴＡＰ数を数十以上とする必要がある。

従って、図２〜図４で説明したような差分フィルタを用いることで、極めて急峻なピークを持つ出力特性を実現しながらも、ＴＡＰ数や、係数のビット数などを抑制でき、回路規模を大幅に縮小することができる。また、このような差分フィルタをソフトウェア処理によって実現する場合でも、処理負荷を軽減できる。

なお、上記の例では、第２のフィルタ部２０ｂとして、フィルタ２０（あるいは第１のフィルタ部）の検波周波数ｆｔの１／２を中心とする周波数帯域を検波するフィルタを用いたが、この他に例えば検波周波数ｆｔの１／４を中心とする周波数帯域を検波するフィルタを適用可能な場合もある。例えば、フィルタ２０の検波周波数ｆｔが（１／４）ｆｓであり、第２のフィルタ部２０ｂが（１／１６）ｆｓを中心とする周波数帯域を検波する比較的ＴＡＰ数の少ないものである場合には、この第２のフィルタ部２０ｂの出力特性には、（１／８）ｆｓ，（１／４）ｆｓ，（３／８）ｆｓにおいてＮＵＬＬ点が現れる。このため、差分フィルタの出力特性においては、（１／４）ｆｓを中心とする周波数帯域だけでなく、（１／８）ｆｓや（３／８）ｆｓをそれぞれ中心とする周波数帯域にも、急峻なピークが現れる可能性がある。

しかし、後述するように、色偽の発生部分を検波するためにこの差分フィルタを用いた場合、Ｒ信号およびＢ信号のサンプリング周波数がＧ信号のサンプリング周波数ｆｓの１／８であれば、色偽は（１／４）ｆｓに加えて、（１／８）ｆｓや（３／８）ｆｓをそれぞれ中心とする周波数帯域に対応する画像領域にも発生し得る。従って、このような目的では、第２のフィルタ部２０ｂとして、フィルタ２０の検波周波数ｆｔの１／８を中心とする周波数帯域を検波するものを用いることも可能である。

次に、他の検波周波数のフィルタ２０の構成例について説明する。図６は、（１／２）ｆｓを中心とする周波数帯域を検波するフィルタの構成例について説明するための図である。

他の検波周波数のフィルタ２０であっても、上記と同様に、第１のフィルタ部２０ａと第２のフィルタ部２０ｂとの出力の絶対値の差分を出力とする構成により実現できる。図６の例では、第１のフィルタ部２０ａとして、（１／２）ｆｓを中心とする周波数帯域を検波するための［−１，２，−１］フィルタを、第２のフィルタ部２０ｂとして、（１／４）ｆｓを中心とする周波数帯域を検波するための［−１，０，２，０，−１］フィルタをそれぞれ用いており、これらのフィルタ部を用いたフィルタ２０の出力特性ｙ₃は、次の式（４）によって表される値の０以上の成分となる。
ｙ₃＝Ｋｘ｜［−１，２，１］｜−｜［−１，０，２，０，−１］｜ ……（４）
図６の下段に示すように、このような構成のフィルタ２０であっても、その出力特性には十分に急峻なピークが現れるようになる。従って、極めて急峻なピークを持つ出力特性でありながらも、ＴＡＰ数や係数のビット数が少ない、簡易な回路構成のフィルタ２０を実現できる。なお、この場合でも、係数Ｋｘを変化させることにより、図中の領域Ｒ３で示されるフィルタ２０の検波帯域の幅を変化させることができる。

図７は、（１／８）ｆｓを中心とする周波数帯域を検波するフィルタの構成例について説明するための図である。
この図７の例では、第１のフィルタ部２０ａとして、（１／４）ｆｓを中心とする周波数帯域を検波するための［−１，０，０，０，１］フィルタを、第２のフィルタ部２０ｂとして、（１／８）ｆｓを中心とする周波数帯域を検波するための［−１，０，０，０，０，０，０，０，１］フィルタをそれぞれ用いており、これらのフィルタ部を用いたフィルタ２０の出力特性ｙ₄は、次の式（５）によって表される値の０以上の成分となる。
ｙ₄＝Ｋｘ｜［−１，０，０，０，１］｜−｜［−１，０，０，０，０，０，０，０，１］｜ ……（５）
このような第１のフィルタ部２０ａおよび第２のフィルタ部２０ｂを用いた場合には、図７の下段に示すように、（１／８）ｆｓおよび（３／８）ｆｓを中心とする周波数帯域において、ともに出力特性上の急峻なピークが現れるようになる。例えば、このようなフィルタ２０を原理的に色偽の発生が予測される周波数帯域を検波するために用いた場合、Ｒ信号およびＢ信号のサンプリング周波数がＧ信号のサンプリング周波数ｆｓの１／８であれば、色偽は（１／８）ｆｓや（３／８）ｆｓを中心とする周波数帯域に対応する画像領域にも発生し得る。従って、このような目的では、図７のような出力特性のフィルタ２０を用いることも可能である。

ところで、以上のような急峻なピークを持つような出力特性のフィルタ２０を、図１のような撮像装置に用いることで、フィルタ２０の出力特性が、レンズ光学系の伝達関数（ＭＴＦ：Modulated Transfer Function）の影響を受けないようにできるという効果も得られる。この点について、次の図８および図９を用いて説明する。

図８および図９は、ブロードな出力特性のフィルタ、急峻なピークを持つ出力特性のフィルタをそれぞれ用いたときの出力特性の変化について説明するための図である。
図８および図９のそれぞれの中央に示したグラフのように、レンズＭＴＦは、概ね、空間周波数が高くなるほどコントラスト（信号振幅、明暗の差、解像度など）が低くなるという特性を持つ。このため、図８のようにブロードな出力特性のフィルタ（ここでは例として［−１，０，２，０，−１］フィルタ）を用いた場合、このフィルタの出力特性とレンズＭＴＦの特性とが相乗されて、図中右端のように、全体の出力特性としてはピーク位置がシフトされることになる。従って、検波対象でない帯域の信号成分が強く出力されてしまい、検波精度が劣化する。例えば、このフィルタの検波結果を基に色偽の発生し得る領域を特定し、その画素の信号補正処理を行った場合には、色偽が発生していない領域の画素の色が変化してしまう。

これに対して、図２〜図４，図６，図７において説明したような、検波対象の周波数帯域において急峻な出力特性を持つフィルタを用いることで、出力特性がレンズＭＴＦにより変化するという現象を防止することができる。図９に示すように、急峻なピークを持つ出力特性のフィルタを用いた場合、レンズＭＴＦの特性が加味された場合でも、総合的な出力特性上の傾きには変化が生じるものの、ピーク位置がシフトされることはなくなる。従って、所望の検波周波数においてフィルタ出力が確実に最大となって、この検波周波数を中心とした近傍帯域の成分を確実に検波することができ、例えば色偽が発生し得る領域の画素を正確に検出できるようになる。

《差分フィルタを色偽の発生し得る領域の検出に用いた場合の実施の形態》
次に、図１の撮像装置において、原理的に色偽が強く発生する領域を、上記のフィルタ２０（差分フィルタ）を用いて検波し、色偽発生の影響を軽減する処理（色消し処理）を行う場合の実施の形態について説明する。

図１０は、カメラ信号処理回路の内部構成例を示すブロック図である。
この図１０に示すように、カメラ信号処理回路１４は、前処理部２１、後処理部２２、エッジ検出部２３、色抽出部２４、および色消し部２５を備えている。

前処理部２１は、ＡＦＥ回路１３から供給された画像信号に対して、撮像素子１２における欠陥画素の信号補正処理、レンズの周辺光量落ちを補正するシェーディング処理などを施す。さらに、本実施の形態では、Ｒ−Ｇ信号およびＢ−Ｇ信号を生成して出力する。後処理部２２は、ＡＦ、ＡＥ、ホワイトバランス制御などのための信号検波処理や、ホワイトバランス調整、ガンマ補正などの画質補正処理などを実行する。そして、画質補正後の画像信号を、輝度信号（Ｙ）と色差信号（Ｃｒ，Ｃｂ）に変換する。

エッジ検出部２３、色抽出部２４、および色消し部２５は、色偽に関する処理を実行するためのブロックである。エッジ検出部２３は、前処理部２１からのＧ信号を基に、原理的に色偽が強く発生する周波数帯域に対応する領域（エッジ部）を検出するブロックである。このエッジ検出部２３では、上述した差分フィルタがエッジ検出フィルタとして用いられる。色抽出部２４は、前処理部２１からのＲ−Ｇ信号およびＢ−Ｇ信号を基に、色偽が発生し得る色を持つ画素を抽出する。

これらのうち、エッジ検出部２３は、エッジ検出の度合いに応じたゲインを出力し、色抽出部２４は、色抽出の度合いに応じたゲインを出力する。これらのブロックから出力されるゲインは、ともに“０．０”以上“１．０”以下の値を持つ。なお、エッジ検出部２３によるエッジ検出の度合いは、係数Ｋｘの設定値によっても変化し、色抽出部２４による色抽出の度合いは、抽出対象とする色領域の設定によっても変化する。

色消し部２５は、エッジ検出部２３および色抽出部２４からの各ゲインに応じて、前処理部２１からの、色偽が発生し得る画素のＲ−Ｇ信号およびＢ−Ｇ信号の信号レベルを抑制する。

以上の構成では、サンプリング周波数の高いＧ信号を基にエッジ部を検出し、色偽の発生し得る部分を特定するのに加えて、色信号成分を基に色偽が発生し得る色を持つ画素を抽出する。そして、これらの２つの検出結果を基に画素データを補正することで、正確に色偽発生部分の色消し処理を行い、色偽発生の影響を確実に軽減できるようにしている。

図１１は、色偽に関する処理を実行するブロックの内部構成を示す図である。
エッジ検出部２３は、（１／２）ｆｓ検波用差分フィルタ３１、（１／４）ｆｓ検波用差分フィルタ３２、最大値選択部３３、コアリング・リミッタ部３４、およびゲイン調整部３５を備えている。色抽出部２４は、色抽出処理部４１およびゲイン調整部４２を備えている。色消し部２５は、乗算器５１、減算器５２、および乗算器５３を備えている。

（１／２）ｆｓ検波用差分フィルタ３１は、例えば図６において説明したような差分フィルタである。この場合、（１／２）ｆｓ検波用差分フィルタ３１は、Ｇ信号から（１／２）ｆｓを中心とする周波数帯域を検波する第１のフィルタ部と、第１のフィルタ部の出力の絶対値に係数Ｋ１（ただし、Ｋ１＞０）を乗算する乗算器と、Ｇ信号から（１／４）ｆｓを中心とする周波数帯域を検波する第２のフィルタ部と、乗算器の出力値から第２のフィルタ部の出力の絶対値を減算する減算器と、減算器の出力値のうち、０未満の値を０に置き換える０クリップ部とから構成される。なお、係数Ｋ１は、ユーザ操作などに応じてマイクロコンピュータ１８から任意に設定可能とされてもよい。

（１／４）ｆｓ検波用差分フィルタ３２は、例えば図３あるいは図４において説明したような差分フィルタである。この場合、（１／４）ｆｓ検波用差分フィルタ３２は、Ｇ信号から（１／４）ｆｓを中心とする周波数帯域を検波する第１のフィルタ部と、第１のフィルタ部の出力の絶対値に係数Ｋ２（ただし、Ｋ２＞０）を乗算する乗算器と、Ｇ信号から（１／８）ｆｓを中心とする周波数帯域を検波する第２のフィルタ部と、乗算器の出力値から第２のフィルタ部の出力の絶対値を減算する減算器と、減算器の出力値のうち、０未満の値を０に置き換える０クリップ部とから構成される。なお、係数Ｋ２は、ユーザ操作などに応じてマイクロコンピュータ１８から任意に設定可能とされてもよい。

最大値選択部３３は、（１／２）ｆｓ検波用差分フィルタ３１および（１／４）ｆｓ検波用差分フィルタ３２の各出力値を比較し、値の大きい方を選択して出力する。例えば、Ｇ信号のサンプリング周波数ｆｓに対して、Ｒ信号およびＢ信号のサンプリング周波数が（１／４）ｆｓの場合、空間周波数が（１／４）ｆｓおよび（１／２）ｆｓをそれぞれ中心とする周波数帯域に対応する画像領域において、Ｒ信号およびＢ信号の折り返り信号による色偽が発生しやすい。このため、検波対象としている（１／４）ｆｓまたは（１／２）ｆｓのいずれかを中心とした周波数帯域のうち、検波出力がより大きな値の方のフィルタの検波値が、最大値選択部３３により選択される。

また、最大値選択部３３では、マイクロコンピュータ１８からの指定により、任意の差分フィルタの出力値を選択できるようにしてもよい。例えば、Ｒ信号およびＢ信号のサンプリング周波数が（１／２）ｆｓの場合、空間周波数が（１／２）ｆｓを中心とする周波数帯域に対応する画像領域において、Ｒ信号およびＢ信号の折り返り信号による色偽が発生しやすい。このため、このような仕様の場合には、最大値選択部３３において常に（１／２）ｆｓ検波用差分フィルタ３１の出力のみが選択されるようにすればよい。

このように、エッジ検出部２３では、エッジ検出フィルタとして、（１／２）ｆｓを中心とする周波数帯域の検波用と（１／４）ｆｓを中心とする周波数帯域の検波用の２つの差分フィルタが搭載されたことで、Ｒ信号およびＢ信号のサンプリング周波数が（１／２）ｆｓの場合と（１／４）ｆｓの場合の両方に対応できるようになっている。

コアリング・リミッタ部３４は、最大値選択部３３からの出力値の上限や下限を制限するブロックである。出力値の上限を制限するのがリミッタ処理であるが、このリミッタ処理は、上述した構成を有する（１／２）ｆｓ検波用差分フィルタ３１および（１／４）ｆｓ検波用差分フィルタ３２の出力特性が、極めて急峻なピークを持つものであることから、そのピークに対応する非常に狭い画像領域に対して極端に強い補正（すなわち色消し処理）が施されて、不自然な画像となることを防止するために行われる。一方、出力値の下限を制限するのがコアリング処理であるが、この処理により、ノイズ成分として無視できる小さな出力値を除去することができる。なお、これらの出力制限の特性を決めるしきい値は、ユーザ操作などに応じてマイクロコンピュータ１８から設定可能とされてもよい。

ゲイン調整部３５は、コアリング・リミッタ部３４の出力値（すなわち、エッジ検出の度合いを示すゲイン値）をさらに調整するブロックであり、ここでの調整度合いも、ユーザ操作などに応じてマイクロコンピュータ１８から設定可能とされてもよい。

ここで、図１２は、コアリング・リミッタ部と、その後段のゲイン調整部の各内部構成例を示すブロック図である。また、図１３は、図１２のコアリング・リミッタ部の内部における入出力特性の変化を示す図である。

コアリング・リミッタ部３４は、減算器３０１、セレクタ３０２、ビットシフタ３０３、加算器３０４、減算器３０５、および０クリップ部３０６を備えている。
まず、リミッタ処理を実現するためのブロックについて説明する。

減算器３０１は、所定のしきい値ｔｈ２（ただし、ｔｈ２≧０）を、最大値選択部３３からの入力値から減算する。なお、このしきい値ｔｈ２については、あらかじめ決められた固定値が入力されてもよいし、あるいは、ユーザによる入力操作などに応じてマイクロコンピュータ１８から設定できるようにしてもよい。

セレクタ３０２は、減算器３０１の出力値におけるＭＳＢ（Most Significant Bit）の符号ビットに基づき、減算器３０１の出力値が負の場合には、ビットシフタ３０３に対して指示値０を出力し、減算器３０１の出力値が０以上の場合には、例えばマイクロコンピュータ１８から指定される指示値ｔｈ２＿ｇａｉｎ（ここでは、ｔｈ２＿ｇａｉｎ＞０とする）を出力する。なお、この指示値ｔｈ２＿ｇａｉｎは固定値であってもよい。

ビットシフタ３０３は、セレクタ３０２からの指示値に応じたシフト量だけ、減算器３０１の出力値を下位にシフトする。ここでは例えば、指示値０の場合、ビットシフタ３０３はシフトを行わない。また、指示値１，２，３，……の場合、ビットシフタ３０３はそれぞれ１ビット，２ビット，３ビット，……だけ入力データを下位にシフトする。加算器３０４は、ビットシフタ３０３の出力値に対して、しきい値ｔｈ２を加算する。

このような減算、ビットシフト、加算の動作により、加算器３０４の出力部であるノードＮ４では、図１３に示すように、入力値がしきい値ｔｈ２を超える領域において、入出力直線の傾きが緩やかにされて、出力値が抑制される。このような前段の入出力変換処理が、リミッタ処理に相当する。

なお、この図１２では、リミッタ処理をビットシフタを用いて実現した例を示したが、このような構成に限らず、リミッタ処理は、一般的に次のように表すことができる。入力値をｘ、出力値をｙとしたとき、ｘ−ｔｈ２≦０の場合には、ｙ＝ｘ（すなわち入出力変換を行わない）とし、ｘ−ｔｈ２＞０の場合には、ｙ＝（ｘ−ｔｈ２）×ａ＋ｔｈ２の式に従って入出力変換を行う。なお、ａは、０．０＜ａ＜１．０の条件を満たす係数であり、この係数ａについては、あらかじめ決められた固定値とされてもよいし、あるいは、ユーザの操作入力などに応じてマイクロコンピュータ１８から設定できるようにしてもよい。

次に、コアリング処理を実現するためのブロックについて説明する。
減算器３０５は、所定のしきい値ｔｈ１（ただし、０≦ｔｈ１≦ｔｈ２）を、加算器３０４の出力値から減算する。なお、このしきい値ｔｈ１については、あらかじめ決められた固定値が入力されてもよいし、あるいは、ユーザによる入力操作などに応じてマイクロコンピュータ１８から設定できるようにしてもよい。０クリップ部３０６は、減算器３０５の出力値のうち、０未満の値を０に固定して出力する。

このような減算および０クリップの処理により、０クリップ部３０６の出力部であるノードＮ６では、図１３に示すように、しきい値ｔｈ１までの入力値が０に固定される。なお、コアリング処理を実現するための構成は、このような減算器３０５および０クリップ部３０６からなる構成に限ったものではない。

以上のコアリング・リミッタ部３４では、入力されるエッジ検出信号のうち、出力値が小さい領域（ここでは０以上しきい値ｔｈ１以下の領域）に対してはコアリング処理が適用され、出力値が大きい領域（ここではしきい値ｔｈ２以上の領域）に対してはリミッタ処理が適用されることになる。コアリング処理により、検波信号の値が小さい領域では出力を０に変換して、ノイズや誤差に相当する検波信号の成分を除去できる。また、リミッタ処理により、エッジ検出フィルタの出力特性が急峻なピークを持つことにより、周囲の画素と比較して極端に大きな補正がかかってしまうことを防止することができる。これらの処理により、不自然な色補正が行われることが防止される。

次に、図１２に示すように、ゲイン調整部３５は、乗算器３１１およびＯＦＬ（Overflow Limiter）３１２を備える。乗算器３１１は、コアリング・リミッタ部３４からの出力値と、所定のゲイン値ｅｄｇｅ＿ｇａｉｎとを乗算する。なお、このゲイン値ｅｄｇｅ＿ｇａｉｎについては、あらかじめ決められた固定値が入力されてもよいし、あるいは、ユーザによる操作入力などに応じてマイクロコンピュータ１８から設定できるようにしてもよい。ＯＦＬ３１２は、乗算器３１１からの出力値が、ゲイン値“１．０”に対応する値以上となった場合に、これらをゲイン値“１．０”に対応する値に固定して出力する。すなわち、ゲイン調整部３５では、ゲイン値ｅｄｇｅ＿ｇａｉｎを変化させてゲイン演算を行うことにより、色消し部２５に対する出力ゲイン値を“０，０”から“１．０”の間に抑え込む。

次に、色抽出部２４の色抽出処理部４１における色抽出処理について説明する。まず、図１４は、色偽が発生しやすい色の抽出領域を二次元色差平面によって表した図の一例である。また、図１５は、色偽が発生しやすい色の抽出領域を三次元空間によって表した図の一例である。

図１４は、Ｂ−Ｇ信号およびＲ−Ｇ信号の各レベルを軸とした二次元平面（二次元色差平面）により、色領域を表したものである。色偽が発生しやすい領域としては、青色をほぼ中心としたシアンからマゼンダの色領域（図１４中の斜線領域）が考えられ、ここではこの色領域を抽出することを考える。

図１４のような二次元平面に対して、色領域における出力レベルを示す軸をさらに加えたのが、図１５に示す三次元空間である。出力レベルとは、入力されたある色に対して、どれだけの色抽出能力を発生するかを定義したものであり、この出力レベルが、色抽出処理部４１から出力されるゲインの値となる。例えば、出力レベルが０となる領域では、色情報の入力に対して何も抽出されず、出力ゲインが０となる。なお、ここでは、出力レベル（ゲイン）の最大値を“１．０”に対応する値とする。

Ｒ−Ｇ信号のレベルをｘ、Ｂ−Ｇ信号のレベルをｙ、出力レベルをｚとする三次元空間においては、ａｘ＋ｂｙ＋ｃｚ＝ｄなる一般的な平面の式によって平面が表される。この式に従い、次の式（６）および（７）により、三次元空間を通る平面Ａおよび平面Ｂをそれぞれ定義する。
平面Ａ＝（ｓｉｇ＿ｒｇ＋ｏｆｓｔ＿ｒｇ）×ｇａｉｎ＿ｒｇ１＋（ｓｉｇ＿ｂｇ＋ｏｆｓｔ＿ｂｇ）×ｇａｉｎ＿ｂｇ１ ……（６）
平面Ｂ＝（ｓｉｇ＿ｒｇ＋ｏｆｓｔ＿ｒｇ）×ｇａｉｎ＿ｒｇ２＋（ｓｉｇ＿ｂｇ＋ｏｆｓｔ＿ｂｇ）×ｇａｉｎ＿ｂｇ２ ……（７）
ここで、Ｒ−Ｇ信号のレベルをｓｉｇ＿ｒｇ、Ｂ−Ｇ信号のレベルをｓｉｇ＿ｂｇとしている。なお、上述した平面の一般式では、ｓｉｇ＿ｒｇはｘ、ｓｉｇ＿ｂｇはｙ、平面Ａおよび平面Ｂはｚに相当する。また、ｏｆｓｔ＿ｒｇ，ｏｆｓｔ＿ｂｇ，ｇａｉｎ＿ｒｇ１，ｇａｉｎ＿ｒｇ２，ｇａｉｎ＿ｂｇ１，ｇａｉｎ＿ｂｇ２は、平面Ａおよび平面Ｂが通る位置を調整するための係数である。

色抽出処理部４１で抽出される色領域は、上記の式（６）で表される平面Ａ、および式（７）で表される平面Ｂのうちの最小値として表される。ただし、負の領域を“０．０”に固定し、“１．０”以上の領域を“１．０”にする。このような色領域は、図１５に示すように、平面Ａと、平面Ｂと、ｚ＝０の平面（すなわち出力レベルが“０．０”となる平面）とに囲まれた領域となる。

なお、図１５（Ｂ）は、図１５（Ａ）の場合に対して、ｇａｉｎ＿ｒｇ１，ｇａｉｎ＿ｒｇ２，ｇａｉｎ＿ｂｇ１，ｇａｉｎ＿ｂｇ２の係数を変えて平面Ａおよび平面Ｂの傾きをきつくしたものであり、このような係数の変更により、より広い領域で、色抽出処理の能力を高める（すなわち、色抽出処理部４１の出力レベルを高める）ことができることがわかる。また、ｏｆｓｔ＿ｒｇ，ｏｆｓｔ＿ｂｇの各係数を変化させることで、平面ＡおよびＢと色差平面とが交差する直線の位置、すなわち色差平面上の色抽出対象領域が変更される。

図１６は、色抽出処理部と、その後段のゲイン調整部の内部構成例を示すブロック図である。
色抽出処理部４１は、上述した動作を実現するための各種演算回路によって構成される。すなわち、加算器４０１、乗算器４０２、加算器４０３、加算器４０４、および乗算器４０５により、上記の式（６）の演算が実現される。また、加算器４０１、乗算器４０６、加算器４０４、乗算器４０７、および加算器４０８により、上記の式（７）の演算が実現される。なお、ｏｆｓｔ＿ｒｇ，ｏｆｓｔ＿ｂｇ，ｇａｉｎ＿ｒｇ１，ｇａｉｎ＿ｒｇ２，ｇａｉｎ＿ｂｇ１，ｇａｉｎ＿ｂｇ２の各係数は、あらかじめ決められた固定値が入力されてもよいし、あるいは、マイクロコンピュータ１８から任意に設定可能とされてもよい。

０クリップ部４０９は、加算器４０３の出力値（すなわち、式（６）の演算結果）のうち、０未満の値を０に固定して出力する。ＯＦＬ４１０は、０クリップ部４０９の出力値がゲイン値“１．０”に対応する値以上となった場合に、これらをゲイン値“１．０”に対応する値に固定して出力する。

同様に、０クリップ部４１１は、加算器４０８の出力値（すなわち、式（７）の演算結果）のうち、０未満の値を０に固定して出力する。ＯＦＬ４１２は、０クリップ部４１１の出力値がゲイン値“１．０”に対応する値以上となった場合に、これらをゲイン値“１．０”に対応する値に固定して出力する。最小値選択部４１３は、ＯＦＬ４１０および４１２の各出力値のうち、値の小さい方をゲインとして出力する。

次に、ゲイン調整部４２は、色抽出処理部４１からの出力ゲインをさらに調整するためのブロックであり、乗算器４２１およびＯＦＬ４２２を備えている。乗算器４２１は、色抽出処理部４１からの出力値に対して、係数ｃｈｒｏｍａ＿ｇａｉｎを乗算する。この係数ｃｈｒｏｍａ＿ｇａｉｎは、マイクロコンピュータ１８から設定可能とされてもよい。ＯＦＬ４２２は、乗算器４２１の出力値がゲイン値“１．０”に対応する値以上となった場合に、これらをゲイン値“１．０”に対応する値に固定して出力する。このような動作により、色抽出処理部４１からの出力ゲインが“０．０”から“１．０”のレンジに収まるように調整される。

以下、図１１に戻って説明する。上述したように、色消し部２５は、エッジ検出部２３からの出力ゲインと、色抽出部２４からの出力ゲインとに応じて、前処理部２１からのＲ−Ｇ信号およびＢ−Ｇ信号の信号レベルを抑制する。この色消し部２５において、乗算器５１は、エッジ検出部２３からの出力ゲインと、色抽出部２４からの出力ゲインとを乗算する。これにより、エッジ検出部２３により色偽の発生しやすい周波数帯域の信号である（すなわち、エッジ部である）と強く判定され、かつ、色抽出部２４により色偽の発生しやすい色領域の信号であると強く判定された画素に対しては、ゲイン値がより“１．０”に近づくようになる。逆に、双方の検出値がともに低い場合には、ゲイン値は“０．０”に近づくようになる。これにより、エッジ検出ゲインのみ、あるいは色抽出ゲインのみを用いた場合と比較して、色偽発生が予測される画素に対して色消し処理のための補正ゲインを精度よく算出することができる。

減算器５２は、ゲイン値“１．０”に対応する値から、乗算器５１の出力値を減算する。乗算器５３は、入力されたＲ−Ｇ信号およびＢ−Ｇ信号に対して、減算器５２からの出力ゲインを乗算する。ここで、“０．０”から“１．０”までの値をとる乗算器５１の出力値は、色偽が発生する可能性が高い画素ほど大きな値となっている。従って、乗算器５１の出力が“１．０”に近いほど（すなわち、エッジ検出ゲインおよび色抽出ゲインが高いほど）、減算器５２の出力はより“０．０”に近くなる。乗算器５３では、より“０．０”に近い値をＲ−Ｇ信号およびＢ−Ｇ信号に乗算することにより、各信号レベルを強く抑制する。逆に、より“１．０”に近い値をＲ−Ｇ信号およびＢ−Ｇ信号に乗算することで、各信号レベルの抑制度合いは低くなり、“１．０”をＲ−Ｇ信号およびＢ−Ｇ信号に乗算した場合には、各信号レベルは抑制されずにそのまま流れる。すなわち、乗算器５３は、Ｒ−Ｇ信号およびＢ−Ｇ信号のレベルを、色偽が発生する可能性が高いほど大きく低下させる。これにより、対象の画素に対していわゆる色消し処理が施され、その画素の色が目立たないようにされる。

以上の構成のカメラ信号処理回路１４では、急峻なピークを持つ出力特性の差分フィルタをエッジ検出処理に用いたことで、色偽の発生しやすい帯域の信号を確実に検出でき、色偽の検出精度が高められる。特に、エッジ検出精度に対するレンズＭＴＦの影響を除外し、常に所望の帯域の信号を高精度に検出できるようになる。また、このような検出処理を、ＴＡＰ数が少ない、小さな規模の回路によって実現できる。

また、エッジ検出結果を示すゲインに対してコアリング処理やリミッタ処理を施し、その入出力特性を変更できる構成としたことで、エッジとして検出された画素に対して極端な補正がかかって、不自然な画像が生成されることを防止することができる。

さらに、エッジ検出処理とともに、色偽の発生しやすい色領域の信号を抽出する処理を併用し、各処理による検出結果を基に色消し処理を施すようにしたことで、色消し処理の誤動作を防止し、色偽とは関係のない画素に補正がかからないようにすることができる。

《第３の実施の形態》
図１７は、カメラ信号処理回路の別の内部構成例を示すブロック図である。
この図１７に示すカメラ信号処理回路１４ａにおいて、前処理部２１ａおよび後処理部２２ａの機能は、図１０に示した前処理部２１および後処理部２２にそれぞれ対応する。ただし、図１７の例では、前処理部２１ａによって処理された画像信号は、ＲＧＢ信号のまま出力されて、後処理部２２ａにおいて処理される。また、後処理部２２ａでは、各種の処理を施した画像信号が、最終的に輝度信号（Ｙ）と色差信号（Ｃｂ，Ｃｒ）に変換されて出力される。

エッジ検出部２３は、後処理部２２ａからの輝度信号の入力を受け、図１０の場合と同様に、入力された輝度信号から色偽検出のためのエッジ検出を行う。一方、色抽出部２４ａは、図１０の色抽出部２４とほぼ同様の構成を有するが、Ｒ−Ｇ信号およびＢ−Ｇ信号からではなく、後処理部２２ａからの色差信号（Ｃｂ，Ｃｒ）を基に、色偽検出のための色抽出処理を行う。色消し部２５は、図１０の場合と同様に、エッジ検出部２３および色抽出部２４ａからのゲインに応じて、色消し処理を実行する。ただし、ここでは、後処理部２２ａからの色差信号（Ｃｂ，Ｃｒ）に対して、信号レベルを抑制するような処理を施す。

以上の構成のカメラ信号処理回路１４ａにおいても、図１０の構成の場合と同様に、回路規模の小さい差分フィルタによって、原理的に色偽が強く発生し得る周波数帯域の画素を高精度に検出できる。また、エッジ検出処理と色抽出処理とを併用して、色消し処理の精度を向上させることもできる。

なお、以上の図１０や図１７に示した実施の形態では、色抽出処理を色差信号またはＣｒ，Ｃｂ信号を用いて行ったが、輝度信号および色差信号を生成する前のＲＧＢ信号を用いて色抽出処理を行うようにしてもよい。また、色消し処理においては、色差信号またはＣｒ，Ｃｂ信号に対して補正を行ったが、その代わりに色比信号（Ｒ／Ｇ信号，Ｂ／Ｇ信号）に対して補正を行うようにしてもよい。

また、上記の図１０や図１７に示した実施の形態では、図２〜図３，図４，図６，図７において説明した差分フィルタを、色偽検出のためのエッジ検出フィルタとして用いた例を示したが、この差分フィルタの用途はこれに限ったことではない。例えば、撮像装置において、フォーカスが合っているか否かを検出するためのエッジ検出フィルタとして、上記の差分フィルタを利用することができる。また、この差分フィルタは、撮像装置に限らず、入力画像信号から特定の空間周波数帯域の成分を検出するためのいかなるバンドパスフィルタにも用いることができる。

また、この差分フィルタの処理機能をコンピュータによって実現することもできる。その場合、上記処理機能の内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

実施の形態に係る撮像装置の構成を示すブロック図である。 実施の形態に係るフィルタの基本構成を示すブロック図である。 （１／４）ｆｓを中心とする周波数帯域を検波するフィルタの構成例について説明するための図である。 （１／４）ｆｓを中心とする周波数帯域を検波するフィルタの別の構成例について説明するための図である。 （１／４）ｆｓを中心とする周波数帯域を検波するフィルタを、単独のフィルタ部により実現した場合の出力特性例を示す図である。 （１／２）ｆｓを中心とする周波数帯域を検波するフィルタの構成例について説明するための図である。 （１／８）ｆｓを中心とする周波数帯域を検波するフィルタの構成例について説明するための図である。 ブロードな出力特性のフィルタを用いたときの出力特性の変化について説明するための図である。 急峻なピークを持つ出力特性のフィルタを用いたときの出力特性の変化について説明するための図である。 カメラ信号処理回路の内部構成例を示すブロック図である。 色偽に関する処理を実行するブロックの内部構成を示す図である。 コアリング・リミッタ部と、その後段のゲイン調整部の各内部構成例を示すブロック図である。 図１２のコアリング・リミッタ部の内部における入出力特性の変化を示す図である。 色偽が発生しやすい色の抽出領域を二次元色差平面によって表した図の一例である。 色偽が発生しやすい色の抽出領域を三次元空間によって表した図の一例である。 色抽出処理部と、その後段のゲイン調整部の内部構成例を示すブロック図である。 カメラ信号処理回路の別の内部構成例を示すブロック図である。

符号の説明

１１……光学ブロック、１２……撮像素子、１３……ＡＦＥ回路、１４……カメラ信号処理回路、１５……画像エンコーダ、１６……記録装置、１７……ディスプレイ、１８……マイクロコンピュータ、２０……フィルタ、２０ａ……第１のフィルタ部、２０ｂ……第２のフィルタ部、２０ｃ……減算部、２０ｄ……０クリップ部

Claims (28)

1. 入力画像信号から所望の空間周波数の成分を検出する画像フィルタにおいて、
   それぞれ異なる周波数特性を有する第１のフィルタ部および第２のフィルタ部と、
   前記第１のフィルタ部を通過した前記入力画像信号の絶対値成分から、前記第２のフィルタ部を通過した前記入力画像信号の絶対値成分を減算する減算部と、
   を有し、
   前記第１のフィルタ部は、特定の空間周波数を含む周波数帯域の成分を通過させるように構成され、
   前記第２のフィルタ部は、前記特定の空間周波数の入力成分について前記減算部からの出力が最大となるように構成されたことを特徴とする画像フィルタ。
2. 入力画像信号から所望の空間周波数の成分を検出する画像フィルタを備えた画像処理装置において、
   前記画像フィルタは、
   それぞれ異なる周波数特性を有する第１のフィルタ部および第２のフィルタ部と、
   前記第１のフィルタ部を通過した前記入力画像信号の絶対値成分から、前記第２のフィルタ部を通過した前記入力画像信号の絶対値成分を減算する減算部と、
   を有し、
   前記第１のフィルタ部は、特定の空間周波数を含む周波数帯域の成分を通過させるように構成され、
   前記第２のフィルタ部は、前記特定の空間周波数の入力成分について前記減算部からの出力が最大となるように構成されたことを特徴とする画像処理装置。
3. 前記第２のフィルタ部は、前記特定の空間周波数またはその近傍の入力成分について出力が最小となるような出力特性を有することを特徴とする請求項２記載の画像処理装置。
4. 前記第１のフィルタ部は、前記特定の空間周波数またはその近傍の入力成分について出力が最大となるような出力特性を有することを特徴とする請求項３記載の画像処理装置。
5. 前記第２のフィルタ部は、前記特定の空間周波数またはその近傍の入力成分について出力が０となるような出力特性を有することを特徴とする請求項３記載の画像処理装置。
6. 前記第２のフィルタ部は、前記特定の空間周波数の１／２または１／４の入力成分について出力の絶対値成分が最大となるような出力特性を有することを特徴とする請求項５記載の画像処理装置。
7. 前記画像フィルタは、前記減算部からの出力信号のうち、負の成分を０に置き換えるクリップ処理部をさらに有することを特徴とする請求項３記載の画像処理装置。
8. 前記第１のフィルタ部および前記第２のフィルタ部の少なくとも一方は、バンドパスフィルタであることを特徴とする請求項３記載の画像処理装置。
9. 前記画像フィルタをエッジ検出フィルタとして用いたことを特徴とする請求項３記載の画像処理装置。
10. 前記画像フィルタによる前記入力画像信号からのエッジの検出度合いに応じて、前記入力画像信号中の対応する画素の信号レベルを抑制する色消し処理部をさらに有することを特徴とする請求項９記載の画像処理装置。
11. 前記色消し処理部は、前記画像フィルタからの出力レベルが大きいほど、前記入力画像信号中の対応する画素の信号レベルを強く抑制することを特徴とする請求項１０記載の画像処理装置。
12. 前記画像フィルタからの出力レベルを一定の割合で抑制するリミッタ処理部をさらに有し、
    前記色消し処理部は、前記リミッタ処理部からの出力レベルに応じて、前記入力画像信号中の対応する画素の信号レベルを抑制することを特徴とする請求項１１記載の画像処理装置。
13. 前記リミッタ処理部は、前記画像フィルタからの出力レベルが所定のしきい値以上の場合に、その出力レベルを抑制することを特徴とする請求項１２記載の画像処理装置。
14. 前記リミッタ処理部では、出力レベルの抑制の割合と、前記しきい値とが、外部からの入力操作に応じて設定可能とされていることを特徴とする請求項１３記載の画像処理装置。
15. 前記画像フィルタからの出力レベルが所定のしきい値未満の場合には、その出力レベルを０とし、前記所定のしきい値以上の場合には、出力０を起点として前記画像フィルタからの出力レベルに応じて出力を増やすように、前記画像フィルタからの出力レベル変換するコアリング処理部をさらに有し、
    前記色消し処理部は、前記コアリング処理部からの出力レベルに応じて、前記入力画像信号中の対応する画素の信号レベルを抑制することを特徴とする請求項１１記載の画像処理装置。
16. 前記コアリング処理部では、前記しきい値が、外部からの入力操作に応じて設定可能とされていることを特徴とする請求項１５記載の画像処理装置。
17. 前記入力画像信号の色成分のうち、Ｇ（Green）成分の空間的なサンプリング周波数がｆｓであり、他の色成分の空間的なサンプリング周波数が（１／２）ｆｓである場合、前記画像フィルタにおける前記第１のフィルタ部が通過させる前記特定の空間周波数は（１／２）ｆｓであることを特徴とする請求項１０記載の画像処理装置。
18. 前記入力画像信号の色成分のうち、Ｇ（Green）成分の空間的なサンプリング周波数がｆｓであり、他の色成分の空間的なサンプリング周波数が（１／４）ｆｓである場合、前記画像フィルタにおける前記第１のフィルタ部が通過させる前記特定の空間周波数は（１／４）ｆｓまたは（１／２）ｆｓであることを特徴とする請求項１０記載の画像処理装置。
19. 前記画像フィルタは、前記入力画像信号の輝度成分からエッジを検出し、
    前記色消し処理部は、前記入力画像信号の色成分に対して、画素の信号レベルを抑制する処理を施すことを特徴とする請求項１０記載の画像処理装置。
20. 前記入力画像信号から特定の色領域の成分を抽出する色抽出処理部をさらに有し、
    前記色消し処理部は、前記画像フィルタからの出力レベルと、前記色抽出処理部からの出力レベルとを基に、前記入力画像信号中の対応する画素の信号レベルを抑制することを特徴とする請求項１０記載の画像処理装置。
21. 前記色消し処理部は、前記画像フィルタからの出力レベルに応じた値と、前記色抽出処理部からの出力レベルに応じた値との乗算値を基に、最終的な信号抑制ゲインを生成して前記入力画像信号に適用することを特徴とする請求項２０記載の画像処理装置。
22. 前記色抽出処理部は、色差信号を２つの軸とした色差平面に対して、色の抽出能力を示す抽出レベルを垂直な軸として加えた三次元空間において、前記色差平面上での色の抽出対象領域と、前記色差平面における色の抽出対象領域の境界となる直線を通る複数の平面とによって囲まれる空間領域を、色抽出領域としたことを特徴とする請求項２０記載の画像処理装置。
23. 前記色抽出処理部では、前記色差平面における色の抽出対象領域の境界位置と、前記色差平面における色の抽出対象領域の境界となる直線を通る複数の平面を定義するパラメータとが、外部からの入力操作に応じて設定可能とされていることを特徴とする請求項２２記載の画像処理装置。
24. 前記第１のフィルタ部を通過した前記入力画像信号の絶対値成分に対して所定の係数を乗算する係数乗算部と、
    外部からの入力操作に応じて前記係数乗算部に前記係数を設定する係数設定部と、
    をさらに有し、
    前記減算部は、前記係数乗算部からの出力成分から、前記第２のフィルタ部を通過した前記入力画像信号の絶対値成分を減算することを特徴とする請求項３記載の画像処理装置。
25. 前記第２のフィルタ部を通過した前記入力画像信号の絶対値成分に対して所定の係数を乗算する係数乗算部と、
    外部からの入力操作に応じて前記係数乗算部に前記係数を設定する係数設定部と、
    をさらに有し、
    前記減算部は、前記第１のフィルタ部を通過した前記入力画像信号の絶対値成分から、前記係数乗算部からの出力成分を減算することを特徴とする請求項３記載の画像処理装置。
26. 固体撮像素子により画像を撮像する撮像装置において、
    それぞれ異なる周波数特性を有する第１のフィルタ部および第２のフィルタ部と、
    前記第１のフィルタ部を通過した撮像画像信号の絶対値成分から、前記第２のフィルタ部を通過した前記撮像画像信号の絶対値成分を減算する減算部と、
    を備えた画像フィルタを有し、
    前記第１のフィルタ部は、特定の空間周波数を含む周波数帯域の成分を通過させるように構成され、
    前記第２のフィルタ部は、前記特定の空間周波数の入力成分について前記減算部からの出力が最大となるように構成されたことを特徴とする撮像装置。
27. 入力画像信号から所望の空間周波数の成分を検出するための画像処理方法において、
    それぞれ異なる周波数特性を有する第１のフィルタ部および第２のフィルタ部のそれぞれに対して、前記入力画像信号を入力させるステップと、
    前記第１のフィルタ部を通過した前記入力画像信号の絶対値成分から、前記第２のフィルタ部を通過した前記入力画像信号の絶対値成分を減算するステップと、
    を含み、
    前記第１のフィルタ部を、特定の空間周波数を含む周波数帯域の成分を通過させるように構成し、
    前記第２のフィルタ部を、前記特定の空間周波数の入力成分について前記減算部からの出力が最大となるように構成したことを特徴とする画像処理方法。
28. 入力画像信号から所望の空間周波数の成分を検出するための画像処理プログラムにおいて、
    コンピュータを、
    それぞれ異なる周波数特性を有する第１のフィルタ手段および第２のフィルタ手段、
    前記第１のフィルタ手段を通過した前記入力画像信号の絶対値成分から、前記第２のフィルタ手段を通過した前記入力画像信号の絶対値成分を減算する減算手段、
    として機能させ、
    前記第１のフィルタ手段は、特定の空間周波数を含む周波数帯域の成分を通過させるように構成され、
    前記第２のフィルタ手段は、前記特定の空間周波数の入力成分について前記減算手段からの出力が最大となるように構成されたことを特徴とする画像処理プログラム。

Images