JP2006319460A - 輝度信号処理装置 - Google Patents

Abstract

【課題】 解像度の向上と、色境界での偽の輪郭信号発生の抑制とを両立させる。
【解決手段】 ベイヤ配列のカラーフィルタを有するイメージセンサ出力に基づく画像信号データは、複数ライン出力変換部２０２で水平方向の複数ライン出力に変換されて出力される。検出部２０６〜２１０は、画素単位や所定の領域単位で、輝度信号エッジレベル等を検出し、帯域補正係数αを設定する。色キャリア除去／高域レベル補正フィルタ部２０３は、画素単位や所定の領域単位で、上記帯域補正係数αに応じたフィルタ処理を行い、ＲＧＢベイヤ配列の色キャリア成分を含んだセンサ信号に基づく画像信号データから色キャリア成分を除去して輝度信号を出力する。
【選択図】図３

Description

本発明は、例えば、ディジタルカメラ用に開発されたイメージセンサから出力される映像信号から広帯域のディジタル輝度信号を得て高解像度画像を得ることなどができる映像信号処理装置等の輝度信号処理装置に関するものである。

近年、カメラ業界におけるアナログ技術からディジタル技術への移行には目覚しいものがある。特にフィルムも現像も不要なディジタルスチルカメラは活況を呈し、携帯電話もカメラ搭載型が主流を占めている。

現状では、例えば、ディジタルカメラとしては、色再現性重視の観点から原色フィルタ搭載センサに対応した信号処理を採用したカメラが主流であり、解像度を重視してかつ色のＳ／Ｎの優れたディジタル信号処理が必要とされ、解像度の低下を抑えつつノイズ除去を行い得るような撮像装置などが提案されている（例えば、特許文献１参照。）。

この種の撮像装置における輝度信号処理装置は、例えば図９に示すように構成されている。同図において、５０１はＲＧＢ（赤緑青）ベイヤ配列のフィルタを有するイメージセンサからのセンサ出力がノイズ除去、増幅、およびＡ／Ｄ変換された画像信号データに対して、黒レベル補正、ガンマ補正、およびゲイン補正等を行う前処理部、５０２はセンサから読み出されるセンサ出力を水平方向の複数ライン出力に変換出力する複数ライン出力変換部、５０３はセンサのベイヤ配列に起因して発生しセンサ出力に重畳されている色キャリア成分を除去し、輝度信号データを生成するローパスフィルタ、５０４は色キャリア成分除去後の輝度信号データから高域成分を抽出加算し、輝度信号データの輪郭強調を行う輪郭強調補正部、５０５は輝度信号データのバイアスレベルや、ゲインなどを調整する後処理部である。

図１０は上記センサ出力の周波数成分を示す。

上記輝度信号処理装置では、処理の最初にローパスフィルタ処理をかけ、ナイキスト周波数近傍の高域の色キャリア成分を除去出力して輝度信号の主信号を生成し、その信号を用いて、輪郭強調補正が行われる。ここで、輝度信号処理は、フレーム単位で行われ、色キャリア成分除去用のローパスフィルタ５０３の特性は１画面内の全ての領域に対して均一とされている。
特開２００１−１８９９４４号公報

しかしながら上記のような従来の輝度信号処理装置では、色キャリア成分除去用のローパスフィルタ５０３の特性が１画面内の全ての領域に対して均一であるため、例えば肌色の部分など特定の色の部分での解像度を高めるためにローパスフィルタ５０３の通過帯域を高域側に広げると、ＲＧＢベイヤ配列での色の変化が激しい境界での残留色キャリア成分から偽の輪郭信号が発生し、適切に輪郭強調できないという問題点を有していた。

本発明は、上記の点に鑑み、所定の色の部分等での解像度の向上と、色境界での偽の輪郭信号発生の抑制との両立などを容易に図ることができるようにすることを目的としている。

上記の課題を解決するため、請求項１の発明は、
赤、緑、および青のベイヤ配列のフィルタを有するイメージセンサからのセンサ信号に基づくカラー画像信号データに基づいて輝度信号データを出力する輝度信号処理装置であって、
上記カラー画像信号データに対して、黒レベル調整、ガンマ補正、およびゲイン補正のうちの少なくとも何れかの処理を行う前処理部と、
上記前処理部から出力される画像信号データに対して、複数ライン分の画像信号データを同時に出力する複数ライン出力変換部と、
上記複数ライン出力変換部から出力される画像信号データに基づいて、色キャリア成分除去、および高域レベル補正を行う色キャリア成分除去高域レベル補正フィルタ部と、
上記色キャリア成分除去高域レベル補正フィルタ部から出力される画像信号データに基づいて、輪郭強調補正を行う輪郭強調補正部と、
上記複数ライン出力変換部から出力される画像信号データに基づいて、低い空間周波数成分の輝度信号レベル、輝度信号エッジレベル、所定色であるかどうか、色差エッジレベル、および赤、緑、または青データが飽和レベルであるかどうかのうちの少なくとも何れかを検出する検出部と、
を備え、
上記色キャリア成分除去高域レベル補正フィルタ部のフィルタ特性が、１画素または複数の画素ごとに、上記検出部による検出結果に応じて、適応的に設定されるように構成されていることを特徴とする。

また、請求項２の発明は、
請求項１の輝度信号処理装置であって、
上記色キャリア成分除去高域レベル補正フィルタ部は、
画像における水平方向のラインに対応したフィルタ組と、垂直方向のラインに対応したフィルタ組とを有し、
各フィルタ組は、それぞれ、互いに周波数特性の異なる複数のフィルタを有し、
各フィルタ組内の上記複数のフィルタの特性が、上記検出部による検出結果に応じたレベル適応係数に基づいて合成されるように構成されていることを特徴とする。

また、請求項３の発明は、
請求項２の輝度信号処理装置であって、
上記フィルタ組は、それぞれ、各フィルタの出力と各フィルタに対応する上記レベル適応係数との積の合計を出力するように構成され、
各フィルタ組内の各フィルタに対応する上記レベル適応係数の合計は１になるように設定されることを特徴とする。

また、請求項４の発明は、
請求項２の輝度信号処理装置であって、
上記フィルタは、それぞれ、１つ以上のタップ係数が設定されることによって特性が設定されるディジタルフィルタであり、
各フィルタごとのタップ係数の合計が、それぞれ互いに等しくなるように設定されていることを特徴とする。

また、請求項５の発明は、
請求項１の輝度信号処理装置であって、
上記色キャリア成分除去高域レベル補正フィルタ部のフィルタ特性が、１画素または複数画素の領域のうち、低い空間周波数成分の輝度信号レベルが所定の範囲内である領域、輝度信号エッジレベルが所定の範囲内である領域、所定色である領域、色差エッジレベルが所定の範囲内である領域、および赤、緑、または青データが飽和レベルである領域の少なくとも何れかの領域に対して、上記検出部による検出結果に応じて設定されるように構成されていることを特徴とする。

また、請求項６の発明は、
請求項１の輝度信号処理装置であって、
上記色キャリア成分除去高域レベル補正フィルタ部のフィルタ特性が、上記検出部による、低い空間周波数成分の輝度信号レベル、輝度信号エッジレベル、所定色であるかどうか、色差エッジレベル、および赤、緑、または青データが飽和レベルであるかどうかのうちの少なくとも２つ以上の検出結果の重み付け合成に基づいて、設定されるように構成されていることを特徴とする。

また、請求項７の発明は、
請求項１の輝度信号処理装置であって、
上記色キャリア成分除去高域レベル補正フィルタ部のフィルタ特性が、１画面内の所定の指定された領域に対して、上記検出部による検出結果に応じて設定されるように構成されていることを特徴とする。

また、請求項８の発明は、
請求項１の輝度信号処理装置であって、
上記色キャリア成分除去高域レベル補正フィルタ部の高域周波数特性が、上記検出部による検出結果に応じて設定されるように構成されていることを特徴とする。

上記のように、例えば、ＲＧＢベイヤ配列の色キャリア成分を含んだセンサ信号に基づく画像信号データから色キャリア成分を除去する際、特性の異なる複数の専用１次元フィルタの混合出力を輝度信号データとし、その混合比が画素ごとに適応的に制御されるようにすることにより、所定の色の部分等での解像度を向上させるとともに、色境界での偽の輪郭信号発生を抑制することなどが容易にできる。

以上のように、本発明によれば、例えば、ＲＧＢベイヤ配列の色キャリア成分を含んだセンサ信号に基づく画像信号データから色キャリア成分を１画素単位で効果的に除去するとともに、信号の帯域を広げることによる色境界での偽の輪郭信号の発生を画素ごとに抑えることができ、所定の色の部分等での解像度を大幅に向上させることなどが容易にできる。また、低照度部や、単一色、センサの飽和レベルなどに対して輝度信号の帯域が設定でき、信号のＳ／Ｎも１画面内で最適に制御できる。

以下、本発明の実施形態を図面に基づいて詳細に説明する。

図１に示すようなベイヤ配列のカラーフィルタ１０１を有するイメージセンサから画像信号が出力されると、輝度信号処理装置１０２によって輝度信号データが生成される。より詳しくは、例えば輝度信号処理装置１０２を含む撮像装置は、図２に示すように、イメージセンサ８０１、上記イメージセンサ８０１の駆動パルスを発生するタイミングジェネレータ８０２（ＴＧ）、イメージセンサ８０１の出力のノイズを除去し、ゲインをコントロールするＣＤＳ／ＡＧＣ回路８０３、アナログディジタル変換器８０４（ＡＤＣ）、ディジタル信号処理回路８０５（ＤＳＰ）、画像データおよび各種データを保存しておくメモリ回路８０６、およびカメラを制御するマイクロコンピュータ８０７（ＣＰＵ）を備えて構成されている。

上記ディジタル信号処理回路８０５は、所定のプログラムが実行されることによって、輝度信号処理装置１０２として機能するようになっている。より具体的には、例えば図３に示すような機能構成を有している。

前処理部２０１は、上記アナログディジタル変換器８０４によりＡ／Ｄ変換された画像信号データに対して、黒レベル補正、ガンマ補正、およびゲイン補正等を行うようになっている。

複数ライン出力変換部２０２は、前処理部２０１から出力される画像信号データを水平方向の複数ライン出力に変換出力するようになっている。

色キャリア除去／高域レベル補正フィルタ部２０３は、イメージセンサ８０１のベイヤ配列に起因して発生し画像信号に重畳されている色キャリア成分を除去し、輝度信号データを生成するようになっている。なお、この色キャリア除去／高域レベル補正フィルタ部２０３の詳細な構成については後述する。

輪郭強調補正部２０４は、色キャリア成分除去後の輝度信号データから高域成分を抽出加算し、輝度信号データの輪郭強調を行うようになっている。

後処理部２０５は輝度データのバイアスレベルや、ゲインなどを調整するようになっている。

輝度信号エッジレベル検出部２０６、輝度信号レベル検出部２０７、任意色レベル検出部２０８、色差エッジ検出部２０９、およびＲＧＢ飽和レベル検出部２１０は、それぞれ、複数ライン出力変換部２０２から出力されるＲＧＢベイヤの複数ライン出力より、輝度信号のエッジレベル、輝度信号レベル、任意色レベル（検出対象の画素または画素範囲の色があらかじめ設定や指定された所定の色であるかどうか）、色差信号のエッジレベル、またはＲＧＢ信号の飽和レベル（赤、緑、青の少なくとも１つの信号レベルが飽和したかどうか）を検出し、それらに応じて、色キャリア除去／高域レベル補正フィルタ部２０３の色キャリア除去用高域レベルの補正特性を設定する係数（帯域補正係数）を発生するようになっている。上記検出は、例えば１画素または複数画素の領域ごとに行われる。ここで、複数ライン出力変換部２０２から出力されるＲＧＢベイヤの複数ライン出力は、前記のように色キャリア除去／高域レベル補正フィルタ部２０３に出力されるものと出力タイミングは異なるが内容は同じものである。また、上記輝度信号レベル検出部２０７等における輝度の抽出は、色キャリア除去／高域レベル補正フィルタ部２０３による輝度の抽出とは別個の処理として、例えばこれらの検出部内で簡易な方法によって行われる。

１画面内指定エリア発生部２１１は、図示しない指定信号に応じて、画素単位または所定の領域単位で、上記検出部２０６〜２１０による色キャリア除去／高域レベル補正フィルタ部２０３への係数の設定をそれぞれ有効にするかどうかを示す有効範囲信号を出力するようになっている。

総合帯域補正係数発生回路２１２は、上記有効範囲信号に従い、各検出部２０６〜２１０から出力される検出結果の平均や所定の重み付け加算（平均）、所定の優先順位による選択、各検出結果が所定の条件を満たすかどうか自体に応じた選択などにより合成し、１画素または複数画素に対する総合帯域補正係数αを色キャリア除去／高域レベル補正フィルタ部２０３に出力するようになっている。上記総合帯域補正係数αは、例えば、１以下の値で、各画素（または複数の画素）に対しては水平および垂直方向のフィルタ処理について同じ値が用いられる。

上記色キャリア除去／高域レベル補正フィルタ部２０３は、より詳しくは、例えば図４および図５に示すように構成されている。

すなわち、色キャリア除去／高域レベル補正フィルタ部２０３には、水平方向の画素についての処理（水平方向１ラインのＲＧＢベイヤ配列信号に対して色キャリアを除去し高域レベルを補正する処理）を行う水平方向色キャリア除去／高域レベル補正フィルタ３０１・３０７〜３１０等と、垂直方向の画素についての処理（水平方向に対して色キャリア除去された複数ラインのＲＧＢベイヤ配列信号に対して垂直方向の色キャリアを除去し高域レベルを補正する処理）を行う垂直方向色キャリア除去／高域レベル補正フィルタ４０１とが設けられている。

各水平方向色キャリア除去／高域レベル補正フィルタ３０１・３０７〜３１０には、水平方向色キャリア除去／高域レベル補正フィルタ３０１の例を代表して示すように、広帯域なローパスフィルタである例えばタップ数が９の第１水平フィルタ３０２と、高域制限するローパスフィルタである第２水平フィルタ３０３と、上記第１水平フィルタ３０２からの出力に総合帯域補正係数αを乗ずる乗算器３０４と、第２水平フィルタ３０３からの出力に１−αの係数を乗ずる乗算器３０５と、上記乗算器３０４・３０５の出力を合成（加算）する加算器３０６とが設けられている。

また、垂直方向色キャリア除去／高域レベル補正フィルタ４０１には、広帯域なローパスフィルタである第１垂直フィルタ４０２と、ローパスフィルタである高域制限する第２垂直フィルタ４０３と、上記第１垂直フィルタ４０２からの出力に総合帯域補正係数αを乗ずる乗算器４０４と、第２垂直フィルタ４０３からの出力に１−αの係数を乗ずる乗算器４０５と、上記乗算器４０４・４０５の出力を合成（加算）して輝度信号データＹ＿ｍａｉｎを出力する加算器４０６とが設けられている。上記第１垂直フィルタ４０２、および第２垂直フィルタ４０３には、それぞれ、水平方向色キャリア除去／高域レベル補正フィルタ３０１等の各加算器３０６からの出力１Ｈ＿ｏｕｔ〜９Ｈ＿ｏｕｔが共通に入力されるようになっている。

上記第１水平フィルタ３０２、第２水平フィルタ３０３、第１垂直フィルタ４０２、および第２垂直フィルタ４０３としては、例えば９タップのディジタルフィルタが用いられ、所定のタップ係数が設定されることによって、例えば図６に示すような周波数特性を有するようになっている。ここで、各フィルタにおけるタップ係数の合計は、互いに等しくなるように設定されている。このように設定されることにより、同じ入力ＤＣ成分に対する出力ＤＣ成分レベルが互いに等しくなり、総合帯域補正係数αや１−αの値の設定、水平方向と垂直方向との周波数特性を揃えることなどを容易にすることができる。

上記のように構成された輝度信号処理装置１０２を含む撮像装置の動作について説明する。

まず、撮像光が、図示しないレンズを介してイメージセンサ８０１に入射すると、フォトダイオードなどにより電気信号に変換され、タイミングジェネレータ８０２からの駆動パルスに同期する垂直駆動、および水平駆動により、アナログ連続信号である画像信号がイメージセンサ８０１から出力される。出力された画像信号は、ＣＤＳ／ＡＧＣ回路８０３のサンプルホールド回路（ＣＤＳ）によって１／ｆノイズが適切に低減された後、自動ゲインコントロールされ、アナログディジタル変換器８０４（Ａ／Ｄコンバータ）に入力されて、ディジタル信号である画像信号データ（ＲＧＢデータ）に変換される。変換された画像信号データはディジタル信号処理回路８０５に入力され、メモリ回路８０６を介して、輝度処信号理、色分離、カラーマトリクス処理などの各種の処理が行われる。

上記輝度信号処理は、詳しくは、次のように行われる。イメージセンサ８０１のカラーフィルタ配列がＲＧＢベイヤ配列の場合、ディジタル信号処理回路８０５に取り込まれた画像信号データは、前処理部２０１の前処理によって、黒レベル調整、ガンマ調整、および色ゲイン調整がなされた後、複数ライン出力変換部２０２でラインメモリやワークメモリが用いられて出力順序が変換され、複数の水平ラインの画素の画像信号データが順次並列に出力される。

複数ライン出力変換部２０２からの出力は、ベイヤ配列情報が保たれたまま、色キャリア除去／高域レベル補正フィルタ部２０３に入力され、色キャリアを含むナイキスト周波数近傍の成分が除去され、複数ラインの輝度信号の主信号が生成される。

上記色キャリア除去／高域レベル補正フィルタ部２０３で、イメージセンサ８０１のベイヤ配列に起因して発生し画像信号に重畳されている色キャリア成分を除去する処理が行われる際、各水平方向色キャリア除去／高域レベル補正フィルタ３０１・３０７〜３１０、および垂直方向色キャリア除去／高域レベル補正フィルタ４０１の総合帯域補正係数αは、検出部２０６〜２１０による画素単位や所定の領域単位での検出結果に応じて、次のように設定され、帯域制御（フィルタ特性の制御）が行われる。

すなわち、輝度信号エッジレベル検出部２０６により輝度信号のナイキスト近傍のランダムノイズに起因するエッジレベルが検出されて、検出レベルが高いほど帯域補正係数が小さくなるように設定されて高い周波数成分のレベルが低くなるように帯域が制御されることにより、イメージセンサ８０１の傷などによって生じるような強いエッジ信号が抑えられるので傷補正を制御することができ、Ｓ／Ｎを向上させることができる。

また、輝度信号レベル検出部２０７により輝度信号レベルが検出されて、検出レベルが小さいほど帯域補正係数が小さくなるように設定されて帯域が制御されることにより、低照度部のナイキスト近傍より低周波側のノイズを抑えて、Ｓ／Ｎを向上させることができる。

また、任意色レベル検出部２０８によって任意色レベルが検出されて任意色レベルに注目画素データレベルが近いほど（注目画素の色があらかじめ設定された色である場合に、またはその色に近いほど）帯域補正係数が小さくなるように設定されて帯域が制御されることにより、青空や人の肌の色などをあらかじめ任意に設定することにより、設定データに近いほど強くナイキスト近傍より低周波側のノイズを抑えることができ、Ｓ／Ｎを向上させることができる。

また、色差エッジ検出部２０９により色差信号のエッジレベルが検出されて、検出エッジレベルが高いほど帯域補正係数が小さくなるように設定されてナイキスト近傍より低周波側のノイズを抑えて帯域が制御されることにより、色の境界部分に発生する高域の偽信号の影響を小さく抑えて、Ｓ／Ｎを向上させることができる。

また、ＲＧＢ飽和レベル検出部２１０によりＲＧＢ信号の飽和レベルが検出されて、３種類の信号の飽和レベル検出により（赤、緑、青の少なくとも１つの信号レベルが飽和している場合に）、帯域補正係数が小さくなるように設定されてナイキスト近傍より低周波側のノイズを抑えて帯域が制御されることにより、ＣＣＤセンサなどの飽和レベルのばらつきによるざらつきを抑え、Ｓ／Ｎを向上させることができる。

ここで、上記検出部２０６〜２１０による検出は、必ずしも全て行われる必要はなく、何れかだけが行われるようにしたりしてもよい。

総合帯域補正係数発生回路２１２では、上記検出部２０６〜２１０の検出結果に応じて総合帯域補正係数αが生成される。そして、１画面内指定エリア発生部２１１によって設定有効エリアが指定されている場合には、その指定に応じた画素または領域についてだけ、総合帯域補正係数発生回路２１２から出力され、実際に色キャリア除去／高域レベル補正フィルタ部２０３に設定される。これにより、例えば被写界深度が浅い撮影の場合などで指定エリアをオートフォーカスの合っているエリア以外を指定するというように、撮影シーンごと、領域ごとなどに、上記のような輝度信号処理を行わせることができる。

総合帯域補正係数αが設定されると、色キャリア除去／高域レベル補正フィルタ部２０３の水平方向色キャリア除去／高域レベル補正フィルタ３０１・３０７〜３１０からは、各水平ラインの画像データ１Ｈ〜９Ｈに基づく第１水平フィルタ３０２の出力に総合帯域補正係数αが乗算された値と、第２水平フィルタ３０３の出力に１−αが乗算された値との合計として１Ｈ＿ｏｕｔ〜９Ｈ＿ｏｕｔが出力される。さらに、同様に、上記出力１Ｈ＿ｏｕｔ〜９Ｈ＿ｏｕｔに基づく第１垂直フィルタ４０２の出力に総合帯域補正係数αが乗算された値と、第２垂直フィルタ４０３の出力に１−αが乗算された値との合計が、輝度信号データＹ＿ｍａｉｎとして出力される。より詳しくは、図４、図５の例では、５ライン目の各画素の輝度信号データＹ＿ｍａｉｎが順次出力される。また、他のラインについては、１ラインずつずれたラインの画像データが水平方向色キャリア除去／高域レベル補正フィルタ３０１…に入力されて、同様に輝度信号データＹ＿ｍａｉｎが順次出力される。

その後、輪郭強調補正部２０４によって、色キャリア成分除去後の複数ラインの輝度信号から高域成分が抽出加算され、輝度信号の輪郭強調が行われる。さらに、後処理部２０５によって、輝度信号の出力レベルを８ビットレンジで最適化するため輝度信号のバイアスレベル、ゲインなどが調整される。

以上のように、本発明の輝度信号処理方法によればＲＧＢベイヤ配列の色キャリア成分を含んだセンサ信号から色キャリアを１画素単位などで効果的に除去するとともに、１画素ごとなどに信号の帯域を設定制御することによって、センサの傷情報を含むような強いエッジ信号を抑え、低照度部の帯域を抑えてＳ／Ｎを改善し、青空や人の肌色などを任意に設定してＳ／Ｎを改善し、色境界での偽の輪郭信号が発生を画素ごとに抑えることができ、センサの飽和レベルのばらつきによるざらつきを抑え、かつ所定の色部分での解像度を限界まで向上させることなどが容易にできる。

また、センサーデータから出力された信号に対してノイズリダクションを輝度レベルと相関をとって行うことになり、輪郭強調等に必要な高周波成分を初段の均一ローパスフィルタで落としすぎないようにしつつ、ＣＣＤデータ等のランダムノイズを抑えて信号の高域情報を確保することができる。

なお、本実施形態では、水平方向色キャリア除去／高域レベル補正フィルタ３０１等のタップ数が９である例を示したが、これに限るものではない。

また、水平方向色キャリア除去／高域レベル補正フィルタ３０１等が、第１水平フィルタ３０２と第２水平フィルタ３０３など、２つのフィルタによって構成される例を示したが、これに限るものではなく、より多くのフィルタが用いられるようにしてもよい。すなわち、例えば合計が１になる複数の係数総合帯域補正を総合帯域補正係数発生回路２１２から出力させ、各フィルタの出力に各総合帯域補正係数が乗算されて合計されることによりフィルタ特性が制御されるようにしてもよい。

また、上記の例では水平方向色キャリア除去／高域レベル補正フィルタ３０１（図４）で水平フィルタ処理が行われた後に、垂直方向色キャリア除去／高域レベル補正フィルタ４０１（図５）で垂直フィルタ処理が行われる例を示したが、これに限らず、例えば図７、図８に示すように、複数ライン出力変換部２０２から出力される各ラインの画像データ１Ｈ〜９Ｈが垂直方向色キャリア除去／高域レベル補正フィルタ４０１に入力されて５ライン目の各画素の垂直フィルタ処理結果５Ｈ＿ｏｕｔが順次出力され、これが１つの水平方向色キャリア除去／高域レベル補正フィルタ３０１に入力され、水平フィルタ処理されて輝度信号データＹ＿ｍａｉｎが出力されるようにしてもよい。

本発明にかかる輝度信号処理装置は、例えば、ＲＧＢベイヤ配列の色キャリア成分を含んだセンサ信号に基づく画像信号データから色キャリア成分を１画素単位で効果的に除去するとともに、信号の帯域を広げることによる色境界での偽の輪郭信号の発生を画素ごとに抑えることができ、所定の色の部分等での解像度を大幅に向上させることなどが容易にでき、また、低照度部や、単一色、センサの飽和レベルなどに対して輝度信号の帯域が設定でき、信号のＳ／Ｎも１画面内で最適に制御できるという効果を有し、例えば、ディジタルカメラ用に開発されたイメージセンサから出力される映像信号から広帯域のディジタル輝度信号を得て高解像度画像を得ることなどができる映像信号処理装置等の輝度信号処理装置などとして有用である。

本発明の実施形態におけるカラーフィルタの例を示す説明図である。 同、輝度信号処理装置１０２が適用される撮像装置の構成を示すブロック図である。 同、輝度信号処理装置１０２の構成を示すブロック図である。 同、色キャリア除去／高域レベル補正フィルタ部２０３の一部の具体的な構成を示すブロック図である。 同、色キャリア除去／高域レベル補正フィルタ部２０３の他の一部の具体的な構成を示すブロック図である。 同、フィルタの周波数特性の例を示すグラフである。 変形例の色キャリア除去／高域レベル補正フィルタ部の一部の具体的な構成を示すブロック図である。 同、色キャリア除去／高域レベル補正フィルタ部の他の一部の具体的な構成を示すブロック図である。 従来の輝度信号処理装置の構成を示すブロック図である。 センサ出力の周波数成分の例を示すグラフである。

符号の説明

１０１ カラーフィルタ
１０２ 輝度信号処理装置
２０１ 前処理部
２０２ 複数ライン出力変換部
２０３ 色キャリア除去／高域レベル補正フィルタ部
２０４ 輪郭強調補正部
２０５ 後処理部
２０６ 輝度信号エッジレベル検出部
２０７ 輝度信号レベル検出部
２０８ 任意色レベル検出部
２０９ 色差エッジ検出部
２１０ ＲＧＢ飽和レベル検出部
２１１ １画面内指定エリア発生部
２１２ 総合帯域補正係数発生回路
３０１・３０７〜３１０ 水平方向色キャリア除去／高域レベル補正フィルタ
３０２ 第１水平フィルタ
３０３ 第２水平フィルタ
３０４ 乗算器
３０５ 乗算器
３０６ 加算器
４０１ 垂直方向色キャリア除去／高域レベル補正フィルタ
４０２ 第１垂直フィルタ
４０３ 第２垂直フィルタ
４０４ 乗算器
４０５ 乗算器
４０６ 加算器
８０１ イメージセンサ
８０２ タイミングジェネレータ
８０３ ＣＤＳ／ＡＧＣ回路
８０４ アナログディジタル変換器
８０５ ディジタル信号処理回路
８０６ メモリ回路
８０７ マイクロコンピュータ

Claims (8)

1. 赤、緑、および青のベイヤ配列のフィルタを有するイメージセンサからのセンサ信号に基づくカラー画像信号データに基づいて輝度信号データを出力する輝度信号処理装置であって、
   上記カラー画像信号データに対して、黒レベル調整、ガンマ補正、およびゲイン補正のうちの少なくとも何れかの処理を行う前処理部と、
   上記前処理部から出力される画像信号データに対して、複数ライン分の画像信号データを同時に出力する複数ライン出力変換部と、
   上記複数ライン出力変換部から出力される画像信号データに基づいて、色キャリア成分除去、および高域レベル補正を行う色キャリア成分除去高域レベル補正フィルタ部と、
   上記色キャリア成分除去高域レベル補正フィルタ部から出力される画像信号データに基づいて、輪郭強調補正を行う輪郭強調補正部と、
   上記複数ライン出力変換部から出力される画像信号データに基づいて、低い空間周波数成分の輝度信号レベル、輝度信号エッジレベル、所定色であるかどうか、色差エッジレベル、および赤、緑、または青データが飽和レベルであるかどうかのうちの少なくとも何れかを検出する検出部と、
   を備え、
   上記色キャリア成分除去高域レベル補正フィルタ部のフィルタ特性が、１画素または複数の画素ごとに、上記検出部による検出結果に応じて、適応的に設定されるように構成されていることを特徴とする輝度信号処理装置。
2. 請求項１の輝度信号処理装置であって、
   上記色キャリア成分除去高域レベル補正フィルタ部は、
   画像における水平方向のラインに対応したフィルタ組と、垂直方向のラインに対応したフィルタ組とを有し、
   各フィルタ組は、それぞれ、互いに周波数特性の異なる複数のフィルタを有し、
   各フィルタ組内の上記複数のフィルタの特性が、上記検出部による検出結果に応じたレベル適応係数に基づいて合成されるように構成されていることを特徴とする輝度信号処理装置。
3. 請求項２の輝度信号処理装置であって、
   上記フィルタ組は、それぞれ、各フィルタの出力と各フィルタに対応する上記レベル適応係数との積の合計を出力するように構成され、
   各フィルタ組内の各フィルタに対応する上記レベル適応係数の合計は１になるように設定されることを特徴とする輝度信号処理装置。
4. 請求項２の輝度信号処理装置であって、
   上記フィルタは、それぞれ、１つ以上のタップ係数が設定されることによって特性が設定されるディジタルフィルタであり、
   各フィルタごとのタップ係数の合計が、それぞれ互いに等しくなるように設定されていることを特徴とする輝度信号処理装置。
5. 請求項１の輝度信号処理装置であって、
   上記色キャリア成分除去高域レベル補正フィルタ部のフィルタ特性が、１画素または複数画素の領域のうち、低い空間周波数成分の輝度信号レベルが所定の範囲内である領域、輝度信号エッジレベルが所定の範囲内である領域、所定色である領域、色差エッジレベルが所定の範囲内である領域、および赤、緑、または青データが飽和レベルである領域の少なくとも何れかの領域に対して、上記検出部による検出結果に応じて設定されるように構成されていることを特徴とする輝度信号処理装置。
6. 請求項１の輝度信号処理装置であって、
   上記色キャリア成分除去高域レベル補正フィルタ部のフィルタ特性が、上記検出部による、低い空間周波数成分の輝度信号レベル、輝度信号エッジレベル、所定色であるかどうか、色差エッジレベル、および赤、緑、または青データが飽和レベルであるかどうかのうちの少なくとも２つ以上の検出結果の重み付け合成に基づいて、設定されるように構成されていることを特徴とする輝度信号処理装置。
7. 請求項１の輝度信号処理装置であって、
   上記色キャリア成分除去高域レベル補正フィルタ部のフィルタ特性が、１画面内の所定の指定された領域に対して、上記検出部による検出結果に応じて設定されるように構成されていることを特徴とする輝度信号処理装置。
8. 請求項１の輝度信号処理装置であって、
   上記色キャリア成分除去高域レベル補正フィルタ部の高域周波数特性が、上記検出部による検出結果に応じて設定されるように構成されていることを特徴とする輝度信号処理装置。

Images