JP2005210441A

JP2005210441A - 画像信号処理装置

Info

Publication number: JP2005210441A
Application number: JP2004015045A
Authority: JP
Inventors: Tatsuya Takahashi; 達也高橋; Tomomichi Nakai; 智通中井; Toshiaki Nakakuki; 俊朗中莖
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2004-01-23
Filing date: 2004-01-23
Publication date: 2005-08-04
Also published as: CN100342719C; TW200525495A; US20050185071A1; CN1645900A; KR20050076832A; KR100670883B1

Abstract

【課題】非線形変換を行うガンマ補正処理を含む画像信号処理装置において、信号レベルが変換特性の傾きが大きい領域にあるとき、ガンマ補正により、画像信号に含まれるノイズ成分が増える。
【解決手段】画像信号を透過特性の異なるＬＰＦ４０，４２にそれぞれ入力し、それらＬＰＦの出力をセレクタ４４で選択し、ガンマ補正回路へ渡す。セレクタ４４の切り換えはフィルタ制御回路３２により行う。フィルタ制御回路３２においては、比較器６０が対象画素の信号レベルと閾値Ｒとを比較する。対象画素の信号レベルが変換特性の傾きが大きいＲ未満の領域に属する場合には、ＬＰＦ４０に比べてカットオフ周波数が低くノイズ成分の除去効果の大きいＬＰＦ４２の出力を選択するようにセレクタ４４が制御される。
【選択図】図３

Description

本発明は、画像信号の階調補正を行う画像信号処理装置に関し、特に非線形特性に基づく階調補正処理におけるノイズの抑制に関する。

デジタルカメラ等の撮像装置における画質の一つとして階調があり、一般にこれを補正する階調補正回路が設けられる。階調補正回路は所定の変換特性関数に従って、入力された画像信号のレベルを変換して出力する。例えば、ガンマ補正回路も階調補正のための回路である。図６は、変換特性を表す模式的なグラフである。変換特性は一般に非線形であり、変換特性グラフにおいて傾きが１より大きい部分では、階調が伸張され（つまり、入力画像信号の変化に対して出力画像信号の変化が相対的に大きい）、反対に傾きが１より小さい部分では階調が圧縮される（つまり、入力画像信号の変化に対して出力画像信号の変化が相対的に小さい）。通常の階調調整では、図６に示されるように、比較的低い入力画像信号レベルの範囲に対し変換特性の傾きが大きく設定されてコントラスト（階調）の確保が図られ、一方、比較的高い入力画像信号レベル範囲では変換特性の傾きが小さく、コントラストが抑圧される。

図７は、従来の画像信号処理装置の構成を示すブロック図である。ＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサ等の撮像素子２から出力された画像信号は、アナログ信号処理回路４での処理後、Ａ／Ｄ変換回路６にてデジタルデータに変換され、デジタル信号処理回路８に入力される。デジタル信号処理回路８は、モアレの原因となるノイズを除去するために低域通過フィルタ（ＬＰＦ）１０を備える。ＬＰＦ１０は、垂直、水平各方向に関してサンプリング周波数の１／２の周波数成分をトラップする。さらにデジタル信号処理回路８は、色分離、ガンマ補正、輪郭補正等の信号処理を行う。例えば、ガンマ補正回路１２は、ＬＰＦ１０からの入力画像信号に対し、図６に示したような非線形変換特性に基づいて信号レベルを変換する処理を行う。

図６に示されるような変換特性の傾きが大きい画像信号レベルにおいては、画像信号に含まれるノイズ成分（ランダムノイズ、横引きノイズ）も大きくなるという問題があった。特に、低い入力画像信号レベルにおいては画像信号に対するノイズ成分の比率が相対的に大きくなるため、図６に示されるような、低い入力画像信号レベルにおいて変換特性の傾きが大きい場合、増幅されたノイズ成分による画質劣化が顕著になる。

本発明は上記問題点を解消するためになされたもので、非線形変換特性による階調補正処理を行う画像信号処理装置において、ノイズ成分による画質劣化を抑制することを目的とする。

本発明に係る画像信号処理装置は、階調補正回路に直列に配置され、画像信号に含まれるノイズ成分を減衰する回路であって、前記ノイズ成分に対する減衰特性を可変なフィルタ回路と、各画素に対応した前記画像信号の信号レベルを判定し、当該信号レベルに応じて当該画素に対する前記フィルタ回路の前記減衰特性を選択するフィルタ制御回路と、を有する。

他の本発明に係る画像信号処理装置においては、前記階調補正回路による階調の伸張度に基づいて複数の信号レベル範囲が設定され、前記フィルタ制御回路が、検出された前記信号レベルが属する前記信号レベル範囲の前記伸張度が高いほど、前記ノイズ成分に対する高い減衰度を有する前記減衰特性を設定する。

本発明の好適な態様は、前記フィルタ回路が、デジタルフィルタで構成された低域通過フィルタであり、前記フィルタ制御回路が、前記デジタルフィルタのタップ係数を変更して前記低域通過フィルタのカットオフ周波数を変更する画像信号処理装置である。

本発明の他の好適な態様は、前記フィルタ回路が、メディアンフィルタ処理機能を有し、前記フィルタ制御回路が、メディアンフィルタ処理を実行するか否か、又はメディアンフィルタのフィルタサイズを切り換える画像信号処理装置である。

本発明によれば、階調補正処理の変換特性の傾きが信号レベルに応じて変化することに対応して、ノイズ成分を減衰させるフィルタ回路の減衰特性も信号レベルに応じて変化される。つまり、画面内にて変化する画像信号の信号レベルをフィルタ検出回路にて判定し、その信号レベルが、変換特性によりノイズ成分が大きくなるレベルである場合には、フィルタ制御回路がフィルタ回路の減衰特性をノイズ成分に対する減衰能力を高めるものに変更する。これにより、ノイズ成分が許容される信号レベルでは、ノイズ成分に対する減衰能力が比較的低い減衰特性を設定することにより、好適な解像度を維持し、一方、ノイズ成分が大きくなる信号レベルでは、ノイズ成分に対する減衰能力が比較的高い減衰特性を設定することにより、ノイズによる画質劣化を好適に抑制することができる。

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。

図１は、本発明の実施形態である画像信号処理装置の構成を示す概略のブロック図であり、撮像素子２０から出力された画像信号に基づいて、階調補正された画像データを生成する。ここでは撮像素子２０はＣＣＤイメージセンサであり、撮像素子２０から出力される画像信号Ｙ０（ｔ）は、アナログ信号処理回路２２に入力される。アナログ信号処理回路２２は、サンプルホールド、自動利得制御（ＡＧＣ：Auto Gain Control）等の処理を画像信号Ｙ０（ｔ）に施し、所定のフォーマットに従う画像信号Ｙ１（ｔ）を生成する。Ａ／Ｄ変換回路２４はアナログ信号処理回路２２から出力される画像信号Ｙ１（ｔ）をデジタルデータに変換して、画像データＤ０（ｎ）を出力する。デジタル信号処理回路２６はＡ／Ｄ変換回路２４から画像データＤ０（ｎ）を取り込み、各種の処理を行う。ここでは、デジタル信号処理回路２６は、モアレノイズ、ランダムノイズ、横引きノイズといったノイズ成分を除去するために低域通過フィルタであるフィルタ回路２８を備える。フィルタ回路２８は透過特性を変化させることができ、これによりノイズ成分に対する減衰特性が変わる。フィルタ制御回路３２は、画像信号の信号レベルに基づいて、フィルタ回路２８の透過特性の変更制御を行う。ガンマ補正回路３０はフィルタ回路２８からの画像信号に対して、非線形変換特性に基づいて信号レベルを変換する処理を行い、画像データＤ１（ｎ）として出力する。なお、デジタル信号処理回路２６はさらに、色分離、輪郭補正等の他の信号処理を行うことができるが、ここでは説明を省略する。

図２は、ガンマ補正回路３０の変換特性の一例を示す模式的なグラフであり、図において横軸は入力画像信号の信号レベル、縦軸は出力画像信号の信号レベルを表す。

図３は、フィルタ回路２８及びフィルタ制御回路３２の概略の回路構成を示すブロック図である。フィルタ回路２８は透過特性が互いに異なる２つのＬＰＦ４０，４２と、それらの出力のいずれかを選択するセレクタ４４とを含んで構成される。ＬＰＦ４０，４２はそれぞれ垂直方向に関するＬＰＦ（ＶＬＰＦ）と水平方向に関するＬＰＦ（ＨＬＰＦ）とを含んで構成される。

ＬＰＦ４０，４２いずれのＶＬＰＦも、垂直サンプリング周波数ｆｖの１／２を中心とする周波数成分をトラップし、またＬＰＦ４０，４２いずれのＨＬＰＦも、水平サンプリング周波数ｆｈの１／２を中心とする周波数成分をトラップする。図４はＬＰＦ４０，４２それぞれの透過特性の一例を示す周波数特性図であり、サンプリング周波数ｆは垂直サンプリング周波数ｆｖ又は水平サンプリング周波数ｆｈを意味する。ＬＰＦ４０，４２いずれもサンプリング周波数ｆの１／２で極小点を有し、その近傍で出力信号を減衰させるが、減衰される帯域幅が相違する。ＬＰＦ４０の特性５０は、フィルタリングで画像解像度を損なわないようにするため、カットオフ周波数を高く設定され、その結果、ｆ／２にて急峻な減衰特性を有する。一方、ＬＰＦ４２の特性５２は、特性５０に比べてカットオフ周波数を低くして、なだらかな減衰特性を有するように設定される。その結果、ＬＰＦ４２は、より広い帯域で減衰を生じ、ＬＰＦ４０に比べノイズ成分に対する高い減衰度を有する。ちなみに、ＬＰＦ４０，４２はデジタルフィルタで構成することができ、そのタップ係数を変えることにより特性５０，５２を実現することができる。

フィルタ制御回路３２は、比較器６０、複数の遅延フリップフロップ（Delay Flip Flop：ＤＦＦ）６２の直列接続、及びＡＮＤ回路６４を含んで構成される。画像信号は比較器６０に入力され、比較器６０は画像データＤ０（ｎ）と、閾値データＲとを比較して、例えば、Ｄ０（ｎ）≧Ｒの場合には論理値“Ｈ”を出力し、Ｄ０（ｎ）＜Ｒの場合には論理値“Ｌ”を出力する。ここで閾値Ｒは図２に示すガンマ補正の変換特性において、入力画像信号の範囲を、傾きが比較的大きい低信号レベル側の領域Iと、傾きが比較的小さい高信号レベル側の領域IIとに二分する信号レベルとして定義される。比較器６０の出力データはＤＦＦ６２−１に入力され、直列接続されたＤＦＦ６２−１〜６２−４はそれぞれ入力データを水平サンプリングのクロックに同期して順次後段へ伝達する。ＡＮＤ回路６４には、比較器６０の出力及びＤＦＦ６２−１〜６２−４の各出力が入力される。ＡＮＤ回路６４は、水平方向に連続する５画素それぞれの信号レベルが全て閾値Ｒ以上である場合に論理値“Ｈ”を出力し、一方、５画素の少なくともいずれかの信号レベルが閾値Ｒ未満である場合に論理値“Ｌ”を出力する。

セレクタ４４は、ＡＮＤ回路６４の出力がＨである場合には、その出力の元となった５画素の中央画素に対するフィルタリング処理を行うＬＰＦとして、ノイズ成分に対する減衰度が比較的低く解像度が確保されるＬＰＦ４０を選択し、その出力をガンマ補正回路３０へ渡す。一方、セレクタ４４は、ＡＮＤ回路６４の出力がＬである場合には、その出力の元となった５画素の中央画素に対するフィルタリング処理を行うＬＰＦとして、ノイズ成分に対する減衰度が比較的高いＬＰＦ４２を選択し、その出力をガンマ補正回路３０へ渡す。

ちなみに、本装置では複数のＤＦＦ６２及びＡＮＤ回路６４により、近接する複数画素の信号レベルと閾値Ｒとの比較結果に基づいてセレクタ４４を切り換える構成としている。この構成により、Ｒに近い信号レベルを有する画素領域にて、ＬＰＦ４０，４２の切り換えが頻繁に発生し画質が低下することが回避され得る。この目的達成のためには、ＡＮＤ回路６４に代えてＯＲ回路を用いることもできる。またＡＮＤ処理（又はＯＲ処理）の対象とされる画素数を５画素から増減させた構成とすることもできる。また、フィルタリングの対象位置にある１画素の画像データのみを閾値Ｒと比較した結果に基づいてセレクタ４４を切り換える構成として回路の簡素化を図ってもよい。

図５は、フィルタ回路２８及びフィルタ制御回路３２の他の構成の概略の回路構成を示すブロック図である。この構成においてはフィルタ回路２８は、ラインメモリ７０−１〜７０−３及び中間値算出回路７２で構成されるメディアンフィルタ、及びメディアンフィルタの出力と当該メディアンフィルタを介さない画像信号とのいずれかを選択するセレクタ７４を含んで構成される。フィルタ制御回路３２は図３に示すものと同様の構成とすることができ、その出力によりセレクタ７４が切り換えられる。

ここではメディアンフィルタのフィルタサイズは３×３画素であり、それに対応して連続する３行分の画像データを保持するラインメモリ７０−１〜７０−３が用いられる。ラインメモリ７０−１〜７０−３は互いに直列に接続され、ラインメモリ７０−１に入力された１行分の画像データは、後続行の入力に連動して、順次、ラインメモリ７０−２，７０−３に移される。中間値算出回路７２はラインメモリ７０−１〜７０−３から３×３画素の画素領域を構成する９画素分の画像データを取得し、それらの中央値を当該画素領域の中心画素の値としてセレクタ７４へ出力する。その一方で、セレクタ７４にはラインメモリ７０−２から当該中心画素の本来の画像データが入力される。

フィルタ制御回路３２はラインメモリ７０−２から中心画素及びその前後各２画素の画像データを取得し、それら５画素の画像データが全てＲ以上である場合には、セレクタ７４を制御して、セレクタ７４からガンマ補正回路３０へ中心画素の本来の画像データを出力させ、一方、５画素の画像データの少なくともいずれかがＲ未満である場合には、中間値算出回路７２の出力値をセレクタ７４から出力させる。

なお、図３に示すようなフィルタ制御回路３２においてＡＮＤ回路６４にて論理積を取る画素数は、メディアンフィルタのフィルタサイズに合わせて３画素としてもよい。また、ここでは、フィルタサイズが３×３画素のメディアンフィルタと、メディアンフィルタ処理を施さない本来の画像データとのいずれかを選択する構成としたが、フィルタサイズの異なる複数のメディアンフィルタを備え、それらの出力をフィルタ制御回路３２による信号レベルの判定結果に基づいて選択する構成とすることもできる。例えば、フィルタサイズが３×３画素のメディアンフィルタと、５×５画素のメディアンフィルタとを備え、フィルタ制御回路３２は中心画素を含む５画素の画像データが全てＲ以上である場合には、フィルタサイズ３×３画素のメディアンフィルタの出力を選択し、一方、５画素の画像データの少なくともいずれかがＲ未満である場合には、よりノイズ除去効果が大きい５×５画素のメディアンフィルタの出力を選択するように構成することができる。

また、フィルタ回路２８は、図３に示すＬＰＦを切り換える構成と、図５に示すメディアンフィルタを用いる構成とを組み合わせたものとすることができる。例えば、セレクタ４４の出力をラインメモリ７０−１の入力に接続して、両構成を組み合わせることができる。

上記構成では、ガンマ補正回路３０の変換特性の傾きに応じて１つの閾値Ｒを設定し、このＲにより入力される画像信号の信号レベルを２つの信号レベル範囲に区分したが、さらに多くの信号レベル範囲に区分してもよい。その場合、各範囲での変換特性の傾きに応じてノイズ成分の減衰度の異なるフィルタを設け、それらの出力をセレクタで選択してガンマ補正回路３０へ渡すように構成される。

以上の説明は専ら単色のＣＣＤイメージセンサを念頭においたものであるが、本発明の画像信号処理装置は、複数色からなるカラーフィルタを搭載したＣＣＤイメージセンサから出力される画像信号に対しても適用することができる。例えば、モザイクカラーフィルタを搭載したイメージセンサからの画像信号を処理する場合には、フィルタ制御回路３２における信号レベルの判定、ＬＰＦ４０，４２でのフィルタリング、及び中間値算出回路７２におけるメディアンフィルタ処理は、輝度信号に対して行うか、垂直方向、水平方向にそれぞれ周期的に配置される同じ色に対応する画素を用いて行うように構成することができる。

本発明の実施形態である画像信号処理装置の構成を示す概略のブロック図である。本発明を説明するためのガンマ補正回路の変換特性の一例を示す模式的なグラフである。フィルタ回路及びフィルタ制御回路の一例の概略の回路構成を示すブロック図である。ＬＰＦの透過特性を示す周波数特性図である。フィルタ回路及びフィルタ制御回路の他の構成の概略の回路構成を示すブロック図である。ガンマ補正回路の変換特性を表す模式的なグラフである。従来の画像信号処理装置の構成を示すブロック図である。

符号の説明

２０撮像素子、２２アナログ信号処理回路、２４Ａ／Ｄ変換回路、２６デジタル信号処理回路、２８フィルタ回路、３０ガンマ補正回路、３２フィルタ制御回路、４０，４２ＬＰＦ、４４，７４セレクタ、６０比較器、６２ＤＦＦ、６４ＡＮＤ回路、７０ラインメモリ、７２中間値算出回路。

Claims

非線形特性に基づき画像信号の信号レベルを変換して階調補正処理を行う階調補正回路を備えた画像信号処理装置において、
前記階調補正回路に直列に配置され、前記画像信号に含まれるノイズ成分を減衰する回路であって、前記ノイズ成分に対する減衰特性を可変なフィルタ回路と、
各画素に対応した前記画像信号の信号レベルを判定し、当該信号レベルに応じて当該画素に対する前記フィルタ回路の前記減衰特性を選択するフィルタ制御回路と、
を有することを特徴とする画像信号処理装置。
請求項１に記載の画像信号処理装置において、
前記階調補正回路による階調の伸張度に基づいて複数の信号レベル範囲が設定され、
前記フィルタ制御回路は、検出された前記信号レベルが属する前記信号レベル範囲の前記伸張度が高いほど、前記ノイズ成分に対する高い減衰度を有する前記減衰特性を設定すること、
を特徴とする画像信号処理装置。
請求項１又は請求項２に記載の画像信号処理装置において、
前記フィルタ回路は、デジタルフィルタで構成された低域通過フィルタであり、
前記フィルタ制御回路は、前記デジタルフィルタのタップ係数を変更して前記低域通過フィルタのカットオフ周波数を変更すること、
を特徴とする画像信号処理装置。
請求項１から請求項３のいずれか１つに記載の画像信号処理装置において、
前記フィルタ回路は、メディアンフィルタ処理機能を有し、
前記フィルタ制御回路は、メディアンフィルタ処理を実行するか否か、又はメディアンフィルタのフィルタサイズを切り換えること、
を特徴とする画像信号処理装置。