JP2006060744A

JP2006060744A - ノイズリダクション装置

Info

Publication number: JP2006060744A
Application number: JP2004243352A
Authority: JP
Inventors: Takeshi Shigeta; 雄志重田; Yukihiro Tanizoe; 幸広谷添
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-08-24
Filing date: 2004-08-24
Publication date: 2006-03-02

Abstract

【課題】色信号に応じてノイズリダクションの閾値を変化させる事により、有彩色でノイズ低減精度を向上させるとともにノイズが強調されている輝度の低い部分のノイズ低減精度を向上させる。
【解決手段】入力された撮像信号の彩度、もしくは色レベルに応じてノイズリダクション処理に用いる閾値を変化させ、有彩色において効果の高いノイズ低減処理を行う。固体撮像素子の出力画素信号を入力され、注目画素に対する周辺画素の差分値が閾値以内である周辺画素値と注目画素値の加算平均値又は重み付け加算平均値を演算することによりノイズを抑圧した信号を出力するノイズリダクション装置であって、前記注目画素値又は前記注目画素値を含む周辺画素値の平均値に応じて前記閾値を変更する手段を備える。
【選択図】図１

Description

本発明は、ノイズリダクション装置および方法に関し、特に、映像信号処理に用いるノイズリダクション装置および方法に関するものである。

従来のノイズリダクション装置では、特許文献１に開示されているように入力された輝度信号及び色差信号に対してのノイズリダクション処理による解像度の低下を抑えつつ、フレーム内の色に応じた部分的なノイズ除去を行っている。
以下図５を参照しながら、従来のノイズリダクション装置について説明する。

図５に示すように、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサ（以下、単にＣＣＤという）５０２と、ＣＣＤ５０２から供給された撮像信号をサンプリングするサンプル／ホールド回路（以下、Ｓ／Ｈ回路という）５０３と、Ｓ／Ｈ回路５０３から供給される撮像信号のゲインを調整することにより当該撮像信号を増幅するＡＧＣ（ａｕｔｏｍａｔｉｃｇａｉｎｃｏｎｔｒｏｌ）回路５０４と、供給された撮像信号をディジタル方式の画像データに変換するＡ／Ｄ変換回路５０５と、変換されたディジタル方式の画像データに対して信号処理を施すカメラ信号処理部５０６と、カメラ信号処理部５０６により信号処理された信号を記録する記録部５０７とを備える。

カメラ信号処理部５０６は、ホワイトバランス回路５０８と、ガンマ補正回路５０９と、色分離回路５１０と、ＹＣマトリックス回路５１１と、相関検出回路５１２と、色差空間検出回路５１３と、ＮＲゲイン回路５１４と、ＹＮＲ回路５１５と、ＣＮＲ回路５１６とを有する。

ホワイトバランス回路５０８は、Ａ／Ｄ変換回路５０５から供給されたディジタル方式の画像データのホワイトバランスを調整し、この調整済みの画像データをガンマ補正回路５０９に供給する。
ガンマ補正回路５０９は、ホワイトバランス回路５０８から供給されたホワイトバランス調整済みの画像データに対してガンマ補正の処理を行い、このガンマ補正済みの画像データを色分離回路５１０に供給する。

色分離回路５１０は、ガンマ補正回路５０９から供給されたガンマ補正済みの画像データに対して画素の補間処理を行い、全ての画素について、Ｒ信号，Ｇ信号，Ｂ信号の画像信号を生成する。色分離回路５１０は、これらの生成したＲ信号，Ｇ信号，Ｂ信号の各画像信号をＹＣマトリックス回路５１１に供給する。

ＹＣマトリックス回路５１１は、色分離回路５１０から供給されたＲ信号，Ｇ信号，Ｂ信号からなる画像信号を、輝度信号（Ｙ）及び色差信号（Ｃｂ、Ｃｒ）に変換する。ＹＣマトリックス回路５１１は、この変換後の輝度信号を、相関検出回路５１２及びＹＮＲ回路５１５に供給する。また、ＹＣマトリックス回路５１１は、変換後の色差信号を、色差空間検出回路５１３及びＣＮＲ回路５１６に供給する。

相関検出回路５１２は、ＹＣマトリックス回路５１１から供給された輝度信号について、画素毎に水平方向と垂直方向の相関関係の強弱を判定する。そして、相関検出回路５１２は、この判定した相関判定の結果を、ＮＲゲイン回路５１４に供給する。

色差空間検出回路５１３は、ＹＣマトリックス回路５１１から供給された色差信号について、画素毎に色空間座標の位置を検出する。そして、色差空間検出回路５１３は、この検出した色差空間に関する結果を、ＮＲゲイン回路５１４に供給する。

ＮＲゲイン回路５１４は、相関検出回路５１２から供給された相関値と、色差空間検出回路５１３から供給された色差空間とに基づいて、輝度信号及び色差信号のそれぞれに対するＮＲゲインを画素毎に設定する。そして、ＮＲゲイン回路５１４は、輝度信号について設定したＮＲゲインに関する情報をＹＮＲ回路５１５に供給する。また、ＮＲゲイン回路５１４は、色差信号について設定したＮＲゲインに関する情報をＣＮＲ回路５１６に供給する。

ＹＮＲ回路５１５は、ＮＲゲイン回路５１４から供給された輝度信号のＮＲゲインに関する情報に基づいて、ＹＣマトリックス回路５１１から供給された輝度信号に対してノイズリダクション処理を行う。ＹＮＲ回路５１５は、このノイズリダクション処理後の輝度信号を記録部５０７に供給する。

ＣＮＲ回路５１６は、ＮＲゲイン回路５１４から供給された色差信号のＮＲゲインに関する情報に基づいて、ＹＣマトリックス回路５１１から供給された色差信号に対してノイズリダクション処理を行う。ＣＮＲ回路５１６は、このノイズリダクション処理後の色差信号を記録部５０７に供給する。

記録部５０７は、ＹＮＲ回路５１５及びＣＮＲ回路５１６から供給されたノイズリダクション処理後の輝度信号及び色差信号を、図示しない記録媒体に記録する。

以上のように構成された撮像装置５０１では、ＹＮＲ回路５１５は、ＮＲゲイン回路５１４から供給された輝度信号のＮＲゲインに関する情報に基づいて、ＹＣマトリックス回路５１１から供給された輝度信号に対してノイズリダクション処理を行い、このノイズリダクション処理後の輝度信号を記録部５０７に供給する。また、ＣＮＲ回路５１６は、ＮＲゲイン回路５１４から供給された色差信号のＮＲゲインに関する情報に基づいて、ＹＣマトリックス回路５１１から供給された色差信号に対してノイズリダクション処理を行い、このノイズリダクション処理後の色差信号を記録部５０７に供給する。
特開２００１−１８９９４４号公報

前期従来のノイズリダクション装置では、信号の色空間での位置と輝度信号の相関のみで補正量を決定しているため、輝度レベルに応じて変化するショットノイズを含む撮像信号、また、ガンマ補正の傾きが大きくノイズが強調されてしまう輝度の低い部分と傾きが小さくノイズが少ない輝度の高い部分とが交じり合ったガンマ補正後の信号に対して効果的なノイズ低減が行えないという問題がある。また、カメラ信号処理ではホワイトバランス処理によって感度の低い赤、青の信号には緑よりも高いゲインが乗算されるためノイズが強調されてしまい、緑に合わせてノイズ低減を行ってしまうと、ノイズの多い赤や青に対して効果的なノイズ低減が行えないという問題がある。

本発明は、上記従来の問題を解決して、輝度信号及び色信号に応じてノイズリダクションの閾値を変化させる事により、有彩色でノイズ低減精度を向上させるとともにノイズが強調されている輝度の低い部分のノイズ低減精度を向上させる事を目的とする。

本発明ではノイズリダクション装置として、固体撮像素子の出力画素信号を入力する撮像信号入力手段と、前期撮像信号入力手段から入力された撮像信号を所定の閾値でノイズ成分を提言して出力するノイズリダクション手段と前期撮像信号の注目画素値又は注目画素値を含む周辺画素値の平均値を検出する画素情報検出手段と、前期画素情報検出手段から検出された値に応じて前期閾値を設定する閾値設定手段を具備する構成とする。

また、色フィルタがモザイク状に配置された前期固体撮像素子に対して、前期閾値設定手段が前期色フィルタの色別に閾値を設定する手段を設けた。このように構成したことにより、色信号に応じた効果的なノイズ低減を行うことができる。

さらに、色フィルタがモザイク状に配置された前期固体撮像素子に対して、前期画素情報検出手段が前期色フィルタの色別に平均値を検出する手段を設けた。このように構成したことにより、色信号のレベルに応じた効果的なノイズ低減を行うことができる。

さらにまた、色フィルタがモザイク状に配置された前期固体撮像素子に対して、前期画素情報検出手段が前期色フィルタの色差信号の平均値を検出する手段と、前期閾値設定手段が前期色フィルタの色別に閾値を設定する手段を設けた。このように構成したことにより、色差信号に応じた効果的なノイズ低減を行うことができる。

本発明に係る撮像装置を用いれば、入力される信号の輝度レベルもしくは色レベルに応じてノイズリダクション処理に用いる閾値を変化させることができるようになり、明暗の差や有彩色の入力に対して効果的なノイズ低減を行う事ができる。

以下、本発明の実施の形態について、図１、図２を参照しながら詳細に説明する。

（第１の実施の形態）
本発明の第１の実施の形態は、固体撮像素子の出力信号の中心画素及びその周辺画素の平均値に応じて、使用する閾値を設定するノイズリダクション装置である。

図１は、本発明の第１の実施の形態におけるノイズリダクション装置の機能ブロック図である。図１において、固体撮像素子１０１は、撮像を行い撮像信号を出力する素子である。ノイズリダクション処理手段１０２は、注目画素値と周辺画素値の差分の絶対値と閾値とを比較し、相関関係のある画素の平均を取りノイズの低減を行う手段である。画素情報検出手段１０３は、入力された撮像信号の注目画素値又は注目画素値を含む周辺画素値の平均値を出力する手段である。

閾値設定手段１０４は、前期画素情報検出手段の出力値に応じて閾値を設定する手段である。

上記のように構成された本発明の第１の実施の形態におけるノイズリダクション装置の動作を図１を参照にしながら説明する。固体撮像装置１０１から出力された撮像信号はノイズリダクション手段１０２と画素情報検出手段１０３に入力される。画素情報検出手段１０３は入力信号を周辺画素を用いて平均化し、閾値設定手段１０４に入力する。閾値設定手段１０４はあらかじめ設定されている閾値を画素情報検出手段からの入力値によって補正し、ノイズリダクション手段１０２に入力する。ノイズリダクション手段１０２において、固体撮像素子１０１から入力された撮像信号の注目画素値と周辺画素値の差分の絶対値を閾値設定手段１０４から入力された閾値と比較し、相関関係の有無を判定する。撮像信号の差の絶対値が、閾値設定手段１０４から入力された閾値より小さければ、相関が有ると判定する。撮像信号の差の絶対値が、閾値設定手段１０４から入力された閾値より大きければ、相関が弱いと判定する。この相関関係があると判断した画素値の平均を取り、注目画素値と置き換えることでノイズが平均化された信号を出力する。

上記のように、本発明の第１の実施の形態では、ノイズリダクション装置を、入力された撮像信号の平均値に応じて、閾値を設定する構成としたため、入力された撮像信号のレベルに適応したノイズ低減処理を行う事ができる。

（第２の実施の形態）
本発明の第２の実施の形態は、各画素に対応して、色フィルタがモザイク状に配置された固体撮像素子の出力信号の中心画素及びその周辺画素の平均値に応じて、色フィルタの色別に使用する閾値を設定するノイズリダクション装置である。

図２は、本発明の第２の実施の形態におけるノイズリダクション装置の機能ブロック図である。図２において、固体撮像素子２０１は、各画素に対応して色フィルタがモザイク状に配置されており、撮像を行い撮像信号を出力する素子である。ノイズリダクション処理手段１０２は、注目画素値と周辺画素値の差分の絶対値と閾値とを比較し、相関関係のある画素の平均を取りノイズの低減を行う手段である。画素情報検出手段１０３は、入力された撮像信号の注目画素値又は注目画素値を含む周辺画素値の平均値を出力する手段である。色別閾値設定手段２０４は、前期画素情報検出手段の出力値に応じて色フィルタの色別に閾値を設定する手段である。

上記のように構成された本発明の第２の実施の形態におけるノイズリダクション装置の動作を図２を参照にしながら説明する。固体撮像装置２０１から出力された色フィルタに対応した撮像信号はノイズリダクション手段１０２と画素情報検出手段１０３に入力される。画素情報検出手段２０３は入力信号を周辺画素を用いて平均化し、色別閾値設定手段２０４に入力する。色別閾値設定手段２０４はあらかじめ色フィルタ別に設定されている閾値を画素情報検出手段からの入力値によって補正し、ノイズリダクション手段１０２に入力する。ノイズリダクション手段１０２において、固体撮像素子２０１から入力された撮像信号の注目画素値と周辺画素値の差分の絶対値を色別閾値設定手段２０４から入力された閾値と比較し、相関関係の有無を判定する。撮像信号の差の絶対値が、色別閾値設定手段２０４から入力された閾値より小さければ、相関が有ると判定する。撮像信号の差の絶対値が、色別閾値設定手段２０４から入力された閾値より大きければ、相関が弱いと判定する。この相関関係があると判断した画素値の平均を取り、注目画素値と置き換えることでノイズが平均化された信号を出力する。

上記のように、本発明の第２の実施の形態では、ノイズリダクション装置を、入力された撮像信号の平均値に応じて、色フィルタの色別に閾値を設定する構成としたため、入力された撮像信号の色に適応したノイズ低減処理を行う事ができる。

（第３の実施の形態）
本発明の第３の実施の形態は、各画素に対応して、色フィルタがモザイク状に配置された固体撮像素子の出力信号の注目画素及び色フィルタの同じ色に対応する周辺画素の平均値に応じて、使用する閾値を設定するノイズリダクション装置である。

図３は、本発明の第３の実施の形態におけるノイズリダクション装置の機能ブロック図である。図３において、固体撮像素子２０１は、各画素に対応して色フィルタがモザイク状に配置されており、撮像を行い撮像信号を出力する素子である。ノイズリダクション処理手段１０２は、注目画素値と周辺画素値の差分の絶対値と閾値とを比較し、相関関係のある画素の平均を取りノイズの低減を行う手段である。画素情報検出手段３０３は、入力された撮像信号の注目画素値又は注目画素値を含む色フィルタの同じ色に対応する周辺画素値の平均値を出力する手段である。閾値設定手段１０４は、前期画素情報検出手段の出力値に応じて閾値を設定する手段である。

上記のように構成された本発明の第３の実施の形態におけるノイズリダクション装置の動作を図３を参照にしながら説明する。固体撮像装置２０１から出力された色フィルタに対応した撮像信号はノイズリダクション手段１０２と画素情報検出手段３０３に入力される。画素情報検出手段３０３は入力信号を色フィルタの同じ色に対応する周辺画素を用いて平均化し、閾値設定手段１０４に入力する。閾値設定手段１０４はあらかじめ設定されている閾値を画素情報検出手段からの入力値によって補正し、ノイズリダクション手段１０２に入力する。ノイズリダクション手段１０２において、固体撮像素子２０１から入力された撮像信号の注目画素値と周辺画素値の差分の絶対値を閾値設定手段１０４から入力された閾値と比較し、相関関係の有無を判定する。撮像信号の差の絶対値が、閾値設定手段１０４から入力された閾値より小さければ、相関が有ると判定する。撮像信号の差の絶対値が、閾値設定手段１０４から入力された閾値より大きければ、相関が弱いと判定する。この相関関係があると判断した画素値の平均を取り、注目画素値と置き換えることでノイズが平均化された信号を出力する。

上記のように、本発明の第３の実施の形態では、ノイズリダクション装置を、入力された撮像信号の色フィルタの同じ色に対応する画素同士の平均値に応じて、閾値を設定する構成としたため、入力された撮像信号の色レベルに適応したノイズ低減処理を行う事ができる。

（第４の実施の形態）
本発明の第４の実施の形態は、各画素に対応して、色フィルタがモザイク状に配置された固体撮像素子の出力信号の注目画素及び周辺画素の平均値に応じて、使用する閾値を設定するノイズリダクション装置である。

図４は、本発明の第４の実施の形態におけるノイズリダクション装置の機能ブロック図である。図４において、固体撮像素子２０１は、各画素に対応して色フィルタがモザイク状に配置されており、撮像を行い撮像信号を出力する素子である。ノイズリダクション処理手段１０２は、注目画素値と周辺画素値の差分の絶対値と閾値とを比較し、相関関係のある画素の平均を取りノイズの低減を行う手段である。色差信号検出手段４０３は、入力された撮像信号の注目画素値又は注目画素値を含む周辺画素値の色フィルタの色に応じた色差信号を出力する手段である。閾値設定手段１０４は、前期色差情報検出手段の出力値に応じて閾値を設定する手段である。

上記のように構成された本発明の第４の実施の形態におけるノイズリダクション装置の動作を図４を参照にしながら説明する。固体撮像装置２０１から出力された色フィルタに対応した撮像信号はノイズリダクション手段１０２と色差信号検出手段４０３に入力される。色差信号検出手段４０３は入力信号と色フィルタの色に対応する周辺画素を用いて色差信号を作成し、閾値設定手段１０４に入力する。閾値設定手段１０４はあらかじめ設定されている閾値を色差信号検出手段からの入力値によって補正し、ノイズリダクション手段１０２に入力する。ノイズリダクション手段１０２において、固体撮像素子２０１から入力された撮像信号の注目画素値と周辺画素値の差分の絶対値を閾値設定手段１０４から入力された閾値と比較し、相関関係の有無を判定する。撮像信号の差の絶対値が、閾値設定手段１０４から入力された閾値より小さければ、相関が有ると判定する。撮像信号の差の絶対値が、閾値設定手段１０４から入力された閾値より大きければ、相関が弱いと判定する。この相関関係があると判断した画素値の平均を取り、注目画素値と置き換えることでノイズが平均化された信号を出力する。

上記のように、本発明の第４の実施の形態では、ノイズリダクション装置を、入力された撮像信号の色差信号に応じて、閾値を設定する構成としたため、入力された撮像信号の色に適応したノイズ低減処理を行う事ができ、色フィルタの色ごとに閾値を設定する手段に比べ少ない回路で実現できる。

本発明は、入力される信号の輝度レベルもしくは色レベルに応じてノイズリダクション処理に用いる閾値を変化させることができるようになり、明暗の差や有彩色の入力に対して効果的なノイズ低減を行うことができるから、デジタルカメラやカメラ付き携帯電話端末等に適用できる。

本発明の実施の形態１に於けるノイズリダクション装置を示したブロック図本発明の実施の形態２に於けるノイズリダクション装置を示したブロック図本発明の実施の形態３に於けるノイズリダクション装置を示したブロック図本発明の実施の形態４に於けるノイズリダクション装置を示したブロック図従来のノイズリダクション装置を示した図

符号の説明

１０１固体撮像素子
１０２ノイズリダクション手段
１０３画像情報検出手段
１０４閾値設定手段
２０１色フィルタがモザイク状に配置された固体撮像素子
２０４色別閾値設定手段
３０３画素情報検出手段
４０３色差信号検出手段
５０１撮像装置
５０２ＣＣＤイメージセンサ
５０３サンプル／ホールド回路
５０４ＡＧＣ
５０５Ａ／Ｄ変換回路
５０６カメラ信号処理部
５０７記録部
５０８ホワイトバランス回路
５０９ガンマ補正回路
５１０色分離回路
５１１ＹＣマトリクス回路
５１２相関検出回路
５１３色差空間検出回路
５１４ＮＲゲイン回路
５１５ＹＮＲ回路
５１６ＣＮＲ回路

Claims

固体撮像素子の出力画素信号を入力され、注目画素に対する周辺画素の差分値が閾値以内である周辺画素値と注目画素値の加算平均値又は重み付け加算平均値を演算することによりノイズを抑圧した信号を出力するノイズリダクション装置であって、前記注目画素値又は前記注目画素値を含む周辺画素値の平均値に応じて前記閾値を変更する手段を備えることを特徴とするノイズリダクション装置。
各画素に対応して、色フィルタがモザイク状に配置された固体撮像素子の出力画素信号を入力され、注目画素に対する周辺画素の差分値が閾値以内である周辺画素値と注目画素値の加算平均値又は重み付け加算平均値を演算することによりノイズを抑圧した信号を出力するノイズリダクション装置であって、前記注目画素値又は前記注目画素値を含む周辺画素値の平均値に応じて前記閾値を前記色フィルタの色別に異なる値に変更する手段を備えることを特徴とするノイズリダクション装置。
各画素に対応して、色フィルタがモザイク状に配置された固体撮像素子の出力画素信号を入力され、注目画素に対する周辺画素の差分値が閾値以内である周辺画素値と注目画素値の加算平均値又は重み付け加算平均値を演算することによりノイズを抑圧した信号を出力するノイズリダクション装置であって、前記注目画素値又は前記注目画素値を含む周辺画素値のうち、前記色フィルタの同じ色に対応する値の平均値に応じて前記閾値を前記色フィルタの色別に異なる値に変更する手段を備えることを特徴とするノイズリダクション装置。
前記注目画素の色差信号又は前記注目画素値を含む周辺画素の色差信号の平均値に応じて前記閾値を前記色フィルタの色別に異なる値に変更する手段を備えることを特徴とする請求項２又は３記載のノイズリダクション装置。
前記注目画素値又は前記注目画素値を含む周辺画素値の色差信号が正方向に大きいときは前記閾値を大きくし、負方向に大きいときは小さく設定する手段を備えることを特徴とする請求項４記載のノイズリダクション装置。