JP2003018432A - ノイズ除去回路 - Google Patents
ノイズ除去回路Info
- Publication number
- JP2003018432A JP2003018432A JP2001202055A JP2001202055A JP2003018432A JP 2003018432 A JP2003018432 A JP 2003018432A JP 2001202055 A JP2001202055 A JP 2001202055A JP 2001202055 A JP2001202055 A JP 2001202055A JP 2003018432 A JP2003018432 A JP 2003018432A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- filter
- color
- data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Picture Signal Circuits (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
(57)【要約】
【課題】 ノイズ低減処理の回路規模を大幅に削減し、
供給される画素配列を考慮し、かつ良好なノイズ低減処
理を施すことができるノイズ除去回路の提供。 【解決手段】 ハニカム用メディアンフィルタ部22a
は、領域読出し部220aで注目位置の輝度データに対して
この輝度データおよびこの輝度データの左右斜め方向に
隣接する輝度データを含む５つの輝度データ220〜228を
元々実画素と仮想画素の領域に分けて取り出し、メディ
アンフィルタ部222aに輝度データ220〜228に対する組合
せすべての比較を行い、比較で得た10ビットの条件を基
に輝度データの大きさにおける中央値を選んで平滑化
し、従来のフィルタ処理と同程度のノイズ低減効果を発
揮させ、組合せを大幅に少なく抑えて、小型化してい
る。
供給される画素配列を考慮し、かつ良好なノイズ低減処
理を施すことができるノイズ除去回路の提供。 【解決手段】 ハニカム用メディアンフィルタ部22a
は、領域読出し部220aで注目位置の輝度データに対して
この輝度データおよびこの輝度データの左右斜め方向に
隣接する輝度データを含む５つの輝度データ220〜228を
元々実画素と仮想画素の領域に分けて取り出し、メディ
アンフィルタ部222aに輝度データ220〜228に対する組合
せすべての比較を行い、比較で得た10ビットの条件を基
に輝度データの大きさにおける中央値を選んで平滑化
し、従来のフィルタ処理と同程度のノイズ低減効果を発
揮させ、組合せを大幅に少なく抑えて、小型化してい
る。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ノイズ除去回路に
関し、たとえば画像入力された画像のノイズ低減を図る
回路であり、特に画素配列が空間的に互いにずれた、い
わゆるハニカム配列やベイヤ配列等のように色フィルタ
セグメントの配列パターンに応じて画像のノイズ除去を
行う場合に適用して好適な回路である。
関し、たとえば画像入力された画像のノイズ低減を図る
回路であり、特に画素配列が空間的に互いにずれた、い
わゆるハニカム配列やベイヤ配列等のように色フィルタ
セグメントの配列パターンに応じて画像のノイズ除去を
行う場合に適用して好適な回路である。
【０００２】
【従来の技術】画像処理において、映像信号に含まれる
ノイズを除去する目的で数多くのフィルタが提案されて
いる。これらのフィルタのうち、たとえば、メディアン
フィルタに代表される非線形フィルタが注目されてい
る。ここで、一般的に、メディアンフィルタは、通常の
正方配列の画像においてN×Nのマスク（観察窓）内のN2
画素の階調値を小さい順または大きい順に並べたときの
中央値を出力するフィルタである。非線形フィルタに
は、構成する上でアルゴリズムが簡易であり、適用した
映像信号に含まれる画像のエッジ成分の保存性に優れて
いるなどの長所がある。
ノイズを除去する目的で数多くのフィルタが提案されて
いる。これらのフィルタのうち、たとえば、メディアン
フィルタに代表される非線形フィルタが注目されてい
る。ここで、一般的に、メディアンフィルタは、通常の
正方配列の画像においてN×Nのマスク（観察窓）内のN2
画素の階調値を小さい順または大きい順に並べたときの
中央値を出力するフィルタである。非線形フィルタに
は、構成する上でアルゴリズムが簡易であり、適用した
映像信号に含まれる画像のエッジ成分の保存性に優れて
いるなどの長所がある。
【０００３】しかしながら、非線形フィルタは、適用す
る映像信号の特徴に応じてノイズ除去の効果を十分に発
揮しないまま出力してしまうことがある。このような場
合の一例として、特開平6-178165号公報の非線形フィル
タは、ガウス性ノイズの除去あるいは低減するために、
同時化手段で入力信号から、相異なるｎ個（ｎ≧3)の時
刻のデータを同時化してウィンドウを設定し、同時化に
より出力されるｎ個のデータから平均値算出手段で平均
値を算出して、ノイズの影響を打ち消し、近似値判定部
で真の信号レベルを求めるように、算出した平均値に最
も近い値のデータをｎ個の中から判定して判定信号を選
択手段に出力し、選択手段で判定信号に対応する１個の
出力をｎ個の中から選択することによりノイズ低減を行
っている。
る映像信号の特徴に応じてノイズ除去の効果を十分に発
揮しないまま出力してしまうことがある。このような場
合の一例として、特開平6-178165号公報の非線形フィル
タは、ガウス性ノイズの除去あるいは低減するために、
同時化手段で入力信号から、相異なるｎ個（ｎ≧3)の時
刻のデータを同時化してウィンドウを設定し、同時化に
より出力されるｎ個のデータから平均値算出手段で平均
値を算出して、ノイズの影響を打ち消し、近似値判定部
で真の信号レベルを求めるように、算出した平均値に最
も近い値のデータをｎ個の中から判定して判定信号を選
択手段に出力し、選択手段で判定信号に対応する１個の
出力をｎ個の中から選択することによりノイズ低減を行
っている。
【０００４】混在するノイズに対応する提案として特開
平7-115569号公報のノイズ低減装置がある。ノイズ低減
装置は、ノイズを含む画像をブロック化してクラス分類
したデータと低ノイズの画像をブロック化したデータと
で予め学習して得た結果をテーブルに保存し、保存した
結果にシステムやノイズの特性を反映させ、このテーブ
ルから入力画像のクラス分類によるクラスコードに対応
した学習値を取り出してノイズを含む画像の代わりにノ
イズのない画像をあてはめることにより、システムに合
致した低ノイズの画像を出力させていることから、画像
の劣化が少なく、画像の形状、内容やシステムにかかわ
らないノイズ除去を行っている。
平7-115569号公報のノイズ低減装置がある。ノイズ低減
装置は、ノイズを含む画像をブロック化してクラス分類
したデータと低ノイズの画像をブロック化したデータと
で予め学習して得た結果をテーブルに保存し、保存した
結果にシステムやノイズの特性を反映させ、このテーブ
ルから入力画像のクラス分類によるクラスコードに対応
した学習値を取り出してノイズを含む画像の代わりにノ
イズのない画像をあてはめることにより、システムに合
致した低ノイズの画像を出力させていることから、画像
の劣化が少なく、画像の形状、内容やシステムにかかわ
らないノイズ除去を行っている。
【０００５】また、フィルタ処理は扱う処理対象である
画像の種類に応じて選ぶことも行われている。たとえ
ば、メディアンフィルタは、情報が欠落してしまうよう
な大きなレベルのノイズ除去に用いられる。しかし、単
純にメディアン値を出力するメディアンフィルタは、静
止画像に画像の歪みを発生させ、動画像では時間軸歪み
を生じさせてしまうことがある。また、リカーシブフィ
ルタでは、この大きなレベルのノイズ除去により、大き
なレベルの残像現象が発生してしまう。また、リカーシ
ブフィルタは、単純な隣接フレーム信号を用いると、高
解像度の動画では解像度劣化を引き起こすことから動画
には不向きである。
画像の種類に応じて選ぶことも行われている。たとえ
ば、メディアンフィルタは、情報が欠落してしまうよう
な大きなレベルのノイズ除去に用いられる。しかし、単
純にメディアン値を出力するメディアンフィルタは、静
止画像に画像の歪みを発生させ、動画像では時間軸歪み
を生じさせてしまうことがある。また、リカーシブフィ
ルタでは、この大きなレベルのノイズ除去により、大き
なレベルの残像現象が発生してしまう。また、リカーシ
ブフィルタは、単純な隣接フレーム信号を用いると、高
解像度の動画では解像度劣化を引き起こすことから動画
には不向きである。
【０００６】特開平6-46298号公報の映像信号の雑音除
去装置は、回路規模を小さく、ノイズ除去にともなう歪
みを抑えるように、動き検出回路からの動き情報を入力
する手段を備えたメディアンフィルタを用い、このメデ
ィアンフィルタは、着目する一つの輝点（Q)についてそ
のフィールドの直上および直下の点（O1，O3)、二つ前
のフィールドのその輝点に対応する点（O2)、二つ後の
フィールドのその輝点に対応する点（O4)、一つ前のフ
ィールドのその輝点に隣接する二つの点（X1，X2)およ
び一つ後のフィールドのその輝点に隣接する二つの点
（X3，X4)からなる９点をカーネルとし、点（O1，O2, O
3, O4, Q）の中央値MOを演算する手段と、点（X1，X2,
X3, X4, Q）の中央値MXを演算する手段と、中央値（MO,
MXおよびQ）の中央値Q’を演算する手段と、出力信号
として、動き情報が動きを示すときは、Q、｜Q−Q’｜
＜kのときはQ、それ以外のときはQ’を出力して動きを
停止する手段とを備えて、画像の動きに応動してエッジ
のぼけを防止している。
去装置は、回路規模を小さく、ノイズ除去にともなう歪
みを抑えるように、動き検出回路からの動き情報を入力
する手段を備えたメディアンフィルタを用い、このメデ
ィアンフィルタは、着目する一つの輝点（Q)についてそ
のフィールドの直上および直下の点（O1，O3)、二つ前
のフィールドのその輝点に対応する点（O2)、二つ後の
フィールドのその輝点に対応する点（O4)、一つ前のフ
ィールドのその輝点に隣接する二つの点（X1，X2)およ
び一つ後のフィールドのその輝点に隣接する二つの点
（X3，X4)からなる９点をカーネルとし、点（O1，O2, O
3, O4, Q）の中央値MOを演算する手段と、点（X1，X2,
X3, X4, Q）の中央値MXを演算する手段と、中央値（MO,
MXおよびQ）の中央値Q’を演算する手段と、出力信号
として、動き情報が動きを示すときは、Q、｜Q−Q’｜
＜kのときはQ、それ以外のときはQ’を出力して動きを
停止する手段とを備えて、画像の動きに応動してエッジ
のぼけを防止している。
【０００７】さらに、画像に対して適用するフィルタを
選ぶ場合、フィルタ処理速度も考慮する要素の一つであ
る。特開平8-202871号公報の画像処理装置は、入力画像
メモリに入力したディジタル画像情報を記憶し、記憶し
た各画素の濃度データを用いて平均値算出手段で注目画
像と近傍画像とで平均値を求め、分散値算出手段で得ら
れた各画素の平均値画像入力より注目画像と近傍画像と
の分散値を求めこの分散値を記憶し、各画素の分散値と
予め設定した閾値との大小比較をディジタル値比較手段
で行い、メディアン手法算出手段で分散値が閾値より大
きい画像に対してメディアンフィルタ手法で注目画像と
近傍画像とで中央値を求め得られたメディアン画像を記
憶し、出力画像メモリにメディアン画像と分散値が閾値
より小さい画像に対して平均値画像をそのまま記憶する
ことにより、ノイズ除去の高速化を図っている。
選ぶ場合、フィルタ処理速度も考慮する要素の一つであ
る。特開平8-202871号公報の画像処理装置は、入力画像
メモリに入力したディジタル画像情報を記憶し、記憶し
た各画素の濃度データを用いて平均値算出手段で注目画
像と近傍画像とで平均値を求め、分散値算出手段で得ら
れた各画素の平均値画像入力より注目画像と近傍画像と
の分散値を求めこの分散値を記憶し、各画素の分散値と
予め設定した閾値との大小比較をディジタル値比較手段
で行い、メディアン手法算出手段で分散値が閾値より大
きい画像に対してメディアンフィルタ手法で注目画像と
近傍画像とで中央値を求め得られたメディアン画像を記
憶し、出力画像メモリにメディアン画像と分散値が閾値
より小さい画像に対して平均値画像をそのまま記憶する
ことにより、ノイズ除去の高速化を図っている。
【０００８】このようにメディアンフィルタは、画素同
士の演算処理を行うだけでなく、ノイズ低減処理に用い
る画素の選択、クラス分類処理、他のフィルタとの組合
せや閾値判定に基づく処理の高速化をそれぞれ図ってい
る。上述した提案は、あらわには記載していないが、い
ずれも画素データから得られた輝度データを階調値とし
て用い、供給される階調値に対してフィルタ処理を施す
手法が述べられている。この手法では、整然と格子状に
配列された画素から得られた画像データをフィルタ処理
に用いている。
士の演算処理を行うだけでなく、ノイズ低減処理に用い
る画素の選択、クラス分類処理、他のフィルタとの組合
せや閾値判定に基づく処理の高速化をそれぞれ図ってい
る。上述した提案は、あらわには記載していないが、い
ずれも画素データから得られた輝度データを階調値とし
て用い、供給される階調値に対してフィルタ処理を施す
手法が述べられている。この手法では、整然と格子状に
配列された画素から得られた画像データをフィルタ処理
に用いている。
【０００９】
【発明が解決しようとする課題】ところで、最近、画像
データには、格子状に画素配列する場合の画素数よりも
記録時の画素数を補間により増やして画像の解像度を向
上させるものもある。この画像データが、いわゆるハニ
カム配列と呼ぶ画素配列で、画像データは一画素に対し
て隣接する画素を水平および垂直方向に画素ピッチの半
分ずつずらして、互いに画素のずれた位置関係で、実画
素および本来の画素が存在しない仮想画素として得られ
る。
データには、格子状に画素配列する場合の画素数よりも
記録時の画素数を補間により増やして画像の解像度を向
上させるものもある。この画像データが、いわゆるハニ
カム配列と呼ぶ画素配列で、画像データは一画素に対し
て隣接する画素を水平および垂直方向に画素ピッチの半
分ずつずらして、互いに画素のずれた位置関係で、実画
素および本来の画素が存在しない仮想画素として得られ
る。
【００１０】この画像データにメディアンフィルタ処理
を行う場合、補間後の画像データから生成される輝度デ
ータは、格子状の画素配列と同じ位置関係になることか
ら、記録時の輝度データを供給してフィルタ処理が行わ
れている。すなわち、このフィルタ処理時の各画素に対
する輝度データは、実画素と仮想画素の区別なく同じ質
の情報として扱われている。したがって、ハニカム配列
のような独特な配列関係や生成される画素データに関し
て単板式色フィルタの配列等は、フィルタ処理において
まだ何ら考慮されていない。
を行う場合、補間後の画像データから生成される輝度デ
ータは、格子状の画素配列と同じ位置関係になることか
ら、記録時の輝度データを供給してフィルタ処理が行わ
れている。すなわち、このフィルタ処理時の各画素に対
する輝度データは、実画素と仮想画素の区別なく同じ質
の情報として扱われている。したがって、ハニカム配列
のような独特な配列関係や生成される画素データに関し
て単板式色フィルタの配列等は、フィルタ処理において
まだ何ら考慮されていない。
【００１１】また、メディアンフィルタは、前述したよ
うに、たとえば、3×3のマスク内における９画素の階調
値の並べ替えを行う場合でも、処理時間を要し、しかも
回路規模も大きくなることが知られているが、いずれの
問題に対する最善な解決方法はまだ提供されていない。
うに、たとえば、3×3のマスク内における９画素の階調
値の並べ替えを行う場合でも、処理時間を要し、しかも
回路規模も大きくなることが知られているが、いずれの
問題に対する最善な解決方法はまだ提供されていない。
【００１２】本発明はこのような従来技術の欠点を解消
し、ノイズ低減処理の回路規模を大幅に削減し、供給さ
れる画素配列を考慮し、かつ良好なノイズ低減処理を施
すことができるノイズ除去回路を提供することを目的と
する。
し、ノイズ低減処理の回路規模を大幅に削減し、供給さ
れる画素配列を考慮し、かつ良好なノイズ低減処理を施
すことができるノイズ除去回路を提供することを目的と
する。
【００１３】
【課題を解決するための手段】本発明のノイズ除去回路
は上述の課題を解決するために、一画素に対して隣接す
る画素が水平および垂直方向に画素ピッチの半分ずつず
れて配列され、この配列された画素を実在画素とし、こ
の実在画素に挟まれた領域を仮想画素とし、得られた画
素データを用いて生成された階調値に対して、この階調
値のうち、注目する位置の階調値に対してこの階調値を
含み、左右斜め方向に隣接する階調値を観察窓領域とし
て抽出する領域抽出手段と、この抽出した階調値をそれ
ぞれ場合に分けて比較する比較手段と、この比較手段の
出力結果を用いて前記抽出した階調値の大きさの順に並
べて、該並べた階調値の中央値を選択し出力する中央値
選択手段とを含むことを特徴とする。
は上述の課題を解決するために、一画素に対して隣接す
る画素が水平および垂直方向に画素ピッチの半分ずつず
れて配列され、この配列された画素を実在画素とし、こ
の実在画素に挟まれた領域を仮想画素とし、得られた画
素データを用いて生成された階調値に対して、この階調
値のうち、注目する位置の階調値に対してこの階調値を
含み、左右斜め方向に隣接する階調値を観察窓領域とし
て抽出する領域抽出手段と、この抽出した階調値をそれ
ぞれ場合に分けて比較する比較手段と、この比較手段の
出力結果を用いて前記抽出した階調値の大きさの順に並
べて、該並べた階調値の中央値を選択し出力する中央値
選択手段とを含むことを特徴とする。
【００１４】本発明のノイズ除去回路は、領域抽出手段
で注目する位置の階調値に対して注目位置の階調値およ
びこの階調値の左右斜め方向に隣接する階調値を取り出
し、取り出した各階調値に対する組合せすべての比較を
比較手段で行い、この比較の結果から階調値の大きさに
おける中央値を選択することにより、従来のフィルタ処
理に用いる比較手段の組合せに比べて組合せの数、すな
わち場合の数を少なく抑えていながら、従来のフィルタ
処理と同程度のノイズ除去を行うことができる。
で注目する位置の階調値に対して注目位置の階調値およ
びこの階調値の左右斜め方向に隣接する階調値を取り出
し、取り出した各階調値に対する組合せすべての比較を
比較手段で行い、この比較の結果から階調値の大きさに
おける中央値を選択することにより、従来のフィルタ処
理に用いる比較手段の組合せに比べて組合せの数、すな
わち場合の数を少なく抑えていながら、従来のフィルタ
処理と同程度のノイズ除去を行うことができる。
【００１５】本発明のノイズ除去回路は上述の課題を解
決するために、入射光を色分解する色フィルタセグメン
トの配列パターンがベイヤパターンで配列され、このベ
イヤパターンの各画素から得られた画素データを用いて
生成される階調値に対して、この階調値のうち、配列さ
れた色フィルタセグメントの色に着目し、注目する位置
の階調値を含み、この位置の階調値に対して色フィルタ
セグメントの色がすべて同色であり、かつ左右斜め方向
に隣接する階調値を抽出する第１の観察窓領域と、この
同色を示す色と異色の画素位置を注目位置の階調値に
し、この注目位置の階調値を含み、この位置の階調値に
対して左右斜め方向に隣接する色フィルタセグメントの
色が同色であった位置の階調値を抽出する第２の観察窓
領域とに分けて抽出する領域抽出手段と、この抽出した
階調値をそれぞれ場合に分けて比較する比較手段と、こ
の比較手段の出力結果を用いて抽出した階調値の大きさ
の順に並べて、この並べた階調値の中央値を選択し出力
する中央値選択手段とを含むことを特徴とする。
決するために、入射光を色分解する色フィルタセグメン
トの配列パターンがベイヤパターンで配列され、このベ
イヤパターンの各画素から得られた画素データを用いて
生成される階調値に対して、この階調値のうち、配列さ
れた色フィルタセグメントの色に着目し、注目する位置
の階調値を含み、この位置の階調値に対して色フィルタ
セグメントの色がすべて同色であり、かつ左右斜め方向
に隣接する階調値を抽出する第１の観察窓領域と、この
同色を示す色と異色の画素位置を注目位置の階調値に
し、この注目位置の階調値を含み、この位置の階調値に
対して左右斜め方向に隣接する色フィルタセグメントの
色が同色であった位置の階調値を抽出する第２の観察窓
領域とに分けて抽出する領域抽出手段と、この抽出した
階調値をそれぞれ場合に分けて比較する比較手段と、こ
の比較手段の出力結果を用いて抽出した階調値の大きさ
の順に並べて、この並べた階調値の中央値を選択し出力
する中央値選択手段とを含むことを特徴とする。
【００１６】本発明のノイズ除去回路は、領域抽出手段
で注目位置の階調値を含み、この位置の色フィルタセグ
メントの色と左右斜め方向の色フィルタセグメントの色
とが同色か異色かで階調値の取り出しを第１の観察窓領
域と第２の観察窓領域に分けて、比較手段ではそれぞれ
の領域から取り出した階調値で比較し、中央選択手段で
比較結果を基に中央値を選択することにより、従来のフ
ィルタ処理に用いる比較手段の組合せに比べて組合せの
数、すなわち場合の数を少なく抑えていながら、従来の
フィルタ処理と同程度のノイズ除去を行うことができ
る。
で注目位置の階調値を含み、この位置の色フィルタセグ
メントの色と左右斜め方向の色フィルタセグメントの色
とが同色か異色かで階調値の取り出しを第１の観察窓領
域と第２の観察窓領域に分けて、比較手段ではそれぞれ
の領域から取り出した階調値で比較し、中央選択手段で
比較結果を基に中央値を選択することにより、従来のフ
ィルタ処理に用いる比較手段の組合せに比べて組合せの
数、すなわち場合の数を少なく抑えていながら、従来の
フィルタ処理と同程度のノイズ除去を行うことができ
る。
【００１７】本発明は上述の課題を解決するために、供
給される画像データを輝度信号と色信号に変換し、該変
換した輝度信号に含まれるノイズ成分の低減を図る画像
処理装置において、この装置は、ノイズ成分の低減に用
いる複数のフィルタを有するフィルタバンク手段と、供
給される画素の配列および入射光を色分解する色フィル
タセグメントの配列パターンに応じて複数のフィルタ中
からノイズ低減フィルタを選択するフィルタ選択手段を
含むことを特徴とする。
給される画像データを輝度信号と色信号に変換し、該変
換した輝度信号に含まれるノイズ成分の低減を図る画像
処理装置において、この装置は、ノイズ成分の低減に用
いる複数のフィルタを有するフィルタバンク手段と、供
給される画素の配列および入射光を色分解する色フィル
タセグメントの配列パターンに応じて複数のフィルタ中
からノイズ低減フィルタを選択するフィルタ選択手段を
含むことを特徴とする。
【００１８】本発明の画像処理装置は、フィルタ選択手
段が色フィルタセグメントの配列パターンに応じてフィ
ルタバンク手段の中から一つのフィルタを選択し、この
選択されたフィルタでノイズ除去することにより、供給
される画像データのノイズ除去を配列パターンを考慮せ
ずにノイズを除去した場合よりもノイズ除去の効果を発
揮させることができる。
段が色フィルタセグメントの配列パターンに応じてフィ
ルタバンク手段の中から一つのフィルタを選択し、この
選択されたフィルタでノイズ除去することにより、供給
される画像データのノイズ除去を配列パターンを考慮せ
ずにノイズを除去した場合よりもノイズ除去の効果を発
揮させることができる。
【００１９】
【発明の実施の形態】次に添付図面を参照して本発明に
よるノイズ除去回路の実施例を詳細に説明する。
よるノイズ除去回路の実施例を詳細に説明する。
【００２０】本実施例は本発明と直接関係のない部分に
ついて図示および説明を省略する。ここで、信号の参照
符号はその現れる接続線の参照番号で表す。本実施例は
本発明のノイズ除去回路を適用した画像処理装置10であ
る。
ついて図示および説明を省略する。ここで、信号の参照
符号はその現れる接続線の参照番号で表す。本実施例は
本発明のノイズ除去回路を適用した画像処理装置10であ
る。
【００２１】画像処理装置10は、図２に示すように、ガ
ンマ補正処理部12、RGB補間処理部14、YC変換処理部1
6、システム制御部18、フィルタ選択部20およびフィル
タバンク22を含んでいる。ガンマ補正処理部12は、単板
式の色フィルタで撮像され、得られたディジタル画像信
号24を入力し、この画像信号24をあらかじめ格納したル
ックアップテーブルのガンマ補正した画素データ26に置
換して、RGB補間処理部14に出力する。
ンマ補正処理部12、RGB補間処理部14、YC変換処理部1
6、システム制御部18、フィルタ選択部20およびフィル
タバンク22を含んでいる。ガンマ補正処理部12は、単板
式の色フィルタで撮像され、得られたディジタル画像信
号24を入力し、この画像信号24をあらかじめ格納したル
ックアップテーブルのガンマ補正した画素データ26に置
換して、RGB補間処理部14に出力する。
【００２２】RGB補間処理部14には、ガンマ補正された
画素データ26が供給される。画像処理装置10には、単板
式色フィルタを用いて得られた画像データ24がいること
から、RGB補間処理部14は、色フィルタセグメントが対
応していない色の画素データを周囲の画素データを用い
て算出し、各画素においてRGBの画素データを補間生成
する。
画素データ26が供給される。画像処理装置10には、単板
式色フィルタを用いて得られた画像データ24がいること
から、RGB補間処理部14は、色フィルタセグメントが対
応していない色の画素データを周囲の画素データを用い
て算出し、各画素においてRGBの画素データを補間生成
する。
【００２３】また、RGB補間処理部14には、単板式の色
フィルタの配列パターンを示す選択信号28が供給されて
いる。選択信号28は複数のビットで表し、画素ずらしの
一方式である、いわゆるハニカム方式の画素配列の画像
データが供給されたか否かを判別するための判定制御信
号でもある。RGB補間処理部14には、複数のビットがそ
れぞれハニカム方式で撮像された画像データ（またはそ
の画素配列）を示すか否かの判定回路（図示せず）が含
まれている。判定回路がハニカム方式の画像データを示
すとき、実際に画素の存在する実画素に対しても色フィ
ルタセグメントの対応していない色の画素データを補間
生成するとともに、実画素で囲まれた画素のない空領域
を仮想画素としてこの位置における画素データも補間生
成する。RGB補間処理部14は、補間処理により生成され
たRGB画面、プレーンデータ30をYC変換処理部16に供給
する。
フィルタの配列パターンを示す選択信号28が供給されて
いる。選択信号28は複数のビットで表し、画素ずらしの
一方式である、いわゆるハニカム方式の画素配列の画像
データが供給されたか否かを判別するための判定制御信
号でもある。RGB補間処理部14には、複数のビットがそ
れぞれハニカム方式で撮像された画像データ（またはそ
の画素配列）を示すか否かの判定回路（図示せず）が含
まれている。判定回路がハニカム方式の画像データを示
すとき、実際に画素の存在する実画素に対しても色フィ
ルタセグメントの対応していない色の画素データを補間
生成するとともに、実画素で囲まれた画素のない空領域
を仮想画素としてこの位置における画素データも補間生
成する。RGB補間処理部14は、補間処理により生成され
たRGB画面、プレーンデータ30をYC変換処理部16に供給
する。
【００２４】選択信号28がハニカム方式の配列パターン
であった場合、画素データに対する信号処理を広帯域化
する処理で行ってもよい。たとえば、図示しないが、生
成対象位置の色における画素データとその対象位置の周
囲の画素データとの画素データ間の相関性を求め、強い
相関性を有する画素データを用いて加算平均して得られ
たデータを高周波輝度データとし、高周波輝度データを
用いて仮想画素に対する補間処理を行って、プレーンな
高周波輝度データを生成する。そして、生成されたプレ
ーンな高周波輝度データはHPF（High Pass Filter）に
供給され、通過して得られた各画素に対応する高周波成
分が各色の画素データのそれぞれに加算される。この加
算により広帯域化されたRGB画素のプレーンデータ30が
生成される。
であった場合、画素データに対する信号処理を広帯域化
する処理で行ってもよい。たとえば、図示しないが、生
成対象位置の色における画素データとその対象位置の周
囲の画素データとの画素データ間の相関性を求め、強い
相関性を有する画素データを用いて加算平均して得られ
たデータを高周波輝度データとし、高周波輝度データを
用いて仮想画素に対する補間処理を行って、プレーンな
高周波輝度データを生成する。そして、生成されたプレ
ーンな高周波輝度データはHPF（High Pass Filter）に
供給され、通過して得られた各画素に対応する高周波成
分が各色の画素データのそれぞれに加算される。この加
算により広帯域化されたRGB画素のプレーンデータ30が
生成される。
【００２５】YC変換処理部16は、供給されるプレーンデ
ータ30を用いて、色差マトリクス演算処理を行うことに
より各画素の輝度データY（32), 色差信号C（＝(Cr,
Cb)）(34)をそれぞれ生成する。YC変換処理部16でも供
給される選択信号28によりハニカム方式の画像データが
入力されたか否かを判定する判定回路（図示せず）が含
まれている。ハニカム方式と判定された場合、YC変換処
理部16では、広帯域化した輝度データY 、色差データ
Cr, Cbそれぞれの周波数帯域を通すとともに、これら３
つのデータに折返し歪みが生じないようにローパスフィ
ルタ処理を施して不揮発性のフレームメモリに格納し、
３ラインずつ出力する。また、次のラインは１ライン下
にずらして３ラインを読み出す。したがって、この３ラ
イン読出しは、２ライン重複して読み出すことになる。
ータ30を用いて、色差マトリクス演算処理を行うことに
より各画素の輝度データY（32), 色差信号C（＝(Cr,
Cb)）(34)をそれぞれ生成する。YC変換処理部16でも供
給される選択信号28によりハニカム方式の画像データが
入力されたか否かを判定する判定回路（図示せず）が含
まれている。ハニカム方式と判定された場合、YC変換処
理部16では、広帯域化した輝度データY 、色差データ
Cr, Cbそれぞれの周波数帯域を通すとともに、これら３
つのデータに折返し歪みが生じないようにローパスフィ
ルタ処理を施して不揮発性のフレームメモリに格納し、
３ラインずつ出力する。また、次のラインは１ライン下
にずらして３ラインを読み出す。したがって、この３ラ
イン読出しは、２ライン重複して読み出すことになる。
【００２６】この他、YC変換処理部16は、歪み防止処理
として、水平および垂直方向の周波数帯域が重複してい
るか否かに応じて周波数の重複防止処理を施すことが好
ましい。YC変換処理部16は、重複している場合、この領
域に対して一方の方向の重複する周波数帯域に制限処理
を行い、これにより、周波数の重複に伴って生じる画質
劣化を回避する処理を行う。さらに、歪み防止処理を受
けた輝度データYに対してアパーチャ調整を施してもよ
い。アパーチャ調整は、輪郭強調処理に相当する処理で
ある。一方、歪み防止処理を受けた色差データCr, Cbに
対してゲイン調整を施してもよい。
として、水平および垂直方向の周波数帯域が重複してい
るか否かに応じて周波数の重複防止処理を施すことが好
ましい。YC変換処理部16は、重複している場合、この領
域に対して一方の方向の重複する周波数帯域に制限処理
を行い、これにより、周波数の重複に伴って生じる画質
劣化を回避する処理を行う。さらに、歪み防止処理を受
けた輝度データYに対してアパーチャ調整を施してもよ
い。アパーチャ調整は、輪郭強調処理に相当する処理で
ある。一方、歪み防止処理を受けた色差データCr, Cbに
対してゲイン調整を施してもよい。
【００２７】YC変換処理部16は、このようにして生成さ
れた輝度データY（32)をフィルタ選択部20に供給する。
また、YC変換処理部16は、生成された色差データCr, Cb
（34)を出力する。これまでに説明したガンマ補正処理
部12、RGB補間処理部14およびYC変換処理部16には、シ
ステム制御部18から制御信号36がそれぞれ供給され、こ
れら各部は制御信号36に応じて動作している。
れた輝度データY（32)をフィルタ選択部20に供給する。
また、YC変換処理部16は、生成された色差データCr, Cb
（34)を出力する。これまでに説明したガンマ補正処理
部12、RGB補間処理部14およびYC変換処理部16には、シ
ステム制御部18から制御信号36がそれぞれ供給され、こ
れら各部は制御信号36に応じて動作している。
【００２８】フィルタ選択部20は、供給される輝度デー
タY (32)をフィルタ選択先に切り換える機能を有してい
る。フィルタ選択部20は、選択に応じて輝度データY (3
8a),(38b),・・・, (38n)が供給されるようにフィルタバン
ク22の各フィルタ部と接続している。そして、フィルタ
選択部20にはデータの供給先を指示する選択信号28が供
給されている。フィルタ選択部20は、図示しないが選択
信号28がどのフィルタ部にデータを供給するかの情報を
デコード処理する機能も有している。
タY (32)をフィルタ選択先に切り換える機能を有してい
る。フィルタ選択部20は、選択に応じて輝度データY (3
8a),(38b),・・・, (38n)が供給されるようにフィルタバン
ク22の各フィルタ部と接続している。そして、フィルタ
選択部20にはデータの供給先を指示する選択信号28が供
給されている。フィルタ選択部20は、図示しないが選択
信号28がどのフィルタ部にデータを供給するかの情報を
デコード処理する機能も有している。
【００２９】ここで、選択信号28は、ユーザの操作によ
り画像処理装置10の図示しない操作部で操作信号をエン
コードしてビット生成してもよいし、操作信号に応じて
システム制御部18にて生成し出力するようにしてもよ
い。
り画像処理装置10の図示しない操作部で操作信号をエン
コードしてビット生成してもよいし、操作信号に応じて
システム制御部18にて生成し出力するようにしてもよ
い。
【００３０】フィルタバンク22には、複数種類のフィル
タが含まれている。フィルタの種類としては、たとえ
ば、ノイズ除去用にハニカム用メディアンフィルタ部22
a、ベイヤ用メディアンフィルタ部22b、・・・、リカーシ
ブ（または巡回）フィルタ部22nがある。フィルタバン
ク22は、フィルタ部の一部がシステム制御部18の制御を
受けている。フィルタバンク22は、選択されたフィルタ
部にてノイズ除去された輝度データY（40)を出力する。
タが含まれている。フィルタの種類としては、たとえ
ば、ノイズ除去用にハニカム用メディアンフィルタ部22
a、ベイヤ用メディアンフィルタ部22b、・・・、リカーシ
ブ（または巡回）フィルタ部22nがある。フィルタバン
ク22は、フィルタ部の一部がシステム制御部18の制御を
受けている。フィルタバンク22は、選択されたフィルタ
部にてノイズ除去された輝度データY（40)を出力する。
【００３１】フィルタバンク22において、ハニカム用メ
ディアンフィルタ部22aには、図１に示すように、領域
読出し部220aおよびメディアンフィルタ部222aが含まれ
ている。領域読出し部220aには、あらわに図示しないが
不揮発性の３ラインメモリが配設されている。３ライン
メモリからデータを読み出す位置関係は、図３に示すよ
うに第２ラインの窓領域Cを中心に４つの窓領域A, B,
D, Eを対角にして５つの輝度データを読み出す。この読
出し方を斜め５画素読出しと呼ぶことにする。第１ライ
ンの窓領域A, Bは、輝度データ220, 222を出力し、第２
ラインの窓領域Cは、輝度データ224を出力する。そし
て、第３ラインの窓領域D, Eは、輝度データ226, 228を
それぞれ、出力する。さらに,領域読出し部220aは、制
御信号36に応じて実画素に対応する輝度データから読み
出す場合と仮想画素に対応する輝度データから読み出す
場合に分けてメディアンフィルタ部222aに読み出してい
る。この場合分けは、システム制御部18の制御信号36に
応じて行われる。輝度データの読出しに関する詳細は後
段で行う。
ディアンフィルタ部22aには、図１に示すように、領域
読出し部220aおよびメディアンフィルタ部222aが含まれ
ている。領域読出し部220aには、あらわに図示しないが
不揮発性の３ラインメモリが配設されている。３ライン
メモリからデータを読み出す位置関係は、図３に示すよ
うに第２ラインの窓領域Cを中心に４つの窓領域A, B,
D, Eを対角にして５つの輝度データを読み出す。この読
出し方を斜め５画素読出しと呼ぶことにする。第１ライ
ンの窓領域A, Bは、輝度データ220, 222を出力し、第２
ラインの窓領域Cは、輝度データ224を出力する。そし
て、第３ラインの窓領域D, Eは、輝度データ226, 228を
それぞれ、出力する。さらに,領域読出し部220aは、制
御信号36に応じて実画素に対応する輝度データから読み
出す場合と仮想画素に対応する輝度データから読み出す
場合に分けてメディアンフィルタ部222aに読み出してい
る。この場合分けは、システム制御部18の制御信号36に
応じて行われる。輝度データの読出しに関する詳細は後
段で行う。
【００３２】メディアンフィルタ部222aは、図４に示す
ように、比較部50および中央選択器52を含んでいる。比
較部50および中央選択器52には、図示しないが比較や選
択を行う上で用いるタイミング信号が供給されている。
比較部50には、５つの輝度データの比較を行うために10
個の比較器50a〜50jが配設されている。比較器50a〜50j
は、５つの輝度データを２つずつ重複なく入力して比較
する組合せの各場合を示している。したがって、組合せ
の数は、5C2＝5!/(3!2!)＝10である。一般的にメディア
ンフィルタでは、3×3＝9個の輝度データを用いてい
る。この場合、組合せの数は36であり、本実施例の10個
に比べて比較部50の比較器を1/3以下で構成することが
できる。比較部50は、各比較器の比較結果のデータ500
〜518を中央選択器52に出力する。
ように、比較部50および中央選択器52を含んでいる。比
較部50および中央選択器52には、図示しないが比較や選
択を行う上で用いるタイミング信号が供給されている。
比較部50には、５つの輝度データの比較を行うために10
個の比較器50a〜50jが配設されている。比較器50a〜50j
は、５つの輝度データを２つずつ重複なく入力して比較
する組合せの各場合を示している。したがって、組合せ
の数は、5C2＝5!/(3!2!)＝10である。一般的にメディア
ンフィルタでは、3×3＝9個の輝度データを用いてい
る。この場合、組合せの数は36であり、本実施例の10個
に比べて比較部50の比較器を1/3以下で構成することが
できる。比較部50は、各比較器の比較結果のデータ500
〜518を中央選択器52に出力する。
【００３３】中央選択器52には、中央値の候補として５
つの輝度データ220〜228も供給されている。斜め５画素
の輝度データに対する並べ替えをハードウェアで実現す
る場合、中央選択器52には、５つの大小関係を表すデコ
ーダ（図示せず）が含まれている。デコーダは５個のデ
ータの組合せを比較する10個の比較器50a〜50jからの比
較結果（10ビット）を基に５個のデータの並べ替え5!＝
120通りの中から中央値を選択する。この選択により９
画素のデータを用いるメディアンフィルタと同等なノイ
ズ低減をもたらす。この場合のノイズ低減効果は、シミ
ュレーションにて確認されている。
つの輝度データ220〜228も供給されている。斜め５画素
の輝度データに対する並べ替えをハードウェアで実現す
る場合、中央選択器52には、５つの大小関係を表すデコ
ーダ（図示せず）が含まれている。デコーダは５個のデ
ータの組合せを比較する10個の比較器50a〜50jからの比
較結果（10ビット）を基に５個のデータの並べ替え5!＝
120通りの中から中央値を選択する。この選択により９
画素のデータを用いるメディアンフィルタと同等なノイ
ズ低減をもたらす。この場合のノイズ低減効果は、シミ
ュレーションにて確認されている。
【００３４】これに対して、これまでの3×3のマスク内
の９個のデータの組合せ36個の比較器を用いて得られた
比較結果を基に９個のデータの並べ替え9!＝362880通り
の中から中央値を選択する。この場合ハードウェアの構
成が大きくなることから難しい。
の９個のデータの組合せ36個の比較器を用いて得られた
比較結果を基に９個のデータの並べ替え9!＝362880通り
の中から中央値を選択する。この場合ハードウェアの構
成が大きくなることから難しい。
【００３５】なお、メディアンフィルタ部222aは、ハニ
カム方式の配列パターンだけでなく、色フィルタセグメ
ントの配列に着目すると、ハニカム方式と似た色配列の
関係がベイヤ配列パターンにも見出されることからベイ
ヤパターンに対しても適用する。この適用については後
段で説明する。
カム方式の配列パターンだけでなく、色フィルタセグメ
ントの配列に着目すると、ハニカム方式と似た色配列の
関係がベイヤ配列パターンにも見出されることからベイ
ヤパターンに対しても適用する。この適用については後
段で説明する。
【００３６】次に配列パターンと画素位置との関係につ
いて図５および図６を参照しながらまず図５に示す色フ
ィルタを説明する。この色フィルタは、ハニカム方式の
G正方RB完全市松パターンである。実線で示す色フィル
タセグメントのそれぞれの直下に透過光を受光する光デ
バイスが配設され、得られた画素データが画像処理装置
10に供給される。また、破線で示す○の位置に光デバイ
スは配設されていない。図５の色フィルタには、便宜
上、仮想画素に色フィルタセグメントもないように表し
ている。
いて図５および図６を参照しながらまず図５に示す色フ
ィルタを説明する。この色フィルタは、ハニカム方式の
G正方RB完全市松パターンである。実線で示す色フィル
タセグメントのそれぞれの直下に透過光を受光する光デ
バイスが配設され、得られた画素データが画像処理装置
10に供給される。また、破線で示す○の位置に光デバイ
スは配設されていない。図５の色フィルタには、便宜
上、仮想画素に色フィルタセグメントもないように表し
ている。
【００３７】選択信号28が、ハニカム方式の配色パター
ンを示すとき、YC変換処理部16には、図６に示すよう
に、実画素に対応する輝度データYR, YG, YBおよび仮想
画素に対応する破線で示す輝度データYが生成され、フ
レームメモリに格納されている。輝度データYの添字に
用いた記号R, G, Bは、元の画素が持っていた色の属性
を示している。そして、フィルタ選択部20は、フレーム
メモリからの輝度データ32をハニカム用メディアンフィ
ルタ部22aに供給するように信号経路38aを選択する。
ンを示すとき、YC変換処理部16には、図６に示すよう
に、実画素に対応する輝度データYR, YG, YBおよび仮想
画素に対応する破線で示す輝度データYが生成され、フ
レームメモリに格納されている。輝度データYの添字に
用いた記号R, G, Bは、元の画素が持っていた色の属性
を示している。そして、フィルタ選択部20は、フレーム
メモリからの輝度データ32をハニカム用メディアンフィ
ルタ部22aに供給するように信号経路38aを選択する。
【００３８】ハニカム用メディアンフィルタ22aの領域
読出し部220aには、図６に示すように３ラインずつ輝度
データ32が供給される。次の輝度データ32の供給時に、
先の３ラインのうちの２ラインを重複するように供給す
る。領域読出し部220aは、この場合、制御信号36に応じ
て供給された３ラインのうち、輝度データの実画素領域
（YR, YB, YG, YB, YR)の５つを図３の場合のように読
み出す。次に読み出す５つの輝度データは、仮想画素領
域で形成される斜め５画素配置の輝度データYを読み出
す。水平方向に実線と破線とで実画素領域と仮想画素領
域の読出し領域をそれぞれ区別して表している。輝度デ
ータの読出しは、このように実画素領域と仮想画素領域
とに分けてそれぞれの領域の輝度データにおけるノイズ
の相関性が高くなるように読み出すとよい。このノイズ
の相関性が重要な意味を持っているからである。したが
って、領域読出しが斜め５つの輝度データでなく、十字
方向に５つの輝度データを読み出した場合、メディアン
フィルタ処理を行ってもノイズ低減効果は十分得られな
いことがシミュレーションで確かめられている。
読出し部220aには、図６に示すように３ラインずつ輝度
データ32が供給される。次の輝度データ32の供給時に、
先の３ラインのうちの２ラインを重複するように供給す
る。領域読出し部220aは、この場合、制御信号36に応じ
て供給された３ラインのうち、輝度データの実画素領域
（YR, YB, YG, YB, YR)の５つを図３の場合のように読
み出す。次に読み出す５つの輝度データは、仮想画素領
域で形成される斜め５画素配置の輝度データYを読み出
す。水平方向に実線と破線とで実画素領域と仮想画素領
域の読出し領域をそれぞれ区別して表している。輝度デ
ータの読出しは、このように実画素領域と仮想画素領域
とに分けてそれぞれの領域の輝度データにおけるノイズ
の相関性が高くなるように読み出すとよい。このノイズ
の相関性が重要な意味を持っているからである。したが
って、領域読出しが斜め５つの輝度データでなく、十字
方向に５つの輝度データを読み出した場合、メディアン
フィルタ処理を行ってもノイズ低減効果は十分得られな
いことがシミュレーションで確かめられている。
【００３９】メディアンフィルタ部222aにおいては、領
域ごとに５つの輝度データ220〜228が比較部50および中
央選択器52にそれぞれ供給される。比較部50には、比較
における組合せを考慮して５つの輝度データ220〜228を
対応する比較器50a〜50jにそれぞれ供給して比較を行
う。比較部50は、各比較器50a〜50jからの比較結果500
〜518を中央選択器52に出力する。中央選択器52は、比
較部50から供給される10ビットの比較結果500〜518に基
づいて５つの輝度データにおける中央値40を選択し、出
力する。この出力は、3×3のマスク領域内の９つの輝度
データを用いて選択した場合と同等のノイズ低減効果が
あり、エッジ境界を保ち平滑化できることがシミュレー
ションにより確認されている。
域ごとに５つの輝度データ220〜228が比較部50および中
央選択器52にそれぞれ供給される。比較部50には、比較
における組合せを考慮して５つの輝度データ220〜228を
対応する比較器50a〜50jにそれぞれ供給して比較を行
う。比較部50は、各比較器50a〜50jからの比較結果500
〜518を中央選択器52に出力する。中央選択器52は、比
較部50から供給される10ビットの比較結果500〜518に基
づいて５つの輝度データにおける中央値40を選択し、出
力する。この出力は、3×3のマスク領域内の９つの輝度
データを用いて選択した場合と同等のノイズ低減効果が
あり、エッジ境界を保ち平滑化できることがシミュレー
ションにより確認されている。
【００４０】このようにメディアンフィルタを斜め５画
素で行うことにより、ノイズ低減効果を保ちながら、比
較器の回路規模を大幅に小型化することができる。ハニ
カム方式の信号処理系に非常に有利なノイズ低減処理を
提供することができる。
素で行うことにより、ノイズ低減効果を保ちながら、比
較器の回路規模を大幅に小型化することができる。ハニ
カム方式の信号処理系に非常に有利なノイズ低減処理を
提供することができる。
【００４１】また、斜め５画素を用いたメディアンフィ
ルタは、ハニカム方式におけるメディアンフィルタに限
定されるものでなく、色フィルタが図７に示すベイヤ配
列の場合にも適用することができる。供給される選択信
号28がベイヤパターンを示しているとき、図８に示すよ
うに、実画素すべての輝度データYが不揮発性のフレー
ムメモリ（図示せず）に生成される。使用する輝度デー
タの領域を区別するため、図８では、元々の画素データ
の色属性RGBを添字で示している。
ルタは、ハニカム方式におけるメディアンフィルタに限
定されるものでなく、色フィルタが図７に示すベイヤ配
列の場合にも適用することができる。供給される選択信
号28がベイヤパターンを示しているとき、図８に示すよ
うに、実画素すべての輝度データYが不揮発性のフレー
ムメモリ（図示せず）に生成される。使用する輝度デー
タの領域を区別するため、図８では、元々の画素データ
の色属性RGBを添字で示している。
【００４２】フィルタ選択部20は、生成された輝度デー
タ32を供給される選択信号28に応じてベイヤ用メディア
ンフィルタ22bに供給するように選択する。この場合も
斜め５つの輝度データを用いることから、領域読出し部
220aでは図示しない３ラインの不揮発性メモリに前述し
たハニカム方式の場合と同様に輝度データを格納する。
領域読出し部220aでは、制御信号36に応じて輝度データ
YG（正方形の領域）が一つの領域として読み出され、も
う一つの領域として○で示した５つの輝度データが読み
出される。後者の領域は、５つの輝度データの中心が輝
度データYBのとき、対角に位置する周囲の４つの輝度デ
ータはYRをセットとする。逆に、中心が輝度データYRの
とき、対角に位置する周囲の４つの輝度データはYBとす
る。このように色Gの位置に対応する輝度データYGと混
じらないように区分し、水平方向に実線と一点鎖線とで
示すようなそれぞれの領域ごとに５つの輝度データを読
み出してベイヤ用メディアンフィルタに供給する。ベイ
ヤ用メディアンフィルタは、図４のハニカム用メディア
ンフィルタとまったく同じ構成でよい。ベイヤ用メディ
アンフィルタにおいても供給される５つの輝度データの
中央値が選択されて出力される。
タ32を供給される選択信号28に応じてベイヤ用メディア
ンフィルタ22bに供給するように選択する。この場合も
斜め５つの輝度データを用いることから、領域読出し部
220aでは図示しない３ラインの不揮発性メモリに前述し
たハニカム方式の場合と同様に輝度データを格納する。
領域読出し部220aでは、制御信号36に応じて輝度データ
YG（正方形の領域）が一つの領域として読み出され、も
う一つの領域として○で示した５つの輝度データが読み
出される。後者の領域は、５つの輝度データの中心が輝
度データYBのとき、対角に位置する周囲の４つの輝度デ
ータはYRをセットとする。逆に、中心が輝度データYRの
とき、対角に位置する周囲の４つの輝度データはYBとす
る。このように色Gの位置に対応する輝度データYGと混
じらないように区分し、水平方向に実線と一点鎖線とで
示すようなそれぞれの領域ごとに５つの輝度データを読
み出してベイヤ用メディアンフィルタに供給する。ベイ
ヤ用メディアンフィルタは、図４のハニカム用メディア
ンフィルタとまったく同じ構成でよい。ベイヤ用メディ
アンフィルタにおいても供給される５つの輝度データの
中央値が選択されて出力される。
【００４３】このように構成しても９つのデータを用い
てメディアンフィルタ処理を行った場合と同様のノイズ
低減効果が得られ、画像はエッジ境界を保って平滑化さ
れる。
てメディアンフィルタ処理を行った場合と同様のノイズ
低減効果が得られ、画像はエッジ境界を保って平滑化さ
れる。
【００４４】画像処理装置10は、輝度データY（40)およ
び色差データC（34)を用いてRGB変換を施して得られたR
GBデータをモニタ（図示せず）に供給して表示させるよ
うに構成を追加してもよい。画像処理装置10は、ノイズ
低減された画像データをモニタに表示することにより、
各フィルタの効果を確認することができる。
び色差データC（34)を用いてRGB変換を施して得られたR
GBデータをモニタ（図示せず）に供給して表示させるよ
うに構成を追加してもよい。画像処理装置10は、ノイズ
低減された画像データをモニタに表示することにより、
各フィルタの効果を確認することができる。
【００４５】本発明のノイズ除去回路を適用した画像処
理装置10は、メディアンフィルタに適用した場合につい
て説明したが、この実施例に限定されるものでなく、他
のフィルタ処理においてもノイズの相関性を考慮して輝
度データの使用する領域を区分してフィルタ処理を行う
ことが好ましい。
理装置10は、メディアンフィルタに適用した場合につい
て説明したが、この実施例に限定されるものでなく、他
のフィルタ処理においてもノイズの相関性を考慮して輝
度データの使用する領域を区分してフィルタ処理を行う
ことが好ましい。
【００４６】以上のように構成することにより、ノイズ
の相関性を考慮して領域を分けて斜め５つの輝度データ
を読み出してメディアンフィルタ処理を行っても、９つ
の輝度データを用いて行った際に得られるノイズ低減効
果と同程度の効果を得ることができる。また、使用する
データを抑えることにより、従来のフィルタ構成、特に
回路規模が非常に大きなメディアンフィルタの場合構成
を大幅に小型化することができ、ハードウェアで構成す
ることにより、処理の高速化も図ることができる。ハニ
カム方式やベイヤ等の配列パターンにより得られた画像
に対して有利なノイズ除去を行うことができる。
の相関性を考慮して領域を分けて斜め５つの輝度データ
を読み出してメディアンフィルタ処理を行っても、９つ
の輝度データを用いて行った際に得られるノイズ低減効
果と同程度の効果を得ることができる。また、使用する
データを抑えることにより、従来のフィルタ構成、特に
回路規模が非常に大きなメディアンフィルタの場合構成
を大幅に小型化することができ、ハードウェアで構成す
ることにより、処理の高速化も図ることができる。ハニ
カム方式やベイヤ等の配列パターンにより得られた画像
に対して有利なノイズ除去を行うことができる。
【００４７】複数のフィルタを有する画像処理装置にお
いて、使用するフィルタを色フィルタ配列に応じて選択
することにより、供給される画像データに対するフィル
タ処理効果を高めることができる。特に、ハニカム方式
やベイヤ等の配列パターンに応じてノイズ低減効果を十
分に発揮させることができる。
いて、使用するフィルタを色フィルタ配列に応じて選択
することにより、供給される画像データに対するフィル
タ処理効果を高めることができる。特に、ハニカム方式
やベイヤ等の配列パターンに応じてノイズ低減効果を十
分に発揮させることができる。
【００４８】
【発明の効果】このように本発明のノイズ除去回路によ
れば、領域抽出手段で注目する位置の階調値に対して注
目位置の階調値およびこの階調値の左右斜め方向に隣接
する階調値を取り出し、取り出した各階調値に対する組
合せすべての比較を比較手段で行い、この比較の結果か
ら階調値の大きさにおける中央値を選択して、従来のフ
ィルタ処理に用いる比較手段の組合せに比べて組合せの
数、すなわち場合の数を少なく抑えていながら、従来の
フィルタ処理と同程度のノイズ除去を行うことにより、
従来のフィルタの構成に比べてその構成を大幅に小型化
することができ、ハードウェアで構成することにより、
処理の高速化も図ることができる。また、ハニカム方式
やベイヤ等の配列パターンにより得られた画像に対して
有利なノイズ除去を行うことができる。
れば、領域抽出手段で注目する位置の階調値に対して注
目位置の階調値およびこの階調値の左右斜め方向に隣接
する階調値を取り出し、取り出した各階調値に対する組
合せすべての比較を比較手段で行い、この比較の結果か
ら階調値の大きさにおける中央値を選択して、従来のフ
ィルタ処理に用いる比較手段の組合せに比べて組合せの
数、すなわち場合の数を少なく抑えていながら、従来の
フィルタ処理と同程度のノイズ除去を行うことにより、
従来のフィルタの構成に比べてその構成を大幅に小型化
することができ、ハードウェアで構成することにより、
処理の高速化も図ることができる。また、ハニカム方式
やベイヤ等の配列パターンにより得られた画像に対して
有利なノイズ除去を行うことができる。
【００４９】また、本発明の画像処理装置によれば、フ
ィルタ選択手段が色フィルタセグメントの配列パターン
に応じてフィルタバンク手段の中から一つのフィルタを
選択し、この選択されたフィルタでノイズ除去すること
により、供給される画像データのノイズ除去を配列パタ
ーンを考慮せずにノイズを除去した場合よりもノイズ除
去の効果を発揮させることができる。特に、ハニカム方
式やベイヤ等の配列パターンに応じてノイズ低減効果を
十分に発揮させることができる。
ィルタ選択手段が色フィルタセグメントの配列パターン
に応じてフィルタバンク手段の中から一つのフィルタを
選択し、この選択されたフィルタでノイズ除去すること
により、供給される画像データのノイズ除去を配列パタ
ーンを考慮せずにノイズを除去した場合よりもノイズ除
去の効果を発揮させることができる。特に、ハニカム方
式やベイヤ等の配列パターンに応じてノイズ低減効果を
十分に発揮させることができる。
【図１】本発明のノイズ除去回路を画像処理装置に適用
したハニカム用メディアンフィルタ部の概略的な構成を
示すブロック図である。
したハニカム用メディアンフィルタ部の概略的な構成を
示すブロック図である。
【図２】図１の画像処理装置の概略的な全体構成を示す
ブロック図である。
ブロック図である。
【図３】図２の領域読出し部における斜め５画素の位置
関係を説明する図である。
関係を説明する図である。
【図４】図２のメディアンフィルタの概略的な構成を示
すブロック図である。
すブロック図である。
【図５】図１の画像処理装置に供給されるハニカム方式
により得られた画像データの配色位置関係を説明する図
である。
により得られた画像データの配色位置関係を説明する図
である。
【図６】図５のハニカム方式の画像データから得られる
実画素および仮想画素の輝度データの位置関係を説明す
る図である。
実画素および仮想画素の輝度データの位置関係を説明す
る図である。
【図７】図１の画像処理装置に供給されるベイヤパター
ンにより得られた画像データの配色位置関係を説明する
図である。
ンにより得られた画像データの配色位置関係を説明する
図である。
【図８】図７のベイヤパターンの画像データから得られ
る元々の色を基に領域区分する輝度データの位置関係を
説明する図である。
る元々の色を基に領域区分する輝度データの位置関係を
説明する図である。
10 画像処理装置
12 ガンマ補正処理部
14 RGB補間処理部
16 YC変換処理部
18 システム制御部
20 フィルタ選択部
22 フィルタバンク
22a ハニカム用メディアンフィルタ
22b ベイヤ用メディアンフィルタ
220a 領域読出し部
222a メディアンフィルタ部
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 5C021 PA31 PA33 PA34 PA52 PA56
PA76 XB11 YA01
5C065 AA01 BB22 CC01 CC02 CC03
DD17 DD20 EE05 EE06 GG02
GG13 GG16 GG17
5C066 AA01 CA07 EC12 EE03 GA01
GA02 GA05 HA01 KC01 KM02
KM05
Claims (12)
- 【請求項１】 一画素に対して隣接する画素が水平およ
び垂直方向に画素ピッチの半分ずつずれて配列され、該
配列された画素を実在画素とし、該実在画素に挟まれた
領域を仮想画素とし、得られた画素データを用いて生成
された階調値に対して、該階調値のうち、注目する位置
の階調値に対して該階調値を含み、左右斜め方向に隣接
する階調値を観察窓領域として抽出する領域抽出手段
と、 該抽出した階調値をそれぞれ場合に分けて比較する比較
手段と、 該比較手段の出力結果を用いて前記抽出した階調値の大
きさの順に並べて、該並べた階調値の中央値を選択し出
力する中央値選択手段とを含むことを特徴とするノイズ
除去回路。 - 【請求項２】 請求項１に記載の回路において、前記領
域抽出手段は、前記画素の配列で供給される画素データ
の相関性を考慮し、該相関の強い階調値同士を抽出する
ことを特徴とするノイズ除去回路。 - 【請求項３】 請求項１または２に記載の回路におい
て、前記領域抽出手段は、前記観察窓領域内の注目する
位置の階調値を前記実在画素または前記仮想画素に分け
て選択することを特徴とするノイズ除去回路。 - 【請求項４】 入射光を色分解する色フィルタセグメン
トの配列パターンがベイヤパターンで配列され、該ベイ
ヤパターンの各画素から得られた画素データを用いて生
成される階調値に対して、該階調値のうち、前記配列さ
れた色フィルタセグメントの色に着目し、注目する位置
の階調値を含み、該位置の階調値に対して前記色フィル
タセグメントの色がすべて同色であり、かつ左右斜め方
向に隣接する階調値を抽出する第１の観察窓領域と、前
記同色を示す色と異色の画素位置を前記注目位置の階調
値にし、該注目する位置の階調値を含み、該位置の階調
値に対して左右斜め方向に隣接する色フィルタセグメン
トの色が同色であった位置の階調値を抽出する第２の観
察窓領域とに分けて抽出する領域抽出手段と、 該抽出した階調値をそれぞれ場合に分けて比較する比較
手段と、 該比較手段の出力結果を用いて前記抽出した階調値の大
きさの順に並べて、該並べた階調値の中央値を選択し出
力する中央値選択手段とを含むことを特徴とするノイズ
除去回路。 - 【請求項５】 請求項４に記載の回路において、前記領
域抽出手段は、前記画素の配列で供給される画素データ
の相関性を考慮し、該相関の強い階調値同士を抽出する
ことを特徴とするノイズ除去回路。 - 【請求項６】 請求項４または５に記載の回路におい
て、前記領域抽出手段は、第１の観察窓領域の前記階調
値を前記色フィルタセグメントの色が緑色の位置の階調
値にし、第２の観察窓領域における前記注目位置の階調
値を前記色フィルタセグメントの色が赤色または青色の
位置にして、隣接する左右斜め方向の階調値をそれぞれ
前記色フィルタセグメントの色が青色または赤色にして
抽出することを特徴とするノイズ除去回路。 - 【請求項７】 供給される画像データを輝度信号と色信
号に変換し、該変換した輝度信号に含まれるノイズ成分
の低減を図る画像処理装置において、該装置は、 前記輝度信号に含まれるノイズ成分の低減に用いる複数
のフィルタを有するフィルタバンク手段と、 供給される画素の配列および入射光を色分解する色フィ
ルタセグメントの配列パターンに応じて複数のフィルタ
中からノイズ低減フィルタを選択するフィルタ選択手段
を含むことを特徴とする画像処理装置。 - 【請求項８】 請求項７に記載の装置において、前記フ
ィルタバンク手段は、前記画素の配列で供給される画素
データの相関性を考慮し、該相関の強い画素データ同士
を用いてフィルタリング処理を行うフィルタを含むこと
を特徴とする画像処理装置。 - 【請求項９】 請求項８に記載の装置において、前記フ
ィルタバンク手段は、前記画素のそれぞれに対応して供
給される輝度信号を輝度の階調を表す輝度データとし、
前記画素の配列において元々存在した画素位置に供給さ
れた輝度データ同士と、該輝度データまたは前記画像デ
ータに基づいて補間生成された輝度データ同士とに分け
て、該輝度データをフィルタリング処理するフィルタを
含むことを特徴とする画像処理装置。 - 【請求項１０】 請求項７ないし９のいずれか一項に記
載の装置において、前記フィルタバンク手段は、供給さ
れる画像の各画素に対して隣接する画素が水平および垂
直方向に画素ピッチの半分ずつずれた位置関係にあっ
て、実際に配列された画素を実在画素とし、該実在画素
に挟まれた領域を仮想画素とし、該画像のフィルタ処理
を前記実在画素位置から供給された輝度データ同士と前
記仮想画素位置から供給された輝度データ同士で行う第
１のフィルタ手段を含むことを特徴とする画像処理装
置。 - 【請求項１１】 請求項７ないし10のいずれか一項に記
載の装置において、前記フィルタバンク手段は、前記色
フィルタセグメントの配列がベイヤ配列で供給される画
像に対する該画像のフィルタ処理を前記色フィルタセグ
メントの色が緑色（G)の画素位置から供給された輝度デ
ータ同士と前記色フィルタセグメントの色が赤色（R)ま
たは青色（B)の画素位置から供給された輝度データ同士
とで行う第２のフィルタ手段を含むことを特徴とする画
像処理装置。 - 【請求項１２】 請求項10または11に記載の装置におい
て、前記フィルタバンク手段は、第１および第２のフィ
ルタ手段がメディアンフィルタ処理を行うメディアンフ
ィルタであることを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001202055A JP4358462B2 (ja) | 2001-07-03 | 2001-07-03 | ノイズ除去回路 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001202055A JP4358462B2 (ja) | 2001-07-03 | 2001-07-03 | ノイズ除去回路 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003018432A true JP2003018432A (ja) | 2003-01-17 |
| JP4358462B2 JP4358462B2 (ja) | 2009-11-04 |
Family
ID=19038925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001202055A Expired - Fee Related JP4358462B2 (ja) | 2001-07-03 | 2001-07-03 | ノイズ除去回路 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4358462B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005004767A (ja) * | 2003-06-10 | 2005-01-06 | Samsung Electronics Co Ltd | 輝度変化に適応してノイズをフィルタリングする方法及びシステム |
| KR100735561B1 (ko) | 2005-11-02 | 2007-07-04 | 삼성전자주식회사 | 이미지 센서로부터 발생되는 잡음을 저감하는 방법 및 장치 |
| JP2007228104A (ja) * | 2006-02-22 | 2007-09-06 | Casio Comput Co Ltd | 画像処理装置及び撮像装置 |
| US7301573B2 (en) | 2003-08-07 | 2007-11-27 | Samsung Electro-Mechanics Co., Ltd. | Apparatus for and method of edge enhancement in image processing |
| KR100784162B1 (ko) * | 2005-12-29 | 2007-12-11 | 엠텍비젼 주식회사 | 격자 노이즈 제거를 이용한 컬러 보간 장치 |
| JP2011040088A (ja) * | 2003-06-10 | 2011-02-24 | Samsung Electronics Co Ltd | 輝度変化に適応してノイズをフィルタリングする方法及びシステム |
| US7945110B2 (en) | 2006-02-15 | 2011-05-17 | Realtek Semiconductor Corp. | Methods and apparatuses for enhancing image quality |
| US8094237B2 (en) * | 2005-10-13 | 2012-01-10 | Realtek Semiconductor Corp. | Signal separation apparatus applied in image transmission system and related method |
-
2001
- 2001-07-03 JP JP2001202055A patent/JP4358462B2/ja not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005004767A (ja) * | 2003-06-10 | 2005-01-06 | Samsung Electronics Co Ltd | 輝度変化に適応してノイズをフィルタリングする方法及びシステム |
| JP2011040088A (ja) * | 2003-06-10 | 2011-02-24 | Samsung Electronics Co Ltd | 輝度変化に適応してノイズをフィルタリングする方法及びシステム |
| US7301573B2 (en) | 2003-08-07 | 2007-11-27 | Samsung Electro-Mechanics Co., Ltd. | Apparatus for and method of edge enhancement in image processing |
| US8094237B2 (en) * | 2005-10-13 | 2012-01-10 | Realtek Semiconductor Corp. | Signal separation apparatus applied in image transmission system and related method |
| KR100735561B1 (ko) | 2005-11-02 | 2007-07-04 | 삼성전자주식회사 | 이미지 센서로부터 발생되는 잡음을 저감하는 방법 및 장치 |
| US8004586B2 (en) | 2005-11-02 | 2011-08-23 | Samsung Electronics Co., Ltd. | Method and apparatus for reducing noise of image sensor |
| KR100784162B1 (ko) * | 2005-12-29 | 2007-12-11 | 엠텍비젼 주식회사 | 격자 노이즈 제거를 이용한 컬러 보간 장치 |
| US7945110B2 (en) | 2006-02-15 | 2011-05-17 | Realtek Semiconductor Corp. | Methods and apparatuses for enhancing image quality |
| JP2007228104A (ja) * | 2006-02-22 | 2007-09-06 | Casio Comput Co Ltd | 画像処理装置及び撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4358462B2 (ja) | 2009-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5155871B2 (ja) | モザイクドメインにおける画像向上 | |
| US20090160992A1 (en) | Image pickup apparatus, color noise reduction method, and color noise reduction program | |
| EP2063390A1 (en) | Image processing method and device, and its program | |
| JP2002084547A (ja) | 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体 | |
| JP3946866B2 (ja) | 画像信号処理装置及びプログラムを記録した媒体 | |
| JP5041886B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法 | |
| JP2008252558A (ja) | 撮像装置 | |
| JP2010277267A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| JP2004040247A (ja) | 画像処理装置及びその制御方法 | |
| US7623705B2 (en) | Image processing method, image processing apparatus, and semiconductor device using one-dimensional filters | |
| JP4358462B2 (ja) | ノイズ除去回路 | |
| JP2008060814A (ja) | 撮像装置 | |
| JPH05153608A (ja) | 映像信号処理方法および装置 | |
| JP2001320720A (ja) | 信号処理方法及び信号処理装置 | |
| JP2005311455A (ja) | 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム | |
| JP5202106B2 (ja) | 画像処理装置及び撮像装置 | |
| JP2008017021A (ja) | 動画像ノイズ除去装置 | |
| JP4478981B2 (ja) | 色雑音低減手法およびカラー撮像装置 | |
| JP4471748B2 (ja) | 画像信号処理装置 | |
| EP1585310A1 (en) | Image resolution conversion | |
| JP3115123B2 (ja) | 画像信号処理装置 | |
| JP2006245916A (ja) | 色分離処理回路および色分離処理方法 | |
| JP2009253760A (ja) | 画像処理装置、画像処理方法及び電子機器 | |
| JP2009086783A (ja) | フィルタ回路、フィルタ処理方法、撮像素子回路およびカメラ | |
| US8350962B2 (en) | Method and system for video format conversion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060123 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081003 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090714 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090806 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120814 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120814 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130814 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |