JP2007150441A - ノイズリダクション装置及びノイズリダクション方法 - Google Patents

ノイズリダクション装置及びノイズリダクション方法 Download PDF

Info

Publication number
JP2007150441A
JP2007150441A JP2005338937A JP2005338937A JP2007150441A JP 2007150441 A JP2007150441 A JP 2007150441A JP 2005338937 A JP2005338937 A JP 2005338937A JP 2005338937 A JP2005338937 A JP 2005338937A JP 2007150441 A JP2007150441 A JP 2007150441A
Authority
JP
Japan
Prior art keywords
area
pixel data
noise reduction
noise
target pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005338937A
Other languages
English (en)
Other versions
JP4599279B2 (ja
Inventor
Mitsuru Iwawaki
充 岩脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005338937A priority Critical patent/JP4599279B2/ja
Publication of JP2007150441A publication Critical patent/JP2007150441A/ja
Application granted granted Critical
Publication of JP4599279B2 publication Critical patent/JP4599279B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ノイズを効果的に除去して画質を向上させることが可能なノイズリダクション装置を提供。
【解決手段】注目画素データを含む大エリアLと小エリアSを少なくとも含む複数のエリア毎に、エリアに含まれる注目画素データと同一色成分の画素データ(エリア同色画素データ)の平均値を算出する平均値算出部71と、算出した平均値に基づいて、複数のエリア毎にエリア同色画素データの分散を算出する分散算出部77と、注目画素データに含まれるノイズ量を推定するノイズ量推定部80と、複数のエリア毎の分散に基づいて、複数のエリアのうち注目画素データのノイズリダクションを行うために最適なエリアである最適エリアを判定する最適エリア判定部78と、最適エリアについて算出された平均値と注目画素データとの差分を、推定されたノイズ量に応じて小さくして注目画素データのNR処理を行うNR処理部75とを備える。
【選択図】図5

Description

本発明は、固体撮像素子から出力されたRAW画像データのノイズリダクション(NR)処理を行うノイズリダクション装置に関する。
従来、固体撮像素子から出力される信号は、低感度撮影等を行った際等にS/Nが悪化するため、十分満足な画質が得られなかった。又、このような場合においては、通常のノイズに加え、低周波成分を含むノイズに起因するような偽色及び色ノイズが問題となっており、これは特に低輝度となる暗部でより顕著であった。従来、NR処理を行う手法として様々なものが提案されている(特許文献1〜4参照)。
特開2000−232384号公報 特開2003−150956号公報 特開平10−63839号公報 特開2000−175046号公報
画像の低輝度部分に含まれるノイズを効果的に除去するには、NR処理の対象となる画素データを、その周辺の広い範囲内にある画素データを用いてNR処理するのが有効である。しかし、広い範囲の画素データを用いてNR処理を行うと低輝度部分での画質は改善されるが、その他の部分の画質が劣化してしまう可能性がある。
本発明は、上記事情に鑑みてなされたものであり、ノイズを効果的に除去して画質を向上させることが可能なノイズリダクション装置を提供することを目的とする。
本発明のノイズリダクション装置は、固体撮像素子から得られるRAW画像データのノイズリダクションを行うノイズリダクション装置であって、前記RAW画像データの注目画素データを含む、サイズの大きい大エリアと、前記大エリアよりもサイズの小さい小エリアとを少なくとも含む複数のエリア毎に、前記エリアに含まれる前記注目画素データと同一色成分の画素データ(以下、エリア同色画素データという)の平均値を算出する平均値算出手段と、前記平均値に基づいて、前記複数のエリア毎に、前記エリア同色画素データの分散を算出する分散算出手段と、前記注目画素データに含まれるノイズ量を推定するノイズ量推定手段と、前記複数のエリア毎の前記分散に基づいて、前記複数のエリアのうち、前記注目画素データのノイズリダクション処理に利用するのに最適なエリアである最適エリアを判定する最適エリア判定手段と、前記最適エリアについて算出された前記平均値に、前記推定されたノイズ量に応じて前記注目画素データを近づける処理を行って、前記注目画素データのノイズリダクション処理を行うノイズリダクション処理手段とを備える。
本発明のノイズリダクション装置は、前記最適エリアを判定するための判定基準となる閾値であって、前記ノイズ量に応じて決まる閾値を第一の閾値とし、前記最適エリア判定手段は、前記複数のエリア毎の前記分散と、前記複数のエリア毎の前記平均値と、前記第一の閾値とを用いて、前記最適エリアを判定する。
本発明のノイズリダクション装置は、前記最適エリアを利用して前記注目画素データにノイズリダクション処理を行うべきか否かを判定するための判定基準となる閾値であって、前記ノイズ量に応じて決まる閾値を第二の閾値とし、前記最適エリアについて算出された前記分散と前記第二の閾値とを用いて、前記最適エリアを利用して前記注目画素データにノイズリダクションを行うべきか否かを判定するノイズリダクション実施判定手段と、前記ノイズリダクション実施判定手段による判定結果に応じて、前記注目画素データ及び前記ノイズリダクション処理後の注目画素データのいずれかを出力する出力手段とを備える。
本発明のノイズリダクション装置は、前記RAW画像データが、赤色(R)成分と緑色(G)成分と青色(B)成分の画素データを含み、前記注目画素データが前記R成分又は前記B成分であった場合、前記最適エリア判定手段は、前記大エリアに含まれる前記R成分又は前記B成分の画素データの分散と前記第一の閾値とに基づいて、前記大エリアが前記最適エリアであるか否かを判定し、前記大エリアが前記最適エリアでないと判定した場合に、前記小エリアに含まれる前記R成分又は前記B成分の画素データの分散と前記第一の閾値とに基づいて、前記小エリアが前記最適エリアであるか否かを判定し、前記ノイズリダクション実施判定手段は、前記大エリア又は前記小エリアが前記最適エリアと判定された場合には、前記注目画素データにノイズリダクションを行うべきと判定し、前記小エリアが前記最適エリアでないと判定された場合には、前記注目画素データにノイズリダクションを行うべきでないと判定する。
本発明のノイズリダクション装置は、前記ノイズ量推定手段が、階調チャートを前記固体撮像素子により撮像して得られるRAW画像データによって予め求められた、各階調の画素データに含まれるノイズ量に相当するデータに基づいて、前記注目画素データに含まれるノイズ量を推定する。
本発明のノイズリダクション方法は、固体撮像素子から得られるRAW画像データのノイズリダクションを行うノイズリダクション方法であって、前記RAW画像データの注目画素データを含む、サイズの大きい大エリアと、前記大エリアよりもサイズの小さい小エリアとを少なくとも含む複数のエリア毎に、前記エリアに含まれる前記注目画素データと同一色成分の画素データ(以下、エリア同色画素データという)の平均値を算出する平均値算出ステップと、前記平均値に基づいて、前記複数のエリア毎に、前記エリア同色画素データの分散を算出する分散算出ステップと、前記注目画素データに含まれるノイズ量を推定するノイズ量推定ステップと、前記複数のエリア毎の前記分散に基づいて、前記複数のエリアのうち、前記注目画素データのノイズリダクション処理に利用するのに最適なエリアである最適エリアを判定する最適エリア判定ステップと、前記最適エリアについて算出された前記平均値に、前記推定されたノイズ量に応じて前記注目画素データを近づける処理を行って、前記注目画素データのノイズリダクション処理を行うノイズリダクション処理ステップとを含む。
本発明によれば、ノイズを効果的に除去して画質を向上させることが可能なノイズリダクション装置を提供することができる。
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の実施形態を説明するためのデジタルカメラの要部概略構成を示す図である。
図1に示すデジタルカメラは、固体撮像素子1と、A/D変換部2と、バッファ3と、前処理回路4と、タイミングジェネレータ(TG)5と、画素データ保持部6と、ノイズリダクション(NR)装置7と、信号処理部8とを備える。
固体撮像素子1は、半導体基板上の行方向及びこれに直交する列方向に配列された多数の光電変換素子を有するCCD型やMOS型のカラー固体撮像素子である。固体撮像素子1は、図2(a)に示すように、多数の光電変換素子10が半導体基板上の行方向(X方向)とこれに直交する列方向(Y方向)に正方格子状に配列されたものや、図2(b)に示すように、多数の光電変換素子10が特開平10−136391号公報に記載されたようないわゆるハニカム状に配列されたもの等を用いることができる。以下の説明では、固体撮像素子1に含まれる多数の光電変換素子はハニカム状に配列されているものとする。又、本実施形態では、1つの光電変換素子から出力される撮像信号をデジタル化したデータのことを画素データと定義する。
固体撮像素子1は原色系のカラーフィルタを有しており、多数の光電変換素子には、例えば赤色(R)を検出する光電変換素子と、緑色(G)を検出する光電変換素子と、青色(B)を検出する光電変換素子とが含まれる。尚、カラーフィルタは補色系のものであっても良い。又、カラーフィルタの配列は規則配列(一意にRGBの相対位置を定めた配列)であれば特に限定されない。
A/D変換部2は、固体撮像素子1から出力された多数の画素データをデジタル変換する。ここでデジタル変換された多数の画素データは、いわゆるRAW画像データとなる。RAW画像データは、固体撮像素子1から出力された点順次の撮像信号をそのままデジタル化したデータであり、このデータのままでは、1撮像点に1つの色成分の画素データしか存在していないため、カラー画像を生成することはできない形式のデータである。
バッファ3は、固体撮像素子1と信号処理部8との駆動速度差を吸収するものであり、一般的なFIFO等によって構成される。
前処理回路4は、バッファ3から供給されるRAW画像データに対し、OB補正、ゲイン調整、スミア補正、シェーディング補正、及びガンマ補正等の各種信号処理を行う。
画素データ保持部6は、前処理回路4から出力された多数の画素データを保持し、NR装置7に画素データを供給するものであり、N−1個のラインメモリ61と、N個の遅延素子62とを備える。
NR装置7は、画素データ保持部6から出力される画素データに対し、後述する処理アルゴリズムによってNR処理を行う。
信号処理部8は、NR処理後の多数の画素データから、1撮像点にR(赤色),G(緑色),B(青色)の画素データを持たせる同時化処理やYC変換処理等を行う。これらの処理により、カラー画像を再生することが可能となる。
尚、前処理回路4、画素データ保持部6、NR装置7、及び信号処理部8のいずれにおいてもパイプライン処理がなされているものとし、これによって画素データの高速逐次処理が可能となる。又、前処理回路4は、RAW画像データに対して信号処理を行うことができれば良いため、図3に示すように、NR装置7と信号処理部8との間に設けておいても良い。
NR装置7では、画素データ保持部6から供給される多数の画素データに対して、NR処理を行う対象となる注目画素データを含む複数のエリアを設定し、この複数のエリアから注目画素データのノイズリダクション処理に利用するのに最適なエリアである最適エリアを判定し、この最適エリアに含まれる画素データを利用して、注目画素データに対するNR処理を行う。
図4は、図1に示す画素データ保持部6からNR装置7に供給される画素データを二次元状に配置したイメージ図である。
NR装置7では、例えば図4に示すように、注目画素データを含むサイズの大きい大エリアLと、注目画素データを含むサイズの小さい小エリアSと、注目画素データを含む横長の横エリアHと、注目画素データを含む縦長の縦エリアVとを設定する。エリアS,H,VはエリアLの内側に設定される。
図5は、図1に示すNR装置7の概略構成を示すブロック図である。
NR装置7は、平均算出部71と、二乗平均算出部72と、判別回路73と、メモリ74と、NR処理部75と、出力部76とを備える。
NR装置7では、注目画素データに含まれると推定されるノイズ量をメモリ74に予め記憶しておくことで、ノイズ量の推定に要する回路規模の削減を実現している。例えば、平坦な256階調のグレースケールチャートを用意し、これを固体撮像素子1によって低感度から高感度までの各撮影感度で撮影する。そして、グレースケールチャートの各階調画像を撮影して得られた画素データに含まれる各色成分の画素データの偏差の平均を求める。そして、図6に示すように、0〜255までの各階調毎の前記偏差の平均を示す偏差ヒストグラムをメモリ74に記憶しておく。メモリ74には、図6に示すような偏差ヒストグラムが、R成分、G成分、及びB成分のそれぞれについて、各撮影感度毎に記憶されている。ある階調の画像を撮影して得られた画素データに含まれる各色成分の画素データの偏差の平均は、その階調の画像に含まれる各色成分のノイズ量に相当する。つまり、図6に示す偏差ヒストグラムを用いることで、撮影して得られた画素データに含まれるノイズ量を推定することができる。
尚、図6に示す破線のように、画措置を複数の画素値のブロックに区切り、各々のブロックで最も近い一次直線を繋ぎ合わせたものを用いれば、メモリ74をよりコンパクトにすることができる。どちらの構成にするかは、自由度とハードウェア量とのトレードオフ次第である。
平均算出部71は、各エリア毎に、エリアに含まれる注目画素データと同一色成分の画素データ(以下、エリア同色画素データという)の平均を算出して判別回路73に出力する。
二乗平均算出部72は、各エリア毎に、エリア同色画素データの二乗平均を算出して判別回路73に出力する。エリア同色画素データをvalとすると、エリア同色画素データの二乗平均は、
Figure 2007150441
で求まる。尚、各エリアは、重複する部分があるため、画像データの積算経路を工夫することで、効率の良い回路を実現することができる。
図7は、小エリアSを5行×5列、大エリアLを13行×13列とし、注目画素データがG成分であるときのG成分の画素データの積算経路の一例を示す図である。
図7に示す符号71a、71d、及び71fは、それぞれ遅延素子である。図7に示す符号71b、71c、71e、71g、71h、及び71iは、それぞれ積算器である。図7に示すように、小エリアSでの積算結果を大エリアLでの積算結果に積算することで、重複演算を避けることができ、効率の良い演算が可能となる。
判別回路73には、分散算出部77と、最適エリア判定部78と、NR実施判定部79と、ノイズ量推定部80とが含まれる。
分散算出部77は、各エリア毎に、エリア同色画素データの分散を算出する。エリア同色画素データの分散は、エリア同色画素データをvalとし、エリア同色画素データの平均をaveとしたとき、以下の式1で算出することができるが、本実施形態では、より計算に向いた式2の近似式を用いて分散を算出するものとする。もちろん、式1を用いて分散を算出しても良い。式2の右辺第一項は二乗平均であり、右辺第二項は平均の二乗であるため、分散算出部77は、平均算出部71及び二乗平均算出部72から供給されたデータに基づいて、エリア同色画素データの分散を算出することができる。
Figure 2007150441
ノイズ量推定部80は、メモリ74に記憶されている偏差ヒストグラムから、注目画素データの画素値に対応する偏差を取得し、取得した偏差を、注目画素データに含まれるノイズ量として推定する。尚、ノイズ量の推定方法としては、公知の手法を用いても良い。
最適エリア判定部78は、各エリアの分散に基づいて、各エリアのうち、注目画素データのノイズリダクション処理に利用するのに最適なエリアである最適エリアを判定する。判定のアルゴリズムは後述する。
NR実施判定部79は、注目画素データに対してNR処理を行うべきか否かを判定し、判定結果をNR処理部75と出力部76に通知する。
NR処理部75は、NR実施判定部79からNR処理を行うべき旨の通知を受けたときに、注目画素データに含まれるノイズを低減するNR処理を行い、NR処理後の注目画素データを出力部76に出力する。本実施形態では、最適エリアの分散が小さくなれば、注目画素データのノイズが低減されるということに着目して、NR処理を行う。最適エリアの分散を小さくするためには、最適エリアに含まれるエリア同色画素データの偏差を小さくすれば良い。
図8は、最適エリアの分散を小さくする処理のイメージを示す図である。図8の実線は、最適エリア内のエリア同色画素データの偏差の分布を示しており、図8の破線は、分散を小さくした後の最適エリア内のエリア同色画素データの偏差の分布を示している。図8の実線の分布を破線の分布にする処理を行うことで、画質を劣化させることなく、最適エリアの分散を小さくすることができる。
図8の破線のような分布を得るためには、次の式3で示されるような係数ratioを、最適エリアについて算出された平均値と各エリア同色画素データとの差分に乗じて、この差分を小さくする処理を行えば良い。
式3:係数ratio=f+{(f−g)/(sigma×h)}×|valc−aves|
ここで、f,g,hは所定の係数であり、sigmaは注目画素データに対応する偏差であり、valcは注目画素データの画素値であり、avesは最適エリアについて算出された平均値である。
注目画素データのNR処理は、注目画素データに含まれると推定されるノイズ量に応じて行う必要があるため、係数ratioは、注目画素データに対応する偏差sigmaに応じて変化する値となっている。
実際には、注目画素データに含まれるノイズを低減することが目的であるため、最適エリアについて算出された平均値と各エリア同色画素データとの差分に係数ratioを乗じ、この差分を小さくする処理は、注目画素データについてのみ行えば良い。つまり、実際の動作では、NR処理部75は、注目画素データに対応する偏差(sigma)に基づいて係数ratioを算出し、この係数ratioを用いた以下の式4により、最適エリアについて算出された平均値と注目画素データとの差分を小さくする処理(最適エリアについて算出された平均値に、推定されたノイズ量に応じて注目画素データを近づける処理と同義)を行って、注目画素データのノイズリダクション処理を行う。
式4:NR処理後の注目画素データval_new=aves+(valc−aves)×ratio
画像の低輝度部分での偽色及び色ノイズは、広い範囲の画像を利用することで効果的に減らすことができる。つまり、画像の低輝度部分での偽色及び色ノイズの低減には、大エリアLを最適エリアとすることが効果的である。ただし、大エリアLだけを用いてNR処理を行うと、画質は維持できない。そこで、本実施形態では、大エリアL以外に、小エリアS,横エリアH,縦エリアVを設定し、これらのエリアを画像に応じて選択的に利用することで、画質の向上を実現している。
出力部76は、NR実施判定部79の判定結果に応じて、NR処理部75でNR処理後の注目画素データと、NR処理が施されていない注目画素データとのいずれかを、信号処理部8に出力する。出力部76には、判別回路73を介して注目画素データが供給される。
次に、ノイズリダクション装置7の動作を説明する。
図9は、注目画素データがG成分であるときの、図5に示したノイズリダクション装置の動作フローを示す図である。尚、注目画素データがR成分又はG成分であるときの動作も図9と同様である。図9では、大エリアL、小エリアS、横エリアH、及び縦エリアVの各々の符号を省略している。
撮像が行われ、RAW画像データが入力されると、平均算出部71、二乗平均算出部72、及び分散算出部77によって、大エリアL、小エリアS、横エリアH、及び縦エリアVの各々の平均と分散が算出される(S10)。
次に、ノイズ量推定部80は、入力されたRAW画像データを得るために行った撮影の撮影感度と、注目画素データの色成分とに対応する偏差ヒストグラムから、注目画素データの画素値に対応する偏差sigmaを取得する(S20)。
次に、最適エリア判定部78は、偏差sigmaから、最適エリアを判定するための判定基準となる第一の閾値である閾値A及び閾値Bと、最適エリアを利用して注目画素データにNR処理を行うべきか否かを判定するための判定基準となる第二の閾値である閾値Cとを生成する(S30)。閾値Aは、偏差sigmaに所定の係数aを乗じた値である。閾値Bは、偏差sigmaに所定の係数bを乗じた値を二乗した値である。閾値Cは、偏差sigmaに所定の係数cを乗じた値を二乗した値である。
次に、最適エリア判定部78は、大エリアLと小エリアSの分散と平均をそれぞれ比較する(S40)。大エリアLと小エリアSの分散を比較するのは、分散が小さいエリアの方が、画像に変化が少ないと考えられることから、大エリアLと小エリアSのどちらがNR処理を行うために適しているかを判定するためである。
又、仮に大エリアLの分散より小エリアSの分散が小さい場合でも、大エリアLと小エリアSの平均にあまり差がないような場合には、大エリアL内の画像と小エリアS内の画像にあまり差がないと考えられる。低輝度部分の偽色や色ノイズは画質に大きな影響を与えるため、このような場合には、大エリアLを優先的に利用するのが望ましい。このような理由から、最適エリア判定部78は、大エリアLと小エリアSの平均も比較することで、大エリアLと小エリアSのどちらがNR処理を行うために適しているかを判定する。
S40での比較の結果、大エリアLの分散よりも小エリアSの分散の方が大きかったり、大エリアLと小エリアSの平均の差が閾値Aの所定%未満であったりした場合(S40:N)、最適エリア判定部78は、大エリアLを最適エリアとして判定する(S41)。ただし、ここで判定された最適エリアは、4つのエリアの中で最適であると判定されただけであり、大エリアL内の画像が変化の少ないものであるかどうかははっきりしていない。大エリアL内の画像が変化の少ないものであれば、NR処理を行うことで、良好な画像を得ることができる。しかし、大エリアL内の画像が網目等の変化の多いものであった場合、NR処理を行ってしまうと、エッジが丸まってしまい、解像感が低下してしまう。そこで、ノイズリダクション装置7では、大エリアLが最適エリアとして判定された後、NR実施判定部79が、大エリアLの分散と閾値Cを比較し、大エリアLにNR処理を行うべきか否かを最終的に判定する(S42)。
大エリアLの分散が閾値Cよりも大きかった場合(S42:Y)、大エリアL内の画像は変化の多いものであると考えられるため、NR実施判定部79は、注目画素データにNR処理をすべきではないと判定し(S42Y)、その旨をNR処理部75と出力部76に通知する。一方、大エリアLの分散が閾値C以下だった場合(S42:N)、大エリアL内の画像は変化の少ないものであると考えられるため、NR実施判定部79は、注目画素データにNR処理をすべきと判定し、その旨をNR処理部75と出力部76に通知する。NR処理部75は、注目画素データにNR処理をすべき旨の通知があったときに、最適エリア判定部78によって判定された最適エリアの平均と、偏差sigmaと、注目画素データとを用いてNR処理を行う(S60)。出力部76は、NR実施判定部79からの通知にしたがって、注目画素データ又はNR処理後の注目画素データを出力する。
S40での比較の結果、大エリアLの分散よりも小エリアSの分散の方が小さく、且つ、大エリアLと小エリアSの平均の差が閾値Aの所定%以上であった場合(S40:Y)、最適エリア判定部78は、大エリアLを非最適エリアとして判定する。
次に、最適エリア判定部78は、縦エリアVの分散と横エリアHの分散の差が閾値Bの所定%以上か否かを判定する。縦エリアVの分散と横エリアHの分散との差が閾値Bの所定%未満であった場合(S43:N)は、小エリアS内の画像に縦と横で変化が少ないと考えられることから、このような場合、最適エリア判定部78は、小エリアSを最適エリアとして判定する(S44)。
小エリアSが最適エリアとして判定された後、NR実施判定部79が、小エリアSの分散と閾値Cを比較し、小エリアSにNR処理を行うべきか否かを最終的に判定する(S45)。小エリアSの分散が閾値Cよりも大きかった場合(S45:Y)、NR実施判定部79は、注目画素データにNR処理をすべきではないと判定し(S45Y)、その旨をNR処理部75と出力部76に通知する。一方、小エリアSの分散が閾値C以下だった場合(S45:N)、NR実施判定部79は、注目画素データにNR処理をすべきと判定し、その旨をNR処理部75と出力部76に通知する。以後はS60へと処理が移行する。
一方、S43において、縦エリアVの分散と横エリアHの分散との差が閾値Bの所定%以上であった場合(S43:Y)は、小エリアS内の画像に縦と横で変化が大きいと考えられることから、このような場合、最適エリア判定部78は、小エリアSを非最適エリアとして判定する。
次に、最適エリア判定部78は、横エリアHと縦エリアVの分散を比較する(S46)。横エリアHの分散の方が大きかった場合(S46:Y)、最適エリア判定部78は、縦エリアVを最適エリアとして判定する(S47)。縦エリアVが最適エリアとして判定された後、NR実施判定部79が、縦エリアVの分散と閾値Cを比較し、縦エリアVにNR処理を行うべきか否かを最終的に判定する(S48)。縦エリアVの分散が閾値Cよりも大きかった場合(S48:Y)、NR実施判定部79は、注目画素データにNR処理をすべきではないと判定し(S48Y)、その旨をNR処理部75と出力部76に通知する。一方、縦エリアVの分散が閾値C以下だった場合(S48:N)、NR実施判定部79は、注目画素データにNR処理をすべきと判定し、その旨をNR処理部75と出力部76に通知する。以後はS60へと処理が移行する。
S46において、縦エリアVの分散の方が大きかった場合(S46:N)、最適エリア判定部78は、横エリアHを最適エリアとして判定する(S49)。横エリアHが最適エリアとして判定された後、NR実施判定部79が、横エリアHの分散と閾値Cを比較し、横エリアHにNR処理を行うべきか否かを最終的に判定する(S50)。横エリアHの分散が閾値Cよりも大きかった場合(S50:Y)、NR実施判定部79は、注目画素データにNR処理をすべきではないと判定し(S50Y)、その旨をNR処理部75と出力部76に通知する。一方、横エリアHの分散が閾値C以下だった場合(S50:N)、NR実施判定部79は、注目画素データにNR処理をすべきと判定し、その旨をNR処理部75と出力部76に通知する。以後はS60へと処理が移行する。
図10は、図5に示すノイズリダクション装置の動作時のイメージを示す図である。図10中に示す破線は大エリア及び小エリアを示している。図10に示すイメージは、上述した縦エリア及び横エリアについては考慮していないときのものである。
エリアが(A),(C),(D),(E)のような位置に設定された場合には、大エリアLと小エリアSの分散及び平均に差があまりないため、大エリアLが最適エリアとして判定される。又、エリアが(B)や(F)のような位置に設定された場合には、大エリアLの分散よりも小エリアSの分散が小さく、且つ、大エリアLと小エリアSの平均に差が大きく、且つ、横エリアHと縦エリアVに差があまりないため、小エリアSが最適エリアとして判定される。最適エリアと判定されても、その最適エリア内に境界や網目等が存在している(C)や(D)のような場合には、解像感を低下させないために、NR処理は行われない。
以上のように、ノイズリダクション装置7によれば、複数のエリアを設定し、各エリア内に入っている画像に応じて、エリアを選択的に利用してNR処理を行っているため、画質を向上させることができる。又、各エリアの分散を比較して最適エリアの判定を行うため、簡単なアルゴリズムで画像の判別を行うことができる。又、予め求めておいた偏差ヒストグラムからノイズ量を推定し、このノイズ量をも考慮して画像の判別を行っているため、高い判別精度を実現することができる。
又、ノイズリダクション装置7によれば、画像の判別を行って最適エリアを判定した後に、ノイズ量を考慮した閾値Cを用いて、NR処理を行うべきか否かを判定するため、変化の多い画像に対してNR処理を行ってしまうことで発生する解像感の低下を抑制することができる。尚、解像感の低下を無視すれば、NR実施判定部79による判定処理は省略しても構わない。この場合は、図9において、S41、S44、S47、及びS49の処理の後、すぐにNR処理部75によってNR処理を開始するようにすれば良い。
又、ノイズリダクション装置7によれば、ノイズ量の推定を行う回路等を持つ必要がないため、従来に比べ、回路規模を削減することができる。
又、ノイズリダクション装置7は、最適エリアの分散を小さくするという考えを用いて、注目画素データのNR処理を行っている。最適エリアにフィルタリング等のNR処理を行うと、複数のエリアの切り替わりで不自然な輪郭ができてしまう可能性があるが、本実施形態のように、分散という統計的な数値を小さくするという考えを用いることで、不自然な輪郭の発生を防ぐことができる。とはいえ、大エリアLと小エリアSのサイズに差があり過ぎた場合には、大エリアLと小エリアSの分散の差が大きくなってしまうため、エリアの境界部付近で不連続感のある画像となってしまう。したがって、大エリアLのサイズは、小エリアSのサイズの2倍程度に止めておくことが望ましい。又は、大エリアLと小エリアSの間に中間サイズのエリアを追加する等の措置をとることが望ましい。
尚、以上の説明では、最適エリアの判定精度を上げるために、図9のS40において大エリアLと小エリアSの平均の差と閾値Aとを比較しているが、この比較は省略しても良い。この場合は、S40において、大エリアLと小エリアSの分散のみを比較し、大エリアLの方が大きい場合はS41へ、小エリアSの方が大きい場合はS43へ処理を移行すれば良い。
又、以上の説明では、エリアを4つ設定するものとしたが、設定するエリアは、大エリアLと小エリアSの少なくとも2つあれば良い。本実施形態のように横エリアHと縦エリアVを設定することで、画像の判別を細かく行うことができ、高精度のNR処理が可能となる。横エリアHと縦エリアVを設定いない場合の動作フローは、図9のS40の判断がYESであったときにS44に処理を移行する形となる。
尚、以上の説明では、注目画素データがR成分、G成分、B成分のいずれである場合でも、ノイズリダクション装置7で同一の処理を行うものとしたが、注目画素データがR成分又はB成分である場合には、ノイズリダクション装置7をより簡単なアルゴリズムで動作させても問題はない。以下、この簡単なアルゴリズムについて説明する。
図11は、注目画素データがR成分又はB成分である場合のノイズリダクション装置7の動作フローを示す図である。図11では、大エリアL及び小エリアSの各々の符号を省略している。又、図11では、R成分又はB成分のことを、R/Bとして表記している。
撮像が行われ、RAW画像データが入力されると、平均算出部71、二乗平均算出部72、及び分散算出部77によって、大エリアLと小エリアSのそれぞれに含まれるR成分又はB成分の平均及び分散と、大エリアLと小エリアSのそれぞれに含まれるG成分の分散とが算出される(S70)。
次に、ノイズ量推定部80は、入力されたRAW画像データを得るために行った撮影の撮影感度と、注目画素データとに対応する偏差ヒストグラムから、注目画素データの画素値に対応する偏差sigma(R/B)を取得し、入力されたRAW画像データを得るために行った撮影の撮影感度とG成分とに対応する偏差ヒストグラムから、注目画素データに隣接するG成分の画素データのいずれかに対応する偏差sigma(G)を取得する(S80)。
最適エリア判定部78は、偏差sigma(R/B)から、最適エリアを判定するための判定基準となる第一の閾値である閾値Dを生成し、偏差sigma(G)から、最適エリアを判定するための判定基準となる第一の閾値である閾値Eを生成する(S90)。閾値Dは、偏差sigma(R/B)に所定の係数dを乗じた値を二乗した値である。閾値Eは、偏差sigma(G)に所定の係数eを乗じた値を二乗した値である。
次に、最適エリア判定部78は、大エリアLに含まれるR成分又はB成分の分散と閾値Dとを比較し、大エリアLに含まれるG成分の分散と閾値Eとを比較する(S100)。ここで、G成分の分散と閾値Eとを比較している理由は、R成分又はB成分だけでは、輝度に対するセンシビリティが弱く、画像の判別がしづらいためである。大エリアLに含まれるR成分又はB成分の分散と、大エリアLに含まれるG成分の分散とのいずれもが閾値D,E未満であった場合(S100:N)、この場合は、大エリアL内の画像に変化が少ないと考えられるため、最適エリア判定部78は、大エリアLを最適エリアとして判定する(S100N)。
一方、大エリアLに含まれるR成分又はB成分の分散と、大エリアLに含まれるG成分の分散とのいずれかが閾値D,E以上であった場合(S100:Y)、この場合は、大エリアL内の画像に変化が多いと考えられるため、最適エリア判定部78は、大エリアLを非最適エリアとして判定し、小エリアSに含まれるR成分又はB成分の分散と閾値Dとを比較し、小エリアSに含まれるG成分の分散と閾値Eとを比較する(S120)。
小エリアSに含まれるR成分又はB成分の分散と、小エリアSに含まれるG成分の分散とのいずれもが閾値D,E未満であった場合(S120:N)、この場合は、小エリアS内の画像に変化が少ないと考えられるため、最適エリア判定部78は、小エリアSを最適エリアとして判定する(S120N)。
注目画素データがG成分であるときの動作では、NR実施判定部79が、S100NやS120Nにおいて最適エリアが判定された後、NR処理を実施すべきか否かの判定を行っている。しかし、低輝度部分での偽色・色ノイズは大部分がR成分及びB成分に起因しているため、又、G成分とのバランスをとるため、できうる限りNR処理を行った方が良い。又、R成分又はB成分がG成分ほど解像に寄与しないため、NR処理による画質劣化もそれほど大きくない。このような理由から、NR実施判定部79は、S100NやS120Nにおいて最適エリアが判定された後は、NR処理をすべきと判定する。これにより、最適エリアの決定後はNR処理が必ず行われ(S60)、出力部76からはNR処理後の注目画素データが出力される。
S120において、小エリアSに含まれるR成分又はB成分の分散と、小エリアSに含まれるG成分の分散とのいずれかが閾値D,E以上であった場合(S120:Y)、この場合は、小エリアS内の画像に変化が多いと考えられるため、最適エリア判定部78は、小エリアSを非最適エリアとして判定する。小エリアSが非最適エリアとして判定された場合、NR実施判定部79は、注目画素データにNR処理をすべきでないと判定し、その旨をNR処理部75及び出力部76に通知する(S120Y)。これにより、出力部76からは、NR処理されていない注目画素データが出力される。R成分又はB成分はG成分ほど解像に寄与せず、S120Y以降に最適エリアの判定を行わなくとも画質を維持することが可能である。このため、注目画素データがR成分又はB成分であるときは、図11に示すような簡単な処理で十分である。
図11に示したような処理によれば、大エリアLが最適エリアであるかどうかの判定を優先して行っているため、低輝度部分での偽色及び色ノイズの除去を優先的に行うことができ、画質向上につながる。又、注目画素データがG成分であるときよりもアルゴリズムを簡単にすることができる。
尚、図11のS100及びS120において、G成分の分散と閾値Eとを比較するのは、上述したように、画像の判別をよりしやすくするためであるため、必ずしも必須ではない。G成分の分散と閾値Eとを比較を行わない場合は、図11のS100において、大エリアLのR成分又はB成分の分散が閾値D未満のときにS100Nに処理を移行し、大エリアLのR成分又はB成分の分散が閾値D以上のときにS120に処理を移行すれば良い。又、図11のS120において、小エリアSのR成分又はB成分の分散が閾値D未満のときにS120Nに処理を移行し、小エリアSのR成分又はB成分の分散が閾値D以上のときにS120Yに処理を移行すれば良い。
本発明の実施形態を説明するためのデジタルカメラの要部概略構成を示す図 図1に示す固体撮像素子の光電変換素子の配列例を示す図 本発明の実施形態を説明するためのデジタルカメラの要部概略構成の変形例を示す図 図1に示す画素データ保持部からNR装置に供給される画素データを二次元状に配置したイメージ図 図1に示すNR装置の概略構成を示すブロック図 偏差ヒストグラムを示す図 小エリアSを5行×5列、大エリアLを13行×13列とし、注目画素データがG成分であるときのG成分の画素データの積算経路の一例を示す図 最適エリアの分散を小さくする処理のイメージを示す図 図5に示したノイズリダクション装置の動作フローを示す図 図5に示すノイズリダクション装置の動作時のイメージを示す図 注目画素データがR成分又はB成分である場合のノイズリダクション装置の動作フローを示す図
符号の説明
1 固体撮像素子
2 A/D変換部
3 バッファ
4 前処理回路
5 TG
6 画素データ保持部
7 ノイズリダクション装置
8 信号処理部
71 平均算出部
72 二乗平均算出部
73 判別回路
74 メモリ
75 ノイズリダクション処理部
76 出力部
77 分散算出部
78 最適エリア判定部
79 ノイズリダクション実施判定部
80 ノイズ量推定部

Claims (6)

  1. 固体撮像素子から得られるRAW画像データのノイズリダクションを行うノイズリダクション装置であって、
    前記RAW画像データの注目画素データを含む、サイズの大きい大エリアと、前記大エリアよりもサイズの小さい小エリアとを少なくとも含む複数のエリア毎に、前記エリアに含まれる前記注目画素データと同一色成分の画素データ(以下、エリア同色画素データという)の平均値を算出する平均値算出手段と、
    前記平均値に基づいて、前記複数のエリア毎に、前記エリア同色画素データの分散を算出する分散算出手段と、
    前記注目画素データに含まれるノイズ量を推定するノイズ量推定手段と、
    前記複数のエリア毎の前記分散に基づいて、前記複数のエリアのうち、前記注目画素データのノイズリダクション処理に利用するのに最適なエリアである最適エリアを判定する最適エリア判定手段と、
    前記最適エリアについて算出された前記平均値に、前記推定されたノイズ量に応じて前記注目画素データを近づける処理を行って、前記注目画素データのノイズリダクション処理を行うノイズリダクション処理手段とを備えるノイズリダクション装置。
  2. 請求項1記載のノイズリダクション装置であって、
    前記最適エリアを判定するための判定基準となる閾値であって、前記ノイズ量に応じて決まる閾値を第一の閾値とし、
    前記最適エリア判定手段は、前記複数のエリア毎の前記分散と、前記複数のエリア毎の前記平均値と、前記第一の閾値とを用いて、前記最適エリアを判定するノイズリダクション装置。
  3. 請求項1又は2記載のノイズリダクション装置であって、
    前記最適エリアを利用して前記注目画素データにノイズリダクション処理を行うべきか否かを判定するための判定基準となる閾値であって、前記ノイズ量に応じて決まる閾値を第二の閾値とし、
    前記最適エリアについて算出された前記分散と前記第二の閾値とを用いて、前記最適エリアを利用して前記注目画素データにノイズリダクションを行うべきか否かを判定するノイズリダクション実施判定手段と、
    前記ノイズリダクション実施判定手段による判定結果に応じて、前記注目画素データ及び前記ノイズリダクション処理後の注目画素データのいずれかを出力する出力手段とを備えるノイズリダクション装置。
  4. 請求項3記載のノイズリダクション装置であって、
    前記RAW画像データが、赤色(R)成分と緑色(G)成分と青色(B)成分の画素データを含み、
    前記注目画素データが前記R成分又は前記B成分であった場合、
    前記最適エリア判定手段は、前記大エリアに含まれる前記R成分又は前記B成分の画素データの分散と前記第一の閾値とに基づいて、前記大エリアが前記最適エリアであるか否かを判定し、前記大エリアが前記最適エリアでないと判定した場合に、前記小エリアに含まれる前記R成分又は前記B成分の画素データの分散と前記第一の閾値とに基づいて、前記小エリアが前記最適エリアであるか否かを判定し、
    前記ノイズリダクション実施判定手段は、前記大エリア又は前記小エリアが前記最適エリアと判定された場合には、前記注目画素データにノイズリダクションを行うべきと判定し、前記小エリアが前記最適エリアでないと判定された場合には、前記注目画素データにノイズリダクションを行うべきでないと判定するノイズリダクション装置。
  5. 請求項1〜4のいずれか記載のノイズリダクション装置であって、
    前記ノイズ量推定手段は、階調チャートを前記固体撮像素子により撮像して得られるRAW画像データによって予め求められた、各階調の画素データに含まれるノイズ量に相当するデータに基づいて、前記注目画素データに含まれるノイズ量を推定するノイズリダクション装置。
  6. 固体撮像素子から得られるRAW画像データのノイズリダクションを行うノイズリダクション方法であって、
    前記RAW画像データの注目画素データを含む、サイズの大きい大エリアと、前記大エリアよりもサイズの小さい小エリアとを少なくとも含む複数のエリア毎に、前記エリアに含まれる前記注目画素データと同一色成分の画素データ(以下、エリア同色画素データという)の平均値を算出する平均値算出ステップと、
    前記平均値に基づいて、前記複数のエリア毎に、前記エリア同色画素データの分散を算出する分散算出ステップと、
    前記注目画素データに含まれるノイズ量を推定するノイズ量推定ステップと、
    前記複数のエリア毎の前記分散に基づいて、前記複数のエリアのうち、前記注目画素データのノイズリダクション処理に利用するのに最適なエリアである最適エリアを判定する最適エリア判定ステップと、
    前記最適エリアについて算出された前記平均値に、前記推定されたノイズ量に応じて前記注目画素データを近づける処理を行って、前記注目画素データのノイズリダクション処理を行うノイズリダクション処理ステップとを含むノイズリダクション方法。
JP2005338937A 2005-11-24 2005-11-24 ノイズリダクション装置及びノイズリダクション方法 Expired - Fee Related JP4599279B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005338937A JP4599279B2 (ja) 2005-11-24 2005-11-24 ノイズリダクション装置及びノイズリダクション方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005338937A JP4599279B2 (ja) 2005-11-24 2005-11-24 ノイズリダクション装置及びノイズリダクション方法

Publications (2)

Publication Number Publication Date
JP2007150441A true JP2007150441A (ja) 2007-06-14
JP4599279B2 JP4599279B2 (ja) 2010-12-15

Family

ID=38211350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005338937A Expired - Fee Related JP4599279B2 (ja) 2005-11-24 2005-11-24 ノイズリダクション装置及びノイズリダクション方法

Country Status (1)

Country Link
JP (1) JP4599279B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012156968A (ja) * 2011-01-28 2012-08-16 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2013126169A (ja) * 2011-12-15 2013-06-24 Mitsubishi Electric Corp 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体
US8971660B2 (en) 2009-03-16 2015-03-03 Ricoh Company, Ltd. Noise reduction device, noise reduction method, noise reduction program, and recording medium
JP2020091910A (ja) * 2015-03-03 2020-06-11 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR20210004610A (ko) * 2019-07-05 2021-01-13 한국전기연구원 영상 노이즈 저감 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1063839A (ja) * 1996-08-19 1998-03-06 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2000175046A (ja) * 1998-09-30 2000-06-23 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2000232384A (ja) * 1999-02-09 2000-08-22 Sony Corp データ処理装置およびデータ処理方法
JP2002135623A (ja) * 2000-10-18 2002-05-10 Yamaha Corp ノイズ除去装置及びノイズ除去方法並びにコンピュータ読み取り可能な記録媒体
JP2003150956A (ja) * 2001-10-31 2003-05-23 Eastman Kodak Co ノイズ除去、ノイズ推定、又はディジタル画像強調のためにディジタル画像を空間フィルタリングする方法
JP2004214756A (ja) * 2002-12-27 2004-07-29 Seiko Epson Corp 画像ノイズの低減

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1063839A (ja) * 1996-08-19 1998-03-06 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2000175046A (ja) * 1998-09-30 2000-06-23 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2000232384A (ja) * 1999-02-09 2000-08-22 Sony Corp データ処理装置およびデータ処理方法
JP2002135623A (ja) * 2000-10-18 2002-05-10 Yamaha Corp ノイズ除去装置及びノイズ除去方法並びにコンピュータ読み取り可能な記録媒体
JP2003150956A (ja) * 2001-10-31 2003-05-23 Eastman Kodak Co ノイズ除去、ノイズ推定、又はディジタル画像強調のためにディジタル画像を空間フィルタリングする方法
JP2004214756A (ja) * 2002-12-27 2004-07-29 Seiko Epson Corp 画像ノイズの低減

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971660B2 (en) 2009-03-16 2015-03-03 Ricoh Company, Ltd. Noise reduction device, noise reduction method, noise reduction program, and recording medium
JP2012156968A (ja) * 2011-01-28 2012-08-16 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2013126169A (ja) * 2011-12-15 2013-06-24 Mitsubishi Electric Corp 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体
JP2020091910A (ja) * 2015-03-03 2020-06-11 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR20210004610A (ko) * 2019-07-05 2021-01-13 한국전기연구원 영상 노이즈 저감 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
KR102615125B1 (ko) * 2019-07-05 2023-12-19 한국전기연구원 영상 노이즈 저감 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Also Published As

Publication number Publication date
JP4599279B2 (ja) 2010-12-15

Similar Documents

Publication Publication Date Title
US8081224B2 (en) Method and apparatus for image stabilization using multiple image captures
US8300977B2 (en) Imaging device and image processing program for estimating fixed pattern noise from partial noise output of available pixel area
JP4742652B2 (ja) 撮像装置
US20090161756A1 (en) Method and apparatus for motion adaptive pre-filtering
US20080056607A1 (en) Method and apparatus for image noise reduction using noise models
JP5123756B2 (ja) 撮像システム、画像処理方法および画像処理プログラム
JP4925198B2 (ja) 信号処理装置および方法、ノイズ低減装置および方法並びにプログラム
JP2007189544A (ja) 撮像装置
JP4599279B2 (ja) ノイズリダクション装置及びノイズリダクション方法
JP5541205B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
EP1394742A1 (en) Method for filtering the noise of a digital image sequence
US7239758B2 (en) Signal processing device for reducing noise of image signal, signal processing program, and signal processing method
JP4367910B2 (ja) 固体撮像装置
US7489822B2 (en) Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method
JP4980131B2 (ja) ノイズ低減装置および方法並びにプログラム
JP2011114473A (ja) 画素欠陥補正装置
JP2005109705A (ja) 撮像処理装置
US8400534B2 (en) Noise reduction methods and systems for imaging devices
JP2013207427A (ja) 撮像装置および撮像方法
JP2011250249A (ja) 映像信号処理装置および映像信号処理方法
JP2010056817A (ja) 撮像装置
JP2007295260A (ja) 画像処理方法およびデジタルカメラ
JP2006191454A (ja) ノイズ検出回路及び同回路を有する信号処理装置及び同装置を備えた撮像装置及びノイズ除去方法
JP2021005775A (ja) 画像処理装置、画像処理方法及びプログラム
US11012630B1 (en) Image processor and image processing method

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071109

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071116

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100831

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100927

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees