JP2012124857A - ノイズ除去システムおよび撮像装置 - Google Patents

Abstract

【課題】エッジのぼかしを抑えながら、ノイズを効果的に除去する。
【解決手段】ＮＲ部２０はラインメモリ２１、ＬＰＦ回路２３、エッジ量算出回路２４、混合係数算出回路２６、および第１、第２の演算器２８ａ、２８ｂを有する。ラインメモリ２１は格納された画素信号から注目画素信号と第１の周囲画素信号とを指定する。ＬＰＦ回路２３は注目画素信号と第１の周囲画素信号の加重平均値を算出することにより一次ノイズ除去信号を生成する。エッジ量算出回路２４は注目画素信号、第１の周囲画素信号、および一次ノイズ除去信号を用いてエッジ量を算出する。混合係数算出回路２６はエッジ量を用いて変動係数を算出する。第１の演算器２８ａは注目画素信号から一次ノイズ除去信号を減算した第１の差分信号を生成する。第２の演算器２８ｂは注目画素信号から変動係数を乗じられた第１の差分信号を減産した二次ノイズ除去信号を生成する。
【選択図】図５

Description

本発明は、画像のノイズを効果的に除去するノイズ除去システムに関する。

デジタルカメラやビデオカメラ、また電子内視鏡装置のように被写体の光学像を撮影して、撮影画像に対応する画像信号を生成することが知られている。画像信号に混入するノイズはモニタに表示する画像の再現性を低減化するため、画像信号からノイズを効果的に除去することが求められる。

一般的に、画像信号にＬＰＦ処理を施して、注目画素の信号値を周囲の画素の信号値と平均化することにより、ノイズ除去を行うことが提案されている（特許文献１参照）。しかし、このようなＬＰＦ処理を一律に施すと、被写体として撮影される物品の輪郭部であるエッジがぼやかされることがあった。

特開平９−２３３３６９号公報

したがって、本発明では、エッジ部分のぼかしを抑えながら、ノイズを効果的に除去するノイズ除去システムを提供することを目的とする。

本発明のノイズ除去システムは、受光面上に２次元状に配置される複数の画素それぞれの受光量に応じて生成される複数の画素信号によって構成される画像信号を生成する撮像素子から画像信号を受信する受信部と、複数の画素を順番に注目画素に指定する第１の指定部と、注目画素に対して所定の第１の位置の画素を第１の周囲画素に指定する第２の指定部と、注目画素および第１の周囲画素に対応する注目画素信号および第１の周囲画素信号の信号強度の平均値を算出することにより一次ノイズ除去信号を生成する平均化算出部と、注目画素信号および第１の周囲画素信号に基づいて注目画素および第１の周囲画素によって形成される領域において受光される光学像に含まれる輪郭の量であるエッジ量を算出するエッジ量算出部と、エッジ量に基づいてエッジ量が大きくなるほど大きくなるように第１の係数ｋ（０＜ｋ≦１）を決定する係数決定部と、第１の係数ｋを乗じられた一次ノイズ除去信号と（１−ｋ）を乗じられた注目画素信号とを合計することにより注目画素に対応する最終ノイズ除去信号を生成する合成部とを備えることを特徴としている。

また、エッジ量算出部は注目画素信号および第１の周囲画素信号の信号強度を標本とした標本分散を前記エッジ量として算出することが好ましい。

また、一次ノイズ除去信号の生成において、注目画素信号および第１の周囲画素信号の信号強度それぞれに定められた重み付け係数を乗じることにより加重平均値が一次ノイズ除去信号として生成されることが好ましい。

また、エッジ量算出部は注目画素信号および第１の周囲画素信号の信号強度を標本とし、相加平均値の代わりに加重平均値を用いた標本分散を前記エッジ量として算出することが好ましい。

また、係数決定部はエッジ量が第１の閾値未満である場合に第１の係数ｋを１に決定することが好ましい。

また、第１の閾値は（（２＾ｎ−１）×σ））＾２（ｎは係数決定部のビット数、σは画像信号に撮像素子において混入するノイズの実測値の分散量）に定められることが好ましい。

また、係数決定部はエッジ量Ｅｇが第１の閾値を超え且つ第２の閾値未満である場合に、第１の係数ｋを（１）式により算出した値に決定することが好ましい。なお、（１）式におけるＤ１、Ｄ２はそれぞれ前記第１、第２の閾値であり、ｋ１、ｋ２は（２）式により定められる定数である。

また、係数決定部はエッジ量Ｅｇが第２の閾値を超える場合に第１の係数ｋを（３）により算出した値に決定することが好ましい。

また、ｋ２は、０．１×ｋ１〜０．２×ｋ１に定められることが好ましい。

また、第２の閾値Ｄ２は、９×Ｄ１に定められることが好ましい。

また、係数決定部はエッジ量が第１の閾値を超える場合に第１の係数ｋを（４）式により算出した値に決定することが好ましい。

また、エッジ量がノイズ判別閾値より小さくかつ注目画素信号の信号強度が注目画素に対して所定の第２の位置の前記画素である第２の周囲画素の画素信号である第２の周囲画素信号および注目画素信号の信号強度の最大値または最小値である場合に、係数決定部は第１の係数ｋを１に決定することが好ましい。

また、ノイズ判別閾値は（３×（２＾ｎ−１）×σ））＾２（ｎは係数決定部のビット数、σはノイズ除去システムで測定されるノイズの分散量）に定められることが好ましい。

本発明の撮像装置は、受光面上に２次元状に配置される複数の画素それぞれの受光量に応じて生成される複数の画素信号によって構成される画像信号を生成する撮像素子と、複数の画素を順番に注目画素に指定する第１の指定部と、注目画素に対して所定の第１の位置の画素を第１の周囲画素に指定する第２の指定部と、注目画素および第１の周囲画素に対応する注目画素信号および第１の周囲画素信号の信号強度の平均値を算出することにより一次ノイズ除去信号を生成する平均化算出部と、注目画素信号および第１の周囲画素信号に基づいて注目画素および第１の周囲画素によって形成される領域において受光される光学像に含まれる輪郭の量であるエッジ量を算出するエッジ量算出部と、エッジ量に基づいてエッジ量が大きくなるほど大きくなる第１の係数ｋ（０＜ｋ≦１）を決定する係数決定部と、第１の係数ｋを乗じられた一次ノイズ除去信号と（１−ｋ）を乗じられた注目画素信号とを合計することにより注目画素に対応する最終ノイズ除去信号を生成する合成部とを備えることを特徴としている。

本発明によれば、エッジ量の増加に応じて一次ノイズ除去信号に乗じる係数を減少させることにより、エッジ量の増加に応じてノイズ除去効果を低化することが可能となる。エッジ量の増加にい応じてノイズ除去効果を低下させることにより、エッジ部分のぼかしを押えながら、ノイズを効果的に除去することが可能である。

本発明の一実施形態を適用したノイズ除去システムを含む撮像装置の内部構成を概略的に示すブロック図である。 撮像素子上の補色市松色差線順次式によるカラーフィルタの配置図である。 ＯＤＤフィールドにおいて生成される色信号成分を示す図である。 ＥＶＥＮフィールドにおいて生成される色信号成分を示す図である。 ＮＲ部の内部構成を概略的に示すブロック図である。 ＬＰＦ処理において注目画素および第１の周囲画素に乗じられる重み付け係数を画素毎に示す配置図である。 エッジ量の算出において用いられる第１の周囲画素と注目画素との配置を示す配置図である。 ＮＲ部により実行されるノイズリダクション処理を説明するフローチャートである。 エッジ量と変動係数との関係を示すグラフである。

以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の一実施形態を適用したノイズ除去システムを有する撮像装置の内部構成を概略的に示すブロック図である。

撮像装置１０は、撮像素子１１、ＡＦＥ１２、ＮＲ部２０、マトリックス回路１３、混合回路１４、ガンマ補正回路１５、出力回路１６、およびモニタ１７などによって構成される。

撮像素子１１には、複数の画素（図示せず）が２次元状に配置される。各画素は、図２に示す補色市松色差線順次方式により配列されたカラーフィルタ（図示せず）によって覆われる。各画素では、カラーフィルタを透過した光の受光量に応じた画素信号が生成される。

撮像素子１１はインターレース方式により駆動され、ＯＤＤ／ＥＶＥＮフィールドに分かれた画素信号が出力される。ＯＤＤフィールドでは、奇数行の画素と奇数行の一つ上の偶数行の画素の画素信号が混合されて出力される。また、ＥＶＥＮフィールドでは、偶数行の画素と偶数行の一つ上の画素の画素信号が混合されて出力される。

具体的には、ＯＤＤフィールドにおいて、（４ｍ＋１）行目（ｍは０以上の自然数）に配置されたＧ画素およびＭｇ画素が、それぞれ（４ｍ＋２）行目に配置されたＣｙ画素およびＹｅ画素と混合され、Ｇｂ画素信号およびＷｒ画素信号として出力される。

また、ＯＤＤフィールドにおいて、（４ｍ＋３）行目に配置されたＭｇ画素およびＧ画素が、それぞれ（４ｍ＋４）行目に配置されたＣｙ画素およびＹｅ画素と混合され、Ｗｂ画素信号およびＧｒ画素信号として出力される。

一方、ＥＶＥＮフィールドにおいて、（４ｍ＋２行目）に配置されたＣｙ画素およびＹｅ画素が、それぞれ（４ｍ＋３）行目に配置されたＭｇ画素およびＧ画素と混合され、Ｗｂ画素信号およびＧｒ画素信号として出力される。

また、ＥＶＥＮフィールドにおいて、（４ｍ＋４）行目に配置されたＣｙ画素およびＹｅ画素が、それぞれ（４ｍ＋５）行目に配置されたＧ画素およびＭｇ画素と混合され、Ｇｂ画素信号およびＷｒ画素信号として出力される。

したがって、ＯＤＤフィールドにおいて、図３に示すような配置のＧｂ画素信号、Ｗｒ画素信号、Ｗｂ画素信号、およびＧｒ画素信号が生成される。また、ＥＶＥＮフィールドにおいて、図４に示すような配置のＷｂ画素信号、Ｇｒ画素信号、Ｇｂ画素信号、およびＷｒ画素信号が生成される。

ＯＤＤ／ＥＶＥＮフィールドにおいて撮像素子１１から出力される複数の画素信号はＯＤＤ／ＥＶＥＮフィールドの画像信号としてＡＦＥ１２に入力される。ＡＦＥ１２では画像信号に対して、ＡＧＣ処理、ＣＤＳ処理が施され、さらにＡ／Ｄ変換処理が施され、デジタル信号に変換される。

デジタル信号に変換された画像信号は、ＮＲ部２０に送信される。ＮＲ部２０では、後に詳細に説明するように、ノイズリダクション処理を施すことにより、画像信号に混入されるノイズが除去される。

ノイズリダクション処理が施された画像信号は、マトリックス回路１３に送信される。マトリックス回路１３では、Ｗｂ画素信号、Ｇｒ画素信号、Ｇｂ画素信号、およびＷｒ画素信号にマトリックス処理を施すことにより、画素毎に輝度信号成分Ｙ、色差信号成分Ｃｒ、Ｃｂが生成される。

輝度信号成分Ｙ、色差信号成分Ｃｒ、Ｃｂに変換された画像信号は、混合回路１４に送信される。混合回路１４において、輝度信号成分Ｙおよび色差信号成分Ｃｒ、Ｃｂが混合され、ＹＵＶ画像信号が生成される。

ＹＵＶ画像信号はＲＧＢ変換回路１５に送信される。ＲＧＢ変換回路１５では、ＹＵＶ画像信号がさらにＲＧＢ画像信号に変換される。ＲＧＢ画像信号はガンマ補正回路１６に送信される。ガンマ補正回路１６ではＲＧＢ画像信号にガンマ補正が施される。

ガンマ補正の施されたＲＧＢ画像信号は出力回路１７において所定の信号処理が施され映像信号に変換される。映像信号はモニタ１８に送信される。モニタ１８には、映像信号に相当する画像が表示される。

次に、ＮＲ部２０の構成および機能について、図５を用いて説明する。図５は、ＮＲ部２０の内部構成を概略的に示すブロック図である。ＮＲ部２０は、ラインメモリ２１、飽和判別回路２２、ＬＰＦ回路２３、エッジ量算出回路２４、異常点検出回路２５、混合係数算出回路２６、固定混合係数レジスタ２７、第１、第２の演算器２８ａ、２８ｂ、第１、第２のスイッチ２９ａ、２９ｂ、および乗算器３０によって構成される。

ＡＦＥ１２から出力された画像信号は、ラインメモリ２１に入力される。ラインメモリ２１には、９行分の画素の画素信号が格納される。ラインメモリ２１では、格納された画素信号に対応する各画素が１つずつ順番に注目画素に指定される。また、注目画素が指定されると、注目画素を中心とした周囲の５行５列に配置された画素が第１の周囲画素に指定され、注目画素を中心とした周囲の３行３列に配置された画素が第２の周囲画素に指定される。

ラインメモリ２１の出力端は、飽和判別回路２２、第１のスイッチ２９ａの第１の入力端２９ａ１、第１、第２の演算器２８ａ、２８ｂ、ＬＰＦ回路２３、エッジ量算出回路２４、および異常点検出回路２５に並列に接続される。各部位に注目画素に指定された画素の画素信号が注目画素信号として出力される。また、ＬＰＦ回路２３およびエッジ量算出回路２４には、第１の周囲画素に指定された画素の画素信号が第１の周囲画素信号として出力される。さらに、異常点検出回路２５には、第２の周囲画素に指定された画素の画素信号が第２の周囲画素信号として出力される。

飽和判別回路２２では、注目画素信号が飽和状態であるか否かが判別される。注目画素信号の信号強度が飽和閾値以上のときに注目画素信号は飽和状態であると判別される。なお、飽和閾値はＮＲ部２０で演算可能なデータ値の最大値または最大値近辺の値に定められる。

前述のように、第１のスイッチ２９ａの第１の入力端２９ａ１にはノイズリダクション処理の施されていない画素信号である注目画素信号が送信される。一方、後述するように、第１のスイッチ２９ａの第２の入力端２９ａ２にはノイズリダクション処理の施された画素信号である二次ノイズ除去信号が出力される。

飽和判別回路２２において注目画素信号が飽和状態であると判別される場合には、出力端２９ａ３の接続が第１の入力端２９ａ１に切替えられ、注目画素信号がＮＲ部２０から出力される。一方、注目画素信号が飽和状態でないと判別される場合には、第２の入力端２９ａ２に切替えられ、二次ノイズ除去信号がＮＲ部２０から出力される。

前述のように、ラインメモリ２１から出力される注目画素信号および第１の周囲画素信号はＬＰＦ回路２３にも送信される。ＬＰＦ回路２３では、注目画素信号に対して第１の周囲画素信号を用いてＬＰＦ処理が施される。ＬＰＦ処理において、注目画素信号と第１の周囲画素信号に所定の重み付け係数を乗じて合計することにより一次ノイズ除去信号が生成される。

注目画素信号および第１の周囲画素信号には、図６に示す重み付け係数が乗じられる。なお、ＬＰＦ処理では、同じ色信号成分の画素信号を用いる必要がある一方で、第１の周囲画素の中には、注目画素と異なる色信号成分の画素信号も含まれる。そこで、異なる色信号成分である第１の周囲画素信号に重み付け係数としてゼロを乗じることにより、ＬＰＦ処理から除外される。

前述のように、ＯＤＤフィールドおよびＥＶＥＮフィールドの画像信号において、２行２列おきの画素信号は同じ色信号成分である。それゆえ、注目画素ｄｐから上下に１、３
行および左右に１、３列離れた第１の周囲画素の重み付け係数はゼロに定められる。

重み付け係数は、注目画素ｄｐが一番大きく、注目画素ｄｐから離れるほど小さくなるように定められる。本実施形態では、注目画素ｄｐの重み付け係数は１／２に定められる。

また、注目画素ｄｐと同じ行で２列左右に離れた２つの第１の周囲画素、および注目画素ｄｐと同じ列で２行上下に離れた２つの第１の周囲画素の重み付け係数は１／１６に定められる。

また、注目画素ｄｐから上下に２行および左右に２列離れた４つの第１の周囲画素の重み付け係数は１／３２に定められる。また、注目画素ｄｐと同じ行で４列左右に離れた２つの第１の周囲画素、および注目画素ｄｐと同じ列で２行場所に離れた２つの第１の周囲画素の重み付け係数は１／６４に定められる。

また、注目画素ｄｐから上下に４行および左右に２列離れた４つの第１の周囲画素、および注目画素ｄｐから上下に２行および左右に４列離れた４つの第１の周囲画素の重み付け係数は１／１２８に定められる。

なお、注目画素ｄｐから上下に４行および左右に４列離れた第１の周囲画素の重み付け係数はゼロに定められる。

上述のように定められた重み付け係数を、注目画素信号および第１の周囲画素信号に乗じ、合計することにより加重平均値が算出される。加重平均値に相当する画素信号が、注目画素ｄｐにおける一次ノイズ除去信号としてＬＰＦ回路２３から第１の演算器２８ａおよびエッジ量算出回路２４に出力される。

前述のように、エッジ量算出回路２４にはラインメモリ２１から注目画素信号および第１の周囲画素信号が送信される。また、エッジ量算出回路２４にはＬＰＦ回路２３から一次ノイズ除去信号が送信される。エッジ量算出回路２４では、注目画素信号、第１の周囲画素信号、および一次ノイズ除去信号に基づいて、エッジ量Ｅｇが算出される。

なお、エッジ量Ｅｇは、（５）式により算出される。すなわち、エッジ量Ｅｇは注目画素信号と第１の周囲画素信号とを標本とし、相加平均値の代わりに加重平均値である一次ノイズ除去信号を用いた標本分散である。

なお、（５）式においてＶ_ＬＰＦは一次ノイズ除去信号、Ｖ（ｘ＋ｉ、ｙ＋ｊ）は、注目画素と同じ色信号成分の第１の周囲画素と注目画素とによって構成される画素配列における（ｘ＋ｉ、ｙ＋ｊ）に配置された第１の周囲画素の画素信号、（ｘ、ｙ）は注目画素の座標である。

前述のように、ＯＤＤフィールドおよびＥＶＥＮフィールドの画像信号において、２行２列おきの画素信号が同じ色信号成分である。したがって、図７に示すように、注目画素に対して指定された第１の周囲画素の中で、注目画素ｄｐから上方向に４行離れ左方向に４、２、０列および右方向に２、４列離れた第１の周囲画素の画素信号がＶ（ｘ−２、ｙ＋２）、Ｖ（ｘ−１、ｙ＋２）、Ｖ（ｘ、ｙ＋２）、Ｖ（ｘ＋１、ｙ＋２）、Ｖ（ｘ＋２、ｙ＋２）である。また、注目画素ｄｐから上方向に２行離れ左方向に４、２、０列および右方向に２、４列離れた第１の周囲画素の画素信号がＶ（ｘ−２、ｙ＋１）、Ｖ（ｘ−１、ｙ＋１）、Ｖ（ｘ、ｙ＋１）、Ｖ（ｘ＋１、ｙ＋１）、Ｖ（ｘ＋２、ｙ＋１）である。また、注目画素ｄｐと同じ行で左方向に４、２列および右方向に２、４列離れた第１の周囲画素の画素信号がＶ（ｘ−２、ｙ）、Ｖ（ｘ−１、ｙ）、Ｖ（ｘ＋１、ｙ）、Ｖ（ｘ＋２、ｙ）である。また、注目画素ｄｐから下方向に２行離れ左方向に４、２、０列および右方向に２、４列離れた第１の周囲画素の画素信号がＶ（ｘ−２、ｙ−１）、Ｖ（ｘ−１、ｙ−１）、Ｖ（ｘ、ｙ−１）、Ｖ（ｘ＋１、ｙ−１）、Ｖ（ｘ＋２、ｙ−１）である。また、注目画素ｄｐから下方向に４行離れ左方向に４、２、０列および右方向に２、４列離れた第１の周囲画素の画素信号がＶ（ｘ−２、ｙ−２）、Ｖ（ｘ−１、ｙ−２）、Ｖ（ｘ、ｙ−２）、Ｖ（ｘ＋１、ｙ−２）、Ｖ（ｘ＋２、ｙ−２）である。なお、Ｎ．Ａ．は、注目画素に対するエッジ量の算出に用いられない第１の周囲画素である。

（５）式から理解されるように、注目画素を中心とする第１の周囲画素によって形成される範囲に、物品の輪郭などが多く存在する場合すなわちエッジが多くなるほど、および／または輪郭上の画素の受光量と他の画素の受光量との差が大きくなるほど、エッジ量Ｅｇは大きくなる。

算出されたエッジ量Ｅｇは信号として、混合係数算出回路２６および異常点検出回路２５に送信される。混合係数算出回路２６では、エッジ量Ｅｇに基づいて変動係数ｋ’が算出される。

なお、変動係数ｋ’の算出のために、第１、第２の閾値Ｄ１、Ｄ２が定められる。なお、第１の閾値Ｄ１は、（（２＾ｎ−１）×σ）＾２に（ｎはＮＲ部２０のビット数、σは撮像素子 において画像信号に混入するノイズの測定値の分散量）定められる。また、第２の閾値Ｄ２は、９×Ｄ１に定められる。

エッジ量が第１の閾値Ｄ１以下である場合には、変動係数ｋ’は１に定められる。エッジ量が第１の閾値Ｄ１を超え、第２の閾値Ｄ２以下である場合には、変動係数ｋ’は（６）式により算出される。また、エッジ量が第２の閾値を超える場合には、変動係数ｋ’は（７）式により算出される。

なお、ｋ１は（２＾ｎ−１）に定められる定数である。また、ｋ２は０．１×ｋ１から０．２×ｋ１の間に定められる定数である。

算出された変動係数ｋ’は信号として第２のスイッチ２９ｂの第１の入力端子２９ｂ１に出力される。なお、第２のスイッチ２９ｂの第２の入力端子２９ｂ２は固定混合係数レジスタ２７に接続されており、ｋ１が固定係数ｋ”として出力される。

前述のように、異常点検出回路２５には、ラインメモリ２１から注目画素信号および第２の周囲画素信号が送信される。また、異常点検出回路２５には、エッジ量算出回路２４からエッジ量Ｅｇに相当する信号が送信される。異常点検出回路２５では、注目画素信号、第２の周囲画素信号、およびエッジ量Ｅｇに基づいて、注目画素信号に異常ノイズが混入しているか否かが判別される。

異常ノイズの混入を判別するために、Ｄ２がノイズ判別閾値ｔｈｎに定められる。エッジ量Ｅｇがノイズ判別閾値ｔｈｎ以上である場合には、異常ノイズが混入していないと判別される。

エッジ量がノイズ判別閾値ｔｈｎ未満である場合には、注目画素信号と第２の周囲画素信号との比較結果に基づいて異常ノイズの混入の可否が判別される。注目画素と同じ色信号成分である第２の周囲画素信号、すなわち注目画素から上下に２行離れた位置および／または注目画素から左右に２列離れた位置に配置された６つの第２の周囲画素信号が選択される。

異常点検出回路２５では、選択された第２の周囲画素信号と注目画素信号の信号強度の中で、注目画素信号の信号強度が最大または最小であるか否かが判別される。注目画素信号の信号強度が最大または最小である場合には、注目画素信号に異常ノイズが混入していると判別される。注目画素信号の信号強度が最大および最小で無い場合には、注目画素信号に異常ノイズが混入されていないと判別される。

異常点検出回路２５によって、第２のスイッチ２９ｂが切替えられる。注目画素信号に異常ノイズが混入されていないと判別される場合には、出力端２９ｂ３の接続が第２のスイッチの第１の入力端２９ｂ１に切替えられ、変動係数ｋ’が乗算係数ｋとして乗算器３０に出力される。一方、注目画素信号に異常ノイズが混入されていると判別される場合には、出力端２９ｂ３の接続が第２の入力端２９ｂ２に切替えられ、固定係数ｋ”が乗算係数ｋとして乗算器３０に出力される。

前述のように、第１の演算器２８ａにはラインメモリ２１から注目画素信号が入力される。また、第１の演算器２８ａにはＬＰＦ回路２３から一次ノイズ除去信号が入力される。第１の演算器２８ａでは、注目画素信号から一次ノイズ除去信号が減じられ、第１の差分信号が生成される。

第１の差分信号は乗算器３０に送信され、乗算係数ｋが乗じられ、第２の差分信号が生成される。第２の差分信号は第２の演算器２８ｂに送信される。前述のように第２の演算器２８ｂには、ラインメモリ２１から注目画素信号も入力される。第２の演算器２８ｂでは、注目画素信号から第２の差分信号を減じることにより二次ノイズ除去信号が生成される。

すなわち、二次ノイズ除去信号は、（（１−ｋ）×注目画素信号＋ｋ×一次ノイズ除去信号）であって、乗算係数ｋによって混合割合が定まる注目画素信号と一次ノイズ除去信号の混合信号である。

前述のように、注目画素信号が飽和状態でないと判断されたときに、二次ノイズ除去信号がノイズ除去を施された注目画素の画素信号としてＮＲ部２０からマトリックス回路１３に出力される。

次に、ＮＲ部２０によって実行されるノイズリダクション処理について、図８のフローチャートを用いて説明する。ノイズリダクション処理は、ＮＲ部２０に画素信号が送信されるたびに実行される。

ステップＳ１００では、ＮＲ部２０は、ラインメモリ２１に格納された画素信号の中の単一の画素信号に対応する画素を注目画素に指定する。新たに受信した画素信号に対応する画素に対して所定の位置（画素信号の受信が左上の画素からである場合、上方向に４行および左方向に４列離れた位置）の画素を注目画素に指定する。また、注目画素に対して、所定の位置に配置する画素を第１、第２の周囲画素に指定する。注目画素および第１、第２の周囲画素の指定を終えると、ステップＳ１０１に進む。

ステップＳ１０１では、ＮＲ部２０は、注目画素信号の信号強度が飽和閾値以上であるか否かを判別する。飽和閾値以上である場合には、注目画素は飽和状態と判別してステップＳ１０２に進む。飽和閾値未満である場合には、注目画素は飽和状態ではないと判別してステップＳ１０３に進む。

ステップＳ１０２では、ＮＲ部２０は、注目画素信号を注目画素の画素信号としてマトリックス回路１３に出力する。出力後、ノイズリダクション処理を終了する。

ステップＳ１０３では、ＮＲ部２０は、注目画素信号と第１の周囲画素信号とを用いて一次ノイズ除去信号を生成する。一次ノイズ除去信号の生成後、ステップＳ１０４に進む。

ステップＳ１０４では、ＮＲ部２０は、注目画素信号、第１の周囲画素信号、および一次ノイズ除去信号に基づいて、エッジ量Ｅｇを算出する。エッジ量Ｅｇを算出すると、ステップＳ１０５に進む。

ステップＳ１０５では、ＮＲ部２０は、エッジ量Ｅｇがノイズ判別閾値ｔｈｎ未満であるか否かを判別する。エッジ量Ｅｇがノイズ判別閾値ｔｈｎ以上である場合には、注目画素に異常ノイズが混入していない、と判別してステップＳ１０６、Ｓ１０７をスキップしてステップＳ１０８に進む。エッジ量Ｅｇがノイズ判別閾値ｔｈｎ未満である場合には、ステップＳ１０６に進む。

ステップＳ１０６では、ＮＲ部２０は、注目画素信号および第２の周囲画素信号の中の信号強度の最大値および最小値を算出する。最大値および最小値の算出後、ステップＳ１０７に進む。

ステップＳ１０７では、ＮＲ部２０は、注目画素信号がステップＳ１０６で算出した最大値または最小値であるか否かを判別する。注目画素信号が最大値および最小値で無い場合には、注目画素信号に異常ノイズが混入していないと判別して、ステップＳ１０８に進む。一方、注目画素が最大値または最小値である場合には、注目画素信号には異常ノイズが混入していると判別して、ステップＳ１０９に進む。

ステップＳ１０８では、ＮＲ部２０は、エッジ量Ｅｇに基づいて変動係数ｋ’を算出し、乗算係数ｋとして選択する。変動係数ｋ’の選択後、ステップＳ１１０に進む。また、ステップＳ１０９では、ＮＲ部２０は、第２のスイッチ２９ｂを切替、固定係数ｋ”を乗算係数ｋとして選択する。固定係数ｋ”の選択後、ステップＳ１１０に進む。

ステップＳ１１０では、ＮＲ部２０は、ステップＳ１０８またはステップＳ１０９において選択された乗算係数ｋ、注目画素信号、およびステップＳ１０３で生成した一次ノイズ除去信号を用いて二次ノイズ除去信号を生成する。さらに、生成した二次ノイズ除去信号を注目画素の画素信号としてマトリックス回路１３に出力する。出力後、ノイズリダクション処理を終了する。

以上のように、本実施形態のノイズ除去システムによれば、エッジ部分のぼかしを押えながら、ノイズを効果的に除去することが可能になる。以下に、このような効果について説明する。

図９に示すように、エッジ量Ｅｇが第１の閾値Ｄ１以下である場合には変動係数ｋ’は１に定められ、第１の閾値Ｄ１から第２の閾値Ｄ２までの範囲内にある場合には変動係数ｋ’はエッジ量Ｅｇに対し反比例状に減少する。また、エッジ量Ｅｇが第２の閾値以下である場合には変動係数ｋ’はエッジ量Ｅｇに対し反比例状に減少する。

前述のように、エッジ量Ｅｇは注目画素の近辺において物品の輪郭が増えるほど、または光量の変化が大きくなるほど、大きくなるように変化し、注目画素におけるエッジの度合いを表す指標である。

図９に示すようにエッジ量Ｅｇの増加に応じて変動係数ｋ’が減少し、二次ノイズ除去信号に含まれる一次ノイズ除去信号の混合割合ｋが減少する。すなわち、エッジ量Ｅｇが小さい時には一次ノイズ除去信号の混合割合を増やすことにより、ノイズ除去の効果が強調される。なお、ノイズ除去効果が強くても、元々エッジ量Ｅｇが小さいので、エッジ部位のボケに対する影響は小さい。一方、エッジ量Ｅｇが大きい時には一次ノイズ除去信号の混合割合を減らすことにより、ノイズ除去の効果が低減化され、エッジ部位におけるボケの影響が低減化される。

このように、エッジ量に応じてノイズ除去効果を調整するので、エッジ部位おけるボケを押えながら、ノイズを効果的に除去することが可能である。

また、本実施形態では、エッジ量Ｅｇが第１の閾値Ｄ１以下である場合には、エッジは含まれない、と判別して変動係数ｋ’が１に定められる。したがって、エッジが含まれない場合には、ノイズ除去効果を最大化することが可能である。

また、本実施形態では、ノイズの実測値に基づく分散量およびＮＲ部２０のビット数によって第１の閾値Ｄ１が算出される。本実施形態の方式に従えば、どのような演算器や撮像素子などを用いても、エッジが含まれないと判別可能な第１の閾値Ｄ１を容易に設定可能である。

また、本実施形態では、ノイズの実測値に基づく分散量およびＮＲ部２０のビット数によって第１、第２の閾値Ｄ１、Ｄ２およびエッジ量に基づいて特定の式により変動係数ｋ’が算出される。このような方法によれば、ノイズ除去とエッジの保持の最適化が可能である。すなわち、エッジのボケを押えながらの効果的なノイズ除去がさらに最適化される。

また、本実施形態では、注目画素信号が飽和閾値を超える場合にはノイズリダクション処理が施されずに、注目画素信号がＮＲ部２０から出力される。このような構成により、実際に画素信号が飽和している場合に、ノイズリダクション処理による信号強度の低下が防止される。

また、本実施形態では、注目画素信号に異常ノイズが混入していると判別される場合に、ノイズ除去効果が最大化される。このような構成により、異常ノイズの混入時にはエッジ量Ｅｇに関わらず、ノイズ除去効果を最大化することが可能である。

また、本実施形態では、異常ノイズの混入の可否を判別するためのノイズ判別閾値は、ノイズの実測値に基づく分散量およびＮＲ部２０のビット数によって算出される。このような構成によれば、どのような演算器や撮像素子などを用いても、異常ノイズの混入の可否の判別に最適なノイズ判別閾値ｔｈｎを容易に設定可能である。

また、本実施形態では、簡素な構成でエッジの保持とノイズの除去の最適化が可能である。従来、フレームメモリを用いてエッジの保持とノイズ除去の最適化が図られていたが、本実施形態によればフレームメモリを用いること無くラインメモリによりノイズ除去システムを構成可能なので装置の簡素化、小型化、および製造コストの低減化を図ることが可能である。

なお、本実施形態において、変動係数ｋ’は（６）または（７）式により算出される構成であるが、エッジ量Ｅｇの増加に応じて減少するように定められれば他の式により定められても良い。ただし、前述のように、（６）または（７）式により算出することにより、エッジの保持とノイズの除去が最適化される。

また、本実施形態において、エッジ量Ｅｇを第１の閾値Ｄ１との比較結果に基づいて、変動係数ｋ’の算出方法が変えられるが、エッジ量Ｅｇの全範囲において第１の閾値Ｄ１と比較すること無くエッジ量Ｅｇの増加に応じて変動係数ｋ’を減少させる構成であってもよい。ただし、本実施形態のように、エッジが存在しないと判別できる範囲においては、ノイズ除去効果を最大化することが望ましい。

また、本実施形態において、第２の閾値Ｄ２の前後で変動係数ｋ’の算出式が変えられるが、変えなくても良い。例えば、エッジ量Ｅｇが第１の閾値Ｄ１を超える全範囲において、変動係数ｋ’が（８）式によって算出される構成であってもよい。

ただし、本実施形態のように、第２の閾値Ｄ２の前後で算出式を変えることにより、エッジの保持とノイズの除去とが最適化される。

また、本実施形態において、第１、第２の閾値Ｄ１、Ｄ２は所定の式に基づいて定められる構成であるが、他のいかなる方法に基づいて定められてもよい。ただし、上述のように、本実施形態における算出式により定めることにより、エッジの保持およびノイズ除去の最適化に効果的な第１、第２の閾値Ｄ１、Ｄ２を容易に算出することが可能である。

また、本実施形態において、注目画素を中心とした９行９列および５行５列に配置した画素が、それぞれ第１および第２の周囲画素に指定される構成であるが、９行９列および５行５列に限定されない。注目画素を中心とする他の範囲に配置される画素を第１、第２の周囲画素として指定しても、本実施形態と同様の効果を得ることが可能である。

また、本実施形態において、エッジ量Ｅｇは（５）式により算出される構成であるが、他の方法により算出されてもよい。注目画素の周囲におけるエッジの含まれる割合やエッジの強度、すなわちエッジ周辺部との受光量の差が大きくなるほど、エッジ量が大きくなるように算出すれば、本実施形態と同様の効果を得ることが可能である。

また、本実施形態において、一次ノイズ除去信号のために注目画素信号および第１の周囲画素信号に乗じられる重み付け係数が例示されているが、乗じられる重み付け係数は例示された値に限定されない。総和が１となるように各画素信号に乗じる重み付け係数を定めれば、本実施形態と同様の効果を得ることが可能である。

また、本実施形態において、一次ノイズ除去信号は、注目画素信号と第１の周囲画素信号との加重平均値を算出することにより生成される構成であるが、相加平均値を算出することにより生成される構成であってもよい。

１０ 撮像装置
１１ 撮像素子
１３ マトリックス回路
２０ ＮＲ部
２１ ラインメモリ
２２ 飽和判別回路
２３ ＬＰＦ回路
２４ エッジ量算出回路
２５ 異常点検出回路
２６ 混合係数算出回路
２７ 固定混合係数レジスタ
２８ａ、２８ｂ 第１、第２の演算器
２９ａ、２９ｂ 第１、第２のスイッチ
３０ 乗算器
ｄｐ 注目画素

Claims (14)

1. 受光面上に２次元状に配置される複数の画素それぞれの受光量に応じて生成される複数の画素信号によって構成される画像信号を生成する撮像素子から、前記画像信号を受信する受信部と、
   前記複数の画素を、順番に注目画素に指定する第１の指定部と、
   前記注目画素に対して所定の第１の位置の前記画素を第１の周囲画素に指定する第２の指定部と、
   前記注目画素および前記第１の周囲画素に対応する注目画素信号および前記第１の周囲画素信号の信号強度の平均値を算出することにより一次ノイズ除去信号を生成する平均化算出部と、
   前記注目画素信号および前記第１の周囲画素信号に基づいて、前記注目画素および前記第１の周囲画素によって形成される領域において受光される光学像に含まれる輪郭の量であるエッジ量を算出するエッジ量算出部と、
   前記エッジ量に基づいて、前記エッジ量が大きくなるほど大きくなるように第１の係数ｋ（０＜ｋ≦１）を決定する係数決定部と、
   前記第１の係数ｋを乗じられた前記一次ノイズ除去信号と、（１−ｋ）を乗じられた前記注目画素信号とを合計することにより、前記注目画素に対応する最終ノイズ除去信号を生成する合成部とを備える
   ことを特徴とするノイズ除去システム。
2. 前記エッジ量算出部は、前記注目画素信号および前記第１の周囲画素信号の信号強度を標本とした標本分散を前記エッジ量として算出することを特徴とする請求項１に記載のノイズ除去システム。
3. 前記一次ノイズ除去信号の生成において、前記注目画素信号および前記第１の周囲画素信号の信号強度それぞれに定められた重み付け係数を乗じることにより加重平均値が前記一次ノイズ除去信号として生成されることを特徴とする請求項１に記載のノイズ除去システム。
4. 前記エッジ量算出部は、前記注目画素信号および前記第１の周囲画素信号の信号強度を標本とし、相加平均値の代わりに前記加重平均値を用いた標本分散を前記エッジ量として算出することを特徴とする請求項３に記載のノイズ除去システム。
5. 前記係数決定部は、前記エッジ量が第１の閾値未満である場合に、前記第１の係数ｋを１に決定することを特徴とする請求項１〜請求項４のいずれか１項に記載のノイズ除去システム。
6. 前記第１の閾値は、（（２＾ｎ−１）×σ））＾２（ｎは前記係数決定部のビット数、σは前記画像信号に前記撮像素子において混入するノイズの実測値の分散量）に定められることを特徴とする請求項５に記載のノイズ除去システム。
7. 前記係数決定部は、前記エッジ量Ｅｇが前記第１の閾値を超え且つ第２の閾値未満である場合に、前記第１の係数ｋを（１）式により算出した値に決定することを特徴とする請求項６に記載のノイズ除去システム。
   

   

   （１）式におけるＤ１、Ｄ２はそれぞれ前記第１、第２の閾値であり、ｋ１、ｋ２は（２）式により定められる定数である。
   

   
8. 前記係数決定部は、前記エッジ量Ｅｇが前記第２の閾値を超える場合に、前記第１の係数ｋを（３）により算出した値に決定することを特徴とする請求項７に記載のノイズ除去システム。
   

   
9. ｋ２は、０．１×ｋ１〜０．２×ｋ１に定められることを特徴とする請求項７または請求項８に記載のノイズ除去システム。
10. 前記第２の閾値Ｄ２は、９×Ｄ１に定められることを特徴とする請求項７〜請求項９のいずれか１項に記載のノイズ除去システム。
11. 前記係数決定部は、前記エッジ量が前記第１の閾値を超える場合に、前記第１の係数ｋを（４）式により算出した値に決定することを特徴とする請求項６に記載のノイズ除去システム。
    

    
12. 前記エッジ量がノイズ判別閾値より小さく、かつ前記注目画素信号の信号強度が前記注目画素に対して所定の第２の位置の前記画素である第２の周囲画素の前記画素信号である第２の周囲画素信号および前記注目画素信号の信号強度の最大値または最小値である場合に、前記係数決定部は前記第１の係数ｋを１に決定することを特徴とする請求項１〜請求項１１のいずれか１項に記載のノイズ除去システム。
13. 前記ノイズ判別閾値は、（３×（２＾ｎ−１）×σ））＾２（ｎは前記係数決定部のビット数、σは前記ノイズ除去システムで測定されるノイズの分散量）に定められることを特徴とする請求項１２に記載のノイズ除去システム。
14. 受光面上に２次元状に配置される複数の画素それぞれの受光量に応じて生成される複数の画素信号によって構成される画像信号を生成する撮像素子と、
    前記複数の画素を、順番に注目画素に指定する第１の指定部と、
    前記注目画素に対して所定の第１の位置の前記画素を第１の周囲画素に指定する第２の指定部と、
    前記注目画素および前記第１の周囲画素に対応する注目画素信号および前記第１の周囲画素信号の信号強度の平均値を算出することにより一次ノイズ除去信号を生成する平均化算出部と、
    前記注目画素信号および前記第１の周囲画素信号に基づいて、前記注目画素および前記第１の周囲画素によって形成される領域において受光される光学像に含まれる輪郭の量であるエッジ量を算出するエッジ量算出部と、
    前記エッジ量に基づいて、前記エッジ量が大きくなるほど大きくなる第１の係数ｋ（０＜ｋ≦１）を決定する係数決定部と、
    前記第１の係数ｋを乗じられた前記一次ノイズ除去信号と、（１−ｋ）を乗じられた前記注目画素信号とを合計することにより、前記注目画素に対応する最終ノイズ除去信号を生成する合成部とを備える
    ことを特徴とする撮像装置。

Images