JP2011101359A - イメージセンサの統合ノイズモデリング方法及びそれを利用するノイズ低減方法 - Google Patents

Abstract

【課題】イメージセンサの統合ノイズモデリング方法及びそれを利用するノイズ低減方法を提供すること。
【解決手段】イメージセンサ１００より提供されるバイヤー領域信号（ＢＳ）の暗電流ノイズモデル、ショットノイズモデル及び固定パターンノイズモデルを含む複数のノイズモデルをモデリング部（３２０）において各々設定して、設定された複数のノイズモデルに基づいて統合ノイズ水準（ＳＩＮＴ）を決定する。バイヤー領域における多様なノイズ特性を反映した正確なノイズモデリングによって、ノイズフィルタリングを効率的に行うことができる。
【選択図】図１

Description

本発明はイメージセンサに関し、より詳細には、イメージセンサの多様なノイズを反映する統合ノイズモデリング方法及びそれを利用するノイズ低減方法に関する。

イメージセンサから取得された映像は、多様な性質のノイズを含む。近年イメージセンサを含むデジタルカメラ、カメラフォンなどの携帯用映像撮影装置が普及する一方、さらに小型の映像撮影装置に対する要求が高まっている。しかし、これらに必要な高集積度のイメージセンサは、従来より多くのノイズを発生する。従って、イメージセンサから発生するノイズを除去する技術に対する必要性がより一層高まっている。

多くの従来の映像ノイズ除去技術では、映像のノイズは、映像の輝度（ｂｒｉｇｈｔｎｅｓｓ）に関連して固定された標準偏差を有する加算白色ガウスノイズ（ＡＷＧＮ：Ａｄｄｉｔｉｖｅ Ｗｈｉｔｅ Ｇａｕｓｓｉａｎ Ｎｏｉｓｅ）と推定される。しかし、イメージセンサから取得された実際の映像は、映像の輝度または強度（ｉｎｔｅｎｓｉｔｙ）に依存するノイズを含み、標準偏差を有する加算白色ガウスノイズとは異なる。従って、固定された標準偏差を有する加算白色ガウスノイズ推定に基づく大部分の従来の映像ノイズ除去方法は、イメージセンサから取得された実際の映像に対してその効果が微小である。イメージセンサのノイズ特性のモデリングを基にする従来の方法は、まだ多くの研究がなされていないし、イメージセンサのノイズソースの中でショットノイズ（ｓｈｏｔ ｎｏｉｓｅ）のみをモデリングするに留まっているのが実情である。従来の映像ノイズ除去技術では多様なノイズ特性を十分に反映できず、イメージセンサから取得された映像のノイズを効果的に除去することができないという問題点がある。

特開２００６−０４１６８７号公報 国際公開第２００６／０４３５６３号 韓国公開特許第２００９−００２０９１７号公報 特開２００９−１０５９６６号公報

前記のような問題点を解決するための本発明の一目的はイメージセンサの多様なノイズを反映する統合ノイズモデリング方法を提供することである。

本発明の他の目的は、前記統合ノイズモデリング方法を利用して映像に含まれたノイズを効率的にフィルタリングできるノイズ低減方法を提供することである。

前記一目的を達成するために、本発明の一実施形態に係るイメージセンサの統合ノイズモデリング方法において、イメージセンサから提供されるバイヤー領域信号の暗電流ノイズモデル（ｄａｒｋ ｃｕｒｒｅｎｔ ｎｏｉｓｅ ｍｏｄｅｌ）、ショットノイズモデル（ｓｈｏｔ ｎｏｉｓｅ ｍｏｄｅｌ）及び固定パターンノイズモデル（ｆｉｘｅｄ Ｐａｔｔｅｒｎ ｎｏｉｓｅ ｍｏｄｅｌ）を含む複数のノイズモデルを各々設定する。前記複数のノイズモデルに基づいて統合ノイズ水準を決める。

前記統合ノイズ水準は、前記イメージセンサの露出時間及び処理しようとするピクセルデータに依存することができる。前記暗電流ノイズモデル、前記ショットノイズモデル及び前記固定パターンノイズモデルのうち少なくとも一つは、前記バイヤー領域の色または前記イメージセンサの利得によって設定されることができる。

前記暗電流ノイズモデルは暗電流ノイズの標準偏差であり、前記暗電流ノイズの標準偏差は前記イメージセンサの露出時間の一次関数と設定され、前記ショットノイズモデルはショットノイズの標準偏差であり、前記ショットノイズの標準偏差は処理しようとするピクセルデータの一次関数と設定されて、前記固定パターンノイズモデルは固定パターンノイズの標準偏差であり、前記固定パターンノイズの標準偏差は処理しようとするピクセルデータの一次関数と設定されることができる。

前記統合ノイズモデリング方法は、前記バイヤー領域信号の暗電流ノイズの平均に相応する暗電流バイアスを設定する段階をさらに含み、処理しようとするピクセルデータが前記暗電流バイアスより小さい場合には前記暗電流ノイズモデルに基づいて前記統合ノイズ水準が決定され、前記処理しようとするピクセルデータが前記暗電流バイアスより大きかまたは同じである場合には前記ショットノイズモデル及び前記固定パターンノイズモデルに基づいて前記統合ノイズ水準が決定されることができる。

前記処理しようとするピクセルデータが前記暗電流バイアスより小さい場合、前記統合ノイズ水準はＳＩＮＴ（Ｌ、Ｔ）＝ＳＤ（Ｔ）によって計算され、前記処理しようとするピクセルデータが前記暗電流バイアスより大きいかまたは同じ場合であるには前記統合ノイズ水準はＳＩＮＴ（Ｌ、Ｔ）＝［ＳＳ^２（Ｌ）+ＳＦ^２（Ｌ）］^１／２によって計算されることができる。ここで、Ｌは前記処理しようとするピクセルデータ、Ｔは前記イメージセンサの露出時間、ＳＩＮＴは前記統合ノイズ水準、ＳＤは暗電流ノイズの標準偏差、ＳＳはショットノイズの標準偏差、ＳＦは固定パターンノイズの標準偏差である。

前記他の目的を達成するために、本発明の一実施形態に係るイメージセンサのノイズ低減方法であり、イメージセンサから提供されるバイヤー領域信号の暗電流ノイズモデル（ｄａｒｋ ｃｕｒｒｅｎｔ ｎｏｉｓｅ ｍｏｄｅｌ）、ショットノイズモデル（ｓｈｏｔ ｎｏｉｓｅ ｍｏｄｅｌ）及び固定パターンノイズモデル（ｆｉｘｅｄ ｐａｔｔｅｒｎ ｎｏｉｓｅ ｍｏｄｅｌ）を含む複数のノイズモデルを各々設定する。前記複数のノイズモデルに基づいて統合ノイズ水準を決める。前記統合ノイズ水準に基づいて前記イメージセンサから提供されるバイヤー領域のフレームデータをフィルタリングする。

前記複数のノイズモデルを各々設定する段階は、前記複数のノイズモデルをそれぞれの関数に設定する段階並びに前記イメージセンサの利得及び前記バイヤー領域の色別に前記関数を現わす係数値を保存装置にルックアップテーブルとして保存する段階を含むことができる。

前記統合ノイズ水準を決める段階は、前記イメージセンサの利得及び処理しようとするピクセルデータの色に相応する前記係数値を前記ルックアップテーブルから抽出する段階、並びに前記イメージセンサの露出時間、処理しようとするピクセルデータ、及び前記抽出された係数値に基づいて前記統合ノイズ水準を計算する段階を含むことができる。
前記バイヤー領域のフレームデータをフィルタリングする段階は、下記の式によって行うことができる。

ここで、ＳＩＮＴは前記統合ノイズ水準、Ｐｃは現在の処理しようとするピクセルの位置、Ｌｃは前記現在の処理しようとするピクセルのデータ、ＦＬｃはフィルタリングされたピクセルデータ、Ｌｉｊは周囲ピクセルのデータ、Ｓｉｊは周囲ピクセルの位置と前記処理しようとするピクセルの位置に依存する第１加重値関数、Ｒｉｊは前記周囲ピクセルのデータと前記現在の処理しようとするピクセルのデータに依存する第２加重値関数である。

前記第２加重値関数は、下記の式によって計算されることができる。

ここで、Ｔは前記イメージセンサの露出時間である。

前記のような本発明の実施形態に係る統合ノイズモデリング方法及びそれを利用するノイズ低減方法は、バイヤー領域信号に対してノイズモデリングを行い、バイヤー領域でノイズフィルタリングを行うことによって、正確なノイズモデリングが可能で映像に含まれたノイズを効率的に減少させることができる。

また、本発明の実施形態に係る統合ノイズモデリング方法は、暗電流ノイズ、ショットノイズ及び固定パターンノイズを全部反映するノイズモデルを提供することによって、映像の輝度が小さい場合から大きい場合まで広い範囲の輝度に対し正確なノイズフィルタリングを行うことができる。

また、本発明の実施形態に係る統合ノイズモデルは、入力映像ごとに算出される必要がなく、少ないメモリ容量を使用するルックアップテーブル（ＬＵＴ）形態により映像撮影装置に適用が可能である。このような統合ノイズモデルに基づいて簡単な演算を行うことによって、効率的なノイズフィルタリングを行うことができる。

本発明の一実施形態に係る画像撮影装置を示すブロック図である。 本発明の一実施形態に係るイメージセンサのノイズ低減方法を示すフローチャートである。 本発明の一実施形態に係る統合ノイズモデリングのための暗電流ノイズモデルの一例を示すグラフである。 本発明の一実施形態に係る統合ノイズモデリングのための暗電流バイアスの一例を示すグラフである。 本発明の一実施形態に係る統合ノイズモデリングのためのカラーチェッカーの一例を示す図面である。 本発明の一実施形態に係る統合ノイズモデリングのためのショットノイズモデルの一例を示すグラフである。 イメージセンサのピクセルの応答特性を示すグラフである。 本発明の一実施形態に係る統合ノイズモデリングのための固定パターンノイズモデルの一例を示すグラフである。 イメージセンサの利得にともなう統合ノイズ水準を示すグラフである。 イメージセンサの利得にともなう統合ノイズ水準を示すグラフである。 イメージセンサの利得にともなう統合ノイズ水準を示すグラフである。 図１のノイズ低減回路に含まれたモデリング部の一例を示すブロック図である。 図１のノイズ低減回路に含まれたノイズフィルタの一例を示すブロック図である。 本発明の一実施形態にともなうノイズ低減方法で使われるフィルタカーネルの一例を示す図面である。

本明細書に開示されている本発明の実施形態に対して、特定の構造的ないし機能的説明は、単に本発明の実施形態を説明するための目的で例示されたものであり、本発明の実施形態は多様な形態で実施することができ、本明細書に説明された実施形態に限定されるものではない。

本発明は多様な変更を加えることができ、種々の形態を有することができるが、特定の実施形態を図面に例示して本明細書に詳細に説明する。しかし、これは本発明を特定の開示形態に限定するものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし代替物を含むと理解するべきである。

本明細書において、第１、第２等の用語は多様な構成要素を説明するために使用することができるが、これらの構成要素がこのような用語によって限定されるものではなく、用語は一つの構成要素を他の構成要素から区別する目的で使われる。

ある構成要素が他の構成要素に「連結されて」いる、または「接続されて」いると言及された場合には、その他の構成要素に直接的に連結されていたり、接続されていることも意味するが、中間に他の構成要素が存在する場合も含むと理解するべきである。一方、ある構成要素が他の構成要素に「直接連結されて」いる、または「直接接続されて」いると言及された場合には、中間に他の構成要素が存在しないと理解すべきである。構成要素の間の関係を説明する他の表現、すなわち「〜間に」と「すぐに〜間に」または「〜に隣接する」と「〜に直接隣接する」等も同じように解釈すべきである。

本明細書で使用した用語は単に特定の実施形態を説明するために使用したもので、本発明を限定するものではない。単数の表現は文脈上明白に異なるように意味しない限り、複数の表現を含む。本明細書で、「含む」または「有する」等の用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品または、これを組み合わせたのが存在するということを示すものであって、一つまたは、それ以上の他の特徴や数字、段階、動作、構成要素、部品または、これを組み合わせたものなどの存在または、付加の可能性を、予め排除するわけではない。

また、特に定義しない限り、技術的或いは科学的用語を含み、本明細書中において使用される全ての用語は本発明が属する技術分野で通常の知識を有する者であれば、一般的に理解するのと同一の意味を有する。一般的に使用される辞書において定義する用語と同じ用語は関連技術の文脈上に有する意味と一致する意味を有するものと理解すべきで、本明細書において明白に定義しない限り、理想的或いは形式的な意味として解釈すべきではない。

以下、添付図面を参照して、本発明の望ましい実施形態をより詳細に説明する。図面上の同一構成要素に対しては同一参照符号を使用し、同一構成要素に対して重複した説明は省略する。

図１は本発明の一実施形態に係る画像撮影装置を示すブロック図である。

図１を参照すれば、画像撮影装置１０はイメージセンサ（ｉｍａｇｅ ｓｅｎｓｏｒ）１００、ノイズ低減回路（ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ ｃｉｒｃｕｉｔ）３００、及び後処理回路（Ｐｏｓｔ−Ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔ）５００を含んで具現されることができる。

イメージセンサ１００は入射光（ｉｎｃｉｄｅｎｔ ｌｉｇｈｔ）を感知して、当該入射光をイメージセンサ１００のカラーフィルタアレイ（Ｃｏｌｏｒ Ｆｉｌｔｅｒ Ａｒｒａｙ、ＣＦＡ）に対応する電気的信号に変換することにより、画像をキャプチャーする。図１４を参照して後述するように、カラーフィルタアレイはバイヤーフィルタ（Ｂａｙｅｒ ｆｉｌｔｅｒ）であり、イメージセンサ１００は、バイヤー領域信号（Ｂａｙｅｒ ｄｏｍａｉｎ ｓｉｇｎａｌ、ＢＳ）を出力できる。イメージセンサ１００は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）タイプ、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）タイプなどのセンサでありうる。

ノイズ低減回路３００は、モデリング部（ｍｏｄｅｌｉｎｇ ｕｎｉｔ）３２０及びノイズフィルタ（ｎｏｉｓｅ ｆｉｌｔｅｒ）３４０を含む。モデリング部３２０は、イメージセンサ１００から伝達されるバイヤー領域信号（ＢＳ）に基づいて、暗電流ノイズモデル（ｄａｒｋ ｃｕｒｒｅｎｔ ｎｏｉｓｅ ｍｏｄｅｌ）、ショットノイズモデル（ｓｈｏｔ ｎｏｉｓｅ ｍｏｄｅｌ）、及び固定パターンノイズモデル（ｆｉｘｅｄ ｐａｔｔｅｒｎ ｎｏｉｓｅ ｍｏｄｅｌ）を含む、複数のノイズモデルを各々設定して、設定された複数のノイズモデルに基づいて統合ノイズ水準（ｉｎｔｅｇｒａｔｅｄ ｎｏｉｓｅ ｌｅｖｅｌ）（ＳＩＮＴ）を決める。ノイズフィルタ３４０は、モデリング部３２０から伝達される統合ノイズ水準（ＳＩＮＴ）に基づいてイメージセンサ１００から提供されるフレームデータのバイヤー領域信号（ＢＳ）をフィルタリングし、フィルタリングされたバイヤー領域信号（ＦＢＳ）を出力する。

後処理回路５００は、デモザイキングユニット（ｄｅ−ｍｏｓａｉｃｉｎｇ ｕｎｉｔ）５１０、ホワイトバランスユニット（ｗｈｉｔｅ ｂａｌａｎｃｉｎｇ ｕｎｉｔ）５２０及びガンマ補正ユニット（ｇａｍｍａ ｃｏｒｒｅｃｔｉｏｎ ｕｎｉｔ）５３０を含むことができる。後処理回路５００は、フィルタリングされたバイヤー領域信号（ＦＢＳ）を受信し、デモザイキングユニット５１０、ホワイトバランスユニット５２０、及びガンマ補正ユニット５３０を利用して、フィルタリングされたバイヤー領域信号（ＦＢＳ）を処理することによって画像領域信号（ＤＳ）を出力する。フィルタリングされたバイヤー領域信号（ＦＢＳ）は、後処理回路５００を経て、ＲＧＢデータ信号などと同じくディスプレー装置の入力として適した画像領域信号（ＤＳ）に変換される。

従来のノイズモデリング方法は、一般的に後処理過程を経た画像領域信号に基づいてノイズ特性をモデリングする。この場合、デモザイキング、ホワイトバランス、ガンマ補正などの後処理過程を経た、イメージセンサ１００から出力されたバイヤー領域信号（ＢＳ）に含まれたノイズは空間的相関性を有することとなり、画像領域信号は非線形性を含み、歪曲される。従って、後処理過程を経た画像領域信号に基づいてノイズモデリングを行うことは、正確なノイズ特性を把握することを困難とし、効果的にノイズを除去できない。本発明の実施形態に係る統合ノイズモデリング及びノイズフィルタリングを行うために、ノイズ低減回路３００は後処理過程を実行する前にバイヤー領域に基づいてノイズモデリングを行い、その後ノイズフィルタリングを行うことによって、正確なノイズモデリングが可能となり、画像に含まれたノイズを効率的に減少させることができる。

従来のノイズモデリング方法は、画像撮影装置の後処理過程において画像ノイズ特性が歪曲されるため、正確なイメージセンサノイズモデルを得ることができないのみならず、画像撮影装置が画像を撮影する度にイメージセンサのノイズモデルを算出しなければならない。この場合、高い計算量及び大容量のメモリを要求するので、小型化及びはやい動作が要求される携帯用画像撮影装置などへの適用が困難である。これとは異なり、本発明の実施形態により取得される統合ノイズモデルは、入力画像に依存せず使用でき、相対的に少ないメモリ容量を使用するルックアップテーブル（ＬＵＴ）という形態により画像撮影装置に実装が可能である。したがって、このような統合ノイズモデルに基づいてフィルタリングに必要となる演算を減少できるため、画像に含まれた多様なノイズを効率的にフィルタリングすることができる。

図２は本発明の一実施形態に係るイメージセンサのノイズ低減方法を示すフローチャートである。

図２を参照すれば、まず、イメージセンサから提供されるバイヤー領域信号の複数のノイズモデルが各々設定される（ステップＳ１００）。複数のノイズモデルは、少なくとも暗電流ノイズモデル、ショットノイズモデル及び固定パターンノイズモデルを含むことができる。複数のノイズモデルは、それぞれの関数として設定されることができ、イメージセンサの利得及びバイヤー領域の色別に当該関数を示す係数値を求めることにより、ノイズモデルを設定することができる。各ノイズモデルの設定に対しては、図３〜図８の実施形態を参照して後述する。前記係数値は、保存装置にルックアップテーブル（ＬＵＴ）として保存されることができ、保存された値を読み出すことにより、ノイズフィルタリングに利用できる。

次に、設定された複数のノイズモデルに基づいて、統合ノイズ水準（ＳＩＮＴ）を決定する（ステップＳ２００）。統合ノイズ水準（ＳＩＮＴ）は、イメージセンサの露出時間（ｅｘｐｏｓｕｒｅ ｔｉｍｅ）及び処理しようとするピクセルデータに依存するようにしてもよい。暗電流ノイズモデル、ショットノイズモデル及び固定パターンノイズモデルのうち少なくとも一つは、バイヤー領域の色によって設定されることができ、この場合、結果的に統合ノイズ水準（ＳＩＮＴ）はバイヤー領域の色により決定されうる。

次に、統合ノイズ水準（ＳＩＮＴ）が決定された後、統合ノイズ水準（ＳＩＮＴ）に基づいて、イメージセンサ１００から提供されるバイヤー領域のフレームデータがフィルタリングされる（ステップＳ３００）。後述するように、ピクセル位置に基づく加重値及びピクセルデータ基盤の加重値を共に適用することにより、フィルタリングが実行されうる。また、ピクセルデータに基づく加重値を計算するために、統合ノイズ水準（ＳＩＮＴ）が利用されうる。

このように本発明の実施形態に係る統合ノイズモデリング方法は、暗電流ノイズ、ショットノイズ及び固定パターンノイズ全てを反映するノイズモデルを提供することによって、画像の輝度が小さい場合から大きい場合まで広範囲の輝度に対して正確なノイズフィルタリングを行うことができる。

図３は本発明の一実施形態に係る統合ノイズモデリングのための暗電流ノイズモデルの一例を示すグラフであり、図４は本発明の一実施形態に係る統合ノイズモデリングのための暗電流バイアスの一例を示すグラフである。

暗電流ノイズは、イメージセンサ内の暗電流によって発生するノイズである。イメージセンサがキャプチャーする画像の輝度または強度が０である場合には、理想的にイメージセンサの出力信号値は０でなければならないが、暗電流によってイメージセンサの信号値が０ではなくなって、暗電流ノイズとして発現する。

暗電流ノイズモデル（ｎＤ）は、ｎＤ〜Ｎ（Ｄｂｉａｓ、ＳＤ^２（Ｔ））（Ｄｂｉａｓは暗電流バイアス、ＳＤ（Ｔ）は露出時間（Ｔ）を変数とする標準偏差、ＳＤ^２（Ｔ）は露出時間（Ｔ）を変数とする分散）、すなわち、イメージセンサの露出時間（Ｔ）による分散（ＳＤ^２）を有し、暗電流バイアス（Ｄｂｉａｓ）を平均値として有するガウスノイズである。例えば、暗電流ノイズの標準偏差（ＳＤ）を求めるために、画像撮影装置のレンズキャップを閉じて暗室で撮影するなどの条件を整えて、イメージセンサに光が入ることを防止した状態で、露出時間（Ｔ）におけるバイヤー領域の暗黒画像を撮影する。各暗黒画像は、複数のピクセルデータから構成される。このようなバイヤー領域の暗黒画像の各々に対し、各暗黒画像を構成するピクセルデータの平均値及び標準偏差を求める。その後、露出時間（Ｔ）に対応する各標準偏差に基づいて、線形回帰分析により、標準偏差の線形関数を求める。このように求められた所定の露出時間における暗黒画像の各標準偏差は図３の小さい円として表示され、線形回帰分析の結果得られた一次関数は、図３の直線により表示されている。このような方式で求めた一次関数の任意の点（Ｑ１）は、露出時間（Ｔ）に対応する暗電流ノイズの標準偏差（ＳＤ（Ｔ））を示す。

このように、暗電流ノイズモデルは暗電流ノイズの標準偏差（ＳＤ）であり、暗電流ノイズの標準偏差（ＳＤ）は、式（１）に示されるようにイメージセンサの露出時間（Ｔ）の一次関数（ＳＤ（Ｔ））として表現されうる。

結果的に、式（１）の係数値（ｃ１、ｃ２）を求めることによって暗電流ノイズモデルが設定されうる。暗電流ノイズ特性は、イメージセンサの利得（ｇａｉｎ）または感度（ｓｅｎｓｉｔｉｖｉｔｙ）によって変化させることができ、この場合、係数値（ｃ１、ｃ２）はイメージセンサの利得により各々設定されうる。また、暗電流ノイズ特性は、バイヤー領域の色によって変化させることができ、この場合の係数値（ｃ１、ｃ２）はバイヤー領域の色により各々設定させうる。例えば、バイヤー領域のパターン（Ｂａｙｅｒ Ｐａｔｔｅｒｎ）及び色別カーネル（ｃｏｌｏｒ ｋｅｒｎｅｌ）が図１４と同じ場合には、各色相（Ｒ、Ｇｒ、Ｂ、Ｇｂ）ごとに互いに異なる係数値（ｃ１、ｃ２）が設定されてもよい。

図４に示されるように、上述した方法で求めた所定の露出時間における暗黒画像の各々に対するピクセルデータの平均値が小さい円として表示されていて、露出時間に関係なく、ほとんど一定の値であることが分かる。このようなバイヤー領域信号のピクセルデータすなわち暗電流ノイズの平均に相応する暗電流バイアス（Ｄｂｉａｓ）は、後述するように統合ノイズレベル（ＳＩＮＴ）の決定に利用されうる。

図５は本発明の一実施形態に係る統合ノイズモデリングのためのカラーチェッカー（ｃｏｌｏｒ ｃｈｅｃｋｅｒ）の一例を示す図面であり、図６は本発明の一実施形態に係る統合ノイズモデリングのためのショットノイズモデルの一例を示すグラフである。

ショットノイズはイメージセンサに入ってくる光子が本質的に均一でなく、変動を伴って発生するノイズである。本発明の一実施形態では、ショットノイズモデル（ｎＳ）は、ｎＳ〜Ｎ（０、ＳＳ^２（Ｌ））（ＳＳ（Ｌ）はピクセルデータ（Ｌ）を変数とする標準偏差、ＳＳ^２（Ｌ）はピクセルデータ（Ｌ）を変数とする分散）、すなわち、処理しようとするピクセルデータ（Ｌ）に対応する分散（ＳＳ^２）を有し、０（ゼロ）を平均値として有するガウスノイズと設定されうる。例えば、ショットノイズの標準偏差（ＳＳ）を求めるために、まず画像撮影装置を利用して、図５のようなカラーチェッカーを撮影する。カラーチェッカーは商業的に販売される任意のカラーチェッカーでよい。図５には、それぞれの色相が具現された２４個のパッチを含むカラーチェッカーが図示されている。カラーチェッカー内の各パッチの画像に対し１セットのピクセルデータを取得し、各ピクセルデータのセットの平均及び標準偏差を求める。そして各パッチに対する標準偏差に基づいて、線形回帰分析により、標準偏差の線形関数を求める。このような方法により求めた各パッチごとの標準偏差は、図６の小さい十字で表示され、線形回帰分析を通じて得た一次関数は図６の直線として表示されている。このような方式により求めた一次関数の任意の点（Ｑ２）は、所定のピクセルデータ（Ｌ）に対応するショットノイズの標準偏差（ＳＳ（Ｌ））を示す。

このように、ショットノイズモデルはショットノイズの標準偏差（ＳＳ）であり、ショットノイズの標準偏差（ＳＳ）は、式（２）に示されるように処理しようとするピクセルデータ（Ｌ）の一次関数として表現されうる。

結果的に、式（２）の係数値（ｃ３、ｃ４）を求めることによってショットノイズモデルが設定されうる。ショットノイズ特性は、イメージセンサの利得または感度によって変化させることができ、この場合、係数値（ｃ３、ｃ４）はイメージセンサの利得によって各々設定されうる。

図７はイメージセンサのピクセルの応答特性を示すグラフ、図８は本発明の一実施形態に係る統合ノイズモデリングのための固定パターンノイズモデルの一例を示すグラフである。

固定パターンノイズは、イメージセンサ内のそれぞれのピクセルが互いに異なる応答特性を有するために発生するノイズである。従って、固定パターンノイズは、画像の輝度が大きい場合に他のノイズに比べて、さらに主要なノイズとなる。国際標準のＩＳＯ １５７３９による画像シーケンスの平均を取る方式を利用して、式（３）に示されるように特定画像の明度値に該当する固定パターンノイズの標準偏差（σ_ｆＰ）を求める。

式（３）において、σ^２ _ａｖｅは画像シーケンスを平均して得られる平均画像の分散であり、σ^２ _ｄｉｆｆは画像シーケンスの平均画像と画像シーケンスの各画像との差に該当する差画像から計算される分散の平均値である。上述した通り、固定パターンノイズは、ピクセルごとの応答特性の差によって発生する。図７には、イメージセンサのピクセル応答特性を調査するために、イメージセンサのピクセルのうちのいずれかの５つのピクセル（Ｐｉｘｅｌ１、Ｐｉｘｅｌ２、Ｐｉｘｅｌ３、Ｐｉｘｅｌ４、Ｐｉｘｅｌ５）を選択して、所定の露出時間におけるピクセル応答を測定した結果が図示される。図７に示されるように、ピクセル応答は、露出時間に対応する線形特性を有する。従って本発明の一実施形態で、バイヤー領域でのピクセルデータ（Ｌ）に対応する固定パターンノイズモデルを得るために、図８のように一つの特定の輝度（Ｌ_Ｑ）に対してＩＳＯ １５７３９に規定の式（３）と同じ方法により、固定パターンノイズの標準偏差（ＳＦ_Ｑ）を計算して一つの点（Ｑ３）を取得できる。図８に図示されたように、取得された点（Ｑ３）と原点を通り過ぎる図８の直線を利用して、バイヤー領域のピクセルデータ（Ｌ）による固定パターンノイズの一次関数を手に入れることができる。このような方式で求めた一次関数の任意の点（Ｑ４）は、ピクセルデータ（Ｌ）に対応する固定パターンノイズの標準偏差（ＳＦ（Ｌ））を示す。

このように、固定パターンノイズモデルは固定パターンノイズの標準偏差（ＳＦ）であり、固定パターンノイズの標準偏差（ＳＦ）は、式（４）に示されるように処理しようとするピクセルデータ（Ｌ）の一次関数として表現されうる。

結果的に、式（４）の係数値（ｃ５）を求めることによって固定パターンノイズモデルが設定されうる。固定パターンノイズ特性は、イメージセンサの利得または感度により変化させることができ、この場合係数値（ｃ５）は、イメージセンサの利得により各々設定されうる。また、固定パターンノイズ特性は、バイヤー領域の色により変化させることができ、この場合係数値（ｃ５）は、バイヤー領域の色により各々設定されうる。例えば、バイヤー領域のパターン及び色別カーネルが図１４のような場合、各色相（Ｒ、Ｇｒ、Ｂ、Ｇｂ）ごとに互いに異なる係数値（ｃ５）が設定されうる。

図３〜図８を参照して、暗電流ノイズモデル、ショットノイズモデル及び固定パターンノイズモデルを一次関数に設定する実施形態を説明したが、実施形態に従って、一次関数以外の関数に設定することもできる。各モデルを一次関数に設定する場合には、ノイズフィルタリングのための演算が単純になり、演算のための処理が減少し、高集積化及び小型化が要求される携帯用装置に適する。

複数のノイズモデルが設定される場合、設定された複数のノイズモデルに基づいて統合ノイズ水準を決定する。

例えば、処理しようとするピクセルデータ（Ｌ）が、図４を参照して説明した暗電流バイアス（Ｄｂｉａｓ）より小さい場合には、暗電流ノイズモデルに基づいて統合ノイズ水準（ＳＩＮＴ）が決定される。または、処理しようとするピクセルデータ（Ｌ）が暗電流バイアス（Ｄｂｉａｓ）より大きいかまたは同じである場合には、ショットノイズモデル及び固定パターンノイズモデルに基づいて統合ノイズ水準（ＳＩＮＴ）が決定されうる。

一実施形態において、統合ノイズ水準（ＳＩＮＴ）は暗電流ノイズモデル、ショットノイズモデル、固定パターンノイズモデルを利用して、式（５）のように決定されうる。

式（５）に示したように、バイヤー領域でのピクセルデータ（Ｌ）が暗電流バイアス（Ｄｂｉａｓ）より小さければ、専ら暗電流ノイズを示す暗電流バイアス（ＳＤ（Ｔ））のみが、統合ノイズの標準偏差すなわち統合ノイズ水準（ＳＩＮＴ）と決定され、反対にバイヤー領域でのピクセルデータ（Ｌ）が暗電流バイアス（Ｄｂｉａｓ）より大きかまたは同じであれば、ショットノイズの分散（ＳＳ^２）と固定パターンノイズの分散（ＳＦ^２）を加えたものが統合ノイズの分散（ＳＩＮＴ^２）になる。この時、暗電流ノイズの分散を付加しない理由は、強度が高いまたはピクセルデータが大きい場合、測定されたショットノイズが暗電流ノイズを含んでいるためである。

このように、本発明の実施形態に係る統合ノイズモデリング方法は、バイヤー領域の信号に対してノイズモデリングを行って正確なノイズモデリングが可能であるのみならず、暗電流ノイズ、ショットノイズ及び固定パターンノイズを全て反映できるノイズモデルを提供することによって、画像の輝度が小さい場合から大きい場合まで広い範囲の輝度に対し正確なノイズフィルタリングを行うことができる。

図９、図１０、及び図１１はイメージセンサの利得に対応する統合ノイズ水準を示すグラフである。

図９にはイメージセンサの利得がｇの場合に対して、図１０にはイメージセンサの利得が２ｇの場合に対して、図１１はイメージセンサの利得が４ｇの場合に対して、バイヤー領域の各色相（Ｒ、Ｇｒ、Ｂ、Ｇｂ）ごとに設定された統合ノイズ水準（ＳＩＮＴ）が図示されている。各色相による統合ノイズ水準（ＳＩＮＴ）は、四つの曲線として表示されている。横軸の光の強さ（ＩＮＴＥＮＳＩＴＹ）はイメージセンサのカウンターなどから出力される、処理しようとするピクセルデータ（Ｌ）のデジタル値に対応し、縦軸は統合ノイズの標準偏差、すなわち統合ノイズ水準（ＳＩＮＴ）に対応する。ピクセルデータ（Ｌ）が暗電流バイアス（Ｄｂｉａｓ）より小さい場合には、上述した通り統合ノイズ水準（ＳＩＮＴ）は、ピクセルデータ（Ｌ）に関係なく露出時間（Ｔ）の関数として表現されうる。ピクセルデータ（Ｌ）が暗電流バイアス（Ｄｂｉａｓ）より大きい場合には、統合ノイズ水準（ＳＩＮＴ）は露出時間などのイメージセンサの設定値が変化してもほとんど同一であり、専らイメージセンサの利得、例えば、イメージセンサを含むカメラのＩＳＯ数値からのみ影響を受ける。従って、本発明の統合ノイズモデルは、一度設定されると入力画像が変化しても新たに設定する必要がなく、単にイメージセンサの利得によって設定された統合ノイズモデルをルックアップテーブル（ＬＵＴ）形態として常用の画像撮影装置に適用することができる。

図１２は、図１のノイズ低減回路に含まれたモデリング部の一例を示すブロック図である。

図１２を参照すれば、モデリング部３２０は、保存部３２１、第１ノイズ水準計算部３２３、第２ノイズ水準計算部３２４、比較器（ＣＯＭ）３２５、及び選択部（ＭＵＸ）３２６を含んで具現されうる。

保存部３２１は、本発明の実施形態によって設定された複数のノイズモデルに対応する値を保存するルックアップテーブル（ＬＵＴ）３２２を含み、モデル値の入出力のための回路を含むことができる。例えば、複数のノイズモデルに対応する値は、式（１）、式（２）、及び式（４）の係数値（ｃ１、ｃ２、ｃ３、ｃ４、ｃ５）と設定できる。保存部３２１は、イメージセンサの利得（Ｇ）及び現在処理しようとするピクセルデータ（Ｌｃ）の色を示すカラーインデックス（ＩＮＸ）を受信し、これに対応する係数値（ｃ１、ｃ２、ｃ３、ｃ４、ｃ５）を出力する。第１ノイズ水準計算部３２３は、イメージセンサの露出時間（Ｔ）及び暗電流ノイズモデルの係数値（ｃ１、ｃ２）を受信して、第１ノイズ水準（Ｓ１）を計算して出力する。第２ノイズ水準計算部３２４は、現在の処理しようとするピクセルデータ（Ｌｃ）及びショットノイズモデルと固定パターンノイズモデルの係数値（ｃ３、ｃ４、ｃ５）を受信して、第２ノイズ水準（Ｓ２）を計算して出力する。例えば、第１ノイズ水準計算部３２３及び第２ノイズ水準計算部３２４は、式（５）による計算を行って、第１ノイズ水準（Ｓ１）及び第２ノイズ水準（Ｓ２）を出力することができる。比較器３２５は、ピクセルデータ（Ｌｃ）と暗電流バイアス（Ｄｂｉａｓ）を比較して比較信号（ＣＭＰ）を発生する。例えば、比較信号（ＣＭＰ）は、ピクセルデータ（Ｌｃ）が暗電流バイアス（Ｄｂｉａｓ）より小さい場合には、第１論理レベル（例えば、論理ローレベル）を出力する。または、ピクセルデータ（Ｌｃ）が暗電流バイアス（Ｄｂｉａｓ）より大きいかまたは同じである場合には、第２論理レベル（例えば、論理ハイレバル）を出力する。選択部３２０は、比較信号（ＣＭＰ）からの出力を勘案し、第１ノイズ水準（Ｓ１）及び第２ノイズ水準（Ｓ２）のうちの一つを選択して、統合ノイズ水準（ＳＩＮＴ）として出力する。図１２と同じ構成のモデリング部３２０によって、上述した通り、処理しようとするピクセルデータ（Ｌｃ）が暗電流バイアス（Ｄｂｉａｓ）より小さい場合には暗電流ノイズモデルに基づいて前記統合ノイズ水準（ＳＩＮＴ）が決定され、処理しようとするピクセルデータ（Ｌｃ）が暗電流バイアス（Ｄｂｉａｓ）より大きいかまたは同じである場合にはショットノイズモデル及び固定パターンノイズモデルに基づいて統合ノイズ水準（ＳＩＮＴ）が決定されることができる。

図１３は、図１のノイズ低減回路に含まれたノイズフィルタの一例を示すブロック図である。

図１３を参照すれば、ノイズフィルタ３４０は、空間カーネル生成器３４２、レンジカーネル生成器３４４、及び計算器３４６を含むことができる。

空間カーネル生成器３４２は、処理されるべきピクセルの位置（Ｐｃ）及び周囲ピクセルの位置（Ｐｉｊ）に基づいて、空間的な相関性を示す第１加重値（Ｓｉｊ）を出力する。例えば、第１加重値（Ｓｉｊ）は、式（６）に示されるように、標準偏差（ＳＲ）を有するガウス関数を利用して計算されることができる。

式（６）の第１加重値（Ｓｉｊ）の標準偏差（ＳＲ）は、フィルタリングに使われる周囲ピクセルの個数及びノイズの程度によって決定されうる。

レンジカーネル生成器３４２は、処理されるべきピクセルデータ（Ｌｃ）及び周囲ピクセルのデータ（Ｌｉｊ）に基づいて、ピクセルデータ間の相関性を示す第２加重値（Ｒｉｊ）を出力する。第２加重値（Ｒｉｊ）は、ノイズの水準に従って隣接したピクセルのデータの差を反映するためである。従って、第２加重値（Ｒｉｊ）は、ノイズを除去しながらも画像に含まれた輪郭線を効果的に保存するための役割をする。

例えば、第２加重値（Ｓｉｊ）は、本発明の一実施形態によって決定された統合ノイズ水準（ＳＩＮＴ）を利用して式（７）のように計算されうる。

計算器３４６は、第１加重値（Ｓｉｊ）及び第２加重値（Ｒｉｊ）からの出力に基づいてノイズフィルタリングを行い、フィルタリングされたピクセルデータ（ＦＬｃ）を出力する。例えば、計算部３４６は、式（８）に示されるように、位置に基づく加重値とデータに基づく加重値を共に適用する、二元的なフィルタリング（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒｉｎｇ）を行うことができる。

上述した通り、統合ノイズ水準（ＳＩＮＴ）は、ピクセルデータ（Ｌｃ）と露出時間（Ｔ）の関数でもよく、ピクセルデータ（Ｌｃ）に対応するノイズ水準を適用することによって、より精密なノイズフィルタリングを行うことができる。

図１４は、本発明の一実施形態に係るノイズ低減方法で使われるフィルタカーネルの一例を示す図面である。

図１のイメージセンサ１００は、図１４に図示された通り、赤（Ｒ）画素と緑（Ｇｒ）画素が配置された行と、青（Ｂ）画素と緑（Ｇｂ）画素が配置された行が交互に配置されたバイヤーパターン４００のピクセルアレイ（図示せず）を含むことができ、入出力回路（図示せず）を通じてバイヤー領域信号（ＢＳ）を出力する。バイヤー領域信号（ＢＳ）は、行単位またはフレーム単位でイメージセンサ１００から出力されることができる。上述した通り、バイヤー領域のフレームデータのフィルタリングは、バイヤー領域の色相別に行われることができて、式（８）の計算に利用される周囲ピクセル（Ｐｉｊ、Ｌｉｊ）は、処理しようとするピクセル（Ｐｃ、Ｌｃ）と同じ色に属するピクセルを含むようにすることができる。すなわち、図１４に示された通り、各色相別にノイズフィルタリングのためのカーネル４１０、４２０、４３０、４４０が形成されうる。例えば、緑（Ｇｒ）カーネル４１０は、処理しようとするピクセルに該当する中心ピクセル４１１と、その他の周囲ピクセルから形成され、図１４には例えば３×３サイズのカーネルを図示したが、カーネルのサイズは実施形態によって変更できる。このような色相別ノイズフィルタリングのために、図９に図示した通り色相別に統合ノイズ水準（ＳＩＮＴ）が決定されうる。

一方、式（８）の計算で、周囲ピクセル（Ｐｉｊ、Ｌｉｊ）は、処理しようとする中心ピクセル（Ｐｃ、Ｌｃ）を含む事もでき、インパルスノイズの発生を防止するために含めないこともできる。

本発明の実施形態に係る統合ノイズモデリング方法及びそれを利用するノイズ低減方法は、バイヤー領域信号に対してノイズモデリングを用いてバイヤー領域でノイズフィルタリングを行って、暗電流ノイズ、ショットノイズ及び固定パターンノイズを全て反映できる統合ノイズモデルを提供する。従って、正確なノイズモデリングが可能であって、画像に含まれたノイズを効率的に減少させることができ、画像の輝度が小さい場合から大きい場合まで広い範囲の輝度に対し正確なノイズフィルタリングを行うことができる。

また、本発明の実施形態に係る統合ノイズモデルは、入力画像ごとに求められる必要がなくかつ少ないメモリ容量を使用するルックアップテーブル（ＬＵＴ）形態で画像撮影装置に適用することが可能であり、このような統合ノイズモデルに基づいて簡単な演算を行うことによって、効率的なノイズフィルタリングを行うことができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特徴請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

本発明はイメージセンサのノイズを効率的にフィルタリングするために利用され、特に高集積化及び小型化が要求される携帯用カメラ、カメラフォンなどのイメージセンサを含む装置に役立つように利用されることができる。

１０ 画像撮影装置、
１００ イメージセンサ、
３００ ノイズ低減回路、
３２０ モデリング部、
３４０ ノイズフィルタ、
５００ 後処理回路、
ＳＩＮＴ 統合ノイズ水準、
ＳＤ 暗電流ノイズ標準偏差、
Ｄｂｉａｓ 暗電流バイアス、
ＳＳ ショットノイズ標準偏差、
ＳＦ 固定パターンノイズ標準偏差。

Claims (10)

1. イメージセンサから提供されるバイヤー領域信号の暗電流ノイズモデル、ショットノイズモデル、及び固定パターンノイズモデルを含む複数のノイズモデルを各々設定するステップと、
   前記複数のノイズモデルに基づいて、統合ノイズ水準を決めるステップと、
   を含むイメージセンサの統合ノイズモデリング方法。
2. 前記統合ノイズ水準は、前記イメージセンサの露出時間及び処理しようとするピクセルデータに依存することを特徴とする請求項１に記載のイメージセンサの統合ノイズモデリング方法。
3. 前記暗電流ノイズモデル、前記ショットノイズモデル、及び前記固定パターンノイズモデルのうちの少なくとも一つは、前記バイヤー領域の色相または前記イメージセンサの利得に基づいて設定されることを特徴とする請求項１または２に記載のイメージセンサの統合ノイズモデリング方法。
4. 前記暗電流ノイズモデルは暗電流ノイズの標準偏差であり、前記暗電流ノイズの標準偏差は前記イメージセンサの露出時間の一次関数と設定され、
   前記ショットノイズモデルはショットノイズの標準偏差であり、前記ショットノイズの標準偏差は処理しようとするピクセルデータの一次関数と設定され、
   前記固定パターンノイズモデルは固定パターンノイズの標準偏差であり、前記固定パターンノイズの標準偏差は前記処理しようとするピクセルデータの一次関数と設定されることを特徴とする請求項１〜３のいずれか一項に記載のイメージセンサの統合ノイズモデリング方法。
5. 前記バイヤー領域信号の暗電流ノイズの平均に相応する暗電流バイアスを設定するステップをさらに含み、
   処理しようとするピクセルデータが前記暗電流バイアスより小さい場合、前記暗電流ノイズモデルに基づいて前記統合ノイズ水準が決定され、
   前記処理しようとするピクセルデータが前記暗電流バイアスより大きかまたは同じである場合、前記ショットノイズモデル及び前記固定パターンノイズモデルに基づいて前記統合ノイズ水準が決定されることを特徴とする請求項１〜４のいずれか一項に記載のイメージセンサの統合ノイズモデリング方法。
6. 前記処理しようとするピクセルデータが前記暗電流バイアスより小さい場合、前記統合ノイズ水準はＳＩＮＴ（Ｌ，Ｔ）＝ＳＤ（Ｔ）によって計算され、
   前記処理しようとするピクセルデータが前記暗電流バイアスより大きかまたは同じである場合には前記統合ノイズ水準はＳＩＮＴ（Ｌ，Ｔ）＝［ＳＳ^２（Ｌ）+ＳＦ^２（Ｌ）］^１／２によって計算され、
   ここで、Ｌは前記処理しようとするピクセルデータ、Ｔは前記イメージセンサの露出時間、ＳＩＮＴは前記統合ノイズ水準、ＳＤは暗電流ノイズの標準偏差、ＳＳはショットノイズの標準偏差、ＳＦは固定パターンノイズの標準偏差であることを特徴とする請求項５に記載のイメージセンサの統合ノイズモデリング方法。
7. イメージセンサから提供されるバイヤー領域信号の暗電流ノイズモデル、ショットノイズモデル、及び固定パターンノイズモデルを含む複数のノイズモデルを各々設定するステップと、
   前記複数のノイズモデルに基づいて統合ノイズ水準を決めるステップと、
   前記統合ノイズ水準に基づいて前記イメージセンサから提供されるバイヤー領域のフレームデータをフィルタリングするステップと、
   を含むイメージセンサのノイズ低減方法。
8. 前記複数のノイズモデルを各々設定するステップは、
   前記複数のノイズモデルをそれぞれの関数に設定するステップと、
   前記イメージセンサの利得及び前記バイヤー領域の色相別に前記関数を示す係数値を保存装置にルックアップテーブルとして保存するステップと、
   を含むことを特徴とする請求項７に記載のイメージセンサのノイズ低減方法。
9. 前記統合ノイズ水準を決めるステップは、
   前記イメージセンサの利得及び処理しようとするピクセルデータの色相に相応する前記係数値を前記ルックアップテーブルから抽出するステップと、
   前記イメージセンサの露出時間、処理しようとするピクセルデータ及び前記抽出された係数値に基づいて前記統合ノイズ水準を計算するステップと、
   を含むことを特徴とする請求項７または８に記載のイメージセンサのノイズ低減方法。
10. 前記バイヤー領域のフレームデータをフィルタリングするステップは、下記の数式、
    

    

    によって行われ、
    ここで、ＳＩＮＴは前記統合ノイズ水準、Ｐｃは現在の処理しようとするピクセルの位置、Ｌｃは前記現在の処理しようとするピクセルのデータ、ＦＬｃはフィルタリングされたピクセルデータ、Ｌｉｊは周囲ピクセルのデータ、Ｓｉｊは周囲ピクセルの位置と前記処理しようとするピクセルの位置に依存する第１加重値関数、Ｒｉｊは前記周囲ピクセルのデータと前記現在の処理しようとするピクセルのデータに依存する第２加重値関数、Ｔは前記イメージセンサの露出時間であることを特徴とする請求項７〜９のいずれか一項に記載のイメージセンサのノイズ低減方法。

Images