JP2006310999A - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2006310999A
JP2006310999A JP2005128831A JP2005128831A JP2006310999A JP 2006310999 A JP2006310999 A JP 2006310999A JP 2005128831 A JP2005128831 A JP 2005128831A JP 2005128831 A JP2005128831 A JP 2005128831A JP 2006310999 A JP2006310999 A JP 2006310999A
Authority
JP
Japan
Prior art keywords
noise
image
processing unit
noise component
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005128831A
Other languages
English (en)
Inventor
Tomoo Mitsunaga
知生 光永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005128831A priority Critical patent/JP2006310999A/ja
Publication of JP2006310999A publication Critical patent/JP2006310999A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Heads (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 イメージセンサにおいて発生するランダムノイズ成分を効果的に除去し、高画質な画像出力を可能にする。
【解決手段】 ノイズ抽出処理部８１は、入力画像よりノイズ成分を抽出する。ノイズ補正処理部８３は、ノイズ確率モデルメモリ８４のノイズ確率モデルに基づいて、抽出されたノイズ成分を補正する。減算処理部８６は、入力画像よりノイズが補正されたノイズ成分を減算する。以上のようにしたので入力画像より適切にノイズを除去することが可能となり、結果として、高画質な画像を出力することが可能となる。本発明は、デジタルスチルカメラに適用することができる。
【選択図】 図４

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、固体撮像素子などのイメージセンサを用いて得られた画像信号に混在するノイズ成分の中でも特にイメージセンサで生じるノイズ成分を除去できるようにした画像処理装置および方法、並びにプログラムに関する。
ノイズを含んだ信号から信号成分とノイズ成分を分離する処理は信号処理の最大の関心事であり、非常に多種多様の技術がこれまでに開発されてきた。画像信号の場合では、特に撮像時にイメージセンサ内部で生じるランダムなノイズ成分が問題となっている。イメージセンサ起因のノイズにもいろいろな種類があるが、特に、フォトダイオードで光が電子に変換される際に生じる光ショットノイズと、主にイメージセンサ出力段にあるアンプに起因する熱雑音は、現在固体撮像素子で生じるノイズの中でも主要なものであり、これらを除去することによって大きな効果が期待できる。
光ショットノイズや熱雑音は、確率的（ランダム）に発生するものであるため、固定パターンバイアスなどのように確定的に発生するものとは異なり、どんなに複雑な手法をもってしても確実に除去することはできない。従って、効果対費用の観点から、比較的簡単な平滑化フィルタ等を用いて比較的目立つ高周波域のランダムノイズを分離する手法が、実際の信号処理回路には多く採用されている。
単純な平滑化フィルタでは、高周波成分を含む物体輪郭領域などの信号成分もいっしょに削られてしまう問題があるので、エッジ構造に反応し、エッジに関しては平滑化しないような特性を持たせた平滑化フィルタ（エッジ 保存平滑化フィルタ）も数多く開発されている。
例えば、エッジ保存の性質を持つ平滑化フィルタの例として、メディアンフィルタ、gradient inverse weighted smoothing法、サブ局所領域分割法などが提案されている。また、バイラテラルフィルタと呼ばれるエッジ保存平滑化フィルタなども提案されている。
（例えば、非特許文献１，２参照）。
"画像解析ハンドブック", 東京大学出版会, 1991 "Fast Bilateral Filtering for the Display of High-Dynamic-Range IMAGES Proc. of ACM SIGGRAPH 2002, pp. 257-266
しかしながら、上述したような平滑化フィルタをベースとする従来のノイズ除去技術においては、細かなテクスチャ成分が除去されてしまうことがあった。すなわち、平滑化フィルタベースのノイズ除去手法では、除去しようとするノイズの高域成分と同じ帯域で細かいテクスチャがある場合、それらはノイズとともに除去されてしまうことになる。仮に、エッジ保存特性を備えたフィルタを用いたとしても、テクスチャの振幅がある程度大きくなければ、その効果が得られない。
また、上述したような平滑化フィルタをベースとする従来のノイズ除去技術においては、中域乃至低域のノイズが適度に除去されないことがあった。すなわち、平滑化フィルタベースのノイズ除去手法は、基本的に低周波フィルタによって目立ちやすい高域のノイズを除去するものであり、中域乃至低域の信号はフィルタを通過してしまう。しかしながら、ここで問題とする光ショットノイズ、熱雑音は原理的に周波数依存性のないホワイトノイズであるので、高周波域のノイズばかりを除去すると、低周波のノイズ成分が、画像信号が平坦な領域で輝度のムラとしてかえって目立ってしまうことがある。
さらに、上述したような平滑化フィルタをベースとする従来のノイズ除去技術においては、センサノイズの輝度値依存性に起因して、必ずしも適切なノイズ除去を実現できないことがあった。すなわち、前述のノイズ成分のうち、熱雑音は入射光量に依存して大きくなったりしないが、光ショットノイズは入射光量の平方根に比例して大きくなる性質がある。そのため、明るいところでも暗いところでも適切にノイズを除去するためには、入力画像の輝度に応じてノイズ除去オペレータのパラメータ（たとえばノイズ判定の閾値など）を調節する必要があり適切にノイズを除去することができないことがあった。また、これらのパラメータを調節してノイズを除去することも考えられるが、通常カメラは暗所撮影や蛍光灯フリッカ対策など諸々の理由によりアンプによるセンサ出力のゲインを調節しながら動作しているので、センサ出力の輝度が同じであればいつでもノイズ量も同じとは限らないので、パラメータを調節して適切にノイズを除去することは、困難なことであった。
本発明はこのような状況に鑑みてなされたものであり、特に、イメージセンサで発生する光ショットノイズや熱雑音ノイズなどのランダムノイズを、細かいテクスチャなどに影響を与えることなく、効果的に除去できるようにするものである。
本発明の第１の画像処理装置は、入力画像よりノイズ成分を抽出するノイズ抽出手段と、所定のノイズ確率モデルに基づいて、ノイズ抽出手段により抽出されたノイズ成分を補正するノイズ補正手段と、入力画像よりノイズ補正手段により補正されたノイズ成分を減算するノイズ成分減算手段とを備えることを特徴とする。
前記ノイズ補正手段には、補正後のノイズ成分から得られるヒストグラム関数と、所定のノイズ確率モデルから得られる確率密度分布関数の形状が一致するように補正関数形状を決定する補正関数形状決定手段を設けるようにさせることができ、補正関数形状決定手段により決定された補正関数形状の補正関数により、各画素値におけるノイズ成分を補正させるようにすることができる。
前記補正関数形状決定手段には、各画素値におけるノイズ成分より累積ヒストグラム関数を算出する累積ヒストグラム関数算出手段と、累積ヒストグラム関数と、所定のノイズ確率モデルから得られる累積密度関数の逆関数との合成関数を算出する合成関数算出手段とを設けるようにさせることができ、合成関数を補正関数形状の補正関数に決定させるようにすることができる。
前記ノイズ補正手段には、ノイズ成分を補正する注目画素について、注目画素の周辺の複数の画素におけるノイズ成分値の順位値を算出する順位値算出手段と、所定のノイズ確率モデルから得られるノイズ成分値の累積密度関数に対して、前記順位値でマッピングするマッピング手段とを設けるようにさせることができ、マッピング手段により所定のノイズ確率モデルから得られるノイズ成分値の累積密度関数に対して、順位値でマッピングすることによりノイズ成分を補正させるようにすることができる。
前記ノイズ抽出手段には、入力画像の各画素に平滑化フィルタを適用する平滑化手段と、入力画像の各画素の画素値から、平滑化手段により平滑化された画素の画素値を差し引く平滑化成分減算手段とを設けるようにさせることができる。
平滑化フィルタは、入力画像中の物体輪郭を平滑化しない特性を持つエッジ保存平滑化フィルタとするようにさせることができる。
本発明の第１の画像処理方法は、入力画像よりノイズ成分を抽出するノイズ抽出ステップと、所定のノイズ確率モデルに基づいて、ノイズ抽出手段により抽出されたノイズ成分を補正するノイズ補正ステップと、入力画像よりノイズ補正手段により補正されたノイズ成分を減算するノイズ成分減算ステップとを含むことを特徴とする。
本発明の第１のプログラムは、入力画像よりノイズ成分を抽出するノイズ抽出ステップと、所定のノイズ確率モデルに基づいて、ノイズ抽出手段により抽出されたノイズ成分を補正するノイズ補正ステップと、入力画像よりノイズ補正手段により補正されたノイズ成分を減算するノイズ成分減算ステップとを含む処理をコンピュータに実行させることを特徴とする。
本発明の第２の画像処理装置は、入力画像を多重解像度からなる複数のレイヤの画像に変換する多重解像度変換手段と、複数のレイヤのそれぞれの画像より、ノイズ成分を抽出するノイズ抽出手段と、ノイズ抽出手段により抽出された複数のレイヤのそれぞれの画像のノイズ成分を、所定のノイズ確率モデルに基づいて補正するノイズ補正手段と、複数のレイヤのそれぞれの画像について、ノイズ補正手段により補正されたノイズ成分を減算するノイズ成分減算手段と、ノイズ成分減算手段によりノイズ成分が減算された、複数のレイヤの画像を多重解像度逆変換する多重解像度逆変換手段とを備えることを特徴とする。
前記ノイズ成分抽出手段には、複数のレイヤの画像の各画素値をノイズ成分として抽出させるようにすることができる。
本発明の第２の画像処理方法は、入力画像を多重解像度からなる複数のレイヤの画像に変換する多重解像度変換ステップと、複数のレイヤのそれぞれの画像より、ノイズ成分を抽出するノイズ抽出ステップと、ノイズ抽出ステップの処理により抽出された複数のレイヤのそれぞれの画像のノイズ成分を、所定のノイズ確率モデルに基づいて補正するノイズ補正ステップと、複数のレイヤのそれぞれの画像について、ノイズ補正ステップの処理により補正されたノイズ成分を減算するノイズ成分減算ステップと、ノイズ成分減算ステップの処理によりノイズ成分が減算された、複数のレイヤの画像を多重解像度逆変換する多重解像度逆変換ステップとを含むことを特徴とする。
本発明の第２のプログラムは、入力画像を多重解像度からなる複数のレイヤの画像に変換する多重解像度変換ステップと、複数のレイヤのそれぞれの画像より、ノイズ成分を抽出するノイズ抽出ステップと、ノイズ抽出ステップの処理により抽出された複数のレイヤのそれぞれの画像のノイズ成分を、所定のノイズ確率モデルに基づいて補正するノイズ補正ステップと、複数のレイヤのそれぞれの画像について、ノイズ補正ステップの処理により補正されたノイズ成分を減算するノイズ成分減算ステップと、ノイズ成分減算ステップの処理によりノイズ成分が減算された、複数のレイヤの画像を多重解像度逆変換する多重解像度逆変換ステップとを含む処理をコンピュータに実行させることを特徴とする。
本発明の第３の画像処理装置は、イメージセンサによって得られる画像の画素を、ノイズ成分の輝度値依存性を打ち消すように非線形変換する非線形変換手段と、非線形変換手段により非線形変換された画素からなる画像よりノイズ成分を分離するノイズ成分分離手段とを備えることを特徴とする。
前記非線形変換手段には、イメージセンサで発生する確率的なランダムノイズの標準偏差に基づいて、各輝度レベルにおけるノイズ標準偏差の逆数に比例するような傾きを持つ単調増加関数による輝度レベルのマッピングにより、ノイズ成分の輝度値依存性を打ち消すように非線形変換させるようにすることができる。
前記非線形変換手段には、イメージセンサによって得られる画像の画素値を増幅し、ゲイン値として取得するゲイン値取得手段と、イメージセンサの熱雑音のばらつき値を計測するばらつき値計測手段と、ゲイン値と、熱雑音ばらつき値とをパラメータとして決定される非線形変換関数を算出する非線形変換関数算出手段とを設けるようにさせることができ、非線形変換関数算出手段により算出された非線形変換関数により、イメージセンサによって得られる画像の画素を、ノイズ成分の輝度値依存性を打ち消すように非線形変換させるようにすることができる。
本発明の第３の画像処理方法は、イメージセンサによって得られる画像の画素を、ノイズ成分の輝度値依存性を打ち消すように非線形変換する非線形変換ステップと、非線形変換ステップの処理により非線形変換された画素からなる画像よりノイズ成分を分離するノイズ成分分離ステップとを含むことを特徴とする。
本発明の第３のプログラムは、イメージセンサによって得られる画像の画素を、ノイズ成分の輝度値依存性を打ち消すように非線形変換する非線形変換ステップと、非線形変換ステップの処理により非線形変換された画素からなる画像よりノイズ成分を分離するノイズ成分分離ステップとを含む処理をコンピュータに実行させることを特徴とする。
本発明の第１の画像処理装置および方法、並びに第１のプログラムにおいては、入力画像よりノイズ成分が抽出され、所定のノイズ確率モデルに基づいて、抽出されたノイズ成分が補正され、入力画像より補正されたノイズ成分が減算される。
本発明の第２の画像処理装置および方法、並びに第２のプログラムにおいては、入力画像が多重解像度からなる複数のレイヤの画像に変換され、複数のレイヤのそれぞれの画像より、ノイズ成分が抽出され、抽出された複数のレイヤのそれぞれの画像のノイズ成分が、所定のノイズ確率モデルに基づいて補正され、複数のレイヤのそれぞれの画像について、補正されたノイズ成分が減算され、ノイズ成分が減算された、複数のレイヤの画像が多重解像度逆変換される。
本発明の第３の画像処理装置および方法、並びに第３のプログラムにおいては、イメージセンサによって得られる画像の画素が、ノイズ成分の輝度値依存性が打ち消されるように非線形変換され、非線形変換された画素からなる画像よりノイズ成分が分離される。
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
本発明によれば、入力された画像より適切にノイズを除去することが可能となる。
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
即ち、本発明の第１の画像処理装置は、入力画像よりノイズ成分を抽出するノイズ抽出手段（例えば、図４のノイズ抽出処理部８１）と、所定のノイズ確率モデル（例えば、図４のノイズ確率モデルメモリ８４）に基づいて、ノイズ抽出手段により抽出されたノイズ成分を補正するノイズ補正手段（例えば、図４のノイズ補正処理部８３）と、入力画像よりノイズ補正手段により補正されたノイズ成分を減算するノイズ成分減算手段（例えば、図４の減算処理部８６）とを備えることを特徴とする。
前記ノイズ補正手段には、補正後のノイズ成分から得られるヒストグラム関数と、所定のノイズ確率モデルから得られる確率密度分布関数の形状が一致するように補正関数形状を決定する補正関数形状決定手段（例えば、図６の補正関数算出処理部１２１）を設けるようにさせることができ、補正関数形状決定手段により決定された補正関数形状の補正関数により、各画素値におけるノイズ成分を補正させるようにすることができる。
前記補正関数形状決定手段には、各画素値におけるノイズ成分より累積ヒストグラム関数を算出する累積ヒストグラム関数算出手段（例えば、図７の累積ヒストグラム算出処理部１４１）と、累積ヒストグラム関数と、所定のノイズ確率モデルから得られる累積密度関数の逆関数との合成関数を算出する合成関数算出手段（例えば、図７の合成関数算出部１４２）とを設けるようにさせることができ、合成関数を補正関数形状の補正関数に決定させるようにすることができる。
前記ノイズ補正手段には、ノイズ成分を補正する注目画素について、注目画素の周辺の複数の画素におけるノイズ成分値の順位値を算出する順位値算出手段（例えば、図１８の順位値算出処理部１８１）と、所定のノイズ確率モデルから得られるノイズ成分値の累積密度関数に対して、前記順位値でマッピングするマッピング手段（例えば、図１８の逆マッピング処理部１８２）とを設けるようにさせることができ、マッピング手段により所定のノイズ確率モデルから得られるノイズ成分値の累積密度関数に対して、順位値でマッピングすることによりノイズ成分を補正させるようにすることができる。
前記ノイズ抽出手段には、入力画像の各画素に平滑化フィルタを適用する平滑化手段（例えば、図５の平滑化処理部１０１）と、入力画像の各画素の画素値から、平滑化手段により平滑化された画素の画素値を差し引く平滑化成分減算手段（例えば、図５の減算部１０２）とを設けるようにさせることができる。
平滑化フィルタ（例えば、図５の平滑化処理部１０１）は、入力画像中の物体輪郭を平滑化しない特性を持つエッジ保存平滑化フィルタとするようにさせることができる。
本発明の第１の画像処理方法は、入力画像よりノイズ成分を抽出するノイズ抽出ステップ（例えば、図１１のフローチャートにおけるステップＳ５２の処理）と、所定のノイズ確率モデルに基づいて、ノイズ抽出手段により抽出されたノイズ成分を補正するノイズ補正ステップ（例えば、図１１のフローチャートにおけるステップＳ５３の処理）と、入力画像よりノイズ補正手段により補正されたノイズ成分を減算するノイズ成分減算ステップ（例えば、図１１のフローチャートにおけるステップＳ５４の処理）とを含むことを特徴とする。
本発明の第２の画像処理装置は、入力画像を多重解像度からなる複数のレイヤの画像に変換する多重解像度変換手段（例えば、図２０の多重解像度変換処理部２０１）と、複数のレイヤのそれぞれの画像より、ノイズ成分を抽出するノイズ抽出手段（例えば、図２０のノイズ除去処理部２０６における図４のノイズ抽出処理部８１）と、ノイズ抽出手段により抽出された複数のレイヤのそれぞれの画像のノイズ成分を、所定のノイズ確率モデルに基づいて補正するノイズ補正手段（例えば、図２０のノイズ除去処理部２０６における図４のノイズ補正処理部８３）と、複数のレイヤのそれぞれの画像について、ノイズ補正手段により補正されたノイズ成分を減算するノイズ成分減算手段（例えば、図２０のノイズ除去処理部２０６における図４の減算処理部８６）と、ノイズ成分減算手段によりノイズ成分が減算された、複数のレイヤの画像を多重解像度逆変換する多重解像度逆変換手段（例えば、図２０の多重解像度逆変換処理部２１１）とを備えることを特徴とする。
前記ノイズ成分抽出手段には、複数のレイヤの画像の各画素値をノイズ成分として抽出させるようにすることができる。
本発明の第２の画像処理方法は、入力画像を多重解像度からなる複数のレイヤの画像に変換する多重解像度変換ステップ（例えば、図２４のフローチャートにおけるステップＳ１６２の処理）と、複数のレイヤのそれぞれの画像より、ノイズ成分を抽出するノイズ抽出ステップ（例えば、図２４のフローチャートにおけるステップＳ１６３の処理における図１１のフローチャートのステップＳ５２の処理）と、ノイズ抽出ステップの処理により抽出された複数のレイヤのそれぞれの画像のノイズ成分を、所定のノイズ確率モデルに基づいて補正するノイズ補正ステップ（例えば、図２４のフローチャートにおけるステップＳ１６３の処理における図１１のフローチャートのステップＳ５３の処理）と、複数のレイヤのそれぞれの画像について、ノイズ補正ステップの処理により補正されたノイズ成分を減算するノイズ成分減算ステップ（例えば、図２４のフローチャートにおけるステップＳ１６３の処理における図１１のフローチャートのステップＳ５４の処理）と、ノイズ成分減算ステップの処理によりノイズ成分が減算された、複数のレイヤの画像を多重解像度逆変換する多重解像度逆変換ステップ（例えば、図２４のフローチャートにおけるステップＳ１６４の処理）とを含むことを特徴とする。
本発明の第３の画像処理装置は、イメージセンサによって得られる画像の画素を、ノイズ成分の輝度値依存性を打ち消すように非線形変換する非線形変換手段（例えば、図２の非線形変換処理部４２）と、非線形変換手段により非線形変換された画素からなる画像よりノイズ成分を分離するノイズ成分分離手段（例えば、図２のノイズ除去処理部４３）とを備えることを特徴とする。
前記非線形変換手段（例えば、図２の非線形変換処理部４２）には、イメージセンサで発生する確率的なランダムノイズの標準偏差に基づいて、各輝度レベルにおけるノイズ標準偏差の逆数に比例するような傾きを持つ単調増加関数による輝度レベルのマッピングにより、ノイズ成分の輝度値依存性を打ち消すように非線形変換させるようにすることができる。
前記非線形変換手段には、イメージセンサによって得られる画像の画素値を増幅し、ゲイン値として取得するゲイン値取得手段（例えば、図３のゲイン値獲得処理部６２）と、イメージセンサの熱雑音のばらつき値を計測するばらつき値計測手段（例えば、図３の熱雑音ばらつき計測処理部６１）と、ゲイン値と、熱雑音ばらつき値とをパラメータとして決定される非線形変換関数を算出する非線形変換関数算出手段（例えば、図３の線形曲線算出処理部６３）とを設けるようにさせることができ、非線形変換関数算出手段により算出された非線形変換関数により、イメージセンサによって得られる画像の画素を、ノイズ成分の輝度値依存性を打ち消すように非線形変換させるようにすることができる。
本発明の第３の画像処理方法は、イメージセンサによって得られる画像の画素を、ノイズ成分の輝度値依存性を打ち消すように非線形変換する非線形変換ステップ（例えば、図９のフローチャートにおけるステップＳ４の処理）と、非線形変換ステップの処理により非線形変換された画素からなる画像よりノイズ成分を分離するノイズ成分分離ステップ（例えば、図９のフローチャートにおけるステップＳ５の処理）とを含むことを特徴とする。
尚、プログラムについては、画像処理方法と同様であるので、その説明は省略する。
以下、図を参照して、本発明の実施の形態について説明する。
図１は、本発明を適用した演算処理を実行するデジタルスチルカメラ１の一実施の形態の構成を示すブロック図である。
図１に示すように、デジタルスチルカメラ１は、レンズ１１、絞り１２、イメージセンサ１３、相関２重サンプリング（CDS：Correlated Double Sampling）回路１４、A/D（Analog／Digital）コンバータ１５、DSP（Digital Signal Processor）ブロック１６、タイミングジェネレータ１７、D/A（Digital／Analog）コンバータ１８、ビデオエンコーダ１９、表示部２０、コーデック（CODEC：COmpression／DECompression）処理部２１、メモリ２２、CPU（Central Processing Unit）２３、および、操作入力部２４から構成される。
イメージセンサ１３は、光情報を電気信号に変換するCCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）などに代表される（光電変換）半導体素子であり、光を電気に変換する受光素子（画素）を複数個並べ、光の変化を画素ごとに独立して電気信号に変換するものである。相関２重サンプリング回路１４は、イメージセンサ１３の出力信号に含まれるノイズのうちの主な成分であるリセットノイズを、出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することにより除去する回路である。A/Dコンバータ１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換する。
DSPブロック１６は、信号処理用プロセッサと画像用RAM（Random Access Memory）を持つブロックで、信号処理用プロセッサが画像用RAMに格納された画像データに対して、予めプログラムされた画像処理、または、ハードウェアによる演算処理として構成された画像処理を行うものである。タイミングジェネレータ１７は、イメージセンサ１３を駆動するために必要な、水平および垂直の各種駆動パルス、並びに、アナログフロント処理で用いるパルスを、基準クロックに同期して発生させるロジック回路である。また、タイミングジェネレータ１７により発生されるタイミングクロックは、バス２５を介して、コーデック処理部２１、メモリ２２、および、CPU２３にも供給されている。
D/Aコンバータ１８は、供給されたデジタル信号をアナログ信号に変換して出力する。ビデオエンコーダ１９は、供給されたアナログ信号を、表示部２０において表示可能な形式のビデオデータにエンコードする。表示部２０は、例えば、LCD（Liquid Crystal Display）などで構成され、ビデオエンコーダ１９から供給されたビデオ信号を表示する。
コーデック処理部２１は、例えばJPEG(Joint Picture Experts Group)などの、デジタル画像データの圧縮または伸張アルゴリズムによる処理を実行する。メモリ２２は、例えば、半導体メモリ、磁気ディスク、光磁気ディスク、または、光ディスクなどにより構成され、CPU２３の制御に基づいて、供給されたデータを記憶したり、または、記憶しているデータを出力する。なお、メモリ２２は、デジタルスチルカメラ１に対して着脱可能なようになされていても良い。
CPU２３は、バス２５を介して、操作入力部２４から供給されたユーザの操作入力を基に、デジタルスチルカメラ１の各部を制御する。操作入力部２４は、録画を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受ける。
次に、図１のデジタルスチルカメラ１の動作について説明する。
レンズ１１および絞り１２を介して入力された光は、イメージセンサ１３に入射され、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路１４に供給される。相関２重サンプリング回路１４は、イメージセンサ１３の出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりノイズを除去し、A/Dコンバータ１５に供給する。A/Dコンバータ１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換し、DSPブロック１６の画像用RAMに一時格納する。
タイミングジェネレータ１７は、撮像中の状態において、一定のフレームレートによる画像取り込みを維持するように、イメージセンサ１３、相関２重サンプリング回路１４、A/Dコンバータ１５、および、DSPブロック１６を制御する。
DSPブロック１６は、一定のレートで画素のストリームデータの供給を受け、画像用RAMに一時格納し、信号処理用プロセッサにおいて、一時格納された画像データに対して、後述する画像処理を実行する。DSPブロック１６は、画像処理の終了後、CPU２３の制御に基づいて、その画像データを表示部２０に表示させる場合は、D/Aコンバータ１８に、メモリ２２に記憶させる場合は、コーデック処理部２１に画像データを供給する。
D/Aコンバータ１８は、DSPブロック１６から供給されたデジタルの画像データをアナログ信号に変換し、ビデオエンコーダ１９に供給する。ビデオエンコーダ１９は、供給されたアナログの画像信号を、ビデオ信号に変換し、表示部２０に出力して表示させる。すなわち、表示部２０は、デジタルスチルカメラ１において、カメラのファインダの役割を担っている。コーデック処理部２１は、DSPブロック１６から供給された画像データに対して、所定の方式の符号化を施し、符号化された画像データをメモリ２２に供給して記憶させる。
また、コーデック処理部２１は、操作入力部２４からユーザの操作入力を受けたCPU２３の制御に基づいて、メモリ２２に記憶されているデータのうち、ユーザに指定されたデータを読み取り、所定の復号方法で復号し、復号した信号をDSPブロック１６に出力する。これにより、復号された信号が、DSPブロック１６を介してD/Aコンバータ１８に供給され、アナログ変換された後、ビデオエンコーダ１９によりエンコードされて、表示部２０に表示される。
次に、図２を参照して、DSPブロック１６により実現される機能の一実施の形態の構成について説明する。
デモザイク処理部４１は、入力されたモザイク画像の各画素位置のRGB（Red，Green，Blueの光の３原色）の画像信号の全ての強度を揃え、それぞれ非線形変換処理部４２−１乃至４２−３に供給する。尚、ここでいうモザイク画像は、図１のA/Dコンバータ１５によってデジタイズされ、DSPブロック１６に入力される画像信号である。モザイク画像は各画素にRGBのどれかの色に対応する強度信号が格納されており、通常、Bayer配列と呼ばれる色配列に従って配置されている。尚、非線形変換処理部４２−１乃至４２−３については、特に区別する必要がない場合、単に、非線形変換処理部４２と称するものとし、その他の構成についても同様に称するものとする。
非線形変換処理部４２−１乃至４２−３は、それぞれRGBの画像信号について、非線形変換関数を用いて変換処理し、それぞれノイズ除去処理部４３−１乃至４３−３に供給する。尚、非線形変換処理部４２−１乃至４２−３については、詳細を後述する。
ノイズ除去処理部４３−１乃至４３−３は、それぞれ非線形変換処理部４２−１乃至４２−３より供給されたRGBの画像信号についてノイズを除去し、非線形逆変換処理部４４−１乃至４４−３に供給する。尚、ノイズ除去処理部４３−１乃至４３−３については、詳細を後述する。
非線形逆変換処理部４４−１乃至４４−３は、それぞれノイズ除去処理部４３−１乃至４３−３より供給されてくる、ノイズが除去されたRGBの画像信号を、非線形変換処理部４２−１乃至４２−３の変換で利用した非線形変換関数により逆変換し、ホワイトバランス処理部４５に供給する。尚、非線形逆変換処理部４４−１乃至４４−３については、詳細を後述する。
ホワイトバランス処理部４５は、非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４によりノイズ除去されたRGBのそれぞれの画像信号に適切な係数を掛けることで、被写体領域の色バランスが無彩色になるように処理し、ガンマ補正処理部４６に供給する。
ガンマ補正処理部４６は、ホワイトバランス処理部４５によりホワイトバランスが調整されたRGBのそれぞれの画像信号の各画素強度をガンマ補正し、YC変換処理部４７に出力する。YC変換処理部４７は、ガンマ補正された3チャネル画像信号にYCマトリックス処理を施すと共に、クロマ成分に対する帯域制限を掛けてY画像およびC画像を生成し、コーデック処理部２１に対してYCbCr画像信号として出力する。
尚、図２においては、デモザイク処理部４１の後段に非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４を配置する構成となっているが、これらの配置順序は、図２で示されるものに限らず、例えば、デモザイク処理部４１の前段に非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４を配置し、モザイク画像のノイズ除去を行った後、デモザイク処理を実行するようにしても良い。ただし、この場合、モザイク画像の各画素はRGBのうちのいずれか1色の値しかもたないので、RGB毎の非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４を設け、各画素毎の処理を色によって振り分けるようにする必要がある。
また、非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４は、それぞれ単独でもノイズ除去処理を実行することは可能である。すなわち、例えば、図２の構成から非線形変換処理部４２、および非線形逆変換処理部４４を省き、ノイズ除去処理部４３のみの構成でもノイズを除去することは可能である。また、非線形変換処理部４２、および非線形逆変換処理部４４は、ノイズ除去処理部４３以外のノイズ除去処理能力を持った構成と組み合わせるようにしてもノイズを除去する効果がある。
次に、図３を参照して、非線形変換処理部４２の機能の一実施の形態の構成について説明する。尚、被線形変換処理部４２−１乃至４２−３は、RGB画像信号のいずれについてもその構成は同様である。
ゲイン値獲得処理部６２は、CPU２３と通信することにより、CPU２３で制御されるイメージセンサ１３の出力段におけるゲイン値を獲得すると共に、熱雑音ばらつき計測処理部６１および変換曲線算出処理部６３に対してセンサ出力段ゲイン値を供給する。
熱雑音ばらつき計測処理部６１は、デモザイク処理部４１より供給されてくる画像信号に基づいて、イメージセンサ１３の出力段における熱雑音の大きさを測定する。通常、イメージセンサ１３には光学的に遮蔽された画素の領域（オプティカルブラック領域：OPB領域とも称する）が存在し、その領域の画素値を計測することにより、そのイメージセンサ１３の黒レベルを得ることができるようになっている。熱雑音は入射光強度に依存しないので、熱雑音ばらつき計測処理部６１は、このOPB領域の画素値のばらつき値を計測することにより熱雑音のばらつき値を計測し、計測結果を変換曲線算出処理部６３に供給する。熱雑音は入射光強度には依存しないが回路温度に依存するので、撮像時にその都度計測することが望ましい。そこで、非線形変換処理部４２の前段の構成（例えば、絞り１２など）により、熱雑音ばらつき計測処理部６１に供給される画像にOPB領域が含まれるように設定されている。そこで、熱雑音ばらつき計測処理部６１は、デモザイク処理部４１より供給される画像信号のうちOPB領域の画素値の標準偏差値を熱雑音ばらつき値として算出する。このとき、非線形変換処理部４２に供給される画像信号にはイメージセンサ１３における出力段のゲインがかかっているので、熱雑音ばらつき計測処理部６１は、ゲイン値獲得処理部６２より供給されるゲイン値に基づいて、OPB領域の画素値におけるゲインを全て補償した値を算出し、その補償した値を用いて標準偏差値を算出し、熱雑音のばらつき値として出力する。
変換曲線算出処理部６３は、ゲイン値獲得処理部６２からのゲイン値、および熱雑音ばらつき計測処理部６１より供給される熱雑音ばらつき値に基づいて非線形変換関数の形状を算出し、算出した非線形変換関数形状を変換曲線LUT（Look Up Table）６４にLUT（入力値毎に変換曲線により変換された出力値が規定されたテーブル）の形式で保存する。
マッピング処理部６５は、変換曲線LUT６４に保存されたLUTに基づき、入力されたの各画素値にLUT参照による非線形変換処理を適用する。マッピング処理部６５によるマッピング処理には、熱雑音ばらつき値の計測に１フレーム分の画像入力が必要となるので、適用する変換曲線LUT６４に保存されるLUTは、時刻的には１つ前のフレームから算出されたものとなる。しかしながら、通常のデジタルスチルカメラにおいて、イメージセンサ１３の出力段のゲイン値や熱雑音は、フレーム単位では大きく変化することはないので問題は生じない。
次に、図４を参照して、ノイズ除去処理部４３の機能の一実施の形態の構成について説明する。ノイズ除去処理部４３−１乃至４３−３は、RGBの画像信号のどのチャネルに対しても同じ構成である。ノイズ除去処理部４３は、一時的な画像メモリとしてノイズ候補画像メモリ８２と補正ノイズ画像メモリ８５を備えている。また、ノイズ除去処理部４３は、固定的で読み出しのみをおこなうメモリとしてノイズ確率モデルメモリ８４を備えている。
ノイズ抽出処理部８１はRGBの画像信号のチャネルのうち、いずれか１つの非線形変換された画像からノイズ成分を抽出したノイズ候補画像を生成し、ノイズ候補画像メモリ８２に格納する。ノイズ補正処理部８３は、ノイズ確率モデルメモリ８４よりノイズ確率モデルの情報を読み出し、ノイズ抽出処理部８１により抽出され、ノイズ候補画像メモリ８２に格納されているノイズ候補画像を適切に補正し、補正ノイズ画像メモリ８５に格納する。減算処理部８６は、補正ノイズ画像メモリ８５に格納されている補正ノイズ画像を読み出し、入力画像から補正ノイズ画像を差し引く演算により、適切にノイズを除去した画像を生成し、非線形逆変換処理部４４に出力する。
次に、図５を参照して、図４のノイズ除去処理部４３におけるノイズ抽出処理部８１の機能の一実施の形態の構成について説明する。
ノイズ抽出処理部８１の平滑化処理部１０１は、非線形変換処理部４２より供給された画像に対してローパスフィルタを適用することにより、平滑化された画像信号を生成し、減算処理部１０２に供給する。減算処理部１０２は、非線形変換処理部４２より供給された画像の各画素値について、平滑化処理部１０１により平滑化された画像の対応する画素値を減算することによりノイズ成分値を算出し、ノイズ候補画像メモリ８２に格納する。
尚、図５においては、ノイズ抽出処理部８１の一実施の形態の構成として平滑化フィルタを用いた場合の構成が示されているが、ノイズ抽出処理部８１の構成としては、ノイズ成分が抽出されるものであればよいので、その構成は、図５で示される構成に限定されるものでなく、既存のその他の手法であってもよい。
次に、図６を参照して、図４のノイズ除去処理部４３におけるノイズ補正処理部８３の機能の一実施の形態の構成について説明する。
補正関数算出処理部１２１は、ノイズ候補画像メモリ８２に格納されたノイズ候補画像と、ノイズ確率モデルメモリ８４に格納されているノイズ確率モデルの情報とに基づいて、ノイズを補正するための補正関数を生成し、LUTとして補正関数LUT１２２に格納する。
補正関数適用処理部１２３は、補正関数LUT１２２に格納されている補正関数算出処理部１２１により算出された補正関数LUTを読み出し、ノイズ候補画像の各画素に適用することで、ノイズの強度値を補正し、補正ノイズ画像メモリ８５に格納する。
次に、図７を参照して、図６のノイズ補正処理部８３における補正関数算出処理部１２１の機能の一実施の形態の構成について説明する。
累積ヒストグラム算出処理部１４１は、ノイズ候補画像メモリ８２よりノイズ候補画像を読み出し、各画素値の強度の累積ヒストグラムを算出する。より具体的には、累積ヒストグラム算出処理部１４１は、ヒストグラム関数を積分することにより、累積ヒストグラム関数を算出し、合成関数算出処理部１４２に供給する。
合成関数算出処理部１４２は、ノイズ確率モデル８４に格納されているノイズ確率モデルの情報である累積密度関数を読み出し、その逆関数を、累積ヒストグラム算出処理部１４１により算出された累積ヒストグラム関数に合成した関数を補正関数として算出し、補正関数LUT１２２に格納させる。
次に、図８を参照して、非線形逆変換処理部４４の機能の一実施の形態の構成について説明する。非線形逆変換処理部４４−１乃至４４−３は、RGBの画像信号のいずれのチャネルに対しても同じ構成である。
非線形逆変換処理部４４は、非線形変換変換手段４２における変換処理の逆変換処理を実行するものであるため、基本的な構成は、同様であるが、非線形変換変換処理部４２におけるマッピング処理部６５に代えて非線形逆変換処理部４４においては逆マッピング処理部１６５となっている点が異なる。逆マッピング処理部１６５は、変換曲線LUT１６４のLUTを用いて、逆変換を実行する。
尚、図８における熱雑音ばらつき計測処理部１６１、ゲイン値獲得処理部１６２、変換曲線算出処理部１６３、および変換曲線LUT１６４については、図３の非線形変換処理部４２における計測処理部６１、ゲイン値獲得処理部６２、変換曲線算出処理部６３、および変換曲線LUT６４と同様であるので、その説明は省略する。また、熱雑音ばらつき計測処理部１６１、ゲイン値獲得処理部１６２、変換曲線算出処理部１６３、および変換曲線LUT１６４については、図３の非線形変換処理部４２における計測処理部６１、ゲイン値獲得処理部６２、変換曲線算出処理部６３、および変換曲線LUT６４と同様であるので、共有するような構成としても良い。
次に、図９のフローチャートを参照して、図２のDSPブロック１６による画像処理について説明する。
デモザイク処理部４１は、モザイク画像が入力されたか否か（フレームメモリから読み込まれたか否か）を判定し、入力されるまで、その処理を繰り返す。例えば、画像が入力されたと判定された場合、ステップＳ２において、デモザイク処理部４１は、入力されたモザイク画像からRGBの3チャンネルの画像信号を生成するデモザイク処理を実行し、生成したRGBの画像信号をそれぞれ非線形変換処理部４２−１乃至４２−３に供給する。
ステップＳ３において、非線形変換処理部４４は、非線形変換処理を実行し、１つのチャネル画像の各画素の輝度値を非線形な特性カーブによって強度変換し、ノイズ除去部４３に供給する。尚、非線形変換処理については、図１０を参照して、その詳細を後述する。
ステップＳ４において、ノイズ除去部４３は、ノイズ除去処理を実行し、供給された１つのチャネル画像の各画素についてノイズを除去し、非線形逆処理部４４に供給する。尚、ノイズ除去処理については、図１１を参照して、その詳細を後述する。
ステップＳ５において、非線形逆変換処理部４４は、非線形逆変換処理を実行し、ステップＳ３の非線形変換処理により適用した非線形特性を打ち消すように強度変換し、ホワイトバランス処理部４５に供給する。
尚、ステップＳ３乃至Ｓ５の処理については、RGBの各画像信号に対して、非線形変換処理部４２−１乃至４２−３、ノイズ除去処理部４３−１乃至４３−３、および非線形逆変換処理部４４−１乃至４４−３が並列処理するようにしても良いし、各チャンネルに対して、順次処理するようにしても良い。
ステップＳ６において、ホワイトバランス処理部４５は、ノイズが除去され、非線形特性が解除されたRGB3チャネル画像に対してそれぞれの画像信号に適切な係数を掛けることで、被写体領域の色バランスが無彩色になるようにホワイトバランス処理を施し、ガンマ補正処理部４６に供給する。
ステップＳ７において、ガンマ補正処理部４６は、ホワイトバランス処理部４５によりホワイトバランスが調整されたRGBのそれぞれの画像信号の各画素強度をガンマ補正し、YC変換処理部４７に出力する。
ステップＳ８において、YC変換処理部４７は、ガンマ補正処理部４６によりガンマ補正処理されたRGBの画像信号にYCマトリクス処理を施すYC変換処理を実行し、Y画像とC画像に変換し、ステップＳ９において、Y画像とC画像を出力(フレームメモリに書き込む)する。
以上の処理により、ノイズが除去されたYC画像が生成されることになる。
次に、図１０のフローチャートを参照して、図９のフローチャートにおけるステップＳ３の処理である非線形変換処理について説明する。
ステップＳ３１において、マッピング処理部６５は、デモザイク処理部４１によって生成されたRGBの画像信号のうち１チャンネルの画像のいずれかが入力されたか否か（読み取られたか否か）を判定し、入力されたと判定されるまで、その処理を繰り返す。例えば、ステップＳ３１において、入力されたと判定された場合、ステップＳ３２において、マッピング処理部６５は、変換曲線LUT６４よりLUTを読み出し、読み出したLUTに基づいて、全ての画素値の階調を非線形変換し、ステップＳ３３において、ノイズ除去部４３に出力する。尚、非線形変換処理に用いられるLUTは、１フレーム前の画像に基づいて、生成されたものである。したがって、最初の処理においては、例えば、デフォルトで設定されたLUTが使用されることになる。
ステップＳ３４において、ゲイン値獲得処理部６２は、CPU２３との通信によりイメージセンサセンサ１３の出力段のゲイン値を獲得し、熱雑音ばらつき計測処理部６１、および変換曲線算出処理部６３に供給する。
ステップＳ３５において、熱雑音ばらつき計測処理部６１は、ゲイン値獲得処理部６２より供給されたゲイン値に基づいて、入力画像中のOPB領域中の全ての画素から、ゲイン値をキャンセルし（ゲイン値で除算し）、変換曲線算出部６３に供給する。
ステップＳ３６において、熱雑音ばらつき計測処理部６１は、ゲイン値がキャンセルされている（ゲイン値で除算されている）OPB領域画素を用いて標準偏差値を算出し、求められた標準偏差値を熱雑音ばらつき値として変換曲線算出処理部６３に供給する。
ステップＳ３７において、変換曲線算出処理部６３は、ゲイン値獲得処理部６１より供給されたゲイン値と、熱雑音ばらつき計測処理部６１より供給された熱雑音ばらつき値に基づいて、変換曲線を算出する。
ステップＳ３８において、変換曲線算出処理部６３は、算出した変換曲線をLUTとして変換曲線LUT６４に格納させる。ここで格納された変換曲線LUTは、次のフレームにおける非線形変換処理時に利用される。
ここで、ステップＳ３７の処理における変換曲線の算出方法について説明する。
イメージセンサ１３によって獲得された画像信号Mは、元信号Ｓと獲得時に生じたイメージセンサ１３におけるノイズ成分Nによって、以下の式（１）で表現されるものと仮定する。
Figure 2006310999
 ・・・（１）
ここで、式（１）における（ｘ，ｙ）は、画像中の画素位置を示す座標である。また、CCDやCMOSなどに代表される固体撮像素子においては、Gauss分布に従う熱雑音とPoisson分布に従う光ショットノイズが主要なノイズ成分であるといわれている。そこで、ここでは、ノイズ成分Nは、熱雑音と光ショットノイズのみからなるものとして説明する。このとき、このノイズ成分Nの確率モデルの期待値は0であり、ノイズの分散は信号成分Ｓの強度に依存するので、ノイズ成分Nの分散V{N}は、以下の式（２）で表現されることになる。
Figure 2006310999
 ・・・（２）
ここで、式（２）におけるσTは、熱雑音の標準偏差を示す。また、元信号Ｓは、確定的（確率的にゆらがない）とする。従って、入力された画像信号Mの分散V{M}は、以下の式（３）で表現されることになる。
Figure 2006310999
 ・・・（３）
ここで、式（３）における画像信号Mを非線形変換fによって非線形な階調に変換した画像Iを、以下の式（４）で示されるものとして考える。
Figure 2006310999
 ・・・（４）
ステップＳ３７の処理において求めようとする非線形変換関数fは、非線形変換後の画像Iの分散が強度値に対して依存しない非線形変換関数である。
そこで、まず、以下の式（５）で示されるように、非線形変換関数fをM=Maのまわりで１次のTaylor展開により近似式を求める。
Figure 2006310999
 ・・・（５）
ここで、R2は２次の項以降の和を示しており、ここでは0と近似するものとしている。従って、式（５）の近似を用いることにより、Ia=f(Ma)のまわりの非線形変換画像Iの分散V{I}は、以下の式（６）として表現されることになる。
Figure 2006310999
 ・・・（６）
ここで、σcは定数である。
さらに、全てのMaに対して、非線形変換画像Iの分散V{I}が、V{I}=σc 2（一定）となるように非線形変換関数fの傾きを計算すると、以下の式（７）で表現される。
Figure 2006310999
 ・・・（７）
すなわち、全てのMaに対して、非線形変換画像Iの分散V{I}が、一定であるということは、強度に対して一定であり、強度依存しないことを示す拘束条件となる。結果として、式（７）で求められる傾きは、求めようとする非線形変換関数fの傾きであるとも言える。
さらに、式（７）に式（３）の関係を代入することにより、求めようとする非線形変換関数fの傾きは、以下の式（８）で表現されることになる。
Figure 2006310999
 ・・・（８）
ただし、E{M|M=Ma}=Maとした。非線形変換関数fの形状は、式（８）をMaについて積分することにより、例えば、以下の式（９）で示される非線形変換関数fとして求められることになる。
Figure 2006310999
 ・・・（９）
定数σcについては、たとえば、画像信号Mの最大値が非線形変換処理画像Iの最大値にマップされるというような拘束条件を設定することにより算出することができる。また、熱雑音のばらつき値σTは、ステップＳ３６の処理により計測される、イメージセンサ１３の遮光した領域にある画素（OPB領域画素）からの出力値のばらつき値を用いることで算出することができる。
また、通常のデジタルスチルカメラなどにおいては露出調整やISO感度調整等の目的で、イメージセンサ１３の出力段に可変のゲインAをかけられるようになっている場合が多い。その場合、画像信号Mは以下の式（１０）で表現されるが、ゲインAはその時点におけるカメラ制御の設定から獲得できる情報なので、ゲインAを考慮した非線形変換fを算出するため、ステップＳ３６の処理により、ゲインＡがキャンセルされている。また、ノイズ除去処理をイメージセンサ１３からの画像信号に施した後に、ゲインAを乗じるようにしてもよい。
Figure 2006310999
 ・・・（１０）
すなわち、以上の非線形変換処理により、入力された画像の各画素のそれぞれについて、輝度に依存しない非線形変換画像に変換させるための非線形変換関数が求められ、求められた非線形変換関数によりフレーム毎に画像が変換されるため、ノイズの輝度依存性が、打ち消された画像が得られることになる。結果として、後段のノイズ除去処理において、輝度依存性が打ち消されたノイズを画像から除去すればよいことになるので、適正なノイズ除去処理を実現させることが可能となる。
次に、図１１のフローチャートを参照して、ノイズ除去処理について説明する。
ステップＳ５１において、ノイズ抽出処理部８１は、非線形変換処理部４２により生成された非線形変換処理された１チャンネル分の画像が入力されたか否か（１チャンネル分の画像が読み取られたか否か）を判定し、入力されたと判定されるまで、その処理を繰り返し、入力されたと判定された場合、その処理は、ステップＳ５２に進む。
ステップＳ５２において、ノイズ抽出処理部８１は、ノイズ抽出処理を実行し、入力された画像よりノイズ成分を抽出したノイズ候補画像を生成し、ノイズ候補画像メモリ８２に格納する。
ここで、図１２のフローチャートを参照して、ノイズ抽出処理について説明する。
ステップＳ７１において、平滑化処理部１０１および減算処理部１０２は、画像が入力されてきたか否かを判定し、入力されたと判定されるまで、その処理を繰り返し、例えば、入力されたと判定された場合、その処理は、ステップＳ７２に進む。
ステップＳ７２において、平滑化処理部１０１および減算処理部１０２は、入力された画像を構成する画素のうち、いずれか未処理の画素を注目画素として選択する。
ステップＳ７３において、平滑化処理部１０１は、注目画素に対してローパスフィルタを適用することにより平滑化された画像信号を生成し、減算処理部１０２に供給する。
ステップＳ７４において、減算処理部１０２は、注目画素の画素値から、平滑化処理部１０１より供給された平滑化されている画素の画素値を減算することによりノイズ成分値を算出する。
ステップＳ７５において、平滑化処理部１０１および減算処理部１０２は、未処理の画素が存在するか否かを判定し、未処理の画素があると判定した場合、その処理は、ステップＳ７２に戻り、それ以降の処理が繰り返される。すなわち、供給された画像の全ての画素について、処理されたと判定されるまで、ステップＳ７２乃至Ｓ７５の処理が繰り返される。
ステップＳ７５において、未処理の画素がない、すなわち、全ての画素についてノイズ抽出処理が完了したと判定された場合、ステップＳ７６において、減算処理部１０２は、算出されたノイズ成分値の画像からなるノイズ候補画像をノイズ候補画像メモリ８２に格納する。
尚、平滑化処理部１０１は、例えば、非線形なフィルタであってもよく、ノイズの除去に有効な非線形平滑化フィルタとしてエッジ保存の性質があるフィルタを用いるようにしてもよい。
より具体的には、平滑化処理部１０１としては、以下の式（１１）で示される演算を実行するバイラテラルフィルタと呼ばれるフィルタを利用するようにしてもよい。
Figure 2006310999
 ・・・（１１）
式（１１）において、pは注目する画素位置、qはpの近傍Ωpに存在する画素位置、Iは画素値、Isはバイラテラルフィルタによって算出される平滑化された画素 値、φ、ψはそれぞれ重み関数である。通常の線形平滑化フィルタが注目画素からの位置関係によって決定された重み値（重み関数ψに相当）を近傍の各画素値に乗じて、全近傍画素の積和計算を実行するのに対して、バイラテラルフィルタでは、さらに、注目画素の画素値I(p)と各近傍画素の画素値I(q)との差分に応じて決定される重み値（重み関数φに相当）を乗じて積和計算を実行する。この画素値の差分に応じて決まる重みを決定する重み関数φは、0を中心として左右に次第に減少していくような関数が設定されることにより、注目画素から大きく離れた画素値を持つ画素の平滑化への寄与を小さくすることができ、逆に、注目画素から近い画素値と持つ画素の平滑化への寄与を大きくすることができる。
このため、エッジのような画素値が大きく変化する部分は、平滑化の程度が小さいため、エッジを残しやすくすることができるが、ノイズによる微小な画素値の変動に対しては平滑化の程度を大きくすることができるのでノイズは除去することができる。結果として、エッジを保存したまま、ノイズのみを適正に除去することができる。さらに、本発明とともに用いる非線形平滑化フィルタとして、バイラテラルフィルタだけでなく、メディアンフィルタなどその他のフィルタを用いるようにしてもよい。
以上のように、ノイズ抽出処理によりノイズのみを抽出し、ノイズのみの画素値からなるノイズ候補画像を生成して、ノイズ候補画像メモリ８２に格納することが可能となる。
ここで、図１１のフローチャートの説明に戻る。
ステップＳ５３において、ノイズ補正処理部８３は、ノイズ補正処理を実行し、ノイズ確率モデルメモリ８４よりノイズ確率モデルの情報を読み出し、ノイズ候補画像メモリ８２に格納されている、ノイズ抽出処理部８１により抽出されたノイズ候補画像を適切に補正し、ノイズ候補画像が補正された補正ノイズ画像を補正ノイズ画像メモリ８５に格納する。
ここで、図１３のフローチャートを参照して、ノイズ補正処理について説明する。
ステップＳ９１において、補正関数算出処理部１２１および補正関数適用処理部１２３は、ノイズ候補画像がノイズ候補画像メモリ８２に入力されてきたか否か（格納されたか否か）を判定し、画像が入力されてくるまで、その処理を繰り返し、画像が入力されてくると、その処理は、ステップＳ９２に進む。
ステップＳ９２において、補正関数算出処理部１２１の累積ヒストグラム算出処理部１４１は、ノイズ候補画像の画素強度の累積ヒストグラムを算出し、合成関数算出処理部１４２に供給する。
ステップＳ９３において、補正関数算出処理部１２１の合成関数算出処理部１４２は、累積ヒストグラム算出処理部１４１が算出した累積ヒストグラム関数と、ノイズ確率モデルメモリ８４より読み出されるノイズ確率モデルの情報（ノイズ確率モデルの累積密度関数）の逆関数を合成した関数を算出する。
ステップＳ９４において、合成関数算出処理部１４２は、算出した合成関数を補正関数として補正関数LUT１２２に格納する。
ステップＳ９５において、補正関数適用処理部１２３は、ノイズ候補画像メモリ８２より読み出した画像のうち未処理の画素を注目画素として選択する。
ステップＳ９６において、補正関数適用処理部１２３は、補正関数LUT１２２より補正関数を読み出して、ノイズ候補画像の注目画素に対して適用し、ノイズ成分値を補正する。
ステップ９７において、補正関数適用処理部１２３は、ノイズ候補画像メモリ８２より読み出した画像のうち未処理の画素が存在するか否かを判定し、未処理の画素が存在すると判定した場合、その処理は、ステップＳ９５に戻り、それ以降の処理が繰り返される。すなわち、全ての画素が補正されるまで、ステップＳ９５乃至Ｓ９７の処理が繰り返される。
そして、ステップＳ９７において、未処理の画素が存在しないと判定された場合、ステップＳ９８において、補正関数適用処理部１２３は、補正されたノイズ成分値からなるノイズ候補画像を、補正ノイズ画像として補正ノイズ画像メモリ８５に格納する。
以上のノイズ補正処理により、画像信号に含まれているノイズを本来のノイズ確率分布に沿ったものに補正することが可能となる。
すなわち、入力される画像信号Ｍが、元信号Ｓとノイズ成分Ｎとの和で表現されるものと仮定し、さらに、ノイズ成分Nが理想的な確率分布に従うランダムノイズである仮定すれば、CCDやCMOSなどに代表される固体撮像素子により発生するのノイズ成分Ｎの主要部分は、Gauss分布に従う熱雑音とPoisson分布に従う光ショットノイズが占めるものといわれている。
したがって、ノイズ成分Nが画像信号Mから理想的な状態で抽出されれば、ノイズ成分Nのヒストグラムは、本来のノイズ成分Ｎの律則となる確率密度関数と同じ分布で抽出されるはずである。しかしながら、例えば、平滑化フィルタ（非線形平滑化も含む）を用いる上述したステップＳ５２のノイズ抽出処理により抽出されるノイズ成分Neは、元信号Ｓである成分の一部がノイズ成分Ｎに混入したものであり、そのヒストグラム形状は必ずしもノイズ成分Ｎの理想的な確率密度関数形状とは一致しない。
そこで、上述の処理では、ステップＳ５２の処理で示される既存のノイズ抽出処理（以上の例においては平滑化）により、ノイズ成分Neが抽出され、ステップＳ５３で示されるノイズ補正処理により、ノイズ成分Neのヒストグラム形状がノイズ確率密度関数形状に一致するように補正されている。結果として、ノイズ成分Neに混入されている元信号Ｓの一部の成分が低減されることになるので、正確に元信号Ｓとノイズ成分Nとを分離させることが可能となっている。
また、このノイズ成分Neのヒストグラム形状の補正では、ステップＳ９２，Ｓ９３の処理のより求められる補正関数に基づいたヒストグラムマッチングが用いられている。
例えば、コントラストがあまり大きくないストライプ状の縞模様の入力画像を考える。このとき本来の信号であるストライプ画像のヒストグラム形状は、図１４で示されるように、２つの細いピークを持つような形状となる。尚、図１４においては、横軸が強度であり、縦軸が強度の頻度であり、この例においては、ストライプのコントラストはあまり大きくないので、ヒストグラムの2つのピークの間隔もあまり大きくないものとしている。
実際に入力される画像信号（元信号）Ｍは、例えば、理想的な確率密度分布形状に従うノイズ成分Ｎが、元信号Ｓに加わったものであるので、入力される画像信号Ｍのヒストグラム形状は、図１４のヒストグラム形状に図１５の確率密度分布形状が重畳された、図１６で示されるようなヒストグラム形状となる。
仮に、入力される画像信号Ｍのストライプ模様のピッチが狭い、すなわち周波数が高いものであると、通常の平滑化ではノイズ成分Ｎのばらつきと共にストライプ模様も取り除かれることになるので、正しくノイズが除去されないことになる。すなわち、この場合、画像信号から抽出されるノイズ成分Ｎeのヒストグラムは図１６で示されるものとほぼ同じものとなる。
そこで、上述したステップＳ５３のノイズ補正処理におけるステップＳ９６おいては、通常のノイズ抽出処理により抽出された（ノイズ成分Ｎに元信号Ｓが混入している）ノイズ成分Neをヒストグラムマッチングによって補正している。ここで、ヒストグラムマッチングとは、入力画像のノイズ成分Ｎeのヒストグラムが、元信号Ｓが混入していない理想的な状態のノイズ成分Nのヒストグラムと一致するようにノイズ候補画像の各画素の強度値を変換する処理である。
すなわち、ステップＳ９６の処理において、補正関数適用処理部１２３は、入力された画像信号より抽出されたノイズ成分Ｎeの累積ヒストグラム関数を第1のマッピング関数（累積ヒストグラム算出処理部１４１によりノイズ候補画像より生成される関数）とし、理想的な確率密度分布のノイズ成分Ｎのヒストグラムの累積ヒストグラム関数の逆関数（ノイズ確率モデルである累積密度関数の逆関数）を第2のマッピング関数として、第１のマッピング関数と第２のマッピング関数との合成関数からなる補正関数により、実質的に２回の画素強度のマッピング処理により所望の画素強度に変換（補正）している。
図１７は、図１４乃至図１６で示されているヒストグラムの例に、上述した２段階のマッピング処理をおこなう過程を示したものである。
図１７において、曲線Ｌ１は平滑化処理によって抽出されたノイズ成分Ｎeのヒストグラム形状を示す。曲線Ｌ２は抽出されたノイズ成分Ｎeの累積ヒストグラム形状を示す。曲線Ｌ４はノイズ成分Ｎが本来従う確率密度関数を示す。曲線Ｌ３はノイズ成分Ｎの確率分布の累積密度関数を示す。
例えば、抽出されたノイズ成分画像Ｎeにおいて図中Iで示されたノイズ強度を持つ画素を補正する場合、ノイズ強度Iは抽出されたノイズ成分Ｎeのヒストグラムの暗い方のピークに相当する値であるが、このピークは本来、元信号Ｓであったストライプ模様の強度がノイズ成分Ｎに混入してしまったために生じたものであり、本来はノイズ強度がIに相当するような画素の頻度はもっと少ないはずである。そこで、累積ヒストグラム関数からなる曲線Ｌ２を用いてノイズ強度Iを暗い方から数えた順位値Hに変換する。そして、累積確率密度関数からなる曲線Ｌ３を逆にたどることによって、本来の順位値Hに相当するノイズ強度Imを求めることができる（曲線Ｌ３の関数を逆関数に見立てれば、順位値からノイズ強度が求められる）。このようにして抽出された各ノイズ強度Iに対する補正したノイズ強度Imを求めると、そのヒストグラム形状はノイズ成分Ｎの本来の確率密度関数からなる曲線Ｌ４とほぼ同じ形状になる。
したがって、図１４乃至図１７の場合、ステップＳ９２において、累積ヒストグラム算出処理部１４１は、ノイズ候補画像の画素強度の累積ヒストグラムを算出することで、曲線Ｌ２で表現される関数を求める。
ステップＳ９３において、合成関数算出処理部１４２は、ノイズ確率モデル（曲線Ｌ４）の情報に基づいて、累積密度関数となる曲線Ｌ３の関数を求めた後、曲線Ｌ２で表現される関数と、曲線Ｌ３で表現される関数の逆関数とを合成して、上述したノイズ強度Ｉをノイズ強度Ｉmに変換する合成関数を求める。
さらに、ステップＳ９４において、合成関数算出処理部１４２は、この合成関数を、補正関数として補正関数LUT１２２に格納することになる。
ここで、図１１のフローチャートの説明に戻る。
ステップＳ５４において、減算処理部８６は、補正ノイズ画像メモリ８５より補正ノイズ画像を読み出し、入力された画像から差し引くことにより、適切にノイズ除去された画像を生成する。
ステップＳ５５において、減算処理部８６は、ノイズ除去された画像を非線形逆変換処理部４４に出力する。
以上の処理により、入力されたRGBの画像信号の各チャネルのそれぞれにおいて、ノイズ成分のばらつきの輝度依存性がなくなるような非線形変換を施した後に、ノイズ成分を抽出し、抽出したノイズ成分を、確率的な出現頻度がノイズ確率モデルに合致するように補正し、非線形逆変換を施すことによって、従来よりも好適なノイズ除去を実現させるようにすることができる。
尚、上述したステップＳ５の非線形逆変換処理については、非線形変換処理におけるマッピングに用いられる関数が、非線形逆変換関数となるのみであり、その他の処理については同様である。
すなわち、熱雑音ばらつき計測処理部１６１、ゲイン値獲得処理部１６２、変換曲線算出処理部１６３、変換曲線LUT１６４は、図１０のフローチャートにおけるステップＳ３４乃至Ｓ３８の処理については、それぞれ熱雑音ばらつき計測処理部６１、ゲイン値獲得処理部６２、変換曲線算出処理部６３、変換曲線LUT６４と同様の処理を実行する。また、ステップＳ３１乃至Ｓ３３の処理については、逆変換マッピング処理部１６５が実行するが、ステップＳ３２の処理においては、非線形変換関数の逆関数を用いてマッピング処理を実行する。
尚、以上に説明したノイズ補正処理部８３は、さらに以下に説明する構成によって、より簡易な計算で実現することができる。累積ヒストグラムを画素強度に適用することは、その画素の画素強度の順位値を求めることに等しい。このことから、画素ごとの処理において、その都度累積ヒストグラムを算出しなくとも、注目画素の画素強度の順位値がわかればよいので、累積ヒストグラムの算出および累積ヒストグラム関数によるマッピングを順位値算出処理に置き換えることができる。
図１８は、累積ヒストグラムの算出および累積ヒストグラム関数によるマッピングを順位値算出処理に置き換える場合のノイズ補正処理部８３の機能の一実施の形態の構成を示している。
順位値算出処理部１８１は、ノイズ候補画像メモリ８２に格納されているノイズ抽出処理部８１により抽出されたノイズ候補画像を読み出し、注目画素について、その周辺画素の中での画素強度の順位値を算出する。
逆マッピング処理部１８２は、ノイズ確率モデルメモリ８４よりノイズ確率モデルの情報に基づいて、順位値算出処理部１８１により求められた注目画素の順位値の累積密度関数を逆にマッピングしてノイズの画素強度値を補正する。すなわち、逆マッピング処理部１８２は、ノイズ候補画像の各画素の順位値を、累積密度関数を用いて逆マッピング（累積密度関数の逆関数によりマッピング）することにより、各画素のノイズ成分を補正する。
次に、図１９のフローチャートを参照して、図１８のノイズ補正処理部８３によるノイズ補正処理について説明する。尚、ステップＳ１１１，Ｓ１１２，Ｓ１１５，Ｓ１１６の処理については、図１３のフローチャートにおけるステップＳ９１，Ｓ９５，Ｓ９７，Ｓ９８の処理と同様であるので、その説明は省略する。
ステップＳ１１３において、順位値算出処理部１８１は、注目画素のノイズ成分値の、注目画素周辺における順位値を算出し、逆マッピング処理部１８２に供給する。
ステップＳ１１４において、逆マッピング処理部１８１は、ノイズ確率モデルメモリ８４よりノイズの累積密度関数を読み出し、順位値算出処理部１８１により算出された注目画素の順位値に基づいて、逆マッピングしてノイズ成分を補正する。
以上の処理により、補正関数を演算することなく、累積密度関数のみを用いてノイズ成分を補正することができるので、演算に掛かる負荷を抑制しつつ、ノイズ成分を適正に補正することが可能となる。
以上においては、単一の解像度の画像に対してのノイズ除去処理について説明してきたが、例えば、多重解像度画像処理と組み合わせることにより、さらに効果的なノイズ除去を実現することができる。
図２０は、多重解像度処理を組み合わせた場合のノイズ除去処理部４３の機能の一実施の形態の構成を説明する図である。
多重解像度変換処理部２０１は、非線形変換処理部４２により非線形変換処理されたデモザイク画像を多重解像度の表現形式による複数の画像データに変換し、解像度毎にそれぞれ対応するレイヤ０画像メモリ２０２、レイヤ１画像メモリ２０３、レイヤ２画像メモリ２０４、およびレイヤ３画像メモリ２０５に格納させる。多重解像度の表現形式としては、様々な表現形式を利用することができるが、例えば、Laplacian Pyramid形式や、wavelet変換を用いた多重解像度形式を利用するようにしても良い。尚、以降においては、多重解像度の表現形式として、Laplacian Pyramid形式を用いた例について説明するものとする。また、図２０においては、多重解像度変換によりレイヤ０乃至３の合計４種類の解像度の画像を扱う例について説明するものとするが、レイヤ数は任意に設定することが可能であり、その他のレイヤ数であっても良いことは言うまでもない。
ノイズ除去処理部２０６−１乃至２０６−４は、図４のノイズ除去処理部４３と同様の構成であり、それぞれレイヤ０画像メモリ２０２、レイヤ１画像メモリ２０３、レイヤ２画像メモリ２０４、およびレイヤ３画像メモリ２０５より、各レイヤの画像を読み出し、ノイズを除去し、それぞれレイヤ０ノイズ除去画像メモリ２０７、レイヤ１ノイズ除去画像メモリ２０８、レイヤ２ノイズ除去画像メモリ２０９、およびレイヤ３ノイズ除去画像メモリ２１０に供給し格納させる。
多重解像度逆変換処理部２１１は、レイヤ０ノイズ除去画像メモリ２０７、レイヤ１ノイズ除去画像メモリ２０８、レイヤ２ノイズ除去画像メモリ２０９、およびレイヤ３ノイズ除去画像メモリ２１０に格納されているノイズが除去された、各レイヤの画像を統合し、すなわち、多重解像度変換処理部２０１と逆変換処理を実行して、後段の非線形逆変換処理部４４に出力する。
次に、図２１を参照して、Laplacian pyramid形式の多重解像度画像を生成する多重解像度変換処理部２０１の機能の一実施の形態の構成について説明する。
多重解像度変換処理部２０１の縮小処理部２３１−１乃至２３１−３は、サブサンプリングによって入力された画像の画像サイズを例えば半分に縮小し（例えば、半分の解像度の画像に変換し）、後段に出力する。
拡大処理部２３３−１乃至２３３−３は、スーパーサンプリングによって入力された画像の画像サイズを例えば２倍に拡大し（例えば、２倍の解像度の画像に変換し）、後段に出力する。
減算処理部２２２−１乃至２２２−３は、縮小処理部２３１により縮小された後、拡大処理部２３３により拡大された画像と、その元画像のそれぞれの各画素について差分を求め、その差分からなる画像をレイヤごとの画像として出力する。すなわち、減算処理部２３２−１乃至２３２−３は、それぞれレイヤ０乃至３の画像を生成し、それぞれレイヤ０画像メモリ２０２、レイヤ１画像メモリ２０３、レイヤ２画像メモリ２０４、およびレイヤ３画像メモリ２０５に格納させる。
縮小処理部２３１により縮小された後、拡大処理部２３３により拡大された画像は、元画像の高周波成分が除去されることになるため、元画像との差分が計算されることにより、高周波成分のみのが抽出された画像が生成されることになる。
このため、減算処理部２３２−１は、それぞれ入力された画像の高周波成分のみからなる画像をレイヤ０画像として生成し、減算処理部２３２−２は、入力された画像のレイヤ０画像よりも低い周波数成分の画像をレイヤ1画像として生成する。また、減算処理部２３２−３は、入力された画像のレイヤ１画像よりも低い周波数成分の画像をレイヤ２画像として生成する。尚、縮小処理部２３１より出力される画像は、レイヤ２以下の帯域成分を備えたレイヤ３画像となる。すなわち、多重解像度変換処理部２０１は入力された画像を、帯域分離して各レイヤ０乃至３の画像を出力しているとも言える。
次に、図２２を参照して、多重解像度逆変換処理部２１１の機能の一実施の形態の構成について説明する。
拡大処理部２５２−１乃至２５２−３は、多重解像度変換処理部２０１の拡大処理部２３３と同様のものであり、スーパーサンプリングによって入力された画像の画像サイズを例えば２倍に拡大し（例えば、２倍の解像度の画像に変換し）、後段に出力する。
加算処理部２５１−１乃至２５１−３は、それぞれレイヤ０ノイズ除去画像メモリ２０７、レイヤ１ノイズ除去画像メモリ２０８、レイヤ２ノイズ除去画像メモリ２０９、およびレイヤ３ノイズ除去画像メモリ２１０に格納されたレイヤ０ノイズ除去画像乃至レイヤ３ノイズ除去画像を読み出し、拡大処理部２５１−１乃至２５１−３のそれぞれより供給されてくる画像とを加算して、後段に出力する。
すなわち、拡大処理部２５２−３は、最低周波成分のレイヤ３ノイズ除去画像を拡大し、レイヤ２ノイズ除去画像と同じサイズの画像にして、加算処理部２５１−３に供給する。そして加算処理部２５１−３は、拡大されたレイヤ３ノイズ除去画像とレイヤ２ノイズ除去画像とを加算することにより、レイヤ３乃至レイヤ２までの帯域を持つ画像を生成し、拡大処理部２５２−２に供給する。
同様にして、拡大処理部２５２−２は、レイヤ３乃至レイヤ２のノイズ除去画像を拡大し、レイヤ１ノイズ除去画像と同じサイズの画像にして、加算処理部２５１−２に供給する。そして加算処理部２５１−２は、拡大されたレイヤ３乃至レイヤ２までのノイズ除去画像とレイヤ１ノイズ除去画像とを加算することにより、レイヤ３乃至レイヤ１までの帯域を持つ画像を生成し、拡大処理部２５２−１に供給する。
さらに、拡大処理部２５２−１は、レイヤ３乃至レイヤ１のノイズ除去画像を拡大し、レイヤ０ノイズ除去画像と同じサイズの画像にして、加算処理部２５１−１に供給する。そして加算処理部２５１−１は、拡大されたレイヤ３乃至レイヤ１までのノイズ除去画像とレイヤ０ノイズ除去画像とを加算することにより、レイヤ３乃至レイヤ０までの帯域の画像を統合し、最終的に元画像に等しい解像度と帯域を持つ画像を出力する
次に、図２３のフローチャートを参照して、図２０で示されるノイズ除去処理部４３を備えたDSPブロック１６による画像処理について説明する。尚、図２３のフローチャートにおけるステップＳ１３１乃至Ｓ１３３の処理、および、ステップＳ１３５乃至Ｓ１３９の処理については、図９のフローチャートにおけるステップＳ１乃至Ｓ３の処理、および、ステップＳ５乃至Ｓ９の処理と同様であるので、その説明は省略する。
すなわち、図２３のフローチャートにおいて、図９のフローチャートで異なるのは、ステップＳ１３４において、ノイズ除去処理に代えて、多重解像度ノイズ除去処理が実行される点である。
ここで、図２４のフローチャートを参照して、多重解像度ノイズ除去処理について説明する。
ステップＳ１６１において、多重解像度変換処理部２０１は、画像が入力されてくるか否かを判定し、入力されてくるまで、その処理を繰り返し、入力されてきた場合、その処理は、ステップＳ１６２に進む。
ステップＳ１６２において、多重解像度変換処理部２０１は、入力されてきた画像を多重解像度変換処理し、複数の帯域が異なる複数の画像に変換し、それぞれレイヤごとに、レイヤ０画像メモリ２０２、レイヤ１画像メモリ２０３、レイヤ２画像メモリ２０４、およびレイヤ３画像メモリ２０５に格納する。
ステップＳ１６３において、ノイズ除去処理部２０６−１乃至２０６−４は、それぞれが、それぞれの帯域の画像についてノイズ除去処理を実行し、ノイズ除去画像を、各レイヤ毎に、レイヤ０ノイズ除去画像メモリ２０７、レイヤ１ノイズ除去画像メモリ２０８、レイヤ２ノイズ除去画像メモリ２０９、およびレイヤ３ノイズ除去画像メモリ２１０に格納する。尚、それぞれのノイズ除去処理については、図１１を参照して説明した処理と同様であるので、その説明は省略する。
ステップＳ１６４において、多重解像度逆変換処理部２１１は、レイヤ０ノイズ除去画像メモリ２０７、レイヤ１ノイズ除去画像メモリ２０８、レイヤ２ノイズ除去画像メモリ２０９、およびレイヤ３ノイズ除去画像メモリ２１０に格納されている、レイヤ０乃至３のノイズ除去画像を読み出し、統合し、ステップＳ１６５において、非線形変換処理部４４に出力する。
次に、図２５のフローチャートを参照して、図２４のフローチャートにおけるステップＳ１６２の処理である多重解像度変換処理について説明する。
ステップＳ１８１において、多重解像度変換処理部２０１は、図示せぬカウンタＮを０に設定し初期化する。
ステップＳ１８２において、縮小処理部２３１は、Ｎ回縮小された画像を縮小する。すなわち、最初の処理では、Ｎは０、すなわち、入力された画像が、縮小処理部２３１−１により縮小される。
ステップＳ１８３において、多重解像度変換処理部２０１は、図示せぬカウンタＮを１インクリメントする。
ステップＳ１８４において、多重解像度変換処理部２０１は、カウンタＮが、カウンタＮの最大値（Nmax−１）であるか否かを判定する。ここで、Nmaxは、入力された画像を多重解像度画像に変換するレイヤ数である。従って、図２０で示されるように、レイヤ数は４となる。
例えば、ステップＳ１８４において、カウンタＮが、カウンタＮの最大値（Nmax−１）ではないと判定された場合、ステップＳ１８５において、縮小処理部２３１は、Ｎ回縮小された画像を減算処理部２３２および拡大処理部２３３に出力する。すなわち、最初の処理では、縮小処理部２３１−１が、減算処理部２３２−２および拡大処理部２３３−１に１回縮小された画像を出力する。
ステップＳ１８６において、拡大処理部２３３は、Ｎ回縮小された画像を拡大し、減算処理部２３２に出力する。すなわち、最初の処理においては、拡大処理部２３３−１が、縮小処理部２３１−１より供給されてきた１回縮小された画像を拡大し、減算処理部２３２−１に供給する。
ステップＳ１８７において、減算処理部２３２は、（Ｎ−１）回縮小された画像から、Ｎ回縮小されて、かつ、１回拡大された画像を減算する。すなわち、最初の処理では、減算処理部２３２−１が、入力された画像から拡大処理部２３３−１より供給された画像を減算する。
ステップＳ１８８において、減算処理部２３２は、ステップＳ１８７の処理により求められたレイヤ（Ｎ−１）の画像をレイヤ（Ｎ−１）画像メモリに格納させ、その処理は、ステップＳ１８２に戻る。すなわち、最初の処理においては、減算処理部２３２−１は、減算処理により得られた画像をレイヤ０画像メモリ２０２に格納させる
すなわち、ステップＳ１８４の処理において、カウンタＮが最大値（Ｎｍａｘ−１）であると判定されるまで、ステップＳ１８２乃至Ｓ１８８の処理が繰り返される。結果として、順次、縮小処理部２３１−２が、１回縮小された画像を縮小して、拡大処理部２３３−２および減算処理部２３３−３に供給し、拡大処理部２３３−２が、供給された２回縮小された画像を拡大して減算処理部２３２−２に供給し、減算処理部２３２−２が、１回縮小された画像から、２回縮小されて、かつ、拡大されたた画像を減算し、レイヤ１画像を生成して、レイヤ１画像メモリ２０３に格納する。
ステップＳ１８４の処理において、カウンタＮが最大値（Ｎｍａｘ−１）であると判定された場合、ステップＳ１８９において、縮小処理部２３１は、Ｎ回縮小された画像をレイヤＮ画像メモリおよび拡大処理部２３３に出力する。すなわち、ここでＮｍａｘは、４であるので、縮小処理部２３１−３が、減算処理部２３２−３およびレイヤ３メモリ２０５に３回縮小された画像を出力する。
ステップＳ１９０において、拡大処理部２３３は、Ｎ回縮小された画像を拡大し、減算処理部２３２に出力する。すなわち、ここでは、拡大処理部２３３−３が、縮小処理部２３１−３より供給されてきた３回縮小された画像を拡大し、減算処理部２３２−３に供給する。
ステップＳ１９１において、減算処理部２３２は、（Ｎ−１）回縮小された画像から、Ｎ回縮小されて、かつ、１回拡大された画像を減算する。すなわち、ここでは、減算処理部２３２−３が、２回縮小された画像から拡大処理部２３３−３より供給された画像を減算する。
ステップＳ１９２において、減算処理部２３２は、ステップＳ１９１の処理により求められたレイヤ（Ｎ−１）の画像をレイヤ（Ｎ−１）画像メモリに格納させ、その処理は、終了する。すなわち、ここでは、減算処理部２３２−３は、減算処理により得られた画像をレイヤ２画像メモリ２０４に格納させる
以上の処理により、帯域別に入力された画像が分離され、それぞれレイヤ毎に、レイヤ０画像メモリ２０２、レイヤ１画像メモリ２０３、レイヤ２画像メモリ２０４、およびレイヤ３画像メモリ２０５に格納されることになる。
次に、図２６のフローチャートを参照して、図２４のフローチャートにおけるステップＳ１６４の処理である多重解像度逆変換処理について説明する。
ステップＳ２１１において、多重解像度逆変換処理部２１１は、図示せぬカウンタＮをＮmax−１に設定する。このカウンタは、複数の多重解像度画像のレイヤ数により設定されるものであり、図２０の多重解像度逆変換処理部２１１においては、レイヤ０乃至３であるので、Nmaxは、４となる。
ステップＳ２１２において、拡大処理部２５２は、最低レイヤの画像を拡大する。すなわち、図２２の場合、拡大処理部２５２−３が、最低レイヤであるレイヤ３画像メモリ２１０に格納されている画像を拡大し、加算処理部２５１−３に供給する。
ステップＳ２１３において、多重解像度逆変換処理部２１１は、カウンタＮを１デクリメントする。
ステップＳ２１４において、多重解像度逆変換処理部２１１は、カウンタＮが０であるか否かを判定する。例えば、カウンタＮが０ではない場合、ステップＳ２１５において、加算処理部２５１は、拡大処理部２５２により拡大された画像に、レイヤＮ修正画像を加算し、1レイヤ上の拡大処理部２５２に出力する。すなわち、最初の処理では、加算処理部２５１−３が、拡大処理部２５２−３より供給された画像に、レイヤ２修正画像メモリ２０９に格納されているレイヤ２修正画像を加算し、拡大処理部２５２−２に供給する。
ステップＳ２１５において、拡大処理部２５２は、加算処理部２５１より供給されたレイヤＮ修正画像が加算された画像を拡大し、1レイヤ上の加算処理部２５１に供給し、ステップＳ２１４の処理に戻る。すなわち、最初の処理の場合、拡大処理部２５２−２が、加算処理部２５１−３より供給された画像を拡大し、加算処理部２５１−２に供給する。
すなわち、ステップＳ２１４において、カウンタＮが０であると判定されるまで、ステップＳ２１３乃至Ｓ２１６の処理が繰り返される。図２２の場合、さらに、加算処理部２５１−２が、拡大処理部２５２−２より供給された画像に、レイヤ１修正画像メモリ２０８に格納されているレイヤ１修正画像を加算し、拡大処理部２５２−１に供給する。
さらに、拡大処理部２５２−１は、加算処理部２５１−２より供給された画像を拡大し、加算処理部２５１−１に供給する。この処理の後、カウンタＮは０となるため、ステップＳ２１４において、カウンタＮは０であると判定され、ステップＳ２１７において、加算処理部２５１は、レイヤＮ、すなわち、レイヤ０修正画像をレイヤ修正画像メモリ２０７より読み出し、拡大処理部２５２により拡大された画像を加算する。すなわち、ここでは、加算処理部２５１−１が、最上位レイヤであるレイヤ０修正画像を拡大処理部２５２−１により拡大された画像に加算し、ステップＳ２１８において、出力する。
以上の処理により、レイヤ０修正画像、レイヤ１修正画像、レイヤ２修正画像、およびレイヤ３画像を多重化解像度画像逆変換することで、元の解像度の画像に統合することが可能となる。
以上によれば、図２０のノイズ除去処理部４３を備えたDSPブロック１６による画像処理により、入力されたRGBの画像信号の各チャネルのそれぞれにおいて、ノイズ成分のばらつきの輝度依存性がなくなるような非線形変換を施した後に、多重解像度変換し、解像度毎にノイズ成分を抽出し、抽出したノイズ成分を、確率的な出現頻度がノイズ確率モデルに合致するように補正し、複数の解像度の画像を統合し、非線形逆変換を施すことによって、従来よりも好適なノイズ除去を実現させるようにすることができる。
さらに、平滑化処理部１０１は、平滑化フィルタを用いてノイズを抽出しているが、平滑化フィルタは主に高周波成分に存在するノイズ成分を抽出する特性がある。したがって、平滑化処理部１０１は、低周波成分のノイズ成分を抽出することが困難である。また、イメージセンサ１６においては、アンプの熱雑音のような白色性、すなわち広帯域に存在するノイズ成分がある。このような広帯域のノイズ成分については、１つの平滑化フィルタによるノイズ抽出では不十分なことがある。
しかしながら、図２０のノイズ除去処理部４３においては、一旦入力された画像が多重解像度画像として帯域分離され、各レイヤごとにノイズ抽出処理、およびノイズ補正処理が実行されることになる。結果として、平滑化フィルタの特性を帯域別に設定することにより、ノイズ成分を全帯域にわたって効果的に除去することが可能になる。
さらに、多重解像度変換処理部２０１の構成は、縮小処理部２３１、拡大処理部２３３、および減算処理部２２２のセットで、実質的に高域フィルタが構成されることになり、減算部２２２の減算処理によって、順次低域のレイヤの画像が生成される。したがって、これらの高域フィルタをノイズ抽出処理部と捉えることも可能であることから、例えば、図４のノイズ抽出処理部８１を代用するものと捉えることも可能である。従って、図２０におけるノイズ除去処理部２０６は、例えば、図２７で示されるように、図４のノイズ除去処理部４３よりノイズ抽出処理部８１を省略した構成とするようにしても良い。
以上によれば、入力画像から抽出したノイズ成分に対して、所定のノイズ確率モデルに基づいて補正し、補正したノイズ成分が入力画像から差し引かれることにより、分離するノイズ成分を理想的なノイズ確率モデルで推定される量に一致させるようにすることが可能となり、本来の元信号がノイズとして過度に削られ過ぎず、細かいテクスチャなどへの影響を減らしつつ効果的なノイズ除去が可能となる。
また、ノイズ確率モデルに基づいたノイズ成分をヒストグラムマッチングにより補正するようにしたので、比較的簡易な演算により、効果的なノイズ補正が可能となる。
さらに、ノイズ除去処理前に、ノイズの輝度依存性が除去されるように非線形変換するようにしたので、よりシンプルなノイズ確率モデルを用いてノイズ除去をすることが可能となる。
また、入力画像を多重解像度画像に変換し、その各レイヤについて、ノイズ除去処理するようにしたので、白色ノイズのように広帯域のノイズに対しても、全ての帯域に対して適切にノイズを除去することが可能となり、効果的なノイズ除去を実現することが可能となる。
さらに、CCDやCMOSに代表されるイメージセンサにおいて発生するランダムなノイズ成分を効果的に除去することが可能となるため、結果として、高画質な画像を生成することが可能となる。
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
図２８は、図２のDSPブロック１６の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU４０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU４０１は、バス４０４および入出力インタフェース４０５を介してユーザからキーボードやマウスなどからなる入力部４０６から指令が入力されると、それに対応してROM(Read Only Memory)４０２に格納されているプログラムを実行する。あるいはまた、CPU４０１は、ドライブ４１０に接続された磁気ディスク４２１、光ディスク４２２、光磁気ディスク４２３、または半導体メモリ４２４から読み出され、記憶部４０８にインストールされたプログラムを、RAM(Random Access Memory)４０３にロードして実行する。これにより、上述した図２のDSPブロック１６の機能が、ソフトウェアにより実現されている。さらに、CPU４０１は、通信部４０９を制御して、外部と通信し、データの授受を実行する。
プログラムが記録されている記録媒体は、図２８に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４２１（フレキシブルディスクを含む）、光ディスク４２２（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク４２３（MD（Mini-Disc）を含む）、もしくは半導体メモリ４２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM４０２や、記憶部４０８に含まれるハードディスクなどで構成される。
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
本発明を適用したデジタルスチルカメラの一実施の形態の構成を説明するブロック図である。 図１のDSPブロックにより実現される機能の一実施の形態の構成を示すブロック図である。 図２の非線形変換処理部の詳細な機能の一実施の形態の構成を示すブロック図である。 図２のノイズ除去処理部の詳細な機能の一実施の形態の構成を示すブロック図である。 図４のノイズ除去処理部におけるノイズ抽出処理部の機能の詳細な一実施の形態の構成を示すブロック図である。 図４のノイズ除去処理部におけるノイズ補正処理部の機能について詳細な一実施の形態の構成を示すブロック図である。 図６のノイズ補正処理部における補正関数算出処理部の機能について詳細な一実施の形態の構成を示すブロック図である。 図３の非線形逆変換処理部の機能の詳細な一実施の形態の構成を説明するブロック図である。 図３のDSPブロックによる画像処理を説明するフローチャートである。 非線形変換処理を説明するフローチャートである。 ノイズ除去処理を説明するフローチャートである。 ノイズ抽出処理を説明するフローチャートである。 ノイズ補正処理を説明するフローチャートである。 画像信号成分のヒストグラム形状の例を示す図である。 ノイズ成分のヒストグラム形状の例を示す図である。 ノイズ成分を含んで計測された画像信号のヒストグラム形状の例を示す図である。 ヒストグラムマッチングに基づくノイズ成分補正処理の動作原理を説明する図である。 累積ヒストグラムの算出および累積ヒストグラム関数によるマッピングを順位値算出処理に置き換える場合のノイズ補正処理部の機能の一実施の形態の構成を示す図である。 図１８のノイズ補正処理部によるノイズ補正処理を説明するフローチャートである。 多重解像度処理を組み合わせた場合のノイズ除去処理部の機能の一実施の形態の構成を説明するブロック図である。 多重解像度変換処理部の機能の一実施の形態の構成を説明するブロック図である。 多重解像度逆変換処理部の機能の一実施の形態の構成について説明する図である。 図２０で示されるノイズ除去処理部を備えたDSPブロックによる画像処理を説明するフローチャートである。 多重解像度ノイズ除去処理を説明するフローチャートである。 多重解像度変換処理を説明するフローチャートである。 多重解像度逆変換処理を説明するフローチャートである。 図４のノイズ除去処理部よりノイズ抽出処理部を省略したノイズ除去処理部の一実施の形態の構成を説明する図である。 記録媒体を説明する図である。
符号の説明
１１ レンズ， １２ 絞り， １３ イメージセンサ， １４ 相関2重サンプリング回路， １５ A/Dコンバータ， １６ DSPブロック， １７ タイミングジェネレータ， １８ D/Aコンバータ， １９ ビデオエンコーダ， ２０ 表示部， ２１ コーデック処理部， ２２ メモリ， ２３ CPU， ２４ 操作入力部， ２５ バス， ４１ デモザイク処理部， ４２，４２−１乃至４２−３ 非線形変換処理部， ４３，４３−１乃至４３−３ ノイズ除去処理部， ４４，４４−１乃至４４−３ 非線形逆変換処理部， ４５ ホワイトバランス処理部， ４６ ガンマ補正処理部， ４７ YC変換処理部， ６１ 熱雑音ばらつき計測処理部， ６２ ゲイン値獲得処理部， ６３ 変換曲線算出処理部， ６４ 変換曲線LUT， ６５ マッピング処理部， ８１ ノイズ抽出処理部， ８２ ノイズ候補画像メモリ， ８３ ノイズ補正処理部， ８４ ノイズ確率モデルメモリ， ８５ 補正ノイズ画像メモリ， ８６ 減算処理部， １０１ 平滑化処理部， １０２ 減算処理部， １２１ 補正関数算出処理部， １２２ 補正関数LUT， １２３ 補正関数適用処理部， １４１ 累積ヒストグラム算出処理部， １４２ 合成関数算出処理部， １６１ 熱雑音ばらつき計測処理部， １６２ ゲイン値獲得処理部， １６３ 変換曲線算出処理部， １６４ 変換曲線LUT， １６５ 逆マッピング処理部， １８１ 順位値算出処理部， １８２ 逆マッピング処理部， ２０１ 多重解像度変換処理部， ２０２ レイヤ０画像メモリ， ２０３ レイヤ１画像メモリ， ２０４ レイヤ２画像メモリ， ２０５ レイヤ３画像メモリ，２０６，２０６−１乃至２０６−４ ノイズ除去処理部， ２０７ レイヤ０ノイズ除去画像， ２０８ レイヤ１ノイズ除去画像， ２０９ レイヤ２ノイズ除去画像， ２１０ レイヤ３ノイズ除去画像， ２１１ 多重解像度逆変換処理部， ２３１，２３１−１乃至２３１−３ 縮小処理部， ２３２，２３２−１乃至２３２−３ 減算処理部， ２３３，２３３−１乃至２３３−３ 拡大処理部， ２５１，２５１−１乃至２５１−３ 加算処理部， ２５２，２５２−１乃至２５２−３ 拡大処理部

Claims (17)

  1. 入力画像よりノイズ成分を抽出するノイズ抽出手段と、
    所定のノイズ確率モデルに基づいて、前記ノイズ抽出手段により抽出されたノイズ成分を補正するノイズ補正手段と、
    前記入力画像より前記ノイズ補正手段により補正されたノイズ成分を減算するノイズ成分減算手段と
    を備えることを特徴とする画像処理装置。
  2. 前記ノイズ補正手段は、
    補正後のノイズ成分から得られるヒストグラム関数と、前記所定のノイズ確率モデルから得られる確率密度分布関数の形状が一致するように補正関数形状を決定する補正関数形状決定手段を備え、
    前記補正関数形状決定手段により決定された補正関数形状の補正関数により、前記各画素値におけるノイズ成分を補正する
    ことを特徴とする前記請求項１に記載の画像処理装置。
  3. 前記補正関数形状決定手段は、
    前記各画素値におけるノイズ成分より累積ヒストグラム関数を算出する累積ヒストグラム関数算出手段と、
    前記累積ヒストグラム関数と、前記所定のノイズ確率モデルから得られる累積密度関数の逆関数との合成関数を算出する合成関数算出手段とを備え、
    前記合成関数を前記補正関数形状の補正関数に決定する
    ことを特徴とする請求項２に記載の画像処理装置。
  4. 前記ノイズ補正手段は、
    前記ノイズ成分を補正する注目画素について、前記注目画素の周辺の複数の画素におけるノイズ成分値の順位値を算出する順位値算出手段と、
    前記所定のノイズ確率モデルから得られるノイズ成分値の累積密度関数に対して、前記順位値でマッピングするマッピング手段とを備え、
    前記マッピング手段により前記所定のノイズ確率モデルから得られるノイズ成分値の累積密度関数に対して、前記順位値でマッピングすることにより前記ノイズ成分を補正する
    ことを特徴とする請求項１に記載の画像処理装置。
  5. 前記ノイズ抽出手段は、
    前記入力画像の各画素に平滑化フィルタを適用する平滑化手段と、
    前記入力画像の各画素の画素値から、前記平滑化手段により平滑化された画素の画素値を差し引く平滑化成分減算手段と
    を備えることを特徴とする請求項１に記載の画像処理装置。
  6. 前記平滑化フィルタは、
    前記入力画像中の物体輪郭を平滑化しない特性を持つエッジ保存平滑化フィルタである
    ことを特徴とする請求項５に記載の画像処理装置。
  7. 入力画像よりノイズ成分を抽出するノイズ抽出ステップと、
    所定のノイズ確率モデルに基づいて、前記ノイズ抽出手段により抽出されたノイズ成分を補正するノイズ補正ステップと、
    前記入力画像より前記ノイズ補正手段により補正されたノイズ成分を減算するノイズ成分減算ステップと
    を含むことを特徴とする画像処理方法。
  8. 入力画像よりノイズ成分を抽出するノイズ抽出ステップと、
    所定のノイズ確率モデルに基づいて、前記ノイズ抽出手段により抽出されたノイズ成分を補正するノイズ補正ステップと、
    前記入力画像より前記ノイズ補正手段により補正されたノイズ成分を減算するノイズ成分減算ステップと
    を含む処理をコンピュータに実行させることを特徴とするプログラム。
  9. 入力画像を多重解像度からなる複数のレイヤの画像に変換する多重解像度変換手段と、
    前記複数のレイヤのそれぞれの画像より、ノイズ成分を抽出するノイズ抽出手段と、
    前記ノイズ抽出手段により抽出された前記複数のレイヤのそれぞれの画像のノイズ成分を、所定のノイズ確率モデルに基づいて補正するノイズ補正手段と、
    前記複数のレイヤのそれぞれの画像について、前記ノイズ補正手段により補正されたノイズ成分を減算するノイズ成分減算手段と、
    前記ノイズ成分減算手段によりノイズ成分が減算された、前記複数のレイヤの画像を多重解像度逆変換する多重解像度逆変換手段と
    を備えることを特徴とする画像処理装置。
  10. 前記ノイズ成分抽出手段は、
    前記複数のレイヤの画像の各画素値をノイズ成分として抽出する
    ことを特徴とする請求項９に記載の画像処理装置。
  11. 入力画像を多重解像度からなる複数のレイヤの画像に変換する多重解像度変換ステップと、
    前記複数のレイヤのそれぞれの画像より、ノイズ成分を抽出するノイズ抽出ステップと、
    前記ノイズ抽出ステップの処理により抽出された前記複数のレイヤのそれぞれの画像のノイズ成分を、所定のノイズ確率モデルに基づいて補正するノイズ補正ステップと、
    前記複数のレイヤのそれぞれの画像について、前記ノイズ補正ステップの処理により補正されたノイズ成分を減算するノイズ成分減算ステップと、
    前記ノイズ成分減算ステップの処理によりノイズ成分が減算された、前記複数のレイヤの画像を多重解像度逆変換する多重解像度逆変換ステップと
    を含むことを特徴とする画像処理方法。
  12. 入力画像を多重解像度からなる複数のレイヤの画像に変換する多重解像度変換ステップと、
    前記複数のレイヤのそれぞれの画像より、ノイズ成分を抽出するノイズ抽出ステップと、
    前記ノイズ抽出ステップの処理により抽出された前記複数のレイヤのそれぞれの画像のノイズ成分を、所定のノイズ確率モデルに基づいて補正するノイズ補正ステップと、
    前記複数のレイヤのそれぞれの画像について、前記ノイズ補正ステップの処理により補正されたノイズ成分を減算するノイズ成分減算ステップと、
    前記ノイズ成分減算ステップの処理によりノイズ成分が減算された、前記複数のレイヤの画像を多重解像度逆変換する多重解像度逆変換ステップと
    を含む処理をコンピュータに実行させることを特徴とするプログラム。
  13. イメージセンサによって得られる画像の画素を、ノイズ成分の輝度値依存性を打ち消すように非線形変換する非線形変換手段と、
    前記非線形変換手段により非線形変換された画素からなる画像よりノイズ成分を分離するノイズ成分分離手段と
    を備えることを特徴とする画像処理装置。
  14. 前記非線形変換手段は、
    前記イメージセンサで発生する確率的なランダムノイズの標準偏差に基づいて、各輝度レベルにおけるノイズ標準偏差の逆数に比例するような傾きを持つ単調増加関数による輝度レベルのマッピングにより、前記ノイズ成分の輝度値依存性を打ち消すように非線形変換する
    ことを特徴とする請求項１３に記載の画像処理装置。
  15. 前記非線形変換手段は、
    前記イメージセンサによって得られる画像の画素値を増幅し、ゲイン値として取得するゲイン値取得手段と、
    前記イメージセンサの熱雑音のばらつき値を計測するばらつき値計測手段と、
    前記ゲイン値と、前記熱雑音ばらつき値とをパラメータとして決定される前記非線形変換関数を算出する非線形変換関数算出手段とを備え、
    前記非線形変換関数算出手段により算出された非線形変換関数により、イメージセンサによって得られる画像の画素を、ノイズ成分の輝度値依存性を打ち消すように非線形変換する
    ことを特徴とする請求項１３に記載の画像処理装置。
  16. イメージセンサによって得られる画像の画素を、ノイズ成分の輝度値依存性を打ち消すように非線形変換する非線形変換ステップと、
    前記非線形変換ステップの処理により非線形変換された画素からなる画像よりノイズ成分を分離するノイズ成分分離ステップと
    を含むことを特徴とする画像処理方法。
  17. イメージセンサによって得られる画像の画素を、ノイズ成分の輝度値依存性を打ち消すように非線形変換する非線形変換ステップと、
    前記非線形変換ステップの処理により非線形変換された画素からなる画像よりノイズ成分を分離するノイズ成分分離ステップと
    を含む処理をコンピュータに実行させることを特徴とするプログラム。
JP2005128831A 2005-04-27 2005-04-27 画像処理装置および方法、並びにプログラム Pending JP2006310999A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005128831A JP2006310999A (ja) 2005-04-27 2005-04-27 画像処理装置および方法、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005128831A JP2006310999A (ja) 2005-04-27 2005-04-27 画像処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2006310999A true JP2006310999A (ja) 2006-11-09

Family

ID=37477398

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005128831A Pending JP2006310999A (ja) 2005-04-27 2005-04-27 画像処理装置および方法、並びにプログラム

Country Status (1)

Country Link
JP (1) JP2006310999A (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008105268A1 (ja) * 2007-02-28 2008-09-04 Nikon Corporation 画像処理方法
JP2009071479A (ja) * 2007-09-12 2009-04-02 Sanyo Electric Co Ltd ビデオカメラ
WO2009093673A1 (ja) * 2008-01-25 2009-07-30 Sony Corporation 画像処理装置および方法、並びにプログラム
JP2010093623A (ja) * 2008-10-09 2010-04-22 Denso Corp 画像処理装置
JP2010176128A (ja) * 2009-01-30 2010-08-12 Sony Corp ２画像マッチングに基づく深度推定のための２次元多項式モデル
KR20110030559A (ko) * 2008-06-13 2011-03-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 용량성 근접 디바이스 및 용량성 근접 디바이스를 포함하는 전자 디바이스
JP2011227871A (ja) * 2010-03-30 2011-11-10 Nikon Corp 画像処理装置、撮像装置および画像処理プログラム
WO2012008116A1 (en) * 2010-07-12 2012-01-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
US8149285B2 (en) 2007-09-12 2012-04-03 Sanyo Electric Co., Ltd. Video camera which executes a first process and a second process on image data
JP2012134576A (ja) * 2010-12-17 2012-07-12 Canon Inc 画像処理装置、画像処理方法
JP2012156968A (ja) * 2011-01-28 2012-08-16 Canon Inc 画像処理装置、画像処理方法、及びプログラム
US8265412B2 (en) 2007-02-02 2012-09-11 Nikon Corporation Image processing method
WO2013118364A1 (ja) * 2012-02-09 2013-08-15 ソニー株式会社 画像処理装置および画像処理方法
KR20140003835A (ko) * 2012-06-29 2014-01-10 삼성전자주식회사 영상의 노이즈 제거 장치 및 방법
US8687907B2 (en) 2009-01-28 2014-04-01 Fujitsu Limited Image processing apparatus and image processing method
US8830359B2 (en) 2010-03-30 2014-09-09 Nikon Corporation Image processing apparatus, imaging apparatus, and computer readable medium
WO2016104839A1 (ko) * 2014-12-26 2016-06-30 재단법인 다차원 스마트 아이티 융합시스템 연구단 멀티 애퍼처 카메라 시스템에서 이미지의 히스토그램을 이용하여 깊이 정보를 추출하는 방법 및 장치
US9773159B2 (en) 2014-09-16 2017-09-26 Samsung Electronics Co., Ltd. Method and apparatus for extracting image feature
CN112545541A (zh) * 2019-09-26 2021-03-26 株式会社日立制作所 医用图像处理装置以及医用图像处理方法
JP2021057866A (ja) * 2019-10-02 2021-04-08 キヤノン株式会社 画像読取装置および画像読取装置の制御方法
CN112950501A (zh) * 2021-02-26 2021-06-11 平安科技（深圳）有限公司 基于噪声场的图像降噪方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07212627A (ja) * 1994-01-18 1995-08-11 Sony Corp ノイズ低減装置
JPH0818957A (ja) * 1994-06-28 1996-01-19 Matsushita Electric Ind Co Ltd 条件付フィルタの自動閾値設定方法及びその復号方法
JP2000232384A (ja) * 1999-02-09 2000-08-22 Sony Corp データ処理装置およびデータ処理方法
JP2001285706A (ja) * 2000-04-03 2001-10-12 Nikon Corp 電子カメラ、画像処理プログラムを記録した記録媒体、および画像処理方法
JP2005039830A (ja) * 2003-07-15 2005-02-10 Samsung Electronics Co Ltd ノイズ状態を考慮した適応的ビデオ信号処理装置及び方法
JP2006245694A (ja) * 2005-02-28 2006-09-14 Toshiba Corp 画像処理装置及び画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07212627A (ja) * 1994-01-18 1995-08-11 Sony Corp ノイズ低減装置
JPH0818957A (ja) * 1994-06-28 1996-01-19 Matsushita Electric Ind Co Ltd 条件付フィルタの自動閾値設定方法及びその復号方法
JP2000232384A (ja) * 1999-02-09 2000-08-22 Sony Corp データ処理装置およびデータ処理方法
JP2001285706A (ja) * 2000-04-03 2001-10-12 Nikon Corp 電子カメラ、画像処理プログラムを記録した記録媒体、および画像処理方法
JP2005039830A (ja) * 2003-07-15 2005-02-10 Samsung Electronics Co Ltd ノイズ状態を考慮した適応的ビデオ信号処理装置及び方法
JP2006245694A (ja) * 2005-02-28 2006-09-14 Toshiba Corp 画像処理装置及び画像処理方法

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8265412B2 (en) 2007-02-02 2012-09-11 Nikon Corporation Image processing method
US8249341B2 (en) 2007-02-28 2012-08-21 Nikon Corporation Image processing method for removing noise contained in an image
WO2008105268A1 (ja) * 2007-02-28 2008-09-04 Nikon Corporation 画像処理方法
JP4858610B2 (ja) * 2007-02-28 2012-01-18 株式会社ニコン 画像処理方法
JP2009071479A (ja) * 2007-09-12 2009-04-02 Sanyo Electric Co Ltd ビデオカメラ
US8149285B2 (en) 2007-09-12 2012-04-03 Sanyo Electric Co., Ltd. Video camera which executes a first process and a second process on image data
WO2009093673A1 (ja) * 2008-01-25 2009-07-30 Sony Corporation 画像処理装置および方法、並びにプログラム
JP2009177558A (ja) * 2008-01-25 2009-08-06 Sony Corp 画像処理装置および方法、並びにプログラム
KR101677752B1 (ko) 2008-06-13 2016-11-18 코닌클리케 필립스 엔.브이. 용량성 근접 디바이스 및 용량성 근접 디바이스를 포함하는 전자 디바이스
KR20110030559A (ko) * 2008-06-13 2011-03-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 용량성 근접 디바이스 및 용량성 근접 디바이스를 포함하는 전자 디바이스
JP2011525323A (ja) * 2008-06-13 2011-09-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 容量性近接装置及び容量性近接装置を有する電子装置
JP2010093623A (ja) * 2008-10-09 2010-04-22 Denso Corp 画像処理装置
JP4661934B2 (ja) * 2008-10-09 2011-03-30 株式会社デンソー 画像処理装置
US8310546B2 (en) 2008-10-09 2012-11-13 Denso Corporation Image processing apparatus adapted to recognize object in acquired image
US8687907B2 (en) 2009-01-28 2014-04-01 Fujitsu Limited Image processing apparatus and image processing method
KR101345012B1 (ko) * 2009-01-30 2013-12-24 소니 일렉트로닉스 인코포레이티드 이미지를 전자적으로 캡처하는 장치, 카메라로부터 물체까지의 초점 거리를 추정하는 장치, 카메라―물체 초점 심도의 자동 추정 방법 및 컴퓨터―판독가능 매체
JP2010176128A (ja) * 2009-01-30 2010-08-12 Sony Corp ２画像マッチングに基づく深度推定のための２次元多項式モデル
JP2011227871A (ja) * 2010-03-30 2011-11-10 Nikon Corp 画像処理装置、撮像装置および画像処理プログラム
US8830359B2 (en) 2010-03-30 2014-09-09 Nikon Corporation Image processing apparatus, imaging apparatus, and computer readable medium
WO2012008116A1 (en) * 2010-07-12 2012-01-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
JP2012023455A (ja) * 2010-07-12 2012-02-02 Canon Inc 画像処理装置、画像処理方法、及びプログラム
US8942477B2 (en) 2010-07-12 2015-01-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
JP2012134576A (ja) * 2010-12-17 2012-07-12 Canon Inc 画像処理装置、画像処理方法
JP2012156968A (ja) * 2011-01-28 2012-08-16 Canon Inc 画像処理装置、画像処理方法、及びプログラム
WO2013118364A1 (ja) * 2012-02-09 2013-08-15 ソニー株式会社 画像処理装置および画像処理方法
CN104106259A (zh) * 2012-02-09 2014-10-15 索尼公司 图像处理设备和图像处理方法
US9240065B2 (en) 2012-02-09 2016-01-19 Sony Corporation Image processing apparatus and image processing method
CN104106259B (zh) * 2012-02-09 2018-01-30 索尼公司 图像处理设备和图像处理方法
KR20140003835A (ko) * 2012-06-29 2014-01-10 삼성전자주식회사 영상의 노이즈 제거 장치 및 방법
KR101931332B1 (ko) * 2012-06-29 2018-12-20 삼성전자주식회사 영상의 노이즈 제거 장치 및 방법
US9773159B2 (en) 2014-09-16 2017-09-26 Samsung Electronics Co., Ltd. Method and apparatus for extracting image feature
WO2016104839A1 (ko) * 2014-12-26 2016-06-30 재단법인 다차원 스마트 아이티 융합시스템 연구단 멀티 애퍼처 카메라 시스템에서 이미지의 히스토그램을 이용하여 깊이 정보를 추출하는 방법 및 장치
CN112545541B (zh) * 2019-09-26 2024-04-23 富士胶片医疗健康株式会社 医用图像处理装置以及医用图像处理方法
CN112545541A (zh) * 2019-09-26 2021-03-26 株式会社日立制作所 医用图像处理装置以及医用图像处理方法
JP2021057866A (ja) * 2019-10-02 2021-04-08 キヤノン株式会社 画像読取装置および画像読取装置の制御方法
JP7353899B2 (ja) 2019-10-02 2023-10-02 キヤノン株式会社 画像読取装置および画像読取装置の制御方法
CN112950501A (zh) * 2021-02-26 2021-06-11 平安科技（深圳）有限公司 基于噪声场的图像降噪方法、装置、设备及存储介质
CN112950501B (zh) * 2021-02-26 2023-10-13 平安科技（深圳）有限公司 基于噪声场的图像降噪方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
JP2006310999A (ja) 画像処理装置および方法、並びにプログラム
JP4501855B2 (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
JP5197414B2 (ja) 画像処理装置及び画像処理方法
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
JP4651716B2 (ja) 複数の画像フレームに基づく画像形成方法、画像処理システム、およびデジタルカメラ
JP4803284B2 (ja) 画像処理装置、及び画像処理プログラム
JP5102896B2 (ja) 予め設定された階調再現曲線を使用して画像を処理するためのシステム及び方法
US11625815B2 (en) Image processor and method
JP5003196B2 (ja) 画像処理装置および方法、並びに、プログラム
JP4208909B2 (ja) 画像処理装置と撮影装置
JP5343726B2 (ja) 画像処理装置、及び画像処理プログラム
JP4803178B2 (ja) 画像処理装置、コンピュータプログラム製品および画像処理方法
JP4645921B2 (ja) 画像信号処理装置および方法、プログラム、並びに撮像装置
JP2012239103A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5887303B2 (ja) 画像信号処理装置，撮像装置および画像処理プログラム
TW200838285A (en) Image processing apparatus, image capturing apparatus, image processing method in these apparatuses, and program allowing computer to execute the method
US8463034B2 (en) Image processing system and computer-readable recording medium for recording image processing program
JP2011100204A (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器
JP7463640B2 (ja) 空間多重露光のための方法、装置及び記憶媒体
JP2009100302A (ja) 画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法
US8390699B2 (en) Opponent color detail enhancement for saturated colors
JP2010178226A (ja) 撮像装置、色収差抑制方法、色収差抑制回路及びプログラム
Park Architectural analysis of a baseline isp pipeline
JP5586031B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110502

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110524