JP2006311000A

JP2006311000A - 画像処理装置および方法、並びにプログラム

Info

Publication number: JP2006311000A
Application number: JP2005128832A
Authority: JP
Inventors: Tomoo Mitsunaga; 知生光永; Nobukuni Nomura; 宜邦野村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-04-27
Filing date: 2005-04-27
Publication date: 2006-11-09
Anticipated expiration: 2025-04-27
Also published as: JP5035585B2

Abstract

【課題】固体撮像素子などのイメージセンサを用いて得られた画像信号のクロマ成分に混在するノイズ成分を効率よく除去し、色ムラや色ズレという現象を抑制する。
【解決手段】多重解像度変換処理部８１は、N個の画像を多重解像度画像の複数のレイヤ画像に変換し、修正処理部８６変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、N個の画像中の１つの画像を、N個の画像間の相関に基づいて修正し、多重解像度逆変換処理部９０は、修正された各レイヤ画像を多重解像度逆変換する。本発明は、画像処理装置に適用することが可能である。
【選択図】図４

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、固体撮像素子などのイメージセンサを用いて得られた画像信号に混在するノイズ成分の中でも特にイメージセンサで生じるノイズ成分を除去できるようにした画像処理装置および方法、並びにプログラムに関する。

ノイズを含んだ信号から信号成分とノイズ成分を分離する処理は信号処理の最大の関心事であり、非常に多種多様の技術がこれまでに開発されてきた。画像信号の場合、特に撮像時にイメージセンサ内部で生じるランダムなノイズ成分が問題となっている。イメージセンサ起因のノイズにもいろいろな種類があるが、そのなかでも、クロマ成分に混在するノイズであって、画像を観察したときに色ムラあるいは色ズレという現象として認識されるノイズが、改善されることにより、高画質化が期待される。

このようなクロマ成分に混在するノイズの原因としては、少なくとも以下の２点が挙げられる。

第1点としては、チャネル間で独立にランダムノイズが発生していることが挙げられる。すなわち、固体撮像素子は、通常それ自体が幅広い分光感度を持っているので、カラー画像を撮像する場合、カラーフィルタなどで分光感度を変えた複数（通常３種類）のイメージセンサが利用される。この場合、３チップの固体撮像素子を用いてそれぞれに独立した異なる分光感度を持たせる方法と、１チップのみで、画素単位で分光感度を変える方法とがある。しかしながら、いずれの方法においてもそれぞれのチャネル（色）の信号は独立した異なるイメージセンサによって獲得されるので、イメージセンサで発生するランダムノイズも当然のことながらチャネル間に独立に発生することになる。結果として、クロマ成分に独立なノイズ成分が生じてしまう。

また、第2の点としては、光学系の色収差が原因となっていることが挙げられる。すなわち、色収差は、波長ごとに屈折率が異なるため、色によって収差の出方が異なることにより発生するものであるが、この色収差により特定のチャネルの画像だけがぼけたり、被写体のエッジ部分で位置がずれたりという現象が発生する。結果として、この現象が、上述した色ムラあるいは色ズレとして観察されてしまう。

そこで、このようなクロマ成分に混在するノイズを除去する技術が提案されている。

例えば、画像の高輝度領域など色収差によって色ズレを生じやすい領域を輝度信号をたよりに検出し、検出した領域に対して適度に膨張処理したのち、膨張させた領域内の色差信号に平滑化処理をおこなうものがある（例えば、特許文献１参照）。

また、画像中の被写体エッジ領域以外については、色差信号に高周波はあまりないという仮定から、エッジ領域以外の領域に対しては、平均値処理によって高周波成分を除去した色差信号を算出することで色差ノイズを除去するものがある（例えば、特許文献２参照）。同様に輝度信号に高周波成分がないところでは色差信号にも高周波成分はあまりないという仮定に基づいて色差ノイズを除去するものがある（例えば、特許文献３参照）。

以上の従来技術は、イメージセンサ出力から輝度信号と色差信号を生成した後に行うことができるものであるが、イメージセンサが原色（RGB）信号を出力するような場合にRGB信号においてクロマ成分のノイズを除去する技術としてして、RGB画像に対し、局所的なR-G相関係数とB-G相関係数を算出し、それぞれの相関係数に基づいてRとBに対する補正値を算出することによって、特に被写体エッジにおける色ズレを効果的に補正しようとするものがある（例えば、特許文献４参照）。
特開平５−１４９２５号公報特開平３−２９１０９３号公報特開２００３−２２４８６１号公報特開２００３−２３０１５９号公報

しかしながら、上述した技術においては、例えば、特許文献１に記載されている高輝度領域の色収差による色ズレに対処する技術では、適切な効果を得るためには画像上に発生する色収差の大きさに応じて膨張処理や伝播・拡散処理をおこなう広さを調整することが必要である。色収差の大きさはイメージセンサの画素数や光学系の性能に依存し、場合によっては数十画素(orライン)規模の膨張処理や伝播・拡散処理が必要となりうる。膨張処理や伝播・拡散処理は均一な局所処理を全画素に対しておこなうことを複数回繰り返す処理なので、それらをハードウェアで実現することを検討した場合、繰り返し回数に比例したフレームメモリへのアクセス回数、若しくは相当量のディレイラインの実装が必要となり、回路規模が大きくなりすぎてしまい、現実的ではない。

また、特許文献１乃至３に記載されている技術は、輝度信号に基づいて、色差信号に平滑化処理をおこなう場所を限定し、限定された領域において色差信号が平滑化されることによりノイズが低減する、という共通点がある。すなわち、これらの技術においてはクロマ成分のノイズを除去する代償として色差信号の高周波成分が失われてしまう恐れがある。

一方、特許文献４に記載されている技術は、RGBチャネル間の相関の強さに基づいて、補正すべきチャネル（通常はRとB）の補正値を算出するものである。この補正値は参照されるチャネル（通常はG）の高周波成分に基づいて、補正すべきチャネルの適切な高周波成分が含まれるように算出されるので、この手法を用いれば上述した特許文献１乃至３の技術におけるクロマ成分の高周波成分を劣化させないようにすることが可能である。

しかしながら、近年イメージセンサの画素数増大にともない、色収差による色ズレやチャネル間に独立なランダムノイズが低周波成分にも拡大し、特許文献４で示されている手法のような局所的な演算で高周波成分のクロマ成分ノイズを除去するだけでは不十分な状況になりつつある。

本発明はこのような状況に鑑みてなされたものであり、特に、固体撮像素子などのイメージセンサを用いて得られた画像信号のクロマ成分に混在するノイズ成分を効率よく除去し、色ムラや色ズレという現象を抑制するものである。

本発明の画像処理装置は、N個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換手段と、多重解像度変換手段により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、N個の画像中の１つの画像を、N個の画像間の相関に基づいて修正する修正手段と、修正手段により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換手段とを備えることを特徴とする。

前記Nは２とするようにすることができる。

前記修正手段には、２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出手段と、第１の画像の周辺画素の画素値に基づいて、第１の画像の画素値の分散値を算出する分散値算出手段と、第１の画像、および、第２の画像のそれぞれの周辺画素の画素値に基づいて、第１の画像、および、第２の画像の画素値の共分散値を算出する共分散値算出手段と、共分散値を分散値で除した係数を算出する係数算出手段とを設けるようにさせることができ、係数を第１の画像の注目画素の画素値に乗じた値を、第２の画像の注目画素の画素値として修正させることができる。

共分散値算出手段には、第１の画像、および、第２の画像のそれぞれの周辺画素の画素値の絶対値の最小値に、第１の画像の符号および第２の画像の符号を乗算した注目画素の近似値を算出させ、算出された注目画素の近似値に基づいて、共分散値を算出させるようにすることができ、分散値算出手段には、第１の画像、および、第２の画像のそれぞれの注目画素の画素値の近似値の期待値を算出させ、算出された期待値に基づいて、分散値を算出させるようにすることができる。

前記係数算出手段には、分散値が所定の閾値よりも小さい場合、所定の閾値を分散値として係数を算出させるようにすることができる。

前記修正手段には、２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出手段と、第１の画像、および、第２の画像の周辺画素の画素値に基づいて、第１の画像の画素値の第１の分散値、および、第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出手段と、第１の画像、および、第２の画像のそれぞれの周辺画素の画素値に基づいて、第１の画像、および、第２の画像の画素値の共分散値を算出する共分散値算出手段と、第１の分散値、第２の分散値、および共分散値とに基づいて、第１の画像、および、第２の画像の相関を算出する相関算出手段と、相関が弱い場合、第１画像の注目画素の画素値を、第２の画像の注目画素の画素値として選択する選択手段とを設けるようにさせることができる。

前記修正手段には、２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出手段と、第１の画像、および、第２の画像の周辺画素の画素値に基づいて、第１の画像の画素値の第１の分散値、および、第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出手段と、第１の分散値、および第２の分散値の差分を算出する差分算出手段と、分散値の差分が大きい場合、第１の画像の注目画素値を、第２の画像の注目画素値として選択する選択手段とを設けるようにさせることができる。

前記Nは３以上とするようにすることができる。

前記修正手段には、注目画素の周辺からN個の画像のそれぞれの注目画素に対応した位置に配置される周辺画素の画素値を抽出する抽出手段と、N個の画像のそれぞれについて、周辺画素の画素値に基づいて、分散値を算出する分散値算出手段と、N個の画像のそれぞれの周辺画素の画素値に基づいて、N個の画像の共分散値を算出する共分散値算出手段と、N個の画像のそれぞれの分散値、および共分散値の全ての組み合わせの相関を算出する相関算出手段と、N個の画像の全ての組み合わせで相関が弱い場合、N個の画像のうちのいずれか１個の特定画像の注目画素の画素値を、特定画像以外の画像における注目画素の画素値として選択する選択手段とを設けるようにさせることができる。

前記修正手段には、注目画素の周辺からN個の画像のそれぞれの注目画素に対応した位置に配置される周辺画素の画素値を抽出する抽出手段と、N個の画像のそれぞれについて、周辺画素の画素値に基づいて、分散値を算出する分散値算出手段と、N個の画像のそれぞれの分散値がいずれも所定の範囲内にある場合、N個の画像のうちのいずれか１個の特定画像の注目画素の画素値を、特定画像以外の画像における注目画素の画素値として選択する選択手段とを設けるようにさせることができる。

前記多重解像度画像変換手段には、N個の画像を多重解像度画像の複数のレイヤ画像に変換する前に入力画像に非線形変換を適用する非線形変換手段を設けるようにさせることができる。

前記非線形変換手段には、対数変換により、N個の画像を多重解像度画像の複数のレイヤ画像に変換させるようにすることができる。

前記非線形変換手段は、ガンマ補正処理により、N個の画像を多重解像度画像の複数のレイヤ画像に変換させるようにすることができる。

本発明の画像処理方法は、N個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換ステップと、多重解像度変換ステップの処理により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、N個の画像中の１つの画像を、N個の画像間の相関に基づいて修正する修正ステップと、修正ステップの処理により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換ステップとを含むことを特徴とする。

本発明のプログラムは、N個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換ステップと、多重解像度変換ステップの処理により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、N個の画像中の１つの画像を、N個の画像間の相関に基づいて修正する修正ステップと、修正ステップの処理により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明の画像処理装置および方法、並びにプログラムにおいては、N個の画像が多重解像度画像の複数のレイヤ画像に変換され、変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、N個の画像中の１つの画像が、N個の画像間の相関に基づいて修正され、修正された各レイヤ画像が多重解像度逆変換される。

本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本発明によれば、固体撮像素子などのイメージセンサを用いて得られた画像信号のクロマ成分に混在するノイズ成分を効率よく除去し、色ムラや色ズレという現象を抑制することが可能となる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

即ち、本発明の画像処理装置は、N個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換手段（例えば、図４の多重解像度変換処理部８１）と、多重解像度変換手段により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、N個の画像中の１つの画像を、N個の画像間の相関に基づいて修正する修正手段（例えば、図４の修正処理部８６）と、修正手段により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換手段（例えば、図４の多重解像度逆変換処理部９０）とを備えることを特徴とする。

前記Nは２とするようにすることができる（例えば、図４のノイズ除去処理部４３）。

前記修正手段（例えば、図６の修正処理部８６）には、２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出手段（例えば、図６のサンプリング処理部１３１，１３２）と、第１の画像の周辺画素の画素値に基づいて、第１の画像の画素値の分散値を算出する分散値算出手段（例えば、図６の分散算出処理部１３３）と、第１の画像、および、第２の画像のそれぞれの周辺画素の画素値に基づいて、第１の画像、および、第２の画像の画素値の共分散値を算出する共分散値算出手段（例えば、図６の共分散算出処理部１３６）と、共分散値を分散値で除した係数を算出する係数算出手段（例えば、図６の除算処理部１３５）とを設けるようにさせることができ、係数を第１の画像の注目画素の画素値に乗じた値を、第２の画像の注目画素の画素値として修正させることができる。

共分散値算出手段（例えば、図６の共分散算出処理部１３６）には、第１の画像、および、第２の画像のそれぞれの周辺画素の画素値の絶対値の最小値に、第１の画像の符号および第２の画像の符号を乗算した注目画素の近似値を算出させ、算出された注目画素の近似値に基づいて、共分散値を算出させるようにすることができ、分散値算出手段（例えば、図６の分散算出処理部１３３）には、第１の画像、および、第２の画像のそれぞれの注目画素の画素値の近似値の期待値を算出させ、算出された期待値に基づいて、分散値を算出させるようにすることができる。

前記係数算出手段（例えば、図６の除算処理部１３５）には、分散値が所定の閾値よりも小さい場合、所定の閾値を分散値（例えば、図６のクリッピング処理部１３４によりクリップされた値）として係数を算出させるようにすることができる。

前記修正手段（例えば、図２０の修正処理部８６）には、２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出手段（例えば、図２０のサンプリング処理部２０１）と、第１の画像、および、第２の画像の周辺画素の画素値に基づいて、第１の画像の画素値の第１の分散値、および、第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出手段（例えば、図２０の分散算出処理部２０２）と、第１の画像、および、第２の画像のそれぞれの周辺画素の画素値に基づいて、第１の画像、および、第２の画像の画素値の共分散値を算出する共分散値算出手段（例えば、図２０の共分散算出処理部２０３）と、第１の分散値、第２の分散値、および共分散値とに基づいて、第１の画像、および、第２の画像の相関を算出する相関算出手段（例えば、図２０の相関係数算出処理部２０７）と、相関が弱い場合、第１画像の注目画素の画素値を、第２の画像の注目画素の画素値として選択する選択手段（例えば、図２０のスイッチ２０８）とを設けるようにさせることができる。

前記修正手段（例えば、図２２の修正処理部８６）には、２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出手段（例えば、図２２のサンプリング処理部２２１）と、第１の画像、および、第２の画像の周辺画素の画素値に基づいて、第１の画像の画素値の第１の分散値、および、第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出手段（例えば、図２２の分散算出処理部２２２）と、第１の分散値、および第２の分散値の差分を算出する差分算出手段（例えば、図２２の差分算出処理部２２７）と、分散値の差分が大きい場合、第１の画像の注目画素値を、第２の画像の注目画素値として選択する選択手段（例えば、図２２のスイッチ２２８）とを設けるようにさせることができる。

前記Nは３以上とするようにすることができる（例えば、図２４のノイズ除去処理部４３）。

前記修正手段（例えば、図２５の修正処理部２５６）には、注目画素の周辺からN個の画像のそれぞれの注目画素に対応した位置に配置される周辺画素の画素値を抽出する抽出手段（例えば、図２５のサンプリング処理部２８１）と、N個の画像のそれぞれについて、周辺画素の画素値に基づいて、分散値を算出する分散値算出手段（例えば、図２５の分散共分散相関係数算出処理部２８２）と、N個の画像のそれぞれの周辺画素の画素値に基づいて、N個の画像の共分散値を算出する共分散値算出手段（例えば、図２５の分散共分散相関係数算出処理部２８２）と、N個の画像のそれぞれの分散値、および共分散値の全ての組み合わせの相関を算出する相関算出手段（例えば、図２５の分散共分散相関係数算出処理部２８２）と、N個の画像の全ての組み合わせで相関が弱い場合、N個の画像のうちのいずれか１個の特定画像の注目画素の画素値を、特定画像以外の画像における注目画素の画素値として選択する選択手段（例えば、図２５のスイッチ２８７，２８８）とを設けるようにさせることができる。

前記修正手段には、注目画素の周辺からN個の画像のそれぞれの注目画素に対応した位置に配置される周辺画素の画素値を抽出する抽出手段（例えば、図２５のサンプリング処理部２８１）と、N個の画像のそれぞれについて、周辺画素の画素値に基づいて、分散値を算出する分散値算出手段（例えば、図２５の分散共分散相関係数算出処理部２８２）と、N個の画像のそれぞれの分散値がいずれも所定の範囲内にある場合、N個の画像のうちのいずれか１個の特定画像の注目画素の画素値を、特定画像以外の画像における注目画素の画素値として選択する選択手段（例えば、図２５のスイッチ２８７，２８８）とを設けるようにさせることができる。

前記多重解像度画像変換手段には、N個の画像を多重解像度画像の複数のレイヤ画像に変換する前に入力画像に非線形変換を適用する非線形変換手段（例えば、図３の非線形変換処理部４２）を設けるようにさせることができる。

本発明の画像処理方法は、N個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換ステップ（例えば、図９のフローチャートにおけるステップＳ３の処理）と、多重解像度変換ステップの処理により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、N個の画像中の１つの画像を、N個の画像間の相関に基づいて修正する修正ステップ（例えば、図９のフローチャートにおけるステップＳ４の処理における図１０のフローチャートにおけるステップＳ２５の処理）と、修正ステップの処理により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換ステップ（例えば、図９のフローチャートにおけるステップＳ５の処理）とを含むことを特徴とする。

尚、プログラムについては、画像処理方法と同様であるので、その説明は省略する。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した演算処理を実行するデジタルスチルカメラ１の一実施の形態の構成を示すブロック図である。

図１に示すように、デジタルスチルカメラ１は、レンズ１１、絞り１２、イメージセンサ１３、相関２重サンプリング（CDS：Correlated Double Sampling）回路１４、A/D（Analog／Digital）コンバータ１５、DSP（Digital Signal Processor）ブロック１６、タイミングジェネレータ１７、D/A（Digital／Analog）コンバータ１８、ビデオエンコーダ１９、表示部２０、コーデック（CODEC：COmpression／DECompression）処理部２１、メモリ２２、CPU（Central Processing Unit）２３、および、操作入力部２４から構成される。

イメージセンサ１３は、光情報を電気信号に変換するCCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）などに代表される（光電変換）半導体素子であり、光を電気に変換する受光素子（画素）を複数個並べ、光の変化を画素ごとに独立して電気信号に変換するものである。相関２重サンプリング回路１４は、イメージセンサ１３の出力信号に含まれるノイズのうちの主な成分であるリセットノイズを、出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することにより除去する回路である。A/Dコンバータ１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換する。

DSPブロック１６は、信号処理用プロセッサと画像用RAM（Random Access Memory）を持つブロックで、信号処理用プロセッサが画像用RAMに格納された画像データに対して、予めプログラムされた画像処理、または、ハードウェアによる演算処理として構成された画像処理を行うものである。タイミングジェネレータ１７は、イメージセンサ１３を駆動するために必要な、水平および垂直の各種駆動パルス、並びに、アナログフロント処理で用いるパルスを、基準クロックに同期して発生させるロジック回路である。また、タイミングジェネレータ１７により発生されるタイミングクロックは、バス２５を介して、コーデック処理部２１、メモリ２２、および、CPU２３にも供給されている。

D/Aコンバータ１８は、供給されたデジタル信号をアナログ信号に変換して出力する。ビデオエンコーダ１９は、供給されたアナログ信号を、表示部２０において表示可能な形式のビデオデータにエンコードする。表示部２０は、例えば、LCD（Liquid Crystal Display）などで構成され、ビデオエンコーダ１９から供給されたビデオ信号を表示する。

コーデック処理部２１は、例えばJPEG(Joint Picture Experts Group)などの、デジタル画像データの圧縮または伸張アルゴリズムによる処理を実行する。メモリ２２は、例えば、半導体メモリ、磁気ディスク、光磁気ディスク、または、光ディスクなどにより構成され、CPU２３の制御に基づいて、供給されたデータを記憶したり、または、記憶しているデータを出力する。なお、メモリ２２は、デジタルスチルカメラ１に対して着脱可能なようになされていても良い。

CPU２３は、バス２５を介して、操作入力部２４から供給されたユーザの操作入力を基に、デジタルスチルカメラ１の各部を制御する。操作入力部２４は、録画を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受ける。

レンズ１１および絞り１２を介して入力された光は、イメージセンサ１３に入射され、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路１４に供給される。相関２重サンプリング回路１４は、イメージセンサ１３の出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりノイズを除去し、A/Dコンバータ１５に供給する。A/Dコンバータ１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換し、DSPブロック１６の画像用RAMに一時格納する。

タイミングジェネレータ１７は、撮像中の状態において、一定のフレームレートによる画像取り込みを維持するように、イメージセンサ１３、相関２重サンプリング回路１４、A/Dコンバータ１５、および、DSPブロック１６を制御する。

DSPブロック１６は、一定のレートで画素のストリームデータの供給を受け、画像用RAMに一時格納し、信号処理用プロセッサにおいて、一時格納された画像データに対して、後述する画像処理を実行する。DSPブロック１６は、画像処理の終了後、CPU２３の制御に基づいて、その画像データを表示部２０に表示させる場合は、D/Aコンバータ１８に、メモリ２２に記憶させる場合は、コーデック処理部２１に画像データを供給する。

D/Aコンバータ１８は、DSPブロック１６から供給されたデジタルの画像データをアナログ信号に変換し、ビデオエンコーダ１９に供給する。ビデオエンコーダ１９は、供給されたアナログの画像信号を、ビデオ信号に変換し、表示部２０に出力して表示させる。すなわち、表示部２０は、デジタルスチルカメラ１において、カメラのファインダの役割を担っている。コーデック処理部２１は、DSPブロック１６から供給された画像データに対して、所定の方式の符号化を施し、符号化された画像データをメモリ２２に供給して記憶させる。

また、コーデック処理部２１は、操作入力部２４からユーザの操作入力を受けたCPU２３の制御に基づいて、メモリ２２に記憶されているデータのうち、ユーザに指定されたデータを読み取り、所定の復号方法で復号し、復号した信号をDSPブロック１６に出力する。これにより、復号された信号が、DSPブロック１６を介してD/Aコンバータ１８に供給され、アナログ変換された後、ビデオエンコーダ１９によりエンコードされて、表示部２０に表示される。

次に、図２を参照して、DSPブロック１６により実現される機能の一実施の形態の構成について説明する。

デモザイク処理部４１は、入力されたモザイク画像の各画素位置のRGB（Red，Green，Blueの光の３原色）の画像信号の全ての強度を揃え、それぞれ非線形変換処理部４２に供給する。尚、ここでいうモザイク画像は、図１のA/Dコンバータ１５によってデジタイズされ、DSPブロック１６に入力される画像信号である。モザイク画像は各画素にRGBのどれかの色に対応する強度信号が格納されており、通常、Bayer配列と呼ばれる色配列に従って配置されている。

非線形変換処理部４２は、RGBの画像信号について、非線形変換関数を用いて変換処理し、それぞれノイズ除去処理部４３に供給する。尚、非線形変換処理部４２については、詳細を後述する。

ノイズ除去処理部４３は、非線形変換処理部４２より供給されたRGBの画像信号についてノイズを除去して非線形逆変換処理部４４に供給する。尚、ノイズ除去処理部４３については、詳細を後述する。

非線形逆変換処理部４４は、ノイズ除去処理部４３より供給されてくる、ノイズが除去されたRGBの画像信号を、非線形変換処理部４２の変換で利用した非線形変換関数により逆変換し、ホワイトバランス処理部４５に供給する。尚、非線形逆変換処理部４４については、詳細を後述する。

ホワイトバランス処理部４５は、非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４によりノイズ除去されたRGBのそれぞれの画像信号に適切な係数を掛けることで、被写体領域の色バランスが無彩色になるように処理し、ガンマ補正処理部４６に供給する。

ガンマ補正処理部４６は、ホワイトバランス処理部４５によりホワイトバランスが調整されたRGBのそれぞれの画像信号の各画素強度をガンマ補正し、YC変換処理部４７に出力する。YC変換処理部４７は、ガンマ補正された3チャネル画像信号にYCマトリックス処理を施すと共に、クロマ成分に対する帯域制限を掛けてY画像およびC画像を生成し、コーデック処理部２１に対してYCbCr画像信号として出力する。

尚、図２においては、デモザイク処理部４１の後段に非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４を配置する構成となっているが、これらの配置順序は、図２で示されるものに限らず、例えば、デモザイク処理部４１の前段に非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４を配置し、モザイク画像のノイズ除去を行った後、デモザイク処理を実行するようにしても良い。ただし、この場合、モザイク画像の各画素はRGBのうちのいずれか1色の値しかもたないので、RGB毎の非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４を設け、各画素毎の処理を色によって振り分けるようにする必要がある。

また、非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４は、それぞれ単独でもノイズ除去処理を実行することは可能である。すなわち、例えば、図２の構成から非線形変換処理部４２、および非線形逆変換処理部４４を省き、ノイズ除去処理部４３のみの構成でもノイズを除去することは可能である。また、非線形変換処理部４２、および非線形逆変換処理部４４は、ノイズ除去処理部４３以外のノイズ除去処理能力を持った構成と組み合わせるようにしてもノイズを除去する効果がある。

次に、図３を参照して、非線形変換処理部４２の詳細な機能の一実施の形態の構成について説明する。尚、非線形変換処理部４２はRGB各チャネルに対して同一の構成である。また、図３においては、1チャネル分の構成が示されている。

変換曲線LUT６２は、非線形変換に用いられる関数形状がLUTの形式で格納している。マッピング処理部６１は、変換曲線LUT６２より非線形変換に用いられる関数形状のLUTに基づいて、入力された画像の各画素に対して非線形変換してノイズ除去部４３に出力する。

この非線形変換処理部４２による非線形変換処理は、入射光強度にリニアな（線形的な）イメージセンサ１３の出力を、ノンリニアな（非線形的な）特性の輝度値に変換することを目的とした変換処理であり、この処理により後段のノイズ除去処理で利用するチャネル間の線形回帰計算の安定度を向上させている。すなわち、例えば、高コントラストなエッジのような画像の場合、リニアな輝度では重心からみた輝度値の分布に偏りが生じやすく、このような状況で線形回帰計算を実行するよりも、適切な非線形変換により輝度値を変換し分布の偏りを補正した後に線形回帰計算を実行する方が計算が安定する。本発明にとって適切な非線形変換とは上に凸の滑らかな単調増加曲線であり、例えばガンマ補正などに利用されるべき乗曲線（指数は１より小さい）または、対数曲線などが有効である。

次に、図４を参照して、ノイズ除去処理部４３の機能の一実施の形態の構成について説明する。

尚、図４で示されるノイズ除去処理部４３の構成は、GとRの2チャネルの入力によりRのノイズを除去するようになっている。実際のノイズ除去処理部４３の構成としては、これに加えて、同様の構成でGとBを入力としてBのノイズを除去する構成が必要である。Gに対してRとBの相関がない成分が除去されればクロマ成分ノイズは除去されるので、この例においては、Gのノイズを除去する構成は設けられていない。しかしながら、実用においては、Gのノイズを何らかの構成により除去した後に、RとBのそれぞれのノイズを除去する方がより適切である。尚、ここでは、Gは、特に処理されることなく、そのまま後段に出力されるものとする。

多重解像度変換処理部８１−１，８１−２は、それぞれGおよびRの入力画像を複数の多重解像度の表現形式の画像に変換し、変換された複数の各レイヤの画像信号をそれぞれ対応するレイヤ０画像メモリ８２−１，８２−２、レイヤ１画像メモリ８３−１，８３−２、レイヤ２画像メモリ８４−１，８４−２、およびレイヤ３画像メモリ８５−１，８５−２に格納する。

尚、多重解像度変換処理部８１−１，８２−２における多重解像度表現にはいろいろな形式があるが、例えば、Laplacian Pyramid形式や、wavelet変換を用いた多重解像度形式を利用するようにしてもよい。尚、多重解像度変換処理部８１は、Laplacian Pyramid形式であるものとして説明を進める。

修正処理部８６−１乃至８６−３は、最低解像度のレイヤ以外のレイヤの画像にそれぞれ対応し、各レイヤのG、Rチャネルの画像より、ノイズが混在したRチャネルの各画素値を修正してノイズを除去し、それぞれレイヤ０修正画像メモリ８７、レイヤ１修正画像メモリ８８、および、レイヤ２修正画像メモリ８９に格納する。

多重解像度逆変換処理部９０は、レイヤ０修正画像メモリ８７、レイヤ１修正画像メモリ８８、および、レイヤ２修正画像メモリ８９より各レイヤのノイズ除去されたRチャネル画像を読み出すと共に、最低解像度のレイヤのRチャネル画像を用いて、多重解像度逆変換処理を実行し、元画像と同じ解像度の画像へ統合し、非線形逆変換処理部４４に出力する。

次に、図５を参照して、Laplacian pyramid形式の多重解像度画像を生成する多重解像度変換処理部８１の機能の一実施の形態の構成について説明する。

多重解像度変換処理部８１の縮小処理部１１１−１乃至１１１−３は、サブサンプリングによって入力された画像の画像サイズを例えば半分に縮小し（例えば、半分の解像度の画像に変換し）、後段に出力する。

拡大処理部１１３−１乃至１１３−３は、スーパーサンプリングによって入力された画像の画像サイズを例えば２倍に拡大し（例えば、２倍の解像度の画像に変換し）、後段に出力する。

減算処理部１１２−１乃至１１２−３は、縮小処理部１１１により縮小された後、拡大処理部１１３により拡大された画像と、その元画像のそれぞれの各画素について差分を求め、その差分からなる画像をレイヤごとの画像として出力する。すなわち、減算処理部１１２−１乃至１１２−３は、それぞれレイヤ０乃至３の画像を生成し、それぞれレイヤ０画像メモリ８２、レイヤ１画像メモリ８３、レイヤ２画像メモリ８４、およびレイヤ３画像メモリ８５に格納させる。

縮小処理部１１１により縮小された後、拡大処理部１１３により拡大された画像は、元画像の高周波成分が除去されることになるため、元画像との差分が計算されることにより、高周波成分のみのが抽出された画像が生成されることになる。

このため、減算処理部１１２−１は、それぞれ入力された画像の高周波成分のみからなる画像をレイヤ０画像として生成し、減算処理部１１２−２は、入力された画像のレイヤ０画像よりも低い周波数成分の画像をレイヤ1画像として生成する。また、減算処理部１１２−３は、入力された画像のレイヤ１画像よりも低い周波数成分の画像をレイヤ２画像として生成する。尚、縮小処理部１１１より出力される画像は、レイヤ２以下の帯域成分を備えたレイヤ３画像となる。すなわち、多重解像度変換処理部８１は入力された画像を、帯域分離して各レイヤ０乃至３の画像を出力しているとも言える。

次に、図６を参照して、修正処理部８６の機能の一実施の形態の構成について説明する。

サンプリング処理部１３１は、当該するレイヤのGチャネル画像から、注目画素位置に対応して設定される所定位置の近傍画素から複数個のGチャネル画素値をサンプリング（抽出）し、乗算処理部１３７、分散算出処理部１３３、および共分散算出処理部１３６に供給する。サンプリング処理部１３２は、当該するレイヤのRチャネル画像から、注目画素位置に対応して設定される所定の位置の近傍画素から複数個のRチャネル画素値をサンプリング（抽出）し、共分散算出処理部１３６に供給する。尚、サンプリング処理部１３１，１３２は、注目画素位置に対して設定される同一の所定の位置のG画素値とR画素値を抽出する。

分散算出処理部１３３は、サンプリングされたGの画素値に基づいて、Gの注目画素周辺の分散値を算出し、クリッピング処理部１３４に供給する。

共分散算出処理部１３６は、サンプリングされたGとRの画素値に基づいて、それらの共分散値を算出し、除算処理部１３５に供給する。クリッピング処理部１３４は、Gチャネルのサンプルの分散値が所定の閾値より小さい場合、その閾値でクリッピングし、除算処理部１３５に供給する。除算処理部１３５は、クリッピング処理部１３４より供給される分散値により、共分散処理部１３６より供給される共分散値を除算し、分散値に対する共分散値の割合(共分散値/分散値)として乗算処理部１３７に供給する。尚、クリッピング処理部１３５の処理は、後続の除算処理部１３５が(共分散値/分散値)を算出するため、０割を回避ための処理である。乗算処理部１３７は、(共分散値/分散値)に注目画素位置のGチャネル画素値を乗じることで注目画素のノイズ除去されたRチャネル画素値を推定し、それを出力する。

ここで、修正処理部８６の処理の詳細について説明する。

修正処理部８６は、チャネル間相関を利用した画素値推定方法により画素値を修正している。より具体的には、チャネル間相関を利用した画素値推定方法は、局所領域に注目した場合、2つのチャネル（例えばGとR）間には線形な関係があるという仮定に基づいて、局所領域内のある画素位置Rの推定値を線形回帰計算によって算出するというものである。

例えば、画像中の注目画素周辺の局所領域においてＣ₁チャネル（例えばG）の画素値のサンプル（注目画素の位置に対応する所定の位置の複数の画素の画素値）｛Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，・・・，Ｃ_1N｝とＣ₂チャネル（例えばR）の画素値のサンプル（注目画素の位置に対応する所定の位置の複数の画素の画素値）｛Ｃ₁₁，Ｃ₁₂，Ｃ₁₃，・・・，Ｃ_1N｝とが得られたとき、上述した両者間の線形な関係があると仮定することにより、Ｃ₂チャネルの注目画素位置の輝度推定値Ｃ_2C’は注目画素位置のＣ₁チャネルの輝度値Ｃ_1Cから以下の式（１）により推定することができる。

・・・（１）

ここで、Ｍ_C1は、その局所領域におけるＣ₁チャネルの期待値、Ｍ_C2は、Ｃ₂チャネルの期待値、Ｖ_C1C2は、Ｃ₁，Ｃ₂チャネルの共分散値、Ｖ_C1C1は、Ｃ₁チャネルの分散値である。

また、共分散値Ｖ_C1C2および分散値Ｖ_C1C1は、それぞれ以下の式（２），式（３）により求められる。

・・・（２）

・・・（３）

式（２），式（３）において、ｗ_iは、所定の重み係数である。

従って、上述した式（１）を算出することでノイズを除去することが可能となる。しかしながら、図４で示されるようにノイズ除去処理部４３には、多重解像度変換処理部８１が設けられており、修正処理部８６は、帯域毎に分離された画像に対して上述した２チャネルの相関を利用して画素値を修正することになる。

ところで、多重解像度変換により生成された複数のレイヤの画像においては、画像の直流成分は最低解像度のレイヤに集中するので、それ以外のレイヤでは局所的な画素の期待値は０になる。結果として、多重解像度処理を利用する場合、上述した式（１）乃至式（３）は、以下の式（４）乃至式（６）で置き換えられることになる。

・・・（４）

・・・（５）

・・・（６）

従って、図６の分散値算出処理部１３３は、実質的に式（６）により分散値を算出し、共分散算出処理部１３６は、式（５）により共分散値を算出し、さらに、乗算処理部１３７は、式（４）により画素値を修正している（補正している）。

さらに、式（５）乃至式（６）の共分散値および分散値の算出処理にあたり、コンピュータによる算出処理で処理負荷の大きな乗算処理を軽減させるため、近似関数を用いて、乗算処理回数を低減させるようにしてもよく、例えば、以下の式（７）乃至式（８）のような近似関数により算出するようにしてもよい。

・・・（７）

・・・（８）

次に、図７を参照して、多重解像度逆変換処理部９０の機能の一実施の形態の構成について説明する。

拡大処理部１５１−１乃至１５１−３は、多重解像度変換処理部９０の拡大処理部１１３と同様のものであり、スーパーサンプリングによって入力された画像の画像サイズを例えば２倍に拡大し（例えば、２倍の解像度の画像に変換し）、後段に出力する。

加算処理部１５２−１乃至１５２−３は、それぞれレイヤ０ノイズ除去画像メモリ８７、レイヤ１ノイズ除去画像メモリ８８、レイヤ２ノイズ除去画像メモリ８９、およびレイヤ３画像メモリ８５に格納されたレイヤ０ノイズ除去画像乃至レイヤ２ノイズ除去画像、およびレイヤ３画像を読み出し、拡大処理部１５２−１乃至１５２−３のそれぞれより供給されてくる画像とを加算して、後段に出力する。

すなわち、拡大処理部１５１−１は、最低周波成分のレイヤ３ノイズ除去画像を拡大し、レイヤ２ノイズ除去画像と同じサイズの画像にして、加算処理部１５２−１に供給する。そして加算処理部１５２−１は、拡大されたレイヤ３ノイズ除去画像とレイヤ２ノイズ除去画像とを加算することにより、レイヤ３乃至レイヤ２までの帯域を持つ画像を生成し、拡大処理部１５１−２に供給する。

同様にして、拡大処理部１５１−２は、レイヤ３乃至レイヤ２のノイズ除去画像を拡大し、レイヤ１ノイズ除去画像と同じサイズの画像にして、加算処理部１５２−２に供給する。そして加算処理部１５２−２は、拡大されたレイヤ３乃至レイヤ２までのノイズ除去画像とレイヤ１ノイズ除去画像とを加算することにより、レイヤ３乃至レイヤ１までの帯域を持つ画像を生成し、拡大処理部１５１−３に供給する。

さらに、拡大処理部１５１−３は、レイヤ３乃至レイヤ１のノイズ除去画像を拡大し、レイヤ０ノイズ除去画像と同じサイズの画像にして、加算処理部１５２−３に供給する。そして加算処理部１５２−３は、拡大されたレイヤ３乃至レイヤ１までのノイズ除去画像とレイヤ０ノイズ除去画像とを加算することにより、レイヤ３乃至レイヤ０までの帯域の画像を統合し、最終的に元画像に等しい解像度と帯域を持つ画像を出力する

次に、図８を参照して、非線形逆変換処理部４４の機能の一実施の形態の構成について説明する。

非線形逆変換処理部４４は、非線形変換処理部４２における変換の逆変換を実行するため、非線形変換処理部４２とほぼ同様の構成である。変換曲線LUT１７２は非線形変換処理部４２の変換曲線LUT６２と同様の構成であり、共用するようにしてもよいものである。逆マッピング処理部１７１は、入力された画像の各画素に対して変換曲線LUT１７２を参照して、非線形逆変換し、ホワイトバランス処理部４５に出力する。

次に、図９のフローチャートを参照して、図２のDSPブロック１６による画像処理について説明する。

デモザイク処理部４１は、モザイク画像が入力されたか否か（フレームメモリから読み込まれたか否か）を判定し、入力されるまで、その処理を繰り返す。例えば、画像が入力されたと判定された場合、ステップＳ２において、デモザイク処理部４１は、入力されたモザイク画像からRGBの3チャンネルの画像信号を生成するデモザイク処理を実行し、生成したRGBの画像信号を非線形変換処理部４２に供給する。

ステップＳ３において、非線形変換処理部４４のマッピング処理部６１は、変換曲線LUT６２より非線形変換に用いられる関数形状のLUTに基づいて、入力された画像の各画素に対して非線形変換してノイズ除去部４３に出力する。

ステップＳ４において、ノイズ除去部４３は、ノイズ除去処理を実行し、供給された１つのチャネル画像の各画素についてノイズを除去し、非線形逆処理部４４に供給する。尚、ノイズ除去処理については、図１０を参照して、その詳細を後述する。

ステップＳ５において、非線形逆変換処理部４４の逆マッピング処理部１７１は、入力された画像の各画素に対して変換曲線LUT１７２を参照して、ステップＳ３の非線形変換処理により適用した非線形特性を打ち消すように強度変換し、ホワイトバランス処理部４５に供給する。

尚、ステップＳ３乃至Ｓ５の処理については、RGBの各画像信号に対して、非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４が並列処理するようにしても良いし、各チャンネルに対して、順次処理するようにしても良い。

ステップＳ６において、ホワイトバランス処理部４５は、ノイズが除去され、非線形特性が解除されたRGB3チャネル画像に対してそれぞれの画像信号に適切な係数を掛けることで、被写体領域の色バランスが無彩色になるようにホワイトバランス処理を施し、ガンマ補正処理部４６に供給する。

ステップＳ７において、ガンマ補正処理部４６は、ホワイトバランス処理部４５によりホワイトバランスが調整されたRGBのそれぞれの画像信号の各画素強度をガンマ補正し、YC変換処理部４７に出力する。

ステップＳ８において、YC変換処理部４７は、ガンマ補正処理部４６によりガンマ補正処理されたRGBの画像信号にYCマトリクス処理を施すYC変換処理を実行し、Y画像とC画像に変換し、ステップＳ９において、Y画像とC画像を出力(フレームメモリに書き込む)する。

以上の処理により、ノイズが除去されたYC画像が生成されることになる。

次に、図１０のフローチャートを参照して、図９のフローチャートにおけるステップＳ４の処理であるノイズ除去処理について説明する。

ステップＳ２１において、多重解像度変換処理部８１−１，８１−２は、それぞれ非線形変換処理部４２により生成された非線形変換処理されたG，Rチャネル分の画像が入力されたか否かを判定し、入力されたと判定されるまで、その処理を繰り返し、入力されたと判定された場合、その処理は、ステップＳ２２に進む。

ステップＳ２２において、多重解像度変換処理部８１−１は、多重解像度変換処理を実行し、入力されたGの画像を複数の多重解像度画像を生成し、生成した画像をレイヤ毎にそれぞれレイヤ０画像メモリ８２−１、レイヤ１画像メモリ８３−１、レイヤ２画像メモリ８４−１、およびレイヤ３画像メモリ８５−１に格納する。尚、多重解像度変換処理については、図１１のフローチャートを参照して、詳細を後述する。

ステップＳ２３において、多重解像度変換処理部８２−１は、多重解像度変換処理を実行し、入力されたＲの画像を複数の多重解像度画像を生成し、生成した画像をレイヤ毎にそれぞれレイヤ０画像メモリ８２−２、レイヤ１画像メモリ８３−２、レイヤ２画像メモリ８４−２、およびレイヤ３画像メモリ８５−２に格納する。尚、多重解像度処理については、信号の成分が、GではなくＲである点を除いては、同様の処理である。

ステップＳ２４において、修正処理部８６−１乃至８６−３は、それぞれレイヤ０乃至２のそれぞれのＧ，Ｒの信号を用いて、画素値修正処理を実行し、Ｒの画素値を修正し、それぞれレイヤ０修正画像メモリ８７、レイヤ１修正画像メモリ８８、およびレイヤ２修正画像メモリ８９に格納する。尚、画素値修正処理については、図１２のフローチャートを参照して、詳細を後述する。

ステップＳ２５において、多重解像度逆変換処理部９０は、多重解像度逆変換処理を実行し、レイヤ０修正画像メモリ８７、レイヤ１修正画像メモリ８８、およびレイヤ２修正画像メモリ８９に格納されている、画素値が修正されたレイヤ０乃至２の画像、および、レイヤ３画像メモリ８５に格納されているＲの画像を、ステップＳ２３の処理による多重解像度変換の逆変換を実行することで、複数の多重解像度画像を統合し、ステップＳ２６において、統合されたＲの画像を出力する。尚、多重解像度逆変換処理については、図２０のフローチャートを参照して、詳細を後述する。

以上の処理により、Ｇ，Ｒとの相関性に基づいて、Ｒの画素値が修正される。

次に、図１１のフローチャートを参照して、図１０のフローチャートにおけるステップＳ２２，Ｓ２３の処理である多重解像度変換処理について説明する。

ステップＳ４１において、多重解像度変換処理部８１−１は、図示せぬカウンタＮを０に設定し初期化する。

ステップＳ４２において、縮小処理部１１１は、Ｎ回縮小された画像を縮小する。すなわち、最初の処理では、Ｎは０、すなわち、入力された画像が、縮小処理部１１１−１により縮小される。

ステップＳ４３において、多重解像度変換処理部８１−１は、図示せぬカウンタＮを１インクリメントする。

ステップＳ４４において、多重解像度変換処理部８１−１は、カウンタＮが、カウンタＮの最大値Nmax−１であるか否かを判定する。ここで、Nmaxは、入力された画像を多重解像度画像に変換するレイヤ数である。従って、図５で示されるように、レイヤ数は４となる。

例えば、ステップＳ４４において、カウンタＮが、カウンタＮの最大値（Nmax−１）ではないと判定された場合、ステップＳ４５において、縮小処理部１１１は、Ｎ回縮小された画像を減算処理部１１２および拡大処理部１１３に出力する。すなわち、最初の処理では、縮小処理部１１１−１が、減算処理部１１２−２および拡大処理部１１３−１に１回縮小された画像を出力する。

ステップＳ４６において、拡大処理部１１３は、Ｎ回縮小された画像を拡大し、減算処理部１１２に出力する。すなわち、最初の処理においては、拡大処理部１１３−１が、縮小処理部１１１−１より供給されてきた１回縮小された画像を拡大し、減算処理部１１２−１に供給する。

ステップＳ４７において、減算処理部１１２は、（Ｎ−１）回縮小された画像から、Ｎ回縮小されて、かつ、１回拡大された画像を減算する。すなわち、最初の処理では、減算処理部１１２−１が、入力された画像から拡大処理部１１３−１より供給された画像を減算する。

ステップＳ４８において、減算処理部１１２は、ステップＳ４７の処理により求められたレイヤ（Ｎ−１）の画像をレイヤ（Ｎ−１）画像メモリに格納させ、その処理は、ステップＳ４２に戻る。すなわち、最初の処理においては、減算処理部１１２−１は、減算処理により得られた画像をレイヤ０画像メモリ８２−１に格納させる

すなわち、ステップＳ４４の処理において、カウンタＮが最大値（Ｎｍａｘ−１）であると判定されるまで、ステップＳ４２乃至Ｓ４８の処理が繰り返される。結果として、順次、縮小処理部１１１−２が、１回縮小された画像を縮小して、拡大処理部１１３−２および減算処理部１１３−３に供給し、拡大処理部１１３−２が、供給された２回縮小された画像を拡大して減算処理部１１２−２に供給し、減算処理部１１２−２が、１回縮小された画像から、２回縮小されて、かつ、拡大されたた画像を減算し、レイヤ１画像を生成して、レイヤ１画像メモリ８３−１に格納する。

ステップＳ４４の処理において、カウンタＮが最大値（Ｎｍａｘ−１）であると判定された場合、ステップＳ４９において、縮小処理部１１１は、Ｎ回縮小された画像をレイヤＮ画像メモリおよび拡大処理部１１３に出力する。すなわち、ここでＮｍａｘは、４であるので、縮小処理部１１１−３が、減算処理部１１２−３およびレイヤ３メモリ８５に３回縮小された画像を出力する。

ステップＳ５０において、拡大処理部１１３は、Ｎ回縮小された画像を拡大し、減算処理部１１２に出力する。すなわち、ここでは、拡大処理部１１３−３が、縮小処理部１１１−３より供給されてきた３回縮小された画像を拡大し、減算処理部１１２−３に供給する。

ステップＳ５１において、減算処理部１１２は、（Ｎ−１）回縮小された画像から、Ｎ回縮小されて、かつ、１回拡大された画像を減算する。すなわち、ここでは、減算処理部１１２−３が、２回縮小された画像から拡大処理部１１３−３より供給された画像を減算する。

ステップＳ５２において、減算処理部１１２は、ステップＳ５１の処理により求められたレイヤ（Ｎ−１）の画像をレイヤ（Ｎ−１）画像メモリに格納させ、その処理は、終了する。すなわち、ここでは、減算処理部１１２−３は、減算処理により得られた画像をレイヤ２画像メモリ８３に格納させる

以上の処理により、入力された画像が帯域別に分離され、それぞれレイヤ毎に、レイヤ０画像メモリ８２、レイヤ１画像メモリ８３、レイヤ２画像メモリ８４、およびレイヤ３画像メモリ８５に格納されることになる。

次に、図１２のフローチャートを参照して、図１０のフローチャートにおけるステップＳ２４の処理である画素値修正処理について説明する。

ステップＳ７１において、修正処理部８６−１乃至８６−３のサンプリング処理部１３１，１３２は、それぞれレイヤ０画像メモリ８２−１，８２−２、レイヤ１画像メモリ８３−１，８３−２、およびレイヤ２画像メモリ８４−１，８４−２に、Ｒ，Ｇチャネルの画像が入力されたか否かを判定し、入力されたと判定されるまで、その処理を繰り返す。例えば、入力されたと判定された場合、その処理は、ステップＳ７２に進む。

ステップＳ７２において、サンプリング処理部１３１，１３２は、同一の未処理の画素を注目画素として選択する

ステップＳ７３において、サンプリング処理部１３１は、Gチャネルのレイヤ０画像メモリ８２−１、レイヤ１画像メモリ８３−１、またはレイヤ２画像メモリ８４−１より注目画素位置に対応する所定の位置に配置されている複数の画素をサンプリングし（抽出し）、分散算出処理部１３３、共分散算出処理部１３４、および乗算処理部１３７に供給する。

ステップＳ７４において、サンプリング処理部１３２は、Rチャネルのレイヤ０画像メモリ８２−２、レイヤ１画像メモリ８３−２、またはレイヤ２画像メモリ８４−２より注目画素位置に対応する所定の位置に配置されている複数の画素をサンプリングし（抽出し）、共分散算出処理部１３４に供給する。

ステップＳ７５において、分散算出処理部１３３は、サンプリング処理部１３１より供給されたＧの画素値のサンプルより分散計算処理を実行し分散値を計算し、クリッピング処理部１３４に供給する。尚、分散計算処理については、図１３，図１４のフローチャートを参照して、詳細を後述する。

ステップＳ７６において、共分散算出処理部１３６は、サンプリング処理部１３１，１３２より供給されたＧ，Ｒの画素値のサンプルより共分散計算処理を実行し共分散値を計算し、除算処理部１３５に供給する。尚、共分散計算処理については、図１５のフローチャートを参照して、詳細を後述する。

ステップＳ７７において、クリッピング処理部１３４は、分散算出処理部１３３より供給されてくるGの分散値をクリッピング処理し、除算処理部１３５に供給する。より詳細には、クリッピング処理部１３４は、分散算出処理部１３３より供給されてくるGの分散値と所定の閾値とを比較し、所定の閾値よりも小さい場合、Ｇの分散値を所定の閾値に置き換えて、除算処理部１３５に供給し、所定の閾値よりも大きい場合、そのままのＧの分散値を除算処理部１３５に供給する。

ステップＳ７８において、除算処理部１３５は、クリッピング処理部１３４より供給されてくる分散値と、共分散算出処理部１３６より供給されてくる共分散値とに基づいて、(共分散/分散)を算出し、乗算処理部１３７に供給する。

ステップＳ７９において、乗算処理部１３７は、(共分散/分散)に注目画素位置のG画素値を乗じることにより、注目画素位置のR画素の画素値を修正する。すなわち、乗算処理部１３７は、上述した式（４）計算を実行することで、Ｇ，Ｒの相関性を利用してＲの画素値を修正する。

ステップＳ８０において、サンプリング処理部１３１，１３２は、未処理の画素が存在するか否かを判定し、未処理の画素があると判定された場合、その処理は、ステップＳ７２に戻る。すなわち、未処理の画素がないと判定されるまで、ステップＳ７２乃至Ｓ８０の処理が繰り返されて、順次Ｒの画素値が修正される。

ステップＳ８０において、未処理の画素がないと判定された場合、ステップＳ８１において、乗算処理部１３７は、これまでに計算したＲチャネルの画素値が修正された画像を出力する。

以上の処理により、チャネル間の相関性を利用して、ランダムな成分や色収差により生じるクロマ成分のノイズを、画素値を修正することにより除去することが可能となる。

次に、図１３のフローチャートを参照して、図１８のフローチャートにおけるステップＳ７５の処理である分散計算処理について説明する。

ステップＳ９１において、分散算出処理部１３３は、演算結果であるとして出力するカウンタＶｔ，ｗを０に初期化する。

ステップＳ９２において、分散算出処理部１３３は、局所領域のうちの一部（例えば、注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素値のうち、処理を実行する画素位置を示す第１のレジスタの値ｓを初期化して、ｓ＝１とし、ステップＳ９３において、局所領域のうちの一部（例えば、注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素値のうち、処理を実行する画素位置を示す第２のレジスタの値ｔを初期化して、ｔ＝１とする。

ステップＳ９４において、分散算出処理部１３３は、画素（ｓ，ｔ）の強度Ｘに画素（ｓ，ｔ）の重みｗｉを乗じた値を２乗して、カウンタＶｔに加えた値を、カウンタＶｔとして更新する。すなわち、分散算出処理部１３３は、Ｖｔ＝Ｖｔ＋（｜（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の重みｗｉ｜）²を演算する。

ステップＳ９５において、分散算出処理部１３３は、画素（ｓ，ｔ）の重みｗｉを、カウンタｗに加えた値を、カウンタｗとして更新する。すなわち、分散算出処理部１３３は、ｗ＝ｗ＋（画素（ｓ，ｔ）の重みｗｉ）を演算する。

ステップＳ９６において、分散算出処理部１３３は、処理を実行する画素位置を示す第２のレジスタの値ｔを参照し、ｔ＝ｎ−２であるか否かを判定する。

ステップＳ９６において、ｔ＝ｎ−２ではないと判定された場合、ステップＳ１４７において、分散算出処理部１３３は、第２のレジスタの値ｔを、ｔ＝ｔ＋１に更新して、処理は、ステップＳ９４に戻り、それ以降の処理が繰り返される。

ステップＳ９６において、ｔ＝ｎ−２であると判定された場合、ステップＳ９８において、分散算出処理部１３３は、処理を実行する画素位置を示す第１のレジスタの値ｓを参照し、ｓ＝ｎ−２であるか否かを判定する。

ステップＳ９８において、ｓ＝ｎ−２ではないと判定された場合、ステップＳ９９において、分散算出処理部１３３は、第１のレジスタの値ｓを、ｓ＝ｓ＋１に更新して、処理は、ステップＳ９３に戻り、それ以降の処理が繰り返される。

ステップＳ９８において、ｓ＝ｎ−２であると判定された場合、ステップＳ１００において、分散算出処理部１３３は、局所領域のうちの一部（例えば、注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素値の分散値ＶｘｘをＶｔ／ｗとして計算し、処理は、終了する。

分散値の算出は、定義上では、（（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の重みｗｉ））²を分散値の演算に用いた画素の数で除算する必要があるが、分散値の算出結果は、後述する処理により、共分散値の算出結果の除算に用いられるため、共分散値の算出においても同数で除算される場合は、除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

なお、分散値の算出において、ここでは重み付けが施されているので、式（６）を用いて説明した分散値の定義に示されるように、（（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の重みｗｉ））²を重み係数の総和で除算することにより、分散値が算出されている。しかしながら、分散値の算出結果は、後述する処理により、共分散値の算出結果の除算に用いられるため、共分散値の算出においても重み付けが施されているときは、重み係数の総和での除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

また、図１３を用いて説明した分散計算処理においては、２乗の計算があるため、演算処理に時間がかかったり、ハードウェアの規模が大きくなるという問題が発生する。そこで、近似計算により２乗の計算を省略するようにしても良い。

次に、図１４のフローチャートを参照して、近似計算により２乗の計算を省略する場合に、図１２のフローチャートにおけるステップＳ７５において実行される分散計算処理について説明する。

図１４のフローチャートにおけるステップＳ１２１乃至ステップＳ１２３においては、図１３を用いて説明したステップＳ９１乃至ステップＳ９３と同様の処理が実行される。

ステップＳ１２４において、分散算出処理部１３３は、（｜２×（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の重みｗｉ）｜）を、現在のカウンタＶｔに加えた値として更新する。すなわち、分散算出処理部１３３は、Ｖｔ＝Ｖｔ＋（｜２×（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の重みｗｉ）｜）を演算する。

値｜ｐ｜が正規化され、０≦｜Ｐ｜＜１が成り立っているとき、ｐ²は｜ｐ｜×２で近似することが可能である。

そして、ステップＳ１２５乃至ステップＳ１３０においては、図１３を用いて説明したステップＳ９５乃至ステップＳ１００と同様の処理が実行され、処理は、終了する。

このように、分散値の演算に必要な２乗の計算を省略した近似演算により、分散値の近似値を求めることが可能となる。

次に、図１５のフローチャートを参照して、図１２のステップＳ７６において実行される、共分散計算処理について説明する。

ステップＳ１５１において、共分散算出処理部１３６は、出力される値であるカウンタＶｔｔ，ｗ（ここでは、第１の信号は、全てＧ強度であり、第２の信号がＲ強度であるものとする）を０に初期化する。

ステップＳ１５２において、共分散算出処理部１３６は、局所領域のうちの一部（例えば、注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素値のうち、処理を実行する画素位置を示す第１のレジスタの値ｓを初期化して、ｓ＝１とする

ステップＳ１５３において、共分散算出処理部１３６は、局所領域のうちの一部（例えば、注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素値のうち、処理を実行する画素位置を示す第２のレジスタの値ｔを初期化して、ｔ＝１とする

ステップＳ１５４において、図１６または図１７を用いて後述する積和処理が実行される。

ステップＳ１５５において、共分散算出処理部１３６は、画素（ｓ，ｔ）の重みｗｉを、カウンタｗに加えた値を、カウンタｗとして更新する。すなわち、共分散算出処理部１３６は、ｗ＝ｗ＋（画素（ｓ，ｔ）の重みｗｉ）を演算する。

ステップＳ１５６において、共分散算出処理部１３６は、処理を実行する画素位置を示す第２のレジスタの値ｔを参照し、ｔ＝ｎ−２であるか否かを判定する。

ステップＳ１５６において、ｔ＝ｎ−２ではないと判定された場合、ステップＳ１５７において、共分散算出処理部１３６は、第２のレジスタの値ｔを、ｔ＝ｔ＋１に更新して、処理は、ステップＳ１５４に戻り、それ以降の処理が繰り返される。

ステップＳ１５６において、ｔ＝ｎ−２であると判定された場合、ステップＳ１５８において、共分散算出処理部１３６は、処理を実行する画素位置を示す第１のレジスタの値ｓを参照し、ｓ＝ｎ−２であるか否かを判定する。

ステップＳ１５８において、ｓ＝ｎ−２ではないと判定された場合、ステップＳ１５９において、共分散算出処理部１３６は、第１のレジスタの値ｓを、ｓ＝ｓ＋１に更新して、処理は、ステップＳ１５３に戻る。

ステップＳ１５８において、ｓ＝ｎ−２であると判定された場合、ステップＳ１５９において、共分散算出処理部１３６は、共分散値ＶｘｙをＶｔｔ／ｗとして計算し、処理は、終了する。

共分散値の算出は、（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の強度Ｙ）×（画素（ｓ，ｔ）の重みｗｉ）を、共分散値の演算に用いた画素の数で除算する必要があるが、共分散値の算出結果は、後述する処理により、分散値の算出結果で除算されるため、分散値の算出においても同数で除算される場合は、除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

なお、式（５）においては、共分散値の算出において、（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の強度Ｙ）×（画素（ｓ，ｔ）の重みｗｉ）の総和が、重み係数の総和ｗで除算することにより、共分散値が算出されている。しかしながら、共分散値の算出結果は、後述する処理により、分散値の算出結果で除算されるため、分散値の算出においても重み付けが施されているときは、重み係数の総和での除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

上述した図１５の共分散計算処理のステップＳ１５４において実行される積和処理には、共分散値が算出される場合に実行される積和処理と、近似演算を用いて共分散値が算出される場合に実行される積和処理との、２種類の処理がある。

次に、図１６のフローチャートを参照して、図１５のステップＳ１５４において実行される共分散値が算出される場合に実行される積和処理について説明する。

ステップＳ１８１において、共分散算出処理部１３６は、（第１の信号の画素（ｓ，ｔ）の強度Ｘ）、（第２の信号の画素（ｓ，ｔ）の強度Ｙ）、および（画素（ｓ，ｔ）の重みｗｉ）を乗算する。

ステップＳ１８２において、共分散算出処理部１３６は、Ｖｔｔ＝Ｖｔｔ＋（乗算結果）とする。

このような積和処理が実行されることにより、共分散値が算出される。図１６のフローチャートを参照して説明した積和処理が実行された場合、定義どおりの演算であるので、その演算結果は、非常に精度の高いものであるが、そのかわり、積和処理が多いため演算に時間がかかったり、ハードウェア実装におけるゲート数の増加を招いてしまう。

次に、図１７のフローチャートを参照して、図１２のステップＳ７６において実行される積和処理について説明する。図１７のフローチャートを参照して説明する積和処理は、近似された共分散値が算出される場合に実行される処理である。

ステップＳ２０１において、共分散算出処理部１３６は、｛第１の信号の画素（ｓ，ｔ）の強度Ｘ｝をｐとする。

ステップＳ２０２において、共分散算出処理部１３６は、｛第２の信号の画素（ｓ，ｔ）の強度Ｙ｝をｑとする。

ステップＳ２０３において、図１８を用いて後述する乗算近似処理が実行される。

ステップＳ２０４において、共分散算出処理部１３６は、Ｖｔｔ＝Ｖｔｔ＋（ｐｑの近似値）×（画素（ｓ，ｔ）の重みｗｉ）とし、処理は、終了する。

次に、図１８のフローチャートを参照して、図１７のステップＳ２０３において実行される乗算近似処理について説明する。乗算近似処理は、上述した式（７）を用いて、近似された共分散値が算出される場合に実行される処理である。

ステップＳ２２１において、共分散算出処理部１３６は、図１７のステップＳ２０１およびステップＳ２０２において置き換えられた値ｐおよびｑを用いて、｜ｐ｜≧｜ｑ｜であるか否かを判定する。

ステップＳ２２１において、｜ｐ｜≧｜ｑ｜であると判定された場合、ステップＳ２６２において、共分散算出処理部１３６は、ｐ≧０であるか否かを判定する。

ステップＳ２２２において、ｐ≧０であると判定された場合、ステップＳ２２３において、共分散算出処理部１３６は、ｐｑの近似値＝＋２ｑとし、処理は、図１７のステップＳ２０４に戻る。

ステップＳ２２２において、ｐ≧０ではないと判定された場合、ステップＳ２２４において、共分散算出処理部１３６は、ｐｑの近似値＝−２ｑとし、処理は、図１７のステップＳ２０４に戻る。

ステップＳ２２１において、｜ｐ｜≧｜ｑ｜ではないと判定された場合、ステップＳ２２５において、共分散算出処理部１３６は、ｑ≧０であるか否かを判定する。

ステップＳ２２５において、ｑ≧０であると判定された場合、ステップＳ２２６において、共分散算出処理部１３６は、ｐｑの近似値＝＋２ｐとし、処理は、図１７のステップＳ２０４に戻る。

ステップＳ２２５において、ｑ≧０ではないと判定された場合、ステップＳ２２７において、共分散算出処理部１３６は、ｐｑの近似値＝−２ｐとし、処理は、図１７のステップＳ２０４に戻る。

この処理において、ｑまたはｐが０である場合、ｐｑの近似値は必ず０となる。具体的には、ｑが０であるとき、｜ｐ｜≧｜ｑ｜は必ず成り立つので、ｐの値に関わらず、ｐｑの近似値は０となる。また、ｐが０であるとき、｜ｐ｜≧｜ｑ｜は必ず成り立たないので、ｑの値に関わらず、ｐｑの近似値は０となる。

図１７，図１８を用いて説明した積和処理が実行されることにより、上述した式（７）を用いて、共分散値を近似することが可能である。このようにした場合、式（５）に示される定義どおりの共分散値の演算が実行された場合と比較して、計算速度が高速化されたり、計算のために実装されるハードウェアのゲート数を少なくすることができるなどの利点が発生する。

次に、図１９のフローチャートを参照して、図１０のフローチャートにおけるステップＳ２５の処理である多重解像度逆変換処理について説明する。

ステップＳ２７１において、多重解像度逆変換処理部９０は、図示せぬカウンタＮをＮmax−１に設定する。このカウンタは、複数の多重解像度画像の数により設定されるものであり、図７の多重解像度逆変換処理部９０においては、レイヤ０乃至３であるので、Nmaxは、４となる。

ステップＳ２７２において、拡大処理部１５１は、最低レイヤの画像を拡大する。すなわち、図７の場合、拡大処理部１５１−１が、最低レイヤであるレイヤ３画像メモリ８５に格納されている画像を拡大し、加算処理部１５２−１に供給する。

ステップＳ２７３において、多重解像度逆変換処理部９０は、カウンタＮを１デクリメントする。

ステップＳ２７４において、多重解像度逆変換処理部９０は、カウンタＮが０であるか否かを判定する。例えば、カウンタＮが０ではない場合、ステップＳ２７５において、加算処理部１５２は、拡大処理部１５１により拡大された画像に、レイヤＮ修正画像を加算し、1レイヤ上の拡大処理部１５１に出力する。すなわち、最初の処理では、加算処理部１５２−１が、拡大処理部１５１−１より供給された画像に、レイヤ２修正画像メモリ８９に格納されているレイヤ２修正画像を加算し、拡大処理部１５１−２に供給する。

ステップＳ２７５において、拡大処理部１５１は、加算処理部１５２より供給されたレイヤＮ修正画像が加算された画像を拡大し、1レイヤ上の加算処理部１５２に供給し、ステップＳ２７４の処理に戻る。すなわち、最初の処理の場合、拡大処理部１５１−２が、加算処理部１５２−１より供給された画像を拡大し、加算処理部１５２−２に供給する。

すなわち、ステップＳ２７４において、カウンタＮが０であると判定されるまで、ステップＳ２７３乃至Ｓ２７６の処理が繰り返される。図７の場合、さらに、加算処理部１５２−２が、拡大処理部１５１−２より供給された画像に、レイヤ１修正画像メモリ８８に格納されているレイヤ１修正画像を加算し、拡大処理部１５１−３に供給する。

さらに、拡大処理部１５１−３は、加算処理部１５２−２より供給された画像を拡大し、加算処理部１５２−３に供給する。この処理の後、カウンタＮは０となるため、ステップＳ２７４において、カウンタＮは０であると判定され、ステップＳ２７７において、加算処理部１５２は、レイヤＮ、すなわち、レイヤ０修正画像をレイヤ修正画像メモリ８７より読み出し、拡大処理部１５１により拡大された画像を加算する。すなわち、ここでは、加算処理部１５２−３が、最上位レイヤであるレイヤ０修正画像を拡大処理部１５１−３により拡大された画像に加算し、ステップＳ２７８において、出力する。

以上の処理により、レイヤ０修正画像、レイヤ１修正画像、レイヤ２修正画像、およびレイヤ３画像を多重化解像度画像逆変換することで、元の解像度の画像に統合することが可能となる。

以上によれば、チャネル間の相関を利用して、基準となるチャネル（例えばG）信号との相関がなるべく高くなるように、他のチャネル信号の画素値を修正する（推定する）ことで、チャネル間の無相関な成分を低減させることが可能となる。このため、チャネル間の無相関な成分であるクロマ成分に混在するノイズを除去することが可能となり、結果として、クロマ成分のノイズを低減した画像信号を生成することが可能となる。

以上においては、Ｒの分散値とＧ，Ｒの共分散値とを用いて画素値を推定していた。ところが、クロマ成分のノイズはランダムな成分と色収差の2種類であるが、どちらもその混在によってチャネル間相関を弱くしてしまうという性質がある。そこで、チャネル間相関が十分に強ければ、上述の線形回帰計算により画素値を修正するが、チャネル間相関が十分に強くないときには、一方のチャネルの信号を遮断し、他方のチャネル信号で置き換えるようにしてもよい。

図２０は、チャネル間相関が十分に強ければ、上述の線形回帰計算により画素値を修正するが、チャネル間相関が十分に強くないときには、一方のチャネルの信号を遮断し、他方のチャネル信号で置き換えるようにした修正処理部８６の機能の一実施の形態の構成を示している。

図２０において、サンプリング処理部２０１−１，２０１−２、分散算出処理部２０２−１、共分散算出処理部２０３、クリッピング処理部２０４、除算処理部２０５、および乗算処理部２０６は、図６におけるサンプリング処理部１３１，１３２、分散算出処理部１３３、共分散算出処理部１３６、クリッピング処理部１３４、除算処理部１３５、および乗算処理部１３７と同様の処理を実行するものであるので、その説明は省略する。

図２０の修正処理部８６において、図６の修正処理部８６と異なるのは、新たに分散算出処理部２０２−２、相関係数算出処理部２０７、およびスイッチ２０８が設けられている点である。また、分散算出処理部２０２−１は、計算した分散値を新たに相関係数算出処理部２０７に供給し、共分散算出処理部２０３は、計算した共分散値を新たに相関係数算出処理部２０７に供給している。さらに、乗算処理部２０６は、乗算結果をスイッチ２０８に供給している。

分散算出処理部２０２−２は、注目画素に対応する所定の位置の近傍のRチャネル画素のサンプルからRチャネルの分散値を算出し、相関係数算出処理部２０７に供給する。

相関係数算出処理部２０７は、分散算出処理部２０２−１が算出したGの分散値、分散算出処理部２０２−２が算出したRの分散値、および、共分散算出算出処理部２０３が算出したRとGの共分散値からRとGの相関係数（＝（共分散値）／（√（Gの分散値）×√（Rの分散値）））を算出し、スイッチ２０８に供給する。

スイッチ２０８は、相関係数算出処理部２０７より供給されたRとGの相関係数と、所定の閾値とを比較し、相関係数が所定の閾値より大きい場合、乗算処理部２０６で修正された注目画素のRチャネル画素値を出力させ、相関係数が所定の閾値より小さい場合、乗算処理部２０６により修正したR画素値を遮断し、注目画素のGチャネル画素値をそのまま出力させる。

次に、図２１のフローチャートを参照して、図２０の修正処理部８６による画素値修正処理について説明する。尚、図２１のフローチャートにおけるステップＳ２９１乃至Ｓ２９９、およびステップＳ３０５，Ｓ３０６の処理は、図１２のフローチャートを参照して説明したステップＳ７１乃至Ｓ７９およびステップＳ８０，Ｓ８１の処理と同様であるので、その説明は省略する。

ステップＳ３００において、分散算出処理部２０２−２は、サンプリング処理部２０１−２より供給されたＲの画素値のサンプルより分散計算処理を実行し分散値を計算し、相関係数算出処理部２０７に供給する。

ステップＳ３０１において、相関係数算出処理部２０７は、分散算出処理部２０２−１，２０２−２よりそれぞれ供給されたＧ，Ｒの分散値、および共分散算出処理部２０３より供給されたＧ，Ｒの共分散値に基づいて、相関係数（＝（G-R共分散値）／（√（Gの分散値）×√（Rの分散値）））を算出し、スイッチ２０８に供給する。

ステップＳ３０２において、スイッチ２０８は、相関係数が所定の閾値よりも大きいか否かを判定し、例えば、大きいと判定した場合、ステップＳ３０３において、乗算処理部２０６より供給されたＧ，Ｒの相関に基づいて、修正されたＲの画素値（＝（共分散）／（分散）×（注目画素のＧの輝度値）を選択し、その処理は、ステップＳ３０５に進む。

一方、ステップＳ３０２において、相関係数が所定の閾値よりも小さいと判定した場合、ステップＳ３０４において、スイッチ２０８は、サンプリング処理部２０１−１より供給されてきたＧの輝度値を選択し、その処理は、ステップＳ３０５に進む。

以上の処理により、チャネル間の相関が弱いときはクロマ成分に混在するノイズが大きいと判定し、ノイズが大きいサンプルから線形回帰をおこなうよりもGチャネルを出力する。結果として、チャネル間の相関に応じて、クロマ成分のノイズを積極的に低減させることが可能となる。

以上においては、チャネル間の相関の強弱を相関係数を用いて判定する例について説明してきたが、これ以外の方法で、チャネル間の相関の強弱を判定してもよく、例えば、２つの分散値の差分絶対値と所定の閾値との比較により、チャネル間の相関の強弱を判定するようにしてもよい。

図２２は、チャネル間の相関の強弱を２つの分散値の差分絶対値により判定するようにした修正処理部８６の機能の一実施の形態の構成を示している。

尚、図２２の修正処理部８６の構成におけるサンプリング処理部２２１−，２２１−２、分散算出処理部２２２−１，２２２−２、共分散算出処理部２２３、マッピング処理部２２４、除算処理部２２５、および乗算処理部２２６については、図２０の修正処理部８６におけるサンプリング処理部２０１−，２０１−２、分散算出処理部２０２−１，２０２−２、共分散算出処理部２０３、マッピング処理部２０４、除算処理部２０５、および乗算処理部２０６と同様であるので、その説明は省略する。

図２２の修正処理部８６において、図２０の修正処理部８６の構成と異なるのは、相関係数算出処理部２０７およびスイッチ２０８に代えて、差分算出処理部２２７およびスイッチ２２８が設けられている点である。差分算出処理部２２７は、Ｇ，Ｒチャネルのそれぞれの分散値の差分絶対値を求め、スイッチ２２８に供給する。スイッチ２２８は、差分絶対値と所定の閾値とを比較し、比較結果に応じて相関の強弱を判定し、相関が弱ければ、サンプリング処理部２２１−１より供給された信号を選択し、相関が強ければ、乗算処理部２２６より供給された信号を選択する。

次に、図２３のフローチャートを参照して、図２２の修正処理部８６による画素値修正処理について説明する。尚、図２２のフローチャートにおけるステップＳ３２１乃至Ｓ３３０、およびステップＳ３３３乃至Ｓ３３６の処理は、図２１のフローチャートを参照して説明したステップＳ２９１乃至Ｓ３００およびステップＳ３０３乃至Ｓ３０６の処理と同様であるので、その説明は省略する。

ステップＳ３３１において、差分算出処理部２２７は、分散算出処理部２２２−１，２２２−２よりそれぞれ供給されたＧ，Ｒの分散値に基づいて、差分絶対値（＝｜（Gの分散値）−（Rの分散値）｜）を算出し、スイッチ２０８に供給する。

ステップＳ３３２において、スイッチ２２８は、差分絶対値が所定の閾値よりも大きいか否かを判定し、例えば、大きいと判定した場合、ステップＳ３３３において、乗算処理部２０６より供給されたＧ，Ｒの相関に基づいて、修正されたＲの画素値（＝（共分散）／（分散）×（注目画素のＧの輝度値）を選択し、その処理は、ステップＳ３３５に進む。

一方、ステップＳ３３２において、相関係数が所定の閾値よりも小さいと判定した場合、ステップＳ３３４において、スイッチ２２８は、サンプリング処理部２２１−１より供給されてきたＧの輝度値を選択し、その処理は、ステップＳ３３５に進む。

以上の処理により、分散値の差分絶対値からみたチャネル間の相関が弱いときはクロマ成分に混在するノイズが大きいと判定し、ノイズが大きいサンプルから線形回帰をおこなうよりもGチャネルを出力する。結果として、チャネル間の相関に応じて、クロマ成分のノイズを積極的に低減させることが可能となる。被写体輪郭領域において色収差に起因するエッジの色ずれがある場合、その色ずれがチャネル間の分散値の差として検出されやすい。結果として、以上のような処理により、このような色収差起因のエッジの色ずれに起因するノイズを有効に除去することが可能となる。また、相関係数を演算する際に必要となる乗算処理が不要となるため、コンピュータによる演算の負荷を低減させることが可能となる。

以上においては、GとR、またはGとBというような2チャネル間の相関に基づいて、修正した画素値か、または、Gの画素値かのいずれかを選択させる処理について説明してきたが、３チャネル以上のチャネル間相関を同時に評価することにより、よりクロマ成分のノイズ除去の効果を高めるようにしてもよい。

図２４は、３チャネルのチャネル間相関を同時に評価して、クロマ成分のノイズを除去するようにしたノイズ除去処理部４３の機能の一実施の形態の構成を示す図である。尚、図２４のノイズ除去処理部４３における多重解像度変換処理部２５１−１乃至２５１−３、レイヤ０画像メモリ２５２−１乃至２５２−３、レイヤ１画像メモリ２５３−１乃至２５３−３、レイヤ２画像メモリ２５４−１乃至２５４−３、レイヤ３画像メモリ２５５−１乃至２５５−３、レイヤ０修正画像メモリ２５７−１，２５７−２、レイヤ１修正画像メモリ２５８−１，２５８−２、レイヤ２修正画像メモリ２５９−１，２５９−２、および多重解像度逆変換処理部２６０−１，２６０−２は、図４の多重解像度変換処理部８１−１，８１−２、レイヤ０画像メモリ８２−１，８２−２、レイヤ１画像メモリ８３−１，８３−２、レイヤ２画像メモリ８４−１，８４−２、レイヤ３画像メモリ８５−１，８５−２、レイヤ０修正画像メモリ８７、レイヤ１修正画像メモリ８８、レイヤ２修正画像メモリ８９、および多重解像度逆変換処理部９０と同様のものなので、その説明は省略する。ただし、多重解像度逆変換処理部２６０−１，２６０−２は、それぞれ修正されたＲ，Ｂの画素値を出力する。また、3チャネルよりも多い多チャネルのカメラシステムである場合でも、図２４に示す構成にRまたはBチャネルの信号に該当する部分をそのまま追加したような構成とすることにより対応可能であるので、ここでは３チャネル構成の場合について説明する。

図２４のノイズ除去処理部４３において、新たな構成は、修正処理部２５６−１乃至２５６−３が設けられている点である。修正処理部２５６−１乃至２５６−３は、それぞれRGBの３チャネルの相関に基づいて、Ｒ，Ｂの画像信号におけるクロマ成分のノイズを除去するようにＲ，Ｂの画素値を修正し、それぞれレイヤ０修正画像メモリ２５７−１，２５７−２、レイヤ１修正画像メモリ２５８−１，２５８−２、およびレイヤ２修正画像メモリ２５９−１，２５９−２に格納する。

次に、図２５を参照して、修正処理部２５６の機能の一実施の形態の構成について説明する。

サンプリング処理部２８１−１乃至２８１−３は、該当するレイヤのそれぞれGRBチャネル画像から、注目画素位置に対応して設定される所定位置の近傍画素から複数個のGRBチャネル画素値をサンプリング（抽出）し、分散共分散相関係数算出処理部２８２に供給する。

分散共分散相関係数算出処理部２８２は、サンプリングされたGRBの画素値に基づいて、GRBの注目画素周辺の分散値を求め、Gの分散値をクリッピング処理部２８３に供給する。また、分散共分散相関係数算出処理部２８２は、サンプリングされたGRB画素値に基づいて、G-RおよびG-Bの注目画素周辺の共分散値を求め、それぞれ除算処理部２８４−１，２８４−２に供給する。さらに、分散共分散相関係数算出処理部２８２は、GRBの分散値、G-RおよびG-Bの注目画素周辺の共分散値、並びに、G-RおよびG-Bの相関係数を判定処理部２８６に供給する。

クリッピング処理部２８３は、Gチャネルのサンプルの分散値が所定の閾値より小さい場合、その閾値でクリッピングし、除算処理部２８４−１，２８４−２に供給する。除算処理部２８４−１，２８４−２は、それぞれクリッピング処理部２８３より供給される分散値により、分散共分散相関係数算出処理部２８２より供給されるG-RおよびG-B共分散値を除算し、分散値に対する共分散値の割合(共分散値/分散値)としてそれぞれ乗算処理部２８５−１，２８５−２に供給する。乗算処理部２８５−１，２８５−２は、(共分散値/分散値)に注目画素位置のGチャネル輝度値を乗じることで注目画素のノイズ除去されたRおよびBチャネル輝度値を修正し、それぞれスイッチ２８７，２８８に供給する。

判定処理部２８６は、分散共分散相関係数算出処理部２８２により算出されたGRBチャネルのGRBの分散値、G-RおよびG-Bの注目画素周辺の共分散値、並びに、G-RおよびG-Bの相関係数に基づいて、乗算処理部２８１−１，２８５−２が算出した注目画素のRチャネル画素の修正値およびBチャネル画素の修正値が利用できるか否かを判定し、判定結果をスイッチ２８７，２８８に供給する。

スイッチ２８７，２８８は、RBチャネルのそれぞれに対応し、判定処理部２８６より供給される判定結果に基づいて、乗算処理部２８５−１，２８５−２により算出された注目画素のRチャネル画素の修正値およびBチャネル画素の修正値を選択させるか、または、注目画素のGチャネルの画素値のいずれかを選択する。

次に、図２６のフローチャートを参照して、図２４のノイズ除去処理部４３によるノイズ除去処理について説明する。

ステップＳ３５１において、多重解像度変換処理部２５１−１乃至２５１−３は、それぞれ非線形変換処理部４２により生成された非線形変換処理されたGRBチャネル分の画像が入力されたか否かを判定し、入力されたと判定されるまで、その処理を繰り返し、入力されたと判定された場合、その処理は、ステップＳ３５２に進む。

ステップＳ３５２乃至Ｓ３５４において、多重解像度変換処理部２５１−１乃至２５１−３は、それぞれ多重解像度変換処理を実行し、入力されたGRBの画像をそれぞれ複数の多重解像度画像を生成し、生成した画像をレイヤ毎にそれぞれレイヤ０画像メモリ２５２−１乃至２５２−３、レイヤ１画像メモリ２５３−１乃至２５３−３、レイヤ２画像メモリ２５４−１乃至２５４−３、およびレイヤ３画像メモリ２５５−１乃至２５５−３に格納する。尚、GRBそれぞれの多重解像度変換処理は、図１１のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。

ステップＳ３５５において、修正処理部２５６−１乃至２５６−３は、それぞれレイヤ０乃至２のそれぞれのGRBの信号を用いて、画素値修正処理を実行し、R，Bの画素値を修正し、それぞれレイヤ０修正画像メモリ２５７−１，２５７−２、レイヤ１修正画像メモリ２５８−１，２５８−２、およびレイヤ２修正画像メモリ２５９−１，２５９−２に格納する。尚、画素値修正処理については、図２７のフローチャートを参照して、詳細を後述する。

ステップＳ３５６，Ｓ３５７において、多重解像度逆変換処理部２６０−１，２６０−２は、それぞれ多重解像度逆変換処理を実行し、レイヤ０修正画像メモリ２５７−１，２５７−２、レイヤ１修正画像メモリ２５８−１，２５８−２、およびレイヤ２修正画像メモリ２５９−１，２５９−２に格納されている、Ｒ，Ｂの画素値が修正されたレイヤ０乃至２の画像、および、レイヤ３画像メモリ２５５−２，２５５−３に格納されているＲ，Ｂの画像を、ステップＳ３５３，Ｓ３５４の処理による多重解像度変換の逆変換を実行することで、Ｒ，Ｂの複数の多重解像度画像を統合し、ステップＳ３５８において、統合されたＲ，Ｂの画像を出力する。尚、多重解像度逆変換処理については、図２０のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。

次に、図２７のフローチャートを参照して、図２５の修正処理部２５６による画素値修正処理について説明する。

ステップＳ３８１において、修正処理部２５６−１乃至２５６−３のサンプリング処理部２８１−１乃至２８１−３は、それぞれレイヤ０画像メモリ２５２−１乃至２５２−３、レイヤ１画像メモリ２５３−１乃至２５３−３、およびレイヤ２画像メモリ２５４−１乃至２５４−３に、RGBチャネルの画像が入力されたか否かを判定し、入力されたと判定されるまで、その処理を繰り返す。例えば、入力されたと判定された場合、その処理は、ステップＳ３８２に進む。

ステップＳ３８２において、サンプリング処理部２８１−１乃至２８１−３は、同一の未処理の画素を注目画素として選択する

ステップＳ３８３乃至Ｓ３８５において、サンプリング処理部２８１−１乃至２８１−３は、それぞれGBRチャネルのレイヤ０画像メモリ２５２−１乃至２５２−３、レイヤ１画像メモリ２５３−１乃至２５３−３、またはレイヤ２画像メモリ２５４−１乃至２５４−３より注目画素位置に対応する所定の位置に配置されている複数の画素をサンプリングし（抽出し）、分散共分散相関係数算出処理部２８２に供給する。

ステップＳ３８６において、分散共分散相関係数算出処理部２８２は、サンプリング処理部２８１−１乃至２８１−３より供給されたGRBの画素値のサンプルより分散計算処理を実行し、RGBの分散値を計算し、Gの分散値をクリッピング処理部２８３に供給すると共に、GRBの分散値を判定処理部２８６に供給する。尚、分散計算処理については、図１３，図１４のフローチャートを参照して説明した処理であるので、その説明は、省略する。

ステップＳ３８７において、分散共分散相関係数算出処理部２８２は、サンプリング処理部２８１−１乃至２８１−３より供給されたGRBの画素値のサンプルより共分散計算処理を実行し、G-R、G-BおよびB-Rの共分散値を計算し、それぞれ除算処理部２８４−１，２８４−２および判定処理部２８６に供給する。尚、共分散計算処理については、図１５のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。

ステップＳ３８８において、分散共分散相関係数算出処理部２８２は、相関係数計算処理を実行し、GRBの画素値のサンプルより計算された分散値と共分散値とに基づいて、G-R、G-B、B-Rの相関係数を計算し、判定処理部２８６に供給する。尚、相関係数計算処理については、図２１のフローチャートにおけるステップＳ３０１の処理と同様であるので、その説明は省略する。

ステップＳ３８９において、クリッピング処理部２８３は、分散共分散相関係数算出処理部２８２より供給されてくるGの分散値をクリッピング処理し、除算処理部２８４−１，２８４−２に供給する。

ステップＳ３９０，Ｓ３９１において、除算処理部２８４−１，２８４−２は、それぞれクリッピング処理部２８３より供給されてくる分散値と、分散共分散相関係数算出処理部２８２より供給されてくるG-RおよびG-Bの共分散値とに基づいて、それぞれＲ，Ｂに対しての(共分散/分散)を算出し、それぞれ乗算処理部２８５−１，２８５−２に供給する。

ステップＳ３９２，Ｓ３９３において、乗算処理部２８５−１，２８５−２は、それぞれＲ，Ｂの(共分散/分散)に注目画素位置のG画素値を乗じることにより、注目画素位置のR，Ｂ画素の画素値を修正する。

ステップＳ３９４において、判定処理部２８６は、分散共分散相関係数算出処理部２８２より供給されたGRBの分散値、G-RおよびG-Bの共分散値、並びにG-R、G-B、およびR-Bの相関係数に基づいて、以下の式（９）で示される判定式の値を算出し、スイッチ２８７，２８８にそれぞれ供給する。

・・・（９）

ここで、switchは、判定結果であり、条件を満たす場合、passingとなり乗算処理部２８５−１，２８５−２より供給された修正された画素値が選択され、条件を満たさない場合、blockingとなり入力されたGの画素値がそのまま使用される。また、V_GG，V_RR，V_BBはそれぞれRGBの分散値であり、Cov_RG，Cov_GB，Cov_BRはそれぞれR-G,G-B,B-Rの相関係数であり、THはそれぞれの所定の閾値である。

ステップＳ３９５において、スイッチ２８７，２８８は、判定結果がpassingであるか否かを判定し、例えば、passingであると判定した場合、ステップＳ３９６，Ｓ３９７において、それぞれ乗算処理部２８５−１，２８５−２より供給されたG-RおよびG-Bの相関に基づいて修正されたＲ，Ｂの画素値を選択し、その処理は、ステップＳ４００に進む。

一方、ステップＳ３９５において、passingではないと判定された場合、ステップＳ３９８，Ｓ３９９において、スイッチ２８７，２８８は、サンプリング処理部２８１−１より供給されてきたＧの輝度値を選択し、その処理は、ステップＳ４００に進む。

ステップＳ４００において、サンプリング処理部２８１−１乃至２８１−３は、未処理の画素が存在するか否かを判定し、未処理の画素があると判定された場合、その処理は、ステップＳ３８１に戻る。すなわち、未処理の画素がないと判定されるまで、ステップＳ３８１乃至Ｓ４００の処理が繰り返されて、順次Ｒ，Ｂの画素値が修正される。

ステップＳ４００において、未処理の画素がないと判定された場合、ステップＳ４０１において、スイッチ２８７，２８８は、それぞれ、これまでに計算したＲ，Ｂチャネルの画素値を修正した画像を出力する。

以上の処理により、チャネル間の相関性を利用して、ランダムな成分や色収差により生じるクロマ成分のノイズを、画素値を修正することにより除去することが可能となる。また、このように、3チャネルを信号を扱う構成の修正手段においては、ノイズ除去したい各チャネル（R,B）と基準となるチャネル(G)の間の関係だけでなく、ノイズ除去したいチャネル間の関係も合わせて判定をおこなうのでより特徴的なノイズ成分への対応が可能となる。特に、上述した式（９）の判定式により、例えば、高コントラストエッジ付近に現れる色収差の一種である色フレア現象はエッジの青乃至紫色の着色（パープルフリンジ）として見えることが多いが、このように特定の色相で目立つ場合を判別してそれを選択的に除去するようにすることが可能となる。

判定式の条件を変えることで、その他の現象により発生するノイズを除去することも可能である。

以上によれば、固体撮像素子などのイメージセンサを用いて得られた画像信号のクロマ成分に混在するノイズ成分を効率よく除去し、色ムラや色ズレという現象をなくすことが可能になる。

また、以上によれば、基準となるチャネル（例えばG）信号に対して他のチャネル信号の相関がなるべく高くなるように推定（修正）する処理により、チャネル間の無相関な成分を低減することが可能となり、クロマ成分に混在するノイズを低減させるようにすることが可能となる。

さらに、チャネル間相関が十分に強くないと判定された場合に、片方のチャネルの信号を遮断しもう一方のチャネル信号で置き換えるようにすることで、チャネル間相関が十分に高い場合にだけ、チャネル間相関を利用した画素値修正方法を使用することにより、効果的にノイズを除去することが可能となる。

また、GとR、またはGとBというような2チャネル間の相関に基づく処理だけでなく、３チャネル以上のチャネル間相関を同時に評価することにより、よりクロマ成分のノイズを、さらに効果的に除去することが可能となる。

さらに、多重解像度処理により入力画像を複数の帯域に分離した後に、チャネル間相関に基づいたノイズ除去処理を実行することにより、多重解像度処理によって、従来では除去しきれなかった低周波成分のノイズ成分を効果的に除去することが可能となる。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。

図２８は、図２のDSPブロック１６の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU４０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU４０１は、バス４０４および入出力インタフェース４０５を介してユーザからキーボードやマウスなどからなる入力部４０６から指令が入力されると、それに対応してROM(Read Only Memory)４０２に格納されているプログラムを実行する。あるいはまた、CPU４０１は、ドライブ４１０に接続された磁気ディスク４２１、光ディスク４２２、光磁気ディスク４２３、または半導体メモリ４２４から読み出され、記憶部４０８にインストールされたプログラムを、RAM(Random Access Memory)４０３にロードして実行する。これにより、上述した図２のDSPブロック１６の機能が、ソフトウェアにより実現されている。さらに、CPU４０１は、通信部４０９を制御して、外部と通信し、データの授受を実行する。

プログラムが記録されている記録媒体は、図２６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４２１（フレキシブルディスクを含む）、光ディスク４２２（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク４２３（MD（Mini-Disc）を含む）、もしくは半導体メモリ４２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM４０２や、記憶部４０８に含まれるハードディスクなどで構成される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

本発明を適用したデジタルスチルカメラの一実施の形態の構成を説明するブロック図である。図１のDSPブロックにより実現される機能の一実施の形態の構成を示すブロック図である。図２の非線形変換処理部の詳細な機能の一実施の形態の構成を示すブロック図である。図２のノイズ除去処理部の詳細な機能の一実施の形態の構成を示すブロック図である。図２の多重解像度変換処理部の機能の詳細な一実施の形態の構成を示すブロック図である。図４のノイズ除去処理部における修正処理部の機能について詳細な一実施の形態の構成を示すブロック図である。図２の多重解像度逆変換処理部の機能の詳細な一実施の形態の構成を示すブロック図である。図２の非線形逆変換処理部の機能の詳細な一実施の形態の構成を説明するブロック図である。図３のDSPブロックによる画像処理を説明するフローチャートである。ノイズ除去処理を説明するフローチャートである。多重解像度変換処理を説明するフローチャートである。画素値修正処理を説明するフローチャートである。分散計算処理を説明するフローチャートである。分散計算処理を説明するフローチャートである。共分散計算処理を説明するフローチャートである。積算処理を説明するフローチャートである。積算処理を説明するフローチャートである。積算近似処理を説明するフローチャートである。多重解像度逆変換処理を説明するフローチャートである。図４のノイズ除去処理部における修正処理部のその他の機能について詳細な一実施の形態の構成を示すブロック図である。図２０の修正処理部による画素値修正処理を説明するフローチャートである。図４のノイズ除去処理部における修正処理部のさらにその他の機能について詳細な一実施の形態の構成を示すブロック図である。図２２の修正処理部による画素値修正処理を説明するフローチャートである。図４のノイズ除去処理部その他の機能について詳細な一実施の形態の構成を示すブロック図である。図２４のノイズ除去処理部における修正処理部の機能について詳細な一実施の形態の構成を示すブロック図である。図２４のノイズ除去処理部によるノイズ除去処理を説明するフローチャートである。図２５の修正処理部による画素値修正処理を説明するフローチャートである。記録媒体を説明する図である。

符号の説明

１１レンズ，１２絞り，１３イメージセンサ，１４相関2重サンプリング回路，１５ A/Dコンバータ，１６ DSPブロック，１７タイミングジェネレータ，１８ D/Aコンバータ，１９ビデオエンコーダ，２０表示部，２１コーデック処理部，２２メモリ，２３ CPU，２４操作入力部，２５バス，４１デモザイク処理部，４２非線形変換処理部，４３ノイズ除去処理部，４４非線形逆変換処理部，４５ホワイトバランス処理部，４６ガンマ補正処理部，４７ YC変換処理部，６１マッピング処理部，６２変換曲線LUT，８１，８１−１，８１−２多重解像度変換処理部，８２レイヤ０画像メモリ，８３レイヤ１画像メモリ，８４レイヤ２画像メモリ，８５レイヤ３画像メモリ，８６，８６−１乃至８６−３修正処理部，８７レイヤ０ノイズ除去画像，８８レイヤ１ノイズ除去画像，８９レイヤ２ノイズ除去画像，９０多重解像度逆変換処理部，１１１，１１１−１乃至１１１−３縮小処理部，１１２，１１２−１乃至１１２−３減算処理部，１１３，１１３−１乃至１１３−３，拡大処理部，１３１，１３２サンプリング処理部，１３３分散算出処理部，１３４クリッピング処理部，１３５除算処理部，１３６共分散算出処理部，１３７乗算処理部，１５１，１５１−１乃至１５１−３拡大処理部，１５２，１５２−１乃至１５２−３加算処理部，１７１逆マッピング処理部，１７２変換曲線LUT，２０１，２０１−１，２０１−２サンプリング処理部，２０２，２０２−１，２０２−２分散算出処理部，２０３共分散算出処理部，２０４クリッピング処理部，２０５除算処理部，２０６乗算処理部，２０７相関係数算出処理部，２０８スイッチ，２２１，２２１−１，２２１−２サンプリング処理部，２２２，２２２−１，２２２−２分散算出処理部，２２３共分散算出処理部，２２４クリッピング処理部，２２５除算処理部，２２６乗算処理部，２２７差分算出処理部，２２８スイッチ，２５１，２５１−１，２５１−２多重解像度変換処理部，２５２，２５２−１乃至２５２−３レイヤ０画像メモリ，２５３，２５３−１乃至２５３−３レイヤ１画像メモリ，２５４，２５４−１乃至２５４−３レイヤ２画像メモリ，２５５，２５５−１乃至２５５−３レイヤ３画像メモリ，２５６，２５６−１乃至２５６−３修正処理部，２５７，２５７−１，２５７−２レイヤ０ノイズ除去画像，２５８，２５８−１，２５８−２レイヤ１ノイズ除去画像，２５９，２５９−１，２５９−２レイヤ２ノイズ除去画像，２６０，２６０−１，２６０−２多重解像度逆変換処理部，２８１，２８１−１乃至２８１−３サンプリング処理部，２８２分散共分散相関係数算出処理部，２８３クリッピング処理部，２８４，２８４−１，２８４−２除算処理部，２８５，２８５−１，２８５−２乗算処理部，２８６判定処理部，２８７，２８８スイッチ

Claims

N個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換手段と、
前記多重解像度変換手段により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記N個の画像中の１つの画像を、前記N個の画像間の相関に基づいて修正する修正手段と、
前記修正手段により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換手段と
を備えることを特徴とする画像処理装置。
前記Nは２である
ことを特徴とする請求項１に記載の画像処理装置。
前記修正手段は、
前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出手段と、
前記第１の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の分散値を算出する分散値算出手段と、
前記第１の画像、および、前記第２の画像のそれぞれの前記周辺画素の画素値に基づいて、前記第１の画像、および、前記第２の画像の画素値の共分散値を算出する共分散値算出手段と、
前記共分散値を前記分散値で除した係数を算出する係数算出手段とを備え、
前記係数を前記第１の画像の注目画素の画素値に乗じた値を、前記第２の画像の注目画素の画素値として修正する
ことを特徴とする請求項２に記載の画像処理装置。
前記共分散値算出手段は、
前記第１の画像、および、前記第２の画像のそれぞれの前記周辺画素の画素値の絶対値の最小値に、前記第１の画像の符号および前記第２の画像の符号を乗算した前記注目画素の近似値を算出し、算出された前記注目画素の近似値に基づいて、前記共分散値を算出し、
前記分散値算出手段は、
前記第１の画像、および、前記第２の画像のそれぞれの注目画素の画素値の近似値の期待値を算出し、算出された前記期待値に基づいて、前記分散値を算出する
ことを特徴とする請求項３に記載の画像処理装置。
前記係数算出手段は、
前記分散値が所定の閾値よりも小さい場合、前記所定の閾値を前記分散値として前記係数を算出する
ことを特徴とする請求項３に記載の画像処理装置。
前記修正手段は、
前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出手段と、
前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出手段と、
前記第１の画像、および、前記第２の画像のそれぞれの前記周辺画素の画素値に基づいて、前記第１の画像、および、前記第２の画像の画素値の共分散値を算出する共分散値算出手段と、
前記第１の分散値、前記第２の分散値、および前記共分散値とに基づいて、第１の画像、および、前記第２の画像の相関を算出する相関算出手段と、
前記相関が弱い場合、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する選択手段と
を備えることを特徴とする請求項２に記載の画像処理装置。
前記修正手段は、
前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出手段と、
前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出手段と、
前記第１の分散値、および前記第２の分散値の差分を算出する差分算出手段と、
前記分散値の差分が大きい場合、前記第１の画像の注目画素値を、前記第２の画像の注目画素値として選択する選択手段と
を備えることを特徴とする請求項２に記載の画像処理装置。
前記Nは３以上である
ことを特徴とする請求項１に記載の画像処理装置。
前記修正手段は、
注目画素の周辺から前記N個の画像のそれぞれの注目画素に対応した位置に配置される周辺画素の画素値を抽出する抽出手段と、
前記N個の画像のそれぞれについて、前記周辺画素の画素値に基づいて、分散値を算出する分散値算出手段と、
前記N個の画像のそれぞれの前記周辺画素の画素値に基づいて、前記N個の画像の共分散値を算出する共分散値算出手段と、
前記N個の画像のそれぞれの分散値、および前記共分散値の全ての組み合わせの相関を算出する相関算出手段と、
前記N個の画像の全ての組み合わせで相関が弱い場合、前記N個の画像のうちのいずれか１個の特定画像の注目画素の画素値を、前記特定画像以外の画像における注目画素の画素値として選択する選択手段と
を備えることを特徴とする請求項８に記載の画像処理装置。
前記修正手段は、
注目画素の周辺から前記N個の画像のそれぞれの注目画素に対応した位置に配置される周辺画素の画素値を抽出する抽出手段と、
前記N個の画像のそれぞれについて、前記周辺画素の画素値に基づいて、分散値を算出する分散値算出手段と、
前記N個の画像のそれぞれの分散値がいずれも所定の範囲内にある場合、前記N個の画像のうちのいずれか１個の特定画像の注目画素の画素値を、前記特定画像以外の画像における注目画素の画素値として選択する選択手段と
を備えることを特徴とする請求項８に記載の画像処理装置。
前記多重解像度画像変換手段は、
前記N個の画像を多重解像度画像の複数のレイヤ画像に変換する前に入力画像に非線形変換を適用する非線形変換手段を備える
ことを特徴とする請求項１に記載の画像処理装置。
前記非線形変換手段は、対数変換により、前記N個の画像を多重解像度画像の複数のレイヤ画像に変換する
ことを特徴とする請求項１１に記載の画像処理装置。
前記非線形変換手段は、ガンマ補正処理により、前記N個の画像を多重解像度画像の複数のレイヤ画像に変換する
ことを特徴とする請求項１１に記載の画像処理装置。
N個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換ステップと、
前記多重解像度変換ステップの処理により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記N個の画像中の１つの画像を、前記N個の画像間の相関に基づいて修正する修正ステップと、
前記修正ステップの処理により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換ステップと
を含むことを特徴とする画像処理方法。
N個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換ステップと、
前記多重解像度変換ステップの処理により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記N個の画像中の１つの画像を、前記N個の画像間の相関に基づいて修正する修正ステップと、
前記修正ステップの処理により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。