JP2009100302A - 画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法 - Google Patents
画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法 Download PDFInfo
- Publication number
- JP2009100302A JP2009100302A JP2007270422A JP2007270422A JP2009100302A JP 2009100302 A JP2009100302 A JP 2009100302A JP 2007270422 A JP2007270422 A JP 2007270422A JP 2007270422 A JP2007270422 A JP 2007270422A JP 2009100302 A JP2009100302 A JP 2009100302A
- Authority
- JP
- Japan
- Prior art keywords
- color space
- image signal
- noise level
- image
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 144
- 238000003384 imaging method Methods 0.000 title claims description 55
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000006243 chemical reaction Methods 0.000 claims abstract description 104
- 230000009467 reduction Effects 0.000 claims abstract description 51
- 238000012937 correction Methods 0.000 claims description 39
- 230000003321 amplification Effects 0.000 claims description 16
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 11
- 230000008859 change Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000011946 reduction process Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000002146 bilateral effect Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】少ない演算量で精度よくノイズレベルを予測して、画像信号にノイズ低減処理を施す画像処理装置を提供する。
【解決手段】 被写体像を撮像してRGB空間の画像信号を出力するイメージセンサ11と、RGB空間の画像信号からノイズレベルを予測するノイズレベル予測部50と、ノイズレベル予測部50により予測されたノイズレベルをRGB空間からYCrCb空間に変換するノイズレベル変換部60と、イメージセンサ11により撮像されたRGB空間の画像信号を、YCrCb空間の画像信号に変換する第1の画像信号変換部20と、ノイズレベル変換部60によりYCrCb空間に変換されたノイズレベルに応じて、第1の画像信号変換部20によりYCrCb色空間に変換された画像信号に含まれるノイズを低減するノイズ低減部30とを備える。
【選択図】 図2
【解決手段】 被写体像を撮像してRGB空間の画像信号を出力するイメージセンサ11と、RGB空間の画像信号からノイズレベルを予測するノイズレベル予測部50と、ノイズレベル予測部50により予測されたノイズレベルをRGB空間からYCrCb空間に変換するノイズレベル変換部60と、イメージセンサ11により撮像されたRGB空間の画像信号を、YCrCb空間の画像信号に変換する第1の画像信号変換部20と、ノイズレベル変換部60によりYCrCb空間に変換されたノイズレベルに応じて、第1の画像信号変換部20によりYCrCb色空間に変換された画像信号に含まれるノイズを低減するノイズ低減部30とを備える。
【選択図】 図2
Description
本発明は、撮像手段によって撮像された画像信号に含まれるノイズを低減する処理を行う画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法に関するものである。
一般的に、画像信号に含まれるノイズ成分を低減するノイズ低減処理では、画像信号の輪郭情報を保存しつつ、ノイズ成分のみを平均化や閾値による判定処理によって平滑化しようとする。一般的なノイズ低減処理では、輪郭情報とノイズとの識別のために、一定の閾値、あるいはそれに対応するパラメータが用いられている。
一例として、ウェーブレット変換を用いたノイズ低減処理では、スレッショルドといわれるパラメータが、上述した輪郭情報とノイズとの識別のための情報として用いられている。
別の例として、イプシロンフィルタ(特許文献1)やバイラテラルフィルタ(特許文献2)として知られるノイズ低減処理では、注目画素と周辺画素との差の大きさに応じて重み付き加算を行うが、この重みを決定するための関数を画像信号のノイズレベルに応じて設定する必要がある。例えば、イプシロンフィルタでは矩形の広がりをもつ関数を用いて、この重みを決定している。また、バイラテラルフィルタでは、ガウス関数の広がりをもつ関数を用いて、この重みを決定している。この広がりを決定するパラメータは、ウェーブレット変換を用いたノイズ低減処理におけるスレッショルドと同様に、輪郭情報とノイズの識別のための閾値として用いられている。
これらのパラメータには、有効な画像情報とノイズを切り分けるための境界値としての意味合いがある。したがって、これらのパラメータを画像信号のノイズレベルに合わせて適切に設定することが、より効果的にノイズ低減処理を行うのにきわめて重要となる。
すなわち、より効果的にノイズ低減処理を行うのには、画像のノイズレベルを可能な限り正確に知ることが必要となる。
画像に含まれるノイズには、その画像の信号レベルに対して依存性があることが一般的に知られている。したがって、上述したようなノイズ低減処理に用いられるパラメータを画像信号の信号レベル、例えば輝度レベルに応じて制御することがノイズ低減処理の効果を高めるために有効である。
例えば、特許文献1には、イプシロンフィルタを基本とする画像ノイズ低減処理において、画像に含まれるノイズレベルを画素の値から計算で求めて、輪郭情報とノイズの識別のための閾値を制御する処理が記載されている。
また特許文献3においては、輪郭情報とノイズとの識別のために設定する閾値の制御精度を向上するため、閾値を求めるときにルックアップテーブルを使用する処理が記載されている。
特許文献1、3に記載された処理で精度良いノイズレベルの特定を可能にするためには、ノイズ低減処理の適用対象となる画像信号において、画素の値とそのノイズレベルに1対1の単純な関係が成立していなければならない。
しかしながら、実際の画像信号において、このような関係は限られた場合のみにしか成立しない。画素の値とそのノイズレベルに1対1の単純な関係が成立する画像信号は例えば次の1.〜5.のとおりである。
1. イメージセンサ、アナログ前処理、及びAD変換器からなるアナログフロントエンドから得られた撮像信号
2. 未処理の画像信号に黒レベルオフセット補正処理を施した画像信号
3. 白黒カメラの画像処理系の任意の処理部から出力される画像信号
4. 色補正マトリクスがない3板カラーカメラにおいて、ホワイトバランス処理を経た後の画像信号、またはホワイトバランスとガンマ処理を経た後の画像信号
5. 3板カラーカメラにおいて色補正マトリクスの非対角要素の絶対値が対角要素の値に対して比較的少ない場合の色補正マトリクス処理後のRGB画像信号、あるいはそのRGB画像信号にホワイトバランス処理を施した後の画像信号、ホワイトバランスとガンマ処理を施したあとの画像信号、補間処理の前にホワイトバランスとガンマ補正処理を行うような構成をとる単板カメラシステムにおけるガンマ補正後の画像信号
なお、色補正マトリクスでの補正量が十分に少なければ精度が近似的に確保できる。
1. イメージセンサ、アナログ前処理、及びAD変換器からなるアナログフロントエンドから得られた撮像信号
2. 未処理の画像信号に黒レベルオフセット補正処理を施した画像信号
3. 白黒カメラの画像処理系の任意の処理部から出力される画像信号
4. 色補正マトリクスがない3板カラーカメラにおいて、ホワイトバランス処理を経た後の画像信号、またはホワイトバランスとガンマ処理を経た後の画像信号
5. 3板カラーカメラにおいて色補正マトリクスの非対角要素の絶対値が対角要素の値に対して比較的少ない場合の色補正マトリクス処理後のRGB画像信号、あるいはそのRGB画像信号にホワイトバランス処理を施した後の画像信号、ホワイトバランスとガンマ処理を施したあとの画像信号、補間処理の前にホワイトバランスとガンマ補正処理を行うような構成をとる単板カメラシステムにおけるガンマ補正後の画像信号
なお、色補正マトリクスでの補正量が十分に少なければ精度が近似的に確保できる。
以上の、あるいは以上に類する画像信号においては、信号レベルとそのノイズレベルに1変数1出力の単純な関係が厳密にまたは近似的に成立しており、特許文献1、3で示されている方法で精度良くノイズレベルの特定が可能であり、適切に使用された場合には相応の効果を得る。
しかしながら、たとえば画像信号として極めて広く用いられるYCbCr色空間で表現された画像信号においては、上述したような一対一の関係が成立しておらず、理論的には3変数関数で表される複雑な関係を持つ。
例えば、特許文献4においては、平均輝度値から色ノイズ量を推定する画像処理が記載されている。しかしながら、たとえば輝度信号Yの信号レベルだけから精度良くYのノイズレベルを知ることは、理論的に不可能で、輝度信号Y、色差信号Cb、Crの3つの信号レベルから輝度信号Yのノイズレベルを特定する必要がある。また、色差信号Cb、Crのノイズに関しても同様のノイズ特定方法が必要である。
こうした画像信号においては、上述した特許文献4に記載された画像処理を含め、1変数関数や1次元ルックアップテーブルで記述される関係では、精度の高いノイズレベル特定は理論的に不可能である。
特許文献5は、画素の色を判断してノイズ低減処理に係るパラメータを制御することが記載されているが、色の判断方法に関する具体的な処理について記載されていない。このノイズ低減処理では、色の判断結果からノイズレベルを特定してパラメータを制御するのではなく、色を判断し単に視覚的経験則からパラメータを制御している。すなわち、このノイズ低減処理では、色の判断をノイズレベル特定のためには使用していないため、画像に含まれる実際のノイズレベルに応じた適応制御を行おうという目的とは異なる。
また特許文献5には記載されていないが、「色の判断」という場合、それが1次元の情報に基づくことは常識的に考えられず、YCbCr色空間のうちの色差信号Cb、Cr、すなわち2次元の信号を元に2変数関数または2次元ルックアップテーブルで判断する場合、またはYCbCr空間の全ての信号、すなわち3次元の信号を元に3変数関数または3次元ルックアップテーブルで判断する場合がありえる。2次元と3次元の場合では、ノイズレベル特定の精度という視点からは大きな差があることは特許文献5において記載されていない。これはこのノイズ低減処理に係るパラメータ制御がノイズレベル特定の視点に立たず、単に視覚的経験則に頼っていることの現れであるといえる。
特許文献6は、YUV信号のうちUV、すなわち2次元の信号を用いて、色の判断を行う処理が記載されている。この場合は、ノイズレベルを特定するために2変数関数または2次元ルックアップテーブルを使用していることになるが、上述の通り、YCbCr空間と同様にYUV空間の信号においては、精度よいノイズレベル特定のためには3次元の情報を使用することが理論的に必須であるので、この方式の精度にはおのずと限界がある。この特許文献6においても、上述した特許文献5と同様にノイズレベルを特定するというステップを経ずに、視覚的経験則に頼る考え方に立脚している。
以上のように、特許文献5、6では2次元以上の信号の値を使用してノイズ低減処理に係るパラメータを操作する枠組みが示されてはいるものの、もっぱら人間の色に対する視覚特性をノイズ低減処理に係るパラメータの制御に反映させようとする試みであり、実際に画像に含まれるノイズレベルを精度良く特定しようとするものではない。従ってこれらを使用した画像に含まれるノイズ低減処理では、その精度や効果に限界がある。
以上の考察を実証する例として、図9Aに信号処理前の画素値とノイズレベルの関係を、図9Bに同じ画像データを処理した後のYCbCr空間の各信号レベルとそのノイズレベルとの対応関係を示す。
図9Aでは、信号レベルとノイズレベルとに、関数やルックアップテーブルで近似可能な明確な相関があることが観察できる。これに対して、図9Bに示す輝度信号Yでは、信号レベルとノイズレベルの間に一定の相関がみられるが、色差信号Cb、Crにおいては相関が見られず、このままで1次元的なモデリングが不可能であることは明らかである。
対策法としては、図9Aに示した近似可能な信号値とノイズレベルとの関係から単純な直線近似式を導出して、この導出した近似式を特殊な方法で伝播計算し、その結果を3次元のルックアップテーブルなどに予め記憶させ、このルックアップテーブルを参照して3次元の信号レベルとノイズレベルを対応付ける方法がある。この方法では理論的に高精度なノイズレベル特定が可能であるが、3次元のルックアップテーブルに必要とされるメモリ量や補間の計算量増加が大きいのに加えて、ヘッドアンプやホワイトバランスのゲインなど、撮像状況によって変化する画像処理パラメータに伴ってY、Cb、Crのノイズレベルが変化することに対応するための再計算と書き換えが必要とされるのでさらに計算量を増加してしまった。
本発明は、このような実情に鑑みて提案されたものであり、撮像手段から得られる画像信号と異なる色空間に変換された画像信号に対して、少ない演算量で精度よくノイズレベルを予測して、予測したノイズレベルに応じてノイズ低減処理を施す画像処理装置、画像処理方法、プログラム、撮像装置、及び、撮像方法を提供することを目的とする。
上述した課題を解決するための手段として、本発明に係る画像処理装置は、撮像手段により撮像された第1の色空間の画像信号を、該第1の色空間と異なる第2の色空間の画像信号に変換する画像処理装置において、上記第1の色空間の画像信号からノイズレベルを予測する予測手段と、上記予測手段により予測されたノイズレベルを、上記第1の色空間から上記第2の色空間に変換するノイズレベル変換手段と、上記撮像手段により撮像された画像信号を、上記第1の色空間から上記第2の色空間に変換する第1の画像信号変換手段と、上記ノイズレベル変換手段により第2の色空間に変換されたノイズレベルに応じて、上記第1の画像信号変換手段により第2の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減手段とを備える。
また、本発明に係る画像処理方法は、撮像手段により撮像された第1の色空間の画像信号を、該第1の色空間と異なる第2の色空間の画像信号に変換する画像処理方法において、上記第1の色空間の画像信号からノイズレベルを予測する予測工程と、上記予測工程により予測されたノイズレベルを、上記第1の色空間から上記第2の色空間に変換するノイズレベル変換工程と、上記撮像手段により撮像された画像信号を、上記第1の色空間から上記第2の色空間に変換する画像信号変換工程と、上記ノイズレベル変換工程により第2の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第2の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する。
また、本発明に係るプログラムは、撮像手段により撮像された第1の色空間の画像信号を、該第1の色空間と異なる第2の色空間の画像信号に変換する画像処理をコンピュータに実行させるためのプログラムにおいて、上記第1の色空間の画像信号からノイズレベルを予測する予測工程と、上記予測工程により予測されたノイズレベルを、上記第1の色空間から上記第2の色空間に変換するノイズレベル変換工程と、上記撮像手段により撮像された画像信号を、上記第1の色空間から上記第2の色空間に変換する画像信号変換工程と、上記ノイズレベル変換工程により第2の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第2の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する画像処理をコンピュータに実行させる。
また、本発明に係る撮像装置は、被写体像を撮像して第1の色空間の画像信号を出力する撮像手段と、上記第1の色空間の画像信号からノイズレベルを予測する予測手段と、上記予測手段により予測されたノイズレベルを、上記第1の色空間から上記第2の色空間に変換するノイズレベル変換手段と、上記撮像手段により撮像された画像信号を、上記第1の色空間から上記第2の色空間に変換する画像信号変換手段と、上記ノイズレベル変換手段により第2の色空間に変換されたノイズレベルに応じて、上記画像信号変換手段により第2の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減手段とを備える。
また、本発明に係る撮像方法は、被写体像を撮像して第1の色空間の画像信号を出力する撮像工程と、上記第1の色空間の画像信号からノイズレベルを予測する予測工程と、上記予測工程により予測されたノイズレベルを、上記第1の色空間から上記第2の色空間に変換するノイズレベル変換工程と、上記撮像工程により撮像された画像信号を、上記第1の色空間から上記第2の色空間に変換する画像信号変換工程と、上記ノイズレベル変換工程により第2の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第2の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する。
本発明では、撮像手段により撮像された第1の色空間の画像信号において成立する信号レベルとノイズレベルとの間の単純な対応関係を利用してノイズレベルを予測し、この予測したノイズレベルを第1の色空間から第2の色空間に変換するので、第2の色空間における画像信号のノイズレベルを少ない演算量で精度よく予測することができる。したがって、本発明では、画像信号のノイズレベルに応じて、撮像手段から得られる画像信号と異なる色空間に変換された画像信号に含まれるノイズを少ない演算量で精度よく低減することができる。
本発明が適用された画像処理装置は、画像信号に含まれるノイズを低減する処理を行うものであり、例えば図1に示すようなデジタルカメラ1に組み込まれる。以下では、デジタルカメラ1が備える撮像処理系によって撮像された画像信号に含まれるノイズを低減する画像処理を用いて本発明を実施するための最良の形態を説明する。
デジタルカメラ1は、図1に示すように、CCDやCMOSなどのイメージセンサ11によって撮像された画像信号を、フラッシュメモリなどの記録媒体19に記録する撮像装置である。具体的に、デジタルカメラ1は、イメージセンサ11と、プリアンプ12と、ホワイトバランス(WB)補正部13と、補間処理部14と、γ補正部15と、YC処理部16と、圧縮処理部17と、記録処理部18と、記録媒体19とを備える。
イメージセンサ11は、被写体からの光を受光して電気信号に変換するCCDやCMOSなどの固体撮像素子である。具体的に、イメージセンサ11は、赤色、緑色、及び青色からなる3原色の色フィルタが受光素子上にベイヤー配列された単板式の撮像素子である。すなわち、イメージセンサ11は、赤色信号を出力する画素(以下、便宜上R画素という。)、緑色信号を出力する画素(以下、便宜上G画素という。)、及び、青色信号を出力する画素(以下、便宜上B画素という。)がベイヤー配列された電気信号を読み出してプリアンプ12に供給する。
なお、イメージセンサ11は単板式の撮像素子に限定されるものではなく、3板式の撮像素子を用いるようにしても良い。また、イメージセンサ11の画素配列はベイヤー配列でなくても良い。
プリアンプ12は、撮像条件に応じて、イメージセンサ11から供給される電気信号を増幅する。このような増幅処理を行うのは、室内や夜間などの光量が少ない撮像条件においてイメージセンサ11が出力する電気信号の信号レベルが小さく、逆に日中の屋外などの光量が多い撮像条件においてイメージセンサ11が出力する電気信号の信号レベルが大きく、このような撮像条件に依存する信号レベルの変化を基準レベルに調整するためである。
このようにして、プリアンプ12は、撮像条件に応じて増幅率を設定し、この増幅率でイメージセンサ11から供給される電気信号を増幅してWB補正部13に供給する。
WB補正部13は、プリアンプ12から供給される電気信号に対して白色補正処理を施す。このような白色補正処理を施すのは、R画素、G画素、B画素毎にそれぞれ感光特性が異なることによって生じる信号レベルの変化を調整するためである。
このようにして、WB補正部13は、プリアンプ12によって増幅された電気信号に対して、R画素、G画素、B画素毎にそれぞれホワイトバランスゲインを設定して補正処理を施して補間処理部14に供給する。
補間処理部14は、WB補正部13から供給されるR画素、G画素、B画素がベイヤー配列された電気信号に対して補間処理を施し、赤色信号、緑色信号、及び、青色信号がそれぞれ全画素からなるRGB空間の画像信号を生成してγ補正部15に供給する。
γ補正部15は、補間処理部14から供給される画像信号の各色信号に対してγ変換を施し、γ補正した画像信号をYC処理部16に供給する。
YC処理部16は、γ補正部15から供給されるRGB空間の画像信号に対して、後述する変換処理を施して、画像を符号化する処理に適した色空間である輝度信号Yと、輝度信号Yに対して帯域幅の狭い2つの色差信号Cr、CbとからなるYCrCb空間の画像信号に変換する。そして、YC処理部16は、YCrCb空間に変換した画像信号に対して、この画像信号に含まれるノイズ成分を低減する処理を施して圧縮処理部17に供給する。
なお、本実施の形態では、色空間の変換処理としてYCrCb空間を用いるが、これに限定されるものではなく、例えばYUV空間などの他の色空間の画像信号に変換するようにしてもよい。
圧縮処理部17は、YC処理部16から供給されるYCrCb空間の画像信号に対して、画像の冗長性を低減してデータ量を圧縮してJPEG形式などのデータ形式に変換し、圧縮した画像データを記録処理部18に供給する。
記録処理部18は、圧縮処理部17から供給される圧縮された画像データを、例えばフラッシュメモリなどの不揮発性の記録媒体19に記録する処理を行う。
以上のような構成からなるデジタルカメラ1において、以下では、イメージセンサ11によって撮像された画像信号に含まれるノイズを低減する処理を行うYC処理部16の構成と動作に注目して説明する。
図2は、YC処理部16の第1の実施例であるYC処理部100の構成を示す図である。
第1の実施例に係るYC処理部100は、図2に示すように、第1の画像信号変換部20と、ノイズ低減部30と、第2の画像信号変換部40と、ノイズレベル予測部50と、ノイズレベル変換部60とを備える。
第1の画像信号変換部20は、γ補正部15から供給される画像信号を、RGB空間からYCrCb空間に変換する処理部であって、色空間変換部21と、ローパスフィルタ(LPF)22とを備える。
色空間変換部21は、赤色信号と緑色信号と青色信号とからなるRGB色空間の画像信号を座標変換して、輝度信号Yと2つの色差信号Cr、CbとからなるYCrCb空間の画像信号に変換する。なお、色空間変換部21では、YCrCbへの座標変換と共に、色補正処理を行うようにしてもよい。
LPF22は、色空間変換部21によりYCrCb空間に変換された画像信号のうち、2つの色差信号Cr、Cbの帯域を、輝度信号Yの帯域に対して制限するため、色差信号Cr、Cbにローパスフィルタリング処理を施す。
以上のような構成からなる第1の画像信号変換部20では、輝度信号Yと、輝度信号Yに対して帯域が制限された2つの色差信号Cr、Cbとからなる画像信号を、ノイズ低減部30及び第2の画像信号変換部40に供給する。
ノイズ低減部30は、第1の画像信号変換部20から供給されるYCrCb空間の画像信号に含まれるノイズを低減する処理部であって、例えば次のような構成となっている。すなわち、ノイズ低減部30は、ローパスフィルタ(LPF)31と、減算器32と、フィルタ部33と、高域信号処理部34と、加算器35とを備える。
ノイズ低減部30では、ローパスフィルタ31と減算器32とによって、輝度信号Yの帯域を高域と低域とに分離し、画像信号のエッジを保持するため輝度信号Yの高域成分を高域信号処理部34に供給し、低域成分に含まれるノイズを低減するため輝度信号Yの低域成分をフィルタ部33に供給する。
ローパスフィルタ31は、第1の画像信号変換部20から供給されるYCrCb空間の画像信号のうち、例えば輝度信号Yを2つの色差信号Cr、Cbの帯域と同じ帯域となるように帯域を制限する。そして、ローパスフィルタ31は、帯域を制限した輝度信号Yを減算器32及びフィルタ部33に供給する。
減算器32は、第1の画像信号変換部20から供給されるYCrCb空間の画像信号の輝度信号Yから、ローパスフィルタ31で帯域が制限された輝度信号Yを減算して、輝度信号Yの高域成分のみを高域信号処理部34に供給する。
フィルタ部33は、輝度信号Y、及び2つの色差信号Cr、Cbに対して、それぞれεフィルタ処理を施すεフィルタ331、332、333から構成される。
すなわち、εフィルタ331は、ローパスフィルタ31により帯域が制限された輝度信号Yに含まれるノイズを低減する。また、εフィルタ332は、第1の画像信号変換部20から供給されるYCrCb空間の画像信号のうち、色差信号Crに含まれるノイズを低減する。また、εフィルタ333は、第1の画像信号変換部20から供給されるYCrCb空間の画像信号のうち、色差信号Cbに含まれるノイズを低減する。
ここで、各εフィルタ331、332、333が行うεフィルタリングは、ノイズ低減処理の一例であって、具体的には注目画素に対する周辺画素の画素値の差分が閾値に対して小さいときのみノイズであると判断して周辺画素から平滑化する処理である。したがって、εフィルタリングを適切に行うには、ノイズ判定に用いる閾値を、後述するノイズレベル変換部60から供給される各信号のノイズレベルを制御指標として設定する必要がある。すなわち、フィルタ部33では、後述するノイズレベル変換部60から供給される各信号のノイズレベルを制御指標として、εフィルタ331、332、333のフィルタ特性を制御する。
なお、フィルタ部33は、εフィルタリングに限定されるものではなく、閾値を用いてノイズ判別を行うバイラテラルフィルタなどのフィルタ処理を行うようにしてもよい。
高域信号処理部34は、減算器32から供給される輝度信号Yの高域成分のみからなる信号に対して、たとえばゲインによる変調やリミット処理などを施して加算器35に供給する。
加算器35は、フィルタ部33のεフィルタ331から出力される輝度信号Yの低域成分の信号と、高域信号処理部34から供給される輝度信号Yの高域成分の信号とを足し合わせて、帯域が制限されていない状態の輝度信号Yを出力する。
以上のような構成からなるノイズ低減部30は、輝度信号Yのエッジを保存しつつ、フィルタ部33によりεフィルタリング処理を施して、加算器35から出力される輝度信号Yと、フィルタ部33のεフィルタ332、333から出力される2つの色差信号Cr、Cbとからなる画像信号を、後段の圧縮処理部17に供給する。
また、ノイズ低減部30では、フィルタ部33においてεフィルタによるノイズ低減処理を行うのに、ノイズであるか否かを判断するための閾値を設定することを要する。ここで、ノイズ判別のための閾値は、通常、各信号のノイズレベルに基づいて算出され、本実施の形態では、各信号の標準偏差をノイズレベルとする。
しかしながら、ノイズ低減部30が処理対象とするYCbCr空間の画像信号においては、信号の大きさとそのノイズレベルに1変数1出力の単純な関係は成立しておらず、精度良くノイズレベルを予測するには計算量が増大する。ここで、信号レベルとノイズレベルとの間の関係を複雑にする要因としては、第1の画像信号変換部20によるRGB空間をYCbCr空間へ変換する処理を行うためのマトリクスの演算が挙げられる。
これに対して、YC処理部100より前段で処理されるRGB空間の画像信号は、後述するように、信号とノイズレベルとの間に1変数1出力の関係が近似的に成り立ち、直線近似式でも実用的な精度で近似することができる。さらに、イメージセンサ11から出力された信号に、R画素、G画素、B画素の各色信号毎に異なるゲイン補正、ホワイトバランス補正などの処理が行われたとしても、R、G、Bそれぞれでは比較的単純な関係が成立している。したがって、YCrCb空間変換前のRGB空間の画像信号であれば、比較的単純な関係で実用的な精度のノイズレベル予測が可能である。
具体例として、図3にYCbCr空間に変換する前のRGB空間の画像信号の信号レベルとノイズレベルの関係を示す。図9Bに示すような、色差信号Cb、Crの信号とノイズレベルとの関係に比べてRGB空間の各色信号の方が信号レベルとノイズレベルとの間の相関が高い。
そこで、YC処理部100では、イメージセンサ11により撮像されたRGB空間の画像信号において成立する信号レベルとノイズレベルとの間の単純な対応関係を利用してノイズレベルを予測し、この予測したノイズレベルをRGB空間からYCrCb空間に変換し、このノイズレベルを指標としてノイズ低減部30のフィルタ特性を制御するため、第2の画像信号変換部40と、ノイズレベル予測部50と、ノイズレベル変換部60とが次のような構成を備える。
第2の画像信号変換部40は、第1の画像信号変換部20により変換されたYCrCb空間の画像信号を、YCrCb空間からRGB空間に変換してノイズレベル予測部50に供給するため、ローパスフィルタ41と色空間変換部42とを備える。
ローパスフィルタ41は、第1の画像信号変換部20により変換されたYCrCb空間の画像信号のうち、輝度信号Yを2つの色差信号Cr、Cbの帯域と同じ帯域となるように帯域を制限する。そして、ローパスフィルタ41は、帯域を制限した輝度信号Yを色空間変換部42に供給する。
色空間変換部42は、ローパスフィルタ41によって帯域が揃えられた輝度信号Y及び2つの色差信号Cr、Cbからなる画像信号を、YCrCb空間からRGB空間に座標変換する。そして、色空間変換部42は、RGB空間に変換された画像信号をノイズレベル予測部50に供給する。
なお、必ずしも帯域が揃えられたYCrCb空間からRGB空間に変換された画像信号をノイズレベル予測部50に供給しなければならないわけではなく、後述するような他の構成を用いてもよい。
ノイズレベル予測部50は、第2の画像信号変換部40から供給されるRGB空間の画像信号からノイズレベルを検出して、検出したノイズレベルをノイズレベル変換部60に供給する。具体的に、ノイズレベル予測部50は、RGB空間の各色信号毎に、任意の信号レベルとノイズレベルとを対応付けた直線近似式が予め記憶されている予測式テーブル51と、撮像状況に応じた直線近似式を予測式テーブル51から参照して、参照した直線近似式からノイズレベルを算出するノイズレベル算出部52とを備える。
予測式テーブル51は、RGB空間の各色信号において、任意の信号レベルとノイズレベルとを対応付けた直線近似式が予め記憶されている。予測式テーブル51に記憶される直線近似式は、次のようにして導出される。
まず、YC処理部100が組み込まれたデジタルカメラ1を用いてテスト色票を撮像して、RGB空間の各信号の標準偏差σR、σG、σBをノイズレベルとして測定し、これらの標準偏差σR、σG、σB分布を直線近似する。
ここで、各色信号RGBとノイズレベルσR、σG、σBとの対応関係(すなわち近似直線のパラメータ)は撮影状況によって変化することを考慮に入れなければならない。
本実施の形態に係るデジタルカメラ1や動画像を撮像するカムコーダにおいては、被写体の明るさに応じて自動的に、あるいはユーザが任意に信号処理前のイメージセンサ11出力に対して、上述したプリアンプ12が一定の増幅率を設定する。また、デジタルカメラ1においては、光源に応じて各色信号R、G、Bの感度差を補正するため、WB補正部13が各色信号にホワイトバランスゲインを設定する。実際にはこれらのゲインが撮像状況に応じて常に変動しており、ノイズレベルに影響を与えているため、ノイズレベルσR、σG、σBの直線近似式はプリアンプの増幅率とホワイトバランスゲインとを変数とした関数として表される必要がある。
次に、RGB信号値を入力値xとし、この信号値における信号の標準偏差σを直線近似した下記の近似式(1)を導出する処理を以下に示す。
ここで、PとQはそれぞれ直線の傾斜と切片であるが、いずれもプリアンプゲインとホワイトバランスゲインとを変数とした関数である。プリアンプゲインとホワイトバランスゲインとを乗じた値をgとおき、下記式(2)(3)によりPとQを更に直線で近似する。
ここで、a、b、c、dはP、Qと同様に直線近似の定数である。これを式(1)に代入して、下記の式(4)を導出する。
予め複数の光源及び明るさのもとで複数色の均一な画像を撮像して各々入力信号レベルxに対するノイズレベルσを測定して、既知の入力信号レベルxとノイズレベルの実測値σとからなるデータの総数をNとし、下記の式(5)に示すような4元N連立方程式を作成する。
式(5)を下記の式(6)のように表す。
Bの二乗誤差を最小化するXの解は、最小二乗法の公式から、下記の式(7)から求まる。
そして、式(7)の演算結果を式(4)中の直線近似の定数a、b、c、dに代入することにより、入力信号レベルと撮像状況に応じた変数gとに応じたノイズレベルσの関数が導出される。
以上のようにして、RGB空間におけるノイズレベルは、式(4)より、すなわち信号xとgの関数として近似的に求まる。
ここで、RGB空間における入力信号レベルとノイズレベルとを対応付けた直線近似式の例を図4に示す。図4は、プリアンプの増幅率が8で光源Aにおける色信号Gのノイズレベルの実測値を○で示し、プリアンプの増幅率が32で光源D65における色信号Rのノイズレベルの実測値を□で示している。また、図4では、プリアンプの増幅率が8で光源Aにおける色信号Gにおけるノイズレベルの直線近似式と、プリアンプの増幅率が32で光源D65における色信号Rにおけるノイズレベルの直線近似式とが実用的な精度で近似可能であることを示している。このように、図4に示した具体例のように、ノイズレベル予測部50は、式(1)〜式(7)によって導出した直線近似式を用いて、色信号の信号レベルに対応するノイズレベルの値をおおよそ実用的な精度で予測することができる。
デジタルカメラ1では、プリアンプ12の増幅率及びWB補正部13のホワイトバランスゲインを設定した各撮像状況毎に、任意の信号レベルとノイズレベルとを対応付けた直線近似式を、既知の信号レベルとノイズレベルの実測値を用いて式(1)〜式(7)により予め導出して、導出した直線近似式を予測式テーブル51に記憶しておく。
ノイズレベル算出部52は、導出された直線近似式を参照して、撮像状況、すなわちプリアンプ12の増幅率及びWB補正部13のホワイトバランスゲインに応じた直線近似式を予測式テーブル51から参照して、参照した直線近似式からノイズレベルを算出する。具体的に、ノイズレベル算出部52は、フレームの更新タイミングを示す垂直同期信号に同期してプリアンプ12の増幅率及びWB補正部13のホワイトバランスゲインを検出して、検出結果に応じた直線近似式を予測式テーブル51から参照して、参照した直線近似式からノイズレベルを算出する。
なお、図4に示したノイズレベルσRσGσBの予測では、式(4)によるパラメータ導出過程において、根拠とした測定データの分布範囲の外側において精度が著しく低下する場合がある。そこで、ノイズレベル算出部52では、予測式テーブル51に記憶されている式(1)〜式(7)によって導出した各直線近似式、例えば図4で示したプリアンプの増幅率が32で光源D65における色信号Rのノイズレベルに関する直線近似式に対して、図5に示すように式(4)の計算結果の上限と下限で所定の制限値を設定する。このようにして、ノイズレベル算出部52は、直線近似式を用いて算出されるノイズレベルが上限下限において所定の制限値を超えているとき、制限値を画像信号のノイズレベルとして予測することによって、上述した精度の低下による予測誤差を低減することができる。
以上のような構成からなるノイズレベル予測部50では、イメージセンサ11により撮像されたRGB空間の画像信号において成立する信号レベルとノイズレベルとの間の単純な対応関係を、予め直線近似式として予測式テーブル51に記憶しておき、ノイズレベル算出部52がこの直線近似式を参照することで、比較的少ない演算量で精度よく入力信号レベルに対するノイズレベルを算出することができる。
ノイズレベル予測部50で予測されたノイズレベルが供給されるノイズレベル変換部60では、具体的には下記の式(8)により、RGB空間の各色信号のノイズレベルσR、σG、σBから、YCbCr空間の各信号のノイズレベルσY、σCb、σCrを求めて、求めたノイズレベルσY、σCb、σCrをノイズ低減部30に供給する。
なお、行列MはRGB空間からYCrCb空間に座標変換するための変換行列である。なお、行列Mは、座標変換行列と、色補正処理を行うための変換行列とを乗じた行列としてもよい。
ここで、式(8)による変換処理において、ノイズレベルσR、σG、σBからノイズレベルσY、σCb、σCrに精度よく変換するには、各信号の帯域が揃っていることが必要である。
YC処理部100では、ノイズ低減部が輝度信号Yの帯域を分割して低域成分のみをεフィルタ331でフィルタリングしており、εフィルタ331に係る閾値が輝度信号Yの低域のみに行うこととしている。したがって、ノイズレベル変換部60では、ノイズレベルを予測する対象のYCbCr空間の帯域を近似的に近いとみなして、ノイズレベルσR、σG、σBからノイズレベルσY、σCb、σCrに変換することができる。
ここで、マクベスカラーパッチ24色の色票をテスト色票の具体例として、RGB空間で予測してYCbCr空間に変換したノイズレベルと、撮像画像から実測したYCbCr信号のノイズレベルの比較例を図6に示す。
図6(A)は、プリアンプの増幅率が8、A光源における撮像状況において、横軸を色票番号、縦軸をノイズレベルとして、色差信号Crのノイズレベルの実測値を○表記の点を結んだ実線で示し、予測値を□表記の点を結んだ実線で示している。また、図6(B)は、プリアンプの増幅率が32、D65光源における撮像状況において、横軸を色票番号、縦軸をノイズレベルとして、色差信号Cbのノイズレベルの実測値を○表記の点で結んだ実線で示し、予測値を□表記の点を結んだ実線で示している。
図6(A)、(B)に示すように、各撮像状況に応じて、ノイズレベル変換部60で変換されたノイズレベルの予測値は、実測値が示すノイズレベルの変化に追従している。
このようにして、YC処理部100では、ノイズレベル予測部50が、イメージセンサ11により撮像されたRGB色空間の画像信号において成立する信号レベルとノイズレベルとの間の単純な対応関係を利用してノイズレベルを予測し、ノイズレベル変換部60が、この予測したノイズレベルをRGB色空間からYCrCb空間に変換するので、図6の具体例に示すように、YCrCb空間における画像信号のノイズレベルを少ない演算量で精度よく予測することができる。
したがって、YC処理部100では、ノイズ低減部30が、ノイズレベル変換部60から供給されるノイズレベルσY、σCb、σCrを制御指標として各εフィルタ331、332、333のフィルタ特性を制御して、イメージセンサ11から得られる画像信号と異なる色空間であるYCrCb空間に変換された画像信号に含まれるノイズを精度よく低減することができる。
具体的に、ノイズ低減部30では、εフィルタ331、332、333の制御パラメータである各スレッショルドTh_Y、Th_Cb、Th_Crの設定例として、下記式(9)〜(11)のように、σY、σCb、σCrの定数倍を用いる。
Th_Y=k_y×σY …(9)
Th_Cb=k_cb×σCb …(10)
Th_Cr=k_cr×σCr …(11)
Th_Cb=k_cb×σCb …(10)
Th_Cr=k_cr×σCr …(11)
また、ノイズ低減部30では、視覚的経験則を用いる方法と組み合わせて、各スレッショルドTh_Y、Th_Cb、Th_Crを設定してもよい。この場合、ノイズ低減部30は、Th_i(i=y,cb,cr)を直接制御するのではなく。検出した色に応じてk_iを制御することで、測定に基づく正確なεフィルタ331、332、333のパラメータ制御と、視覚的経験則による知見をより高精度に統合することが可能となり、より高いノイズリダクション効果を実現することができる。
以上のような構成からなる第1の実施例に係るYC処理部100では、第2の画像信号変換部40がローパスフィルタ41により輝度信号Yを2つの色差信号Cr、Cbの帯域と同じ帯域となるように帯域を制限している。
これに対して、第2の実施例に係るYC処理部200は、図7に示すように、ノイズ低減部30が備えるローパスフィルタ31によって帯域が揃えられた輝度信号Y及び2つの色差信号Cr、Cbからなる画像信号を色空間変換部42に供給し、色空間変換部42によりYCrCb空間からRGB空間に変換した画像信号をノイズレベル予測部50に供給するものである。なお、第2の実施例に係るYC処理部200のうち、第1の実施例に係るYC処理部100と同様の処理部に関しては同様の符号を付して、その説明を省略する。
このように、第2の実施例に係るYC処理部200では、ノイズ低減部30内においてフィルタ部33へ供給するために帯域が揃えられた輝度信号Y及び2つの色差信号Cr、Cbからなる画像信号を色空間変換部42に供給することで、ローパスフィルタ41を省略して第2の画像信号変換部40の機能を実現することができる。したがって、第2の実施例に係るYC処理部200では、第1の実施例に係るYC処理部100と同様に、YCrCb空間における画像信号のノイズレベルを少ない演算量で精度よく予測することができるとともに、第1の実施例に係るYC処理部100に比べて回路規模を削減することができる。
また、第1及び第2の実施例では、第2の画像信号変換部40によりYCrCb空間からRGB空間に逆変換した画像信号をノイズレベル予測部50に供給している。しかしながら、YC処理部16は、ノイズレベル予測部50にRGB空間の画像信号を供給するものであれば上述した実施例の構成に限定されるものではなく、例えば図8に示すような第3の実施例のような構成にしてもよい。
すなわち、第3の実施例に係るYC処理部300は、上述したYC処理部100、200と異なり、第2の画像信号変換部40の代わりに、具体的には後述するローパスフィルタ70を備えたものである。なお、第3の実施例に係るYC処理部300のうち、第1、第2の実施例に係るYC処理部100、200と同様の処理部に関しては同様の符号を付して、その説明を省略する。
第3の実施例に係るYC処理部300では、前段のγ補正部15から供給されるRGB空間の画像信号を第1の画像信号変換部20及びローパスフィルタ70にそれぞれ供給する。そして、YC処理部300では、ローパスフィルタ70が、帯域制限処理を各色信号に施し、帯域を制限したRGB空間の画像信号をノイズレベル予測部50に供給する。
ローパスフィルタ70は、γ補正部15から供給されるRGB空間の画像信号に対して、仮にこの画像信号がYCrCb空間に変換されたとき輝度信号Yと2つの色差信号Cr、Cbが共に帯域が揃った状態となるように、帯域制限処理を施す。
このような処理をローパスフィルタ70が施すのは、例えば、上述したようにノイズレベル変換部60において精度よくノイズレベルをRGB空間からYCrCb空間に変換するのに、各信号の帯域が揃っていることが必要だからである。換言すれば、このローパスフィルタ70の構成や特性の選択によって、ノイズ低減処理に適用されるスレッショルドの画素ごとのばらつきを調整することができ、その結果ノイズ低減処理の画質的効果を最適化することができる。
なお、ローパスフィルタ70以外に係る第3の実施例に係るYC処理部300が行う処理は、第1〜第2の実施例と同様なので、その説明を省略する。
以上のように、本実施の形態に係るデジタルカメラ1では、YC処理部16内において、ノイズレベル予測部50がノイズレベルを予測し、ノイズレベル変換部60がこの予測したノイズレベルをRGB色空間からYCrCb空間に変換するので、下記の理由により従来に比べて、YCrCb空間における画像信号のノイズレベルを少ない演算量で精度よく予測することができる。
これは、画像信号に含まれるノイズに、その信号の大きさに対する依存性があり、その依存性に従ってスレッショルド制御を行うことがノイズ低減処理の効果を高めるために有効だからである。しかしながら、従来では、YCbCr空間のような、多くの信号処理を経た後の画像信号におけるノイズにおいて、信号レベルとノイズレベルとの間に3次元的な複雑な関係があり、ノイズレベルの精度良い推定が困難で、効果的なノイズ低減処理を行うことができなかった。
これに対して、イメージセンサ11により撮像されたRGB色空間の画像信号において成立する信号レベルとノイズレベルとの間の単純な対応関係を利用してノイズレベル予測部50がノイズレベルを予測するので、YC処理部16では、従来に比べて、YCrCb空間における画像信号のノイズレベルを少ない演算量で精度よく予測することができる。よって、デジタルカメラ1では、YC処理部16内において、ノイズ低減部30が、ノイズレベル変換部60から供給されるノイズレベルσY、σCr、σCbを制御指標として各εフィルタ331、332、333のフィルタ特性を制御して、イメージセンサ11から得られる画像信号と異なる色空間であるYCrCb空間に変換された画像信号に含まれるノイズを精度よく低減することができる。
また、デジタルカメラ1では、プリアンプ12の増幅率及びWB補正部13のホワイトバランスゲインに対応して、RGB空間での信号レベルとノイズレベルの関係を簡単な直線近似式で近似して、この直線近似式を用いてノイズレベルを予測するので、撮像状況によって逐次変化するプリアンプゲインやホワイトバランスゲインに応じたYCrCbノイズレベルの変化に容易に対応してノイズレベルを少ない演算量で精度よく予測することができる。これは、デジタルカメラ1やカムコーダにおいて、プリアンプゲインやホワイトバランスゲインが撮像状況に応じて頻繁に変更されており、例えばεフィルタリング処理のスレッショルドなどのようにノイズ低減処理系のフィルタパラメータもこのような変更に応じて追従して更新される必要があるからである。
なお、上述したYC処理部16の具体例として示したYC処理部100、200、300は、個々の処理部を専用のハードウェアを用いて実装してもよく、または、RAMなどの記憶媒体に記憶されている画像処理プログラムを汎用のプロセッサに読み出すことによって実装するようにしてもよい。
また、本発明は、上述したイメージセンサ11から静止画像を取り込んで記録媒体19に記録するデジタルカメラ1のみに適用されるものではなく、動画像を取り込んで動画像の画像信号に含まれるノイズを低減するカムコーダの信号処理系に適応することが可能である。また、本発明は、例えば撮像装置以外のコンピュータで実行される画像処理プログラムによってYCrCb空間の画像信号に含まれるノイズを低減する処理系にも適用する事が可能である。
1 デジタルカメラ、11 イメージセンサ、12 プリアンプ、13 WB補正部、14 補間処理部、15 γ補正部、16、100、200、300 YC処理部、17 圧縮処理部、18 記録処理部、19 記録媒体、20 第1の画像信号変換部、21 色空間変換部、22、31、41、70 ローパスフィルタ、30 ノイズ低減部、32 減算器、33 フィルタ部、331、332、333 εフィルタ、34 高域信号処理部、35 加算器、40 第2の画像信号変換部、42 色空間変換部、50 ノイズレベル予測部、51 予測式テーブル、52 ノイズレベル算出部、60 ノイズレベル変換部、
Claims (10)
- 撮像手段により撮像された第1の色空間の画像信号を、該第1の色空間と異なる第2の色空間の画像信号に変換する画像処理装置において、
上記第1の色空間の画像信号からノイズレベルを予測する予測手段と、
上記予測手段により予測されたノイズレベルを、上記第1の色空間から上記第2の色空間に変換するノイズレベル変換手段と、
上記撮像手段により撮像された画像信号を、上記第1の色空間から上記第2の色空間に変換する第1の画像信号変換手段と、
上記ノイズレベル変換手段により第2の色空間に変換されたノイズレベルに応じて、上記第1の画像信号変換手段により第2の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減手段とを備える画像処理装置。 - 上記第1の画像信号変換手段により第2の色空間に変換された画像信号を、上記第2の色空間から上記第1の色空間に変換する第2の画像信号変換手段を更に備え、
上記第1の色空間は、赤色信号と緑色信号と青色信号とからなる色空間であり、
上記第2の色空間は、輝度信号と、該輝度信号に比べて帯域幅が狭い2つの色差信号とからなる色空間であり、
上記第2の画像信号変換手段は、上記第1の画像信号変換手段により第2の色空間に変換された画像信号における上記輝度信号を上記2つの色差信号の帯域と同じ帯域となるように帯域を制限する帯域制限手段と、該帯域制限手段により帯域が制限された輝度信号と該2つの色差信号とからなる画像信号を、上記第2の色空間から上記第1の色空間に座標変換する座標変換手段とを有し、
上記予測手段は、上記第2の画像信号変換手段により第1の色空間に変換された画像信号から、ノイズレベルを予測することを特徴とする請求項1記載の画像処理装置。 - 上記予測手段は、任意の信号レベルとノイズレベルとを対応付けた直線近似式を用いて、上記第1の色空間の画像信号からノイズレベルを予測することを特徴とする請求項1記載の画像処理装置。
- 上記撮像手段により撮像された第1の色空間の画像信号は、撮像素子により撮像されて増幅手段により増幅された画像信号であり、
上記予測手段は、上記増幅手段の増幅率を参照し、該参照した増幅率に対応する上記直線近似式を用いて、上記第1の色空間の画像信号からノイズレベルを予測することを特徴とする請求項3記載の画像処理装置。 - 上記撮像手段により撮像された第1の色空間の画像信号は、撮像素子により撮像されて白色補正手段により白色補正された画像信号であり、
上記予測手段は、上記白色補正手段の補正係数を参照し、該参照した補正係数に対応する上記直線近似式を用いて、上記第1の色空間の画像信号からノイズレベルを予測することを特徴とする請求項3記載の画像処理装置。 - 上記予測手段は、上記直線近似式を用いて算出されるノイズレベルが所定の制限値を超えているとき、該制限値を上記画像信号のノイズレベルとして予測することを特徴とする請求項3記載の画像処理装置。
- 撮像手段により撮像された第1の色空間の画像信号を、該第1の色空間と異なる第2の色空間の画像信号に変換する画像処理方法において、
上記第1の色空間の画像信号からノイズレベルを予測する予測工程と、
上記予測工程により予測されたノイズレベルを、上記第1の色空間から上記第2の色空間に変換するノイズレベル変換工程と、
上記撮像手段により撮像された画像信号を、上記第1の色空間から上記第2の色空間に変換する画像信号変換工程と、
上記ノイズレベル変換工程により第2の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第2の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する画像処理方法。 - 撮像手段により撮像された第1の色空間の画像信号を、該第1の色空間と異なる第2の色空間の画像信号に変換する画像処理をコンピュータに実行させるためのプログラムにおいて、
上記第1の色空間の画像信号からノイズレベルを予測する予測工程と、
上記予測工程により予測されたノイズレベルを、上記第1の色空間から上記第2の色空間に変換するノイズレベル変換工程と、
上記撮像手段により撮像された画像信号を、上記第1の色空間から上記第2の色空間に変換する画像信号変換工程と、
上記ノイズレベル変換工程により第2の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第2の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する画像処理をコンピュータに実行させるためのプログラム。 - 被写体像を撮像して第1の色空間の画像信号を出力する撮像手段と、
上記第1の色空間の画像信号からノイズレベルを予測する予測手段と、
上記予測手段により予測されたノイズレベルを、上記第1の色空間から上記第2の色空間に変換するノイズレベル変換手段と、
上記撮像手段により撮像された画像信号を、上記第1の色空間から上記第2の色空間に変換する画像信号変換手段と、
上記ノイズレベル変換手段により第2の色空間に変換されたノイズレベルに応じて、上記画像信号変換手段により第2の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減手段とを備える撮像装置。 - 被写体像を撮像して第1の色空間の画像信号を出力する撮像工程と、
上記第1の色空間の画像信号からノイズレベルを予測する予測工程と、
上記予測工程により予測されたノイズレベルを、上記第1の色空間から上記第2の色空間に変換するノイズレベル変換工程と、
上記撮像工程により撮像された画像信号を、上記第1の色空間から上記第2の色空間に変換する画像信号変換工程と、
上記ノイズレベル変換工程により第2の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第2の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する撮像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007270422A JP2009100302A (ja) | 2007-10-17 | 2007-10-17 | 画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007270422A JP2009100302A (ja) | 2007-10-17 | 2007-10-17 | 画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009100302A true JP2009100302A (ja) | 2009-05-07 |
Family
ID=40702873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007270422A Withdrawn JP2009100302A (ja) | 2007-10-17 | 2007-10-17 | 画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009100302A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013157964A (ja) * | 2012-01-31 | 2013-08-15 | Nk Works Kk | 画像処理プログラム、画像処理装置および画像処理方法 |
CN104486607A (zh) * | 2014-12-31 | 2015-04-01 | 上海富瀚微电子股份有限公司 | 一种图像色度降噪的方法及装置 |
JP2017188809A (ja) * | 2016-04-06 | 2017-10-12 | 日本放送協会 | 符号化装置、その復号化装置および符号化・復号化装置 |
JP2020162049A (ja) * | 2019-03-27 | 2020-10-01 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
WO2020234954A1 (ja) * | 2019-05-20 | 2020-11-26 | 日本電信電話株式会社 | ラインセンサ感度補正装置、ラインセンサ感度補正方法、及びラインセンサ感度補正プログラム |
-
2007
- 2007-10-17 JP JP2007270422A patent/JP2009100302A/ja not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013157964A (ja) * | 2012-01-31 | 2013-08-15 | Nk Works Kk | 画像処理プログラム、画像処理装置および画像処理方法 |
CN104486607A (zh) * | 2014-12-31 | 2015-04-01 | 上海富瀚微电子股份有限公司 | 一种图像色度降噪的方法及装置 |
JP2017188809A (ja) * | 2016-04-06 | 2017-10-12 | 日本放送協会 | 符号化装置、その復号化装置および符号化・復号化装置 |
JP2020162049A (ja) * | 2019-03-27 | 2020-10-01 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP7311994B2 (ja) | 2019-03-27 | 2023-07-20 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
WO2020234954A1 (ja) * | 2019-05-20 | 2020-11-26 | 日本電信電話株式会社 | ラインセンサ感度補正装置、ラインセンサ感度補正方法、及びラインセンサ感度補正プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101099401B1 (ko) | 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체 | |
JP5269718B2 (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
JP4904440B2 (ja) | 画像処理方法および装置,ならびに画像処理プログラムおよびこのプログラムを記録した媒体 | |
US20080239094A1 (en) | Method of and apparatus for image denoising | |
US8320705B2 (en) | Image processing apparatus and image processing method | |
US7876970B2 (en) | Method and apparatus for white balancing digital images | |
US10440339B2 (en) | Image processing apparatus, image processing method, and storage medium for performing correction for a target pixel having high luminance in an image | |
JP2004088149A (ja) | 撮像システムおよび画像処理プログラム | |
JP2009159496A (ja) | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 | |
US20060215908A1 (en) | Image pickup apparatus and image processing method | |
JP2007094742A (ja) | 画像信号処理装置及び画像信号処理プログラム | |
US20150215595A1 (en) | Image processor, imaging apparatus equipped with the same, and image processing method | |
JP2008205691A (ja) | 画像処理装置および方法、記録媒体、並びに、プログラム | |
JP5041886B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法 | |
WO2007077730A1 (ja) | 撮像システム、画像処理プログラム | |
WO2015119271A1 (ja) | 画像処理装置、撮像装置、画像処理方法、コンピュータにより処理可能な一時的でない記憶媒体 | |
US8427560B2 (en) | Image processing device | |
WO2019104047A1 (en) | Global tone mapping | |
JP2013218487A (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
JP6282123B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2006023959A (ja) | 信号処理システム及び信号処理プログラム | |
WO2005099356A2 (ja) | 撮像装置 | |
JP2009100302A (ja) | 画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法 | |
JP4797949B2 (ja) | 撮像装置、画像処理装置、方法およびプログラム | |
JP2010521719A (ja) | 画像処理システムおよび画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110104 |