JP2007005903A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 画像処理を行っても階調情報が損なわれることがなく、かつ入力デジタル画像データのビット数を増やさずに元画像に近い階調表現を行うことができる。
【解決手段】 画像処理装置は、複数ビットからなる入力デジタル画像データのビット数を増やして階調増加を行う階調増加部１と、階調増加後のデータに対してノイズを付加するノイズ付加部２と、ノイズ付加部２による処理後のデータに対して各種の画像処理を行う画像処理部３と、画像処理部３による処理後のデータのビット数を減らして階調減少を行う階調減少部４とを備えている。入力デジタル画像データの階調増加を行って、ノイズを付加した後に画像処理を行い、その後に階調減少を行うため、画像処理を行っても階調情報が損なわれるおそれがなくなり、元の被写体がもつ階調の微妙な変化を反映させた画像データを生成することができる。
【選択図】 図１

Description

本発明は、デジタル画像データに対して各種の画像処理を行う画像処理装置および画像処理方法に関する。

デジタルカメラ等により得られた入力デジタル画像データに対して各種の画像処理（例えば、フィルタ処理）を行うと、入力デジタル画像データよりも階調数が減少するおそれがある。例えば、図８のようなＳ字曲線関数ｆ(x)を用いて、入力デジタル画像データの画像処理を行う場合、入力デジタル画像データの画素値が異なるのに、画像処理後の画素値が同じ値になってしまうことがある。例えば、図８の階調値ｘ１，ｘ２は、画像処理後の階調値ｆ(x1)とｆ(x2)が一致してしまう。

元のデジタル画像データの画素値が異なるのに、画像処理後の画素値が一致するということは、階調数が減少してしまったことを意味し、情報量が失われたことに他ならない。

このような問題を解決するために、画像処理を行う前に元のデジタル画像データの階調数を増加させる手法が提案されている（特許文献１，２参照）
特開平9-326931号公報 特開平10-42136号公報

上記特許文献１，２に開示された手法によれば、画像処理を行っても階調数が失われるおそれはないが、デジタル処理を行っているため、画像処理後の実質的な階調数が入力デジタル画像データの階調数以上になることはない。したがって、微妙な色合いを表現するには、入力デジタル画像データのビット数を予め増やすしかない。ところが、入力デジタル画像データのビット数をビット数を増やすと、配線数や信号処理量が増え、画像処理を迅速に行えなくなる。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像処理を行っても階調情報が損なわれることがなく、かつ入力デジタル画像データのビット数を増やさずに元画像に近い階調表現を行うことを可能な画像処理装置および画像処理方法を提供することにある。

本発明の一態様によれば、複数ビットからなる入力デジタル画像データの階調数を増加させる階調増加手段と、前記階調増加手段による階調増加後のデータに対してノイズを付加するノイズ付加手段と、前記ノイズ付加手段によるノイズ付加後のデータに対して所定の画像処理を行う画像処理手段と、前記画像処理手段による画像処理後のデータの階調数を減少させる階調減少手段と、を備える画像処理装置が提供される。

また、本発明の一態様によれば、複数ビットからなる入力デジタル画像データの階調数を増加させる階調増加手段と、前記階調増加手段による階調増加後のデータに対して、前記入力デジタル画像データの入力光量に対する階調特性の非線形性を線形化する処理を行う線形化手段と、前記線形化手段による線形化処理後のデータに対して所定の画像処理を行う画像処理手段と、前記画像処理手段による画像処理後のデータの階調数を減少させる階調減少手段と、を備える画像処理装置が提供される。

本発明によれば、画像処理を行っても階調情報が損なわれることがなく、かつ入力デジタル画像データのビット数を増やさずに元画像に近い階調表現を行うことができる。

以下、図面を参照しながら、本発明の一実施形態を説明する。

（第１の実施形態）
図１は本発明の第１の実施形態による画像処理装置の概略構成を示すブロック図である。図１の画像処理装置は、複数ビットからなる入力デジタル画像データのビット数を増やして階調増加を行う階調増加部１と、階調増加後のデータに対してノイズを付加するノイズ付加部２と、ノイズ付加部２による処理後のデータに対して各種の画像処理を行う画像処理部３と、画像処理部３による処理後のデータのビット数を減らして階調減少を行う階調減少部４とを備えている。

入力デジタル画像データのビット数は特に問わないが、例えばRGBの各色とも８ビット（２⁸＝256階調）である。階調増加部１が増やすビット数も特に制限はないが、例えばRGBの各色とも256階調を２¹⁶＝65536階調に増やす。

画像処理部３が行う具体的な画像処理の種類は特に問わないが、例えば色調変換、コントラスト調整、ホワイトバランス調整、ガンマ補正、各種フィルタ処理などである。

階調減少部４は、画像処理部３による処理後のデータを元の入力デジタル画像データのビット数まで階調を減少させる。

本実施形態の特徴は、階調増加部１が階調増加処理を行った後にノイズ付加を行うことである。以下では、説明の簡略化のために、入力デジタル画像データが０〜９までの10段階の階調データであるとし、階調増加部１は、入力デジタル画像データを単純に10倍するものとする。すなわち、階調増加部１は、０〜９までの入力デジタル画像データを、｛０、10、20、30、40、50、60、70、80、90｝という値に変換するものとする。

次に、ノイズ付加部２は、階調増加部１による処理後のデータに対して、０〜９までのノイズ（ランダムな値）を加える処理を行うものとする。したがって、ノイズ付加部２の出力は、｛０〜９、10〜19、20〜29、30〜39、40〜49、50〜59、60〜69、70〜79、80〜89、90〜99｝になる。このように、ノイズ付加部２の出力は、０〜99までの100段階の階調すべてを取りうることがわかる。

次に、階調減少部４は、ノイズ付加部２の出力を単純に10分の１にするものとし、小数点以下は切り捨てることにする。これにより、０〜９のデータは０に、10〜19のデータは１に変換され、結局、階調減少部４の出力は、元の入力デジタル画像データ０〜９とまったく同じになり、完全に元のデータを復元できることがわかる。

このように、階調増加後にノイズを付加してもしなくても、元の入力デジタル画像データを復元できるため、ノイズを除去する処理を行う必要はない。

以下、ノイズを付加する目的および効果について詳述する。以下では、説明を簡略化するために、データを単純に２倍する操作、すなわち画像を明るくする画像処理について説明する。

入力デジタル画像データが｛０、１、２、３，４｝であるとする。階調増加部１が階調数を10倍にする場合、その出力は｛０、10、20、30、40｝になる。画像処理部３が２倍に明るくする処理を行う場合、その出力は｛０、20、40、60、80｝になる。階調減少部４は元の階調数に戻すため、その出力は｛０、２、４、６、８｝になる。したがって、結果だけみると、元の入力デジタル画像データを直接２倍にする画像処理を行うのと同じ結果になる。

一方、階調増加部１の出力に対してノイズ付加部２でノイズを付加すると、ノイズ付加部２の出力は、｛０〜９、10〜19、20〜29、30〜39、40〜49｝になる。ここで、０〜９とは、０から９までのいずれかの値を取りうることを意味する。

その後に画像処理部３で画像処理を行うと、その出力は｛０〜18、20〜38、40〜58、60〜78、80〜98｝になる。その後に階調減少部４は階調数の減少処理を行うが、その出力は、｛０〜１、２〜３、４〜５、６〜７、８〜９｝になる。

ここで、階調減少部４の出力がある範囲を持っている理由は、付加されるノイズの値により、０になったり１になったりすることを意味している。例えば入力デジタル画像データが０の場合に階調減少部４の出力が０になる確率は9/19であり、入力デジタル画像データが１の場合に階調増加部１の出力が１になる確率は8/19である。

このように、階調増加後にノイズを付加して画像処理を行って階調減少処理を行うと、ノイズを付加しない場合よりも階調数が増えることがわかる。したがって、階調が微妙に変化するグラデーション画像の場合、階調飛びのない自然な画像を得ることができる。

上述した説明では、単純な画像処理を例に取って説明したが、本実施形態はあらゆる画像処理について有効である。ノイズを付加することの本質的な意味は、入力デジタル画像データに対応する元画像の階調分布を予測することである。例えば、入力デジタル画像データが０の場合、元画像のアナログ値は０〜0.99999…の範囲にあったはずであり、デジタル化される過程で０に丸められてしまったにすぎない。そこで、本実施形態のノイズ付加部２は、入力デジタル画像データ０に対して、０〜0.99999…のノイズを付加するのに等価な処理を行う。これにより、本実施形態は、実質的に、入力デジタル画像データの元画像をより忠実に復元して画像処理を行うことができる。

図２は８×８画素からなる入力デジタル画像データ（図２（ａ））に対して３種類の画像処理（逆ガンマ変換、モノクロ化およびガンマ変換）を順に行った結果を示している（図２（ｂ）〜図２（ｄ））。説明の簡略化のために、入力デジタル画像データは４階調（０〜３）を取りうるとする。図２では、階調増加処理やノイズ付加処理を行わないため、画像処理を行うことにより、一部の階調値が失われてしまう。例えば、逆ガンマ変換を行うと、画素値２が存在しなくなる。また、モノクロ化を行うと、画素値１が存在しなくなる。また、ガンマ変換を行うと、画素値１が存在しなくなる。

一方、図３は、図２と同じ８×８画素からなる入力デジタル画像データ（図３（ａ））に対して、階調増加を行った（図３（ｂ））後に３種類の画像処理を行い（図３（ｃ）〜図３（ｅ）、その後に階調減少を行った結果を示している（図３（ｆ））。図３（ｂ）では、入力デジタル画像の階調を５倍に増加している。この場合、入力デジタル画像データの階調特性が損なわれることなく画像処理を行えることがわかる。

次に、図４は、図２と同じ８×８画素からなる入力デジタル画像データ（図４（ａ）に対して、階調増加を行った後にノイズを付加し（図４（ｂ））、その後に画像処理を行った（図４（ｃ）〜図４（ｅ））後に階調減少を行った結果を示している（図４（ｆ））。ノイズの種類は特に問わないが、例えば図（ｇ）に示すように８×８画素からなる０〜４までのランダムなノイズを階調増加後のデータに加える。図４（ｂ）は５倍に階調を増加した後にノイズを付加した例を示している。ノイズが付加された後に３種類の画像処理と階調減少が行われる。

図４（ｆ）を見ればわかるように、入力デジタル画像データが０の場合には階調減少後の出力は０になるが、入力デジタル画像データが１の場合には、出力は０〜２の間で画素値が変動する。同様に、入力デジタル画像データが２の場合には、出力は１〜３の値で画素値が変動する。入力デジタル画像データが３の場合には、出力は３になる。

このように、入力デジタル画像データの値が同じであったとしても、階調減少後の値は同じ値になるとは限らず、入力デジタル画像データの階調分布に応じて階調減少後の出力値が変化する。

ノイズ付加部２が付加するノイズの具体的内容には特に制限はないが、ランダム性の高いノイズを付加するのが望ましい。例えば、ノイズを付加する前の階調増加部１の出力データが０〜Ｎ（Ｎは整数）の画素値を取る場合には、ノイズ付加部２が付加するノイズｎは、０≦ｎ＜Ｎとなる。あるいは、−Ｎ≦ｎ＜Ｎのノイズや、−Ｎ／２≦ｎ＜Ｎ／２のノイズや、−Ｎ≦ｎ＜０のノイズや、−ｋ・Ｎ≦ｎ＜ｋ・Ｎのノイズ（ただし、ｋは０＜ｋ≦１）を付加してもよい。このように、ノイズ付加部２が付加するノイズには各種の値が考えられる。

ノイズのランダム性を高めるには、ノイズ付加部２内で乱数を発生する必要があるが、ある程度のランダム性があればそれなりに効果があるため、例えばある画素範囲内である程度のランダム性のあるフィルタを予め用意してノイズ付加を行ってもよい。

例えば、図５（ａ）は４×４画素の巡回系列の値を持つフィルタの一例を示している。このフィルタを用いて、階調増加後にノイズ付加を行って、その後に画像処理と階調減少を行った結果が図５（ｂ）〜図５（ｇ）に示されている。

図５（ａ）のようなフィルタを用いてノイズ付加を行うと、ノイズを生成する処理が不要となるため、ノイズ付加部２での処理を軽減でき、画像処理の高速化が可能となる。

なお、図５（ａ）のフィルタは４×４画素のサイズであるため、そのサイズに応じてノイズに規則性が生じてしまう。このような規則性を低減するには、フィルタの縦横サイズをできるだけ大きくすればよい。ただし、サイズを大きくするほど、フィルタのデータ量が大きくなってしまう。

そこで、ノイズ付加部２の入力データ（階調増加部１の出力データ）ｄと画像の座標位置（ｘ、ｙ）とを入力パラメータとする関数ｆ(d,x,y)によりノイズを計算してもよい。このような関数ｆを用いれば、規則性が軽減され、ランダム性の高いノイズを生成できる。

このように、第１の実施形態では、入力デジタル画像データの階調増加を行って、ノイズを付加した後に画像処理を行い、その後に階調減少を行うため、画像処理を行っても階調情報が損なわれるおそれがなくなり、また、ノイズ付加により、元の被写体がもつ階調の微妙な変化を反映させた画像データを生成することができる。

（第２の実施形態）
第２の実施形態は、入力デジタル画像データの特性に応じた線形化処理を行うものである。

図６は本発明の第２の実施形態による画像処理装置の概略構成を示すブロック図である。図では、図１と共通する構成部分には同一符号を付しており、以下では相違点を中心に説明する。

図６の画像処理装置は、図１のノイズ付加部２の代わりに、線形化処理部５を備えている。線形化処理部５は、階調増加部１による階調増加を行ったデータに対して、入力デジタル画像データの入力光量に対する階調特性の非線形性を線形化する処理を行う。

以下、このような線形化処理が必要となる理由を詳述する。入力デジタル画像データ自体は非線形の特性を持っていることが多く、そのままで画像処理を行うと、実際の被写体が持っている階調特性とはかけ離れた結果が得られる可能性が大きい。例えば、デジタルカメラやスキャナで取り込んだデジタル画像データは、コントラストを強めるために、入力光量に対する画素値の特性がＳ字状カーブの非線形特性を持っているのが一般的である。このような特性を持つ入力デジタル画像データについては、画像処理を行う前に、Ｓ字特性とは逆特性の関数を利用して画像変換処理を行って画像データを線形化した後に画像処理を行うのが望ましい。この場合に、限られたビット精度で線形化処理を行うと、階調情報の一部が損なわれてしまう。

そこで、本実施形態では、いったん階調増加を行った後に、線形化処理部５内で上述した線形化処理を行い、その後に画像処理を行う。これにより、階調情報を損なうことなく、線形化された状態で画像処理を行うことができ、実画像の階調特性に合致した画像処理を行うことができる。

入力デジタル画像データの入力光量に対する階調特性が予め既知であれば、その特性とは逆特性の関数を用意することで線形処理を行うことができるが、入力デジタル画像データの特性が予めわからない場合は、何らかの手段でその特性を推定する必要がある。例えば、テレビは、NTSCカラースペースという色空間に合致した画像を提供するのに対し、パーソナルコンピュータやモニタはsRGBカラースペースという色空間を一般に用いる。デジタルカメラもsRGBで画像を記録するのが一般的であり、各種の画像処理も入力画像をsRGBと仮定して処理を行うのが一般的である。

ところが、どのデジタルカメラも、正確な色座標をsRGBで記録していないのが実情である。その理由は、すべてのデジタルカメラが取り込んだ色を正確にsRGBカラースペースで画像化したとすると、各カメラによる色の違いがなくなり、カメラメーカの独自性が出せなくなるためである。そこで、各カメラメーカとも、独自の色を作り出すために、色を変換してsRGBとは異なるガンマテーブルを用いて画像を生成して記録している。

ところで、通常のデジタルカメラは、撮影時に、画像以外に、撮影時の種々の付属情報を記録する。この付属情報は、Exif（Exchangeable image format）規格に準拠して記録されるのが一般的である。Exif規格で定める付属情報（以下、Exif情報）は、画素数、圧縮モード、撮影日時、機種名、絞り値、色空間などである。最新のExif規格（Ver. 2.21）では、sRGBカラースペースに加えて、adobeRGBカラースペースでの記録にも対応可能となっており、どちらのカラースペースで記録されたかを示す付属情報が定義されている。

入力デジタル画像データがデジタルカメラで撮影されたデータである場合には、上述したExif情報を取得することで、どのカメラで撮影され、どのようなカラースペースで記録されたかを検出できる。

そこで、線形化処理部５に予めカメラごとの関数を設けておき、入力デジタル画像データのExif情報にてカメラ名が特定されると、そのカメラに対応する関数を用いて、入力デジタル画像データを線形化する処理を行う。これにより、カメラの癖を吸収して、各画素の画素値から正確な色座標を算出して色を作り替えることができる。

この場合のブロック構成は図７のようなものになる。図７の画像処理装置は、線形化処理部５内にExif情報取得部６と、デジタルカメラごとの関数を格納する関数格納部７と、Exif情報に応じた関数を選択する関数選択部８とが含まれている。

図７の画像処理装置の場合、デジタルカメラが出力するRAWデータから画像を生成するのと同様の正確さと手法を用いて、デジタルカメラが出力するJPEGデータに対して優れた画像処理を施すことができる。

なお、例えば12ビット階調のRAWデータと８ビット階調しかないJPEGデータでは階調数の隔たりが大きいため、そのままだとRAWデータと同様の階調表現を維持して、JPEGデータで画像処理を行うことはできない。そこで、本実施形態では、線形化処理部５で線形化処理を行う前に、階調増加を行っている。

図７の画像処理装置に入力される入力デジタル画像データがExif情報を持っていない場合には、Exif情報を使用しないで線形化処理を行うようにしてもよいし、あるいは線形化処理を行うのをやめて、第１の実施形態と同様のノイズ付加処理を行ってもよい。

また、第１および第２の実施形態を組み合わせた処理を行ってもよいし、あるいはどちらの処理を行うかをユーザがメニュー等で選択できるようにしてもよい。

このように、第２の実施形態では、入力データ画像データの階調増加を行った後に線形化処理を行ってから画像処理を行うため、デジタルカメラ等で生成された入力データ画像データの階調特性の癖を除去した状態で画像処理を行うことができ、オリジナルの画像の階調特性に忠実な階調表現を持つ画像を得ることができる。また、入力データ画像データに対応するExif情報に応じた関数を選択して線形化処理を行うことにより、各デジタルカメラごとに最適な線形化処理を行うことができ、デジタルカメラの機種によらずに常に高品質の画像を得ることができる。

上述した第１および第２の実施形態による画像処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像処理装置の少なくとも一部の機能を実現するプログラムをフロッピーディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の携帯可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、画像処理装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本発明の第１の実施形態による画像処理装置の概略構成を示すブロック図。 ８×８画素からなる入力デジタル画像データに対して３種類の画像処理（逆ガンマ変換、モノクロ化およびガンマ変換）を順に行った結果を示す図。 図２と同じ８×８画素からなる入力デジタル画像データに対して、階調増加を行った後に３種類の画像処理を行い、その後に階調減少を行った結果を示す図。 図２と同じ８×８画素からなる入力デジタル画像データに対して、階調増加を行った後にノイズを付加し、その後に画像処理を行った後に階調減少を行った結果を示す図。 ４×４画素の巡回系列の値を持つフィルタを用いてノイズ付加を行う例を示す図。 本発明の第２の実施形態による画像処理装置の概略構成を示すブロック図。 Exif情報を用いて線形化処理を行う場合の画像処理装置の概略構成を示すブロック図。 階調特性を表すＳ字曲線関数の一例を示す図。

符号の説明

１ 階調増加部
２ ノイズ付加部
３ 画像処理部
４ 階調減少部
５ 線形化処理部
６ Exif情報取得部
７ 関数格納部
８ 関数選択部

Claims (10)

1. 複数ビットからなる入力デジタル画像データの階調数を増加させる階調増加手段と、
   前記階調増加手段による階調増加後のデータに対してノイズを付加するノイズ付加手段と、
   前記ノイズ付加手段によるノイズ付加後のデータに対して所定の画像処理を行う画像処理手段と、
   前記画像処理手段による画像処理後のデータの階調数を減少させる階調減少手段と、を備えることを特徴とする画像処理装置。
2. 前記ノイズ付加手段は、前記階調増加手段による階調増加後のデータの階調値の最大値と最小値との間の値であるノイズを前記階調値に加えるか、あるいは前記ノイズを前記階調値から減ずることを特徴とする請求項１に記載の画像処理装置。
3. 前記ノイズは、乱数または疑似乱数であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記ノイズ付加手段は、前記階調増加手段による階調増加後のデータと、画像内の画素位置とを入力パラメータとする所定の関数を用いてノイズを付加することを特徴とする請求項１または２に記載の画像処理装置。
5. 複数ビットからなる入力デジタル画像データの階調数を増加させる階調増加手段と、
   前記階調増加手段による階調増加後のデータに対して、前記入力デジタル画像データの入力光量に対する階調特性の非線形性を線形化する処理を行う線形化手段と、
   前記線形化手段による線形化処理後のデータに対して所定の画像処理を行う画像処理手段と、
   前記画像処理手段による画像処理後のデータの階調数を減少させる階調減少手段と、を備えることを特徴とする画像処理装置。
6. 前記入力デジタル画像データの付属情報を取得する付属情報取得手段を備え、
   前記線形化手段は、前記付属情報取得手段にて取得された付属情報に基づいて、線形化するための関数を選択して線形化処理を行うことを特徴とする請求項５に記載の画像処理装置。
7. デジタルカメラの機種ごとに固有の前記関数を格納する関数格納手段を備え、
   前記線形化手段は、前記付属情報取得手段にて取得された付属情報にて特定されるデジタルカメラの機種に対応する前記関数を前記関数格納手段から取得して線形化処理を行うことを特徴とする請求項６に記載の画像処理装置。
8. 前記付属情報は、Exif（Exchangeable image file format）規格の付属情報であることを特徴とする請求項６または７に記載の画像処理装置。
9. 複数ビットからなる入力デジタル画像データの階調数を増加させるステップと、
   階調増加後のデータに対してノイズを付加するステップと、
   ノイズ付加後のデータに対して所定の画像処理を行うステップと、
   画像処理後のデータの階調数を減少させるステップと、を備えることを特徴とする画像処理方法。
10. 複数ビットからなる入力デジタル画像データの階調数を増加させるステップと、
    階調増加後のデータに対して、前記入力デジタル画像データの入力光量に対する階調特性の非線形性を線形化する処理を行うステップと、
    線形化処理後のデータに対して所定の画像処理を行うステップと、
    画像処理後のデータの階調数を減少させるステップと、を備えることを特徴とする画像処理方法。

Images