JP2015056013A - 画像処理装置 - Google Patents

Abstract

【課題】画像に対して複数の照明がある場合にも、画像の凹凸感及び立体感を向上させることができる画像処理装置を提供する。
【解決手段】入力画像に対して第１エッジ保存型平滑化フィルタを用いて第１平滑化画像を出力する第１平滑化部と、前記第１平滑化部が出力した前記第１平滑化画像に対してさらに第２エッジ保存型平滑化フィルタを用いて第２平滑化画像を出力する第２平滑化部と、前記第１平滑化画像と前記第２平滑化画像との差を補正データとして導出する補正データ導出部と、前記補正データに基づいて入力画像を補正する補正部とを有する。
【選択図】図１

Description

本発明は、画像処理装置に関する。

従来より、画像の凹凸感や立体感を変化させる画像処理が行われている。例えば、観察者の両眼の視差を利用して立体的に見せるいわゆる３Ｄ画像技術が知られている。

例えば、特許文献１には、明るさ情報から領域ごとに法線方向を推定し、領域ごとに法線方向ベクトルを取得して明るさ情報の補正量を求めることにより、処理画像において奥行き感・立体感を向上させる画像処理装置が開示されている。

また、特許文献２には、入力画像のエッジを保存して画素値を平滑化して入力画像の画素値を補正するためのゲイン補正係数を生成し、ゲイン補正係数により入力画像の画素値を補正する画像処理回路が開示されている。

また、特許文献３には、反射率分布および照明光強度を用いて原稿の３次元形状を推定し、推定した３次元形状に基づいて原稿面の傾きによって生じる画像データの幾何学的な歪みを補正する画像読取装置が開示されている。

しかしながら、従来技術では、複数の照明が存在する場合に適切に対応することができないといった問題や、部分的に照明方向が変動している場合には、照明検出精度が大きく悪化する恐れがあるといった問題があった。

本発明は、上記に鑑みてなされたものであって、画像に対して複数の照明がある場合にも、画像の凹凸感及び立体感を向上させることができる画像処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、入力画像に対して第１エッジ保存型平滑化フィルタを用いて第１平滑化画像を出力する第１平滑化部と、前記第１平滑化部が出力した前記第１平滑化画像に対してさらに第２エッジ保存型平滑化フィルタを用いて第２平滑化画像を出力する第２平滑化部と、前記第１平滑化画像と前記第２平滑化画像との差を補正データとして導出する補正データ導出部と、前記補正データに基づいて入力画像を補正する補正部とを有する。

本発明によれば、画像に対して複数の照明がある場合にも、画像の凹凸感及び立体感を向上させることができるという効果を奏する。

図１は、第１実施形態にかかる画像処理装置の構成を示すブロック図である。 図２は、Ｖ_Ｍ（ｘ，ｙ）からＶ’_Ｍ（ｘ，ｙ）への変換特性を示すグラフである。 図３は、画像処理装置の第３変形例における、Ｖ_Ｍ（ｘ，ｙ）からＶ’_Ｍ（ｘ，ｙ）への変換特性を示したグラフである。 図４は、係数部分を示すグラフである。 図５は、第２実施形態にかかる画像処理装置の構成を示すブロック図である。

以下に添付図面を参照して、画像処理装置の実施形態を詳細に説明する。

（第１実施形態）
図１は、第１実施形態にかかる画像処理装置１０の構成を示すブロック図である。まず、画像処理装置１０の概要について説明する。図１に示すように、画像処理装置１０は、第１平滑化部２０、第２平滑化部３０、補正データ導出部４０及び補正部５０を有する。なお、画像処理装置１０を構成する各部は、ハードウェアによって構成されてもよいし、図示しないＣＰＵにより実行されるソフトウェアによって構成されてもよい。

画像処理装置１０は、入力画像として汎用形式の画像データ（入力画像データ）を受入れる。第１平滑化部２０は、入力された画像データに対して第１のエッジ保存型平滑化フィルタを適用した画像データ（第１平滑化画像）を算出する。第２平滑化部３０は、第１平滑化部２０の出力結果（第１平滑化画像）に対して第２のエッジ保存型平滑化フィルタを適用した画像データ（第２平滑化画像）を算出する。

補正データ導出部４０は、第１平滑化画像と第２平滑化画像との画素毎の差をとることにより、補正データを算出する。補正部５０は、補正データ導出部４０が算出した補正データを入力画像データに対して画素毎に加算することにより、出力画像となる変換後画像（変換後画像データ）を算出して出力する。

入力画像データは、ＴＩＦ形式であり、ＲＧＢの３つの色成分を有し、１画素あたり各色１６ｂｉｔのデータを有する。なお、入力画像データのファイル形式はＴＩＦ形式に限定されるものではなく、JＰＥＧやＰＮＧなどの他のファイル形式であってもよい。また、色成分に関しても、ＲＧＢ色空間に限定されるものではなく、ＲＧＢ以外の色空間であってもよく、１画素あたりのデータ量も１６ｂｉｔ以外のデータ量であってもよい。

次に、第１平滑化部２０について詳述する。第１平滑化部２０は、カラー画像に対するエッジ保存型平滑化フィルタを適用して、平滑化を行う。ここで、エッジ保存型平滑化フィルタは、下式（１）、（２）により示したバイラテラルフィルタである。

入力画像は、２次元の画像データである。よって、各画素の位置座標をｘ，ｙで表すことにする。また、入力画像は、各画素でＲＧＢの３つの色成分を有するカラー画像であるので、３次元のベクトルとして表すことにする。

第１平滑化部２０は、標準偏差σ１の値として３０［pixel］を使用している。これは、入力画像が印刷又は表示される場合の解像度として、４００［dpi］であることを想定したものである。仮に、これより低い解像度で入力画像を印刷・表示する場合には、これに応じて標準偏差σ１の値を調整することが望ましい。例えば、通常のＰＣなどの解像度１００［dpi］のディスプレイに表示する場合には、標準偏差σ１の値は、７．５［pixcel］にするとよい。

第１平滑化部２０では、標準偏差σ１の値を上記の値としているが、解像度が上記のように４００［dpi］であることを想定した場合には、標準偏差σ１の値として適当な範囲は、１５〜６０［pixcel］である。このような範囲が適当となる理由を以下に説明する。

第１平滑化部２０は、平滑化によって高周波成分を取り除く機能を有する。凹凸感や立体感の向上を実現するためには、特定周波数成分を強調をすることが必要となる。この特定周波数成分は、特に０．１〜１．０［cycle/mm］の周波数成分とすることが有効であることが、発明者の行なった検討により判明している。このため、標準偏差σ１の値を上述した範囲（１５〜６０［pixcel］）にすることにより、入力画像の解像度を４００ｄｐｉと想定した場合に、１．０［cycle/mm］を大体の目安にしてこれよりも大きな空間周波数に対応する空間周波数成分を取り除くことができる。

また、第１平滑化部２０では、標準偏差σ２の値として０．２（規格化を行なった値）を使用している。上記の０．２という値は、入力画像ｆ（ｘ，ｙ）の３つの色成分を表す各成分が０〜１．０の値を取るように規格化した場合に適用される値である。入力画像の各色成分の範囲が０〜１ではなく、例えば１６ｂｉｔそのままで０〜６５５３５の値を直接扱う場合は、この標準偏差σ２の値もそれに合わせて適当に変更される。

第１平滑化部２０では、標準偏差σ２の値として上記の値（０．２）を使用しているが、標準偏差σ２の値として適当な範囲は、０．０３〜０．４である。標準偏差σ２は、画素の平均操作を行う場合に、濃度差が大きくなるに従って重みが小さくなるように作用する。

ここでは、濃度差の大きなエッジ近傍での平均操作（エッジをまたいでの平均操作）を回避したいため、エッジとして認識されるような濃度差に相当するものを、標準偏差σ２の値として採用することが適当である。発明者の検討によると、広範な入力画像に適する標準偏差のσ２の値は、０．０３〜０．４であった。このような標準偏差σ２の値とすることにより、エッジ近傍での平滑化操作を回避して、エッジ近傍以外の範囲でのみ平滑化操作を行なった画像を作成することができる。

第１平滑化部２０では、式（１）、（２）におけるＷ（ｍ，ｎの上下限値）を９６［pixcel］とした。Ｗをこの値よりも大きな値としても問題はないが、これによってｍ，ｎの値がより大きな値までとられることになる。しかしながら、ｍ，ｎの値が大きな場合には第２項がほぼゼロとなるため、平滑化操作に寄与しなくなる。第１平滑化部２０では、標準偏差σ１が３０［pixcel］に設定されているため、この場合にはＷの値として９６［pixcel］が適当であり、これ以上の値を選択しても結果はほとんど変わらない。

第１平滑化部２０では、入力画像（カラー画像）に対して、上述した計算式で表されるバイラテラルフィルタによるエッジ保存型フィルタを適用して、処理結果である「第１平滑化画像」を算出する。

第１平滑化部２０において、エッジ保存型平滑化フィルタとしてバイラテラルフィルタを採用しているが、それ以外の方式のものであってもよい。例えば、特許文献２に記載されているεフィルタや、Non−Local Meansフィルタなどを使用してもよい。

次に、第２平滑化部３０について詳述する。第２平滑化部３０は、上記の「第１平滑化画像」に対し、第１平滑化部２０と同様に、カラー画像に対するエッジ保存型平滑化フィルタを適用して平滑化を行う。第２平滑化部３０で使用するエッジ保存型平滑化フィルタも、上述した式（１）、（２）で説明したバイラテラルフィルタである。第２平滑化部３０と上述の第１平滑化部２０とで使用するバイラテラルフィルタの差異は、使用するパラメータが異なっている点である。

第２平滑化部３０では、標準偏差σ１の値として９０［pixcel］を使用している。これは、第１平滑化部２０の説明と同様に、入力画像が印刷又は表示される場合の解像度として、４００［dpi］であることを想定したものである。通常のＰＣなどの解像度１００［dpi］のディスプレイに表示する場合には、標準偏差σ１の値は、２２．５［pixcel］として使用することがよい。

第２平滑化部３０では、標準偏差σ１の値としては上記の値を使用しているが、標準偏差σ１の値として適当な範囲は、４５〜１８０［pixcel］である。このような範囲が適当となる理由を次に説明する。

第２平滑化部３０は、第２平滑化部３０が処理した画像と第１平滑化画像との差をとることによって特定周波数成分を抽出する機能を有する。ここで、凹凸感や立体感の向上を実現するためには、この特定周波数成分としては、特に０．１〜１．０［cycle/mm］の周波数成分とすることが有効であることが、発明者の行なった検討により判明している。

第２平滑化部３０の標準偏差σ１の値を上述の範囲（４５〜１８０［pixcel］）に設定することにより、入力画像の解像度を４００ｄｐｉと想定した場合に、０．１［cycle/mm］を目安にしてこれよりも小さな空間周波数に対応する空間周波数成分を取り除くことができる。このため、第２平滑化部３０が処理した画像と第１平滑化画像との差を取ることにより、狙いとする周波数領域の成分を特定周波数成分として抽出することができる。

第２平滑化部３０では、標準偏差σ２の値として、第１平滑化部２０と同様に、０．２（規格化を行なった値）を使用している。上記の０．２という値は、入力画像ｆ（ｘ，ｙ）の３つの色成分を表す各色成分が０〜１．０の値を取るように規格化した場合に、適用される値である。

第２平滑化部３０では、標準偏差σ２の値として上記の値を使用しているが、標準偏差σ２の値として適当な範囲は、０．０３〜０．４である。第１平滑化部２０の説明と同様の理由により、広範な入力画像に対してエッジの影響を回避するのに適当な標準偏差σ２の値は、０．０３〜０．４であっため、第２平滑化画像においてもこれを踏襲した値となっている。このような標準偏差σ２の値とすることにより、エッジ近傍での平滑化操作を回避して、エッジ近傍以外の範囲でのみ平滑化操作を行なった画像を作成することができる。

第２平滑化部３０では、「第１平滑化画像」に対して、上述した計算式で表されるバイラテラルによるエッジ保存型フィルタを適用して、処理結果である「第２平滑化画像」を算出する。第２平滑化部３０において、エッジ保存型平滑化フィルタとして、バイラテラルフィルタ以外のものを使用してもよい。

次に、補正データ導出部４０について詳述する。補正データ導出部４０は、上述の「第１平滑化画像」と「第２平滑化画像」との差をとることにより、特定周波数成分を抽出した画像を算出する。ここでは、カラー画像である「第１平滑化画像」および「第２平滑化画像」の明るさ成分のみについて差を取ることにより、明るさ成分についてのみ特定周波数成分を抽出している。以下に、補正データ導出部４０において使用している計算式を説明する。

補正データ導出部４０は、はじめに「第１平滑化画像」に対して色空間の変換を行う。「第１平滑化画像」は、３つの色成分としてＲＧＢの色成分を持つＲＧＢ色空間で表現される画像データであるが、明るさ成分のみを抽出するために、ＨＳＶ色空間への変換を行う。補正データ導出部４０は、ＨＳＶ色空間への変換を下式（３）〜（５）によって行っている。

画像処理装置１０は、式（３）〜（５）により、「第１平滑化画像」をＨＳＶ色空間へと変換する。ＨＳＶ色空間に変換された「第１平滑化画像」のＶ成分は、Ｖ_１（ｘ，ｙ）のように表すことにする。

同様に、「第２平滑化画像」についても式（３）〜（５）により、ＨＳＶ色空間へと変換する。ＨＳＶ色空間に変換された「第２平滑化画像」のＶ成分は、Ｖ_２（ｘ，ｙ）のように表すことにする。

補正データ導出部４０では、第１平滑化画像のＶ成分と第２平滑化画像のＶ成分の差を取ることにより、補正データを算出する。補正データの算出式が下式（６）であり、画像データの各位置について両者の差をとる。

補正データ導出部４０では、式（３）〜（６）の計算式で表される処理を行うことにより、処理結果である「補正データ」を算出する。補正データ導出部４０では、画像の明るさ成分のみを抽出するために、ＨＳＶ色空間への色空間変換を使用している。しかしながら、明るさ成分を抽出するために別の色空間を用いてもよい。例えば、Ｌａｂ色空間を用いてもよい。

次に、補正部５０について詳述する。補正部５０は、上述の「補正データ」を入力画像に加算することにより、変換後データである出力画像を算出する。補正部５０は、はじめに入力画像に対し、式（３）〜（５）の色変換を行い、ＨＳＶ色空間のカラー画像データへと変換する。このようにしてＨＳＶ色空間へと変換された入力画像の明るさ成分のみに対して、上述（６）式で算出された「補正データ」を加算する。以下に、補正部５０が使用している計算式を説明する。

なお、入力画像のＨＳＶ色空間の各成分は、入力画像に対して、式（３）〜（５）を適用することにより算出する。

補正部５０では、式（７）〜（９）によって得られた変換後のＨＳＶ成分に対して、ＨＳＶ色空間→ＲＢＧ色空間への変換（逆変換）を行うことにより、変換後データである出力画像を算出する。なお、ＨＳＶ色空間からＲＧＢ色空間への変換は、式（３）〜（５）の逆変換に相当するものである。

発明者の検討によれば、画像の特定周波数成分（特に低周波数成分）を強調することによって、凹凸感や立体感が向上した画像へと変換できる。しかしながら、単純に特定周波数成分を強調すると、エッジ近傍の濃度変化の小さい箇所において強調を行なったことが知覚され違和感を覚えるといった不具合が発生する。

このようにして行う画像の特定周波数成分の強調は、画像の特定周波数成分のみを抽出して周波数空間から実空間に戻した画像データを作成し、この画像データを入力画像に加える（画素毎にデータ値を加算する）といった操作と等価である。

さらに補足すると、凹凸感や立体感を向上させるためには、上記の特定周波数成分のうち低周波数側の成分（ここで低周波数成分とは目安として０．０１〜１．０［cycle/mm］の空間周波数成分を指す）を強調することが望ましい。しかし、こうした低周波数成分の強調は、エッジ近傍の濃度変化の小さな箇所において発生する不具合の影響が遠方まで及ぶことを意味しており、広い範囲で違和感が発生することとなり、上記の不具合がさらに知覚されやすくなる。

また、単純に特定周波数成分を強調する場合には、エッジのような濃度変化の大きな箇所の方が、強調による変化量（入力画像と強調による変換画像との差分）が大きくなる（エッジ近傍では、強調によって生じる入力画像に対する変化量が必然的に大きくなる。）。

一方で、本来強調を行いたい凹凸感や立体感に関係する範囲での入力画像の濃度変化は、エッジ領域での濃度変化と比較して小さいため、特定周波数成分の強調によって生じる変化量はこれらエッジ以外の領域では比較的小さなものとなる。こうしたこともエッジ近傍での違和感の発生に悪影響を及ぼしている。つまり、単純な特定周波数成分の強調では、画像中に濃度差の大きなエッジなどが存在する場合には、エッジ近傍では強調による変化量がより大きくなってしまう。

発明者は、凹凸感や立体感の向上とエッジ近傍での不具合の解消とを両立する手法を追求した結果、凹凸感や立体感といった対象物の「質感」に関する観点において、入力画像を「質感」の向上した画像へと変換することが可能となることを見出した。そしてこのことと両立して、単純に特定周波数成分を強調する場合に生じるエッジ近傍の濃度変化の小さい箇所において強調を行なったことが知覚されるといった不具合を解消することができるようになる。

画像処理装置１０のこうした効果は、対象物の臨場感や本物感（リアル感）を備えた画像データを獲得することにつながる。また、画像利用者の目的や狙いに応じて対象物の凹凸感や立体感を調整することもできるようになる。これにより、画像処理装置１０によって得られた画像データを商品広告などに使用した場合には、商品訴求力が高く、顧客注目度の高い広告をえることができる。もちろん、対象物の臨場感や本物感（リアル感）を備えた画像データは、商品広告以外のさまざまな用途に適用することができる。

画像処理装置１０により、エッジ近傍の濃度変化の小さい箇所において強調されたことが知覚されてしまうといった不具合が解消される理由については、発明者は次のような作用によるものであると考えている。

画像処理装置１０では、エッジ保存型平滑化フィルタを使用して平滑化画像を導出している。このエッジ保存型平滑化フィルタは、エッジ近傍では平滑化を行わずにエッジ以外の領域で平滑化を行う画像処理である（エッジ保存型フィルタの例としては、バイラテラルフィルタを挙げることができるが、これは平滑化の場合にエッジをまたぐような濃度差の大きな画素の影響が小さくなるように加重平均操作を行うものである。）。

つまり、エッジ保存型フィルタを使用して導出した平滑化画像は、エッジ近傍以外の領域で画像の低周波数成分を抽出した画像となっている。なお、どの範囲の低周波数成分が抽出されるといった点は、実際に使用するフィルタサイズなどに依存する。

画像処理装置１０では、第１平滑化部２０と第２平滑化部３０という、ともにエッジ保存型フィルタを使用する２つの平滑化手段を有する。そして、第１平滑化部２０によって導出された第１平滑化画像と、第１平滑化画像に対してさらに第２平滑化部３０を使用して導出した第２平滑化画像と、の２つの平滑化画像の差（画素ごとの差）を取ることで補正データを導出する。このため、この補正データは、エッジ近傍以外の領域においては特定範囲の周波数成分を抽出した画像となっている。

どの範囲の周波数範囲を抽出しているかは、第１平滑化部２０および第２平滑化部３０で使用するフィルタサイズなどに依存する。そしてこのとき、エッジ近傍では、第１平滑化部２０および第２平滑化部３０ともに、エッジが保存され平滑化が行われないため、２つの平滑化画像の差を取る場合にキャンセルされる（差が０となる）。つまり、画像処理装置１０では、エッジ近傍以外では特定周波数成分を抽出して、エッジ近傍では値が０となるような補正データを獲得することができる。

こうして導出した補正データを使用して入力画像の補正を行うことにより、エッジ近傍以外の箇所では特定周波数成分を強調することが可能となる。一方、エッジ近傍では補正データが０となるために入力画像の補正はおこなわれないといった処理が可能となる。つまり、画像処理装置１０により、エッジ近傍以外では特定周波数成分の強調により凹凸感や立体感が向上し、それと両立して、発生していた不具合であるエッジ近傍の濃度変化の小さな箇所で強調が知覚されてしまうといった不具合を解消することができる。

画像処理装置１０のバイラテラルフィルタは、エッジ保存型平滑フィルタを実現する１つの形態であるが、濃度差の大きいエッジ部分をまたいでの平滑化を行わず、濃度差が比較的小さな部分に渡ってのみ平滑化を行うといったフィルタである。このため、エッジ部分を除いて平滑化を行いたいといった機能を実現するために適したフィルタであると考えられる。

画像処理装置１０は、第１平滑化部２０および第２平滑化部３０で使用するエッジ保存型平滑化フィルタがカラー画像に対するフィルタであるため、濃度差によるエッジのみならず、色成分（明るさ成分に加えて、色相や彩度）の差異にも応答する。

これにより、色が急激に変化するような箇所において平滑化が行われないようになるため、色が急激に変化するような箇所の影響を除いて特定周波数成分の抽出を行うことができるようになる。このことは、エッジ部分で発生する違和感と同じように、色が急激に変化する箇所で発生する不具合（違和感を覚える色味の変化）の発生を抑えることに寄与する。

また、画像処理装置１０では、凹凸感や立体感の向上に寄与する特定周波数成分を、明るさ成分のみを持つ状態で抽出する。この特定周波数成分（おもに低周波数成分）を、明るさのみで抽出することの意味はつぎのように考えられる。

対象物の凹凸感や立体感には、陰影の影響が大きいと考えられる（陰影によって、対象物の凹凸の情報が伝わる）。当然のことながら陰影には色情報は含まれないため、色情報を含まない特定周波数成分を扱う方が、凹凸感や立体感を向上させるといった目的には適している。一方で、補正データ（特定周波数成分）に色情報を持たせたまま、入力画像に加算したような場合には、陰影の変化のほかに比較的に大きな色味の変化が発生する。このため、凹凸感や立体感を向上させた画像へ変換するといった点においては、補正データに色情報を持たせることは最適ではない。

つまり、画像処理装置１０は、２つのエッジ保存型平滑フィルタがカラー画像に対する平滑化フィルタであることにより、色が急激に変化する箇所でも違和感を覚えることなく、凹凸感や立体感を向上させた画像へと変換することができる。また、補正データの導出が色情報を持たないようにすることにより、本来色情報を持たない陰影を色味の変化を発生することなく変化させることができ、凹凸感や立体感を向上させた画像へと変換することができる。

（画像処理装置１０の第１変形例）
画像処理装置１０の第１変形例は、補正データ導出部４０において、第１平滑化画像および第２平滑化画像を色変換せずＲＧＢデータのままＲＧＢ各成分について差をとることにより補正データの算出を行う。下式（１０）は、画像処理装置１０の第１変形例における補正データ導出部４０が補正データを算出する算出式である。

画像処理装置１０の第１変形例では、補正データがＲＧＢの色成分を持つことにともなって、補正部５０の計算式も画像処理装置１０とは異なる。下式（１１）は、画像処理装置１０の第１変形例の補正部５０における変換後データを算出するための計算式である。

画像処理装置１０の第１変形例においても、特定周波数成分の強調を行うことができる。ただし、画像処理装置１０の第１変形例では、ＲＧＢの各色成分について独立に特定周波数成分の強調を行うことになる。これにより、画像処理装置１０の第１変形例の構成においても、凹凸感や立体感が向上した画像へと変換することができる。

（画像処理装置１０の第２変形例）
画像処理装置１０の第２変形例は、補正データに対して階調変換処理を施した上で、入力画像のＶ成分の加算する構成になっている。画像処理装置１０の第２変形例における階調変換処理において使用した計算式は下式（１２）である。

画像処理装置１０の第２変形例では、このようにして算出した階調変換後の補正データを、下式（１３）〜（１５）のように入力画像のＶ成分に加算する。

画像処理装置１０の第２変形例でも、画像処理装置１０などと同様に、式（１３）〜（１５）により算出されたＨＳＶ色空間の画像データをＲＧＢ色空間へと変換した後に処理後画像として出力する。

図２は、Ｖ_Ｍ（ｘ，ｙ）からＶ’_Ｍ（ｘ，ｙ）への変換特性を示すグラフである（図２では、α：階調変換パラメータとして０．５の場合を図示した。）。

Ｖ_Ｍ（ｘ，ｙ）は、画像処理装置１０の説明からも分かるように、（ｘ，ｙ）の各位置について正負のどちらの値も取りえるといった特徴をもつ。このため、図２では中心をゼロとして正負のどちらの変換も示している。

画像処理装置１０の第２変形例では、α（階調変換パラメータ）をユーザが任意に設定できるようにされている。これにより、ユーザは、適当な凹凸感および立体感に向上させた画像へと変換することができるようになる。なお、発明者の検討によれば、このα（階調変換パラメータ）の具体的な数値として適当な範囲は、０．１〜１．５程度である。

画像処理装置１０の第２変形例では、補正データ導出部４０によって導出した補正データに対して、階調変換処理を施した後に、入力画像に加算することにより入力画像の補正を行う。よって、入力画像への加算量を加減することができる。つまり、入力画像を凹凸感や立体感が向上した画像へと変換する場合に、凹凸感や立体感の向上のレベル（程度）を調整することができる。

写真などの２次元画像における凹凸感や立体感は、一般的には向上すればするほど望ましい画像になると考えられる。一方で、実際の対象物（凹凸が中程度の対象物）の凹凸感を越えてまで凹凸感を再現することは望ましくない。このため、画像の視認者（画像処理装置のユーザなど）がちょうどよいと考える凹凸感や立体感を実現することがもっとも望ましい。しかしながら、様々な（未知の）２次元画像に対して、適当な凹凸感および立体感を実現するために適当と考えられる上記の入力画像への加算量を特定する手法は確立されていない。このため、この加算量を加減して入力画像に加算する画像処理装置は、様々な２次元画像において、適当な凹凸感および立体感を見つけ出したり、調整したりすることに貢献することができる。

（画像処理装置１０の第３変形例）
画像処理装置１０の第３変形例は、補正データに対して非線形の階調変換処理を施した上で、入力画像のＶ成分に加算する構成になっている。画像処理装置１０の第３変形例における階調変換処理において使用した計算式は下式（１６）、（１７）である。

画像処理装置１０の第３変形例では、このようにして算出した非線形階調変換後の補正データを、画像処理装置１０の第２変形例と同様に入力画像のＶ成分に加算する。画像処理装置１０の第３変形例でも、算出されたＨＳＶ色空間の画像データをＲＧＢ色空間へと変換した後に処理後画像として出力する。

図３は、画像処理装置１０の第３変形例における、Ｖ_Ｍ（ｘ，ｙ）からＶ’_Ｍ（ｘ，ｙ）への変換特性を示したグラフである。（図３では、α：階調変換パラメータ＝０．５、β：非線形階調変換パラメータ１＝０．５の場合を図示した。）Ｖ_Ｍ（ｘ，ｙ）は、（ｘ，ｙ）の各位置について正負のどちらの値も取りえるといった特徴をもつ。このため、図３では中心をゼロとして正負のどちらの変換も示している。

画像処理装置１０の第３変形例における各種パラメータの具体的な値は、発明者の検討によれば、このαが画像処理装置１０の第２変形例と同様に０．１〜１．５程度、βが同様に０．５〜０．９程度であった。Ｖｔｈは、０．０２〜０．３程度である。

図３からも分かるように、式（１６）、（１７）を用いて補正データを変換することにより（非線形の階調変換処理により）、濃度変化の小さな範囲（図３の横軸における０の近傍）においては相対的に大きな加算量となるような補正を行う。また、濃度変化が比較的大きな（図３の横軸における０から離れた箇所）範囲においては相対的に小さな加算量となるように、入力データに加算するデータを変換する操作を行うことができる。このことが、入力画像の凹凸感や立体感を向上させる上で望ましい形態となる。

画像処理装置１０の第３変形例のように、入力画像に加算するデータを、補正データに対して非線形の階調変換を施すことにより、次のような効果を得ることができるようになる。発明者の検討によれば、凹凸感や立体感の向上に主に寄与するのは、濃度の変化が比較的小さな範囲（画像全体ではなく局所的なコントラストが小さい範囲）において低周波成分を強調してコントラストを増加させることであると考えられる。すなわち、画像全体の中で、対象物の凹凸を表現しているもののコントラストが小さく凹凸を表現するためのコントラストが小さな箇所において、凹凸を表現するためのコントラストを増加させることが、２Ｄ画像の凹凸感や立体感の向上につながると考えられる。

このように考えることの理由は、濃度が大きな箇所の低周波成分を強調しても、すでに大きなコントラストがついているため、強調によるコントラストをさらに増加させたことが知覚しづらいためではないかと予想されることにある。このため、凹凸感や立体感を向上させた画像へと変換するためには、濃度変化が比較的小さな範囲において重点的にコントラストを増加させることが望ましい。

画像処理装置１０の第３変形例では、エッジ保存型平滑化フィルタを使用しているため、エッジのような大きなコントラストを持つ領域の近傍では、特定周波数成分（低周波成分）は検出されない（小さな値として検出される）といった特徴がある。しかしながら、エッジと判定されるような大きな濃度差に該当しない場合であっても、濃度差が一定値以下であれば、濃度差が大きいほど特定周波数成分が大きな値として検出されてしまう。このことは、エッジ保存型平滑化フィルタを使用しても上述した濃度変化が比較的小さな範囲において重点的にコントラストを増加させたいといった、凹凸感や立体感を向上させたために望ましいコントラスト増加の形態になっていないことを意味している。

画像処理装置１０の第３変形例では、非線形の階調変換処理により、上述の濃度変化の小さな範囲においては相対的に大きな加算量となるような補正を行う。また、濃度変化が比較的大きな（ただしエッジほどは大きな濃度変化ではない）範囲においては相対的に小さな加算量となるように、入力データに加算するデータを変換する操作を行う（非線形の階調変換を行う）。このことは、上述した濃度変化が比較的小さな範囲において重点的にコントラストを増加させるといった具合に、凹凸感や立体感を向上させる上で望ましい形態でのコントラスト増加を行うことができるようになる。

つまり、画像処理装置１０の第３変形例では、濃度変化が比較的小さな範囲において重点的にコントラストを増加させることができる。一方で、画像処理装置１０の第３変形例は、凹凸感や立体感を向上させる上で、必要性の小さい、比較的濃度変化が大きな範囲でのコントラストを抑えることができる。

（画像処理装置１０の第４変形例）
画像処理装置１０の第４変形例で行う非等的な強調処理は、まず、変換処理前の補正データＶ_Ｍ（ｘ，ｙ）に対して、離散フーリエ変換を行う。次に、空間周波数が特定方向に近いものについて、空間周波数成分を強調した後に、逆離散フーリエ変換を行うことにより、変換後の補正データを算出するものである。特定方向は、ユーザが指定する。以下で、画像処理装置１０の第４変形例で行う計算式を説明する。

変換処理前の補正データＶ_Ｍ（ｘ，ｙ）に対して離散フーリエ変換を行なった結果が、空間周波数スペクトラムη_Ｍ（ｕ，ｖ）であるが、この空間周波数スペクトラムη_Ｍ（ｕ，ｖ）は、下式（１８）により算出される。

ここでＭ，Ｎは補正データＶ_Ｍ（ｘ，ｙ）のｘ、ｙ方向それぞれの画素数（Ｍ，Ｎ）を表している。

次に、下式（１９）により空間周波数ベクトルを算出する。

式（１９）における、Ｒは補正データＶ_Ｍ（ｘ，ｙ）の解像度であり、入力画像の解像度と同じである。画像処理装置１０の第４変形例では、入力画像の解像度は４００［dpi］である。式（１９）中の数字「２５．４」は１インチが２５．４ｍｍに対応することに基づいている。このため式（１９）から算出される空間周波数の単位は［cycle/mm］となる。ただし、画像処理装置１０の第４変形例では、空間周波数ベクトルのｘ成分とｙ成分の比率のみを使用するため、上述の解像度の値が別のものであっても、また空間周波数の単位が［cycle/mm］以外のものであっても、結果は変わらない。

画像処理装置１０の第４変形例では、式（１９）から算出した空間周波数スペクトラムに対して、非等方的な強調処理を行う。具体的には、下記の式（２０）、（２１）にしたがって、非等方的な強調後の空間周波数成分η’_Ｍ（ｕ，ｖ）を算出する。

画像処理装置１０の第４変形例では、式（２０）により空間周波数成分に対して、φ_ｄの方向に強調量が大きくなるよう、空間周波数成分の強調を施す構成となっている。図４は、式（２０）における係数部分を示すグラフである。図４ではφ_ｄ＝π／２の場合を表している。画像処理装置１０の第４変形例では、図４から分かるように、方向で強調量が異なる係数と各周波数成分との積をとることにより強調後の周波数成分を計算する。

画像処理装置１０の第４変形例では、このようにして非等方的な強調処理を行って生成したη’_Ｍ（ｕ，ｖ）に対して、逆ＤＦＴ（逆離散フーリエ変換）を行い、強調後の補正データＶ’_Ｍ（ｘ，ｙ）を算出する。下式（２２）がこのＶ’_Ｍ（ｘ，ｙ）の算出式である。

画像処理装置１０の第４変形例でこのようにして算出した非等方的な強調処理を施した補正データを、画像処理装置１０と同様に下式（２３）〜（２５）によって入力画像のＶ成分に加算する。

画像処理装置１０の第４変形例では、式（２３）〜（２５）にしたがって入力画像のＶ成分に加算しているが、この非等方的な強調処理を施した補正データに対して、さらに画像処理装置１０の第２変形例のように階調変換処理を施してから加算してもよい。また、画像処理装置１０の第３変形例のように非線形の階調変換処理を施してから、加算してもよい。

画像処理装置１０の第４変形例では、式（２３）〜（２５）により算出されたＨＳＶ色空間の画像データをＲＧＢ色空間へと変換した後に処理後画像として出力する。画像処理装置１０の第４変形例では、補正データに対して離散フーリエ変換を施した後、空間周波数成分に非等方的な強調を行うといった手法で、非等方的な強調を行っている。しかしながら、これは非等方的な強調を実現する一手法にすぎず、他の方法でこのことを実現してもよい。例えば、補正データに対して、非等方的なフィルタを施す（たたみ込み）ことにより、こうした非等方的な強調を行ってもよい。

画像処理装置１０の第４変形例では、補正データに対して非等方的な強調処理を施した後に入力画像に加算していることにより、さらに画像データの凹凸感や立体感が向上し、画像データのリアルさ（臨場感）の向上を達成することができるようになる。つまり、非等方的な強調により、凹凸感や立体感をより大きく感じるような画像へと変換することができる。

発明者の検討によれば、画像処理装置１０の第４変形例のように補正データに非等方的な強調を施すことにより、凹凸感や立体感がさらに向上する理由は、必ずしも明らかになっているわけではないが、次のように考えている。凹凸感や立体感は、画像の中での陰影のつきかたに起因すると考えられるが、照明によって生じる対象物の陰影は方向性を持っているため、この陰影方向に画像のコントラスト（特に低周波数成分）を増加させることで、陰影が効果的に強調されると考えられる。このため、画像処理装置１０の第４変形例のように、補正データへの非等法的な強調処理を行うことにより、画像データにおける「陰影」に変化が発生し、凹凸感や立体感をより大きく感じるような「陰影」へと変化すると考えている。その結果、凹凸感や立体感の増加が大きくなると考えている。

また、このような非等方的な強調は、補正データを算出する場合に使用するエッジ保存型平滑化フィルタにおいて非等方的な平滑化を行うことでも、ほぼ同じ機能を実現することができる。しかしながら、一般的に、エッジ保存型平滑化フィルタは計算負荷が大きく、長時間の計算時間を要するといった特徴がある。このため、強調を大きくする方向を変更する（方向を変える）などの場合に、再度エッジ保存型平滑化フィルタを適用して計算をやり直すことは、計算量の点からは得策ではない。

このような点に関して、画像処理装置１０の第４変形例は、等方的なエッジ保存型平滑化フィルタを使用して補正データを導出しておき、この補正データに対して必要に応じて非方的な強調処理を施す。画像処理装置１０の第４変形例では、計算量が大きいエッジ保存型平滑化フィルタを施す工程は１度だけ必要であるが、強調を大きくする方向の変更などの場合に、長時間の計算時間を要するエッジ保存型平滑化フィルタを再度適用して計算をする必要はない。このため、協調方向の変更などにおいて計算時間が大きくなることがない画像処理を実現することができる。

つまり、画像処理装置１０の第４変形例では、対象物の陰影に起因する濃度変化のコントラストを増加させることができるため、凹凸感や立体感を向上させた画像へ変換することができる画像処理装置を実現する。また、強調を大きくする方向の変更を行う場合にも、計算時間の小さい画像処理装置を実現する。

（画像処理装置１０の第５変形例）
画像処理装置１０の第５変形例は、１回のフィルタ処理のみで画像処理装置１０の第１変形例と同じ機能を実現する。画像処理装置１０の第５変形例で行うフィルタ処理は、下式（２６）、（２７）の計算式を用いて行う。画像処理装置１０の第１変形例等と同様に、入力画像は２次元の画像データであるので、各画素の位置座標をｘ，ｙで表すことにする。また入力画像は各画素でＲＧＢの３つの色成分を有するカラー画像であるので、３次元のベクトルとして表すことにする。

画像処理装置１０の第５変形例の第１平滑化部２０では、上記の標準偏差σ１１の値として３０［pixel］を使用、標準偏差σ１２の値として９０［pixel］、標準偏差σ２の値として０．２、を使用している。これは、画像処理装置１０の第１変形例に記載した値と同じである。それ以外の記載していない値についても、画像処理装置１０の第１変形例と同じ値に設定して計算を行う。

画像処理装置１０が使用する計算方法は、エッジ保存型平滑化フィルタに伴うたたみ込み計算時において、計算量・計算時間が大きいという問題が発生することがある。画像処理装置１０の第５変形例は、このような状況に対応したものであり、計算量・計算時間のポイントとなるたたみ込み部分の計算を１度で済ますことができるようになる。これにより、画像処理装置１０の第５変形例では、計算量・計算時間が小さくしながら、画像処理装置１０の第１変形例と同等の機能を実現することができる。

（第２実施形態）
図５は、第２実施形態にかかる画像処理装置１０ａの構成を示すブロック図である。まず、画像処理装置１０ａの概要について説明する。図５に示すように、画像処理装置１０ａは、第１平滑化部２０ａ、第２平滑化部３０ａ、補正データ導出部４０ａ及び補正部５０ａを有する。画像処理装置１０ａは、第２平滑化部３０ａの処理対象が入力画像そのものである点が特徴となっている。なお、画像処理装置１０ａを構成する各部は、ハードウェアによって構成されてもよいし、図示しないＣＰＵにより実行されるソフトウェアによって構成されてもよい。

画像処理装置１０ａは、入力画像として汎用形式の画像データ（入力画像データ）を受入れる。第１平滑化部２０ａは、第１平滑化部２０と同様の機能を有する。第２平滑化部３０ａのエッジ保存型平滑フィルタで使用する計算式そのものは、上述したバイラテラルフィルタである。ただし、画像処理装置１０ａでは、使用するパラメータの値が次のような値に設定されている。

第２平滑化部３０ａでは、標準偏差σ１の値として９５［pixcel］を使用しているが、標準偏差σ１の値として適当な範囲は、４７〜１９０［pixcel］である。このような範囲が適当となる理由は、画像処理装置１０と同様であり、次の理由によるものである。

画像処理装置１０ａは、第２平滑化部３０ａの標準偏差σ１の値を上述の範囲（４７〜１９０［pixcel］）に設定することにより、入力画像の解像度を４００ｄｐｉと想定した場合に、０．１［cycle/mm］を目安にしてこれよりも小さな空間周波数に対応する空間周波数成分を取り除くことができる。このため、画像処理装置１０ａでは、第２平滑化部３０ａが処理した画像と第１平滑化画像との差を取ることにより、狙いとする周波数領域の成分を特定周波数成分として抽出することができる。

画像処理装置１０ａは、画像処理装置１０よりも第２平滑化部３０ａが使用する標準偏差σ１の値として適当な範囲が、４７〜１９０［pixcel］とわずかに大きな値となっている。これは、画像処理装置１０ａでは、第２平滑化部３０ａでより広い範囲で平滑化を行う（画像ぼかす）ことが必要となるためである（画像処理装置１０では、第１平滑化部２０と第２平滑化部３０との２回にわたって画像の平滑化を行うため、第２平滑化部３０での標準偏差σ２の値が小さくても、入力画像を広い範囲で平滑化することができるため。）。

画像処理装置１０ａにおけるその他の構成については、画像処理装置１０と同様である。補正データ導出部４０ａは、補正データ導出部４０と同様の手法により第１平滑化画像と第２平滑化画像との差（補正データ）をとる。補正部５０ａは、算出された補正データを入力画像へと加算することにより出力画像を算出する。

画像処理装置１０ａでは、第１平滑化処理と第２平滑化処理とが独立（お互いの処理結果に依存しない）とすることができるため、計算の並列化が可能となる。一般的に、エッジ保存型平滑化フィルタ処理にともなう計算には長時間を要するため、２回のエッジ保存型平滑化フィルタ処理を使用する構成では、計算に要する時間が非常に大きなものとなる。このため、画像処理装置１０ａにより、こうした処理負荷の大きな計算を並列処理することができるため、計算時間の短縮を実現することができるようになる。

画像処理装置１０ａでは、画像処理装置１０の効果に加えて、エッジ保存型平滑化フィルタの使用によって、計算負荷が増大し、長時間の計算時間が必要となるといった問題に対して、並列化による計算時間の短縮を実現することが可能となる。つまり、入力画像の凹凸感や立体感を向上させた画像へと変換するにあたって、計算時間が長時間におよぶことがない。

なお、第２実施形態に示した画像処理装置１０ａは、第１実施形態に示した画像処理装置１０の各変形例を組み合せられてもよい。

１０、１０ａ 画像処理装置
２０、２０ａ 第１平滑化部
３０、３０ａ 第２平滑化部
４０、４０ａ 補正データ導出部
５０、５０ａ 補正部

特許第５１４７２８７号公報 特許第４５５６２７６号公報 特開平６−２１７０９０号公報

Claims (8)

1. 入力画像に対して第１エッジ保存型平滑化フィルタを用いて第１平滑化画像を出力する第１平滑化部と、
   前記第１平滑化部が出力した前記第１平滑化画像に対してさらに第２エッジ保存型平滑化フィルタを用いて第２平滑化画像を出力する第２平滑化部と、
   前記第１平滑化画像と前記第２平滑化画像との差を補正データとして導出する補正データ導出部と、
   前記補正データに基づいて入力画像を補正する補正部と
   を有することを特徴とする画像処理装置。
2. 入力画像に対して第１エッジ保存型平滑化フィルタを用いて第１平滑化画像を出力する第１平滑化部と、
   入力画像に対して前記第１エッジ保存型平滑化フィルタよりも広い範囲で平滑化を行う第２エッジ保存型平滑化フィルタを用いて第２平滑化画像を出力する第２平滑化部と、
   前記第１平滑化画像と前記第２平滑化画像との差を補正データとして導出する補正データ導出部と、
   前記補正データに基づいて入力画像を補正する補正部と
   を有することを特徴とする画像処理装置。
3. 前記補正部は、
   入力画像に前記補正データを加算することにより、入力画像を補正すること
   を特徴とする請求項１又は２に記載の画像処理装置。
4. 前記補正部は、
   階調変換処理を施した前記補正データを入力画像に加算すること
   を特徴とする請求項３に記載の画像処理装置。
5. 前記階調変換処理は、
   非線形の階調変換処理であること
   を特徴とする請求項４に記載の画像処理装置。
6. 前記補正部は、
   非等方的な強調処理を施した前記補正データを入力画像に加算すること
   を特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
7. 前記第１エッジ保存型平滑化フィルタ及び前記第２エッジ保存型平滑化フィルタは、いずれもバイラテラルフィルタであること
   を特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記第１エッジ保存型平滑化フィルタ及び前記第２エッジ保存型平滑化フィルタは、
   カラー画像に対してエッジ保存型平滑化処理を行い、
   前記補正データ導出部は、
   前記第１平滑化画像の明るさ成分と、前記第２平滑化画像の明るさ成分との差を補正データとして導出すること
   を特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

Images