JP2009098925A - 画像処理装置、画像処理方法、および、プログラム - Google Patents

Abstract

【課題】入力画像の輝度情報を考慮し、入力画像における物体表面の凹凸感を強調した出力画像を生成する。
【解決手段】入力された画像の入力画像情報をグローバルな輝度情報f_Ｇとローカルな輝度情報f_Ｌに分離する輝度情報分離部１００と、ローカルな輝度情報f_Ｌに基づいて画像の陰影成分を生成する陰影成分生成部３００と、上記陰影成分と上記入力画像情報に基づく値とから生成された陰影画像情報を上記入力画像情報に加えて出力画像情報を合成する画像合成部５００とを備える画像処理装置であって、上記陰影成分が入力された画像の物体表面の法線ベクトルと光源方向を示す光線ベクトルの正規化内積により算出されることを特徴とする。これにより、従来のエンハンス処理では表現できなかった物質表面の凹凸感や質感を表現できる。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、および、プログラムに関し、特に、画像のエンハンス処理を行う画像処理装置、画像処理方法、および、当該方法をコンピュータに実行させるプログラムに関する。

従来から、画像処理の分野においては、様々な画像処理方法が知られている。この画像処理のうち画像を強調するエンハンス処理の一つとして、印刷製版用のスキャナ等に適用されるアンシャープマスキングが知られている（例えば、特許文献１参照。）。
特開平１１−６６２９９号公報（図２）

上述の従来技術では、画像を単なる２次元情報として扱うため、３次元的な画像生成のプロセスが考慮されていない。このため、特に、入力画像における物体表面の凹凸情報が考慮されずに入力画像の局所コントラストが上げられているため、処理結果が不自然なものになるという問題がある。また、入力画像の輝度情報を考慮していないため、全体的に遠近感の失われた画像となってしまうという問題もある。

そこで、本発明は、入力画像の輝度情報を考慮し、入力画像における物体表面の凹凸感を強調した出力画像を生成し、従来のエンハンス処理と異なる質感を再現させる画像処理装置を提供することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、入力された画像の入力画像情報をグローバルな輝度情報とローカルな輝度情報に分離する輝度情報分離手段と、上記ローカルな輝度情報に基づいて画像の陰影成分を生成する陰影成分生成手段と、上記陰影成分と上記入力画像情報に基づく値とから生成された陰影画像情報を上記入力画像情報に加えて出力画像情報を合成する画像合成手段とを具備することを特徴とする画像処理装置、画像処理方法、および、当該方法をコンピュータに実行させるプログラムである。これにより、入力画像の輝度情報を考慮し、入力画像における物体表面の凹凸感を強調した出力画像を生成させるという作用をもたらす。

また、この第１の側面において、上記陰影成分生成手段は、上記ローカルな輝度情報の輝度勾配を上記入力された画像における物体表面の法線ベクトルとして算出する法線ベクトル算出手段と、上記ローカルな輝度情報に基づいて光源方向を示す光線ベクトルを算出する光線ベクトル算出手段と、上記法線ベクトルと上記光線ベクトルとの正規化内積に基づき上記陰影成分を算出する正規化内積処理手段とを備えるものとしてもよい、これにより、法線ベクトルと光線ベクトルの正規化内積処理により物体表面の凹凸感を強調する陰影成分が算出されるという作用をもたらす。

また、この第１の側面において、上記ローカルな輝度情報について帯域分割を行うことにより複数のローカルな帯域別輝度情報を生成する帯域分割手段をさらに具備し、上記陰影成分生成手段は、上記帯域別輝度情報に基づいて上記陰影成分を生成するようにしてもよい。これにより、帯域別分割情報に基づいて物体表面の凹凸感を強調する陰影成分が算出されるという作用をもたらす。

また、この第１の側面において、上記陰影成分の濃淡を制御するための陰影付加制御信号を上記入力画像情報に基づいて生成する制御信号生成手段をさらに具備し、上記画像合成手段は、上記陰影画像情報を生成する際にさらに上記陰影付加制御信号を用いるようにしてもよい。これにより、上記陰影付加制御信号を使用して物体表面の凹凸感を強調する陰影成分が算出されるという作用をもたらす。

また、この第１の側面において、上記制御信号生成手段は、上記入力画像情報に基づいて上記陰影成分における輪郭エッジ部分の濃淡を抑制する制御を行うための輪郭エッジ度を生成する輪郭エッジ度算出手段と、上記入力画像情報に基づいて上記陰影成分における低コントラスト部分の濃淡を抑制する制御を行うための勾配信頼度を生成する勾配信頼度算出手段とを備えるものとしてもよい。これにより、上記陰影付加制御信号が輪郭エッジ度と勾配信頼度とに基づいて算出されるという作用をもたらす。

また、この第１の側面において、上記光線ベクトル算出手段は、上記ローカルな輝度情報に基づいて注目画素の近傍領域の最大輝度勾配方向を算出して当該最大輝度勾配方向を角度変換することにより上記注目画素における光線ベクトルを算出するようにしてもよい。これにより、物体表面の凹凸感を的確に強調する陰影成分が算出されるように光線ベクトルが算出されるという作用をもたらす。

また、この第１の側面において、上記光線ベクトル算出手段は、上記ローカルな輝度情報に基づいて注目画素の近傍領域の最大輝度勾配方向を算出して当該最大輝度勾配方向をベクトル変換することにより上記注目画素の光線ベクトルを算出するようにしてもよい。これにより、物体表面の凹凸感を的確に強調する陰影成分が算出されるように光線ベクトルが算出されるという作用をもたらす。

また、この第１の側面において、上記光線ベクトル算出手段は、上記法線ベクトルの方位角を角度変換することにより注目画素における光線ベクトルを算出するようにしてもよい。これにより、物体表面の凹凸感を的確に強調する陰影成分が算出されるように光線ベクトルが算出されるという作用をもたらす。

また、この第１の側面において、上記光線ベクトル算出手段は、上記法線ベクトルの方位角成分をベクトル変換することにより注目画素の光線ベクトルを算出するようにしてもよい。これにより、物体表面の凹凸感を的確に強調する陰影成分が算出されるように光線ベクトルが算出されるという作用をもたらす。

また、この第１の側面において、上記光線ベクトル算出手段は、複数の光線ベクトル候補と上記法線ベクトルとに基づいて上記入力された画像の各画素について陰影成分のコントラスト候補値を算出して、上記複数の光線ベクトル候補のうち上記コントラスト候補値が最大となる画素の数が最も多いものを上記各画素に共通する光線ベクトルとするようにしてもよい。これにより、物体表面の凹凸感を的確に強調する陰影成分が算出されるように光線ベクトルが算出されるという作用をもたらす。

また、この第１の側面において、上記光線ベクトル算出手段は、複数の光線ベクトル候補を設定して注目画素近傍の特定領域内においてそれぞれの光線ベクトル候補について陰影成分のコントラスト候補の平均値を算出してその平均値の割合に基づいて上記複数の光線ベクトル候補を合成して上記注目画素の上記光線ベクトルとして算出するようにしてもよい。これにより、物体表面の凹凸感を的確に強調する陰影成分が算出されるように光線ベクトルが算出されるという作用をもたらす。

また、この第１の側面において、上記画像合成手段は、上記陰影画像情報を上記陰影成分と上記グローバルな輝度情報に基づく値と上記陰影付加制御信号とから生成するようにしてもよい。これにより、物体表面の凹凸感を的確に強調するように陰影成分が付加されるという作用をもたらす。

また、この第１の側面において、上記画像合成手段は、上記入力画像情報に基づく値が所定の値より大きい場合には上記所定の値を用いて上記合成を行うようにしてもよい。これにより、物体表面の凹凸感を的確に強調するように陰影成分が付加されるという作用をもたらす。

また、この第１の側面において、上記画像合成手段は、上記陰影画像情報が所定の値より小さい場合には上記所定の値を用いて上記合成を行うようにしてもよい。これにより、物体表面の凹凸感を的確に強調するように陰影成分が付加されるという作用をもたらす。

また、この第１の側面において、上記輝度情報分離手段は、低域通過フィルタを通過した上記入力画像情報の信号と上記入力画像情報との差分の高振幅成分を抑制したものを上記ローカルな輝度情報とし、上記入力画像情報と上記ローカルな輝度情報との差分を上記グローバルな輝度情報とするようにしてもよい。これにより、入力画像情報が効果的に帯域分割されるという作用をもたらす。

また、この第１の側面において、上記輝度情報分離手段は、通過周波数帯域の異なる複数の低域通過フィルタを備え、当該複数の低域通過フィルタを通過した上記入力画像情報の複数の信号と上記入力画像情報との差分のそれぞれ高振幅成分を抑制したものを複数の低域成分とし、この複数の低域成分を混合して上記ローカルな輝度情報とし、上記入力画像情報と上記ローカルな輝度情報との差分を上記グローバルな輝度情報とするようにしてもよい。これにより、入力画像情報が効果的に帯域分割されるという作用をもたらす。

また、本発明の第２の側面は、入力された画像の入力画像情報をグローバルな輝度情報とローカルな輝度情報に分離する輝度情報分離手段と、上記ローカルな輝度情報について帯域分割を行うことにより複数のローカルな帯域別輝度情報を生成する帯域分割手段と、上記複数のローカルな帯域別輝度情報に基づいて画像の陰影成分を生成する陰影成分生成手段と、上記陰影成分を抑制する部分を制御するための陰影付加制御信号を上記入力画像情報に基づいて生成する制御信号生成手段と、上記陰影成分と上記入力画像情報に基づく値と上記陰影付加制御信号とから生成された陰影画像情報を上記入力画像情報に加えて出力画像情報を合成する画像合成手段とを具備することを特徴とする画像処理装置、画像処理方法、および、当該方法をコンピュータに実行させるプログラムである。これにより、入力画像の輝度情報を考慮し、入力画像における物体表面の凹凸感を強調した出力画像を生成させるという作用をもたらす。

本発明によれば、入力画像の凹凸情報、光源情報を考慮して画像処理するため、従来のエンハンス処理では表現できなかった物質表面の凹凸感や質感を表現できるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

まず、本発明の第１の実施形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態を具現する画像処理装置の機能構成例を示す図である。

ここでは、輝度情報分離部１００と、帯域分割部２００と、陰影成分生成部３００と、制御信号生成部４００と、画像合成部５００とを備えることを想定している。

輝度情報分離部１００は、入力された画像の入力画像情報ｆ_ｉｎをエンハンス処理の対象となる成分（主に小振幅成分）とその残差成分とに分離するものである。このことを３次元的に言い換えると以下のようになる。濃淡画像において明るい部分は手前で、暗い部分は奥にあると仮定すると、画像の輝度情報を高さ情報に置き換えて画像から凹凸情報を抽出することができる。本発明においては、入力された画像における物体表面の細かな凹凸を抽出するために、入力された画像をグローバルな輝度情報ｆ_Ｇ（画像の照明成分）とローカルな輝度情報ｆ_Ｌ（物体表面の細かな凹凸情報）とに分離する。この輝度情報分離部１００は、分離されたグローバルな輝度情報ｆ_Ｇを画像合成部５００に供給し、また分離されたローカルな輝度情報ｆ_Ｌを帯域分割部２００に供給する。

帯域分割部２００は、輝度情報分離部１００から供給されたローカルな輝度情報ｆ_Ｌについて、エンハンスする周波数帯域を別々に制御するために、ｊ個（ｊは２以上の整数）の帯域に分割して複数のローカルな帯域別輝度情報ｆ_Ｌｊを生成するものである。これにより、物体表面の細かな凹凸から大きな凹凸までを自由に表現することが可能になる。この帯域分割部２００は、帯域分割された複数のローカルな帯域別輝度情報ｆ_Ｌｊを陰影成分生成部３００に供給する。

陰影成分生成部３００は、帯域分割部２００から供給された帯域別輝度情報ｆ_Ｌｊに基づいて入力画像情報ｆ_ｉｎをエンハンスするための陰影成分Δshadeを生成するものである。この陰影成分生成部３００は、生成された陰影成分Δshadeを画像合成部５００に供給する。

制御信号生成部４００は、陰影成分の濃淡を制御するための陰影付加制御信号α_ｉを上記入力画像情報ｆ_ｉｎに基づいて生成するものである。この陰影付加制御信号α_ｉは、輝度情報分離部１００の分離性能を補完するための信号であり、本来陰影成分に含まれない輪郭エッジ部分や低コントラスト部分などの各種ノイズの濃淡を抑制するために使用される。この制御信号生成部４００は、生成された陰影付加制御信号α_ｉを画像合成部５００に供給する。

画像合成部５００は、陰影成分生成部３００から供給された陰影成分Δshadeと、輝度情報分離部１００から供給されたグローバルな輝度情報ｆ_Ｇと、制御信号生成部４００から供給された陰影付加制御信号α_ｉとから陰影画像情報を生成し、この陰影画像情報を入力画像情報ｆ_ｉｎに加えて出力画像情報ｆ_ｏｕｔを合成し、出力するものである。

図２は、本発明の第１の実施形態の一例として画像処理装置８００の構成例を示す図である。

画像処理装置８００は、図１に示したように、輝度情報分離部１００と、帯域分割部２００と、陰影成分生成部３００と、制御信号生成部４００と、画像合成部５００とを備える。

輝度情報分離部１００は、輝度情報分離処理部１１０を備える。この輝度情報分離処理部１１０は、入力された画像の輝度情報ｆ_ｉｎをグローバルな輝度情報ｆ_Ｇとローカルな輝度情報ｆ_Ｌとに分離するものである。分離方法としては、入力画像情報ｆ_ｉｎに対して低域通過フィルタ（以下、「ＬＰＦ」と略す。）をかけてｆ_Ｇ'を作成し（式１参照。）、ｆ_ｉｎとｆ_Ｇ'との差分の小振幅成分のみをローカルな輝度情報ｆ_Ｌとする方法がある。この場合、エッジ強度が高い部分で単純なＬＰＦをかけると強いエッジがローカルな輝度情報ｆＬに入ってくるため、高振幅の成分は抑制して小振幅信号のみを抽出するように、後述する図３に示す関数Ｃを使用してローカルな輝度情報ｆ_Ｌを算出する（式２参照。）。次に、入力画像情報ｆ_ｉｎとローカルな輝度情報ｆ_Ｌの差分信号をグローバルな輝度情報ｆ_Ｇとして算出する（式３参照）。

上述した分離方法とは別の例として、通過周波数帯域の異なる３種類のＬＰＦ_Ｓ、ＬＰＦ_Ｍ、および、ＬＰＦ_Ｌを用意し、入力画像情報ｆ_ｉｎに対してこの３種類のＬＰＦ_ｊをかけてｆ_Ｇ'_Ｓ、ｆ_Ｇ'_Ｍ、および、ｆ_Ｇ'_Ｌを作成し（式４参照）、ｆ_ｉｎと３種類のｆ_Ｇ'_ｊ（ｊ＝Ｓ，Ｍ，Ｌ）との差分に上述の関数Ｃを乗じて、ｆ_ＬＳ、ｆ_ＬＭ、および、ｆ_ＬＬとして算出する（式５参照）。そしてこの３種類のｆ_Ｌｊ（ｊ＝Ｓ，Ｍ，Ｌ）を混合しローカルな輝度情報ｆ_Ｌとする方法もある（式６参照。）。ここで、Ｓ、Ｍ、ＬはＬＰＦのタップ数を示しており、この順番に狭帯域なものとなる。また、ブレンド比α_Ｍとブレンド比α_Ｓは後述する図４に示す特性を有する。次に、上述と同様に入力画像情報ｆ_ｉｎとローカルな輝度情報ｆ_Ｌの差分信号をグローバルな輝度情報ｆ_Ｇとして算出する（式７参照）。

ここで、上述の混合について説明すると、後述する輪郭エッジ度算出部４１０で算出されるコントラスト度α_Ｃを参照し、コントラスト度α_Ｃが強いときは、広帯域のＬＰＦを用いた結果（ｊ＝Ｓ）が使用されるようにし、コントラスト度α_Ｃが弱いときは、狭帯域のＬＰＦを用いた結果（ｊ＝Ｌ）が使用されるようにし、コントラスト度α_Ｃが中間のときは両者の中間くらいの帯域まで通すＬＰＦを用いた結果（ｊ＝Ｍ）が使用されるようにする。これにより、エッジ強度が強いときにはあまりぼかさない、つまり、エッジがあまり入り込まないようにローカルな輝度情報ｆ_Ｌを設定することができ、また、エッジ強度が弱いときには積極的にぼかす、つまり、ある程度大きな凹凸が得られるようにローカルな輝度情報ｆ_Ｌを設定することができる。

帯域分割部２００は、帯域分割処理部２１０を備える。この帯域分割処理部２１０は、輝度情報分離処理部１１０から供給されたローカルな輝度情報ｆ_Ｌについて、エンハンスする周波数帯域を別々に制御するために３帯域に帯域分割を行うものである。ここでは、３帯域に分割する帯域分割フィルタとして式１４乃至式１７に示すものを使用し、ｘ成分またはｙ成分毎に３帯域に分割する（式８乃至式１３、および、図５参照。）

このように、帯域分割処理部２１０は、上述した式８乃至式１７により、ローカルな輝度情報ｆ_Ｌを帯域分割し、式１８に示す帯域分割された帯域別輝度情報ｆ_Ｌｊ（ｊ＝０，１，２：以下省略する。）を生成する。また、この帯域分割処理部２１０は生成した帯域別輝度情報ｆ_Ｌｊを後述するＢＰＦ_Ｖ部３１１、ＢＰＦ_Ｈ部３１２、および、光線ベクトル演算部３２１に供給する。

陰影成分生成部３００は、法線ベクトル算出部３１０と、光線ベクトル算出部３２０と、正規化内積処理部３３０とを備える。

法線ベクトル算出部３１０は、画像における物体表面の法線ベクトルを算出するものである。法線ベクトルは、輝度情報を高さ情報としてみた場合の輝度勾配、すなわち物体表面の法線を示すベクトルである（図６参照。）。従って、法線ベクトルは、帯域別輝度情報ｆ_Ｌｊの水平方向、および、垂直方向の微分フィルタ出力として算出される。

法線ベクトル算出部３１０は、垂直方向微分フィルタ（以下「ＢＰＦ_Ｖ：vertical band pass filter」と略す。）部３１１と、水平方向微分フィルタ（以下「ＢＰＦ_Ｈ：horizontal band pass filter」と略す。）部３１２とを備える。

ＢＰＦ_Ｈ部３１２は、帯域別輝度情報ｆ_Ｌｊから帯域別の法線ベクトルのｘ成分であるｎ_ｘｊを算出するフィルタ演算部である（式１９および式２０参照。）。ＢＰＦ_Ｈ部３１２は、算出された帯域別の法線ベクトルのｘ成分であるｎ_ｘｊを信号線６０２を介して正規化内積演算部３３１に供給する。

ＢＰＦ_Ｖ部３１１は、帯域別輝度情報ｆ_Ｌｊから帯域別の法線ベクトルのｙ成分であるｎ_ｙｊを算出するフィルタ演算部である（式１９および式２１参照。）。ＢＰＦ_Ｖ部３１１は、算出された帯域別の法線ベクトルのｙ成分であるｎ_ｙｊを信号線６０３を介して正規化内積演算部３３１に供給する。

なお、上述の法線ベクトルを算出するフィルタは、上述の帯域分割方法を変更してさらに細かい凹凸を抽出する必要がある場合には、より小さなオペレータを使用するものとしてもよい。また、法線ベクトルを算出する前に、ノイズに対する耐性を強化するためにテクスチャ画像に対してノイズコアリングを行うものとしてもよい。なお、帯域別の法線ベクトルのｚ成分ｎ_ｚについては、画面全体に亘り固定値である任意の定数Ａを使用するものとし、このｎ_ｚは、信号線６０４を介して正規化内積演算部３３１に供給される。

光線ベクトル算出部３２０は、上述した帯域別輝度情報ｆ_Ｌｊに基づいて光源方向を示す光線ベクトルを算出するものである。光線ベクトルは、入力画像情報ｆ_ｉｎに対してエンハンスする陰影成分Δshadeを算出するための方向性を有するパラメータとして使用される。光線ベクトルは、方位角（azimuth）、仰角（elevation）の２つのパラメータで表現できる（図７参照。）。方位角、仰角を設定する方法としては、外部変数として与える方法と、入力された画像情報から光源方向を決定する方法の２つの方法が考えられる。前者は単純に固定値を外部から与える方法であり。後者は陰影をどのように付加するかにより様々な方法が考えられる。

ここで、法線ベクトルをベクトルｎ、光線ベクトルをベクトルｌとすると、その陰影は、式２２に示すように、ベクトルｎとベクトルｌとの正規化内積で示される。

一方、光源を方位角θ、仰角φの位置におくと仮定すると、光線ベクトルは以下に示す式２３のように表される（図７参照。）。

なお、帯域別光線ベクトルは以下に示す式２４のように各帯域で定義することができる。

光線ベクトル算出部３２０は、光線ベクトル演算部３２１を備える。この光線ベクトル演算部３２１は、信号線６１１から入力される帯域別輝度情報ｆ_Ｌｊを使用して帯域別の光線ベクトルｌ_ｊを算出し、信号線６０６乃至６０８を介して後述する正規化内積演算部３３１に上述の帯域別の光線ベクトルｌ_ｊを供給する。この光線ベクトル演算部３２１の構成については、後述する図８を使用して詳細に説明する。

上述の式２２に示されるように、輝度勾配方向に光源をとれば、陰影shadeは注目点において最大となることが理解される。このとき、ある凹凸に対して一つの光源方向をとると仮定すると、式２５で定義する陰影成分のコントラストＣ_ｐ（θ）は常に高くなる。

正規化内積処理部３３０は、上述の法線ベクトルと上述の光線ベクトルとの正規化内積に基づき陰影成分を算出するものである。これを３次元的に言い換えると、凹凸情報に光源情報を与えることで陰影成分を算出することになる。この正規化内積処理部３３０は、正規化内積演算部３３１と、乗算演算部３３２と、総和演算部３３３とを備える。

正規化内積演算部３３１は、法線ベクトル算出部３１０から信号線６０２乃至６０４を介して供給された帯域別の法線ベクトルｎ_ｊと、光線ベクトル演算部３２１から信号線６０６乃至６０８を介して入力された帯域別の光線ベクトルｌ_ｊとを使用して、帯域別の陰影成分Δshade_ｊを生成し、乗算演算部３３２に信号線６１４を介して陰影成分Δshade_ｊを供給するものである（式２７参照。）。なお、正規化内積演算部３３１の構成については、後述する図１１により詳細に説明される。

乗算演算部３３２は、正規化内積演算部３３１から供給されたΔshade_ｊと、信号線６０９を介して入力される各帯域の重みｗ_ｊとを乗算するものである。

総和演算部３３３は、乗算演算部３３２から供給された重みｗ_ｊとΔshade_ｊとのそれぞれの積を合計し、陰影成分Δshadeを算出するものである(式２７参照。）。総和演算部３３３は、算出された陰影成分Δshadeを画像乗算演算部５１０に供給する。

ここで、式２７について、２次元画像に対するバンプマッピングを説明する。２次元画像は平面なので正規化された法線ベクトルＮ_０は式２８に示す値になる。反射モデルとして、鏡面反射を考慮せずに、lambert面（完全拡散反射面）について考えると、処理前の輝度Ｉは、光源の明るさＬ、拡散反射係数ｇｄ、法線ベクトルＮ_０、光線ベクトルlにより示される（式２９参照。）。なお、lambert面とは、任意の小さい表面部分からある与えられた方向に放出する光の強度が、その表面に立てた法線とのなす角の余弦に比例した性質を持っている完全拡散面であり、この面の明るさは、観察する角度に関わらず一定である。

また、処理後の輝度Ｉ'は、同様に、光源の明るさＬ、拡散反射係数ｇｄ、法線ベクトルＮ、光線ベクトルlにより示される（式３３参照。）。ここで、ベクトルは全て正規化されているものとし、変化するのは法線ベクトルのみであるとすると、その変化ベクトルをＤとすると、式３０乃至３２となる。

この関係を使用して式３３について式変形すると、法線ベクトルＮ_０と光線ベクトルｌとの内積がＬ_Ｚになるため（式３４参照。）、式３５に示す関係が得られる。ここでは法線ベクトルＮと光線ベクトルｌとの内積についてのｌｚによる除算をshadeと設定している。

このため、式２７においてｌｚで除算しており、また、（shade-1）がΔshadeであるため式３８で「−１」を加算している。

なお、重みｗ_ｊについては、一般的に低域の陰影成分を多く付加しすぎた場合には、テクスチャが大きく繋がった感じになり、高域の陰影成分を多く付加しすぎた場合には、ノイズが感じられるという問題があるため、上述の帯域分割処理部２１０において３帯域に帯域分割した場合、例えばｗ０：ｗ１：ｗ２＝１：４：２といった比率で足し合わせるとより効果的に陰影成分を付加することができる。

制御信号生成部４００は、輪郭エッジ度算出部４１０と、勾配信頼度算出部４２０と、制御信号合成部４３０とを備える。

輪郭エッジ度算出部４１０は、入力画像情報ｆ_ｉｎから画像の輪郭部を抽出し、輪郭エッジ度α_０を算出し、後述する制御信号合成部４３０に供給するものである。この輪郭エッジ度算出部４１０は、エッジ検出部４１１と、輪郭エッジ度生成部４１２とを備える。

エッジ検出部４１１は、入力画像情報ｆ_ｉｎからコントラスト度α_Ｃおよびエッジ度α_Ｅを検出し、輪郭エッジ度生成部４１２に供給する。具体的には、後述する図１２に示すようにコントラスト度α_Ｃの算出には、固有値λ１を使用し、エッジ度α_Ｅの算出には、固有値の比率λ２／λ１を使用する。なお、固有値λ１、λ２については、後述の図９を参照する。

輪郭エッジ度生成部４１２は、エッジ検出部４１１から供給されたコントラスト度α_Ｃおよびエッジ度α_Ｅについて式３６に従い輪郭エッジ度α_０を算出する。この輪郭エッジ度生成部４１２は、算出された輪郭エッジ度α_０を後述する制御信号合成演算部４３１に供給する。

勾配信頼度算出部４２０は、勾配信頼度α_Ｒを算出し、後述する制御信号合成部４３０に供給するものである。この勾配信頼度算出部４２０は、勾配信頼度検出部４２１と、勾配信頼度生成部４２２とを備える。

勾配信頼度検出部４２１は、法線ベクトル算出部３１０から帯域分割された低域の法線ベクトルｎ_ｘ０、ｎ_ｙ０を検出し、式３７に示す演算を行いＸＹ平面での勾配Gradientを算出する。なお、帯域分割を行わない場合にはｎ_ｘ、ｎ_ｙをそのまま使用してもよい。

勾配信頼度生成部４２２は、後述する図１３（ａ）を使用して、勾配信頼度検出部４２１で算出されたＸＹ平面での勾配Gradientから勾配信頼度α_Ｒを算出する。この勾配信頼度生成部４２２は、算出された勾配信頼度α_Ｒを制御信号合成演算部４３１に供給する。

なお、ここでは、勾配信頼度算出部４２０が低域の法線ベクトルｎ_ｘ０、ｎ_ｙ０を使用して勾配信頼度α_Ｒを算出するものとしたが、これに限らず、勾配信頼度検出部４２１において、後述する図９に示す固有値λ１を光線ベクトル演算部３２１から入力し、勾配信頼度生成部４２２において、後述する図１３（ｂ）を使用して、固有値λ１から勾配信頼度α_Ｒを算出するものとしてもよい。

制御信号合成部４３０は制御信号合成演算部４３１を備える。この制御信号合成演算部４３１は、輪郭エッジ度生成部４１２から供給された輪郭エッジ度α_０と、勾配信頼度生成部４２２から供給された勾配信頼度α_Ｒとから、以下に示す式３８を使用して、陰影付加制御信号α_ｉを算出する。この制御信号合成演算部４３１は、算出された陰影付加制御信号α_ｉを画像乗算演算部５１０に供給する

画像合成部５００は、画像乗算演算部５１０と、画像加算演算部５２０とを備える。

画像乗算演算部５１０は、総和演算部３３３から供給された陰影成分Δshadeと、輝度情報分離処理部１１０から供給されたグローバルな輝度情報ｆ_Ｇと、制御信号合成演算部４３１から供給された陰影付加制御信号α_ｉとから、以下に示す式３９を使用して最終的な入出力画像の差分である陰影画像情報Diffを生成する。この画像乗算演算部５１０は、生成した陰影画像情報Diffを画像加算演算部５２０に供給する。

ここで、陰影付加制御信号α_ｉを導入することにより陰影の付く箇所を制御している。また、Ｇ（ｆ）は、任意の関数であり、ここでは、式４０に示す関数を使用する。この場合には、画像の明るさに応じて陰影の与え方を変化させることができる。

なお、関数Ｇ（ｆ）として式４１に示す関数を使用することも可能である。この場合には、元からある凹凸（ｆ_Ｌ）に対しても凹凸を与えることができる。

また、明るい領域に効果が付きすぎるのを抑制するために、後述する図１４に示すように、Ｇ（ｆ）の上限をクリッピングしてもよい。

また、黒側の陰影が付きすぎて気持ち悪く見える場合、最終的な入出力差分である上述の陰影画像情報Diffについて、後述する図１５に示すように、黒側をクリッピング処理することもできる。

画像加算演算部５２０は、画像乗算演算部５１０から供給された陰影画像情報Diffと入力画像情報ｆ_ｉｎとから、式４２を使用して、出力画像情報ｆ_ｏｕｔを算出し、出力する。

図３は、本発明の第１の実施形態における輝度情報分離処理部１１０で使用される関数Ｃの例を示す図である。図３（ａ）乃至図３（ｄ）において、横軸は入力信号を示し、縦軸は関数Ｃの出力信号を示している。何れの関数Ｃについても、入力信号の絶対値の大きい部分において、関数Ｃの出力信号が抑制されており、高振幅成分を抑制する効果を有していることが分かる。このため、図３（ａ）乃至図３（ｄ）の何れの関数Ｃであっても、式２および式５の関数Ｃとして選択可能である。

図４は、本発明の第１の実施形態における輝度情報分離処理部１１０で使用されるブレンド比α_Ｓ、α_Ｍの一例を示す図である。この図において、横軸はエッジ強度を示し、縦軸はブレンド比を示し、実線はブレンド比α_Ｓの特性を示し、点線はブレンド比α_Ｍの特性を示している。ここでは、エッジ強度が強い場合には、ブレンド比α_Ｓとブレンド比α_Ｍの両方の比率が高く、エッジ強度が中間の場合には、ブレンド比α_Ｍの比率が高く、エッジ強度が弱い場合には、ブレンド比α_Ｓとブレンド比α_Ｍの両方の比率が低くなっていることが分かる。

図５は、本発明の第１の実施形態における帯域分割処理部２１０で使用される水平方向帯域分割フィルタの一例を示す図である。この図において、横軸は水平方向周波数を示し、縦軸は振幅を示している。ここで、ｈｌｐｆは低域帯域のフィルタとして使用され、ｈｈｐｆは高域帯域のフィルタとして使用され、１−（ｈｌｐｆ＋ｈｈｐｆ）は中間域帯域のフィルタとして使用されることが分かる。なお、ここでは、水平方向のフィルタのみを示しているが、垂直方向のフィルタｖｌｐｆとｖｈｐｆについては、図５において横軸を垂直方向周波数とした場合の特性となる。

図６は、本発明の第１の実施形態における法線ベクトル算出部３１０で算出される法線ベクトルを説明する図である。この図において、横軸はｘ方向の位置を示し、縦軸は輝度を示している。このため図６に示される特性は、輝度情報のｘ方向への変位を示す。自然界において、明るいものは手前、暗いものは奥にあるという仮定のもと、法線ベクトルは、輝度情報の微分と定義される。従って、図６に示す矢印は法線ベクトルのｘ成分と定義される。同様にｙ方向について輝度情報の微分から法線ベクトルのｙ成分を定義することにより法線ベクトルが算出される。

図７は、本発明の第１の実施形態における光線ベクトル算出部３２０で算出される光線ベクトルを説明する図である。この図において、光線ベクトルｌは、ｘｙｚ軸で表現される３次元空間にある光源方向を示す単位ベクトルである。光線ベクトルｌは、光源方向のｘｙ平面上の角度である方位角θと、光源方向のｙｚ平面上の角度である仰角φにより表現される（式２３参照）。

図８は、本発明の第１の実施形態における画像処理装置８００の光線ベクトル演算部３２１の構成例を示す図である。

光線ベクトル演算部３２１は、輝度勾配解析部３４０と、角度算出部３４１と、角度変換部３４２と、ＬＰＦ部３４３と、ｃｏｓ演算部３４４および３４８と、ｓｉｎ演算部３４５および３４９と、乗算演算部３４６および３４７とを備える。

輝度勾配解析部３４０は、まず、光源方向を決めるために、信号線６１１から入力される帯域別輝度情報ｆ_Ｌｊから輝度勾配方向を求める。輝度勾配方向の求め方としては、注目画素の近傍領域での最大輝度勾配方向（angle）を算出する方法を使用する。最大輝度勾配方向の算出方法については、後述する図９により説明する。この輝度勾配解析部３４０は、帯域別の最大輝度勾配方向として帯域別のエッジ勾配方向ｖ１_ｊを算出し、そのｘ成分ｖ１_ｘｊと、ｙ成分ｖ１_ｙｊを角度算出部３４１に供給する。

角度算出部３４１は、帯域別のエッジ勾配方向ｖ１_ｊのｘ成分ｖ１_ｘｊと、ｙ成分ｖ１_ｙｊから、以下に示す式４３および式４４を使用して、帯域別の最大輝度勾配方向angle_ｊを算出する。ここでatan（）は入力した数値の逆正接を演算する関数であり、sgn（）は入力した数値の符号を示す関数である。また、atan2（）は入力した数値の逆正接を演算する関数であるが、atan（）との違いは、atan（）が「−π／２」乃至「π／２」の定義域であるのに対して、atan2（）は、定義域が「−π」乃至「π」である点である。この角度算出部３４１は、算出された帯域別の最大輝度勾配方向angle_ｊを角度変換部３４２に供給する。

角度変換部３４２は、角度算出部３４１から供給された帯域別の最大輝度勾配方向angle_ｊから、後述する図１０に示す角度変換を行い、帯域別の方位角θ_ｊを算出する。この角度変換部３４２は、自然界において光源は上方からあたるため、下方から光源があたると不自然な感覚を覚えるという上方光源の制約に基づいて、さらに連続性を考慮して、帯域別の最大輝度勾配方向angle_ｊから、帯域別の方位角θ_ｊを算出する。この角度変換部３４２は、算出された帯域別の方位角θ_ｊをＬＰＦ部３４３に供給する。

ＬＰＦ部３４３は、角度変換部３４２から入力された帯域別の方位角θ_ｊについて、光源方向は緩やかに変化するものであるという前提、また、輝度勾配変化に対するロバスト性を高めるという２点から、算出された方位角θ_ｊに対して２次元ＬＰＦをかけ、最終的な方位角θ_ｊを算出する。ＬＰＦ部３４３は、算出された最終的な方位角θ_ｊをｃｏｓ演算部３４４およびｓｉｎ演算部３４５に供給する。

ｃｏｓ演算部３４４および３４８と、ｓｉｎ演算部３４５および３４９と、乗算演算部３４６および３４７は、ＬＰＦ部３４３から供給された最終的な方位角θ_ｊと、信号線６０５を介して入力される仰角φ_ｊから、上述の式２４を使用して、帯域別光線ベクトルｌ_ｊを算出する。算出された帯域別光線ベクトルｌ_ｊのｘ成分ｌ_ｘｊ、ｙ成分ｌ_ｙｊ、および、ｚ成分ｌ_ｚｊは、それぞれ信号線６０６、６０７、および、６０８を介して正規化内積演算部３３１に供給される。

図９は、本発明の第１の実施形態における輝度勾配解析部３４０で算出されるエッジ勾配方向ｖ１及びエッジ方向ｖ２を説明する図である。

輝度勾配解析部３４０は、入力された画像の各画素毎に、画素値の勾配が最も大きなエッジ勾配方向ｖ１と、このエッジ勾配方向ｖ１に直交するエッジ方向ｖ２を検出する。例えばラスタ走査順に順次注目画素を切り換え、図９に示すように、この注目画素を中心とした範囲Ｗにおける画素値を使用した演算処理により、式４５に示される輝度勾配の行列Ｇを各画素毎に生成する。なお、ここで図９は注目画素を中心にしたｘ方向及びｙ方向の±３画素をこの範囲Ｗに設定した例である。

またｗ^{（ｉ，ｊ）}は、式４６に示されるガウス型の重みであり、ｇは、画像輝度Ｉのｘ方向の偏微分ｇ_ｘと、画像輝度Ｉのｙ方向の偏微分ｇ_ｙとにより式４７に示される輝度勾配である。

これにより輝度勾配解析部３４０は、注目画素を中心とした所定範囲Ｗについて、注目画素を基準にして重み付け処理してなる輝度勾配を検出する。

輝度勾配解析部３４０は、上述した輝度勾配の行列Ｇを処理することにより、図９に示すように、注目画素において、画素値の勾配が最も大きい方向であるエッジ勾配方向ｖ１、および、このエッジ勾配方向ｖ１に直交する方向であるエッジ方向ｖ２を検出する。またこれらエッジ勾配方向ｖ１、エッジ方向ｖ２について、それぞれ画素値の勾配の分散を示す固有値λ１、λ２を検出する。

具体的に、輝度勾配解析部３４０は、式４８乃至式５２の演算処理により、エッジ勾配方向ｖ１、エッジの方向ｖ２、固有値λ１、λ２（λ１≧λ２）を検出する。

ここで輝度勾配解析部３４０は、帯域別のエッジ勾配方向ｖ１_ｊを算出し、帯域別の最大輝度勾配方向（angle_ｊ）として角度算出部３４１に供給する。

図１０は、本発明の第１の実施形態における角度変換部３４２で行われる角度変換を説明する図である。

図１０において、横軸は入力信号である最大輝度勾配方向の角度を示し、縦軸は出力信号である方位角θ_ｊを示す。ここで図１０に示す方位角θ_ｊの特性は、最大輝度勾配方向の変化に対して連続的に変化し、方位角θ_ｊが常に上方（０乃至π）に位置することがわかる。

図１１は、本発明の第１の実施形態における正規化内積演算部３３１で行われる演算を説明する図である。正規化内積演算部３３１は、正規化内積部３３４と、除算演算部３３５と、加算演算部３３６とを備える。

正規化内積部３３４は、法線ベクトル算出部３１０から信号線６０２乃至６０４を介して供給された帯域別の法線ベクトルｎ_ｊと光線ベクトル演算部３２１から信号線６０６乃至６０８を介して入力された帯域別の光線ベクトルｌ_ｊとを使用して、正規化内積を行い、その結果を除算演算部３３５に供給する。

除算演算部３３５は、正規化内積部３３４から供給された正規化内積結果についてｌ_ｚｊにより除算し、その結果を加算演算部３３６に供給する。

加算演算部３３６は、除算演算部３３５から供給された除算結果について「−１」を加算し、信号線６１４を介して乗算演算部３３２に供給する。以上の計算は上記式２７を参照する。

図１２は、本発明の第１の実施形態における輪郭エッジ度算出部４１０で使用されるコントラスト度α_Ｃと、エッジ度α_Ｅとを説明する図である。この図において、図１２（ａ）はコントラスト度α_Ｃを示し、図１２（ｂ）はエッジ度α_Ｅを示す。

図１２（ａ）において、横軸は固有値λ１を示し、縦軸はコントラスト度α_Ｃを示している。コントラスト度α_Ｃは、固有値λ１がλ１ｍｉｎになるまでは、「０．０」であり、固有値λ１がλ１ｍｉｎからλ１ｍａｘまでの間は、「０．０」から「１．０」まで直線的に上昇し、固有値λ１がλ１ｍａｘを超えると「１．０」である特性を有している。すなわち、コントラスト度α_Ｃは、コントラストの度合いが大きく（固有値λ１が大きく）なるに従い大きくなる特性を有する。

図１２（ｂ）において、横軸は固有値の比率λ２／λ１を示し、縦軸はエッジ度α_Ｅを示し、エッジ度α_Ｅは、固有値の比率λ２／λ１がλ２／λ１ｍｉｎになるまでは、「１．０」であり、固有値の比率λ２／λ１ｍｉｎからλ２／λ１ｍａｘまでの間は、「１．０」から「０．０」まで直線的に減少し、固有値の比率λ２／λ１ｍａｘを超えると、「０．０」である特性を有している。すなわち、エッジ度α_Ｅは、エッジの度合いが大きく（固有値の比率λ２／λ１が小さく）なるに従い大きくなる特性を有する。

図１３は、本発明の第１の実施形態における勾配信頼度算出部４２０で使用される勾配信頼度α_Ｒを説明する図である。この図において、図１３（ａ）はＸＹ平面での勾配Gradientから勾配信頼度α_Ｒを算出する場合を示す図であり、図１３（ｂ）は固有値λ１から勾配信頼度α_Ｒを算出する場合を示す図である。

図１３（ａ）において、横軸は勾配Gradientを示し、縦軸は勾配信頼度α_Ｒを示す。この勾配信頼度α_Ｒは、勾配Gradientがｇ_minまでは「０．０」であり、勾配Gradientがｇ_minからｇ_maxまでは、「０．０」から「１．０」まで直線的に上昇し、勾配Gradientがｇ_maxを超えると「１．０」である特性を有している。すなわち、勾配信頼度α_Ｒは、コントラストの度合いが大きく（勾配Gradientが大きく）なるに従い大きくなる特性を有する。

図１３（ｂ）において、横軸は固有値λ１を示し、縦軸は勾配信頼度α_Ｒを示す。この勾配信頼度α_Ｒは、固有値λ１がλ１ｍｉｎ_Ｒになるまでは、「０．０」であり、固有値λ１がλ１ｍｉｎ_Ｒからλ１ｍａｘ_Ｒまでの間は、「０．０」から「１．０」まで直線的に上昇し、固有値λ１がλ１ｍａｘ_Ｒを超えると「１．０」である特性を有している。すなわち、勾配信頼度α_Ｒは、コントラストの度合いが大きく（固有値λ１が大きく）なるに従い大きくなる特性を有する。

図１４は、本発明の第１の実施形態における画像合成部５００で行われるＧ（ｆ）の上限のクリッピング処理を説明する図である。この図において、横軸は任意の関数であるＧ（ｆ）を示し、縦軸はクリッピング処理を行った後の最終的な関数Ｇ（ｆ）を示す。ここでのクリッピング処理は、関数ｇ（ｆ）の値がＧ_maxを超えた場合には、最終的な関数Ｇ（ｆ）の出力として一定値Ｇ_maxを出力する特性を有する。

図１５は、本発明の第１の実施形態における画像合成部５００で行われる陰影画像情報Diffの下限のクリッピング処理を説明する図である。この図において、横軸は陰影画像情報Diffを示し、縦軸はクリッピング処理を行った後の最終的な陰影画像情報Diffを示す。ここでのクリッピング処理は、陰影画像情報DiffがDiff_minより小さい場合には、最終的な陰影画像情報Diffの出力として一定値Diff_minを出力する特性を有する。

このように、本発明の第１の実施形態によれば、入力画像の輝度情報を考慮し、入力画像における物体表面の凹凸感を強調した出力画像を生成し、従来のエンハンス処理と異なる質感を再現させることができる。

また、画像のグローバルな輝度情報を考慮することにより、画像の遠近感を損なうことのない自然な画像を獲得することができる。

また、帯域分割部２００を備え、ローカルな輝度情報ｆ_Ｌを帯域分割し、帯域別輝度情報ｆ_Ｌｊを使用して処理を行うことにより、出力画像に与える凹凸を自由に制御することができる。

また、制御信号生成部４００を備え、陰影付加制御信号を使用して処理を行うことにより、さらにきめ細かな制御を行うことができる。

次に、本発明の第２の実施形態について詳細に説明する。

本発明の第２の実施形態における画像処理装置は、図２に示した本発明の第２の実施形態の画像処理装置における光線ベクトル演算部３２１に代えて、光線ベクトル演算部３２２を備える。その他の構成については、本発明の第１の実施形態と同様であるため説明を省略する。

図１６は、本発明の第２の実施形態における画像処理装置の光線ベクトル演算部３２２の構成例を示す図である。

光線ベクトル演算部３２２は、輝度勾配解析部３５０と、勾配変換部３５１および３５２と、ＬＰＦ部３５３と、正規化部３５４と、乗算演算部３５５および３５６と、ｃｏｓ演算部３５７と、ｓｉｎ演算部３５８とを備える。

輝度勾配解析部３５０は、本発明の第１の実施形態の輝度勾配解析部３４０と同様であるため説明を省略する。

勾配変換部３５１および３５２は、後述する図１７および式５３に示すベクトル変換を行う。これにより本発明の第１の実施形態における角度変換部３４２で行われる角度変換と同様の効果が得られる。

勾配変換部３５１は、輝度勾配解析部３５０から供給された帯域別のエッジ勾配方向ｖ１_ｊのｘ成分ｖ１_ｘｊから式５３に示すベクトル変換式を使用して、帯域別のｖ'１_ｘｊを算出する。勾配変換部３５１は、算出された帯域別のｖ'１_ｘｊをＬＰＦ部３５３に供給する。

勾配変換部３５２は、輝度勾配解析部３５０から供給された帯域別のエッジ勾配方向ｖ１_ｊのｙ成分ｖ１_ｙｊから式５３に示すベクトル変換式を使用して、帯域別のｖ'１_ｙｊを算出する。勾配変換部３５１は、算出された帯域別のｖ'１_ｙｊをＬＰＦ部３５３に供給する。

ＬＰＦ部３５３は、勾配変換部３５１から供給された帯域別のｖ'１_ｘｊと、勾配変換部３５２から供給された帯域別のｖ'１_ｙｊについて、光源方向は緩やかに変化するものであるという前提、また、輝度勾配変化に対するロバスト性を高めるという２点から、２次元ＬＰＦをかけ、その結果を正規化部３５４に供給する。

正規化部３５４は、ＬＰＦ部３５３で演算された帯域別のｖ'１_ｘｊと、帯域別のｖ'１_ｙｊについて正規化を行う。正規化部３５４は、正規化された帯域別のｖ'１_ｘｊを乗算演算部３５５に供給し、正規化された帯域別のｖ'１_ｙｊを乗算演算部に供給する。

乗算演算部３５５は、正規化された帯域別のｖ'１_ｘｊと、信号線６０５を介して入力された仰角φ_ｊについてｃｏｓ演算部３５７でｃｏｓ演算されたものとを乗算し、帯域別の光線ベクトルのｘ成分ｌ_ｘｊとして算出する。この乗算演算部３５５は、算出された帯域別の光線ベクトルのｘ成分ｌ_ｘｊを信号線６０６を介して正規化内積演算部３３１に供給する。

乗算演算部３５６は、正規化された帯域別のｖ'１_ｙｊと、信号線６０５を介して入力された仰角φ_ｊについてｃｏｓ演算部３５７でｃｏｓ演算されたものとを乗算し、帯域別の光線ベクトルのｙ成分ｌ_ｙｊとして算出する。この乗算演算部３５６は、算出された帯域別の光線ベクトルのｙ成分ｌ_ｙｊを信号線６０７を介して正規化内積演算部３３１に供給する。

ｓｉｎ演算部３５８は、信号線６０５を介して入力された仰角φ_ｊについてｓｉｎ演算し、この演算結果を信号線６０８を介して正規化内積演算部３３１に供給する。

図１７は、本発明の第２の実施形態における勾配変換部３５１、３５２で行われるベクトル変換を説明する図である。この図において、図１７（ａ）は、本発明の第１の実施形態における図１０に示す角度変換にｃｏｓθを適用した場合を示す図であり、図１７（ｂ）は、本発明の第１の実施形態における図１０に示す角度変換にｓｉｎθを適用した場合を示す図である。

図１７（ａ）および図１７（ｂ）において、横軸は最大輝度勾配方向θを示し、縦軸はそれぞれのｃｏｓθとｓｉｎθの演算結果を示す。

この図１７についてのベクトル演算を示すと式５３に示す変換式となる。ここでｍｘ、ｍｙは２次元単位ベクトルであり、ｍ'ｘ、ｍ'ｙは、変換後の２次元単位ベクトルを示す。

このように、本発明の第２の実施形態によれば、本発明の第１の実施形態と同様の効果を得ることができる。また、角度変換処理の代わりにベクトル変換処理により画像処理を行うことができる。

次に、本発明の第３の実施形態について図面を参照して詳細に説明する。

図１８は、本発明の第３の実施形態における画像処理装置８２０の構成例を示す図である。

画像処理装置８２０は、光線ベクトル演算部３２３を備える。光線ベクトル演算部３２３は、法線ベクトル算出部３１０から帯域別の法線ベクトル（ｎ_ｘｊ、ｎ_ｙｊ）を入力して帯域別の光線ベクトル（ｌ_ｘｊ、ｌ_ｙｊ、ｌ_ｚｊ）を算出する。その他の構成については本発明の第１の実施形態と同様であるため説明を省略する。

図１９は、本発明の第３の実施形態における画像処理装置８２０の光線ベクトル演算部３２３の構成例を示す図である。

光線ベクトル演算部３２３は、角度算出部３６０を備える。その他の構成については、本発明の第１の実施形態と同様であるため説明を省略する。

角度算出部３６０は、法線ベクトル算出部３１０から供給された帯域別の法線ベクトル（ｎ_ｘｊ、ｎ_ｙｊ）から、上述した式４３および式４４を使用して、帯域別の最大輝度勾配方向angle_ｊを算出する。この角度算出部３４１は、算出された帯域別の最大輝度勾配方向angle_ｊを角度変換部３４２に供給する。

このように、本発明の第３の実施形態によれば、本発明の第１の実施形態と同様の効果を得ることができる。また、帯域別のエッジ勾配方向ｖ１_ｊを使用する代わりに、帯域別の法線ベクトルｎ_ｊを使用して光線ベクトルを算出するため、演算量を少なくすることができる。

次に、本発明の第４の実施形態について詳細に説明する。

本発明の第４の実施形態における画像処理装置は、図１８に示した本発明の第３の実施形態の画像処理装置における光線ベクトル演算部３２３に代えて、光線ベクトル演算部３２４を備える。その他の構成については、本発明の第３の実施形態と同様であるため説明を省略する。

図２０は、本発明の第４の実施形態における画像処理装置の光線ベクトル演算部３２４の構成例を示す図である。

光線ベクトル演算部３２４は、正規化部３７０を備える。その他の構成については、本発明の第２の実施形態と同様であるため説明を省略する。

正規化部３７０は、法線ベクトル算出部３１０から供給された帯域別の法線ベクトル（ｎ_ｘｊ、ｎ_ｙｊ）について２次元正規化を行う。この正規化部３７０は、正規化された法線ベクトルｎ_ｘｊを勾配変換部３５１に供給し、正規化された法線ベクトルｎ_ｙｊを勾配変換部３５２に供給する。

このように、本発明の第４の実施形態によれば、本発明の第３の実施形態と同様の効果を得ることができる。

次に、本発明の第５の実施形態について図面を参照して詳細に説明する。

図２１は、本発明の第５の実施形態における画像処理装置８４０の構成例を示す図である。

画像処理装置８４０は、光線ベクトル算出部３８０を備える。その他の構成については、本発明の第３の実施形態と同様であるため説明を省略する。

光線ベクトル算出部３８０は、ＬＰＦ部３８１と、乗算演算部３８２と、光源方向推定部３８３とを備える。

ＬＰＦ部３８１は、法線ベクトル算出部３１０から供給された低域の法線ベクトルｎ_ｘ０、ｎ_ｙ０について、９×９タップのＬＰＦをかける。ここで、低域の法線ベクトルを使用することと、ＬＰＦをかけることは、どちらもノイズの影響を避けることを目的としている。ＬＰＦ部３８１はＬＰＦをかけた低域の法線ベクトルを乗算演算部３８２に供給する。

乗算演算部３８２は、ＬＰＦ部３８１から供給されたＬＰＦをかけた低域の法線ベクトルについて、制御信号合成演算部４３１から供給される陰影付加制御信号α_ｉを乗じて後述する光源方向推定用の法線ベクトルｎ_ｅを算出する（式５４参照）。ここで、陰影付加制御信号α_ｉを乗ずることは、コントラストの低いフラット領域と、輪郭エッジ部分を光源方向推定用の法線ベクトルｎ_ｅから除外することを目的とする。乗算演算部３８２は、算出された光源方向推定用の法線ベクトルｎ_ｅを光源方向推定部３８３に供給する。

光源方向推定部３８３は、画面全体で１つの光源方向を設定する。まず、光源方向推定用の光線ベクトルｌ_ｅを予め作成しておく。ここでは、後述の図２２に示すように、方位角θとして、「π／４」および「３π／４」とを設定し、２種類の光線ベクトルを作成する。

次に、光源方向推定用の法線ベクトルｎ_ｅと、光源方向推定用の光線ベクトルｌ_ｅとを陰影のコントラストを算出する式２５に適用する（式５５参照。）。

次いで、画素毎に「π／４」と「３π／４」とのどちらの角度の場合が大きくなるかを検出し、その画素数をｃｎｔＬとｃｎｔＲを使用してカウントする。このとき、あまり差がない部分は、どちらから光源を当ててもよい領域とみなして除外するため、中間領域を設定するオフセットoffsetを用意し、両者の差がオフセットoffset以上のときのみカウントする（式５６および５７参照）。

次に、ｃｎｔＬとｃｎｔＲの比率について式５８を使用して算出する。ここで、評価値ratioＲは、画面全体において、「π／４」の角度から光線ベクトルを当てた方が陰影のコントラストが高くなる度合いを示す。

この評価値ratioＲから、後述する図２３に示す決定方法により最終的な画面全体の光線ベクトルｌを算出する。この光源方向推定部３８３は、算出された光線ベクトルｌを正規化内積演算部３３１に供給する。

図２２は、本発明の第５の実施形態における光源方向推定部３８３で使用される光線ベクトル候補例を算出する方法を示す図である。この図において、図２２（ａ）は、方位角θを「π／４」として光源方向推定用の光線ベクトルｌ_ｅを算出する場合を示す図であり、図２２（ｂ）は、方位角θを「３π／４」として光源方向推定用の光線ベクトルｌ_ｅを算出する場合を示す図である。光源方向推定部３８３は、ｃｏｓ演算部３８４および３８８と、ｓｉｎ演算部３８５および３８９と、乗算演算部３８６および３８７とを備える。

図２２（ａ）の場合には、方位角「π／４」がｃｏｓ演算部３８４と、ｓｉｎ演算部３８５に供給される。乗算演算部３８６は、ｃｏｓ演算部３８４でｃｏｓ演算された方位角「π／４」と、ｃｏｓ演算部３８８でｃｏｓ演算された仰角φとを乗算し、方位角θを「π／４」とした時の光源方向推定用の光線ベクトルｌ_ｅのｘ成分Ｌ_ｅｘＲを算出する。乗算演算部３８７は、ｓｉｎ演算部３８５でｓｉｎ演算された方位角「π／４」と、ｃｏｓ演算部３８８でｃｏｓ演算された仰角φとを乗算し、方位角θを「π／４」とした時の光源方向推定用の光線ベクトルｌ_ｅのｙ成分Ｌ_ｅｙＲを算出する。ｓｉｎ演算部３８９は、仰角φのｓｉｎ演算を行い、方位角θを「π／４」とした時の光源方向推定用の光線ベクトルｌ_ｅのｚ成分Ｌ_ｅｚＲを算出する。

図２２（ｂ）の場合には、方位角「３π／４」がｃｏｓ演算部３８４と、ｓｉｎ演算部３８５に供給される。乗算演算部３８６は、ｃｏｓ演算部３８４でｃｏｓ演算された方位角「３π／４」と、ｃｏｓ演算部３８８でｃｏｓ演算された仰角φとを乗算し、方位角θを「３π／４」とした時の光源方向推定用の光線ベクトルｌ_ｅのｘ成分Ｌ_ｅｘＬを算出する。乗算演算部３８７は、ｓｉｎ演算部３８５でｓｉｎ演算された方位角「３π／４」と、ｃｏｓ演算部３８８でｃｏｓ演算された仰角φとを乗算し、方位角θを「３π／４」とした時の光源方向推定用の光線ベクトルｌ_ｅのｙ成分Ｌ_ｅｙＬを算出する。ｓｉｎ演算部３８９は、仰角φのｓｉｎ演算を行い、方位角θを「３π／４」とした時の光源方向推定用の光線ベクトルｌ_ｅのｚ成分Ｌ_ｅｚＬを算出する。

なお、仰角φが固定値である場合には、光源方向推定用の光線ベクトルｌ_ｅは、固定値となるため、この場合には最終結果のみを値として記録しておけばよい。

図２３は、本発明の第５の実施形態における光源方向推定部３８３で行われる光線ベクトルの決定方法を説明する図である。この図において横軸は評価値ratioＲを示し、縦軸は最終的な光線ベクトルを示す。

ここでは、上述の評価値ratioＲの値により最終的な光線ベクトルを決定する。つまり、評価値ratioＲが閾値ratio_maxより高い場合には、方位角θが「π／４」のときの光線ベクトルを使用し、評価値ratioＲが閾値ratio_minより低い場合には、方位角θが「３π／４」のときの光線ベクトルを使用し、それ以外の場合には、前フレームの結果を使用する。

このように、本発明の第５の実施形態によれば、本発明の第１の実施形態と同様の効果を得ることができる。また、画像全体で１つの光源方向を使用するため、演算量を少なくすることができる。

次に、本発明の第６の実施形態について詳細に説明する。

本発明の第６の実施形態における画像処理装置は、図２１に示した本発明の第５の実施形態の画像処理装置における光源方向推定部３８３に代えて、他の光源方向推定部を備える。これ以外の構成については、本発明の第５の実施形態と同様であるため説明を省略する。

本発明の第６の実施形態における光源方向推定部は、大きめの領域ごとに同じ光源方向となるように光源方向を推定する。まず、本発明の第５の実施形態と同様に、上述の図２２に示すように、光源方向推定用の光線ベクトルｌ_ｅとして、方位角θを「π／４」および「３π／４」に設定し、２種類の光線ベクトルを作成する。

次いで、全ての画素について、近傍の注目ブロックＭ×Ｎ（例えば５５画素×５５画素）を設定し、式５９を使用して２種類の方位角θにより陰影成分のコントラストの注目ブロック内の平均値を算出する。なお、ここでΩは近傍を示す。

次に、各画素について２種類の方位角による陰影成分のコントラストの注目ブロック内の平均値の差分を評価値evalとして算出する（式６０参照。）。この評価値evalから、後述する図２４に示すように、ブレンド比α_Ｂを設定する。式６１に示すように、算出されたブレンド比α_Ｂを使用して、光源方向推定用の光線ベクトルｌ_ｅ（π／４）およびｌ_ｅ（３π／４）をブレンドして、各画素毎に光線ベクトルｌを算出する。この光源方向推定部３９０は、算出された光線ベクトルｌを正規化内積演算部３３１に供給する。

図２４は、本発明の第６の実施形態における画像処理装置の光源方向推定部で使用されるブレンド比α_Ｂを説明する図である。この図において、横軸は評価値evalを示し、縦軸はブレンド比α_Ｂを示す。このブレンド比α_Ｂは、評価値evalが大きくなるほど、光源方向推定用の光線ベクトルｌ_ｅ（π／４）の割合が大きくなり、評価値evalが小さくなるほど、光源方向推定用の光線ベクトルｌ_ｅ（３π／４）の割合が大きくなる特性を有する

このように、本発明の第６の実施形態によれば、本発明の第１の実施形態と同様の効果を得ることができる。また、比較的大きな領域毎に同じ光源方向を使用するように制御することができる。

なお、本発明の実施の形態では、帯域分割部２００を備え、帯域別輝度情報ｆ_Ｌｊを使用して陰影成分を演算するものとしたが、帯域分割部２００を設けずに、ローカルな輝度情報ｆ_Ｌを使用して陰影成分を演算するものとしてもよい。

また、本発明の実施の形態では、制御信号生成部４００を備え、陰影付加制御信号を使用して処理を行うものとしたが、制御信号生成部４００を設けない構成としてもよい。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

すなわち、請求項１において、輝度情報分離手段は例えば輝度情報分離部１００に対応する。また、陰影成分生成手段は例えば陰影成分生成部３００に対応する。また、画像合成手段は例えば画像合成部５００に対応する。

また、請求項２において、法線ベクトル算出手段は例えば法線ベクトル算出部３１０に対応する。また、光線ベクトル算出手段は例えば光線ベクトル算出部３２０に対応する。また、正規化内積処理手段は例えば正規化内積処理部３３０に対応する。

また、請求項３において、帯域分割手段は例えば帯域分割部２００に対応する。

また、請求項４において、制御信号生成手段は例えば制御信号生成部４００に対応する。

また、請求項５において、輪郭エッジ度算出手段は例えば輪郭エッジ度算出部４１０に対応する。また、勾配信頼度算出手段は例えば勾配信頼度算出部４２０に対応する。

また、請求項１８または１９において、入力された画像の入力画像情報をグローバルな輝度情報とローカルな輝度情報に分離する手順は例えば輝度情報分離部１００で実施される処理に対応する。また、ローカルな輝度情報に基づいて画像の陰影成分を生成する手順は例えば陰影成分生成部３００で実施される処理に対応する。また、陰影成分と入力画像情報に基づく値とから生成された陰影画像情報を入力画像情報に加えて出力画像情報を合成する手順は例えば画像合成部５００で実施される処理に対応する。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の実施形態を具現する画像処理装置の機能構成例を示す図である。 本発明の第１の実施形態における画像処理装置８００の構成例を示す図である。 本発明の第１の実施形態における輝度情報分離処理部１１０で使用される関数Ｃの例を示す図である。 本発明の第１の実施形態における輝度情報分離処理部１１０で使用されるブレンド比α_Ｓ、α_Ｍの一例を示す図である。 本発明の第１の実施形態における帯域分割処理部２１０で使用される水平方向帯域分割フィルタの一例を示す図である。 本発明の第１の実施形態における法線ベクトル算出部３１０で算出される法線ベクトルを説明する図である。 本発明の第１の実施形態における光線ベクトル算出部３２０で算出される光線ベクトルを説明する図である。 本発明の第１の実施形態における画像処理装置８００の光線ベクトル演算部３２１の構成例を示す図である。 本発明の第１の実施形態における輝度勾配解析部３４０で算出されるエッジ勾配方向ｖ１及びエッジ方向ｖ２を説明する図である。 本発明の第１の実施形態における角度変換部３４２で行われる角度変換を説明する図である。 本発明の第１の実施形態における正規化内積演算部３３１で行われる演算を説明する図である。 本発明の第１の実施形態における輪郭エッジ度算出部４１０で使用されるコントラスト度α_Ｃと、エッジ度α_Ｅとを説明する図である。 本発明の第１の実施形態における勾配信頼度算出部４２０で使用される勾配信頼度α_Ｒを説明する図である。 本発明の第１の実施形態における画像合成部５００で行われるＧ（ｆ）の上限のクリッピング処理を説明する図である。 本発明の第１の実施形態における画像合成部５００で行われる陰影画像情報の下限のクリッピング処理を説明する図である。 本発明の第２の実施形態における画像処理装置の光線ベクトル演算部３２２の構成例を示す図である。 本発明の第３の実施形態における勾配変換部３５１、３５２で行われるベクトル変換を説明する図である。 本発明の第３の実施形態における画像処理装置８２０の構成例を示す図である。 本発明の第３の実施形態における画像処理装置８２０の光線ベクトル演算部３２３の構成例を示す図である。 本発明の第４の実施形態における画像処理装置の光線ベクトル演算部３２４の構成例を示す図である。 本発明の第５の実施形態における画像処理装置８４０の構成例を示す図である。 本発明の第５の実施形態における光源方向推定部３８３で使用される光線ベクトル候補例を算出する方法を示す図である。 本発明の第５の実施形態における光源方向推定部３８３で行われる光線ベクトルの決定方法を説明する図である。 本発明の第６の実施形態における画像処理装置の光源方向推定部で使用されるブレンド比α_Ｂを説明する図である。

符号の説明

１００ 輝度情報分離部
１１０ 輝度情報分離処理部
２００ 帯域分割部
２１０ 帯域分割処理部
３００ 陰影成分生成部
３１０ 法線ベクトル算出部
３１１ ＢＰＦ_Ｖ部
３１２ ＢＰＦ_Ｈ部
３２０、３８０ 光線ベクトル算出部
３２１、３２２、３２３、３２４ 光線ベクトル演算部
３３０ 正規化内積処理部
３３１ 正規化内積演算部
３３２、３４６、３４７、３５５、３５６、３８２、３８６，３８７ 乗算演算部
３３３ 総和演算部
３３４ 正規化内積部
３３５ 除算演算部
３３６ 加算演算部
３４０ 輝度勾配解析部
３４１、３６０ 角度算出部
３４２ 角度変換部
３４３、３５３、３８１ ＬＰＦ部
３４４、３４８、３５７、３８４、３８８ ｃｏｓ演算部
３４５、３４９、３５８、３８５、３８９ ｓｉｎ演算部
３５０ 輝度勾配解析部
３５１、３５２ 勾配変換部
３５４、３７０ 正規化部
３８３、３９０ 光源方向推定部
４００ 制御信号生成部
４１０ 輪郭エッジ度算出部
４１１ エッジ検出部
４１２ 輪郭エッジ度生成部
４２０ 勾配信頼度算出部
４２１ 勾配信頼度検出部
４２２ 勾配信頼度生成部
４３０ 制御信号合成部
４３１ 制御信号合成演算部
５００ 画像合成部
５１０ 画像乗算演算部
５２０ 画像加算演算部

Claims (19)

1. 入力された画像の入力画像情報をグローバルな輝度情報とローカルな輝度情報に分離する輝度情報分離手段と、
   前記ローカルな輝度情報に基づいて画像の陰影成分を生成する陰影成分生成手段と、
   前記陰影成分と前記入力画像情報に基づく値とから生成された陰影画像情報を前記入力画像情報に加えて出力画像情報を合成する画像合成手段と
   を具備することを特徴とする画像処理装置。
2. 前記陰影成分生成手段は、
   前記ローカルな輝度情報の輝度勾配を前記入力された画像における物体表面の法線ベクトルとして算出する法線ベクトル算出手段と、
   前記ローカルな輝度情報に基づいて光源方向を示す光線ベクトルを算出する光線ベクトル算出手段と、
   前記法線ベクトルと前記光線ベクトルとの正規化内積に基づき前記陰影成分を算出する正規化内積処理手段とを備えることを特徴とする請求項１記載の画像処理装置。
3. 前記ローカルな輝度情報について帯域分割を行うことにより複数のローカルな帯域別輝度情報を生成する帯域分割手段をさらに具備し、
   前記陰影成分生成手段は、前記帯域別輝度情報に基づいて前記陰影成分を生成することを特徴とする請求項１記載の画像処理装置。
4. 前記陰影成分の濃淡を制御するための陰影付加制御信号を前記入力画像情報に基づいて生成する制御信号生成手段をさらに具備し、
   前記画像合成手段は、前記陰影画像情報を生成する際にさらに前記陰影付加制御信号を用いることを特徴とする請求項１記載の画像処理装置。
5. 前記制御信号生成手段は、
   前記入力画像情報に基づいて前記陰影成分における輪郭エッジ部分の濃淡を抑制する制御を行うための輪郭エッジ度を生成する輪郭エッジ度算出手段と、
   前記入力画像情報に基づいて前記陰影成分における低コントラスト部分の濃淡を抑制する制御を行うための勾配信頼度を生成する勾配信頼度算出手段と
   を備えることを特徴とする請求項４記載の画像処理装置。
6. 前記光線ベクトル算出手段は、前記ローカルな輝度情報に基づいて注目画素の近傍領域の最大輝度勾配方向を算出して当該最大輝度勾配方向を角度変換することにより前記注目画素における光線ベクトルを算出することを特徴とする請求項２記載の画像処理装置。
7. 前記光線ベクトル算出手段は、前記ローカルな輝度情報に基づいて注目画素の近傍領域の最大輝度勾配方向を算出して当該最大輝度勾配方向をベクトル変換することにより前記注目画素の光線ベクトルを算出することを特徴とする請求項２記載の画像処理装置。
8. 前記光線ベクトル算出手段は、前記法線ベクトルの方位角を角度変換することにより注目画素における光線ベクトルを算出することを特徴とする請求項２記載の画像処理装置。
9. 前記光線ベクトル算出手段は、前記法線ベクトルの方位角成分をベクトル変換することにより注目画素の光線ベクトルを算出することを特徴とする請求項２記載の画像処理装置。
10. 前記光線ベクトル算出手段は、複数の光線ベクトル候補と前記法線ベクトルとに基づいて前記入力された画像の各画素について陰影成分のコントラスト候補値を算出して、前記複数の光線ベクトル候補のうち前記コントラスト候補値が最大となる画素の数が最も多いものを前記各画素に共通する光線ベクトルとすることを特徴とする請求項２記載の画像処理装置。
11. 前記光線ベクトル算出手段は、複数の光線ベクトル候補を設定して注目画素近傍の特定領域内においてそれぞれの光線ベクトル候補について陰影成分のコントラスト候補の平均値を算出してその平均値の割合に基づいて前記複数の光線ベクトル候補を合成して前記注目画素の前記光線ベクトルとして算出することを特徴とする請求項２記載の画像処理装置。
12. 前記画像合成手段は、前記陰影画像情報を前記陰影成分と前記グローバルな輝度情報に基づく値と前記陰影付加制御信号とから生成することを特徴とする請求項４記載の画像処理装置。
13. 前記画像合成手段は、前記入力画像情報に基づく値が所定の値より大きい場合には前記所定の値を用いて前記合成を行うことを特徴とする請求項４記載の画像処理装置。
14. 前記画像合成手段は、前記陰影画像情報が所定の値より小さい場合には前記所定の値を用いて前記合成を行うことを特徴とする請求項４記載の画像処理装置。
15. 前記輝度情報分離手段は、低域通過フィルタを通過した前記入力画像情報の信号と前記入力画像情報との差分の高振幅成分を抑制したものを前記ローカルな輝度情報とし、前記入力画像情報と前記ローカルな輝度情報との差分を前記グローバルな輝度情報とすることを特徴とする請求項１記載の画像処理装置。
16. 前記輝度情報分離手段は、通過周波数帯域の異なる複数の低域通過フィルタを備え、当該複数の低域通過フィルタを通過した前記入力画像情報の複数の信号と前記入力画像情報との差分のそれぞれ高振幅成分を抑制したものを複数の低域成分とし、この複数の低域成分を混合して前記ローカルな輝度情報とし、前記入力画像情報と前記ローカルな輝度情報との差分を前記グローバルな輝度情報とすることを特徴とする請求項１記載の画像処理装置。
17. 入力された画像の入力画像情報をグローバルな輝度情報とローカルな輝度情報に分離する輝度情報分離手段と、
    前記ローカルな輝度情報について帯域分割を行うことにより複数のローカルな帯域別輝度情報を生成する帯域分割手段と、
    前記複数のローカルな帯域別輝度情報に基づいて画像の陰影成分を生成する陰影成分生成手段と、
    前記陰影成分を抑制する部分を制御するための陰影付加制御信号を前記入力画像情報に基づいて生成する制御信号生成手段と、
    前記陰影成分と前記入力画像情報に基づく値と前記陰影付加制御信号とから生成された陰影画像情報を前記入力画像情報に加えて出力画像情報を合成する画像合成手段とを具備することを特徴とする画像処理装置。
18. 入力された画像の入力画像情報をグローバルな輝度情報とローカルな輝度情報に分離する手順と、
    前記ローカルな輝度情報に基づいて画像の陰影成分を生成する手順と、
    前記陰影成分と前記入力画像情報に基づく値とから生成された陰影画像情報を前記入力画像情報に加えて出力画像情報を合成する手順と
    を具備することを特徴とする画像処理方法。
19. 入力された画像の入力画像情報をグローバルな輝度情報とローカルな輝度情報に分離する手順と、
    前記ローカルな輝度情報に基づいて画像の陰影成分を生成する手順と、
    前記陰影成分と前記入力画像情報に基づく値とから生成された陰影画像情報を前記入力画像情報に加えて出力画像情報を合成する手順と
    をコンピュータに実行させることを特徴とするプログラム

Images