JP2011065339A - 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体 - Google Patents

Abstract

【課題】画像処理装置において、ノイズ成分の発生を効果的に抑制し、画質をより適切に改善することを可能とする。
【解決手段】画像処理装置（１００、２００、３００等）は、第１画像を取得する取得手段（１１０、１２０等）と、取得された第１画像からテクスチャ画像を生成する生成手段（１１０）と、取得された第１画像の輪郭に鮮鋭化処理を施すことにより輪郭が鮮鋭化されたベース画像を取得するベース画像取得手段（１２０）と、生成されたテクスチャ画像と、取得されたベース画像とを合成する合成手段（１３０）とを備える。
【選択図】図１

Description

本発明は、例えばバイラテラルフィルタを用いた画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体の技術分野に関する。

一般的に、この種の画像処理装置として、特許文献１等では、拡大縮小回路を利用することにより、オーバーシュートやアンダーシュートを付加すること無く、画像の輪郭部分の立ち上がり、立下りを急峻にさせる技術が開示されている。

また、非特許文献１等では、画像の輪郭をぼかさずにノイズ成分を除去可能な非線形フィルタとしてバイラテラルフィルタに関する技術が開示されている。

また、非特許文献２等では、画像の輪郭部分において隣接した画素間の画素値の変化割合を大きくさせるバイラテラルフィルタに関する技術が開示されている。

また、非特許文献３等では、骨格成分とテクスチャ成分との分離に基づく画像拡大処理に関する技術が開示されている。この文献における骨格成分とは、本発明のベース画像に相当する。この技術は、入力画像を骨格成分とテクスチャ成分とに分離し、各成分に適した補間法を採用することで、細かなテクスチャ成分を保存しつつ、輪郭付近にジャギーやリンギングを発生させることなく、輪郭を鮮鋭に保つ技術である。

特開２００２−１６８２０号公報

「バイラテラルフィルタによるノイズ除去とイラスト風画像の生成」浦浜喜一著、映像情報メディア学会誌Vol.62,No.8,pp.1268〜1273（2008） 「浦浜喜一,井上光平"バイラテラルフィルタのエッジ強調性"電子情報通信学会論文誌2003/3Vol.J86-ANo.3」 「齊藤隆弘,石井勇樹,中川陽介,小松隆"乗算型骨格/テクスチャ画像分離の画像処理への応用"電子情報通信学会論文誌DVol.J90-DNo.7pp.1682-1685

しかしながら、上述した特許文献１等によれば、鮮鋭化処理によって、画像の輪郭のうち斜め線の部分や曲線の部分に出現する階段状のギザギザ、いわゆる、ジャギーやリンギングなどのノイズ成分の発生を低減することが困難であるという技術的な問題点が生じる。特に、このジャギーやリンギングなどのノイズ成分は、例えば画像の輪郭部分、いわゆる、エッジ部分などのように、隣接した画素間の画素値のレベル差が大きい画素において発生しやすい。

本発明は、例えば上述した従来の問題点に鑑みなされたものであり、ノイズ成分の発生を効果的に抑制し、画質をより適切に改善することが可能な画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体を提供することを課題とする。

上記課題を解決するために、本発明に係る画像処理装置は、第１画像を取得する取得手段と、前記取得された第１画像からテクスチャ画像を生成する生成手段と、前記取得された第１画像の輪郭に鮮鋭化処理を施すことにより輪郭が鮮鋭化されたベース画像を取得するベース画像取得手段と、前記生成されたテクスチャ画像と、前記取得されたベース画像とを合成する合成手段とを備える。

本発明に係る画像処理装置によれば、例えばメモリ、プロセッサ等を備えて構成される取得手段によって、第１画像が取得される。例えばメモリ、プロセッサ等を備えて構成される生成手段によって、取得された第１画像からテクスチャ画像が生成される。ここに、本発明に係る「第１画像」は、例えばカメラ、ビデオカメラ等により撮像された例えば写真、動画を構成するフレーム画像、カラー画像や白黒画像等の画像を意味する。本発明に係る「テクスチャ画像」とは、各画素の画素値が周辺の画素と比べて小さく変化している成分で構成されている画像を意味する。また、本発明に係る「ベース画像」とは、画像からテクスチャ成分を殆どまたは完全に無くした画像を意味する。典型的には、「ベース画像」とは、画素値の変化が大きな輪郭部と、画素値の変化が一律である平坦部とによって構成される。

また、本発明に係る「画素値」とは、例えば輝度、色度、又は彩度等の画素の特性レベルの大小を、画素単位で示した指標を意味する。また、本発明に係る「生成」とは、典型的には、画像中のテクスチャ画像のみを、直接的又は間接的に「生成」、「抽出」、「識別」、「選別」、「取捨選択」等することを意味する。

特に、例えばメモリ、プロセッサ等を備えて構成されるベース画像取得手段によって、第１画像の輪郭に鮮鋭化処理が施されると共に、当該鮮鋭化処理が施された第１画像においてテクスチャ画像の画素値を殆ど又は完全に無くしたベース画像が取得される。ここに、本発明に係る「鮮鋭化処理」とは、画像の輪郭の画素値の空間方向の傾きを大きくさせる画像処理を意味する。典型的には、本発明に係る鮮鋭化処理とは、画像の輪郭を跨って隣接した画素群の画素値の空間方向の変化割合を大きくさせる画像処理を意味する。次に、合成手段によって、生成されたテクスチャ画像と、取得されたベース画像とが合成される。

このように、本発明では、同一の第１画像から、ベース画像とテクスチャ画像とを、例えばバイラテラルフィルタを用いてそれぞれ独立して取得又は生成している。典型的には、上述の生成手段は、第１画像から、バイラテラルフィルタやεフィルタを用いてフィルタ処理された画像を減算することによって、テクスチャ画像を生成している。

これにより、例えばバイラテラルフィルタ等による、第１画像の輪郭を跨って隣接した画素群の画素値の変化割合を大きくさせる作用、いわゆる、エッジ鮮鋭化作用を、テクスチャ画像を殆ど又は完全に無くしたベース画像に対してのみに施すことができるので、画質改善の効果が顕著に高めることが可能である。このように、いわゆる、エッジ鮮鋭化作用が、テクスチャ画像を殆ど又は完全に無くしたベース画像に対してのみに施されることにより、入力画像における画素値の微小な変化を保存しながら画像処理を行えるので、エッジを鮮鋭化しつつ、粒状感やディティール感を維持した画像を得ることができ、実践上、大変好ましい。

典型的には、前記ベース画像取得手段は、バイラテラルフィルタ以外に、トリラテラルフィルタを用いて前記ベース画像を取得するように構成してよい。

これにより、ベース画像取得手段におけるバイラテラルフィルタ又はトリラテラルフィルタは、垂直方向の画素と水平方向の画素とに対して、輪郭の鮮鋭化の演算処理を畳み込みつつ同時に行っている。これにより、垂直方向と水平方向との２次元の方向において、第１画像の輪郭を跨って隣接した画素群の画素値の変化割合を大きくさせる、いわゆる、エッジを急峻化させることが可能であり、２次元方向に処理することにより、ジャギーの発生を効果的に抑制することができる。

加えて、ベース画像取得手段におけるバイラテラルフィルタ又はトリラテラルフィルタは、第１画像に含まれるジャギーやリンギングなどのノイズ成分は、バイラテラルフィルタ等が有するノイズ除去作用によって、平滑化される共に低減される効果もある。

以上の結果、画像の輪郭の部分にジャギーが発生するのを殆ど又は完全に防止することが可能であると共に、ノイズ成分を適切に低減可能であり、より効果的に画質改善を行えるので、実践上、大変有益である。

仮に、バイラテラルフィルタやトリラテラルフィルタを用いない従来の輪郭補正の技術を用いて、水平方向の画素のみに対して輪郭補正処理が行われる、あるいは、水平方向の画素と垂直方向の画素とに対して別々に輪郭補正処理が行われる場合、次のような技術的な問題点が生じる。即ち、輪郭補正処理のレベル強度を大きくするに従って、画像の輪郭のうち斜め線の部分や曲線の部分にジャギーが現れてしまうため、バイラテラルフィルタやトリラテラルフィルタを用いない従来の輪郭補正の技術では、画質改善の効果に限界があるという技術的な問題点が生じる。

本発明に係る画像処理装置の他の態様では、前記生成手段は、前記取得された第１画像から、前記取得された第１画像にエッジ維持フィルタリングを施した画像を減算することにより、前記テクスチャ画像を生成する。或いは、本発明に係る画像処理装置の他の態様では、前記生成手段は、前記取得されたベース画像を用いて、前記取得された第１画像から前記テクスチャ画像を生成する。

この態様によれば、生成手段は、取得された第１画像から、取得された第１画像にエッジ維持フィルタリングを施した画像を減算することにより、テクスチャ画像を生成する。或いは、生成手段は、取得されたベース画像を用いて、取得された第１画像からテクスチャ画像を生成する。典型的には、生成手段は、第１画像から、ベース画像を生成するためのフィルタの特性と同じ特性を有するフィルタを用いて画像処理された画像を減算することによって、テクスチャ画像を生成する。これにより、第１画像が本来有するテクスチャ画像と全く又は殆ど同一のテクスチャ画像を高精度に再生成することが可能である。

これにより、エッジ鮮鋭化作用を、ベース画像に対してのみに施した後で、このベース画像と、高精度に再生成されたテクスチャ画像とを合成することができるので、画質改善の効果をより顕著に高めることが可能である。

仮に、取得されたベース画像を用いないで、取得された第１画像からテクスチャ画像を生成した場合、第１画像が本来有するテクスチャ画像と異なるテクスチャ画像が生成される可能性があり、第１画像が本来有するテクスチャ画像成分の再生が困難になってしまう問題点が生じる場合がある。

本発明に係る画像処理装置の他の態様では、前記生成手段は、前記取得されたベース画像に加えて、エッジらしさの度合いを示すエッジ係数を用いて、前記取得された第１画像から前記テクスチャ画像を生成する。

この態様によれば、生成手段は、取得されたベース画像に加えて、エッジらしさの度合いを示すエッジ係数を用いて、取得された第１画像からテクスチャ画像を生成する。典型的には、生成手段は、ベース画像にエッジ係数「１−Ｋ（但し、Ｋは、０≦Ｋ≦１の範囲の実数）」が乗算された画像と第１画像に係数「Ｋ」が乗算された画像との和を、第１画像から減算することによって、テクスチャ画像を生成する。言い換えると、生成手段は、第１画像にエッジ係数「１−Ｋ」が乗算された画像から、ベース画像に係数「１−Ｋ」が乗算された画像を減算することによって、テクスチャ画像を生成する。

典型的には、エッジらしさの度合いが高くなるに従って、エッジ係数は「１」に近づくので、生成手段によって生成されたテクスチャ画像の信号レベルを殆ど又は完全にゼロにすることが可能である。一般的に、エッジらしさの度合いが高い画像領域においては、第１画像のエッジ部分と、ベース画像のエッジ部分との差分成分の影響が顕著に高いので、テクスチャ画像の信号レベルを殆ど又は完全にゼロにすることにより、この差分成分の影響を効果的に無くすことが可能である。他方、エッジらしさの度合いが低くなるに従って、エッジ係数は「ゼロ」に近づくので、生成手段によって、第１画像が本来有するテクスチャ画像と殆ど同一のテクスチャ画像を、高精度に再生成することが可能である。一般的に、エッジらしさの度合いが低い画像領域においては、第１画像のエッジ部分と、ベース画像のエッジ部分との差分成分の影響が顕著に低いので、第１画像が本来有するテクスチャ画像と殆ど同一になるように再生成されたテクスチャ画像を用いることが可能である。

これにより、第１画像が本来有するテクスチャ画像と殆ど同一のテクスチャ画像を、エッジ係数に応じて高精度に再生成することが可能である。

以上の結果、エッジ鮮鋭化作用を、ベース画像に対してのみに施した後で、このベース画像と、高精度に再生成されたテクスチャ画像とを合成することができるので、画質改善の効果をより顕著に高めることが可能である。

仮に、エッジらしさの度合いを示すエッジ係数を用いないで、テクスチャ画像を生成した場合、次のような技術的な問題点が生じる。即ち、エッジらしさの度合いを考慮することなく、テクスチャ画像を生成するために、第１画像から、ベース画像を減算した場合、第１画像のエッジ部分と、ベース画像のエッジ部分との差分成分が生じてしまい、第１画像が本来有するテクスチャ画像と全く又は殆ど同一のテクスチャ画像を再度生成することが困難になってしまい、ひいては、第１画像に対する鮮鋭化作用の精度が顕著に低下してしまうという技術的な問題点が生じる。

本発明に係る画像処理装置の他の態様では、前記生成されたテクスチャ画像に対して、前記生成されたテクスチャ画像の性質に応じた補正を行う第１補正処理、及び、前記取得されたベース画像に対して、前記取得されたベース画像の性質に応じた補正を行う第２補正処理のうち少なくともいずれか一方の補正処理を施す補正手段を更に備え、前記合成手段は、前記少なくともいずれか一方の補正処理が施された後、前記テクスチャ画像と、前記ベース画像とを合成する。

この態様によれば、テクスチャ画像と、ベース画像とを区別して、テクスチャ画像及びベース画像のそれぞれの性質に応じた適切な手法で、それぞれ補正することができる。この結果、画像処理の結果、出力される画像の画質をより高めることができる。

本発明に係る画像処理装置の他の態様では、前記補正手段は、前記第１補正処理として、前記生成されたテクスチャ画像に対して、３次元ノイズリダクション処理、美肌補正処理、及び、孤立点除去処理のうち少なくとも一つの処理を施し、前記生成されたテクスチャ画像を補正する。

この態様によれば、補正手段は、第１補正処理として、画像の輪郭、即ち、エッジ部を含まないテクスチャ画像に対してのみ、時間軸方向のフィルタ処理である３次元ノイズリダクション処理、いわゆる、3DNR処理を行う。これにより、この3DNR処理は、画像の輪郭に何ら影響を与えない。これにより、ランダムノイズを3DNRで除去しつつ、残像の発生を効果的に低減可能であるので、実践上、大変有益である。

仮に、テクスチャ画像と、ベース画像とを区別して補正することなく、ベース画像に対して3DNR処理を行った場合、いわゆる、残像が発生する度合いが高まるという技術的な問題点が生じる。特に、この残像は、画像の輪郭、即ち、エッジ部において一般的に検知されるので、ベース画像、ひいては、ベース画像とテクスチャ画像とが合成されて出力される出力画像に残像が発生し、画質が低下してしまうという技術的な問題点が生じる。

或いは、補正手段は、第１補正処理として、テクスチャ画像に対してのみ美肌補正処理を行う。この美肌補正処理は、第１画像の肌色近辺の色を検出して、その近辺の色のみテクスチャ画像の信号レベルを低減する画像処理である。これにより、肌のノイズ感を抑えることができる。

或いは、補正手段は、第１補正処理として、テクスチャ画像に対してのみ孤立点除去処理を行う。これにより、この孤立点除去処理は、画像の輪郭、即ち、エッジ部などの画素値が大きく変化する画素部分の影響を殆ど又は完全に受けることなく、孤立点除去処理を行うため、孤立点等のノイズを検出する精度を高めると共に、ノイズ除去を効果的に行うことが可能であるので、実践上、大変有益である。

本発明に係る画像処理装置の他の態様では、前記補正手段は、前記第２補正処理として、前記取得されたベース画像に対して、グラデーション補正処理、及びトランジェント補正処理のうち少なくとも一つの処理を施し、前記取得されたベース画像を補正する。

この態様に係る一の構成によれば、即ち、補正手段が第２補正処理として、取得されたベース画像に対して、グラデーション補正処理を施し、取得されたベース画像を補正する構成によれば、テクスチャ成分の影響を低減しつつ、ベース画像に対して、グラデーション補正処理が施されるため、良好なグラデーション補正処理を行うことができる。具体的には、テクスチャ成分がないベース画像において、画素値の段階的な変化に応じて、線形的に画素値を変化させること可能であり、良好なグラデーション補正処理を行うことができる。

仮に、テクスチャ成分が含まれている画像に対して、グラデーション補正処理をかける場合、このテクスチャ成分が妨害となって正常にグラデーション補正処理を行うことができない可能性があるという技術的な問題点が生じる。

この態様に係る一の構成によれば、即ち、補正手段が第２補正処理として、取得されたベース画像に対して、トランジェント補正処理を施し、取得されたベース画像を補正する構成によれば、テクスチャ成分の影響を低減しつつ、ベース画像に対して、トランジェント補正処理が施されるため、良好なトランジェント補正処理を行うことができる。ここに、トランジェント補正処理とは、エッジの傾きを空間的な処理によって高めるもので、輝度信号、色信号の少なくともどちらか一方に施す処理である。

具体的には、テクスチャ成分がないベース画像において、エッジ周辺の画素値の段階的な変化に応じて、時間方向にエッジの傾きを急峻にすること可能であり、良好なトランジェント補正処理を行うことができる。

仮に、テクスチャ成分が含まれている画像に対して、トランジェント補正処理をかける場合、このテクスチャ成分が妨害となって正常にトランジェント補正処理を行うことができない可能性があるという技術的な問題点が生じる。

本発明に係る画像処理装置の他の態様では、前記補正手段は、前記第１補正処理として、前記生成されたテクスチャ画像に対して、非線形処理、及び乗算処理のうち少なくとも一方の処理を施し、前記生成されたテクスチャ画像を補正すると共に、前記取得されたベース画像に対して、非線形処理、及び乗算処理を施さない。

この態様によれば、補正手段は、第１補正処理として、テクスチャ画像に対して、乗算処理を行う。補正手段は、ベース画像に対して、乗算処理を行わない。これにより、ベース画像におけるエッジ部や平坦部のレベルを維持可能であるので、輪郭や精細な部分が鮮明に浮き上がった視覚上の効果、いわゆる、画像の粒状感やディティール感が向上すると共に画像でのコントラストを高めることが可能であるので、実践上、大変好ましい。加えて、テクスチャ画像に対してのみ乗算処理を行うことで、エッジ部や平坦部のレベルを維持したまま粒状感を増加させることができコントラスト感を高めることができる。

或いは、補正手段は、第１補正処理として、テクスチャ画像に対して、非線形処理を行う。補正手段は、ベース画像に対して、非線形処理を行わない。これにより、ベース画像におけるエッジ部や平坦部のレベルを維持可能であるので、輪郭や精細な部分が鮮明に浮き上がった視覚上の効果、いわゆる、画像の粒状感やディティール感が向上すると共に画像でのコントラストを高めることが可能であるので、実践上、大変好ましい。加えて、この態様によれば、テクスチャ画像に対してのみ非線形処理を行うことで、エッジ部や平坦部のレベルを維持したまま粒状感を増加させることができコントラスト感を高めることができる。

本発明に係る画像処理装置の他の態様では、前記取得された少なくとも１つの第１画像における任意の領域で周波数成分の分布を測定する測定手段を更に備え、前記ベース画像取得手段は、前記測定された周波数成分の分布に基づいて、前記ベース画像を取得することに加えて又は代えて、前記生成手段は、前記測定された周波数成分の分布に基づいて、前記テクスチャ画像を生成する。

ここに、本発明に係る「任意の領域」とは、典型的には、任意の画素領域を意味してよい。

この態様によれば、入力される多種多様な第１画像に対して、測定された周波数成分の分布に基づいて、画像の粒状感やディティール感のレベルを一定レベルに維持することが可能であるので、実践上、大変好ましい。

本発明に係る画像処理装置の他の態様では、前記ベース画像取得手段は、前記測定された周波数成分の分布に応じてタップ数、及びフィルタ係数のうち少なくとも一つを変化させ、前記ベース画像を取得することに加えて又は代えて、前記生成手段は、前記測定された周波数成分の分布に応じてタップ数、及びフィルタ係数のうち少なくとも一つを変化させ、前記テクスチャ画像を生成する。

ここに、本発明に係るタップ数とは、画像処理の対象となる画素の範囲を、画素の単位で表現した値を意味する。

この態様によれば、典型的には、測定された周波数成分の分布に応じて、フィルタの最適タップ数を選択することができる。

この結果、入力される多種多様な第１画像に対して、測定された周波数成分の分布に基づいてタップ数を変化させて、画像の粒状感やディティール感の度合いを、一定レベルに高精度で維持することが可能であるので、実践上、大変好ましい。

本発明に係る画像処理装置の他の態様では、前記測定手段は、前記第１画像を取得する際のシーン毎又はチャンネル毎に、前記周波数成分の測定を初期化する。

この態様によれば、入力される多種多様な第１画像に対して、画像の粒状感やディティール感の度合いを、一定レベルに高精度で維持することが可能である。

上記課題を解決するために、本発明の画像処理方法は、第１画像を取得する取得工程と、前記取得された第１画像からテクスチャ画像を生成する生成工程と、前記取得された第１画像の輪郭に鮮鋭化処理を施すことにより輪郭が鮮鋭化されたベース画像を取得するベース画像取得工程と、前記生成されたテクスチャ画像と、前記取得されたベース画像とを合成する合成工程とを備える。

本発明の画像処理方法によれば、上述した本発明の画像処理装置が有する各種利益を享受することが可能となる。尚、上述した本発明の画像処理装置が有する各種態様に対応して、本発明の画像処理方法も各種態様を採ることが可能である。

本発明の画像処理プログラムは、コンピュータを備える装置によって実行される画像処理プログラムであって、第１画像を取得する取得手段と、前記取得された第１画像からテクスチャ画像を生成する生成手段と、前記取得された第１画像の輪郭に鮮鋭化処理を施すことにより輪郭が鮮鋭化されたベース画像を取得するベース画像取得手段と、前記生成されたテクスチャ画像と、前記取得されたベース画像とを合成する合成手段として前記コンピュータを機能させる。

本発明に係る画像処理プログラムの実施形態によれば、当該コンピュータプログラムを格納するＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の記録媒体から、当該コンピュータプログラムをコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してコンピュータにダウンロードさせた後に実行させれば、上述した本発明の画像処理装置に係る実施形態を比較的簡単に実現できる。

尚、上述した本発明の画像処理装置に係る実施形態における各種態様に対応して、本発明の画像処理プログラムに係る各実施形態も各種態様を採ることが可能である。

本発明の記憶媒体は、上述した、画像処理プログラム（但し、各種の態様を含む）を記憶している。

本発明に係る記憶媒体の実施形態によれば、上述した画像処理プログラムを、コンピュータに読み取らせることで、コンピュータを上述した本発明の画像処理装置に係る実施形態として適切に、機能させることが可能である。

第１実施形態に係る画像処理装置の全体構成を示すブロック図である。 第１実施形態に係るテクスチャ画像生成部１１０の詳細構成を示したブロック図である。 第１実施形態に係るテクスチャ画像生成部のフィルタ処理部の一例であるεフィルタにおける非線形関数の具体例を示したグラフ（図３（ａ）ないし図３（ｄ））である。 第１実施形態に係る画像処理装置の動作の流れを示したフローチャートである。 第１実施形態に係る画像処理装置のテクスチャ画像生成部における各種の処理が行われた後、得られる画像を、画像上の位置及び画素値を用いて表現した画像の一の波形図（図５（ａ）ないし図５（ｃ））である。 第１実施形態に係る画像処理装置における各種の処理が行われた後、得られる画像を画像上の位置及び画素値を用いて表現した画像の他の波形図（図６（ａ）ないし図６（ｄ））である。 比較例に係る画像処理装置の全体構成を示すブロック図である。 本発明に係る画像処理によって画像の輪郭のエッジが急峻化される様子を示した概念図（図８（ａ））、及び、比較例に係る画像処理の実施の前後での画像の輪郭の様子を示した概念図（図８（ｂ））である。 第２実施形態に係る画像処理装置の全体構成を示すブロック図である。 第２実施形態に係るテクスチャ画像生成部２１０の詳細構成を示したブロック図である。 第２実施形態に係るテクスチャ画像生成部２１０の混合部２１２の詳細構成を示したブロック図である。 第２実施形態に係る画像処理装置の動作の流れを示したフローチャートである。 第３実施形態に係る画像処理装置の全体構成を示すブロック図である。 第４実施形態に係る画像処理装置の全体構成を示すブロック図である。 第４実施形態に係る非線形処理部における非線形関数の具体例を示したグラフである。 第５実施形態に係る画像処理装置の全体構成を示すブロック図である。 第５実施形態に係るグラデーション補正処理を施した画像の波形図（図１７（ａ））及び比較例に係るグラデーション補正処理を施した画像の波形図（図１７（ｂ））である。 第６実施形態に係る画像処理装置の全体構成を示すブロック図である。 第６実施形態に係るテクスチャ画像生成部の構成を示すブロック図である。 第６実施形態に係る入力画像の周波数成分と各周波数成分の頻度との定量的及び定性的な関係を示したヒストグラム（図２０（ａ）及び図２０（ｂ））である。

以下、図面を参照して本発明を実施するための最良の形態について説明する。

＜第１実施形態＞
（全体構成）
先ず、本発明の第１実施形態について説明する。図１は、第１実施形態に係る画像処理装置の全体構成を示すブロック図である。

図１に示されるように、第１実施形態に係る画像処理装置１００は、テクスチャ画像生成部１１０、鮮鋭化処理部１２０、及び加算器１３０を備えて構成されている。

入力画像は、テクスチャ画像生成部１１０、及び鮮鋭化処理部１２０にそれぞれ入力される。尚、入力画像によって、本発明に係る第１画像の一例が構成されている。

テクスチャ画像生成部１１０は、入力画像からテクスチャ画像を分離して、分離したテクスチャ画像を出力する。尚、本発明に係る取得手段の一例、及び、本発明に係る生成手段の一例が、このテクスチャ画像生成部１１０によって構成されている。

鮮鋭化処理部１２０は、入力画像に対してエッジ鮮鋭化処理を施し、エッジ鮮鋭化処理を施された入力画像を、ベース画像として出力する。尚、本発明に係る取得手段の一例、及び、本発明に係るベース画像取得手段の一例が、この鮮鋭化処理部１２０によって構成されている。

鮮鋭化処理部１２０によって出力されたベース画像と、テクスチャ画像生成部１１０によって出力されたテクスチャ画像とを加算器１３０で合成することで出力画像を得る。尚、本発明に係る合成手段の一例が、この加算器１３０によって構成されている。

（テクスチャ画像生成部の詳細構成）
次に、図２を参照して、第１実施形態に係るテクスチャ画像生成部１１０の詳細構成について説明する。ここに、図２は、第１実施形態に係るテクスチャ画像生成部１１０の詳細構成を示したブロック図である。

テクスチャ画像生成部１１０は、フィルタ処理部１１１、及び減算器１１２を備えて構成される。入力画像は、フィルタ処理部１１１、減算器１１２に入力される。フィルタ処理部１１１では、入力画像をエッジ維持フィルタ処理し出力する。入力画像からエッジ維持フィルタ処理された入力画像を減算器１１２で減算することでテクスチャ画像を得る。フィルタ処理部１１１は、エッジ維持効果のあるフィルタで構成され、εフィルタ、バイラテラルフィルタ、及びトリラテラルフィルタのうちいずれか一方を用いてよい。

再び図１に戻る。

鮮鋭化処理部１２０は、エッジ急峻化効果のあるバイラテラルフィルタ、及びトリラテラルフィルタのうちいずれか一方を用いてよい。本実施形態に係るバイラテラルフィルタは、フィルタの重み係数が，着目画素からの空間的な距離と着目画素の画素値と周辺画素の画素値の差分という2つの要素から決まるフィルタを意味している。トリラテラルフィルタは、バイラテラルフィルタに第３の関数を追加した方式のフィルタである。典型的には、トリラテラルフィルタは、インパルスノイズの検出器を第３の重みとした方式のフィルタ、或いは注目画素とその周辺画素との勾配に基づく関数を追加した方式のフィルタなどを挙げることができる。

（テクスチャ画像生成部のフィルタ処理部の一例であるεフィルタ）
次に、図３を参照して、テクスチャ画像生成部のフィルタ処理部の一例であるεフィルタについて説明する。ここに、図３は、第１実施形態に係るテクスチャ画像生成部のフィルタ処理部の一例であるεフィルタにおける非線形関数の具体例を示したグラフ（図３（ａ）ないし図３（ｄ））である。尚、図３（ａ）ないし図３（ｄ）において、横軸は、周辺画素値xn-kとフィルタ処理の中心画素値xnとの差を示し、縦軸は、後述の非線形関数Ｆ（ｘ）の出力を示す。

非線形平滑化フィルタであるεフィルタは画素値の急峻な変化を損なうことなく当該画素を平滑化する際に有効なデジタルフィルタである。εフィルタは、フィルタ処理用の画素が１次元で2N+1タップの場合、次の式（１）によって表される。

…… （１）
ここで、関数Ｆ（ｘ）は、その関数値の絶対値((F(x)))（但し、((ａ))はａの絶対値を示す）が((F(x)))≦ε0に抑えられている非線形関数である。その例を図３に示す。上述の式（１）のεフィルタでは、入力と出力の画素値の差が、次の式（２）で定まる有限の値に抑えられている。

…… （２）
これにより、入出力された画素値の差が±ε以内に制限され、信号の急峻な変化が維持される。
ここで、bn-kに例えば図３（ａ）のＦ（ｘ）を採用した場合、bn-kは、次の式（３）によって表される。

…… （３）
このときεフィルタは、フィルタ処理の中心画素の画素値xnと周辺画素の画素値xn-kとの差の絶対値((xn−xn-k))を所定の閾値ε0と比較する。その結果、絶対値((xn−xn-k))が所定の閾値ε0よりも小さい場合は、画素値xn-kをbn-kに代入し、akを各タップ係数とした通常のローパスフィルタと同様の処理を行うことにより、中心画素xnを中心として画像を平滑化する。一方、絶対値((xn−xn-k))が所定の閾値ε0よりも大きい場合は、画素値xnをbn-kに代入し、画素値xn-kを画素値xnに置き換えた後に、中心画素xnを中心としたローパスフィルタ処理を行うことにより、画素値xn-kを無視した平滑化を行う。尚、概ね同様にして、bn-kに、図３（ｂ）に示されたＦ（ｘ）、図３（ｃ）に示されたＦ（ｘ）、又は図３（ｄ）に示されたＦ（ｘ）を採用してよい。

以上によりエッジの急峻な変化をそのままに保存した平滑化を行うことができる。εフィルタは１次元のεフィルタを画像の水平方向及び垂直方向にそれぞれ適応することによって構成される場合と、２次元のεフィルタによって構成される場合とがある。

（鮮鋭化処理部の一例であるバイラテラルフィルタ）
次に、鮮鋭化処理部の一例であると共に、テクスチャ画像生成部のフィルタ処理部の一例であるバイラテラルフィルタについて説明する。

バイラテラルフィルタは非線形フィルタであり、エッジを鮮鋭化するとともに、輝度変化の少ない領域のノイズを平滑化する特徴がある。バイラテラルフィルタはガウス関数を重み係数とし、空間方向と信号方向（階調方向）に対して重み付けを行っている。空間座標(x,y)での入力画素値をd(x,y)とし、座標(x,y)での出力画素値をf(x,y)とし、タップ数を2N+1とした場合、バイラテラルフィルタは次の式（４）によって表される。

…… （４）
ここでα、βはバイラテラルフィルタの係数であり、αを小さくすると空間方向の平滑範囲が広がり、βを小さくすると階調方向の平滑範囲が広がる。バイラテラルフィルタに関する詳細な内容については、『「バイラテラルフィルタによるノイズ除去とイラスト風画像の生成」浦浜喜一著、映像情報メディア学会誌Vol.62,No.8,pp.1268〜1273（2008）』を参照されたし。また、バイラテラルフィルタが有するエッジを急峻化する性質については、『「浦浜喜一,井上光平”バイラテラルフィルタのエッジ強調性”電子情報通信学会論文誌2003/3Vol.J86-ANo.3」』を参照されたし。

（動作原理）
次に、図４ないし図６を参照して、第１実施形態に係る画像処理装置の動作原理について説明する。ここに、図４は、第１実施形態に係る画像処理装置の動作の流れを示したフローチャートである。

図５は、第１実施形態に係る画像処理装置のテクスチャ画像生成部における各種の処理が行われた後、得られる画像を、画像上の位置及び画素値を用いて表現した画像の一の波形図（図５（ａ）ないし図５（ｃ））である。図６は、第１実施形態に係る画像処理装置における各種の処理が行われた後、得られる画像を画像上の位置及び画素値を用いて表現した画像の他の波形図（図６（ａ）及び図６（ｂ））である。尚、図５（ａ）ないし図５（ｃ）並びに図６（ａ）及び図６（ｂ）における、横軸は画像上の位置（即ち、画素位置）を表し、縦軸は、画素値を表している。

図４に示されるように、先ず、テクスチャ画像生成部１１０によって、画像中の画素を示す画素値Iが取得される（ステップＳ１０１）。と同時に又は相前後して、鮮鋭化処理部１２０によって、画像中の画素を示す画素値Iが取得される（ステップＳ１０４）。具体的には、図５（ａ）は入力画像を示している。入力画像は、画像の一定の範囲のほぼ一律な変化を表すベース成分（即ち、本発明に係るベース画像の一例）と、画像の細かな変化を表すテクスチャ成分（即ち、本発明に係るテクスチャ画像の一例）とから構成されている。

上述したステップＳ１０１に続いて、テクスチャ画像生成部１１０のフィルタ処理部１１１によって、画素値Iからフィルタ処理した画素値ＬＰ（Ｉ）が生成される（ステップＳ１０２）。具体的には、図５（ｂ）に示された画像の波形図は、入力画像のエッジ部と平坦部で構成された画素群、いわゆる、エッジ部における画素値のレベル変化を維持するフィルタ処理を施すことで得られる。図５（ｂ）に示された画像においては、エッジ部における画素値のレベル変化を維持したままテクスチャ成分が除去されている。

次に、テクスチャ画像生成部１１０の減算器１１２によって、画素値Iから画素値ＬＰ（Ｉ）が減算されることによって、テクスチャ画像「Ｉ−ＬＰ（Ｉ）」が取得される（ステップＳ３０）。具体的には、図５（ｃ）に示されるテクスチャ画像が得られる。このテクスチャ画像は、入力画像からエッジを維持したフィルタ処理後の画像を減算することによって得られる。

次に、上述した鮮鋭化処理部１２０によって、画像中の画素を示す画素値Iが取得されるステップＳ１０４に続いて、鮮鋭化処理部１２０によって、鮮鋭化処理が施され、画像「ＢＩ（Ｉ）」が生成される（ステップＳ１０５）。具体的には、図６（ａ）は、ベース画像を示しており、取得された入力画像に対して、鮮鋭化処理を施すことにより、エッジ部における画素値のレベル変化をより急峻化させていることに加えて、画像からテクスチャ成分が除去されている。

最後に、ステップＳ１０３において生成された画像「Ｉ−ＬＰ（Ｉ）」と、ステップＳ１０５において生成された画像「ＢＩ（Ｉ）」とが、加算器１３０によって、合成されることで画像「Ｉ−ＬＰ（Ｉ）＋ＢＩ（Ｉ）」が生成され出力される。具体的には、図６（ｂ）は、出力画像を示しており、生成されたテクスチャ画像と上述のベース画像とを合成した画像「Ｉ−ＬＰ（Ｉ）＋ＢＩ（Ｉ）」が得られる。

上述したバイラテラルフィルタは非線形フィルタであり、エッジ部をなまらせずにノイズを平滑化する特徴があるが、エッジ部を急峻化する性質も持ち合わせている。本実施形態では、この性質を利用して取得した入力画像のエッジ部を急峻化させ、鮮鋭なベース画像を得る。他方で、取得した入力画像をバイラテラルフィルタ処理すると、画像の細かな変化を表すテクスチャ成分も除去されてしまう。そこで、本実施形態では、入力画像からテクスチャ画像を生成し、生成されたテクスチャ画像とベース画像を合成することで、エッジ部は鮮鋭化しつつディテール感を維持した画像を得ることができる。

＜第１実施形態における作用と効果の第１の検討＞
次に、図７及び図８を参照して、第１実施形態に係る画像処理装置の作用と効果とについて検討する。ここに、図７は、比較例に係る画像処理装置の全体構成を示すブロック図である。図８は、本発明に係る画像処理によって画像の輪郭のエッジが急峻化される様子を示した概念図（図８（ａ））、及び、比較例に係る画像処理の実施の前後での画像の輪郭の様子を示した概念図（図８（ｂ））である。

図７に示されるように、比較例に係る画像処理装置１００ｃは、拡大処理部１０１ｃ、テクスチャ分離部１１０ｃ、輪郭補正処理部１４０ｃ、加算器１５０ｃを備えて構成されている。拡大処理部１０１ｃは、入力画像を所定の画素数へ拡大する処理を行う。テクスチャ分離部１１０ｃは、拡大された入力画像からテクスチャ画像を分離する。輪郭補正処理部１４０ｃは、拡大された入力画像に対して輪郭補正処理を行う。加算器１５０ｃは、入力画像において輪郭補正処理が行われベース画像となった画像と、分離されたテクスチャ画像とを合成し出力画像として出力する。

比較例に係る輪郭補正処理部１４０ｃは、バイラテラルフィルタやトリラテラルフィルタを用いない従来の輪郭補正の技術を用いて、水平方向の画素のみに対して輪郭補正処理を行う、あるいは、水平方向の画素と垂直方向の画素とに対して別々に輪郭補正処理を行う。このため、画質改善のために、輪郭補正処理のレベル強度を大きくするに従って、図８（ｂ）に示されるように、画像の輪郭のうち斜め線の部分や曲線の部分にジャギーと呼ばれる階段状のギザギザが現れてしまう。このため、従来の輪郭補正の技術では、画質改善の効果に限界があるという技術的な問題点が生じる。

これに対して、本実施形態によれば、鮮鋭化処理部１２０におけるバイラテラルフィルタ又はトリラテラルフィルタは、垂直方向の画素と水平方向の画素とに対して、輪郭の鮮鋭化の演算処理を畳み込みつつ同時に行っている。これにより、垂直方向と水平方向との２次元の方向において、画像の輪郭を構成し隣接した画素群、いわゆる、エッジ部における画素値のレベル変化を急峻化させることが可能であり、ジャギーの発生を効果的に抑制することができる。このバイラテラルフィルタ又はトリラテラルフィルタの作用を以下、「エッジ鮮鋭化作用」又は「エッジ鮮鋭化処理」と称す。

具体的には、図８（ａ）に示されるように、画像の輪郭のうち斜め線の部分にジャギーが発生するのを殆ど又は完全に防止することが可能であり、効果的に画質改善を行えるので、実践上、大変有益である。

また、一般的に、フィルタリング処理や拡大処理等の各種の画像処理によって、ジャギーやリンギングなどのノイズ成分が少なからず発生する。特に、このジャギーやリンギングなどのノイズ成分は、例えば画像の輪郭周辺、いわゆる、エッジ周辺などのように、隣接した画素間の画素値のレベル差が大きい画素位置において発生しやすい。

このため、比較例においては、拡大処理部１０１ｃで発生したジャギーやリンギングなどのノイズ成分が、輪郭補正処理部１４０ｃにおいて、さらに強調され、出力画像にノイズ成分が発生する度合いが高まってしまうという技術的な問題点が生じる。

これに対して、本実施形態に係る鮮鋭化処理部１２０においては、入力画像に各種の画像処理が施されることにより発生したジャギーやリンギングなどのノイズ成分は、バイラテラルフィルタが有するノイズ除去作用とエッジ鮮鋭化作用によって、平滑化される共に低減される。また、テクスチャ画像は、入力画像と、フィルタ処理部１１１による入力画像のフィルタ処理を施した画像との減算であるため、上述した図５（ｃ）に示されるように、テクスチャ画像を構成する画素間の画素値のレベル差は非常に小さい。これにより、このテクスチャ画像に対して各種の画像処理を施した場合、ジャギーやリンギングなどのノイズ成分の発生を顕著に抑制することができる。

この結果、本実施形態によれば、各種の画像処理で発生する可能性が高いジャギーやリンギングなどのノイズ成分の発生を効果的に抑制した画像を得ることができる。

仮に、入力画像をベース画像とテクスチャ画像とに単に分離し、それぞれの画像に対して、ノイズ除去処理や従来の輪郭補正処理等の各種の画像処理を施した場合、これらの各種の画像処理の際の輪郭を表現するための画像情報が欠落してしまい、画像の輪郭を鮮鋭化することが困難になってしまうという技術的な問題点が生じる。

これに対して、本実施形態は、同一の入力画像から、ベース画像とテクスチャ画像とをバイラテラルフィルタを用いてそれぞれ独立して作成している。特に、本実施形態では、上述したように、入力画像から、バイラテラルフィルタやεフィルタを用いたフィルタ処理部１１１によってフィルタ処理された画像を減算することによって、テクスチャ画像を生成している。これにより、バイラテラルフィルタによるエッジ鮮鋭化作用が、ベース画像とテクスチャ画像との両者にそれぞれ独立して施されるので、画質改善の効果を顕著に高めることが可能である。このように、バイラテラルフィルタによるエッジ鮮鋭化作用が、ベース画像とテクスチャ画像との両者にそれぞれ独立して施されることにより、入力画像において画素値の微小な変化に応じて画像処理を行えるので、輪郭や精細な部分が鮮明に浮き上がった視覚上の効果、いわゆる、画像の粒状感やディティール感が向上すると共に画像での精細な質感をも視覚可能であるので、実践上、大変好ましい。

＜第１実施形態における作用と効果の第２の検討＞
次に、第１実施形態に係る画像処理装置の作用と効果とについて、更に検討する。

一般的に、骨格成分とテクスチャ成分との分離に基づく画像処理に関する技術では、分離処理にＴＶ（Total Variation）ノルムを使用した反復演算処理が行われている。また、骨格画像の補間処理においても周波数帯域への変換と、ＴＶノルムを使用した反復演算処理が行われる。このため、骨格成分とテクスチャ成分との分離に基づく画像処理に関する技術では、画像処理量が膨大になってしまい、例えば通信回線を利用したオンライン方式の画像処理では、画像処理時間が長くなってしまうという技術的な問題が生じる。さらに骨格成分とテクスチャ成分との分離に基づく画像処理に関する技術では、テクスチャ画像に加えて、骨格画像も分離処理によって生成される。即ち、次の式（５）の関係が成り立っている。

入力画像＝骨格画像＋テクスチャ画像＋α …… （５）
このため、式（５）の「α」に相当する部分である骨格画像のエッジ部の一部が分離処理の際に平滑化されてしまい、この平滑化された骨格画像を更に補間処理した場合、骨格画像のエッジ部の鮮鋭化効果が低減されてしまうという技術的な問題点が生じる。

これに対して、第１実施形態によれば、画像信号における周波数帯域への変換処理が行われないと共に、反復演算処理が行われない。これにより、画像処理の高速化を容易に実現可能であると共に画像処理量の低減を実現可能であると共に、画像処理の際のメモリ量を効果的に低減することができる。更に、入力画像に対して各種の画像処理と鮮鋭化処理を行っているので、エッジ部が平滑化されることなく保持されており、良好な鮮鋭化効果を得ることができる。

＜第２実施形態＞
（全体構成）
次に、本発明の第２実施形態について説明する。図９は、第２実施形態に係る画像処理装置の全体構成を示すブロック図である。尚、第２実施形態に係る構成要素において、上述した第１実施形態に係る構成要素と概ね同様な構成要素には、同一の符号番号を付し、それらの説明については、適宜省略する。加えて、第２実施形態の動作において、上述した第１実施形態の動作と概ね同様な動作についての説明も適宜省略する。

特に、第１実施形態と第２実施形態との相違点の概略は、次の２点である。即ち、相違点は、第２実施形態に係るテクスチャ画像生成部２１０には、入力画像に加えて、鮮鋭化処理部１２０が出力したベース画像が入力されている点、及び、テクスチャ画像生成部２１０内部の構成及び動作が異なる点である。以下、より具体的に説明する。

図９に示されるように、第２実施形態に係る画像処理装置１００は、テクスチャ画像生成部２１０、鮮鋭化処理部１２０、加算器１３０を備えて構成されている。

入力画像は、テクスチャ画像生成部２１０、及び鮮鋭化処理部１２０にそれぞれ入力される。

鮮鋭化処理部１２０は、入力画像に対してエッジ鮮鋭化処理を施し、ベース画像として出力する。典型的には、鮮鋭化処理部１２０は、入力画像においてエッジの度合い（いわゆる、エッジらしさの度合い）が高いエッジ部を鮮鋭化するとともに、入力画像においてエッジの度合いが低い非エッジ部を平滑化するフィルタで構成されてよい。より具体的には、
鮮鋭化処理部１２０は、エッジ部に対してエッジ急峻化効果のあるバイラテラルフィルタ、及びトリラテラルフィルタのうちいずれか一方を用いてよい。本実施形態に係るバイラテラルフィルタは、フィルタの重み係数が、着目画素からの空間的な距離と着目画素の輝度値と周辺画素の輝度値の差分という2つの要素から決まるフィルタを意味している。トリラテラルフィルタは、バイラテラルフィルタに第３の関数を追加した方式のフィルタである。典型的には、トリラテラルフィルタは、インパルスノイズの検出器を第３の重みとした方式のフィルタ或いは注目画素とその周辺画素との勾配に基づく関数を追加した方式のフィルタなどを挙げることができる。以上より、鮮鋭化処理部１２０からは、ベース画像、いわゆる、骨格画像が出力される。

テクスチャ画像生成部２１０では、入力画像と、鮮鋭化処理部１２０でエッジ鮮鋭化処理が施されたベース画像とが入力される。テクスチャ画像生成部２１０は、それらの入力された入力画像及びベース画像に基づいて、テクスチャ画像を生成し出力する。

加算器１３０は、鮮鋭化処理部の出力であるベース画像と、テクスチャ画像生成部２１０が出力したテクスチャ画像とを合成することにより、出力画像を出力する。

（テクスチャ画像生成部の詳細構成）
次に、図１０及び図１１を参照して、第２実施形態に係るテクスチャ画像生成部２１０の詳細構成について説明する。ここに、図１０は、第２実施形態に係るテクスチャ画像生成部２１０の詳細構成を示したブロック図である。図１１は、第２実施形態に係るテクスチャ画像生成部２１０の混合部２１２の詳細構成を示したブロック図である。

テクスチャ画像生成部２１０は、エッジ検出部２１１、混合部２１２、及び減算器２１７を備えて構成される。入力画像は、エッジ検出部２１１、混合部２１２、及び減算器２１７にそれぞれ入力される。

エッジ検出部２１１は、入力画像のエッジ部を検出し、エッジらしさの度合いを、混合部２１２に出力する。

混合部２１２は、入力画像と、鮮鋭化処理部の出力であるベース画像とに対して、エッジらしさの度合いに応じて、重み付け処理を施し、重み付け処理がそれぞれ施された入力画像と、ベース画像と混合し、混合した画像を減算器２１７に出力する。

詳細には、混合部２１２は、図１１に示されるように、乗算係数を発生する係数発生部２１３、乗算器２１４、乗算器２１５、及び加算器２１６を備えて構成されている。

係数発生部２１３は、エッジ検出部２１１から入力されたエッジらしさの度合いに応じて、乗算係数を発生し、発生した乗算係数Ｋに対応して、１から乗算係数Ｋ（但し、Ｋは、０≦Ｋ≦１の範囲の実数）を差し引いた値である係数「１−Ｋ」を乗算器２１４に出力すると共に、乗算係数Ｋを、乗算器２１５に出力する。

乗算器２１４は、鮮鋭化処理部１２０から出力されたベース画像の信号レベルを、上述した係数「１−Ｋ」に応じて、「１−Ｋ」倍（但し、０≦Ｋ≦１）し、信号レベルが「１−Ｋ」倍されたベース画像を加算器２１６に出力する。

乗算器２１５は、入力画像の信号レベルを、上述した乗算係数Ｋに応じて、「Ｋ」倍（但し、０≦Ｋ≦１）し、信号レベルが「Ｋ」倍された入力画像を加算器２１６に出力する。

加算器２１６は、信号レベルが「１−Ｋ」倍されたベース画像と、信号レベルがＫ倍された入力画像とを加算し、加算された画像を、上述した減算器２１７へ出力する。

このように混合部２１２は、エッジらしさの度合いが高いと判定された画像領域に対応して、入力画像の割合が主（大部分）である画像を出力し、他方、エッジらしさの度合いが低いと判定された画像領域に対応して、鮮鋭化処理部１２０から出力されたベース画像の割合が主（大部分）である画像を出力する。

再び、図１０に戻る。図１０に示されるように、減算器２１７は、入力画像から、混合部２１２が出力した画像を減算し、減算した結果である差分の画像を、加算器１３０（図９を参照）へ出力する。

これにより、減算器２１７は、エッジらしさの度合いが高いと判定された画像領域に対応して、入力画像から、入力画像の割合が主（大部分）である画像が減算される、言い換えると、ほぼ同一の画像信号、同士が減算されるので、減算器２１７から出力される画像は、殆ど又は完全に無くなる。他方、エッジらしさの度合いが低いと判定された画像領域に対応して、入力画像から、ベース画像の割合が主（大部分）である画像が減算されることにより、テクスチャ画像の割合が主（大部分）である画像が、減算器２１７から出力される。

最後に、図９に示されるように、加算器１３０で、鮮鋭化処理部１２０が出力したベース画像と、テクスチャ画像生成部２１０の減算器２１７の出力であるテクスチャ画像とが合成されることにより、出力画像が得られる。典型的には、エッジらしさの度合いが高いと判定された画像領域に対応して、減算器２１７から出力される画像は、殆ど又は完全に無くなるので、加算器１３０は、ベース画像を出力画像として出力する。他方、エッジらしさの度合いが低いと判定された画像領域に対応して、テクスチャ画像の割合が主（即ち、大部分）である画像が、減算器２１７から出力されるので、加算器１３０は、ベース画像とテクスチャ画像との和である画像、即ち、入力画像を出力画像として出力する。

これにより、エッジらしさの度合いが高いと判定された画像領域においては、主として、鮮鋭化処理部１２０のフィルタ処理によって鮮鋭化されたベース画像が出力される。他方、エッジらしさの度合いが低いと判定された画像領域においては、入力画像自体がそのまま出力される。加えて、エッジらしさの度合いが高いレベルと低いレベルとの中間レベルである中間領域においては、ベース画像と入力画像とがエッジらしさの度合いに応じて混合された画像が出力される。これにより、エッジらしさの度合いが高い画像領域と、エッジらしさの度合いが低い画像領域との境界が視認されるのを効果的に防止することができる。

特に、エッジ検出部２１１による、エッジらしさの度合いの判定を２値化してよい。即ち、エッジらしさの度合いが閾値を越える場合、上述した乗算係数に「１」を代入し、エッジらしさの度合いが閾値を越えない場合、上述した乗算係数に「０：ゼロ」を代入してよい。これにより、混合部２１２は、ベース画像及び入力画像のうちいずれか一方の画像を、乗算係数に応じて切り替えつつ、出力することができる。典型的には、エッジらしさの度合いが閾値を越えると判定された画像領域においては、主として、鮮鋭化処理部１２０のフィルタ処理によって鮮鋭化されたベース画像が出力される。他方、エッジらしさの度合いが閾値を越えないと判定された画像領域においては、入力画像自体がそのまま出力される。

（動作原理）
次に、図１２を参照して、第２実施形態に係る画像処理装置の動作原理について説明する。ここに、図１２は、第２実施形態に係る画像処理装置の動作の流れを示したフローチャートである。

図１２に示されるように、先ず、テクスチャ画像生成部２１０によって、画像中の画素を示す画素値Ｉが取得される（ステップＳ２０１）。と同時に又は相前後して、鮮鋭化処理部１２０によって、画像中の画素を示す画素値Ｉが取得される（ステップＳ２０４）。

次に、エッジ検出部２１１によって、画素値Ｉのエッジらしさの度合いが検出される（ステップＳ２０２）。

次に、係数発生部２１３は、検出されたエッジらしさの度合いに応じて、乗算係数Ｋを発生する（ステップＳ２０３）。上述したように乗算係数Ｋは、所定の範囲（即ち、０≦Ｋ≦１）に含まれる値であり、エッジらしさの度合いが高くなるに従って、「１」に近くなる値となり、他方、乗算係数Ｋは、エッジらしさの度合いが低くなるに従って、「０」に近くなる値となる。

次に、鮮鋭化処理部１２０によって、画素値Ｉに対して、鮮鋭化処理が施される（ステップＳ２０５）。

次に、乗算器２１４によって、鮮鋭化処理が施された画素値Ｂ（Ｉ）の信号レベルが「１−Ｋ」倍され、画素値「Ｂ（Ｉ）＊（１−Ｋ）」が得られる（ステップＳ２０６）。

と同時に又は合前後して、乗算器２１５によって、画素値Ｉの信号レベルが「Ｋ」倍され、画素値「Ｉ＊Ｋ」が得られる（ステップＳ２０７）。

次に、加算器２１６によって、画素値「Ｂ（Ｉ）＊（１−Ｋ）」と、画素値「Ｉ＊Ｋ」とが加算され、画素値「Ｂ（Ｉ）＊（１−Ｋ）＋Ｉ＊Ｋ」が得られる（ステップＳ２０８）。

次に、減算器２１７によって、画素値Ｉから、画素値「Ｂ（Ｉ）＊（１−Ｋ）＋Ｉ＊Ｋ」が減算され、画素値「Ｉ−｛Ｂ（Ｉ）＊（１−Ｋ）＋Ｉ＊Ｋ｝」が得られる（ステップＳ２０９）。

最後に、加算器１３０によって、上述した画素値「Ｉ−｛Ｂ（Ｉ）＊（１−Ｋ）＋Ｉ＊Ｋ｝」と、画素値Ｉに対して鮮鋭化処理が施された画素値Ｂ（Ｉ）とが加算され、次の式（１）に示された画素値が得られる。

［Ｉ−｛Ｂ（Ｉ）＊（１−Ｋ）＋Ｉ＊Ｋ｝］＋Ｂ（Ｉ） …… （１）
式（１）を整理すると、式（１ａ）が得られる。

［Ｉ−｛Ｂ（Ｉ）＊（１−Ｋ）＋Ｉ＊Ｋ｝］＋Ｂ（Ｉ）
＝｛Ｉ−Ｂ（Ｉ）＊（１−Ｋ）−Ｉ＊Ｋ｝＋Ｂ（Ｉ）
＝Ｉ−Ｂ（Ｉ）＊（１−Ｋ）−Ｉ＊Ｋ＋Ｂ（Ｉ）
＝Ｉ−Ｂ（Ｉ）＋Ｂ（Ｉ）＊Ｋ−Ｉ＊Ｋ＋Ｂ（Ｉ）
＝Ｉ＋Ｂ（Ｉ）＊Ｋ−Ｉ＊Ｋ
＝Ｉ−Ｉ＊Ｋ＋Ｂ（Ｉ）＊Ｋ
＝Ｉ（１−Ｋ）＋Ｂ（Ｉ）＊Ｋ …… （１ａ）
即ち、第２実施形態に係る画像処理装置２００によって、出力画像の画素値「Ｉ＊（１−Ｋ）＋Ｂ（Ｉ）＊Ｋ」が得られる（ステップＳ２１０）。

上述したように、第２実施形態においては、テクスチャ画像を生成する際に、言い換えると、テクスチャ画像を入力画像から分離する際に、鮮鋭化処理が施された画像と、検出されたエッジらしさの度合いとを利用することにより、テクスチャ画像を入力画像から分離するための専用フィルタを必要としない。言い換えると、第２実施形態では、ベース画像の生成の際に用いるフィルタと、テクスチャ画像の生成の際に用いるフィルタとは、同一のエッジ鮮鋭化処理用のフィルタ（以下、適宜「エッジ鮮鋭化フィルタ」と称す）である。このフィルタからの出力は、エッジらしさの度合いが低い画像領域（いわゆる、非エッジ部）の信号レベルの平滑化と同時に、エッジ鮮鋭化処理が施される。

仮に、ベース画像を生成するためのフィルタの特性と、テクスチャ画像を生成するためのフィルタの特性とが異なる場合、入力画像のテクスチャ成分と全く又は殆ど同一のテクスチャ画像を再度生成することが困難になってしまうという技術的な問題点が生じる。或いは、仮に、ベース画像の生成の際に用いるフィルタと、テクスチャ画像の生成の際に用いるフィルタとが、同一のエッジ鮮鋭化フィルタであるとしても、エッジらしさの度合いを考慮することがない場合、テクスチャ画像を生成した場合、次のような技術的な問題点が生じる。即ち、エッジらしさの度合いを考慮することなく、テクスチャ画像を生成するために、入力画像から、入力画像に対してエッジ鮮鋭化フィルタによるエッジ鮮鋭化処理を施した画像を減算した場合、入力画像のエッジ部と、鮮鋭化された入力画像のエッジ部との差分成分が、テクスチャ画像生成部２１０から出力されてしまい、入力画像のテクスチャ成分と全く又は殆ど同一のテクスチャ画像を再度生成することが困難になってしまうという技術的な問題点が生じる。

これに対して、第２実施形態では、ベース画像の生成の際に用いるフィルタと、テクスチャ画像の生成の際に用いるフィルタとは、同一のエッジ鮮鋭化フィルタであると共に、エッジらしさの度合いを考慮し、エッジらしさの度合いが高いと判定された画像領域に対応して、入力画像から、入力画像の割合が主（大部分）である画像が減算される、言い換えると、ほぼ同一の画像信号、同士が減算されるので、減算器２１７から出力される画像は、殆ど又は完全に無くなる。詳細には、上述したステップＳ２０９にて、テクスチャ画像生成部２１０の出力値として得られる画素値「Ｉ−｛Ｂ（Ｉ）＊（１−Ｋ）＋Ｉ＊Ｋ｝」において、乗算係数Ｋに「１：イチ」に近い値を代入すると、画素値の値もゼロに近くなる。言い換えると、エッジらしさの度合いが高いと判定された画像領域においては、入力画像のエッジ部と、鮮鋭化された入力画像のエッジ部との差分成分の影響が顕著に高いので、テクスチャ画像の信号レベルを殆ど又は完全にゼロにすることが可能である。

他方、エッジらしさの度合いが低いと判定された画像領域に対応して、入力画像から、ベース画像の割合が主（大部分）である画像が減算されることにより、テクスチャ画像の割合が主（大部分）である画像が、減算器２１７から出力される。詳細には、上述したステップＳ２０９にて、テクスチャ画像生成部２１０の出力値として得られる画素値「Ｉ−｛Ｂ（Ｉ）＊（１−Ｋ）＋Ｉ＊Ｋ｝」において、乗算係数Ｋに「０：ゼロ」に近い値を代入すると、画素値の値は、「Ｉ−Ｂ（Ｉ）」に近くなる。言い換えると、エッジらしさの度合いが低いと判定された画像領域においては、入力画像のエッジ部と、鮮鋭化された入力画像のエッジ部との差分成分の影響が顕著に低いので、入力画像のテクスチャ成分と全く又は殆ど同一のテクスチャ画像を再度生成することが可能である。

このように、第２実施形態においては、入力画像からベース画像とテクスチャ画像とを分離し、テクスチャ画像を生成する際に、検出されたエッジらしさの度合いを考慮すると共に、１種類の鮮鋭化処理用のフィルタによって、画像処理を行う。

これにより、画像のエッジ精鋭化処理を、エッジらしさの度合いが高いエッジ部に対してのみに施すことができると共に、テクスチャ画像に対してはエッジ精鋭化処理を殆ど又は完全に施すことなく、エッジ精鋭化処理のテクスチャ画像への影響を殆ど又は完全に無くすことが可能である。加えて、これにより、鮮鋭化処理１２０によってベース画像が出力される際に失われるテクスチャ成分と、加算器１３０によって加算されるテクスチャ画像とを、殆ど又は完全に等しくさせることが可能である。

このように、エッジらしさの度合いの高低に応じて、生成されたテクスチャ画像の信号レベルを変化させることで、入力画像のテクスチャ成分と全く又は殆ど同一のテクスチャ画像を再度生成することが可能であるので、テクスチャ画像の高精度な生成と、画像領域の全体部分におけるエッジ鮮鋭化処理との両立を実現することが可能である。

＜第３実施形態＞
（全体構成）
先ず、本発明の第３実施形態について説明する。図１３は、第３実施形態に係る画像処理装置の全体構成を示すブロック図である。

尚、第３実施形態に係る構成要素において、上述した第２実施形態に係る構成要素と概ね同様な構成要素には、同一の符号番号を付し、それらの説明については、適宜省略する。加えて、第３実施形態の動作において、上述した第２実施形態の動作と概ね同様な動作についての説明も適宜省略する。

図１３に示されるように、第３実施形態に係る画像処理装置３００は、テクスチャ画像生成部２１０、鮮鋭化処理部１２０、乗算器３１０、及び加算器１３０を備えて構成されている。尚、本発明に係る第１補正処理を施す補正手段の一例が、乗算器３１０によって構成されている。

乗算器３１０は、テクスチャ成分の量を制御するもので、倍率L倍で指定する。L=0の場合は、テクスチャ画像から生成される画像は0になり、ベース画像から作成される画像のみが出力画像となる。0＜L＜1の場合は、テクスチャ画像から生成される画像が低減され、ベース画像から生成される画像と合成され出力される。L=1の場合は、乗算器が無い状態と同じになり、ベース画像から生成される画像とテクスチャ画像から生成される画像が同じ比率で合成され出力画像となる。L>1の場合は、テクスチャ画像から生成される画像が増強され、ベース画像から生成される画像と合成され出力画像となる。

第３実施形態では、テクスチャ画像生成部２１０から出力されたテクスチャ画像は、乗算器３１０を経由して加算器１３０に入力される。加算器１３０では、これら入力されたベース画像及びテクスチャ画像を合成して出力画像として出力する。

第３実施形態によれば、テクスチャ画像に対して、上述した乗算処理を行い、ベース画像に対して、上述した乗算処理を行わない。これにより、ベース画像におけるエッジ部や平坦部のレベルを維持可能であるので、輪郭や精細な部分が鮮明に浮き上がった視覚上の効果、いわゆる、画像の粒状感やディティール感が向上すると共に画像でのコントラストを高めることが可能であるので、実践上、大変好ましい。

加えて、第３実施形態によれば、テクスチャ画像に対してのみ乗算処理を行うことで、エッジ部や平坦部のレベルを維持したまま粒状感を増加させることができコントラスト感を高めることができる。

以上のように、第３実施形態によれば、画像をベース画像とテクスチャ画像とに分離することにより、テクスチャ画像に対してのみ、単独で画像補正処理を施すことが可能である。典型的には、テクスチャ画像の信号レベルを線形的に増減する画像補正処理を施すことにより、鮮鋭感を調整できるので、実践上、大変好ましい。

＜第４実施形態＞
（全体構成）
次に、本発明の第４実施形態について説明する。図１４は、第４実施形態に係る画像処理装置の全体構成を示すブロック図である。図１５は、第４実施形態に係る非線形処理部における非線形関数の具体例を示したグラフである。

尚、第４実施形態に係る構成要素において、上述した第２実施形態に係る構成要素と概ね同様な構成要素には、同一の符号番号を付し、それらの説明については、適宜省略する。加えて、第４実施形態の動作において、上述した第２実施形態の動作と概ね同様な動作についての説明も適宜省略する。

図１４に示されるように、第４実施形態に係る画像処理装置４００は、テクスチャ画像生成部２１０、鮮鋭化処理部１２０、非線形処理部４１０、及び加算器１３０を備えて構成されている。尚、本発明に係る第１補正処理を施す補正手段の一例が、非線形処理部４１０によって構成されている。

第４実施形態では、テクスチャ画像生成部２１０から出力されたテクスチャ画像は、非線形処理部４１０を経由して加算器１３０に入力される。加算器１３０では、これら入力されたベース画像及びテクスチャ画像を合成して出力画像として出力する。

非線形処理部４１０は、テクスチャ画像に非線形的なフィルタ処理を行う。一般的に、テクスチャ画像の成分は、画像成分の高域成分に相当するため、画像本来の高域成分、言い換えると、細かい成分以外にノイズ成分が含まれる頻度が多い。このため、いわゆる、Ｓ字曲線処理（図１５を参照）を行うことで、低レベルのテクスチャ成分をノイズとして低減し、画像本来のテクスチャ成分が多く含まれると思われる中間的なレベルのテクスチャ成分の信号レベルを増幅し、あるレベル以上のテクスチャ成分は低減するように、非線形処理の特性を設定することで、総合的な画質を向上することが可能である。

典型的には、図１５に示されるように、非線形処理部４１０に入力されたテクスチャ画像の信号レベル（即ち、図１５中の入力レベル）が、所定レベル（即ち、図１５中の入力レベル範囲Ａ１の下端値）よりも低い場合、テクスチャ画像の成分の信号レベルに対して、入力レベルに対する出力レベルの変化率の小さい値を乗算することにより、ノイズとして低減する。尚、図１５中の一点鎖線は、非線形処理部４１０に入力されたテクスチャ画像の信号レベルを同じレベルで出力する場合における、非線形処理部４１０の特性を示している。

他方、非線形処理部４１０に入力されたテクスチャ画像の信号レベルが、画像本来のテクスチャ画像の成分が多く含まれると思われる中間的なレベル範囲（即ち、図１５中の入力レベル範囲Ａ１）内にある場合、テクスチャ画像の成分の信号レベルに変化率の大きい値を乗算することにより、信号レベルを増幅する。更に他方、非線形処理部４１０に入力されたテクスチャ画像の信号レベルが、所定レベル（即ち、図１５中の入力レベル範囲Ａ１の上端値）を超える場合、テクスチャ画像の成分の信号レベルに変化率の小さい値を乗算することにより、テクスチャ成分の過度の増幅を防ぎ、テクスチャ画像にこのような非線形処理を施すことになるので、総合的な画質を向上することが可能である。

第４実施形態によれば、テクスチャ画像に対して、上述した非線形処理を行い、ベース画像に対して、上述した非線形処理を行わない。

これにより、ベース画像におけるエッジ部や平坦部のレベルを維持可能であるので、エッジ鮮鋭化に加え、非線形処理により、テクスチャ成分が強調されることにより、精細な部分が鮮明に浮き上がったような視覚上の効果、いわゆる、画像の粒状感やディティール感が向上すると共に画像でのコントラストを高めることが可能であるので、実践上、大変好ましい。

以上のように、第４実施形態によれば、画像をベース画像とテクスチャ画像とに分離することにより、テクスチャ画像に対してのみ、単独で画像補正処理を施すことが可能である。典型的には、テクスチャ画像の信号レベルを非線形的に増減する画像補正処理を施すことにより、鮮鋭感を調整できると共にノイズ低減を行うことができるので、実践上、大変好ましい。

＜第５実施形態＞
（全体構成）
次に、図１６及び図１７を参照して、本発明の第５実施形態について説明する。図１６は、第５実施形態に係る画像処理装置の全体構成を示すブロック図である。図１７は、第５実施形態に係るグラデーション補正処理を施した画像の波形図（図１７（ａ））及び比較例に係るグラデーション補正処理を施した画像の波形図（図１７（ｂ））である。

尚、第５実施形態に係る構成要素において、上述した第２実施形態に係る構成要素と概ね同様な構成要素には、同一の符号番号を付し、それらの説明については、適宜省略する。加えて、第５実施形態の動作において、上述した第２実施形態の動作と概ね同様な動作についての説明も適宜省略する。

図１６に示されるように、第５実施形態に係る画像処理装置５００は、テクスチャ画像生成部２１０、テクスチャ画像用処理部５１０、鮮鋭化処理部１２０、ベース画像用処理部５２０、及び加算器１３０を備えて構成されている。尚、本発明に係る第１補正処理を施す補正手段の一例が、テクスチャ画像用処理部５１０によって構成されている。また、本発明に係る第２補正処理を施す補正手段の一例が、ベース画像用処理部５２０によって構成されている。

テクスチャ画像用処理部５１０は、テクスチャ画像の性質や特性に適した画像処理を行う。典型的には、テクスチャ画像用処理部５１０は、３次元ノイズリダクション処理、美肌補正処理、又は孤立点除去処理などの処理を行う。３次元ノイズリダクション処理は、画像信号を、時間軸方向にフィルタ処理する。これにより、ランダムノイズなどを除去することができる。典型的には、動画で残像が発生しやすい問題があるが、テクスチャ成分に対してのみ３次元ノイズリダクションを作用させれば、低周波成分がないため残像が目立ちにくい利点がある。また、美肌補正処理は、入力画像の肌色近辺の色を検出して、その近辺の色のみテクスチャ成分を下げる。これにより、肌のノイズ感を抑えることができる。また、孤立点除去処理は、テクスチャ成分がある程度の大きさ（領域）で分布すると考えて、孤立的に存在するテクスチャ成分はノイズと判断し除去する処理である。これにより、ノイズ低減効果を向上することができる。

ベース画像用処理部５２０は、ベース画像の性質や特性に適した画像処理を行う。典型的には、ベース画像用処理部５２０は、グラデーション補正処理やトランジェント補正（ＬＴＩ／ＣＴＩ）処理などを行う。グラデーション補正処理は、階調の変化がなだらかな領域（グラデーション領域）を判別したときに、その領域内で低域通過フィルタ処理または線形補間を行うことによって、グラデーション領域内で均一な階調変化を実現する。トランジェント補正処理は、エッジの傾きを空間的な処理によって高めるもので、輝度信号、色信号の少なくともどちらか一方に施す処理である。

第５実施形態では、鮮鋭化処理部１２０によってエッジ鮮鋭化されつつ出力されたベース画像は、ベース画像用処理部５２０を経由して加算器１３０に入力される。加えて、テクスチャ画像生成部２１０から出力されたテクスチャ画像は、テクスチャ画像用処理部５１０を経由して加算器１３０に入力される。加算器１３０では、これら入力されたベース画像及びテクスチャ画像を合成して出力画像として出力する。

特に、第５実施形態では、鮮鋭化処理部１２０による鮮鋭化処理後のベース画像においては、エッジを保持した平滑化が行われ、このベース画像はエッジ部及び平坦部から構成されており、テクスチャ画像、又はテクスチャ成分が含まれていない。これにより、第５実施形態では、ベース画像用処理部５２０によって、テクスチャ成分が殆ど又は完全にないベース画像に対して、例えばグラデーション補正処理が施されるため、良好なグラデーション補正処理を行うことができる。具体的には、図１７（ａ）に示されるように、第５実施形態に係るグラデーション補正処理では、テクスチャ成分がないベース画像において、画素値の段階的な変化に応じて、線形的に画素値を変化させること可能であり、良好なグラデーション補正処理を行うことができる。尚、図１７（ａ）内の点線は、画素値の段階的な変化の変化率の傾きを示す。

仮に、テクスチャ成分が含まれている画像に対して、グラデーション補正処理をかける場合、図１７（ｂ）に示されるように、このテクスチャ成分が妨害となって正常にグラデーション補正処理を行うことができない可能性があるという技術的な問題点が生じる。尚、図１７（ｂ）内の点線は、テクスチャ成分が殆ど又は完全にないベース画像における画素値の段階的な変化を示す。

また、一般的に、画像に含まれるランダムノイズは、細かな振動成分であるのでテクスチャ成分に類似する成分として分類される。特に、入力画像に対して時間軸方向のフィルタ処理である３次元ノイズリダクション、いわゆる、3DNR処理を行った場合、残像が問題となる。また、この残像は特に、画像の輪郭、即ち、エッジ部において一般的に検知される傾向がある。

これに対して、第５実施形態に係るテクスチャ画像用処理部５１０は、画像の輪郭、即ち、エッジ部を含まないテクスチャ画像に対してのみ3DNR処理を行っている。これにより、テクスチャ画像用処理部５１０での3DNR処理は、画像のエッジ部に何ら影響を与えない。これにより、第５実施形態によれば、ランダムノイズを3DNRで除去しつつ、残像の発生を効果的に低減可能であるので、実践上、大変有益である。

加えて、一般的に孤立点除去処理で除去されるノイズ成分も細かな振動成分であるため、テクスチャ成分に類似する成分として分類される。

第５実施形態に係るテクスチャ画像用処理部５１０においては、テクスチャ画像に対してのみ孤立点除去処理が行われる。これにより、テクスチャ画像用処理部５１０は、画像の輪郭、即ち、エッジ部などの画素値が大きく変化する画素部分の影響を殆ど又は完全に受けることなく、孤立点除去処理を行うため、孤立点等のノイズを検出する精度を高めると共に、ノイズ除去を効果的に行うことが可能であるので、実践上、大変有益である。

以上のように、第５実施形態によれば、入力画像を、ベース画像とテクスチャ画像とに分離することにより、分離された画像に画像補正処理をそれぞれ施すことができる。これにより、画像補正処理の自由度を増加させることが可能である。これにより、テクスチャ画像の制御や、ベース画像及びテクスチャ画像にそれぞれ適した画像補正処理を施すことが可能であるので、実践上、大変有益である。

＜第６実施形態＞
（全体構成）
次に、図１８、図１９及び図２０を参照して、本発明の第６実施形態について説明する。図１８は、第６実施形態に係る画像処理装置の全体構成を示すブロック図である。図１９は、第６実施形態に係るテクスチャ画像生成部の構成を示すブロック図である。図２０は、第６実施形態に係る入力画像の周波数成分と各周波数成分の頻度との定量的及び定性的な関係を示したヒストグラム（図２０（ａ）及び図２０（ｂ））である。

尚、第６実施形態に係る構成要素において、上述した第１実施形態に係る構成要素と概ね同様な構成要素には、同一の符号番号を付し、それらの説明については、適宜省略する。加えて、第６実施形態の動作において、上述した第１実施形態の動作と概ね同様な動作についての説明も適宜省略する。

図１８に示されるように、第６実施形態に係る画像処理装置６００は、テクスチャ画像生成部６１０、鮮鋭化処理部６２０、加算器１３０、及び、周波数分析処理部６３０を備えて構成されている。尚、本発明に係る測定手段の一例が、この周波数分析処理部６３０によって構成されている。

図１９に示されるように、第６実施形態に係るテクスチャ画像生成部６１０は、フィルタ処理部６１１、及び減算器１１２を備えて構成される。

周波数分析処理部６３０は、入力画像の空間周波数成分を分析し、その分析結果に基づいて、テクスチャ画像生成部６１０のフィルタ処理部６１１及び鮮鋭化処理部６２０における各種のパラメータ設定を行う。入力画像は、テクスチャ画像生成部６１０、鮮鋭化処理部６２０、及び周波数分析処理部６３０にそれぞれ入力される。周波数分析処理部６３０による周波数分析の結果に関する情報は、テクスチャ画像生成部６１０のフィルタ処理部６１１、及び鮮鋭化処理部６２０にそれぞれ入力される。

空間周波数成分の分析方法として、ウェーブレット（Wavelet）変換、フーリエ（Fourier）変換、またはＤＣＴ（Discrete Cosine Transform）変換、アダマール変換等のいずれかの処理を行い周波数分布の統計量を求める。この統計値から画像の鮮鋭度を判定しパラメータの設定を行う。周波数分析処理部からフィルタ処理部へのパラメータとしてεフィルタの場合は、タップ数、ε値、非線形関数の選択がある。バイラテラルフィルタの場合はタップ数、係数α、係数βがある。周波数分析処理部から鮮鋭化処理部へのパラメータ設定としてはタップ数、係数α、係数βがある。

一例として、入力画像をフーリエ変換し周波数領域に展開する。周波数領域に展開された画像データをヒストグラム処理し、周波数分布の統計量を求める。この統計量に基づいて、図２０（ｂ）に示されるように、例えば、低域成分の頻度と、概ね同様の頻度で高域成分が存在し、高域成分が含まれる度合いが大きい場合、鮮鋭度が高いと判断してよい。他方、図２０（ａ）に示されるように、例えば、低域成分の頻度と比較して、高域成分の頻度が高域になるに従って減少し、ひいては高域成分の頻度が無くなっており、高域成分含まれる度合いが小さい場合、鮮鋭度が低いと判断してよい。

典型的には、鮮鋭度が高い場合、タップ数を増加方向に変更し、鮮鋭度が低い場合、タップ数を減少方向に変更してよい。急激な変更を避けるため、鮮鋭度の高低に関わらずにタップ数の変更をゼロにした遷移する区間を持つように考慮してよい。また、上記処理は一枚の画像で行ってもよいが、一枚のあるブロック領域だけで行ってもよい。さらに画像が示す絵柄によって周波数分布が変化することも考慮して複数枚の画像の蓄積値または平均値から周波数分布の統計量を求めてもよい。周波数分析処理はシーンチェンジやチャンネルチェンジによってリセット処理する方法も考えられる。

以上のように、第６実施形態によれば、入力画像の周波数成分を解析し、エッジ成分やテクスチャ成分が分布する周波数領域を事前に把握することにより、多種多様な入力画像に対して、常に、バイラテラルフィルタやトリラテラルフィルタのタップ数やパラメータを最適な値に設定できるので、実践上、大変好ましい。

加えて、第６実施形態によれば、周波数分析処理部６３０によって入力画像の鮮鋭度を事前に判別することによって、多種多様な入力画像に対して、上述した画像の粒状感やディティール感の度合いを、一定レベルに維持することが可能であるので、実践上、大変好ましい。

本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体もまた本発明の技術的範囲に含まれるものである。

本発明は、例えばデジタルカメラ、例えば液晶TV、PDP、有機EL等のディスプレイ装置、例えばDVD、Blu-ray、HD-DVD、HDDレコーダ、パソコン等の画像再生装置、例えば、地上デジタル放送受信端末、ケーブルデジタル放送受信端末、衛星デジタル放送受信端末、IP放送受信端末、カーナビ、携帯電話、ワンセグ受信機器等のデジタル放送受信装置などの画像処理装置、及び、当該画像処理装置における画像処理方法に利用可能である。加えて、本発明は、例えば静止画及び動画編集ソフトウェア、静止画及び動画再生ソフトウェアなどの画像処理方法、画像処理プログラム、及び、当該画像処理プログラムが記憶される記憶媒体に利用可能である。

１００、２００、３００、４００、５００、６００…画像処理装置、１１０、２１０、６１０…テクスチャ画像生成部、１１１、６１１…フィルタ処理部、１１２…減算器、１２０、６２０…鮮鋭化処理部、１３０…加算器、３１０…乗算器、４１０…非線形処理部、５１０…テクスチャ画像用処理部、５２０…ベース画像用処理部、６３０…周波数分析処理部。

Claims (14)

1. 第１画像を取得する取得手段と、
   前記取得された第１画像からテクスチャ画像を生成する生成手段と、
   前記取得された第１画像の輪郭に鮮鋭化処理を施すことにより輪郭が鮮鋭化されたベース画像取得手段と、
   前記生成されたテクスチャ画像と、前記取得されたベース画像とを合成する合成手段とを備えることを特徴とする画像処理装置。
2. 前記生成手段は、前記取得された第１画像から、前記取得された第１画像にエッジ維持フィルタリングを施した画像を減算することにより、前記テクスチャ画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記取得されたベース画像を用いて、前記取得された第１画像から前記テクスチャ画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記生成手段は、前記取得されたベース画像に加えて、エッジらしさの度合いを示すエッジ係数を用いて、前記取得された第１画像から前記テクスチャ画像を生成することを特徴とする請求項１から３のうちいずれか一項に記載の画像処理装置。
5. 前記生成されたテクスチャ画像に対して、前記生成されたテクスチャ画像の性質に応じた補正を行う第１補正処理、及び、前記取得されたベース画像に対して、前記取得されたベース画像の性質に応じた補正を行う第２補正処理のうち少なくともいずれか一方の補正処理を施す補正手段を更に備え、
   前記合成手段は、前記少なくともいずれか一方の補正処理が施された後、前記テクスチャ画像と、前記ベース画像とを合成することを特徴とする請求項１から４のうちいずれか一項に記載の画像処理装置。
6. 前記補正手段は、前記第１補正処理として、前記生成されたテクスチャ画像に対して、３次元ノイズリダクション処理、美肌補正処理、及び、孤立点除去処理のうち少なくとも一つの処理を施し、前記生成されたテクスチャ画像を補正することを特徴とする請求項５に記載の画像処理装置。
7. 前記補正手段は、前記第２補正処理として、前記取得されたベース画像に対して、グラデーション補正処理、及びトランジェント補正処理のうち少なくとも一つの処理を施し、前記取得されたベース画像を補正することを特徴とする請求項５に記載の画像処理装置。
8. 前記補正手段は、前記第１補正処理として、前記生成されたテクスチャ画像に対して、非線形処理、及び乗算処理のうち少なくとも一方の処理を施し、前記生成されたテクスチャ画像を補正すると共に、前記取得されたベース画像に対して、非線形処理、及び乗算処理を施さないことを特徴とする請求項５に記載の画像処理装置。
9. 前記取得された少なくとも１つの第１画像における任意の領域で周波数成分の分布を測定する測定手段を更に備え、
   前記ベース画像取得手段は、前記測定された周波数成分の分布に基づいて、前記ベース画像を取得することに加えて又は代えて、
   前記生成手段は、前記測定された周波数成分の分布に基づいて、前記テクスチャ画像を生成することを特徴とする請求項１から８のうちいずれか一項に記載の画像処理装置。
10. 前記ベース画像取得手段は、前記測定された周波数成分の分布に応じてタップ数、及びフィルタ係数のうち少なくとも一つを変化させ、前記ベース画像を取得することに加えて又は代えて、
    前記生成手段は、前記測定された周波数成分の分布に応じてタップ数、及びフィルタ係数のうち少なくとも一つを変化させ、前記テクスチャ画像を生成することを特徴とする請求項９に記載の画像処理装置。
11. 前記測定手段は、前記第１画像を取得する際のシーン毎又はチャンネル毎に、前記周波数成分の測定を初期化することを特徴とする請求項９に記載の画像処理装置。
12. 第１画像を取得する取得工程と、
    前記取得された第１画像からテクスチャ画像を生成する生成工程と、
    前記取得された第１画像の輪郭に鮮鋭化処理を施すことにより輪郭が鮮鋭化されたベース画像を取得するベース画像取得工程と、
    前記生成されたテクスチャ画像と、前記取得されたベース画像とを合成する合成工程と
    を備えることを特徴とする画像処理方法。
13. コンピュータを備える装置によって実行される画像処理プログラムであって、
    第１画像を取得する取得手段と、
    前記取得された第１画像からテクスチャ画像を生成する生成手段と、
    前記取得された第１画像の輪郭に鮮鋭化処理を施すことにより輪郭が鮮鋭化されたベース画像を取得するベース画像取得手段と、
    前記生成されたテクスチャ画像と、前記取得されたベース画像とを合成する合成手段として前記コンピュータを機能させることを特徴とする画像処理プログラム。
14. 請求項１３に記載の画像処理プログラムを記憶したことを特徴とする記憶媒体。