JP2010009468A - 画像高画質化装置、方法およびプログラム - Google Patents

Abstract

【課題】画像の質感を向上させる。
【解決手段】高画質化対象画像を画像ソースから取得する取得手段１０１、１０２と、画像の質感を強調するか否かを示す目標画質データを入力装置から取得する取得手段１０３と、高画質化対象画像をテクスチャ成分と非テクスチャ成分とに分離する分離手段１０１と、高画質化対象画像に含まれる画素ごとに、該画素を含む複数の画素で決まる値と０より大きい閾値との大小で決まる、２以上のテクスチャタイプのいずれか１つを検出する検出手段１０２と、目標画質データとテクスチャタイプとに応じてテクスチャ成分の振幅をどのように強調、減衰、維持するかを決定する調整係数を設定する設定手段１０３と、調整係数にしたがってテクスチャ成分を調整し調整後テクスチャ成分を生成する生成手段１０４と、調整後テクスチャ成分と非テクスチャ成分とを合成して出力画像を生成する生成手段１０５と、を具備する。
【選択図】図１

Description

本発明は、カメラで撮影された画像データやテレビが受信した画像データをより画質の高い画像データに変換する画像高画質化装置、方法およびプログラムに関する。

テレビのデジタル放送が開始され、これまでのアナログ放送よりも解像度や画質が向上した。更なる画質の向上を図るためには、質感の表現が重要となる。画像中の模様パターンであるテクスチャ成分の輝度値を調整することで、質感を向上できる可能性がある。

画像中のテクスチャ成分の輝度値を調整する手法として、非特許文献１の手法がある（例えば、非特許文献１参照）。この手法では、画像中のテクスチャ成分のみに対して輝度値の強調を行う。輝度値の強調は、画像中の全てのテクスチャ成分に対して固定された定数を累乗することで行う。これにより、テクスチャ成分のみを強調することが可能になり、画像を鮮鋭にする効果が期待できる。
中川陽介ほか２名：「対数輝度からの骨格／テクスチャ分離とその応用」、映像メディア処理シンポジウム２００５、I−４.１１

従来技術では、画像中の全テクスチャ成分に対して強調を行うため、領域によって過強調が生じ、画質および質感が低下するという問題がある。また、テクスチャ成分の調整が強調のみに限られており、その調整係数も固定値であったため、柔軟な画質調整ができない。

本発明は、上記の問題を解決するためになされたものであって、画像の質感を向上させるための画像高画質化装置、方法およびプログラムを提供することを目的とする。

上述の課題を解決するため、本発明の画像高画質化装置は、高画質化対象画像を画像ソースから取得する第１取得手段と、画像の質感を強調するか否かを示す目標画質データを入力装置から取得する第２取得手段と、前記高画質化対象画像をテクスチャ成分と非テクスチャ成分とに分離する分離手段と、前記高画質化対象画像に含まれる画素ごとに、該画素を含む複数の画素で決まる値と０より大きい１つ以上の閾値との大小で決まる、２以上のテクスチャタイプのいずれか１つを検出する検出手段と、前記目標画質データと前記テクスチャタイプとに応じて前記テクスチャ成分の振幅をどのように強調、減衰、維持するかを決定する調整係数を設定する設定手段と、前記調整係数にしたがって前記テクスチャ成分を調整し調整後テクスチャ成分を生成する第１生成手段と、前記調整後テクスチャ成分と前記非テクスチャ成分とを合成して出力画像を生成する第２生成手段と、を具備することを特徴とする。

本発明の画像高画質化装置、方法およびプログラムによれば、画像の質感を向上させることができる。

以下、図面を参照しながら本発明の実施形態に係る画像高画質化装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
本実施形態では、向上させる鮮鋭感、立体感、滑らかさをそれぞれ以下のような質感と定義する。鮮鋭感は、一目で画像がはっきり、くっきりとしていることが知覚できる質感を示す。立体感は、視覚的に凹凸を感じる質感を示す。滑らかさは、視覚的に凹凸を感じず滑らかであると知覚する質感をさす。換言すれば、鮮鋭感は、画像に含まれる物体の輪郭が明瞭である質感を示す。立体感は、画像に含まれる物体の凹凸が明瞭である質感を示す。滑らかさは、立体感の逆の質感を示し、画像に含まれる物体の凹凸が明瞭でなく滑らかである質感を示す。本実施形態では、立体感と滑らかさは同一の指標で示す。すなわち、立体感の指標が大きいほど滑らかさの指標は小さくなる。

本発明の実施形態に係わる画像高画質化装置について図１を参照して説明する。
本実施形態に係わる画像高画質化装置１００は、画像成分分離部１０１と、テクスチャタイプ検出部１０２と、テクスチャ成分調整制御部１０３と、テクスチャ成分調整部１０４と、画像成分合成部１０５を含む。

画像成分分離部１０１は、画像ソース（図示せず）から高画質化対象画像１０６を受け取り、高画質化対象画像１０６を非テクスチャ成分１０７とテクスチャ成分１０８に分離する。画像成分分離部１０１は、非テクスチャ成分１０７を画像成分合成部１０５に渡し、テクスチャ成分１０８をテクスチャ成分調整部１０４に渡す。なお、画像ソースは、画像を格納していて、例えば複数の画像を記憶しているメモリである。高画質化対象画像１０６は、１画素あたりに画素値を１つもつデジタル画像である。カラー画像など、１画素あたりにもつ値が複数ある場合には、いずれか１つの値を読み込む。

テクスチャタイプ検出部１０２は、画像ソースから高画質化対象画像１０６を受け取り、高画質化対象画像１０６の各画素におけるテクスチャタイプを検出する。テクスチャタイプとは、画素ごとに設定され、この画素を含む複数の画素で決まる値と０より大きい１つ以上の閾値との大小で決まる。複数の閾値が設定されている場合には、テクスチャタイプは３つ以上になる。例えば第１閾値と第１閾値よりも大きい第２閾値が設定されている場合には、輝度差が第１閾値よりも小さいテクスチャのテクスチャタイプと、輝度差が第１閾値以上かつ第２閾値よりも小さいテクスチャのテクスチャタイプと、輝度差が第２閾値以上であるテクスチャのテクスチャタイプの３種類のテクスチャタイプが検出される。テクスチャタイプ検出部１０２は検出したテクスチャタイプを含むテクスチャタイプ検出結果１１０をテクスチャ成分調整制御部１０３に渡す。

テクスチャ成分調整制御部１０３は、入力装置（図示せず）から目標画質データ１０９を受け取り、テクスチャタイプ検出部１０２からテクスチャタイプ検出結果１１０を受け取り、テクスチャ成分調整係数１１１を設定する。より詳しくは、テクスチャ成分調整制御部１０３は、目標画質データ１０９とテクスチャタイプとに応じてテクスチャ成分の振幅をどのように強調、減衰、維持するかを決定する調整係数を設定する。目標画質データ１０９は、画像の質感を強調するか否かを示す。より詳細には画像の鮮鋭感および立体感のそれぞれを強調するかどうかを示す。目標画質データ１０９は、画像の鮮鋭感を強調するかどうかだけを示してもよいし、画像の立体感を強調するかどうかだけを示してもよい。

テクスチャ成分調整係数１１１は、テクスチャ成分の振幅を強調したり減衰させたり維持させるための係数である。テクスチャ成分調整制御部１０３は、テクスチャ成分調整係数１１１をテクスチャ成分調整部１０４に渡す。

テクスチャ成分調整部１０４は、画像成分分離部１０１からテクスチャ成分１０８を受け取り、テクスチャ成分調整制御部１０３からテクスチャ成分調整係数１１１を受け取り、テクスチャ成分１０８を、テクスチャ成分調整係数１１１に従って調整し、調整後テクスチャ成分１１２を生成する。調整後テクスチャ成分１１２は、調整前のテクスチャ成分１０８の振幅を強調したり減衰させたり維持させたりする。テクスチャ成分調整部１０４は、調整後テクスチャ成分１１２を画像成分合成部１０５に渡す。

画像成分合成部１０５は、画像成分分離部１０１から非テクスチャ成分１０７を受け取り、テクスチャ成分調整部１０４から調整後テクスチャ成分１１２を受け取り、非テクスチャ成分１０７と調整後テクスチャ成分１１２とを合成し質感向上画像１１３を生成する。質感向上画像１１３は、画像高画質化装置１００の出力となる。

次に、図１の画像高画質化装置１００の動作の一例について図２を参照して説明する。動作の一例の各ステップを説明しつつ、各ステップの詳細について図３から図８を参照して説明する。
（ステップＳ２０１）画像成分分離部１０１とテクスチャタイプ検出部１０２とがそれぞれ高画質化対象画像１０６を読み込み、ステップＳ２０２に進む。

（ステップＳ２０２）
テクスチャタイプ検出部１０２が高画質化対象画像１０６からテクスチャタイプを検出する。

画像中には異なる種類のテクスチャが存在する。そこで、画像中に存在するテクスチャを複数のテクスチャタイプに分割する。テクスチャタイプの検出には、隣接画素間の輝度差、または局所ブロック内の輝度差に関する特徴量を用いる。ここでは、図３に示す３タイプ（Ｔ１，Ｔ２，Ｔ３）に分割する例を示す。図３のＴ１は、強いエッジなどを表現する、輝度差の大きいテクスチャの集合である。図３のＴ２は、物体表面の模様などを表現する、輝度差が中程度のテクスチャの集合である。図３のＴ３は、平坦な面、または空などを表現する、輝度値変化の極めて小さいテクスチャの集合である。テクスチャタイプ検出部１０２では例えば、図４に示すように、Ｔ１とＴ２を区分する輝度差の閾値をｔｈ１２と設定され、Ｔ２とＴ３を区分する輝度差の閾値をｔｈ２３と設定されている。

テクスチャタイプの検出に隣接画素間の輝度差ｋを用いる場合、下記の式（１）により各画素ａのテクスチャタイプを検出する。ここで図５に示すように、ｘ_０は画素ａの輝度値であり、ｘ_ｉは画素ａの隣接８近傍の画素の輝度値である。なお、隣接画素との輝度差が３５以下である場合は物体表面の凹凸を表現している可能性が高く、５０以上の画素はエッジ箇所である可能性が高いため、ｔｈ１２は３５〜５０であることが好ましい。隣接画素との輝度差が５以下である画素は滑らかなテクスチャを形成している可能性が高く、１０以上の画素は物体表面の凹凸を表現している可能性が高いため、ｔｈ２３は５〜１０であることが好ましい。

テクスチャタイプの検出に局所ブロック内の特徴量を用いる場合、各画素ａおよび近傍画素から成る局所ブロック内の特徴量ｌを用いて、各画素ａのテクスチャタイプを式（２）により検出する。ここで、Ｔ１、Ｔ２、Ｔ３に分割するための閾値ｔｈ１２およびｔｈ２３は、隣接画素間の輝度差を用いた場合と同様の基準で別途設定する。特徴量ｌには、輝度変化が大きいほど大きい値をとるような特徴量、例えば分散値、テクスチャ解析による慣性を採用する。局所ブロックの大きさは任意に指定することが可能であるが、ブロックサイズが大きい場合には正確な検出が困難であるため、５ｘ５以下程度であることが好ましい。

（ステップＳ２０３）
画像成分分離部１０１が高画質化対象画像１０６をテクスチャ成分１０８と非テクスチャ成分１０７へ分離し、ステップＳ２０４に進む。なお、ステップＳ２０２とステップＳ２０３は並行して処理しても構わない。

非テクスチャ成分１０７は、画像の輝度の２次元的な分布の中で、大まかな変化を表現する部分を保存した成分である。テクスチャ成分１０８は、画像中の細かな模様のみを保存した成分である。以下では、非テクスチャ成分１０７をＵ、テクスチャ成分１０８をＶで記述する。画像成分分離の手法としては、例えば下記参考文献１または参考文献２に示される骨格／テクスチャ分離法、または参考文献３に示されるCenter/Surround Retinex法等を用いればよい。

参考文献１：Aujol, J.F., Gilboa, G., Chan, T. and Osher. S., "Structure-Texture Image Decomposition - Modeling, Algorithms, and Parameter Selection," Int. Journal of Computer Vision, Vol.67, pp.111-136, (2006).
参考文献２：Saito, T., Ishii, Y., Nosaka, R. and Komatsu, T., "Removal of signal -dependent noise for a digital camera," Proc. SPIE-IS&T Electronic Imaging, 6502, pp.650213:1-650213:12, Jan. (2007).
参考文献３：Land, E. H. and McCann J. J., "Lightness and Retinex Theory," Journal of the Optical Society of America, Vol.61, pp.1-11, (1971).
骨格／テクスチャ分離法を用いた場合とCenter/Surround Retinex法を用いた場合との分離結果の違いのイメージを示す図を図６に示す。図６は、画像を１次元で考えた場合の分離イメージであり、横軸が座標を表し、縦軸が各成分の値を表す。骨格／テクスチャ分離法を用いた場合は、非テクスチャ成分に強度の大きなエッジ（横軸座標値が１００付近と３００付近に存在）が保存される。Center/Surround Retinex法を用いた場合は、強度の大きなエッジ（横軸座標値が１００付近と３００付近に存在）はテクスチャ成分に保存される。本実施形態は、どちらの手法を用いて画像成分を分離した場合にも画質向上の効果が得られるものである。

次に、骨格／テクスチャ分離法について、数式を用いて簡単に説明する。なお、詳細については「Proc. SPIE-IS&T Electronic Imaging, 6502, pp.650213:1-650213:12, Jan. 2007」を参照されたい。骨格／テクスチャ分離法は、入力画像Ｉを被写体の大まかな構造を表す骨格成分（非テクスチャ成分Ｕに相当）と被写体の表面における微小な振動を表すテクスチャ成分（テクスチャ成分Ｖに相当）に分離する手法である。この手法には、

で表される加算分離型と、

で表される乗算分離型がある。ここで、ｘ、ｙはそれぞれ、ｘ座標およびｙ座標の値を表す。以下では、乗算分離型についてのみ説明する。

この手法は以下の式（５）で表される最小化問題として扱うことができる。

ここで、ｆは入力画像Ｉを対数変換した入力画像対数関数、ｕ，ｖはそれぞれ骨格成分Ｕ、テクスチャ成分Ｖを対数変換した対数骨格関数および対数テクスチャ関数であり、μは対数テクスチャ関数ｖのノルムの上限を調整するパラメータであり、γは残差ｆ−ｕ−ｖの許容範囲を調整するパラメータである。また、Ｊ（ｕ）は、式（６）で定義されるTotal Variationエネルギーであり、ＸおよびＧは、それぞれ、画像関数空間と、有界変動関数空間の双対空間に近接する振動関数空間である。

式（５）のエネルギー最小化問題は以下に示す射影アルゴリズムにより解ける。

[射影アルゴリズム]
（１）初期化（Initialization）：

（２）反復（Iterations）：

ここで、

は関数ｆの部分空間

への正射影を表す。なお、λ＝μまたはγである。

（３）収束判定（Convergence test）：

ここで、εは任意の定数である。

最後に、射影アルゴリズムにより得られたｕとｖをそれぞれ指数変換し、骨格成分Ｕとテクスチャ成分Ｖを得る。

次に、Center/Surround Retinex法について、数式を用いて簡単に説明する。Center/Surround Retinex法は、入力画像Ｉを照明成分（非テクスチャ成分Ｕに相当）と反射成分（テクスチャ成分Ｖに相当）に分離する手法である。

入力画像Ｉ ＝ 照明成分Ｕ × 反射成分Ｖ （１３）
まず、照明成分Ｕは式（１４）で推定される。

ここで、

はフィルタサイズＭ×Ｍのガウシアンフィルタ、*はコンボリューション積分をそれぞれ示す。ガウシアンフィルタ

は以下の式で表される。

ここで、Ｋは

を満たす値であり、σは標準偏差を示す。

続いて、入力画像Ｉと照明成分Ｕを用いて次式により反射成分Ｖが推定される。

（ステップＳ２０４）
テクスチャ成分調整制御部１０３が目標画質データ１０９を読み込み、ステップＳ２０５に進む。

目標画質データ１０９は、画像の鮮鋭感を強調するか否かを表す画質鮮鋭フラグと、立体感を強調するか滑らかさを強調するかを表す立体感／滑らかさフラグから成る。図７に各フラグのとり得る値を示す。画質鮮鋭フラグは、図７（ａ）に示すように、鮮鋭感を強調しないことを表す０、または、鮮鋭感を強調することを表す１の値をもつ。立体感／滑らかさフラグは、図７（ｂ）に示すように、立体感を強調することを表す０、または、滑らかさを強調することを表す１の値をもつ。これはユーザが任意に指定するものである。

（ステップＳ２０５）
テクスチャ成分調整制御部１０３が目標画質データ１０９およびテクスチャタイプ検出結果１１０から、テクスチャ成分調整係数１１１を決定し、出力し、Ｓ２０６に進む。

テクスチャ成分調整後のテクスチャ成分をＶ’としたとき、下記の式（１７）または式（１８）のａ_ｉをテクスチャ成分調整係数１１１と呼ぶ。骨格／テクスチャ分離法の乗算分離型のモデルを用いた場合、および、Center/Surround Retinex法を用いた場合には、式（１７）で変換し、骨格／テクスチャ分離法の加算分離型のモデルを用いた場合には、式（１７）または式（１８）で変換する。

テクスチャタイプと調整係数ａ_ｉの関係を図８に示す。この関係は、テクスチャ成分調整制御部１０３が設定する。
テクスチャタイプＴ１に属する画素における調整係数ａ_ｉは、画質鮮鋭フラグの値により決定する。画質鮮鋭フラグが０の場合、テクスチャタイプＴ１に属する画素に対する調整処理は行わない（テクスチャ成分調整係数ａ_ｉ＝１、テクスチャ成分の振幅を維持することに対応する）。画質鮮鋭フラグが１の場合、テクスチャタイプＴ１に属する画素の輝度値を強調する（テクスチャ成分調整係数ａ_ｉ＞１、テクスチャ成分の振幅を強調することに対応する）。

テクスチャタイプＴ２に属する画素における調整係数ａ_ｉは、立体感／滑らかさフラグの値により決定する。立体感／滑らかさフラグが０の場合、テクスチャタイプＴ２に属する画素の輝度値を強調する（テクスチャ成分調整係数ａ_ｉ＞１）。立体感／滑らかさフラグが１の場合、テクスチャタイプＴ２に属する画素の輝度値を弱める（テクスチャ成分調整係数ａ_ｉ＜１、テクスチャ成分の振幅を減衰させることに対応する）。

テクスチャタイプＴ３に属する画素に対する調整処理は、フラグの値によらず行わない（テクスチャ成分調整係数＝１）。この理由は、輝度値変化が小さいテクスチャに対して輝度値調整を行うと、画素間の一様性が崩れ、質感の低下を招くためである。

（ステップＳ２０６）
式（１７）または式（１８）により、テクスチャ成分１０８を、テクスチャ成分調整係数１１１を用いて成分調整し、調整後テクスチャ成分１１２を出力し、Ｓ２０７へ進む。式（１７）または式（１８）におけるＶ’が調整後テクスチャ成分１１２、Ｖがテクスチャ成分１０８、ａ_ｉがテクスチャ成分調整係数１１１である。

（ステップＳ２０７）画像成分合成部１０５が調整後テクスチャ成分１１２（Ｖ’（ｘ，ｙ））と非テクスチャ成分１０７（Ｕ（ｘ，ｙ））を合成し、質感向上画像１１３を得る。

ステップＳ２０３における画像成分分離処理において、骨格／テクスチャ分離法の乗算分離型のモデルを用いた場合、および、Center/Surround Retinex法を用いた場合には、下記の式（１９）を用いて合成し、骨格／テクスチャ分離法の加算分離型のモデルを用いた場合には、下記の式（２０）を用いて合成する。

質感向上画像１１３ ＝ Ｕ（ｘ，ｙ） × Ｖ’（ｘ，ｙ） （１９）
質感向上画像１１３ ＝ Ｕ（ｘ，ｙ） ＋ Ｖ’（ｘ，ｙ） （２０）
（ステップＳ２０８）画像成分合成部１０５が質感向上画像１１３を出力し、処理を終了する。

以上説明した実施形態により、テクスチャタイプおよび目標画質データに応じた、テクスチャ成分の輝度値調整係数の決定が可能となる。これにより、過強調を生じさせることなく、目標とする質感に寄与する成分のみを調整することができる。すなわち、本実施形態によれば、画像の質感を向上させることができる。

以下、本実施形態の変形例について説明する。
（第１の変形例）
上記の実施形態では目標画質データに含まれる画像鮮鋭フラグをユーザが指定するが、第１の変形例では装置内で自動的に画像鮮鋭フラグを決定するように変更する。

第１の変形例の画像高画質化装置について図９を参照して説明する。
本変形例の画像高画質化装置９００は、図１の画像高画質化装置１００に画像鮮鋭フラグ決定部９０１が追加されたものである。

画像鮮鋭フラグ決定部９０１は、画像ソースから高画質化対象画像１０６を受け取り、高画質化対象画像１０６の鮮鋭感を鮮鋭度として計測し、この鮮鋭度に応じて画像鮮鋭フラグ９０３を決定する。画像鮮鋭フラグ決定部９０１は、画像鮮鋭フラグ９０３をテクスチャ成分調整制御部１０３に渡す。テクスチャ成分調整制御部１０３は、入力装置から立体感／滑らかさフラグ９０２のみを受け取り、画像鮮鋭フラグ９０３は画像鮮鋭フラグ決定部９０１から受け取る。

次に、図９の画像高画質化装置９００の動作の一例について図１０を参照して説明する。特に画像鮮鋭フラグ決定部９０１が動作するステップＳ１００２について詳細に説明する。図３から図８を参照して説明する。図２からの変更点のみを説明する。

Ｓ２０３のあとは、Ｓ２０４ではなく、ステップＳ１００１に進む。
（ステップＳ１００１）テクスチャ成分調整制御部１０３が立体感／滑らかさフラグ９０２を読み込み、ステップＳ１００２に進む。立体感／滑らかさフラグは、目標画質データ１０９に含まれる立体感／滑らかさフラグと同一のものである。

（ステップＳ１００２）画像鮮鋭フラグ決定部９０１が高画質化対象画像１０６の鮮鋭度を測定し、鮮鋭度が閾値以上の値だった場合には画像鮮鋭フラグ９０３を０、閾値より低い値だった場合には画像鮮鋭フラグ９０３を１に設定し、Ｓ２０５へ進む。

画像の鮮鋭度を計測する手法には、参考文献４に記載されているデルタヒストグラムを用いた手法が知られているが、その他の手法を用いてもよい。
参考文献４：三宅洋一，"ディジタルカラー画像の解析・評価"，第８章，pp.111-112，東京大学出版会，（２０００）．
第１の変形例によれば、画像鮮鋭フラグを自動的に決定することが可能となる。すなわち、ユーザの入力項目を削減することができ、ユーザの負担を軽減する効果がある。第１の変形例の画像高画質化装置から出力される画像の画質については、上記実施形態の画像高画質化装置の出力画像と同質の画像を取得することができる。

（第２の変形例）
上記の実施形態および第１の変形例では、テクスチャ成分調整制御部１０３が行うテクスチャ成分調整係数１１１の決定を、図８に示すグラフにより決定し（ステップＳ２０５）、各テクスチャタイプにおける調整係数は固定値であるが、本変形例では調整係数を固定値としない場合である。テクスチャ成分調整制御部１０３は、例えば、図１１から図１６に示すように、調整係数が１以外の領域では、１次以上の次数をもつ関数によって調整係数を決定する。

図１１に示す例では、隣接画素間の輝度差が大きい領域をより強く調整することができる。これにより、質感向上画像１１３の鮮鋭感はより向上し、また、立体感あるいは滑らかさもより強調させる効果がある。

図１２に示す例では、隣接画素間の輝度差が小さい領域をより強く調整することができる。これにより、質感向上画像１１３の鮮鋭感の強調をある程度に抑えつつ、細かなエッジ成分を際立たせる効果、または、細部のテクスチャの調整により強調が可能な立体感あるいは滑らかさをより強調する効果がある。

図１３、図１４に示す例、および、図１５、図１６に示す例は、それぞれ、図１１および図１２の調整係数の決定を、更に細かく設定できるように変更したものである。これにより、テクスチャ成分の輝度値調整をより柔軟にする効果がある。

なお、本実施形態では、目標画質データとして、画像鮮鋭フラグと、立体感／滑らかさフラグの２種類を必要としたが、いずれか一方のみを用いてもよい。画像鮮鋭フラグのみを用いた場合、画像を鮮鋭にする効果があり、立体感／滑らかさフラグのみを用いた場合、画像の立体感、または滑らかさを調整する効果がある。

以上に示した実施形態によれば、テクスチャ成分の輝度値調整をテクスチャのタイプに応じて切り替えることで、目標とする画質に応じた画像高画質化処理が可能となり、画像の質感を向上させることができる。

また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の画像高画質化装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の画像高画質化装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本願発明における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本願発明におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の実施形態における機能を実現することが可能な機器、装置を総称している。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の実施形態に係わる画像高画質化装置を示すブロック図。 図１の画像高画質化装置の動作の一例を示すフローチャート。 図１のテクスチャタイプ検出部が画像成分を複数のテクスチャタイプに分割する一例を示す図。 テクスチャタイプと輝度差の関係の一例を示す図。 図１のテクスチャタイプ検出部が行う隣接画素間の輝度差の算出手法を説明するための図。 図１の画像成分分離部が行う骨格／テクスチャ分離法とCenter/Surround Retinex法の分離を説明するための図。 図１のテクスチャ成分調整制御部が受け取る目標画質データに含まれる値を示す図。 図１のテクスチャ成分調整制御部で設定されているテクスチャ成分調整係数の決定手法を示す図。 第１の変形例の画像高画質化装置を示すブロック図。 図９の画像高画質化装置の動作の一例を示すフローチャート。 図８のテクスチャ成分調整係数の決定手法の第１の別例を示す図。 図８のテクスチャ成分調整係数の決定手法の第２の別例を示す図。 図８のテクスチャ成分調整係数の決定手法の第３の別例を示す図。 図８のテクスチャ成分調整係数の決定手法の第４の別例を示す図。 図８のテクスチャ成分調整係数の決定手法の第５の別例を示す図。 図８のテクスチャ成分調整係数の決定手法の第６の別例を示す図。

符号の説明

１００、９００・・・画像高画質化装置、１０１・・・画像成分分離部、１０２・・・テクスチャタイプ検出部、１０３・・・テクスチャ成分調整制御部、１０４・・・テクスチャ成分調整部、１０５・・・画像成分合成部、１０６・・・高画質化対象画像、１０７・・・非テクスチャ成分、１０８・・・テクスチャ成分、１０９・・・目標画質データ、１１０・・・テクスチャタイプ検出結果、１１１・・・テクスチャ成分調整係数、１１２・・・調整後テクスチャ成分、１１３・・・質感向上画像、９０１・・・画像鮮鋭フラグ決定部、９０２・・・立体感／滑らかさフラグ、９０３・・・画像鮮鋭フラグ。

Claims (10)

1. 高画質化対象画像を画像ソースから取得する第１取得手段と、
   画像の質感を強調するか否かを示す目標画質データを入力装置から取得する第２取得手段と、
   前記高画質化対象画像をテクスチャ成分と非テクスチャ成分とに分離する分離手段と、
   前記高画質化対象画像に含まれる画素ごとに、該画素を含む複数の画素で決まる値と０より大きい１つ以上の閾値との大小で決まる、２以上のテクスチャタイプのいずれか１つを検出する検出手段と、
   前記目標画質データと前記テクスチャタイプとに応じて前記テクスチャ成分の振幅をどのように強調、減衰、維持するかを決定する調整係数を設定する設定手段と、
   前記調整係数にしたがって前記テクスチャ成分を調整し調整後テクスチャ成分を生成する第１生成手段と、
   前記調整後テクスチャ成分と前記非テクスチャ成分とを合成して出力画像を生成する第２生成手段と、を具備することを特徴とする画像高画質化装置。
2. 前記検出手段は、前記高画質化対象画像に含まれる画素ごとに、該画素と該画素の複数の隣接画素との間の輝度差の最大値と１以上の閾値との大小で決まる２以上のテクスチャタイプのいずれか１つを検出することを特徴とする請求項１に記載の画像高画質化装置。
3. 前記検出手段は、前記高画質化対象画像に含まれる画素ごとに、該画素を含む複数の画素を含む局所ブロック内の特徴量であって該局所ブロック内の輝度変化が大きいほど大きい値をとるような特徴量と０より大きい１つ以上の閾値との大小で決まる２以上のテクスチャタイプのいずれか１つを検出することを特徴とする請求項１に記載の画像高画質化装置。
4. 前記特徴量は、分散値またはテクスチャ解析による慣性であることを特徴とする請求項３に記載の画像高画質化装置。
5. 前記分離手段は、骨格／テクスチャ分離法またはCenter/Surround Retinex法を使用して、前記高画質化対象画像をテクスチャ成分と非テクスチャ成分とに分離することを特徴とする請求項１から請求項４のいずれか１項に記載の画像高画質化装置。
6. 前記第２取得手段は、前記目標画質データとして、画像に含まれる物体の輪郭が明瞭である質感を示す鮮鋭感を強調するか否かを示すデータと、画像に含まれる物体の凹凸が明瞭である質感を示す立体感を強調するかまたは画像に含まれる物体の凹凸が明瞭でなく滑らかである質感を示す滑らかさを強調するかを示すデータとを取得することを特徴とする請求項１から請求項５のいずれか１項に記載の画像高画質化装置。
7. 前記高画質化対象画像に含まれる物体の輪郭が明瞭である質感を示す鮮鋭感を鮮鋭度として測定する測定手段と、
   前記鮮鋭度が閾値以上である場合には前記鮮鋭感を強調しないことを示すデータを生成し、前記鮮鋭度が閾値未満である場合には前記鮮鋭感を強調することを示すデータを生成する生成手段と、をさらに具備することを特徴とする請求項１から請求項５のいずれか１項に記載の画像高画質化装置。
8. 前記第２取得手段は、前記目標画質データとして、画像に含まれる物体の凹凸が明瞭である質感を示す立体感を強調するかまたは画像に含まれる物体の凹凸が明瞭でなく滑らかである質感を示す滑らかさを強調するかを示すデータを取得することを特徴とする請求項７に記載の画像高画質化装置。
9. 高画質化対象画像を画像ソースから取得し、
   画像の質感を強調するか否かを示す目標画質データを入力装置から取得し、
   前記高画質化対象画像をテクスチャ成分と非テクスチャ成分とに分離し、
   前記高画質化対象画像に含まれる画素ごとに、該画素を含む複数の画素で決まる値と０より大きい１つ以上の閾値との大小で決まる２以上のテクスチャタイプのいずれか１つを検出し、
   前記目標画質データと前記テクスチャタイプとに応じて前記テクスチャ成分の振幅をどのように強調、減衰、維持するかを決定する調整係数を設定し、
   前記調整係数にしたがって前記テクスチャ成分を調整し調整後テクスチャ成分を生成し、
   前記調整後テクスチャ成分と前記非テクスチャ成分とを合成して出力画像を生成することを特徴とする画像高画質化方法。
10. コンピュータを、
    高画質化対象画像を画像ソースから取得する第１取得手段と、
    画像の質感を強調するか否かを示す目標画質データを入力装置から取得する第２取得手段と、
    前記高画質化対象画像をテクスチャ成分と非テクスチャ成分とに分離する分離手段と、
    前記高画質化対象画像に含まれる画素ごとに、該画素を含む複数の画素で決まる値と０より大きい１つ以上の閾値との大小で決まる２以上のテクスチャタイプのいずれか１つを検出する検出手段と、
    前記目標画質データと前記テクスチャタイプとに応じて前記テクスチャ成分の振幅をどのように強調、減衰、維持するかを決定する調整係数を設定する設定手段と、
    前記調整係数にしたがって前記テクスチャ成分を調整し調整後テクスチャ成分を生成する第１生成手段と、
    前記調整後テクスチャ成分と前記非テクスチャ成分とを合成して出力画像を生成する第２生成手段として機能させるための画像高画質化プログラム。

Images