JP2016218502A - 画像処理装置、制御方法およびプログラム - Google Patents

Abstract

【課題】線画像の周辺にアーティファクトが発生する不具合を解消する。【解決手段】起点画像データから第１の中間画像データを生成し、第１の中間画像データから次解像度の起点画像データを生成し、第１の中間画像データから第２の中間画像データを生成し、第１の中間画像データと第２の中間画像データとから所定解像度における第１の代表画像データを生成し、起点画像データと第１の中間画像データとから所定解像度における第２の代表画像データを生成し、次解像度の起点画像データを所定解像度の起点画像データとして一連の処理を繰り返す代表画像データ生成手段と、生成された代表画像データに所定の操作を行う代表画像データ操作手段と、操作された第１および第２の代表画像データに基づいて画像データの明るさ成分の再構成を行う再構成手段と、を有するよう、画像処理装置を構成する。【選択図】図２

Description

本発明は、画像処理装置に関する。

風景などを撮影装置で撮影し、その撮影した画像を表示装置に表示した際に、撮影者が実際に目で見た画像と比較して、かすみやモヤがかかったような印象となることがある。このことを、明瞭度の欠如と表現する。また、表示装置に表示した画像は、撮影者が実際に目で見た映像の凹凸感と比較して、平面的のような印象となることがある。このことを、凹凸感の欠如と表現する。凹凸感としては、例えば、風景画像における木々の盛りあがった状態や岩肌のごつごつした状態などがあげられる。

上述した明瞭感や凹凸感の欠如の改善に寄与する手法としては、古くから多くの手法が提案されている。代表的な手法としては、トーンカーブによるコントラスト強調、アンシャープマスクなどがあげられる。

しかし、近年の技術進展に伴い、上述した古くから使用されている手法では不十分といわざるを得ない。例えば、トーンカーブによるコントラスト強調では、表示装置のダイナミックレンジをすでに十分に使っているような画像に適用した場合は、副作用を発生することなくコントラストを強調することができない。副作用としては、例えば、コントラストが強調されずに減少してしまう箇所が発生してしまうことがあげられる。また、アンシャープマスクでは、濃度勾配の大きなエッジ箇所が強調され過ぎてしまう一方で、小さな濃度勾配に相当する凹凸感などは強調され難いといった問題がある。

このような状況に対して、明瞭感や凹凸感に関する効果を有する手法も最近では提案されている。トーンカーブやアンシャープマスクなどの従来技術とは異なる手法の１つとして、元画像から生成された複数の解像度の画像からなる多重解像度画像を使用した画像処理が提案されている。多重解像度画像を使用した画像処理としては、ノイズ低減、コントラストの改善を目的としたものがある。多重解像度画像を使用した画像処理は、明瞭感や凹凸感の欠如といった問題に対しても有効である。

例えば、特許文献１（特許３４０２６３０号公報）は、ダイナミックレンジを拡大することなく画像のコントラストを改善する技術について開示されている。特許文献１では、多重解像度画像を生成し、ルックアップテーブルで変換した後に、再構成を行い出力画像を得るといった構成になっている。これにより、ダイナミックレンジを拡大することなく、信号レベルの全レベルにわたって画像のコントラストを改善することを可能にしている。

しかし、特許文献１の構成では、コントラスト強調を行った場合に、画像中の均一輝度領域中に線画像などがあるといった箇所において、線画像の周辺にコントラスト強調を行う前には存在しなかった人工的な濃淡が発生することが判明した。人工的な濃淡は、アーティファクトと称する。実例としては、風景画像などの空の領域中にいわゆる電線が走っているといった箇所において、コントラスト強調を行った結果、電線の周囲の空の領域中に強調前には存在しなかったアーティファクトが発生する例をあげることができる。

本発明の目的は、線画像の周辺にアーティファクトが発生するといった不具合を解消することである。

本発明にかかる画像処理装置は、
所定解像度の起点画像データの明るさ成分から該解像度における代表画像データを生成する代表画像データ生成手段と、
前記生成された代表画像データに所定の操作を行う代表画像データ操作手段と、
前記操作された代表画像データに基づいて画像データの明るさ成分の再構成を行う再構成手段と、を有する画像処理装置であって、
前記代表画像データ生成手段は、
前記起点画像データに対して平滑化処理を施し第１の中間画像データを生成する手段と、
前記第１の中間画像データをスケールダウンすることで次解像度の起点画像データを生成する手段と、
前記第１の画像データをスケールダウンおよびスケールアップすることで第２の中間画像データを生成する手段と、
前記第１の中間画像データと前記第２の中間画像データとから、前記所定解像度における第１の代表画像データを生成する手段と、
前記起点画像データと前記第１の中間画像データとから、前記所定解像度における第２の代表画像データを生成する手段と、を有し、前記次解像度の起点画像データを前記所定解像度の画像データとして一連の処理を繰り返し、
前記再構成手段は、
前記第１および第２の代表画像データに基づいて再構成を行う、ことを特徴とする。

本発明の一態様によれば、線画像の周辺にアーティファクトが発生するといった不具合を解消することができる。

本実施形態の画像処理装置１００の構成例を示す図である。 画像処理部２の構成例を示す図である。 図２に示すFilter1での平滑化フィルタ例を示す図である。 図２に示すFilter2での平滑化フィルタ例を示す図である。 第１の代表画像データに対してデータ値操作を行う前・後の関係例を示す図である。 第２の代表画像データに対してデータ値操作を行う前・後の関係例を示す図である。 第２の実施形態の画像処理部２の構成例を示す図である。 フィルタ係数における中心画素の重みＷＲを変えて行った比較実験結果を示す図である。 第４の実施形態でのデータ値操作における操作前後の第１の代表画像データの値の関係例を示す第１の図である。 第４の実施形態でのデータ値操作における操作前後の第１の代表画像データの値の関係例を示す第２の図である。 第６の実施形態でのデータ値操作における操作前後の第１の代表画像データの値の関係例を示す図である。

（本発明の一態様にかかる画像処理装置１００の実施形態の概要）
まず、図１、図２を参照しながら、本発明の一態様にかかる画像処理装置１００の概要について説明する。図１、図２は、本発明の一態様にかかる画像処理装置１００の構成例を示す図である。

本発明の一態様にかかる画像処理装置１００は、図１に示すように、代表画像データ生成部２１と、代表画像データ操作部２２と、再構成部２３と、を有して構成する。

代表画像データ生成部２１は、所定解像度の起点画像データの明るさ成分から所定解像度における代表画像データを生成する。代表画像データ操作部２２は、生成された代表画像データに所定の操作を行う。再構成部２３は、操作された代表画像データに基づいて画像データの明るさ成分の再構成を行う。

本発明の一態様にかかる代表画像データ生成部２１は、図２に示すように、所定解像度の起点画像データに対して平滑化処理を施し第１の中間画像データを生成する。また、第１の中間画像データをスケールダウンすることで次解像度の起点画像データを生成する。また、第１の中間画像データをスケールダウンおよびスケールアップすることで第２の中間画像データを生成する。また、第１の中間画像データと第２の中間画像データとから、当該解像度における第１の代表画像データを生成する。また、起点画像データと第１の中間画像データとから、当該解像度レベルにおける第２の代表画像データを生成する。これにより、１つの解像度あたり２つの代表画像データを生成する。

また、本発明の一態様にかかる再構成部２３は、図２に示すように、代表画像データに基づいて再構成を行う。

これにより、本発明の一態様にかかる画像処理装置１００は、線画像の周辺にアーティファクトが発生するといった不具合を解消することができる。以下、添付図面を参照しながら、本発明の一態様にかかる画像処理装置１００について詳細に説明する。

（第１の実施形態）
＜画像処理装置１００の構成例＞
まず、図１を参照しながら、本実施形態の画像処理装置１００の構成例について説明する。図１は、本実施形態の画像処理装置１００の構成例を示す図である。

本実施形態の画像処理装置１００は、色分解部１、画像処理部２、色合成部３を有して構成する。

色分解部１は、画像処理装置１００に入力された汎用形式のカラー画像データを、明るさ成分の画像データと、色成分の画像データと、に分解する。

画像処理部２は、代表画像データ生成部２１、代表画像データ操作部２２、再構成部２３を有して構成する。代表画像データ生成部２１は、色分解部１で分解された明るさ成分の画像データを基に入力された画像データの解像度における代表画像データの生成である代表画像データ生成処理を行う。代表画像データ操作部２２は、代表画像データ生成部２１で生成した代表画像データへの所定の操作である代表画像データ操作処理を行う。再構成部２３は、代表画像データ操作部２２で所定の操作が行われた代表画像データに基づく画像データの再構成である再構成処理を行う。画像処理部２は、上述した一連の処理を再帰的に行う。

色合成部３は、色分解部１で分解された色成分の画像データと、画像処理部２から出力された明るさ成分の画像データと、を合成し、カラー画像データを出力する。

本実施形態の画像処理装置１００は、図１に示す構成を有することで、色分解部１において、カラー画像データを、明るさ成分の画像データと、色成分の画像データと、に分解する。次に、画像処理部２では、代表画像データ生成部２１において代表画像データを生成する。そして、代表画像データ操作部２２において代表画像データに所定の操作を行う。そして、再構成部２３において代表画像データに基づいて画像データの明るさ成分の再構成を行う。次に、色合成部３において、色分解部１で分解された色成分の画像データと、画像処理部２から出力された明るさ成分の画像データと、を合成し、カラー画像データを出力することになる。

なお、本実施形態の画像処理装置１００に入力される画像データはＴＩＦ形式であり、ＲＧＢの３つの色成分を有し、１画素あたり各色１６ｂｉｔのデータを有している。但し、本実施形態の画像処理装置１００に入力される画像データのファイル形式はＴＩＦ形式に限定されるものではなく、JＰＥＧ、ＰＮＧなどの他のファイル形式であっても良い。また、色成分に関してもＲＧＢ色空間に限定されるものではなく、ＲＧＢ以外の色空間であっても良く、１画素あたりのデータ量も１６ｂｉｔ以外のデータ量であっても良い。

本実施形態では、ＲＧＢの色成分を持つ入力画像データの各画素をＹＣｒＣｂ色空間へ変換する場合を例に説明する。本実施形態では、ＲＧＢからＹＣｒＣｂへの変換を下記の（式１）によって行うものとする。但し、以下のＹＣｒＣｂ色空間への変換は一例であり、例えば、明るさ成分（または明度成分）と色成分とを有するような色空間であるＬａ＊ｂ＊色空間、ＨＳＶ色空間などに変換しても良い。

＜画像処理部２の構成例＞
次に、図２を参照しながら、本実施形態の画像処理部２の構成例について説明する。図２は、図１に示す画像処理部２の詳細構成例を示す図である。図２は、ある１つの解像度レベルに着目し、各解像レベルにおいて上述した一連の処理を繰り返し行うことになる。図２では、着目する解像度レベルを解像度レベルｎとしている。

画像処理部２は、代表画像データ生成部２１において代表画像データの生成を行う。本実施形態では上述したＹＣｒＣｂ色空間でのＹ成分に対して多重解像度画像を構成する各解像度の代表画像データの生成を行う。本実施形態では、代表画像データ操作部２２において画像操作を行う前のＹ成分の画像データをＹ（x,y）と表す。以下、代表画像データ生成部２１での代表画像データの生成について説明する。

本実施形態の代表画像データ生成部２１では、図２に示すように、解像度レベルｎの起点画像に対して、『Filter1』によって平滑化処理を施し、第１の中間画像データを生成する。なお、解像度レベルｎの起点画像データの画像サイズは、（Ｍn，Ｎn）サイズとする。『Filter1』において使用する平滑化フィルタのフィルタ係数例を図３に示す。但し、図３に示すフィルタ係数は、一例であり、図３に示すフィルタ係数以外の他のフィルタ係数、フィルタサイズであっても良い。『Filter1』において使用する平滑化フィルタは、画像を平滑化する機能を有するものであれば、どのような平滑化処理でもよい。

次に、第１の中間画像データに対して、『Filter2』によって５×５のガウシアンフィルタにより平滑化処理を施す。『Filter2』において使用する５×５のガウシアンフィルタのフィルタ係数例を図４に示す。但し、図４に示すフィルタ係数は、一例であり、図４に示すフィルタ係数以外の他のフィルタ係数、フィルタサイズであってもよい。

次に、『Filter2』において平滑化処理を施した画像データを基に、偶数番号が割り当てられた行・列の画素データから構成される縦横１／２サイズの画像データを生成する。この画像データのことを以下ではスケールダウン画像と称し、こうした処理をスケールダウンと称することにする。なお、本実施形態では先頭行および先頭列をそれぞれ、０行目および０列目と呼ぶことにする。つまり、本実施形態では画像データは偶数番号が割り当てられた列・行から始まることにする。

スケールダウン画像データの画像サイズは、（Ｍn／２,Ｎn／２）となる。このスケールダウン画像データは、次の解像度レベルである、解像度レベル（ｎ＋１）の起点画像データとなる。

また、スケールダウン画像のサイズをふたたび縦横２倍にして元の入力画像サイズと同じ（Ｍn，Ｎn）サイズの画像データを生成する。このとき、行・列がともに偶数番号の画素には、上述のスケールダウン画像の各データ値を割り当てる。また、行・列のどちらかが奇数番号の画素には、行・列がともに偶数番号の画素と同一の画素データ値をひとまず割り当てる。これにより、同一の画素データを持つ４つの画素が生成される。この画像データのことを以下ではスケールアップ画像と称し、こうした処理をスケールアップと称することにする。

その後、『Filter2』によって５×５のガウシアンフィルタにより平滑化処理を施し、第２の中間画像データを生成する。この『Filter2』において使用する５×５のガウシアンフィルタのフィルタ係数例を図４に示す。

次に、『Filter1』によって生成された第１の中間画像データと、『Filter2』によって生成された第２の中間画像データと、の差分を各画素について計算した画像データを生成する。この画像データのことを以下では解像度レベルｎでの第１の代表画像データと称する。

代表画像データ生成部２１は、上記の処理を行うことで、解像度レベルｎでの第１の代表画像データを生成し、この解像度レベルｎでの第１の代表画像データは、（Ｍn，Ｎn）サイズの画像データとなる。

次に、代表画像データ生成部２１は、起点画像データと、第１の中間画像データと、の差分を各画素について計算した画像データを生成する。この画像データのことを以下では解像度レベルｎでの第２の代表画像データと称することにする。

代表画像データ生成部２１は、上記の処理を行うことで、解像度レベルｎでの第２の代表画像データを生成し、この解像度レベルｎでの第２の代表画像データは、（Ｍn，Ｎn）サイズの画像データとなる。

本実施形態の代表画像データ生成部２１では、上述した平滑化処理、スケールダウン、スケールアップ、解像度レベルの代表画像データの算出を行う。そして、最終的に、（２，２）サイズの代表画像データが算出されるまで、次解像度レベルの起点画像データとして出力したスケールダウン画像データを起点画像データとして入力することにより上述した処理を繰り返し、多重解像度画像を生成する。

本実施形態では、各解像度レベルで、第１の代表画像データと、第２の代表画像データと、の２つの代表画像データを生成することになる。解像度レベル０（元画像と同じサイズ）の代表画像データの画像サイズ（Ｍ，Ｎ）から解像度レベルｎmaxの（２,２）サイズの代表画像データまでの一連の２つの代表画像データが、多重解像度画像の各解像度レベルの画像に対応している。なお、解像度レベルｎmaxは入力画像の画像サイズに応じて異なる値となる。

なお、上述した処理では、スケールダウン、スケールアップでは、平滑化フィルタとして５×５のガウシアンフィルタを使用したが、これ以外の平滑化フィルタを使用しても良い。また、平滑化フィルタではなく、いわゆる補間処理を使用して、スケールダウン、スケールアップを行っても良い。補間処理の具体例としては、バイリニア法、バイキュービック法などをあげることができ、これらを適用して、スケールダウン、スケールアップを行うことができる。

また、上述した処理では、第１の代表画像データは、第１の中間画像データと第２の中間画像データとの差分としている。しかし、差分以外の方法で、第１の代表画像データを算出しても良い。例えば、第１の中間画像データと第２の中間画像データとの比率としても良い。同様に、上述した処理では、第２の代表画像データは、起点画像データと第１の中間画像データとの差分としている。しかし、差分以外の方法で、第２の代表画像データを算出しても良い。例えば、起点画像データと第１の中間画像データとの比率としても良い。

なお、本実施形態では、スケールダウンを繰り返す際に、入力画像によっては、画像サイズが奇数となってしまう場合がある。このような場合、本実施形態では、各行・列には偶数番号である０から始まる番号を割り当てているので、偶数番号の行・列で終了することになるが、本実施形態では次のように対応する。以下では、行数を例として説明する。

画像サイズが奇数となってしまった場合は、このときの奇数の画像サイズをＰとすると、スケールダウン後の画像サイズを（Ｐ＋１）／２としてスケールダウンを行う。スケールダウン後の各画素にはスケールダウン前の偶数番号の行・列の各画素値が反映される。なお、各代表画像データにおける画像サイズの取り方は特に限定せず、任意の方法を用いることが可能である。例えば、スケールダウン前の画像サイズ（行・列）が奇数の場合は、１行（列）追加してから、１／２サイズにスケールダウンを行ってもよい。また別の方法として、入力画像の段階で画像サイズを予め２の階乗の数値となるように拡張してから本画像処理装置における画像処理を行うようにしてもよい。

次に、代表画像データ操作部２２での処理動作例について説明する。

本実施形態では、上述の処理によって算出された一連の第１の代表画像データに対して、以下のような計算式によりデータ値操作を行う。図２では、第１のデータ値操作に相当する。

ここで、上記の各文字の意味は以下のとおりである。
L'n(x,y)：解像度レベルｎにおけるデータ値操作後の代表画像データ値、ｎは０〜入力画像サイズによって決まる上限nmaxの範囲を取る。
|Ln(x,y)|：解像度レベルｎにおける変換前の代表画像データ値の絶対値、ｎは０〜入力画像サイズによって決まる上限nmaxの範囲を取る。
sign： Ln(x,y)の値が、正の場合は１、負の場合は−１
range：本実施形態では、ＹＣｒＣｂ色空間のＹ成分を元画像としており、Ｙ成分は0.0〜1.0の範囲を取るため、本実施形態では、range=0.1とした。なお、このrangeの値は元画像のダイナミックレンジに依存する。
α：本実施形態では、α=0.6とした。
grad：本実施形態では、grad=0.6とした。なお、このgradの値も元画像のダイナミックレンジに依存する。

第１の代表画像データに対して上述した（式２）によってデータ値操作を行う前・後の関係を図５に示す。図５において、実太線が（式２）の関係を示し、点線が傾き１の場合を示している。傾き１の点線が何も操作を加えない場合に対応している。図５に示す関係から明らかなように、絶対値が小さなデータ値、即ち、第１の代表画像データ値の絶対値が小さい値に対しては、相対的に大きく増加するような変化を与え、変換後にはデータ値が増加するようにしている。一方で、絶対値が大きなデータ値に対しては、相対的に小さく増加するような変化または減少するような変化を与え、変換後にはデータ値が少なめの増加あるいは減少となるようにしている。

なお、第１の代表画像データに対する上述した操作は一例であり、上述した操作以外の方法を用いて操作を行うことも可能である。例えば、上述した（式２）のような数式によって表現することはできず、ルックアップテーブル（ＬＵＴ）のような方法で代表画像データに対して操作しても良い。

なお、本実施形態では、入力画像のダイナミックレンジ（Ｄｒ）は、ＹＣｒＣｂ色空間のＹ成分であるので1.0となる。入力画像は、0.0〜1.0の値を取る。

また、本実施形態では各解像度レベルにおける第１の代表画像データのデータ値を増加させるように操作したデータ値範囲（Ｌ／Ｄｒ）は上述のrangeに対応するため、0.1という値になる。このため、本実施形態では、データ値範囲（Ｌ／Ｄｒ）は、下記の（式３）の関係式を満たす条件となっている。

（式３）
Ｌ／Ｄｒ＜０．１

第２の代表画像データに対して上述した（式２）によってデータ値操作を行う前・後の関係を図６に示す。図６において、実太線が（式２）の関係を示し、点線が傾き１の場合を示している。傾き１の点線が何も操作を加えない場合に対応している。図６に示す関係から明らかなように、上述した第１の代表画像データとは異なり、変換前・後の関係を直線で表すことができる。なお、本実施形態では、この変換前・後での関係が、傾きが１よりも大きな直線となるような関係となっていることが特徴である。変換前・後での関係を、傾きが１以上となる直線となるように設定することで、画像の細部のボケを悪化させることなくむしろ画像細部のキレを向上または維持させることができる。

次に、再構成部２３での処理動作例について説明する。

本実施形態では、上述した代表画像データ生成部２１と逆の操作を繰り返し、Ｙ成分画像を再構成する。本実施形態では、低解像度側の解像度レベルから計算を始めて、スケールアップ後に、『Filter2』によって５×５のガウシアンフィルタにより平滑化処理を施す。そして、上述した１つ目の操作後の第１の代表画像データを加算する。そしてさらに、上述した２つ目の操作後の第１の代表画像データを加算する。再構成部２３ではこの操作を各解像度レベルで繰り返し行い、最終的にＹ成分画像を再構成する。

本実施形態の再構成部２３におけるスケールアップも、上述した代表画像データ生成部２１におけるスケールアップと同じ手法で計算する。つまり、スケールダウン前と同サイズの画像を生成し、行・列がともに偶数番号の画素に低解像画像のデータ値を設定する。そして、行・列のどちらかが奇数番号の場合には、行・列がともに偶数番号の画素データ値をひとまず割り当てる。その後、５×５のガウシアンフィルタにより平滑化処理を行った画像データを生成し、スケールアップ画像を生成する。ここで使用する５×５のガウシアンフィルタも、図４で示したものを使用する。

本実施形態の画像処理装置１００では、このような一連の処理によって生成された新たなＹ成分の画像データを用いて、ＹＣｒＣｂ色空間からＲＧＢ色空間への変換を行い、ＲＧＢの色成分をもつ画像データを出力画像データとして出力する。なお、本実施形態では、再構成部２３で再構成した画像データを再構成データ（Ｙ''（x,y）と称する。

図２では、ＣｒＣｂ成分については、特に何も加工をせずに使用する。なお、本実施形態では、ＣｒＣｂ成分に対して操作を行うことはしないが、彩度の強調などを行い、より鮮やかな画像を出力するようにしても良い。

本実施形態の画像処理装置１００において生成される第１の代表画像データは、いわゆるラプラシアンピラミッドそのものではない。本実施形態での代表画像データ生成部２１は、各解像度レベルの起点画像に“はじめに”平滑化処理として『Filter1』を施して第１の中間画像データを生成し、そのあとの工程においても起点画像ではなく、この第１の中間画像データを使用する。しかし、第１の代表画像データを生成する工程は、起点画像とスケールダウン・スケールアップ画像との差分を取って各解像度レベルの代表画像データを生成するものであり、上記相違点を除けば、いわゆるラプラシアンピラミッドを生成する工程と同じである。本実施形態では、第１の代表画像データを、ラプラシアンピラミッドと称することにする。但し、本実施形態では、起点画像に“はじめに”平滑化処理として『Filter1』を施す構成は必須である。

＜本実施形態の画像処理装置１００の作用・効果＞
このように、本実施形態の画像処理装置１００の代表画像データ生成部２１は、各解像度レベルにおいて、各解像度の起点画像データに対して平滑化処理を施し、第１の中間画像データを生成する。そして、第１の中間画像データをスケールダウンすることで次解像度の起点画像データを生成する。一方で、第１の中間画像データに対してスケールダウンおよびスケールアップすることで第２の中間画像データを生成する。そして、第１の中間画像データと第２の中間画像データとから、当該解像度レベルにおける第１の代表画像データを生成する。また、起点画像データと第１の中間画像データとから、当該解像度レベルにおける第２の代表画像データを生成する。代表画像データ生成部２１は、上述した一連の代表画像データの生成を各解像度レベルで繰り返すことで、第１の代表画像データと、第２の代表画像データと、の少なくとも２つの代表画像データを生成する。そして、再構成部２３は、２つの代表画像データに基づいて再構成を行う。

これにより、本実施形態の画像処理装置１００は、撮影装置や表示装置のダイナミックレンジが現実世界のダイナミックレンジと比較してはるかに小さいといったことに起因して発生する問題を解決することができる。具体的には、明瞭感や凹凸感が欠如した状態で画像が表現されてしまうといった不具合を解消し、撮影者の意図に合致した状態の画像を表現することができる。

明瞭感や凹凸感を改善した画像は、撮影対象物の臨場感や本物感を備えた画像データを獲得することにもつながる。つまり、本実施形態の構成によって得られた画像データを商品広告などに使用した場合は、商品訴求力が高く、顧客注目度の高い広告を得ることができる。もちろん、対象物の臨場感や本物感を備えた画像データは、商品広告以外のさまざまな用途に適用することができる。

また、本実施形態の画像処理装置１００は、線画像の周辺にアーティファクトが発生するといった不具合を解消することができる。本発明者の行った検討によると、多重解像度画像を使用した操作を施すことによってコントラストの強調を行った場合は、線画像の周辺にコントラスト強調を行う前には存在しなかったアーティファクトが発生するといった不具合が発生することが判明した。このような線画像の周辺にアーティファクトが発生するといった不具合は、画像の均一濃度領域中に本来は存在しない濃淡が発生するといった現象である。このため、このような画像の均一濃度領域中に本来は存在しない濃淡の発生は、その写真を知覚した者に対して著しい違和感を与える結果となるため問題となる。

本実施形態の画像処理装置１００は、多重解像度画像を操作することで明瞭感や凹凸感を改善することができる。また、線画像の周辺にコントラスト強調を行う前には存在しなかったアーティファクトが発生するといった不具合を解消することができる。

本実施形態の画像処理装置１００は、各解像度レベルの起点画像に対して平滑化処理を施すことによって第１の中間画像データを生成し、この第１の中間画像データをスケールダウンすることで次解像度レベルの起点画像を生成する。また、第１の中間画像データをスケールダウン・スケールアップすることで第２の中間画像データを生成し、第１の中間画像データと第２の中間画像データとから当該解像度レベルにおける第１の代表画像データを生成し、この第１の代表画像データを操作する。

これに対して、従来技術の構成では、各解像度レベルの起点画像に対して平滑化処理を施すことはしない。そして、起点画像そのものと、起点画像に対してスケールダウン・スケールアップしたものと、の２つから、当該解像度レベルにおける解像度画像を生成し、この解像度画像を操作する。つまり、各解像度レベルの起点画像に平滑化処理を施してから利用するといった本実施形態の構成に対して、各解像度レベルの起点画像をそのまま利用する構成であるのが従来技術の構成である。

本実施形態の画像処理装置１００は、各解像度レベルの起点画像に対して平滑化処理を施すことによって各解像度レベルで算出される第１の代表画像データは、線画像の周辺においては、濃淡の程度が緩和された形となって算出されることになる。そして、線画像の周辺においては濃淡の程度が緩和されて算出されたこの第１の代表画像データに対して、コントラスト強調操作を行うことで、明瞭感や凹凸感の改善を行う。この際に、本実施形態では、こうした線画像の周辺における濃淡の程度が平滑化処理を行わない場合にくらべて小さく維持されることになる。このため、コントラスト強調後においても、線画像の周辺においては濃淡の極端な変化が生じることがなくなり、線画像の周辺にコントラスト強調を行う前には存在しなかったアーティファクトが発生するといった問題を解消することができる。

線画像の周辺にアーティファクトが発生するといった問題に対して、本実施形態では、各解像度レベルの起点画像に対して平滑化処理を施してから使用するといった構成となっている。これにより、本実施形態では、線画像の周辺にコントラスト強調を行う前には存在しなかったアーティファクトが発生するといった不具合を解消することができるようになる。

また、従来技術の構成では、多重解像度画像を使用してコントラスト強調を行う場合は、コントラスト強調の強調程度を大きくしていくと、こうした線画像の周辺にアーティファクトが発生するといった不具合が顕著になるといった傾向がある。このため、従来技術の構成では、コントラスト強調の強調程度をあまり大きくすることができないという問題もあった。こういった問題に対しても、本実施形態の画像処理装置１００は有効となる。つまり、線画像の周辺にアーティファクトが発生するといった不具合を解消することができるため、従来技術の構成では実質的に不可能であった程度にまでコントラスト強調の大きさを引き上げることができる。そして、このような大きな強調程度を課して処理を行った画像は、非現実的な雰囲気のある画像となり、こうした画像を通常の写真画像から実現できる点も、本実施形態の画像処理装置１００の構成によって初めて実現することができる。

また、本実施形態の画像処理装置１００は、画像の細部のボケを良好に維持しつつ画像の細部のキレを向上させるができる。本実施形態の画像処理装置１００は、各解像度レベルにおいて、２つの代表画像データを生成し、この２つの代表画像データを操作した後に、この２つの代表画像データに基づいて再構成を行うといった構成になっている。このため、画像の細部のボケを良好に維持しつつ画像の細部のキレを向上させるができるようになる。この画像の細部のボケや画像の細部のキレといった画質の観点と、生成する２つの代表画像データと、の関係は、発明者が各種行った検討によってはじめて明らかになったものである。画像の細部のボケは、明瞭感や凹凸感を意図したとおりに向上させることができる一方で、画像の細部がぼんやりとしてぼけたように感じるといった課題である。また、画像の細部のキレは、画像の細部においてもコントラストがしっかりと確保されている状態であり、かつ、コントラスト強調などの違和感が発生していないといった状態を表す好意的な方向をもつ画質項目である。このような画像の細部のボケ、画像の細部のキレに対しては、本発明者の行った検討によれば、２つの代表画像データを生成し、この２つの代表画像データを操作した後に、この２つの代表画像データに基づいて再構成を行う。これにより、画像の細部のボケを悪化させること無く画像の細部のキレを向上させることができる。特に、各解像度レベルにおいて、第２の代表画像データを生成し、データ値を操作し、その後に再構成を行うことで上記の効果を得ることができる。このとき、同時に、明瞭感や凹凸感を意図したとおりに向上させることができ、また、線画像の周辺にアーティファクトが発生するといった不具合を解消することができることは言うまでもない。

また、本実施形態の画像処理装置１００は、代表画像データ操作部２２による第１の代表画像データに対する操作によって、明瞭感や凹凸感を向上させるとともに、線画像の周辺にアーティファクトが発生するといった不具合を解消するといった効果を有する。そして、代表画像データ操作部２２は、第１の代表画像データに対する操作とは異なる操作を、第２の代表画像データに対して行う。この第２の代表画像データに対する操作では、線画像の周辺にアーティファクトが発生するといった不具合を解消することに伴う、画像の細部のボケを悪化するといったトレードオフの関係を解消することができる。つまり、第２の代表画像データを生成して操作して再構成時に利用することにより、線画像の周辺にアーティファクトが発生するといった不具合を解消する効果を維持しつつ、画像の細部のボケを悪化させること無く画像の細部のキレを向上させることができる。

また、本実施形態の画像処理装置１００は、代表画像データ操作部２２による第１の代表画像データに行う操作を、操作前後のデータ値の関係が１つの直線では表現できない変換にもとづいて行うことにしている。撮影装置や表示装置のダイナミックレンジは撮影対象の実際のダイナミックレンジと比較して非常に狭い。このため、撮影装置での撮影や表示装置での表示の際には、ダイナミックレンジの圧縮が行われるが、このときに比較的小さな濃度差を有するエッジ部や勾配もダイナミックレンジの圧縮に伴い圧縮されることになる。このとき、こうした比較的小さな濃度差を有するエッジ部や勾配も知覚しづらくなってしまう。そしてこの結果として、明瞭感や凹凸感が悪化すると考えている。このため、本実施形態の画像処理装置１００は、代表画像データ操作部２２による第１の代表画像データに行う操作を、操作前・後とでデータ値の関係が１つの直線では表現できない変換にもとづいて行うようにしている。これにより、一律の強調ではなく、明瞭感や凹凸感の悪化を引き起こしていたような、比較的小さな濃度差を有するエッジ部を効果的に強調することができる。操作前と操作後でデータ値の関係が１つの直線で表現できるような変換にもとづいても、こうした明瞭感や凹凸感をある程度は向上させることができる。しかし、操作前後のデータ値の関係が１つの直線では表現できないよう変換に基づいて行うことで、明瞭感や凹凸感の向上をより大きく感じることができるようになる。

また、本実施形態の画像処理装置１００は、代表画像データ操作部２２による第１の代表画像データに対して行う操作がコントラストを増加させる操作にする。写真画像において明瞭感および凹凸感の向上を実現するためには、多重解像度画像の操作を行う際に、コントラストを増加させるような操作を行う。しかし、このコントラストラストを増加させる操作を、従来技術のように多重解像画像を１つだけ生成し、このデータ値を操作するというようにした場合は、線画像の周辺にアーティファクトが発生するといった不具合が発生することがある。このような線画像の周辺にアーティファクトが発生するといった問題に対して、本実施形態の画像処理装置１００は、各解像度レベルの起点画像に対して平滑化処理を施す。また、２つの代表画像データを生成し、この２つの代表画像データを操作した後に、この２つの代表画像データを使用して再構成を行うことにしている。このため、線画像の周辺にアーティファクトが発生するといった不具合を解消し、さらに加えて、画像の細部のボケを悪化させることなくむしろ画像の細部のキレを向上させることができるようになる。その結果、最終的に得られるカラー画像において、線画像の周辺にアーティファクトが発生するといった不具合を発生させることなく、明瞭感および凹凸感の向上を実現することができる。

また、本実施形態の代表画像データ生成部２１は、第１の代表画像データとして、ラプラシアンピラミッドを生成することにしている。ラプラシアンピラミッドを使用することで、明瞭感および凹凸感の向上と、線画像の周辺にアーティファクトが発生するといった不具合を解消することができる。これは、明瞭感および凹凸感の向上に関しては、画像データの勾配が大きく影響をおよぼすが、上述のラプラシアンピラミッドを構成する多重解像度画像のデータ値が、入力画像の勾配と関係の深い特性値に相当しているためである。そして、各解像度レベルの起点画像に対して平滑化処理を施すといった構成によって、線画像の周辺にアーティファクトが発生するといった不具合を解消できるためである。また、第１の代表画像データは、はじめに各解像度レベルの起点画像に平滑化処理を施して第１の中間画像データを生成する。そして、この第１の中間画像データに対して、一連の処理（平滑化、スケールダウン、スケールアップ、平滑化）を施した第２の中間画像データを生成する。そして、第１の中間画像データと第２の中間画像データとの差分をとることで、第１の代表画像データ（ラプラシアン成分画像）を生成している。この第１の代表画像（ラプラシアン成分画像）の生成にかかる画像処理は、ほかの多重解像度画像（たとえば、離散的ウェーブレット変換）にくらべて計算量も比較的軽量であるといった特徴を有する。また、基本的な画像処理の繰り返しによって第１の代表画像データを生成することができる。

（第２の実施形態）
次に、第２の実施形態について説明する。

第１の実施形態では、図２に示すように、各解像度レベルの起点画像データに対して『Filter1』によって平滑化処理を施してから各解像度レベルで、第１の代表画像データおよび第２の代表画像データを生成することにしている。

第２の実施形態では、図７に示すように、一部の解像度レベルについては、起点画像データに対して『Filter1』によって平滑化処理を施さずに、起点画像から直接、当該解像度レベルの代表画像データを生成する。

＜画像処理部２の構成例＞
次に、図７を参照しながら、本実施形態の画像処理部２の構成例について説明する。図７は、一部の解像度レベルに適用する画像処理部２の構成例である。本実施形態では、一部の解像度レベルに対しては、この図７の構成を適用するが、それ以外の解像度レベルについては、第１の実施形態と同様に図２の構成を適用する。

本実施形態では、起点画像データに対して、直接、『Filter2』として、５×５のガウシアンフィルタにより平滑化処理を行う。このときの起点画像データの画像サイズは、（Ｍn，Ｎn）サイズの画像データであると仮定する。本実施形態では、第１の実施形態で説明した図２に示すような『Filter1』によって平滑化処理を行わない。なお、『Filter2』において使用している５×５のガウシアンフィルタのフィルタ係数は第１の実施形態と同じであり、図４で示したものである。

次に、平滑化処理を行った画像データから、偶数番号が割り当てられた行・列の画素データから構成される縦横１／２サイズの画像データを生成する。これにより、スケールダウン画像データが生成される。なお、図７でも先頭行および先頭列をそれぞれ、０行目および０列目と呼ぶことにする。つまり、第１の実施形態と同じく、画像データは偶数番号が割り当てられた列・行から始まることにする。

スケールダウン画像の画像サイズは、（Ｍn／２,Ｎn／２）となる。このスケールダウン画像は、次の解像度レベルである解像度レベル（ｎ＋１）における起点画像となる。

また、スケールダウン画像のサイズをふたたび縦横２倍にして元の入力画像サイズと同じ（Ｍn，Ｎn）サイズの画像データを生成する。このとき、行・列がともに偶数番号の画素には前述のスケールダウン画像の各データ値を割り当て、行・列のどちらかが奇数番号の画素には行・列がともに偶数番号の画素と同一の画素データ値をひとまず割り当てる。つまり、同一の画素データを持つ４つの画素が生成される。これにより、スケールアップ画像が生成される。

その後、『Filter2』として、５×５のガウシアンフィルタにより平滑化処理を施し、起点画像からのスケールダウン・スケールアップ画像データを生成する。

次に、起点画像データと、起点画像データからのスケールダウン・スケールアップ画像データと、の差分を各画素について計算した画像を生成する。これにより、図７に示す解像度レベルｎの代表画像データが生成される。図７の場合も、この解像度レベルｎの代表画像データは、（Ｍn，Ｎn）サイズである。

なお、図７における代表画像データ操作部２２や再構成部２３での処理は、図２における代表画像データ操作部２２や再構成部２３での第１の代表画像データに対する処理と同様な処理を行うことになる。

本実施形態では、高解像度側の解像度レベル、即ち、ｎの値が小さな解像度レベルに対しては、図２に示す代表画像データ生成部２１、代表画像データ操作部２２を適用する。そして、起点画像データに『Filter1』の平滑化処理を施してから使用し、第１の代表画像データと第２の代表画像データとの２つの代表画像を生成する。一方で、低解像度側の解像度レベル、即ち、ｎの値が大きな解像度レベルに対しては、図７に示す代表画像データ生成部２１、代表画像データ操作部２２を適用する。そして、起点画像に『Filter1』の平滑化処理を施さず、各解像度レベルの代表画像データも２つではなく１つの代表画像データを生成する。

高解像度側と低解像度側との切り分けについては、入力画像のサイズに依存する。例えば、本発明者の行った検討での一例をあげるとすれば、入力画像の画素サイズが、４９２８×３２８０ｐｘである例では、解像度レベル０から解像度レベル６までを高解像度側とする。また、解像度レベル７から解像度レベル１２までを低解像度側とする。そして、それぞれ、図２の構成、図７の構成を適用することで、狙いの特性を得られることが判明した。

そして、本実施形態においても第１の実施形態と同様に、上述の一連の処理によって生成された新たなＹ成分の画像データ（Ｙ''(x,y)）を用いて、ＹＣｒＣｂ色空間からＲＧＢ色空間への変換を行う。そして、ＲＧＢの色成分をもつ画像データを出力画像データとして出力する。ＣｒＣｂ成分については入力画像から生成後に何の加工をせずに使用する。

＜本実施形態の画像処理装置１００の作用・効果＞
本実施形態の画像処理装置１００は、一部の解像度レベルについては、解像度レベルの起点画像に対して『Filter1』によって平滑化処理を施さずに、解像度レベルの起点画像から直接当該解像度レベルでの処理画像データを生成することにしている。

これにより、本実施形態の画像処理装置１００は、線画像の周辺にアーティファクトが発生するといった不具合を解消し、画像の細部のボケを悪化させること無く画像の細部のキレを向上させることができる。これは、各解像度レベルの起点画像に対して平滑化処理を施すといった処理を、すべての解像度レベルで行わずに、線画像に有効な解像度レベルに限定しても、線画像の周辺にアーティファクトが発生するといった不具合の解消に対しては効果を維持できるためである。このとき、どの解像度レベルに対して、起点画像への平滑化処理を実行すればよいかという問いには、入力画像の画素数（画像サイズ）や、線画像の太さにも依存する。このため、明確な限定はできないものの、高解像度から中間解像度で起点画像への平滑化処理を行えばよい。

これに加えて、２つの代表画像データを生成する。そして、この２つの代表画像データを操作した後に、この２つの代表画像データに基づいて再構成を行う。この処理についても、すべての解像度レベルに対して行うのではなく、この一部の解像度レベルに適用するようにしている。こうした処理を、一部の解像度レベルに適用するようにしているため、処理にかかる計算量・計算負荷が少なくて済むといった効果を有することになる。

また、本実施形態の画像処理装置１００の構成では、少ない計算量で、線画像の周辺にアーティファクトが発生するといった不具合の解消と、画像の細部のボケを悪化させること無く画像の細部のキレを向上させることができるという効果を実現することができる。

（比較実験）
第１の実施形態の構成において、起点画像に施す平滑化処理に使用する平滑化フィルタのフィルタ係数における中心画素の重みＷＲが下記（式４）の条件式を満足することで特有の効果をもたらすことを、本発明者は各種行った検討によって見出した。

（式４）
０．３≦ＷＲ≦０．８

フィルタ係数における中心画素の重みＷＲとは、フィルタ係数の各画素の総和に対する中心画素の重みの比率を意味している。例えば、図３で例示したフィルタ係数を例に説明すると、フィルタ係数の各画素の総和は、２５６／２５６＝１となり、中心画素の重みは、２０４／２５６＝０．８０となり、フィルタ係数における中心画素の重みＷＲは０．８０となる。

発明者の行った検討では、フィルタ係数における中心画素の重みＷＲの値が大きくなると、即ち、１．０に近づくと、線画像の周辺にアーティファクトが発生するといった不具合を解消することができるという効果が低減してしまうことが判明した。

また、一方で、フィルタ係数における中心画素の重みＷＲの値が小さくなると、今度は、画像の細部のボケといった不具合が発生してしまうことが判明した。画像の細部のボケとは、特に写真画像を拡大して表示・閲覧したときなどに、画像の細部がボケたように感じる不具合であり、発明者はこうした不具合が発生することのない画像処理を実現したいと考えている。

そして、発明者の行った検討によると、上述した（式４）の条件を満たすようなフィルタ係数を用いることで、線画像の周辺にアーティファクトが発生するといった不具合と、画像の細部のボケといった不具合と、を両立して解消することができることが判明した。

次に、発明者の行った比較実験について説明する。第１の実施形態と同じ構成の画像処理装置１００において、『Filter1』に相当する平滑化フィルタとして、フィルタ係数における中心画素の重みＷＲの値が異なるフィルタを準備して比較実験を行った。また、処理を行う対象画像は、風景などを中心に、線画像が均一輝度領域中に走っているような画像を６０種用意し、処理前後での線画像の周辺にアーティファクトが発生するといった観点、および、画像の細部のボケといった観点で比較実験を実施した。図８に比較実験結果を示す。図８は、フィルタ係数における中心画素の重みＷＲを変えて行った比較実験結果を示す。図８に示す「○」、「×」の意味はそれぞれ以下のとおりである。

「線画像の周辺でのアーティファクト」の項目に関しては、「○」はこのアーティファクトが解消された状態を意味し、「×」はこのアーティファクトが一部では解消しきれずに知覚されてしまう状態を意味している。

「画像の細部のボケ」の項目に関しては、「○」は画像の細部がボケたように感じずに特に不具合を感じない状態を意味し、「×」は画像の細部がボケたように感じられてしまい望ましいとはいえない状態を意味している。

図８に示した結果から明らかなように、フィルタ係数における中心画素の重みＷＲを上述した（式４）で規定した範囲内にする。これにより、「線画像の周辺でのアーティファクト」の不具合、「画像の細部のボケ」の不具合を共に解消することができ、良好な処理結果を得ることができる。

（第３の実施形態）
次に、第３の実施形態について説明する。

第１の実施形態では、第１の代表画像データがラプラシアンピラミッドとなっている。

本実施形態では、第１の代表画像データが２次元の離散ウェーブレット変換を繰り返すことによって生成される多重解像度画像とする。

しかし、第１の実施形態と同様に、本実施形態において生成される第１の代表画像データは、各解像度レベルの起点画像に“はじめに”平滑化処理として『Filter1』を施して第１の中間画像データを使用する。また、そのあとの工程においても起点画像ではなく、この第１の中間画像データを使用する。その上で、２次元の離散ウェーブレット変換を繰り返すことによって生成される画像である。

しかし、起点画像に“はじめに”平滑化処理を施す点を除けば、本実施形態での第１の代表画像データは、２次元の離散ウェーブレット変換を繰り返すことによって生成される多重解像度画像と同じである。こうした理由により、本実施形態では、便宜的に生成される画像を、２次元の離散ウェーブレット変換を繰り返すことによって、生成される多重解像度と表現することにする。但し、本実施形態では、起点画像に“はじめに”平滑化処理として『Filter1』を施す構成は必須である。

２次元の離散ウェーブレット変換では、一度の変換によって低周波係数であるＬＬと３つの高周波係数であるＬＨ、ＨＬ、ＨＨとに分解される。本実施形態では、２次元の離散ウェーブレット変換によって分解された各解像度レベルでのＬＨ、ＨＬ、ＨＨの各係数に対して、上述した（式２）による変換を適用する。そして、第１の実施形態と同様に再構成部２３において再構成を行い、入力画像と同サイズの変換後のＹ成分画像を生成する。Ｙ成分画像の調整は、第１の実施形態と同様に行う。これにより、本実施形態でも、明瞭感や凹凸感を向上させて、さらに、線画像の周辺でのアーティファクトといった不具合を解消することができる。

このように、本実施形態の画像処理装置１００は、第１の代表画像データを離散ウェーブレット変換によって生成する。離散ウェーブレット変換によって生成される多重解像度画像は、多重解像度画像を保持するためのメモリ領域が少ないといった特徴を有する。離散ウェーブレット変換では多重解像度画像を生成した場合に必要となるメモリ量は、多重解像度化を行う前の画像データを保持するために必要となるメモリ領域と基本的には同じである。ラプラシアンピラミッドを使用する場合には、多重解像度画像を保持するために必要となるメモリ量は、多重解像度化前の画像データにたいして、１．３３倍のメモリ量が必要である。このように、離散ウェーブレット変換によって生成した多重解像度画像を使用することは、多重解像度画像のデータを保持するために必要となるメモリ量が少ないといった効果を得ることができる。

（第４の実施形態）
次に、第４の実施形態について説明する。

本実施形態では、各解像度レベルにおいて、第１の代表画像データに対して行うデータ値操作の態様が異なる点にある。より具体的には、本実施形態では低勾配領域、即ち、第１の代表画像データの値の絶対値が小さな値となっているデータ箇所では、第１の実施形態と比較して強調を抑えるようにしている。

図９、図１０は、本実施形態でのデータ値操作における、操作前後の第１の代表画像データの値の関係を示したものである。図１０は、図９の中心部分、即ち、第１の代表画像データの値の絶対値が小さい領域を拡大したものである。図９、図１０はともに、太実線が本実施形態で適用する操作前・後での第１の代表画像データの値の関係を表したものである。細実線が第１の実施形態で適用した操作前・後での第１の代表画像データの値の関係を表したものである。特に、図１０から明らかなように、この両者は第１の代表画像データの値の絶対値が０．０４以下の領域で差があり、一方で第１の代表画像データの値の絶対値が０．０４以上の領域では同一となっている。つまり、本実施形態では第１の代表画像データの値の絶対値が０．０４以下の領域において、データ値操作による強調量が第１の実施形態と比較して抑えられた構成となっている。また、点線は、傾き１の関係を参考として表したものである。

画像に含まれるノイズ成分は、画像の信号成分とは異なり、強調を行いたくない対象である。その一方で、さまざまな理由によって発生するノイズが撮影画像に含まれることを避けることは非常に難しい。本発明者の検討によれば、こうしたノイズ成分の特徴としては、決して大きな勾配ではなく、ごく小さな勾配によるものであることが多いことが判明した。こうした小さな勾配を、第１の代表画像データの値の視点で考えると、ごく小さな第１の代表画像データの値に対応する。一方で、画像の信号成分は、ノイズ成分と比較してやや大きな第１の代表画像データの値に対応することが検討により明らかになった。本実施形態はこうした検討結果を反映したものである。つまり、ノイズ成分の強調につながりやすい小さな第１の代表画像データの値の強調を抑制し、ノイズを強調してしまうことを防止している。つまり、本実施形態の構成により、ノイズの強調を抑えながら、画像の信号成分を行って、明瞭感および凹凸感の改善を図ることができる。

（第５の実施形態）
次に、第５の実施形態について説明する。

本実施形態では、第４の実施形態で行っていたデータ値操作（図９、図１０）をすべての解像度レベルに適用するのではなく、高解像度側と低解像度側との両方において適用する構成としている。なお、中解像度側に適用するデータ値操作の方法は、第１の実施形態のものを適用する。つまり、高解像度側と低解像度側とにおいては、低勾配領域、即ち、第１の代表画像データの値の絶対値が小さな値となっているデータ箇所では、強調を抑えた操作方法を適用する。その一方で中解像度画像に対しては、低勾配領域での強調を抑えない操作方法を適用するようにしている。

次に、本実施形態で実際に行っている高解像度、中解像度、低解像度の区別方法について説明する。本実施形態では入力画像の画素数は、４９２８×３２８０ｐｘであるので、この画素数を仮定に説明する。本実施形態で仮定している画像サイズの場合、代表画像データ生成部２１によって生成される解像度レベルは、レベル０からレベル１２となる。本実施形態では、高解像度側の解像度レベルとして、解像度レベル０〜解像度レベル２までを採用した。そしてこの範囲の解像レベルの第１の代表画像データに対しては、図９、図１０で説明した低勾配領域の強調を抑えた操作方法を適用した。

次に、解像度レベル３〜解像度レベル７までを、中解像度レベルとして、図５で説明した低勾配領域の強調を抑えない操作方法を適用した。

さらに、次に、解像度レベル８〜解像度レベル１３までを、低解像度レベルとしてふたたび図９、図１０で説明した低勾配領域の強調を抑えた操作方法を適用した。

第４の実施形態において画像に含まれるノイズ成分は、大きな勾配ではなくごく小さな勾配によるものであることが多いことをすでに説明した。発明者の検討によると、画像に含まれるノイズ成分はさらに、高解像度画像に多く含まれることが判明した。その一方で、中解像度画像にはごく小さな勾配にも画像の信号成分である撮影対象に実際に存在する濃淡が含まれるということも明らかになった。そして、低解像度における、低勾配を強調することによって濃度段差（擬似輪郭）が目立ちやすいといった問題に対しても、ごく小さな勾配に対応する第１の代表画像データの値の強調を抑制することによって、こうした問題の発生を解消することができる。

つまり、本実施形態により、ノイズの強調や、階調段差（擬似輪郭）の発生を抑えながら、画像の信号成分を必要以上に抑制すること無しに、画像の信号成分を強調することができるようになる。その結果として、画像の明瞭感および凹凸感の改善を行うことができる。

（第６の実施形態）
次に、第６の実施形態について説明する。

本実施形態では、各解像度レベルにおいて行う第１の代表画像データの値のデータ値操作の態様が異なる点にある。より具体的には、本実施形態では、各解像度レベルにおいて行うデータ値操作は、コントラストを減少させるようなデータ値操作を行う点である。

図１１は、本実施形態でのデータ値操作における操作前後の代表画像データの値の関係を示している。図１１では太実線が本実施形態で適用する操作前・後での代表画像データの値の関係を表したものである。一方、細実線が傾き１の直線を表したものである。図１１では、太実線である操作前・後での代表画像データの値が正の値の場合に、細実線である傾き１の直線よりも下方に位置し、代表画像データの値が負の値の場合に、細実線である傾き１の直線よりも上方に位置するようになっている。

図１１に示すような、操作前の代表画像データの値と、操作後の代表画像データの値と、の関係を持つことは、代表画像データを再構成して得られる明るさ成分画像のコントラストを減少させる効果を得ることにつながる。

一方で写真画像の観点からは、人物画像の肌領域などでは、コントラストが大きくないほうが人物画像を知覚した者が滑らかな肌、即ち、好ましい肌として知覚するようになる。このため、人物の肌領域を含むような画像に対しては、画像のコントラストを減少させるように、操作前・後の第１の代表画像データの関係を持たすようにする。これにより、好ましい人物画像を生成することができる。

なお、単純に、図１１に示すような操作前の代表画像データの値と、操作後の代表画像データの値と、の関係を持たせるようにしただけでは、第１の実施形態と同様に、やはり、処理後の画像において線画像の周辺でのアーティファクトといった不具合が発生する。

こうした、線画像の周辺でのアーティファクトといった不具合は、各解像度レベルにおける起点画像に対して平滑化処理、即ち、『Filter1』に相当する平滑化フィルタを施してから後段の処理を行うようにすることにより、解消することができる。

つまり、本実施形態の構成により、線画像の周辺にアーティファクトが発生するといった不具合を発生させることなく、好ましい人物画像を生成することができる。

このように、本実施形態の画像処理装置１００は、代表画像データ操作部２２による第１の代表画像データに対して行う操作がコントラストを減少させる操作である。これにより、人物画像の肌の領域を好ましい肌状態として再現することができるようになる。これは、人物画像の肌領域は、コントラストが少ない方が好まれる傾向があることに起因していると考えられる。このように、人物画像において肌状態の向上を実現するためには、第１の代表画像データに操作を行う際に、コントラストを減少させるような操作を行うことが好ましい。しかし、このコントラストラストを減少させる操作を行った場合は、線画像の周辺にアーティファクトが発生するといった問題を引き起こす。この線画像の周辺にアーティファクトが発生するといった問題は、写真画像中の均一輝度領域の中の線画像の周辺に、元画像には存在しなかった濃淡が発生するものである。そして、線画像の周辺にアーティファクトが発生するといった不具合が発生した写真画像では、写真を知覚した者が違和感を覚えるようになり問題となる。この線画像の周辺にアーティファクトが発生するといった問題に対して、本実施形態の画像処理装置１００は、各解像度レベルの起点画像に対して平滑化処理を施すことにしている。このため、線画像の周辺にアーティファクトが発生することを解消することできるようになる。そして、本実施形態の画像処理装置１００は、２つの代表画像データを生成し、この２つの代表画像データを操作した後に、この２つの代表画像データに基づいて再構成を行うことにしている。このため、画像の細部のボケを悪化させることなく、むしろ画像の細部のキレを向上させることができるようになる。また、第１の代表画像データに対して行う操作をコントラストを減少するように操作することで、肌状態の向上を実現することができる。

なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

例えば、上述した本実施形態の画像処理装置１００を構成する各部の制御動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータ内のメモリにインストールして実行させることが可能である。

例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、リムーバブル記録媒体に一時的、あるいは、永続的に記録しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。リムーバブル記録媒体は、磁気ディスク、半導体メモリなどの各種記録媒体があげられる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールすることになる。また、ダウンロードサイトからコンピュータに無線転送することになる。また、ネットワークを介してコンピュータに有線で転送することになる。

プログラムの形態としては、クラウド等によるネット上のサーバからの利用もありえる。一部のプログラムのみをコンピュータに転送して利用する形態もありえる。

また、上記実施形態の画像処理装置１００を構成する各部は、上記実施形態で説明した処理動作に従って時系列的に処理を実行するだけに限定するものでない。例えば、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に処理を実行するように構築することも可能である。

１００ 画像処理装置
１ 色分解部
２ 画像処理部
３ 色合成部
２１ 代表画像データ生成部
２２ 代表画像データ操作部
２３ 再構成部

特許第３４０２６３０号公報

Claims (10)

1. 所定解像度の起点画像データの明るさ成分から該解像度における代表画像データを生成する代表画像データ生成手段と、
   前記生成された代表画像データに所定の操作を行う代表画像データ操作手段と、
   前記操作された代表画像データに基づいて画像データの明るさ成分の再構成を行う再構成手段と、を有する画像処理装置であって、
   前記代表画像データ生成手段は、
   前記起点画像データに対して平滑化処理を施し第１の中間画像データを生成する手段と、
   前記第１の中間画像データをスケールダウンすることで次解像度の起点画像データを生成する手段と、
   前記第１の中間画像データをスケールダウンおよびスケールアップすることで第２の中間画像データを生成する手段と、
   前記第１の中間画像データと前記第２の中間画像データとから、前記所定解像度における第１の代表画像データを生成する手段と、
   前記起点画像データと前記第１の中間画像データとから、前記所定解像度における第２の代表画像データを生成する手段と、を有し、前記次解像度の起点画像データを前記所定解像度の起点画像データとして一連の処理を繰り返し、
   前記再構成手段は、
   前記第１および第２の代表画像データに基づいて再構成を行う、ことを特徴とする画像処理装置。
2. 一部の解像度レベルについて、
   前記代表画像データ生成手段は、
   前記起点画像データに対して前記平滑化処理を施さずに、前記起点画像データをスケールダウンすることで次解像度の起点画像データを生成し、
   前記起点画像データに対してスケールダウンおよびスケールアップすることで前記起点画像データからのスケールダウン・スケールアップ画像データを生成し、
   前記起点画像データと前記起点画像データからのスケールダウン・スケールアップ画像データとから、前記解像度における第３の代表画像データを生成し、
   前記再構成手段は、
   前記第３の代表画像データに基づいて再構成を行う、ことを特徴とする請求項１記載の画像処理装置。
3. 前記代表画像データ操作手段は、
   前記第１の代表画像データと、前記第２の代表画像データと、で異なる操作を行う、ことを特徴とする請求項１または２記載の画像処理装置。
4. 前記第１の代表画像データに対して行う操作は、操作前後のデータ値の関係が１つの直線では表現できない変換にもとづいて行われる操作である、ことを特徴とする請求項３記載の画像処理装置。
5. 前記平滑化処理で使用するフィルタ係数は、前記フィルタ係数における中心画素の重みをＷＲとしたときに、前記中心画素の重みＷＲが、０．３≦ＷＲ≦０．８を満足する、ことを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 前記第１の代表画像データに対して行う操作は、コントラストを変更する操作である、ことを特徴とする請求項３記載の画像処理装置。
7. 前記代表画像データ生成手段は、
   前記第１の代表画像データとしてラプラシアンピラミッドを生成する、ことを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
8. 前記代表画像データ生成手段は、
   前記第１の代表画像データを離散ウェーブレット変換によって生成する、ことを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
9. 画像処理装置で行う制御方法であって、
   所定解像度の起点画像データの明るさ成分から該解像度における代表画像データを生成する代表画像データ生成工程と、
   前記生成された代表画像データに所定の操作を行う代表画像データ操作工程と、
   前記操作された代表画像データに基づいて画像データの明るさ成分の再構成を行う再構成工程と、を有し、
   前記代表画像データ生成工程は、
   前記起点画像データに対して平滑化処理を施し第１の中間画像データを生成する工程と、
   前記第１の中間画像データをスケールダウンすることで次解像度の起点画像データを生成する工程と、
   前記第１の中間画像データをスケールダウンおよびスケールアップすることで第２の中間画像データを生成する工程と、
   前記第１の中間画像データと前記第２の中間画像データとから、前記所定解像度における第１の代表画像データを生成する工程と、
   前記起点画像データと前記第１の中間画像データとから、前記所定解像度における第２の代表画像データを生成する工程と、を有し、前記次解像度の起点画像データを前記所定解像度の起点画像データとして一連の処理を繰り返し、
   前記再構成工程は、
   前記第１および第２の代表画像データに基づいて再構成を行う、ことを特徴とする制御方法。
10. 所定解像度の起点画像データの明るさ成分から該解像度における代表画像データを生成する代表画像データ生成処理と、
    前記生成された代表画像データに所定の操作を行う代表画像データ操作処理と、
    前記操作された代表画像データに基づいて画像データの明るさ成分の再構成を行う再構成処理と、をコンピュータに実行させるプログラムであって、
    前記代表画像データ生成処理は、
    前記起点画像データに対して平滑化処理を施し第１の中間画像データを生成する処理と、
    前記第１の中間画像データをスケールダウンすることで次解像度の起点画像データを生成する処理と、
    前記第１の中間画像データをスケールダウンおよびスケールアップすることで第２の中間画像データを生成する処理と、
    前記第１の中間画像データと前記第２の中間画像データとから、前記所定解像度における第１の代表画像データを生成する処理と、
    前記起点画像データと前記第１の中間画像データとから、前記所定解像度における第２の代表画像データを生成する処理と、を有し、前記次解像度の起点画像データを前記所定解像度の起点画像データとして一連の処理を繰り返し、
    前記再構成処理は、
    前記第１および第２の代表画像データに基づいて再構成を行う、ことを特徴とするプログラム。

Images