JP2016212623A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】画像の「明瞭感」や「凹凸感」を改善しながら、線画像周辺のアーティファクトを抑制する。【解決手段】多重解像度画像を生成する多重解像度画像生成部２１は、一の解像度レベル（ｎ）の起点画像３０１に対して平滑化処理を施すことによって第一画像３０３を生成し、第一画像をスケールダウンしたスケールダウン画像をスケールアップすることによって第二画像３０５を生成し、第一画像と第二画像とに基づいて当該解像度レベルの解像度画像３０７を生成すると共に、スケールダウン画像を次の解像度レベル（ｎ＋１）の起点画像３０１として出力することによって、多重解像度画像を生成する。起点画像３０１に対して平滑化処理を施すことで、線画像の周辺において濃淡の程度が緩和され、結果として線画像周辺のアーティファクトを抑制した画像が得られる。【選択図】図４

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

デジタルカメラ等の撮影装置やディスプレイ等の表示装置等を使用して表現された画像は、これを見た者に対して現実世界（撮影者が実際に見た景色等）とは異なる印象を与えることがある。これは、装置の持つダイナミックレンジが現実世界のダイナミックレンジと比較してはるかに小さいため、これらの装置が表現する画像の明瞭感及び凹凸感が現実世界に比べて欠如するためである。ここで「明瞭感の欠如」とは、実際の景色に比べてかすみ・モヤがかかったような印象を与えることである。また、「凹凸感の欠如」とは、実際の風景中の木々の盛りあがった状態や、岩肌のごつごつした感じがなくなり、平面的になってしまったような印象を与えることである。
明瞭感や凹凸感の欠如した画像を改善する手法として、従来トーンカーブによるコントラスト強調やアンシャープマスク等が活用されてきた。しかし、上記手法を用いても、技術が発達した昨今では十分な効果が得られなくなってきている。

近年、上記手法とは異なる画像の改善方法として、多重解像度画像を使用した画像処理方法が提案されている。特許文献１には、多重像度画像を生成し、生成した多重解像度画像を非線形で単調に増加する奇数変換関数に従って修正した後に、多重解像度画像を再構成して出力画像を得る画像処理方法が開示されている。この発明では、ダイナミックレンジを拡大することなく、信号レベルの全レンジに渡ってデジタル画像のコントラストを改善することができる。

特許文献１に記載の方法によってコントラストを強調した場合、発明者の検討により以下のような不具合が起こることが判明した。即ち、例えば均一輝度領域中に線画像があるといった箇所において、コントラスト強調前には存在しなかった人工的な濃淡（アーティファクト）が出力画像に現れることが判明した。「均一輝度領域中に線画像がある箇所」とは、例えば風景画像の空の領域中に電線が走っているような場合である。このような画像のコントラストを大きく強調するとアーティファクトが顕著になるため、コントラストの強調量をあまり大きくできないという問題があった。
本発明は上述の事情に鑑みてなされたものであり、画像の「明瞭感」や「凹凸感」を改善しながら、アーティファクトを抑制することを目的とする。

上記の課題を解決するために、請求項１に記載の発明は、入力画像から生成された明るさ成分画像から多重解像度画像を生成する多重解像度画像生成手段、前記各多重解像度画像のデータ値を修正する多重解像度画像修正手段、及び、修正後の多重解像度画像を再構成する再構成手段を備え、再構成された画像から出力画像を生成する画像処理装置であって、前記多重解像度画像生成手段は、一の解像度レベルの起点画像に対して平滑化処理を施すことによって第一画像を生成し、前記第一画像をスケールダウンしたスケールダウン画像をスケールアップすることによって第二画像を生成し、前記第一画像と前記第二画像とに基づいて当該解像度レベルの解像度画像を生成すると共に、前記スケールダウン画像を次の解像度レベルの起点画像として出力することによって、前記多重解像度画像を生成することを特徴とする。

本発明によれば、画像の「明瞭感」や「凹凸感」を改善しながら、アーティファクトを抑制することができる。

本発明の一実施形態に係る画像処理装置のハードウェア構成図である。 本発明の一実施形態に係る画像処理装置の機能を示した概略ブロック図である。 多重解像度操作部による処理の概要を示す模式図である。 解像度レベルｎにおける多重解像度操作部の処理を示した模式図である。 第一平滑化フィルタのフィルタ係数の一例を示す図である。 第二平滑化フィルタのフィルタ係数の一例を示す図である。 第一の実施形態における多重解像度画像操作部による多重解像度画像の操作前後のデータ値の関係を示した模式図である。 第二の実施形態において、他部の解像度レベルに適用される多重解像度操作部による処理の概要を示す模式図である。 第四の実施形態における多重解像度操作部による処理の概要を示す模式図である。 （ａ）（ｂ）は、多重解像度画像操作部による操作前後のデータ値の関係を示した図である。 多重解像度画像操作部による操作前後のデータ値の関係を示した図である。

以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
以下、本発明の実施形態を詳細に説明する。なお、各段階で生成される画像データについては単に「画像」の語を用いて説明する。

〔第一の実施形態〕
図１は、本発明の一実施形態に係る画像処理装置のハードウェア構成図である。
画像処理装置は、画像の編集や加工等の画像処理機能を備えた装置であり、デジタルカメラやスキャナ、画像編集ソフトウェアがインストールされた汎用のコンピュータ等により実現される。
画像処理装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、記憶装置１０４、操作入力装置１０５、表示装置１０６、及びネットワークインターフェース１０７等を備え、各部がバス１０８にて接続された構成を有する。
ＣＰＵ１０１は、ＲＯＭ１０２に記憶されたプログラムを読み出してＲＡＭ１０３に展開して実行することにより、以下の各実施形態にて説明する各画像処理を実行する手段として機能する。記憶装置１０４は、ＨＤＤ（Hard Disk Drive）等の不揮発性記憶手段から構成され、入力画像や出力画像、各部で生成される画像の処理に必要なフィルタデータ等を記憶する。操作入力装置１０５は、操作者がＣＰＵ１０１に命令や情報等を入力する手段であり、キーボードや、マウス等のポインティングデバイス等から構成されている。表示装置１０６は、液晶ディスプレイ等から構成され、入力内容や処理結果等を表示する。ネットワークインターフェース１０７は、ネットワークＮを介して外部の他のコンピュータと通信により情報を伝達する手段であり、例えば処理対象となる画像を取得する。

図２は、本発明の一実施形態に係る画像処理装置の機能を示した概略ブロック図である。画像処理装置１は、色分解部１１と多重解像度操作部１２と色合成部１３とを備えている。また、多重解像度操作部１２は、多重解像度画像生成部２１と多重解像度画像操作部２２と再構成部２３とを備えている。
画像処理装置１は、入力された汎用形式のカラー画像（入力画像Ｄｉｎ）を、色分解部１１において明るさ成分Ｙ（起点画像３０１（０））と色成分ＣｒＣｂ（色成分画像３３０）とに分解する。次に、この明るさ成分画像に対して、多重解像度操作部１２では、まず多重解像度画像生成部２１が多重解像度画像を生成し、生成された多重解像度画像に対して多重解像度画像操作部２２が所定の操作を行い、操作を施された多重解像度画像に対して再構成部２３が画像の再構成を行う。また色分解部１１において入力画像Ｄｉｎから分離された色成分画像は、色合成部１３へ入力される。色合成部１３では、多重解像度操作部１２から出力される明るさ成分Ｙ”（再構成画像３１１（０））と、色成分画像３３０とを合成して、カラー画像（出力画像Ｄｏｕｔ）を出力する。

画像処理装置１に入力される入力画像ＤｉｎはＴＩＦ形式であり、ＲＧＢの３つの色成分を有し、１画素あたり各色１６ｂｉｔのデータを有する。本発明の各実施形態において処理される入力画像のファイル形式はＴＩＦ形式に限定されるものではなく、JＰＥＧやＰＮＧなどの他のファイル形式であってもちろん問題はない。また、入力画像の色成分に関してもＲＧＢ色空間に限定されるものではなく、ＲＧＢ以外の色空間であっても良く、１画素あたりのデータ量も１６ｂｉｔ以外のデータ量であってもかまわない。これらは、本願発明の本質的な部分には影響をおよぼすものではない。

また、第一の実施形態では、色分解部１１がＲＧＢの色成分を持つ入力画像の各画素をＹＣｂＣｒ色空間へ変換する。第一の実施形態ではＲＧＢからＹＣｒＣｂへの変換を下記の計算式によって行っている。

・・・式（１）

しかしながら、ＹＣｂＣｒ色空間への変換は、本願発明を限定するものではなく、これ以外の明るさ成分（または明度成分）と色成分とを有するような色空間であるLa*b*色空間、ＨＳＶ色空間、などであってもかまわない。

〈多重解像度操作部の処理〉
図３は、多重解像度操作部による処理の概要を示す模式図である。多重解像度画像生成部２１は、色分解部１１から出力された明るさ成分画像を解像度レベル０の起点画像として画像処理を実施し、順次解像度レベル１，２，…ｎ…ｎｍａｘの起点画像を生成する。また、各解像度レベルの処理において多重解像度画像生成部２１が生成した解像度画像に対して、多重解像度画像操作部２２がデータ値を操作した操作後の解像度画像を再構成部２３に出力する。再構成部２３においては、解像度レベルｎｍａｘ，ｎｍａｘ−１，…ｎ…１，０の順に画像の再構成を行い、最終的に解像度レベル０（Ｍ×Ｎサイズ）の再構成画像を出力する。

以下、解像度レベルｎにおける画像処理に基づいて第一の実施形態を詳細に説明する。
図４は、解像度レベルｎにおける多重解像度操作部の処理を示した模式図である。
《多重解像度画像生成部の処理》
多重解像度操作部１２では、まず多重解像度画像生成部２１が多重解像度画像を生成する。多重解像度画像生成部２１は、色分解部１１から出力された明るさ成分画像から、多重解像度画像を構成する各解像度画像の生成を行う。なお、以下では本発明をＹＣｂＣｒ色空間の例により説明すると共に、色分解部１１から出力された明るさ成分画像（多重解像度画像操作を行う前のＹ成分画像）をＹ（ｘ，ｙ）と表す。
多重解像度画像生成部２１は、起点画像３０１（ｎ）（このときの起点画像の画像サイズは（Ｍｎ，Ｎｎ）サイズの画像であると仮定する）に対して、第一平滑化フィルタ２１１によって第一平滑化処理を施すことで、第一画像３０３（ｎ）を生成する（ステップＳ１）。

図５は、第一平滑化フィルタのフィルタ係数の一例を示す図である。図５で例示したフィルタ係数は、本願発明を限定するものではなく、これ以外のフィルタ係数、フィルタサイズであってももちろんかまわない。画像を平滑化する機能を有するものであれば、どのような平滑化フィルタを用いてもかまわない。
第一平滑化処理によって生成された第一画像３０３（ｎ）に対して、多重解像度画像生成部２１は、第二平滑化フィルタ２１２によって第二平滑化処理を行う（ステップＳ３）。第二平滑化フィルタ２１２は、例えば５×５のガウシアンフィルタである。図６は、第二平滑化フィルタのフィルタ係数の一例を示す図である。

次に、多重解像度画像生成部２１は、第二平滑化処理を施した画像から、偶数番号が割り当てられた行・列の画素データから構成される縦横１／２サイズの画像を作成する（ステップＳ５）。この画像のことを以下ではスケールダウン画像、こうした処理をスケールダウンと呼ぶことにする。
なお、第一の実施形態では先頭行および先頭列をそれぞれ、０行目および０列目と呼ぶこととする。つまり第一の実施形態で取り扱われる画像は偶数番号が割り当てられた列・行から始まることとする。
スケールダウン画像の画像サイズは（Ｍｎ／２，Ｎｎ／２）となる。このスケールダウン画像は、次の解像度レベルである、解像度レベル（ｎ＋１）における起点画像３０１（ｎ＋１）として出力される。

更に多重解像度画像生成部２１は、スケールダウン画像のサイズを縦横２倍にして元の入力画像サイズと同じ（Ｍｎ，Ｎｎ）サイズの画像を作成する（ステップＳ７）。このとき行・列がともに偶数番号の画素にはスケールダウン画像の各データ値を割り当て、行・列のどちらかが奇数番号の画素には行・列がともに偶数番号の画素と同一の画素データ値をひとまず割り当てる。つまり、同一の画素データを持つ４つの画素が生成される。この画像のことを以下ではスケールアップ画像、こうした処理をスケールアップ、と呼ぶことにする。
その後、多重解像度画像生成部２１は、スケールアップ画像に対して第二平滑化フィルタ２１２による第三平滑化処理を実行し、第二画像３０５（ｎ）を作成する（ステップＳ９）。

次に、多重解像度画像生成部２１は、第一画像３０３（ｎ）と、第二画像３０５（ｎ）との差（差分）を、各画素について計算した画像を生成する（ステップＳ１１）。以下、この画像のことを、解像度レベルｎの解像度画像３０７（ｎ）と呼ぶ。
以上の操作により、解像度レベルｎの起点画像３０１（ｎ）から解像度レベルｎの解像度画像３０７（ｎ）が生成される。解像度レベルｎの解像度画像３０７（ｎ）は（Ｍｎ，Ｎｎ）サイズの画像である。

第一の実施形態において多重解像度画像生成部２１は、こうした一連の処理（ステップＳ１〜Ｓ１１までの平滑化処理、スケールダウン・スケールアップ、当該解像度レベルの解像度画像の算出）を繰り返し実行する。多重解像度画像生成部２１は、最終的に、（２，２）サイズの「解像度画像」が算出されるまで、上記一連の処理を図３に示すように繰り返していくことで、いわゆる多重解像度画像を生成する。
解像度レベル０（元画像と同じサイズ）の解像度画像の画像サイズ（Ｍ，Ｎ）から解像度レベルｎｍａｘの解像度画像（２×２）サイズまでの一連の解像度画像が、多重解像度画像の各解像度レベルの画像に対応しており、第一の実施形態の多重解像度画像生成部２１では、このような一連の解像度画像の生成を行うことになる。なお解像度レベルｎｍａｘは入力画像の画像サイズに応じて異なる値となる。

第一の実施形態では、スケールダウン直前、及びスケールアップ直後に、第二平滑化フィルタ２１２として５×５のガウシアンフィルタを使用したが、これ以外の平滑化フィルタを使用してももちろんかまわない。また、平滑化フィルタを利用したスケールダウン、スケールアップではなく、いわゆる補間処理を使用して、スケールダウン、及びスケールアップを行ってもかまわない。補間処理の具体例としては、バイリニア法、バイキュービック法などを挙げることができ、これらを適用して、スケールダウン、スケールアップを行うことができる。

また、第一の実施形態における各解像度レベルでの解像度画像３０７は、第一画像３０３と第二画像３０５との差分から算出しているが、差分以外の方法でこの解像度画像を算出しても、本願発明の目的を達成することができる。たとえば、第一画像３０３と第二画像３０５との比率（割り算）により解像度画像を算出してもかまわない。

第一の実施形態では、スケールダウンを繰り返す際に、入力画像のサイズによっては、画像サイズ（行数又は列数）が奇数となってしまう場合が現れる。（本実施形態では、各行・各列に対して偶数番号である０から始まる番号を割り当てているので、偶数番号の行・列で終了することになる。）第一の実施形態では次のように対応している。
画像サイズ（例として行数Ｐ）が奇数となってしまった場合には、スケールダウン後の画像サイズ（行数）を（Ｐ＋１）／２として、スケールダウンを行う。スケールダウン後の各画素にはスケールダウン前の偶数番号の行・列の各画素値が反映される。
なお、このような、各解像度画像における画像サイズの取り方は本願発明をなんら制限するものではない。たとえば、スケールダウン前の画像サイズ（行・列）が奇数の場合には１行（列）追加してから、１／２サイズにスケールダウンを行ってもよい。また別の方法として、入力画像の段階で画像サイズをあらかじめ２の階乗の行数、２の階乗の列数を有する画像に拡張してから多重解像画像の生成を行うようにしてもよい。

<<<ラプラシアンピラミッド>>>
多重解像度画像生成部２１が生成する多重解像度画像は、各解像度レベルの起点画像に平滑化処理を施す点で、本来のラプラアンピラミッドとは異なる。しかし、それ以外の点においてはラプラアンピラミッドと同等である。即ち、ラプラシアンピラミッドの本質的な部分である「各解像度レベルにおいて、起点画像とスケールダウン・スケールアップ画像との差分をとることで、当該解像度レベルでの解像度画像を生成する」という点については、本実施形態の多重解像度画像と、いわゆるラプラシアンピラミッドとは同じである。上記事情に鑑みて、本明細書においては、多重解像度画像生成部２１が生成する多重解像度画像を便宜的に「ラプラシアンピラミッド」と表現する。
本実施形態において多重解像度画像生成部２１は、はじめに各解像度レベルの起点画像に第一平滑化処理を施して第一画像を生成し、第一画像に対して、一連の処理（平滑化、ダウンスケール、アップスケール、平滑化）を施した第二画像を生成し、第一画像と第二画像との差分をとることで当該解像度レベルにおける解像度画像（ラプラシアン成分画像）を算出する。
ラプラシアンピラミッドの生成、及びラプラシアンピラミッドからの画像再構築に必要な処理は基本的な画像処理の繰り返しである。また、ラプラシアンピラミッドの生成に係る画像処理は、他の多重解像度画像（例えば離散ウェーブレット変換）に比べて計算量も比較的軽量であるといった特徴を有する。

《多重解像度画像操作部の処理》
多重解像度画像操作部２２は、上述の処理によって算出された夫々の解像度画像３０７（ｎ）に対して、以下のような計算式によりデータ値を操作（変換或いは修正）して、操作後の解像度画像３０９（ｎ）を算出する（ステップＳ１３）。

・・・式（２）

ここで、上記の各文字の意味は以下のとおりである。
Ｌ’ｎ（ｘ，ｙ）・・・解像度レベルｎにおけるデータ値操作後の解像度画像のデータ値。ｎは０〜入力画像サイズによって決まる上限ｎｍａｘ、の範囲を取る。
｜Ｌｎ（ｘ，ｙ）｜・・・解像度レベルｎにおける変換前の解像度画像のデータ値の絶対値（大きさ）。ｎは０〜入力画像サイズによって決まる上限ｎｍａｘ、の範囲を取る。
ｓｉｇｎ・・・Ｌｎ（ｘ，ｙ）の値が、正の場合は「１」、負の場合は「−１」をとる。
ｒａｎｇｅ・・・第一の実施形態では、ＹＣｂＣｒ色空間のＹ成分を元画像としており、Ｙ成分は０．０〜１．０の範囲をとるため、「ｒａｎｇｅ＝０．１」とした（なお、このｒａｎｇｅの値は元画像のダイナミックレンジに依存する）。
α・・・第一の実施形態では「α＝０．６」とした。
ｇｒａｄ・・・第一の実施形態では「ｇｒａｄ＝０．６」とした（なお、このｇｒａｄの値も元画像のダイナミックレンジに依存する）。

図７は、第一の実施形態における多重解像度画像操作部による多重解像度画像の操作前後のデータ値の関係を示した模式図である。図中水平方向に操作前の解像度画像のデータ値「Ｌｎ（ｘ，ｙ）」をとり、垂直方向に操作後の解像度画像のデータ値「Ｌ’ｎ（ｘ，ｙ）」をとっている。図７の実太線が式（２）により算出されたデータ値を示している。なお、破線は傾き１の直線であり、データ値Ｌに対して操作を加えない場合に対応している。
図７から明らかなように、絶対値が小さなデータ値（ラプラシアン成分の絶対値が小さいもの）に対しては相対的に大きく増加するような変化を与えて、変換後にはデータ値が増加するようにしている。一方で、大きなデータ値（解像度画像のデータ値が大きいもの）に対しては、相対的に小さく増加するような変化または減少するような変化を与えて、変換後にはデータ値が少なめの増加あるいは減少となるようにしている。

第一の実施形態では多重解像度画像の操作例として式（２）に基づく操作を例示したが、このことは本願発明を限定するものではない。これ以外の方法であってももちろんかまわない。例えば式（２）のような数式に基づく操作ではなく、ルックアップテーブル（ＬＵＴ）を利用した操作でもかまわない。
なお、第一の実施形態において多重解像度操作部１２に入力されるデータはＹＣｂＣｒ色空間のＹ成分であるので、入力画像のダイナミックレンジ（Ｄｒ）は、１．０となる（入力画像のＹ成分は０．０〜１．０の値をとる）。
また、第一の実施形態では図７から分かるように各解像度画像のデータ値を増加させるように操作したデータ値範囲（Ｌ／Ｄｒ）は上述の「ｒａｎｇｅ」に対応するため、０．１という値になる。このため、第一の実施形態は下記の関係式（３）を満たす条件となっている。

Ｌ／Ｄｒ＜０．１
・・・式（３）

つまり、多重解像度操作部１２は、操作前の解像度画像のデータ値「Ｌｎ（ｘ，ｙ）」が「−０．１＜Ｌｎ（ｘ，ｙ）＜０．１」の範囲内にある場合、操作後の解像度画像のデータ値「Ｌ’ｎ（ｘ，ｙ）」が操作前よりも増加するように操作する。

《再構成部の処理》
再構成部２３は、多重解像度画像生成部２１と逆の操作を繰り返して、明るさ成分画像を再構成する。
つまり、低解像側の解像度レベル（ｎ＋１）から出力された中間再構成画像３１１（ｎ＋１）に対してスケールアップを実施し（ステップＳ１５）、その後、第二平滑化フィルタ２１２である５×５のガウシアンフィルタで第四平滑化処理を行って（ステップＳ１７）、第三画像３１３（ｎ）を生成する。また、再構成部２３は、第三画像３１３（ｎ）に対して操作後の解像度データ３０９（ｎ）を加算する処理を実行する（ステップＳ１９）。
こうした操作を各解像度レベルで繰り返し行うことで、最終的に解像度レベル０の明るさ成分画像Ｙ”（ｘ，ｙ）を再構成する。
ここで、解像度レベルｎ＝ｎｍａｘの処理のとき再構成部２３がスケールアップする画像は、図３に示すように多重解像度画像生成部２１が生成したスケールダウン画像である。

再構成部２３におけるスケールアップ（ステップＳ１５）も、多重解像度画像生成部２１におけるスケールアップ（ステップＳ７）と同じ手法で計算する。つまり、再構成部２３は、解像度レベル（ｎ＋１）の中間再構成画像３１１（ｎ＋１）から、操作後の解像度画像３０９（ｎ）と同サイズの画像（基本的には（Ｍｎ／２，Ｎｎ／２）サイズの画像を縦横２倍にした（Ｍｎ，Ｎｎ）サイズの画像）を作成する。行・列がともに偶数番号の画素に低解像側の中間再構成画像のデータ値を設定し、行・列のどちらかの番号が奇数の場合には、行・列がともに偶数番号の画素データ値をひとまず割り当てる（つまり同一の画素データを持つ４つの画素が生成される）。
その後、第二平滑化フィルタ２１２である５×５のガウシアンフィルタにより平滑化処理を行った画像を作成することで、スケールアップ画像である第三画像３１３（ｎ）を生成する。

画像処理装置１では、図２に示すように、このような一連の処理によって生成された新たな明るさ成分画像（Ｙ”（ｘ，ｙ）、又は再構成データ３１１（０）と称する）と色成分画像３３０（ＣｒＣｂ）とを色合成部１３が合成する。また、色合成部１３は合成した画像についてＹＣｂＣｒ色空間からＲＧＢ色空間への変換を行い、ＲＧＢの色成分をもつ画像を出力画像Ｄｏｕｔとして出力する。なお、ＣｂＣｒ成分については入力画像Ｄｉｎから生成した後には、特になにも加工をせずに使用する。
第一の実施形態では、この色成分であるＣｂＣｒ成分に特に操作を行うことはしないが、このことは本願発明を限定するものではなく、彩度の強調などを行って、より鮮やかな画像を出力するような構成であってももちろんかまわない。

〔第二の実施形態〕
第一の実施形態では、全ての解像度レベルにおいて「各解像度レベルの起点画像に平滑化処理を施してから各解像度レベルでの解像度画像を生成する」のに対して、第二の実施形態では、一部の解像度レベルについては第一の実施形態と同様の処理により各解像度レベルでの解像度画像を生成し、他部の解像度レベルについては「各解像度レベルの起点画像から直接、各解像度レベルでの解像度画像を生成する」点で第一の実施形態と相違する。より具体的には、線画像周辺のアーティファクトの抑制に有効な解像度レベルについてのみ、起点画像に平滑化処理を実行する点で、第一の実施形態と相違する。

図８は、第二の実施形態において、他部の解像度レベルに適用される多重解像度操作部による処理の概要を示す模式図である。以下、第一の実施形態と同一の処理についての説明は適宜省略する。
図８に記載しているように、多重解像度画像生成部２１は、解像度レベルｎの起点画像３０１（ｎ）（（Ｍｎ，Ｎｎ）サイズ）に対して、直接、第二平滑化フィルタ２１２である５×５のガウシアンフィルタにより平滑化処理を行う（ステップＳ３１）。なお、第二平滑化フィルタ２１２のフィルタ係数は第一の実施形態と同様であり、図６で示したものである。
次に、多重解像度画像生成部２１は、平滑化処理を施した画像から、偶数番号が割り当てられた行・列の画素データから構成される縦横１／２サイズの画像（第二スケールダウン画像）を作成する（ステップＳ３３）。
なお、図８でも先頭行および先頭列をそれぞれ、０行目および０列目と呼ぶこととする（つまり第一の実施形態とおなじく、画像は偶数番号が割り当てられた列・行から始まることとする）。
第二スケールダウン画像の画像サイズは（Ｍｎ／２，Ｎｎ／２）となる。第二スケールダウン画像は、次の解像度レベルである、解像度レベル（ｎ＋１）における起点画像３０１（ｎ＋１）となる。

多重解像度画像生成部２１は、第二スケールダウン画像のサイズを縦横２倍にして、起点画像と同じ（Ｍｎ，Ｎｎ）サイズの第二スケールアップ画像を作成する（ステップＳ３５）。このとき行・列がともに偶数番号の画素には第二スケールダウン画像の各データ値を割り当て、行・列のどちらかが奇数番号の画素には行・列がともに偶数番号の画素と同一の画素データ値をひとまず割り当てる。つまり、同一の画素データを持つ４つの画素が生成される。
その後、多重解像度画像生成部２１は、第二スケールアップ画像に対して第二平滑化フィルタ２１２として、図６に示す５×５のガウシアンフィルタにより平滑化処理を実行して（ステップＳ３７）、スケールダウン及びスケールアップされた第四画像３１５（ｎ）を生成する。
続いて多重解像度画像生成部２１は、解像度レベルｎの起点画像３０１（ｎ）と、第四画像３１５（ｎ）との差分を各画素について計算し、解像度レベルｎの解像度画像３１７（ｎ）（サイズ（Ｍｎ，Ｎｎ））を生成する（ステップＳ３９）。

第二の実施形態における、多重解像度画像操作部２２による処理と再構成部２３による処理は第一の実施形態と同様であるので、説明を省略する。

第二の実施形態では、高解像度側の解像度レベル（ｎの値が小さな解像度レベル）については、起点画像３０１に対して第一平滑化フィルタ２１１（ステップＳ１）を施してから図４のスケールダウン、スケールアップ、及び解像度画像の算出（ステップＳ３〜Ｓ１１）を実行する。その一方で、低解像度側の解像度レベル（ｎの値が大きな解像度レベル）については、起点画像３０１に対して第一平滑化フィルタ２１１を施さずに直接スケールダウン、スケールアップ、及び解像度画像の算出（ステップＳ３１〜Ｓ３９）を実行する。

どの解像度レベルを高解像度側とするか低解像度側とするかについては、入力画像のサイズに基づいて決定されるべきであるため、一概には規定できない。しかし、一例として多重解像度画像生成部２１は、解像度レベル０から「ｎｍａｘ／２」までを高解像度側として図４に示した処理を実行し、その他の解像度レベルを低解像度側として図８に示した処理を実行することができる。
発明者の行った検討での一例を挙げるとすれば、入力画像のサイズが、４９２８×３２８０ｐｘである場合の実際の画像処理試験では、解像度レベル０から解像度レベル６までを高解像度側、解像度レベル７から解像度レベル１２までを低解像度側とすることで狙いの特性の画像を得ることができた。即ち、得られた画像は、明瞭感や凹凸感を向上させる一方で、線画像周辺で発生するアーティファクトが低減・解消されたものとなった。

〔第三の実施形態〕
第三の実施形態に係る画像処理について説明する。本実施形態においては、第一の実施形態に示した第一平滑化フィルタのフィルタ係数における中心画素の重みＷＲが、以下の式（４）を満たす点に特徴がある。

０．３≦ＷＲ≦０．８
・・・式（４）

「中心画素の重みＷＲ」とは、フィルタ係数の各画素の総和（図５では「２５６／２５６＝１」に相当する）に対する、中心画素の比率（図５では「２０４／２５６＝０．８０」に相当する）を意味する。つまり、図５で例示しているフィルタ係数では、中心画素の重みＷＲは０．８０となる。

発明者の行った検討では、中心画素の重みＷＲの値が大きくなると（１．０に近づくと）、「線画像周辺のアーティファクト（人工的な濃淡）が解消しきれずに知覚されてしまう」といった不具合が発生することが明らかになった。一方で、中心画素の重みＷＲの値が小さくなると、アーティファクトを発生させることなく「明瞭感」や「凹凸感」を意図通りに向上させることができるものの、「画像の細部のボケ」が発生するという問題が生じることが明らかとなった。この「画像の細部のボケ」とは、特に写真画像を拡大して表示・閲覧したときなどに、画像の細部が鮮鋭さを欠き、ボケたように感じる不具合である。

次に、発明者の行った比較実験（主観評価実験）を説明する。第一の実施形態と同じ構成の画像処理装置１において、第一平滑化フィルタ２１１に相当する平滑化フィルタとして、「中心画素の重みＷＲ」の値が異なるフィルタを準備して、この実験に使用した。
また、処理を行う対象画像は、風景などを中心に「線画像が均一輝度領域中に走っているような画像」を６０種用意して、処理後の画像に「線画像の周辺に、アーティファクトが発生しているか否か」といった観点、および、「画像の細部のボケが認められるか否か」といった観点で、発明者が主観で評価を行うことで、本比較実験を実施した。

表１が、「中心画素の重みＷＲ」を変えた場合の主観評価結果である。

「○」、「×」の意味はそれぞれ以下のとおりである。
「線画像周辺でのアーティファクト」の項目に関して、「○」はアーティファクトが解消された状態を表し、「×」はアーティファクトが一部では解消しきれずに知覚されてしまう状態を、それぞれ表している。
「画像の細部のボケ」の項目に関して、「○」は画像の細部がボケたように感じずに特に不具合を感じない状態を表し、「×」は画像の細部がボケたように感じられてしまい望ましいとはいえない状態を、それぞれ表している。
表１で示した結果からわかるように、フィルタ係数における中心画素の重みＷＲを式（４）で規定した範囲内とすることで、「線画像の周辺でアーティファクトが発生する」という不具合と、「画像の細部のボケ」といった不具合とを、ともに解消することができ、良好な処理結果を得ることができる。

〔第四の実施形態〕
第一の実施形態では、多重解像度画像がラプラシアンピラミッドとなっていたのに対して、第四の実施形態では、多重解像度画像が２次元の離散ウェーブレット変換を繰り返すことによって生成される画像である点に特徴がある。
第四の実施形態においても第一の実施形態と同様に、各解像度レベルの起点画像に対して第一平滑化フィルタ２１１による平滑化処理を実行して第一画像３０３（図４参照）を生成し、生成された第一画像に対して２次元の離散ウェーブレット変換を実行する。
しかしながら、起点画像に“はじめに”平滑化処理を施す点を除けば、第四の実施形態での多重解像度画像は、２次元の離散ウェーブレット変換を繰り返すことによって、生成される多重解像度画像と同じである。こうした理由により、第四の実施形態では、便宜的に、生成される多重解像度画像を「２次元の離散ウェーブレット変換を繰り返すことによって生成される多重解像度」と表現する。

第四の実施形態における処理の概要は以下の通りである。なお、２次元の離散ウェーブレット変換については、公知であるため、ここでは詳細な説明を省略する。図９は第四の実施形態における多重解像度操作部による処理の概要を示す模式図である。
まず多重解像度画像生成部２１が、起点画像３０１（ｎ）に対して、第一平滑化フィルタ２１１による第一平滑化処理を実行して第一画像３０３（ｎ）を生成する（ステップＳ４１）。

次に、多重解像度画像生成部２１が、第一画像３０３（ｎ）に対して２次元の離散ウェーブレット変換を実行して、第一画像３０３（ｎ）を低周波係数であるＬＬと３つの高周波係数であるＬＨ、ＨＬ、ＨＨとに分解する（ステップＳ４１）。ステップＳ４１では、第一画像３０３（ｎ）に対して二次元の離散ウェーブレット変換を用いた一連の処理（Ｘ方向ダウンサンプリング、Ｘ方向アップサンプリング、又は、Ｙ方向ダウンサンプリング、Ｙ方向アップサンプリング）を施した第二画像を生成し、第一画像と第二画像との差分をとることで当該解像度における解像度画像（いわゆる、ＨＨ、ＬＨ、ＨＬ成分）を算出する。
生成された低周波係数ＬＬについては、次段の解像度レベルの起点画像３０１（ｎ＋１）として第一平滑化フィルタ２１１による第一平滑化処理と、２次元の離散ウェーブレット変換とが繰り返し適用されることにより、各解像度レベルでのＬＬ、ＬＨ、ＨＬ、ＨＨの各係数が算出される。
算出された解像度レベルｎのＬＨ、ＨＬ、ＨＨの各係数（解像度画像３２１（ｎ））に対して、多重解像度画像操作部２２が式（２）に基づく操作を実行する（ステップＳ４３）。
多重解像度画像操作部２２によって操作されたＬＨ，ＨＬ，ＨＨの各係数（操作後の解像度画像３２３（ｎ））と、次段の解像度レベル（ｎ＋１）の中間再構成画像３２５（ｎ＋１）（ＬＬ係数）とを、再構成部２３がウェーブレット逆変換によって再構成し、当該解像度レベルでの起点画像と同サイズの中間再構成画像３２５（ｎ）を生成する（ステップＳ４５）。

以上の処理を繰り返し実行することにより、最終的に入力画像と同サイズの明るさ成分画像（Ｙ”（ｘ，ｙ））を生成する。以降の色合成部１３による色合成処理は、第一の実施形態と同じであるため、説明を省略する。
第四の実施形態においても、明瞭感や凹凸感を向上させて、線画像の周辺でのアーティファクトを解消することができる。

〔第五の実施形態〕
第一の実施形態と第五の実施形態との相違点は、各解像度レベルにおいて多重解像度画像操作部が実行する解像度画像のデータ値の操作内容が異なる点にある。より具体的には、第五の実施形態では低勾配領域（解像度画像のデータ値の絶対値｜Ｌ｜が小さな値となっている箇所）では、第一の実施形態と比較してデータ値の強調を抑制している。

図１０（ａ）、（ｂ）は、多重解像度画像操作部による操作前後のデータ値の関係を示した図である。図１０（ａ）は「−０．２＜Ｌ＜０．２」の範囲を示し、（ｂ）は「−０．１＜Ｌ＜０．１」の範囲を示している。即ち、図１０（ｂ）は、図１０（ａ）の、データ値Ｌの絶対値が小さい領域を拡大して示した図である。なお、図１０において、細実線は第一の実施形態における操作前後のデータ値を示し（図７の太実線に対応する）、太実線は第五の実施形態における操作前後のデータ値を示している。破線は傾き１の直線であり、データ値Ｌに対して操作を加えない場合に対応している。
第一の実施形態と第五の実施形態では、「｜Ｌ｜＜０．０４」の領域におけるデータ値の操作態様が異なっている。なお、「｜Ｌ｜＞０．０４」の領域におけるデータ値の操作内容は同一である。つまり、第五の実施形態では、「｜Ｌ｜＜０．０４」の領域において、データ値の強調が、第一の実施形態と比較して抑制された構成となっている。解像度画像値の強調を抑制する範囲について「｜Ｌ｜＜０．０４」というのは一例である。

第五の実施形態における作用、効果について説明する。
画像に含まれるノイズ成分は、画像の信号成分（実際に撮影対象に存在していた濃淡）とは異なり、強調したくない成分である。その一方で、様々な理由によって発生するノイズが撮影画像に含まれる（重畳されてしまう）ことを避けることは非常に難しい。発明者の検討によれば、こうしたノイズ成分は決して大きな勾配を有するものではなく、ごく小さな勾配によるものであることが多いという特徴を有することが判明した。「ごく小さな勾配」は解像度画像のデータ値では「ごく小さなデータ値」に対応する。

一方で、画像の信号成分は、ノイズ成分と比較して、解像度画像のデータ値のうち、やや大きなデータ値に対応することが検討により明らかになった。第五の実施形態はこうした検討結果を反映したものである。
つまり、解像度画像のデータ値の操作では、ノイズ成分の強調につながりやすい小さなデータ値の強調を抑制して、ノイズ成分の強調を防止している。
第五の実施形態によれば、ノイズ成分の強調を抑えながら画像の信号成分を強調して、「明瞭感」および「凹凸感」の改善をはかることができる。

〔第六の実施形態〕
第六の実施形態と第五の実施形態との相違点は、多重解像度画像操作部が実行する解像度画像のデータ値の操作内容が各解像度レベルに応じて異なる点にある。より詳しくは、第六の実施形態においては解像度レベルを低解像度レベル、中解像度レベル、高解像度レベルの３パターンに分類する。多重解像度画像操作部は、低解像度レベルと高解像度レベルにおいては、第五の実施形態に示した内容のデータ値操作を実行し、中解像度レベルにおいては、第一の実施形態に示した内容のデータ値操作を実行する。
即ち、低解像度レベルと高解像度レベルにおいては、低勾配領域（解像度画像のデータ値の絶対値｜Ｌ｜が小さな値となっている箇所）のデータ値の強調を抑制する。中解像度レベルにおいては、低勾配領域のデータ値の強調を抑制することなく、データ値を操作する構成となっている。

高解像度レベル、中解像度レベル、低解像度レベルの区分例について説明する。例えば、入力画像の画素数が４９２８×３２８０ｐｘである場合、解像度レベルｎｍａｘは１２であるので、多重解像度操作部１２は、解像度レベル０から１２までの多重解像度画像（解像度画像）を生成する。
第六の実施形態においては、解像度レベル０，１，２を高解像度の解像度レベルとし、多重解像度画像操作部２２が、第五の実施形態（図１０参照）に示した低勾配領域のデータ値の強調を押さえた操作を実行する。続いて、解像度レベル３〜７を中解像度の解像度レベルとし、多重解像度画像操作部２２が、第一の実施形態（図７参照）に示したデータ値の操作を実行する。最後に、解像度レベル８〜１２を低解像度の解像度レベルとし、多重解像度画像操作部２２が、第五の実施形態（図１０参照）に示した低勾配領域のデータ値の強調を押さえた操作を実行する。

第六の実施形態における作用、効果について説明する。
第五の実施形態において、画像に含まれるノイズ成分は、大きな勾配ではなくごく小さな勾配によるものであることが多いことをすでに説明した。
発明者の検討によると、画像に含まれるノイズ成分はさらに、高解像度画像に多く含まれることが判明した。その一方で、中解像度画像には、ごく小さな勾配にも画像の信号成分（実際に撮影対象に存在していた濃淡）が含まれる、ということも明らかになった。そして、低解像度画像では、ノイズというよりも低勾配側を強調することによって濃度段差（擬似輪郭）が目立ちやすいといった問題があり、解像度画像のデータ値のうち、ごく小さな勾配に対応するごく小さなデータ値の強調を抑制することによって、こうした問題の発生を解消することができることができる。
つまり、第六の実施形態に示した構成により、ノイズの強調や、階調段差（擬似輪郭）の発生を抑制しながら、画像の信号成分（実際に撮影対象に存在していた濃淡）を必要以上に抑制することなく、画像の信号成分を強調することができるようになる。その結果として、画像の「明瞭感」および「凹凸感」の改善を行うことができる。

〔第七の実施形態〕
第七の実施形態と第一の実施形態との相違点は、各解像度レベルにおいて多重解像度画像操作部が実行する解像度画像のデータ値の操作内容が異なる点にある。より具体的には、第七の実施形態では、データ値の操作がコントラストを減少させる操作である点に特徴がある。

図１１は、多重解像度画像操作部による操作前後のデータ値の関係を示した図である。太実線は第七の実施形態における操作前後のデータ値を示している。破線は傾き１の直線であり、データ値Ｌに対して操作を加えない場合に対応している。図示するように、「−Ｌ_ｌｉｍ＜Ｌ＜０」の範囲において太実線は破線の上方に位置し、「０＜Ｌ＜Ｌ_ｌｉｍ」の範囲において太実線は破線の下方に位置する。
即ち、多重解像度画像操作部２２は「−Ｌ_ｌｉｍ＜Ｌ＜Ｌ_ｌｉｍ」の範囲において、データ値Ｌが負の場合に操作後のデータ値Ｌ’が元のデータ値Ｌよりも小さくなるように操作し、データ値Ｌが正の場合に操作後のデータ値Ｌ’が元のデータ値Ｌよりも大きくなるように操作する。

第七の実施形態における作用、効果について説明する。
図１１のような、操作前の多重解像度画像のデータ値Ｌと、操作後の多重解像度画像のデータ値Ｌ’との関係、を持つことは、この多重解像度画像を再構成して得られる明るさ成分画像のコントラストを減少させる効果を得ることにつながる。
写真画像の観点からは、人物画像の肌領域などでは、コントラストが大きくないほうが、人物画像を知覚した者が滑らかな肌（好ましい肌）として知覚するようになる。このため、人物の肌領域を含むような画像に対しては、第七の実施形態のようにして、画像のコントラストを減少させるように、操作前・後のラプラシアン成分の関係を持たせるようにすることで、好ましい人物画像を生成することができるようになる。

なお、従来技術のように単純に、図１１のような操作前の多重解像度画像のデータ値と、操作後の多重解像度画像のデータ値との関係を持つようにしただけでは、第一の実施形態と同じように、処理後の画像において「線画像の周辺でのアーティファクト」といった不具合が発生する。
こうした、「線画像の周辺でのアーティファクト」といった不具合に対しては、各解像度レベルにおける起点画像に対して第一平滑化フィルタによる第一平滑化処理を施してから後段の処理を行うようにすることで、「線画像の周辺に、アーティファクトが発生する」といった不具合を解消することができる。
つまり、第七の実施形態に示した構成により、「線画像の周辺に、アーティファクトが発生する」といった不具合を発生させることなく、「好ましい人物画像」を生成することができるようになる。

以上、第一〜第七の実施形態にて説明した画像処理方法は、各処理手順を画像処理装置１に適合した言語でコード化したプログラムをインストールして実行させることで実施可能である。また、このプログラムは、インストール可能な形式または実行可能な形式のファイルとしてＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）等のコンピュータで読み取り可能な記録媒体に記録して提供するようにしてもよい。或いは、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、各種プログラムを、ＲＯＭ等に予め組み込んで提供してもよい。

〔本発明の実施態様と作用、効果のまとめ〕
〈第一の実施態様〉
本態様は、入力画像Ｄｉｎから生成された明るさ成分画像Ｙから多重解像度画像を生成する多重解像度画像生成部２１、多重解像度画像のデータ値を修正する多重解像度画像修正部２２、及び、修正後の多重解像度画像を再構成する再構成部２３を備え、再構成された画像から出力画像Ｄｏｕｔを生成する画像処理装置１であって、多重解像度画像生成部２１は、一の解像度レベル（ｎ）の起点画像３０１に対して平滑化処理を施すことによって第一画像３０３を生成し、第一画像をスケールダウンしたスケールダウン画像をスケールアップすることによって第二画像３０５を生成し、第一画像と第二画像とに基づいて当該解像度レベルの解像度画像３０７を生成すると共に、スケールダウン画像を次の解像度レベル（ｎ＋１）の起点画像３０１として出力することによって、多重解像度画像を生成することを特徴とする。

従来では、撮影機材や表示機材のダイナミックレンジが現実世界のダイナミックレンジと比較してはるかに小さいことが原因で、撮影者（作成者）の意図とは異なる状態で（明瞭感や凹凸感が欠如した状態で）画像が表現されてしまうという問題があった。上記問題を解消するべく、画像に対して多重解像度画像を利用してコントラストの強調を行った場合には、「線画像の周辺に、コントラスト強調を行う前には存在しなかったアーティファクト（人工的な濃淡）が発生する」といった不具合が発生することが発明者の検討によって判明した。上記現象は、画像の均一濃度領域中に本来は存在しなかった濃淡が発生するといった現象であり、処理後の画像を知覚した者に対して著しい違和感を与える。

第一の実施態様に係る画像処理装置は、多重解像度画像を操作することで画像の「明瞭感」や「凹凸感」を改善しながら、同時にアーティファクトの発生を抑制し、撮影者の意図通りの画像表現を実現するものである。
本実施態様において「線画像周辺のアーティファクト」が抑制される理由は必ずしも明らかになってはいないが、以下に説明する作用がアーティファクトを抑制する効果を生み出していると考えられる。
即ち、第一の実施態様においては、起点画像に平滑化処理を施すことによって算出される各解像度レベルでの解像度画像は、線画像の周辺において濃淡の程度が緩和された解像度画像になると考えられる。各解像度画像に対して、コントラスト強調処理を実行して「明瞭感」や「凹凸感」の改善を図った場合、線画像の周辺における濃淡の程度が、はじめに平滑化処理を行わない場合に比べて小さく維持されることになる。このため、コントラスト強調後においても、線画像の周辺において濃淡の極端な変化が生じることがなくなり、「線画像の周辺にアーティファクトが発生する」といった問題を解消することができると考えられる。

従来技術において多重解像度画像を利用したコントラストの強調を行った場合、上記アーティファクトが発生するため、コントラストの強調レベルを必要以上に大きくできないという問題もあった。本実施態様においては、線画像周辺のアーティファクトを解消（又は低減）できるため、コントラスト強調レベルを従来では不可能だったレベルにまで引き上げることができる。
本実施態様に係る画像処理装置により、従来では不可能だったレベルでのコントラスト強調を施して明瞭感や凹凸感を補正した画像は、撮影対象物の臨場感や本物感（リアル感）を備える。また、補正の程度によっては、非現実的な雰囲気のある画像を獲得することも可能である。更に本実施形態においては、上記画像を１枚の通常の写真画像から得ることができる。
このようにして得られた画像を商品広告に使用した場合には、商品訴求力が高く、顧客注目度の高い広告となる。もちろん、上記画像は商品広告だけではなく、様々な用途に活用することができる。

〈第二の実施態様〉
本態様は、入力画像Ｄｉｎから生成された明るさ成分画像Ｙから多重解像度画像を生成する多重解像度画像生成部２１、多重解像度画像のデータ値を修正する多重解像度画像修正部２２、及び、修正後の多重解像度画像を再構成する再構成部２３を備え、再構成された画像から出力画像Ｄｏｕｔを生成する画像処理装置１であって、多重解像度画像生成部２１は、一部の解像度レベル（ｎ）においては、起点画像３０１に対して平滑化処理を施すことによって第一画像３０３を生成し、第一画像をスケールダウンしたスケールダウン画像をスケールアップすることによって第二画像３０５を生成し、第一画像と第二画像とに基づいて当該解像度レベルの解像度画像３０７を生成すると共に、スケールダウン画像を次の解像度レベル（ｎ＋１）の起点画像３０１として出力し、他部の解像度レベルにおいては、起点画像３０１をスケールダウンした第二スケールダウン画像をスケールアップすることによって第四画像３１５を生成し、起点画像と第四画像とに基づいて当該解像度レベルの解像度画像３１７を生成すると共に、第二スケールダウン画像を次の解像度レベルの起点画像３０１として出力することによって、多重解像度画像を生成することを特徴とする。

即ち、本態様においては、一部の解像度レベルについては起点画像に対する平滑化処理を実行し、他部の解像度レベルについては起点画像に対する平滑化処理を実行しない。本態様のように、起点画像に対する平滑化処理を限定的に実行することによっても、「線画像周辺のアーティファクト」を抑制できる。
ここで、起点画像に対する平滑化処理を実行する解像度レベルは、線画像周辺のアーティファクトの抑制に有効な解像度レベルとするべきであるが、処理によって得られる効果が入力画像の画素数（画像サイズ）や、線画像の太さにも依存するため、明確には限定できない。しかし、発明者の検討によれば、高解像度〜中間解像度（解像度レベルの比較的に小さなレベル）で、起点画像への平滑化処理を行えば、効果的であることが判明している。
本態様では、起点画像に対する平滑化処理を限定的に実行するので、平滑化処理にかかる計算量・計算負荷が少なくて済むという長所もある。
従って、本態様によれば、少ない計算量で、線画像周辺のアーティファクトを抑制できる。

〈第三の実施態様〉
本実施態様は、第一平滑化処理において使用する第一平滑化フィルタにおいて中心画素の重みをＷＲとしたとき、「０．３≦ＷＲ≦０．８」を満たすことを特徴とする。
本実施態様によれば、「画像の細部のボケ」を発生させることなく、線画像周辺のアーティファクトを抑制し、画像の「明瞭感」や「凹凸感」を撮影者の意図通りに向上させることができる。

〈第四の実施態様〉
本態様において、多重解像度画像操作部２２は、各解像度画像のコントラストを増加させる処理を実行することを特徴とする。
本実施態様によれば、各解像度画像のコントラストを増加させることで、「明瞭感」および「凹凸感」を向上させた出力画像を得ることができる。

〈第五の実施態様〉
本態様において、多重解像度画像操作部２２は、各解像度画像のコントラストを減少させる処理を実行することを特徴とする。
人物画像の肌領域についてはコントラストの少ない方が好まれる傾向にあるため、人物画像の肌の領域を好ましい肌状態（肌質感）として再現するためには、多重解像度画像に対してコントラストを減少させるような操作を実行することが好ましい。しかし、多重解像度画像のコントラストを減少させた場合、コントラストを強調した場合と同様に「線画像の周辺にアーティファクトが発生する」といった問題を引き起こすことが発明者の検討により判明した。
本実施態様によれば、第一及び第二の実施態様にて説明したように「線画像周辺のアーティファクト」を抑制することができる。更に、各解像度画像のコントラストを抑制することで、人物画像の肌状態の向上を図ることができる。

〈第六の実施態様〉
本態様において、多重解像度画像生成手段２１は、多重解像度画像としてラプラシアンピラミッドを生成することを特徴とする。
第一の実施態様にて説明したように、各解像度レベルの起点画像に平滑化処理を施す点で、本態様において多重解像度画像生成部２１が生成する多重解像度画像は本来のラプラアンピラミッドとは異なる。しかし、それ以外の点においてはラプラシアンピラミッドと同等であるので、多重解像度画像を便宜的に「ラプラシアンピラミッド」と表現する。

多重解像度画像生成部２１は、はじめに各解像度レベルの起点画像に平滑化処理を施して第一画像を生成し、第一画像に対して、一連の処理（平滑化、ダウンサンプリング、アップサンプリング、平滑化）を施した第二画像を生成し、第一画像と第二画像との差をとることで当該解像度における解像度画像（ラプラシアン成分画像）を算出していく。
多重解像度画像（プラシアンピラミッド）の生成、および多重解像度画像（ラプラシアンピラミッド）からの画像再構築に必要となる処理は、基本的な画像処理の繰り返しである。また、この多重解像度画像（ラプラシアンピラミッド）の生成に係る画像処理は、他の多重解像度画像（例えば離散ウェーブレット変換）に比べて計算量も比較的軽量であるといった特徴を有する。このように、多重解像度画像としてラプラシアンピラミッドを使用することは、画像処理に関わる処理を基本的な処理によって構成することができ、かつ計算量も軽量である、といった効果を得られる。

また、本実施態様においては多重解像度画像としてラプラシンピラミッドを使用して、第一の実施態様と同様に「明瞭感」および「凹凸感」の向上と「線画像周辺のアーティファクトの抑制」を両立させることができる。
ここで、「明瞭感」と「凹凸感」の向上に関しては画像の勾配が大きく影響を及ぼす。ラプラシアンピラミッドを構成する各解像度画像のデータ値は、入力画像の勾配と関係の深い特性値に相当する。このため、各解像度画像のデータ値を操作することで、「明瞭感」と「凹凸感」を改善した画像を得ることができる。また、各解像度レベルの起点画像に対して平滑化処理を施すため、線画像周辺のアーティファクトを抑制できる。

〈第七の実施態様〉
本態様において、多重解像度画像生成部２１は、離散ウェーブレット変換を実行することによって多重解像度画像を生成することを特徴とする。
第一の実施態様にて説明したように、各解像度レベルの起点画像に平滑化処理を施す点で、本態様において多重解像度画像生成部２１が生成する多重解像度画像は本来の離散ウェーブレット変換を用いた多重解像度画像とは異なる。しかし、それ以外の点においては離散ウェーブレット変換を用いた多重解像度画像と同等であるので、本態様によって求められる多重解像度画像を便宜的に「離散ウェーブレット変換を用いた多重解像度画像」と表現する。
多重解像度画像生成部２１は、はじめに各解像度レベルの起点画像に平滑化処理を施して第一画像を生成し、第一画像に対して離散ウェーブレット変換を用いた一連の処理（Ｘダウンサンプリング、Ｘアップサンプリングまたは、Ｙダウンサンプリング、Ｙアップサンプリング）を施した第二画像を生成し、第一画像と第二画像との差をとることで当該解像度の画像（いわゆる、ＨＨ、ＬＨ、ＨＬ成分を）を算出していく。

本態様においても、第一の実施態様と同様に「明瞭感」および「凹凸感」の向上と、「線画像周辺のアーティファクトの抑制」を両立させることができる。
ここで、「明瞭感」と「凹凸感」の向上に関しては画像の勾配が大きく影響を及ぼす。離散ウェーブレット変換を用いて生成した多重解像度画像を構成する解像度画像のデータ値は、入力画像の勾配と関係の深い特性値に相当する。このため、各解像度画像のデータ値を操作することで、「明瞭感」と「凹凸感」を改善した画像を得ることができる。また、各解像度レベルの起点画像に対して平滑化処理を施すため、線画像周辺のアーティファクトを抑制できる。

また本態様は離散ウェーブレット変換を用いるため、生成された多重解像度画像を保持するためのメモリ領域が少ないといった特徴を有する。より詳しくは、離散ウェーブレット変換によって多重解像度画像を生成した場合に必要となるメモリ量は、多重解像度化を行う前の画像を保持するために必要となるメモリ領域と基本的には同じである。なお、ラプラシンピラミッドを使用はした多重解像度画像を保持するために必要となるメモリ量は、多重解像度化前の画像に対して、１．３３倍のメモリ量が必要である。
従って、本態様によれば、更に多重解像度画像のデータを保持するために必要となるメモリ量が少ない、といった効果を得られる。

〈第八の実施態様〉
本態様において、多重解像度画像修正手段（多重解像度画像操作部２２）は、各解像度画像を構成する画素のデータ値をＬ、入力画像のダイナミックレンジをＤｒとした場合に、少なくとも「Ｌ／Ｄｒ＜０．１」（式（３））を満たすデータ値Ｌを増加させる処理を実行することを特徴とする。

発明者の検討によれば、式（３）に規定されるデータ値Ｌに対して、データ値を増加させる操作を行うことによって、「明瞭感」および「凹凸感」の増加した画像を得ることができることが判明した。式（３）で規定されたデータ値範囲に対してデータ値を増加させることによって、「明瞭感」や「凹凸感」が向上する理由は、必ずしも明らかになっているわけではないが、以下に説明する作用が「明瞭感」や「凹凸感」が向上させる効果を生み出していると考えられる。

即ち、撮影対象である現実世界のダイナミックレンジと比較して、デジタルカメラを構成する撮像素子やディスプレイなどの表示装置等のダイナミックレンジが非常に狭いことをすでに説明した。上記理由から、カメラや表示装置で取り扱われる画像に対してダイナミックレンジの圧縮が行われるが、このときに比較的小さな濃度差を有するエッジ部や勾配もダイナミックレンジの圧縮にともない圧縮される。比較的小さな濃度差を有するエッジ部や勾配は、視覚的には望ましい圧縮量よりも強く圧縮されることになるため、知覚しづらくなってしまう。そしてこの結果として、「明瞭感」や「凹凸感」が悪化すると考えられる。
本態様では、式（３）で規定されるような相対的に小さな濃度差を持つ領域で、エッジや勾配に対応する特性値を操作してエッジや勾配を相対的に大きくする画像処理を実行する。ダイナミックレンジ圧縮にともなって劣化してしまった比較的小さな濃度差を有するエッジ部や勾配を再度大きくするようにすることができるため、「明瞭感」や「凹凸感」が向上した画像を得ることができるようになる。
本態様によれば、視覚的に望ましくない状態で圧縮されてしまった、比較的小さな濃度差を有するエッジ部や勾配を、知覚的に適切に知覚することができるように改善することができる。

〈第九の実施態様〉
本態様は、入力画像Ｄｉｎから生成された明るさ成分画像Ｙから多重解像度画像を生成する多重解像度画像生成ステップ、多重解像度画像のデータ値を修正する多重解像度画像修正ステップ、及び、修正後の多重解像度画像を再構成する再構成ステップを含む多重解像度処理ステップを有し、再構成された画像から出力画像Ｄｏｕｔを生成する画像処理方法であって、多重解像度画像生成ステップは、一の解像度レベル（ｎ）の起点画像３０１に対して平滑化処理を施すことによって第一画像３０３を生成し、第一画像をスケールダウンしたスケールダウン画像をスケールアップすることによって第二画像３０５を生成し、第一画像と第二画像とに基づいて当該解像度レベルの解像度画像３０７を生成すると共に、スケールダウン画像を次の解像度レベル（ｎ＋１）の起点画像として出力することによって、多重解像度画像を生成するステップであることを特徴とする。
本態様は、第一の実施態様と同様の作用、効果を奏する。

〈第十の実施態様〉
本態様は、第九の実施態様に係る画像処理法をコンピュータに実行させるためのプログラムである。
本態様は、第一の実施態様と同様の作用、効果を奏する。

１…画像処理装置、１１…色分解部、１２…多重解像度操作部、１３…色合成部、２１…多重解像度画像生成部、２１１…第一平滑化フィルタ、２１２…第二平滑化フィルタ、２２…多重解像度画像操作部、２３…再構成部、１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…記憶装置、１０５…操作入力装置、１０６…表示装置、１０７…ネットワークインターフェース、１０８…バス、３０１…起点画像、３０３…第一画像、３０５…第二画像、３０７…解像度画像、３０９…解像度画像、３１１…（中間）再構成画像、３１２…第二平滑化フィルタ、３１３…第三画像、３１５…第四画像、３１７…解像度画像、３２１…解像度画像、３２３…解像度画像、３２５…中間再構成画像、３３０…色成分画像

特許第３４０２６３０号

Claims (10)

1. 入力画像から生成された明るさ成分画像から多重解像度画像を生成する多重解像度画像生成手段、前記各多重解像度画像のデータ値を修正する多重解像度画像修正手段、及び、修正後の多重解像度画像を再構成する再構成手段を備え、再構成された画像から出力画像を生成する画像処理装置であって、
   前記多重解像度画像生成手段は、一の解像度レベルの起点画像に対して平滑化処理を施すことによって第一画像を生成し、前記第一画像をスケールダウンしたスケールダウン画像をスケールアップすることによって第二画像を生成し、前記第一画像と前記第二画像とに基づいて当該解像度レベルの解像度画像を生成すると共に、前記スケールダウン画像を次の解像度レベルの起点画像として出力することによって、前記多重解像度画像を生成することを特徴とする画像処理装置。
2. 入力画像から生成された明るさ成分画像から多重解像度画像を生成する多重解像度画像生成手段、多重解像度画像のデータ値を修正する多重解像度画像修正手段、及び、修正後の多重解像度画像を再構成する再構成手段を備え、再構成された画像から出力画像を生成する画像処理装置であって、
   多重解像度画像生成手段は、
   一部の解像度レベルにおいては、起点画像に対して平滑化処理を施すことによって第一画像を生成し、第一画像をスケールダウンしたスケールダウン画像をスケールアップすることによって第二画像を生成し、第一画像と第二画像とに基づいて当該解像度レベルの解像度画像を生成すると共に、前記スケールダウン画像を次の解像度レベルの起点画像として出力し、
   他部の解像度レベルにおいては、起点画像をスケールダウンした第二スケールダウン画像をスケールアップすることによって第四画像を生成し、起点画像と第四画像とに基づいて当該該解像度レベルの解像度画像を生成すると共に、前記第二スケールダウン画像を次の解像度レベルの起点画像として出力することによって多重解像度画像を生成することを特徴とする画像処理装置。
3. 平滑化処理において使用する平滑化フィルタにおいて中心画素の重みをＷＲとしたとき、「０．３≦ＷＲ≦０．８」を満たすことを特徴とする請求項１又は２に記載の画像処理装置。
4. 多重解像度画像処理手段は、各解像度画像のコントラストを増加させる処理を実行する
   ことを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
5. 多重解像度画像処理手段は、各解像度画像のコントラストを減少させる処理を実行することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
6. 多重解像度画像生成手段は、多重解像度画像としてラプラシアンピラミッドを生成することを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
7. 多重解像度画像生成手段は、離散ウェーブレット変換を実行することによって多重解像度画像を生成することを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
8. 多重解像度画像修正手段は、各解像度画像を構成する画素のデータ値をＬ、入力画像のダイナミックレンジをＤｒとした場合に、少なくとも「Ｌ／Ｄｒ＜０．１」を満たすデータ値Ｌを増加させる処理を実行することを特徴とする請求項１乃至７の何れか一項に記載の画像処理装置。
9. 入力画像から生成された明るさ成分画像から多重解像度画像を生成する多重解像度画像生成ステップ、多重解像度画像のデータ値を修正する多重解像度画像修正ステップ、及び、修正後の多重解像度画像を再構成する再構成ステップを含む多重解像度処理ステップを有し、再構成された画像から出力画像を合成する画像処理方法であって、
   多重解像度画像生成ステップは、一の解像度レベルの起点画像に対して平滑化処理を施すことによって第一画像を生成し、第一画像をスケールダウンしたスケールダウン画像をスケールアップすることによって第二画像を生成し、第一画像と第二画像とに基づいて当該解像度レベルの解像度画像を生成すると共に、前記スケールダウン画像を次の解像度レベルの起点画像として出力することによって、多重解像度画像を生成するステップであることを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images