JP2020009074A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】適切な立体感を得るとともに、高画質な画像を出力装置に出力することを可能とする。【解決手段】画像処理装置であって、画像と、前記画像に含まれる画素それぞれに対応する、合焦面からの距離に関する距離情報とを取得する取得手段と、出力装置の鮮鋭度に係る出力特性に基づき、距離情報に応じた画像処理条件を設定する設定手段と、前記取得手段にて取得した距離情報と前記設定手段にて設定した画像処理条件とを用いて、前記画像に対して画像処理を行う処理手段とを有し、前記処理手段は、前記距離情報に応じて、前記画像処理を適用する前記画像の空間周波数の帯域を切り替える。【選択図】図７

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

人間は目で見たものを立体的に知覚しており、これは脳が両眼の手がかりと単眼の手がかり、また運動視差等をもとに知覚していると考えられている。両眼の手がかりとしては、両眼での網膜像の差である網膜視差などがある。さらに、単眼の手がかりとしては、線遠近法や物体の大きさ、肌理の勾配、陰影、大気遠近やボケの効果等が挙げられる。これらの１つ以上の手がかりを利用して、人間は立体感つまり「もの」の奥行きや厚みや深さ、「もの」の前後関係を知覚している。

撮像装置により撮影され、表示、投影あるいは印刷された２次元画像を人間が見る際には、ピントが合っている部分と、奥行きに応じてボケている部分のボケ方の差から画像の立体感が認識される。つまり、画像の合焦している（ピントがあっている）部分と、合焦していない（ボケている）部分の再現が立体感にとって重要となる。

一方、例えばレーザー距離計等で、撮影地点から対象物までの実距離を測定する方法、２台のカメラの視差情報から距離を計測する方法など、一般的に撮影時に被写体を含むシーンの距離情報を取得する方法も提案され始めている。奥行き情報を利用した高画質化手法としては、例えば、特許文献１の技術がある。

特開２００９−２５１８３９号公報

上述のように、２次元の静止画における立体感はボケの効果、つまり画像の鮮鋭性によるところが大きいため、出力画像の鮮鋭性を適切に制御しなければ、立体感のある画像を提供することができない。さらに、鮮鋭性の制御においては、人間の視覚特性を考慮した補正を行い、かつ撮影時のノイズ等の画質劣化要因を極力抑制しなければ、立体感があり、かつ高画質な画像を出力することが出来ない。

しかしながら、特許文献１で用いる奥行き情報は、画像自体から推定算出した情報であるため、画像の特性や構図によっては正しく奥行を求めることが出来ない場合がある。また、特許文献１では、画質劣化要因を考慮した画像処理は施されていない。その結果、対象画像に適した処理を施すことができず、画像の立体感に違和感が生じることや、画質劣化要因を強調してしまう場合があった。

上記課題を鑑み、本発明は、画像における立体感を表現でき、かつ、高画質な画像の出力を可能とすることを目的とする。

上記課題を解決するために、本発明は以下の構成を有する。すなわち、画像処理装置であって、画像と、前記画像に含まれる画素それぞれに対応する、合焦面からの距離に関する距離情報とを取得する取得手段と、出力装置の鮮鋭度に係る出力特性に基づき、距離情報に応じた画像処理条件を設定する設定手段と、前記取得手段にて取得した距離情報と前記設定手段にて設定した画像処理条件とを用いて、前記画像に対して画像処理を行う処理手段とを有し、前記処理手段は、前記距離情報に応じて、前記画像処理を適用する前記画像の空間周波数の帯域を切り替える。

本発明により、画像における立体感を表現でき、かつ、高画質な画像の出力が可能となる。

本発明に係る画像処理システムの構成例を示す図。 合焦面、像ずれ量とデフォーカス量の関係を示す図。 合焦像距離、物体距離、合焦物体距離の関係を示す図。 本発明の一実施形態に係るソフトウェア構成の例を示す図。 デフォーカスマップと各領域を説明するための図。 本発明に係る画像処理のフローチャートを示す図。 本発明に係るコントラストと空間周波数の関係を説明するための図。 本発明に係るデフォーカス量と立体感制御量の関係を説明するための図。 本発明に係る印刷に応じた立体感制御量の変動を説明するための図。 本発明に係る画像処理条件を生成する際に用いるパターンの例を示す図。 本発明に係る画像処理条件の生成処理のフローチャート。 本発明に係る画像の周波数特性を説明するための図。

以下、図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。

以下に説明する実施形態では、出力装置の一例としてインクジェットプリンタを例に挙げて、本発明に係る画像処理を説明する。また、以下の説明において、２次元の画像形成を行う際の立体感の再現に係る制御を立体感制御と記載する。

［システム構成］
図１は、本発明の一実施形態に係る画像処理装置を適用したプリントシステムの全体構成の例を示す。情報処理装置（以下、「ＰＣ」ともいう）１０１と出力装置１０２を含んで構成される。ＰＣ１０１と出力装置１０２とが、ネットワークやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）またはローカルバスなどのインタフェースにより、通信可能に接続されている。ここでの接続方式は、特に限定するものではなく、有線／無線も問わない。ＰＣ１０１は、出力装置１０２への印刷制御指示、必要な情報及びデータの転送などを実施する。したがって、図１には不図示であるが、ＰＣ１０１と出力装置１０２はそれぞれ、外部装置との通信部を備える。

ＰＣ１０１は、ＣＰＵ１０３、記憶装置１０４、ＵＩ１０５、作業メモリ１０６、およびデータ入力装置１０７を含んで構成される。記憶装置１０４は、不揮発性の記憶領域であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本実施形態のシステムプログラムや各種アプリケーションソフトおよび各種処理に必要なパラメータデータを記憶している。記憶装置１０４は、ＨＤＤやフラッシュＲＯＭに代表される手段で構成可能である。ＣＰＵ１０３は、記憶装置１０４に格納された各種ソフトウェアを実行する際に、作業メモリ１０６を用いて処理を実行する。ＵＩ１０５は、ユーザインタフェースとなる操作部であり、各種処理の実行に関して、キーボードやマウス等の入力機器やディスプレイ等の表示機器を含む。作業メモリ１０６は、揮発性の記憶領域であり、例えば、ＣＰＵ１０３による各種処理を実行する際に利用される。データ入力装置１０７は、ＳＤカード等の外部記録媒体とのデータの入出力を行う。また、ＰＣ１０１は、カメラ等の撮像装置（不図示）をデータ入力装置１０７へ接続し、外部記録媒体を介さずにデータの受け渡しを直接行ってもよい。

出力装置１０２は、データ転送部１０８、画像処理部１０９、印刷部１１０、およびプリンタ制御部１１１を含んで構成される。上述したように、本実施形態では、出力装置１０２は、インクジェット方式で印刷動作が実行可能なプリンタを想定して説明するが、他の機能を有する複合機（ＭＦＰ：Ｍｕｌｔｉ−Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）などであってもよい。出力装置１０２には、ＰＣ１０１から印刷処理に用いられる印刷データが適時送信される。

本実施形態に係る印刷データは、入力画像データ、入力画像データに対応した撮影時の合焦面からの距離に相当する情報、記録媒体の固有データである画像処理パラメータとプリンタ制御データ、印刷情報データなどを含んで構成される。入力画像データは、カメラ等の撮像装置で撮像された画像が相当する。印刷情報データは、ユーザーがＵＩ上で選択した印刷品位や記録媒体等の情報が相当する。

記録媒体とは、出力装置１０２において画像形成が行われる媒体であり、例えば、紙メディア等を指す。撮影時の合焦面からの距離に相当する情報（以下、「距離情報」とも称する）とは、デフォーカス量（デフォーカス情報）や像ずれ量、実際の合焦面から物体までの距離の情報などが相当する。入力画像データや、距離情報は、撮像装置（不図示）内で生成されてもよいし、撮像装置（不図示）に接続されたＰＣ１０１または出力装置１０２において生成されてもよい。また、距離情報を生成するための情報を撮像装置（不図示）から取得し、撮像装置に接続されたＰＣ１０１や出力装置１０２内で距離情報を生成してもよい。ここで、距離情報を生成するための情報とは、例えば、撮像装置が備える撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる対の画像などが挙げられる。

データ転送部１０８は、ＰＣ１０１から送られてきた印刷データから、入力画像データ、距離情報、及び画像処理パラメータを取り出して画像処理部１０９に送る。データ転送部１０８は、プリンタ制御データをプリンタ制御部１１１に送る。本実施形態において、入力画像データは、ＰＣ１０１内で記憶装置１０４にプログラムとして記憶されている解像度変換処理によってユーザー設定した記録媒体のサイズに変倍された上で用いられる。また、解像度変換処理は、出力装置１０２内の画像処理部１０９内で同様に処理されてもよい。また、本実施形態では、画像処理部１０９は出力装置１０２内にあるが、ＰＣ１０１中で行ってもよい。

また、画像処理パラメータやプリンタ制御データは、ＰＣ１０１内の記憶装置１０４や、出力装置１０２内の記憶装置（不図示）に記憶されている。これらが、印刷データ内の印刷情報データに基づいて選択され、画像処理部１０９やプリンタ制御部１１１に送られる構成でもよい。プリンタ制御部１１１は、プリンタ制御データに従って印刷部１１０の動作を制御する。本例では、印刷部１１０における印刷に関しては、インクジェット記録方式により印刷を行う。

図２は、本実施形態に係る、撮影時の合焦面、像ずれ量、及びデフォーカス量の関係を説明するための図である。図２において、合焦面２０１は、撮像装置（不図示）において像面（撮像面）２０３と並行でピントの合う平面のことである。また、デフォーカス量２０５（ｄｅｆ）は、像面２０３とデフォーカスした撮像面位置２０４との差（予定結像面と実際の結像面との差）であり、ボケ量に比例している。本例では、予定結像面は、像面２０３に対応し、実際の結像面は、撮像面位置２０４に対応する。デフォーカス量２０５を検出する方法としては、従来、瞳分割型位相差検出方式や、ボケの異なる複数の画像を用いてデフォーカス量を検出する方法が知られている。

例えば、特開２００８−１５７５４号公報では、図２に示す画像の像ずれ量（視差量）２０６からデフォーカス量２０５を算出する方法が開示されている。この方法では、撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる一対の画素データに対して、データを相対的にずらしながら相関値を演算し、最も相関が高くなる像ずれ量２０６が視差量となる。さらに算出した像ずれ量２０６に対して、撮像素子の画素ピッチとレンズに応じて決定される変換係数を用いて被写体像面の予定結像面に対するデフォーカス量２０５を算出する。

また、特開２０１３−２５３９６４号公報では、ＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）方式によってデフォーカス量を算出する方法が開示されている。ＤＦＤ方式は、撮像光学系の撮影パラメータを制御することにより、ボケの異なる複数の画像を取得し、複数の取得画像において測定対象画素およびその周辺画素を用いて互いのボケの相関量を算出してデフォーカス量２０５を算出する。

次に、図３を用いて合焦面２０１と物体との距離を算出する方法を説明する。図３において、３０１は合焦物体距離ＯＢＪ（０）を示し、合焦面２０１からレンズ２０２までの距離である。３０２は合焦像物体に対する撮像面距離Ｓ（０）を示し、レンズ２０２から像面２０３（予定結像面）までの距離である。３０３は物体距離ＯＢＪ（ｄｅｆ）を示し、レンズ２０２から物体（不図示）までの距離である。３０４は合焦面２０１から物体（不図示）までの距離である。変数ｄｅｆは、デフォーカス量２０５を示している。また、変数ｄｅｆ＝０の場合とは、像面２０３とデフォーカスした撮像面位置２０４との差が０であることを示す。レンズの公式により、下記の式（１）、式（２）が成立するため、物体距離ＯＢＪ（ｄｅｆ）は下記の式（３）によって算出することが可能である。
式（３）によって算出した物体距離ＯＢＪ（ｄｅｆ）を合焦物体距離ＯＢＪ（０）から引くことにより、合焦面２０１から物体（不図示）までの距離３０４を算出することができる。

上述した合焦面２０１からの距離に相当する情報（距離情報）とは、合焦面２０１からの距離に比例した情報である。そのため、合焦面２０１からの距離に相当する情報（距離情報）としては、上述した像ずれ量２０６、デフォーカス量２０５、合焦面２０１から物体（不図示）までの距離３０４のいずれでもよい。

次にデフォーカスマップについて説明する。上述のデフォーカス量２０５を入力画像データ上の複数個所でマップ化したものがデフォーカスマップであり、入力画像データの各画素に対応するデフォーカス量の情報を保持されている。したがって、入力画像データの画素数に応じて、保持されるデフォーカス量の情報の数は異なる。

図５（ａ）は、本実施形態に係るデフォーカスマップを説明するための図である。ここでは、図５（ａ）に示すように、２つの立方体５０１、５０２を撮影した入力画像データに対するデフォーカスマップを例に挙げて説明する。入力画像データの各画素に対応するデフォーカス量の情報が保持されている。図５（ａ）に示す画像において、５０３にて示す位置にピントがあっているものとし、その位置からの距離が離れるほど（奥行き方向の距離が離れるほど）、デフォーカス量が増加するものとする。

図５（ｂ）は、デフォーカス量と本実施形態で使用する各領域を説明するための図である。図６において、横軸はデフォーカス量［ｍｍ］を示しており、中央の値を０とし、左右に離れるほどデフォーカス量が増加している。図５（ｂ）でデフォーカス量＝“０”が撮影時の合焦面２０１に相当するデフォーカス量であり、図５（ａ）の最も黒い部分（合焦領域５０３）に対応する。デフォーカス量の値が“０”から離れるにつれて、図５（ａ）では白くなっていく。図５（ａ）のデフォーカスマップにおいて、合焦領域５０３は、ピントが合っている合焦面画像領域である。図５（ｂ）にも示す合焦領域５０３に対応する。合焦領域５０３以外の領域を本実施形態では、デフォーカスマップ上で合焦領域５０３に対応しない領域として非合焦領域５０４とする。また、ピントが合っていると許容する領域を許容合焦領域５０５とする。許容合焦領域５０５は、被写界深度としてその範囲を定義してもよいし、被験者実験によって任意に定義してもよい。許容合焦領域５０５以外の領域を、本実施形態では非許容合焦領域５０６とする。図５（ｂ）では、横軸をデフォーカス量としたが、これに限定するものではない。例えば、距離情報の例として挙げた、上述の像ずれ量２０６や合焦面２０１から物体までの距離３０４の情報などの他の情報を用いてもよい。

＜第１の実施形態＞
本願発明の第１の実施形態に係る画像処理部１０９の構成例を図４に示す。画像処理部１０９は、例えば、専用の回路等によって実行されてもよい。もしくは、ＣＰＵや記憶領域を設け、ＣＰＵが記憶領域に記憶されたプログラムを読み出して実行することにより実現されてもよい。なお、本実施形態では、画像処理部１０９は、出力装置１０２が備える構成としているが、これに限定するものではない。例えば、画像処理部１０９に対応する機能がＰＣ１０１や撮像装置（不図示）にて提供され、それらが出力装置１０２と連携もしくは出力装置１０２の情報を取得することで実行されるような構成であってもよい。

画像処理部１０９は、立体感制御部４０１、および出力画像生成部４０２を含んで構成される。立体感制御部４０１には、画像データ、デフォーカスマップ（距離情報）、及び画像処理条件４０３が入力される。出力画像生成部４０２は、立体感制御部４０１によって処理された画像データが入力され、印刷部１１０にて用いる画像データを出力データとして出力する。各処理部の処理の詳細は、フローチャートと併せて説明する。

本実施形態に係る画像処理部１０９における画像処理を図６のフローチャートを用いて説明する。

Ｓ１０１にて、画像処理部１０９は、入力画像データを取得する。

Ｓ１０２にて、画像処理部１０９は、距離情報として、上述のデフォーカスマップを取得する。

Ｓ１０３にて、立体感制御部４０１は、記憶装置１０４や、出力装置１０２内の記憶装置（ハードディスクやＲＯＭ等：不図示）に記憶されている出力装置１０２の出力特性に基づいて定められた画像処理条件４０３を取得する。本実施形態では、画像処理条件４０３は、出力装置１０２の出力特性に対応して印刷条件ごとに規定され、記憶装置（不図示）内に保持されている。立体感制御部４０１は、上述の印刷情報データに応じて画像処理条件４０３を選択し、取得する。

Ｓ１０４にて、立体感制御部４０１は、入力画像の輝度情報に対して、立体感制御処理を行う。ここでの処理の詳細は後述するが、入力画像データの鮮鋭性の特性とデフォーカスマップ、出力装置の出力特性に基づいて定められた画像処理条件４０３によって、画像の立体感を制御する。なお、画像処理条件４０３の詳細については後述する。また、上記の入力画像データの鮮鋭性の特性は、カメラ等の撮像装置から取得した情報を用いてよい。この情報は、入力画像データと共に取得されるものとして説明する。

Ｓ１０５にて、出力画像生成部４０２は、立体感制御部４０１から出力される出力画像データ（ＲＧＢ）に対して、印刷部１１０にて記録するための出力データを生成する。上述したように、本実施形態では、出力装置１０２としてインクジェットプリンタを用いているため、この場合は、インクジェット方式の記録ヘッド（不図示）で記録する際に用いられる出力データを生成する。出力画像生成の具体的な処理としては、まず、対象の出力画像データにおけるデバイス非依存のＲＧＢデータを、デバイス依存のＲＧＢデータに変換する色変換処理が行われる。次に、デバイス依存のＲＧＢデータからインク色データに変換するインク色分解処理、記録装置の階調特性に線形的に対応づけられるように階調補正を行う階調補正処理が行われる。さらに、インク色データをインクドットのＯＮ／ＯＦＦの情報であるハーフトーン処理、記録ヘッド（不図示）の各記録走査で記録される２値データを生成するマスクデータ変換処理等が行われる。いずれもインクジェットプリンタにおいては一般的な処理であり、本実施形態の根幹に関わる部分ではないため、ここでの詳細な説明は割愛する。

Ｓ１０６にて、出力画像生成部４０２は、作成した出力データを印刷部１１０に出力する。この出力データは、印刷部１１０により、記録媒体上に出力（記録）されることとなる。そして、本処理フローを終了する。

［出力装置における立体感］
出力装置１０２の鮮鋭性に影響する出力特性と立体感の制御について説明する。上述したように、人間がカメラなどの撮像装置で撮影された２次元画像を見る際、合焦している（ピントが合っている）合焦領域を含む許容合焦領域と、合焦していない（ボケている）非許容合焦領域の鮮鋭感の差から画像の奥行き感や立体感を認識している。

一方、本実施形態に係るプリンタなどの出力装置を通して画像を出力すると、例えば、記録媒体やインクの滲みによる画像の鮮鋭性の低下や、入力画像データを記録媒体サイズ（プリントサイズ）に変倍する解像度変換処理などにより、画像の鮮鋭性が低下する。ディスプレイやプロジェクタなどの他の出力装置でも同様に出力画像においては画像の鮮鋭性が低下する。

このような出力装置の出力特性による入力画像の鮮鋭性の変化は、入力において鮮鋭性の高い（ピントが合っている）許容合焦領域では大きく変化し、入力において鮮鋭性の低い（ボケている）非許容合焦領域ではその変化は小さくなる。つまり、１の画像内において、各領域で鮮鋭性の変化量が異なる。そのため、入力画像に立体感に影響していた許容合焦領域と非許容合焦領域の鮮鋭性の関係が、出力画像ではそのまま維持されないこととなる。

図７のグラフを用いてさらに詳しく説明する。図７において、説明の簡略化のため、合焦領域の画像の空間周波数特性と、非合焦領域に含まれる特定のデフォーカス量に対応する画像の空間周波数特性とが同じ周波数にピークを持つ画像として扱う。また、本実施形態では、記録媒体サイズに変倍するために画像に対する拡大処理を行ってからプリンタで出力した際の特性を出力特性とする。本実施形態では、解像度変換処理として拡大処理を例に挙げて許容合焦領域と非許容合焦領域の鮮鋭性の関係を説明しているが、解像度変換処理が等倍処理・縮小処理であってもよい。

図７は、画像のコントラストと空間周波数特性との関係を示し、縦軸をコントラスト、横軸を空間周波数［ｃｙｃｌｅ／ｄｅｇｒｅｅ］とする。また、本明細書では、便宜上、「高周波（数）」「中周波（数）」「低周波（数）」と記載する場合があるが、これらは相対的な関係を示しており、特定の帯域を示すものではない。しかし、人間の目の特性などに応じて、これらの帯域を規定し、処理を行うような構成であってもよい。

図７（ａ）において、合焦領域５０３の入力特性７０１（実線）と出力特性７０２（破線）が示されている。同様に、図７（ｂ）において、非合焦領域５０４の特定のデフォーカス量での入力特性７０３（実線）と出力特性７０４（破線）が示されている。図７（ｃ）は、図７（ａ）の入力特性７０１（実線）と図７（ｂ）の入力特性７０３（破線）を同一のグラフ内に示したものである。同様に、図７（ｄ）は、図７（ａ）の出力特性７０２（実線）と図７（ｂ）の出力特性７０４（破線）を同一のグラフ内に示したものである。

ボケによる立体感がある入力画像データでは、特定の空間周波数における入力画像データの合焦領域５０３の鮮鋭性を示すコントラスト値Ｃ１と、非合焦領域５０４の鮮鋭性を示すコントラスト値Ｃ２が図７（ｃ）に示す関係７１０となる。この入力画像を出力装置１０２で出力すると図７（ｄ）に示すようにコントラスト値Ｃ１とＣ２はそれぞれ、Ｃ１’とＣ２’に変化する。

図７（ｃ）と図７（ｄ）から明らかなように、出力装置１０２の出力特性によって入力画像データの鮮鋭性の変化量が、合焦領域５０３と非合焦領域５０４で異なる。そのため、立体感に影響する鮮鋭性の差（コントラスト値Ｃ１’とＣ２’の関係７１１）が、入力画像データにおける鮮鋭性の差（コントラスト値Ｃ１とＣ２の関係７１０）より小さくなり、適切な立体感が得られない出力画像となる。つまり、入力画像と同様の立体感のある出力画像を得るためには、前述のデフォーカス量に相当する画像のボケの状態と出力装置の鮮鋭性に影響する出力特性に基づいて適切に鮮鋭性を制御する必要がある。言い換えると、出力特性応じて、鮮鋭性の差（コントラスト間の関係性）が入力画像の状態に維持もしくは近づくように制御する必要がある。

図７（ｅ）は、合焦領域の図７（ａ）の出力特性７０２（実線）と、出力装置の出力特性に基づいたデフォーカス量と立体感制御量の関係を用いて画像の鮮鋭性を制御した結果の特性７０５（破線）を示している。同様に、図７（ｆ）は、図７（ｂ）の出力特性７０４（実線）と、出力装置の出力特性に基づいたデフォーカス量と立体感制御量の関係を用いて画像の鮮鋭性を制御した結果の特性７０６（破線）を示している。また、図７（ｇ）は、図７（ｅ）の特性７０５（実線）と図７（ｇ）の特性７０６（破線）を同一のグラフ内に示したものである。ここでは、出力画像に対して、画像の鮮鋭性を入力画像と同一もしくは近づけるように制御することを「回復」もしくは「復元」と称する。

画像の鮮鋭性を適切に制御した出力画像では、合焦領域５０３と非合焦領域５０４のコントラスト値の関係は、図７（ｇ）に示すように関係７１６となる。図７（ｇ）において、Ｃ１’’は合焦領域５０３のコントラスト値であり、Ｃ２’’は非合焦領域５０４のコントラスト値である。図７（ｇ）に示すように、本実施形態に係る画像出力条件に基づいて立体感制御処理を実施した出力画像では、画像の立体感に影響する鮮鋭性の差が、コントラスト値Ｃ１’’とＣ２’’の関係７１６に示すような値となる。一方、本実施形態に係る処理を適用しない場合の鮮鋭性の差は、図７（ｄ）に示すように、コントラスト値Ｃ１’とＣ２’の関係７１１に示すような値となる。つまり、本実施形態に係る画像出力条件に基づいて立体感制御処理を実施した出力画像では、処理をしない場合の鮮鋭性の差（関係７１１）に対して、画像の立体感に影響する鮮鋭性の差（関係７１６）が大きくなる。これにより、入力画像における鮮鋭性の差（コントラスト値Ｃ１とＣ２の関係７１０）に近くなっているため、本実施形態では、入力画像に近い、適切な立体感を出力画像でも得ることができる。

本実施形態では、図７（ａ）と図７（ｅ）を比較して分かるように、合焦領域５０３では、低周波から高周波数の帯域（図７（ｅ）の周波数帯域７１２）にかけて鮮鋭性を制御し回復させている。つまり、合焦領域５０３では、周波数帯域７１２の範囲において、出力特性７０２を、入力特性７０１に近づけるもしくは同一となるように制御して、特性７０５に設定している。これは、人間の目がピントの合っている合焦領域では、非常に細かいテクスチャまで特徴として確認できることでピントが合っていると知覚することに起因している。

一方、図７（ｂ）と図７（ｆ）を比較して分かるように、非合焦領域５０４では、デフォーカス量に応じて、高周波数帯域を含まないように帯域を制限（図７（ｆ）の周波数帯域７１４）した上で、鮮鋭度を回復している。つまり、非合焦領域５０４では、周波数帯域７１４の範囲において、出力特性７０４を、入力特性７０３に近づけるもしくは同一となるように制御して、特性７０６に設定している。これは、ボケている（デフォーカス量が大きい）部分においては、低周波数から中周波数の帯域の部分の回復が重要である。これとともに、上述した高周波数帯域では撮影画像において目につきやすいノイズ成分が含まれる領域であるため、鮮鋭度を回復した場合にはノイズ成分まで強調されてしまう。そのため、回復の対象とする範囲としては、低周波数から中周波数の範囲を対象とする。このように、人間の視覚特性を考慮し、画質の劣化要因であるノイズ成分（高周波帯域）を回復させないように制御することで、適切な立体感を得るとともに、高画質な画像を出力装置に出力することが可能である。なお、周波数帯域７１４の高周波側の上限値は、人間の視覚に基づいて、予め規定されていてもよい。もしくは、出力装置１０２の出力特性において、コントラストの値が所定の値（例えば、０）となる空間周波数を、周波数帯域７１４の高周波側の上限値としてもよい。

また、出力装置によっては、図７（ｅ）に示す周波数帯域７１３や図７（ｆ）に示す周波数帯域７１５のように、低周波側の一部に対して帯域制限を加えて鮮鋭度を回復してもよい。これは、プリンタ等の出力装置では、低周波側の劣化は、劣化がない（略ない）もしくは視覚的に見えない程度の劣化であるためである。また、後述するフィルタ処理により鮮鋭度を回復させる場合は、低周波側の領域を回復する程、フィルタサイズが大きくなり、処理速度の低下の要因となる。そのため、低周波側の帯域に制限を設けることで、処理速度の低下を抑制することが可能となる。ここで制限される低周波側の領域の範囲は、例えば、人間の視覚に基づいて予め規定されていてもよい。また、帯域制限される低周波側の帯域として、図７（ｅ）に示す合焦領域に対する範囲と、図７（ｆ）に示す非合焦領域に対する範囲とを異なるように構成してもよい。因みに、視覚的に見えない程度の劣化とは、後述するＭＴＦ特性の値で０．２とすることが望ましい。

図示はしていないが、上述したような回復の制御において、デフォーカス量が大きくなるにつれて高周波数を含まないように徐々に狭くなるように、周波数帯域を制限することが望ましい。また、許容合焦領域５０５はピントが合って見える領域であるため、低周波から高周波の鮮鋭度の補正が必要な全帯域にかけて鮮鋭性を制御し回復させ、非許容合焦領域５０６では制限された帯域に対して鮮鋭度を回復するようにしてもよい。

なお、図７では、説明の簡略化のため、合焦領域の画像の空間周波数と、非合焦領域に含まれる特定のデフォーカス量に対応する画像の空間周波数の２点に対するコントラストを比較した。しかし、合焦領域と非合焦領域の別のデフォーカス量に対応する画像についても前述の関係は成立する。また、許容合焦領域に含まれる特定のデフォーカス量に対応する画像と、非許容合焦領域に含まれる特定のデフォーカス量に対応する画像の空間周波数の２点においても前述の関係は成立する。

また、画像の鮮鋭性に影響する画像特性としてコントラスト値を取り上げたが、出力装置の出力特性による合焦領域と非合焦領域の画像の鮮鋭性の変化については、鮮鋭度を示す空間周波数特性においても同じ関係が説明できることは自明である。

［立体感制御処理］
以下、本実施形態に係る立体感制御処理について説明する。立体感制御部４０１では、画像処理条件４０３に設定されている鮮鋭性の制御パラメータにより入力画像データの鮮鋭性を制御する。画像処理条件４０３には、各デフォーカス量に対する立体感制御量が設定されている。

図８は、画像処理条件４０３に設定されているデフォーカス量と立体感制御量の関係を示している。図８において、縦軸は立体感制御量を示し、横軸はデフォーカス量を示す。図８におけるデフォーカス量は、図５（ｂ）に対応するものとする。画像処理条件の作成方法については後述する。

立体感制御部４０１では、入力画像データの各画素の輝度情報に対して、処理対象画素のデフォーカスマップのデフォーカス量を参照しながら、画像処理条件４０３に設定された立体感制御量を適用してシャープネス処理を行う。シャープネス処理では、例えば、Ｌａｐｌａｃｉａｎ Ｏｆ Ｇａｕｓｓｉａｎフィルタ（式（４））やアンシャープマスクを用いる。
σは立体感制御量に関するフィルタパラメータを示し、それぞれ、デフォーカス量に応じた値が設定される。σはＬＵＴ（Ｌｏｏｋ−Ｕｐ Ｔａｂｌｅ）方式でパラメータを予め設定してもよいし、デフォーカス量に対する関係式を用いて計算してもよい。ｘ、ｙはそれぞれ、画素のｘ方向およびｙ方向の座標を示し、座標は予め規定されているものとする。

式（５）は、式（４）に示すＬａｐｌａｃｉａｎ Ｏｆ Ｇａｕｓｓｉａｎフィルタを用いた際の入力画像データの輝度情報の変換式を示す。
Ｉ（ｘ，ｙ）は、入力画像データを示す。Ｏｕｔ（ｘ，ｙ）は、立体感制御処理後の画像データを示す。βは、画像処理条件４０３に設定されるデフォーカス量に対する立体感制御量である。

なお、シャープネス処理に使用するフィルタは、上述したＬａｐｌａｃｉａｎ Ｏｆ Ｇａｕｓｓｉａｎフィルタだけでなく、特定フィルタの強度を鮮鋭性の制御量で調整する方法もある。特定フィルタとは、例えば、出力装置の鮮鋭性の低下情報の逆特性を求めて作成されたフィルタである。

また、上記説明したようにデフォーカス量に応じて帯域制限することが重要であり、帯域制限して鮮鋭度を補正できればどのようなフィルタでもよい。例えば、上記のＬａｐｌａｃｉａｎ Ｏｆ Ｇａｕｓｓｉａｎフィルタ等で帯域制限して鮮鋭度を制御してもよいし、帯域制限フィルタを鮮鋭性の低下情報の逆特性から作成してもよい。

図８において、デフォーカス量ｄ＝０でのβ＝β１は入力画像の合焦領域に対する制御量を示す。図８において、β１は最大の立体感制御量を示す。また、デフォーカス量ｄ１は、図５（ｂ）に示す許容合焦領域５０５と非許容合焦領域５０６の境界の値である。つまり、ｄ１は、許容合焦領域５０５に含まれる上限値を示す。さらに、デフォーカス量ｄ２は、デフォーカスマップに含まれる最大のデフォーカス量を示す。したがって、デフォーカス量は、ｄ０（＝０）からｄ２までの範囲の値をとる。また、立体制御量は、β１から０までの範囲の値をとる。

出力画像において、出力装置の出力特性を考慮した適切な立体感を得るためには、図８（ａ）〜（ｃ）に示すように、入力画像内の合焦領域５０３の画素に対する立体感制御量が最も大きくなるように画像処理条件を設定する。つまり、デフォーカス量ｄ０に対する立体感制御量β１が最大となるように設定する。さらに、非合焦領域５０４の制御量は、デフォーカス量が大きくなるほど（ｄ２に近づくほど）制御量が小さくなるように、つまり単調減少となるように設定するとよい。合焦面２０１からの距離に相当する情報としてデフォーカス量ｄｅｆが画像のボケ量に対応する値である場合は、図８（ａ）のように、デフォーカス量と立体感制御量は非線形な関係をもつ。図８（ａ）に示す線は、β＝ｆ（ｄ）＝α・ｄ２にて示される。ここでのαは、変換係数を示す。この曲線の式は一例であり、他の式を用いてもよい。デフォーカス量が像ずれ量２０６に対応する場合は、図８（ｂ）のように、線形な関係をもつ。

また、図８（ｃ）のように、非許容合焦領域５０６（ｄ１〜ｄ２の範囲）に対しては立体感制御量βを“０”としてもよい。この場合でも、前述のように許容合焦領域５０５と非許容合焦領域５０６の鮮鋭性の差は、入力画像における許容合焦領域５０５と非許容合焦領域５０６の鮮鋭性の差に近づき、出力画像の立体感を得ることが可能である。また、図８（ｃ）では、立体感制御量βが“０”となる位置が許容合焦領域５０５と非許容合焦領域５０６の境界である例を示している。しかし、プリンタ等の出力装置では、例えば、図７に示したように入力特性と出力特性の差が、視覚的に無視できる差になるデフォーカス量の位置から立体感制御量βを“０”としてもよい。

上記の立体感制御量は、図９に示すように記録媒体の特性やインク（記録剤）の特性、記録媒体サイズなどによって異なる。これは、記録媒体やインク特性ごとに、インクの滲み等よる画像の鮮鋭性の低下の度合が異なるとともに、記録媒体サイズによって解像度変換処理の変倍率が異なるためである。

図９は、上述したような記録媒体の特性等に応じて、立体感制御量を変化させる例を示す図である。図９の実線は、図８（ａ）と異なる条件で出力した際のデフォーカス量に対する立体感制御量の線を示している。図９の破線は、図８（ａ）の実線に対応する。例えば、図９（ａ）は、図８（ａ）と比べてインクの滲みが大きい、もしくは変倍率が大きいために立体感制御量が大きい場合を示している。逆に、図９（ｂ）は、図８（ａ）と比べてインクの滲みが小さい、もしくは変倍率が小さいために立体感制御量が小さい場合を示している。

また、上記では鮮鋭性を制御する処理としてシャープネス処理を例に説明したが、これはコントラスト処理でもよい。具体的には、図８（ｄ）に示すように、合焦領域５０３を含む許容合焦領域５０５（ｄ０〜ｄ１の範囲）の入力画像データの各画素の輝度値のコントラストが高くなるように輝度変換を行う。輝度変換については立体感制御量を係数とする変換式を用いる方法や、上述したような入力画像データの各画素の輝度値から生成したヒストグラムを均等化することでコントラストを高める方法等があるが、コントラストが制御できれば、もちろんこれに限らない。

シャープネス処理とコントラスト処理のどちらも処理も出力画像の鮮鋭性を制御することができるため、画像出力装置の特性に応じて、どちらかの処理を選択する、あるいは２つの処理を組み合わせて使用してもよい。

［画像処理条件］
立体感制御処理での画像処理条件４０３の作成方法について説明する。本実施形態に係る画像処理条件とは、図８に示すような変換方法に相当し、出力装置の出力特性に基づき設定される。画像処理条件４０３に設定するパラメータは、例えば、図１０に示す計測用画像をプリンタやディスプレイ、プロジェクタ等の出力装置１０２で出力し、測定装置（不図示）を用いて取得した出力装置１０２による出力画像の周波数特性（ＭＴＦ特性）から算出する。なお、出力画像生成における各画像処理をＰＣ１０１上でシミュレートして得られた画像から出力装置１０２のＭＴＦ特性を算出方法が用いられてもよい。つまり、本実施形態では、出力装置の出力特性および距離情報の値に応じて、立体感制御量βは変動する。

図１０に示す画像は、ピントが合っている合焦面２０１に対応する画像群１０００、あるデフォーカス量における入力画像のボケ量に相当するボケで表現された複数の画像群１００１を含んで構成されている。より詳細には、図１０に示す画像は、周波数の異なる複数の矩形パターン、あるいは、正弦波パターン、均一パターンといった、複数のパターン１００２、１００３を含むチャートである。なお、図１０に示す画像は、周波数の異なる複数の正弦波パターンである。均一パターンは、夫々正弦波パターン上の最大画素値と最小値の画素値で構成される。

画像処理条件の作成方法を図１１のフローチャートを用いて説明する。処理フローは、出力装置１０２やＰＣ１０１等の情報処理装置などが連携することにより実行される。なお、画像処理条件の作成を行うタイミングは、特に限定するものではなく、出力装置１０２の出荷前に予め実行され、その生成情報が出力装置１０２の条件保持部４０６に保持されていてもよいし、適時更新されるような構成であってもよい。また、本処理を実行するにあたり、出力装置１０２の出力結果を計測するための計測装置（不図示）が用いられるものとする。

Ｓ２０１にて、出力装置１０２は、図１０に示すような計測画像を出力する。

Ｓ２０２にて、測定装置（不図示）は、出力装置１０２で出力した計測用画像を測定し、ＭＴＦ特性算出に必要な情報を取得する。ここでの必要な情報は、ＭＴＦ特性の算出方法に応じて異なるものとする。

Ｓ２０３にて、情報処理装置（不図示）は、測定装置（不図示）にて取得された情報を用いてＭＴＦ特性の算出を行う。例えば、計測画像が正弦波パターンである場合、ＭＴＦ特性は、以下に示す式（６）〜式（８）、あるいは式（９）で算出することができる。下式に示すＭＴＦの値は、光学伝達関数の絶対値を意味する。出力画像の平均明度が変化する場合は式（９）の使用が好ましい。
ｕは正弦波の周波数を示す。Ｍａｘ（ｕ）は周波数で変化する正弦波パターンの最大反射率を示す。Ｍｉｎ（ｕ）は周波数で変化する正弦波パターンの最小反射率を示す。Ｒ_１およびＲ_２は、均一パターンの反射率（Ｒ_１＞Ｒ_２）を示す。

上記の式（６）や式（９）において、Ｒ_１、Ｒ_２の値は反射率を用いているが、代わりに輝度や濃度やデバイスＲＧＢ値を用いてもよい。計測装置（不図示）としては、出力装置１０２がプリンタである場合は、例えばスキャナやデジタルカメラ、顕微鏡を用いることができる。出力装置１０２がディスプレイやプロジェクタの場合は、デジタルカメラを用いることができる。

また、計測画像が矩形波パターンである場合、出力装置１０２のＭＴＦ特性は式（６）または式（９）を適用することで得られるコントラスト伝達関数（ＣＴＦ）で表現される。あるいは、ＣＴＦ値をコルトマン補正式で変換したＭＴＦ値が用いられてもよい。

前述の方法により、計測画像に含まれる合焦面２０１に対応する画像群１０００および任意のデフォーカス量に対応する画像群１００１の夫々の画像の周波数特性（ＭＴＦ特性）が取得される。図１２は、周波数特性の例を示す。図１２において、縦軸はＭＴＦ特性を示し、横軸は空間周波数［ｃｙｃｌｅ／ｄｅｇｒｅｅ］を示す。また、図１２において、実線（Ｄ０）は、合焦面２０１に対応する画像群１０００の周波数特性を示す。点線（Ｄ１）は、許容合焦領域５０５に含まれるデフォーカス量ｄ１に対応する画像群１００１の周波数特性を示す。破線（Ｄ２）は、非許容合焦領域５０６に含まれるデフォーカス量ｄ２に対応する画像群１００１の周波数特性を示している。

これにより、デフォーカス量ごとに、ＭＴＦ特性が取得できる。つまり、デフォーカス量ごとの出力装置１０２の鮮鋭性に関する出力特性が得られる。

Ｓ２０４にて、情報処理装置（不図示）は、出力画像の合焦領域の鮮鋭性あるいは周波数特性を、入力画像の鮮鋭性あるいは周波数特性へ鮮鋭化処理によって復元するように、立体感制御量を算出する。

出力画像において、入力画像と同様の適切な立体感を得るためには、立体感制御処理を適用しない場合と比較して、処理を適用した際の出力画像の許容合焦領域と非許容合焦領域の鮮鋭性の差が、入力画像におけるその鮮鋭性の差に近づける必要がある。つまり、出力画像において許容合焦領域と非許容合焦領域の鮮鋭性の差を適切に制御するためには、デフォーカス量ごとの出力装置１０２の鮮鋭性に影響する出力特性に応じて立体感制御量を設定すればよい。そこで、本実施形態では、特定の周波数における出力画像の合焦領域の鮮鋭性あるいは周波数特性を、入力画像の鮮鋭性あるいは周波数特性に鮮鋭化処理によって復元するように立体感制御量を設定する。同様に、本実施形態では、非合焦領域に対しても、デフォーカス量ごとに得られるＭＴＦ特性から復元量を算出し、立体感制御量とする。これにより、図８に示すようなデフォーカス量に対する立体感制御量が算出される。

デフォーカス量と鮮鋭度の関係は、図８に示したデフォーカス量を入力として立体感制御量を出力とする関係式として設定する方法、ＬＵＴ方式でパラメータを選択して設定する方法等がある。なお、これらの方法に限定するものではなく、デフォーカス量に対する立体感制御量を算出できるのであれば、どのような方法でもよい。

また、立体感制御量は、ＭＴＦ特性を復元する値に限らない。出力装置１０２の出力特性に基づいたデフォーカス量と鮮鋭化の制御量に応じた鮮鋭化処理をしない場合の鮮鋭性の差に対して、処理を行った場合の鮮鋭性の差が大きくなることを満足すると、出力画像で適切な立体感を得られる。

更には、図８に示す合焦面２０１における制御量β１は、画像のＭＴＦ特性を特定の値（例えば、０．８から１．２）に復元するように設定すると、出力画像における合焦面２０１の鮮鋭性が好ましい画像が得られる。

本実施形態では、画像処理条件としてデフォーカス量と立体感制御量の関係を例に説明した。しかし、これに限定するものではなく、合焦面２０１からの距離に相当する情報（距離情報）として挙げた像ずれ量２０６もしくは合焦面と物体との距離３０４と、立体感制御量の関係を画像処理条件としてもよい。

そして、Ｓ２０５にて、情報処理装置（不図示）は、Ｓ２０４にて算出した立体感制御量に基づき、デフォーカス量に応じた出力装置の鮮鋭性に関する出力特性から導出される画像処理条件４０３を設定する。そして、本処理フローを終了する。この画像処理条件４０３を用いて、入力画像データを処理することで、出力画像の立体感を制御することが可能になる。

以上、本実施形態により、適切な立体感を得るとともに、高画質な画像を出力装置に出力することが可能となる。

上記の実施形態では、図５（ｂ）に示すように、デフォーカスマップにおいて、ピントが合っているものとして扱う許容合焦領域５０５と、それ以外の非許容合焦領域５０６の２つの領域を用いて、画像処理を適用する空間周波数の帯域を切り替える例をしめした。これに限定するものではなく、例えば、非許容合焦領域を複数の領域に分割し、その分割した領域ごとに画像処理を適用する空間周波数の帯域を切り替えるような構成であってもよい。

＜その他の実施形態＞
本発明は上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…ＰＣ、１０２…出力装置、１０８…データ転送部、１０９…画像処理部、１１０…印刷部、１１１…プリンタ制御部、４０１…立体感制御部、４０２…出力画像生成部、４０３…画像処理条件

Claims (13)

1. 画像と、前記画像に含まれる画素それぞれに対応する、合焦面からの距離に関する距離情報とを取得する取得手段と、
   出力装置の鮮鋭度に係る出力特性に基づき、距離情報に応じた画像処理条件を設定する設定手段と、
   前記取得手段にて取得した距離情報と前記設定手段にて設定した画像処理条件とを用いて、前記画像に対して画像処理を行う処理手段と
   を有し、
   前記処理手段は、前記距離情報に応じて、前記画像処理を適用する前記画像の空間周波数の帯域を切り替えることを特徴とする画像処理装置。
2. 前記処理手段は、前記距離情報が第１の値を示す場合、前記距離情報が前記第１の値よりも大きな第２の値を示す場合よりも、前記画像処理を適用する空間周波数の帯域を広げることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の値は、前記合焦面から所定の距離までの範囲の値であり、
   前記第２の値は、前記所定の距離よりも大きな値であり、
   前記所定の距離は、ピントが合っているとして許容される、前記合焦面からの距離の上限値であることを特徴とする請求項２に記載の画像処理装置。
4. 前記処理手段は、所定の周波数よりも低い空間周波数の帯域においては、前記画像に対し前記画像処理を適用しないことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 画像と、前記画像に含まれる画素それぞれに対応する、合焦面からの距離に関する距離情報とを取得する取得手段と、
   出力装置の鮮鋭度に係る出力特性に基づき、距離情報に応じた画像処理条件を設定する設定手段と、
   前記取得手段にて取得した距離情報と前記設定手段にて設定した画像処理条件とを用いて、前記画像に対して画像処理を行う処理手段と
   を有し、
   前記処理手段は、前記距離情報が所定の値よりも大きい値を示す場合、前記画像の第１の周波数よりも高い帯域に対しては前記画像処理を適用しないことを特徴とする画像処理装置。
6. 前記所定の値は、ピントが合っているとして許容される、前記合焦面からの距離の上限値であることを特徴とする請求項５に記載の画像処理装置。
7. 前記処理手段は、第２の周波数よりも低い空間周波数の帯域においては、前記画像に対し前記画像処理を適用せず、
   前記第２の周波数は、前記第１の周波数よりも低く、かつ、前記出力装置の鮮鋭度に係る出力特性および人間の視覚に基づいて規定される劣化が略ない範囲の周波数であることを特徴とする請求項５または６に記載の画像処理装置。
8. 前記画像処理は、コントラスト処理もしくはシャープネス処理を行うことによる画像の鮮鋭度を制御する処理であることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記画像処理条件は、前記コントラスト処理もしくは前記シャープネス処理における、距離情報に応じた制御量であることを特徴とする請求項８に記載の画像処理装置。
10. 前記距離情報は、デフォーカス情報、像ずれ量、もしくは、前記合焦面から物体までの距離を示す情報のいずれかであることを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 画像と、前記画像に含まれる画素それぞれに対応する、合焦面からの距離に関する距離情報とを取得する取得工程と、
    出力装置の鮮鋭度に係る出力特性に基づき、距離情報に応じた画像処理条件を設定する設定工程と、
    前記取得工程にて取得した距離情報と前記設定工程にて設定した画像処理条件とを用いて、前記画像に対して画像処理を行う処理工程と
    を有し、
    前記処理工程において、前記距離情報に応じて、前記画像処理を適用する前記画像の空間周波数の帯域を切り替えることを特徴とする画像処理方法。
12. 画像と、前記画像に含まれる画素それぞれに対応する、合焦面からの距離に関する距離情報とを取得する取得工程と、
    出力装置の鮮鋭度に係る出力特性に基づき、距離情報に応じた画像処理条件を設定する設定工程と、
    前記取得工程にて取得した距離情報と前記設定工程にて設定した画像処理条件とを用いて、前記画像に対して画像処理を行う処理工程と
    を有し、
    前記処理工程において、前記距離情報が所定の値よりも大きい値を示す場合、前記画像の第１の周波数よりも高い帯域に対しては前記画像処理を適用しないことを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至１０のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。