JP2019145092A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】出力画像における立体感を適切に表現できる画像処理装置を提供する。【解決手段】被写体を撮像することにより得られた画像データを画像処理して出力装置に出力する画像処理装置において、画像処理部１１０は、出力装置から出力された画像を鑑賞する際の鑑賞条件を取得し、その取得された鑑賞条件と、出力装置から出力される画像の鮮鋭性に影響する出力特性とに基づいて、画像処理を実行するための画像処理条件を設定する。そして、被写体を撮像する際の合焦面からの距離に相当する情報と設定された画像処理条件とを用いて前記画像データを画像処理する。【選択図】図６

Description

本発明は画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、プリンタに出力した画像の立体感を効果的に制御する画像処理装置、画像処理方法、及びプログラムに関する。

人間は目で見たものを立体的に知覚しており、これは脳が両眼の手がかりと単眼の手がかり、また運動視差等をもとに知覚していると考えられている。両眼の手がかりとしては、両眼での網膜像の差である網膜視差などがある。さらに、単眼の手がかりとしては、線遠近法や物体の大きさ、肌理の勾配、陰影、大気遠近やボケの効果等が挙げられる。これらの１つ以上の手がかりを利用して、人間は立体感、つまり「もの」の奥行きや厚みや深さ、「もの」の前後関係を知覚しているのである。

またカメラなどで撮影され、表示、投影あるいは印刷された２次元画像を見る際には、ピントが合っている部分と、奥行きに応じてボケている部分のボケ方の差から画像の立体感を感じている。つまり、画像の合焦している（ピントがあっている）部分と、合焦していない（ボケている）部分の再現が立体感にとって重要となる。

一方、例えば、レーザ距離計等で、撮影地点から対象物までの実距離を測定する方法、２台のカメラの視差情報から距離を計測する方法など、一般的に撮影時に被写体を含むシーンの距離情報を取得する方法も提案され始めている。奥行き情報を利用した画像の高画質化手法としては、特許文献１に提案された技術がある。

特開２００９−２５１８３９号公報

上述のように、２次元静止画における立体感はボケの効果、つまり画像の鮮鋭性によるところが大きいため、出力画像の鮮鋭性（コントラストや鮮鋭度）を適切に制御しなければ、立体感のある画像を提供することができない。さらに、出力装置からの出力画像の鮮鋭性は、鑑賞する距離や照明・鑑賞者の視覚特性などの鑑賞条件から大きな影響を受けるため、鑑賞条件に応じたコントラスト感度特性を考慮しなければ鮮鋭性を適切に制御することができないという問題がある。

特許文献１によれば、画像の各位置の奥行きを画像から推定して算出し、奥行きと画像処理方法とを対応付けして各位置の画像処理方法を効果的に適宜選択し、立体感の低下を防止しつつ高解像度化を図る処理を実行する。しかしながら特許文献１で用いる奥行き情報は、画像自体から推定算出した情報であるため、画像の特性や構図によっては正しく奥行を求めることができない場合がある。その結果、対象画像に適した処理を施すことができず、画像の立体感に違和感が生じることがある。

また、特許文献１では、入力画像自体の立体感は制御しているが、出力画像の鑑賞条件に応じたコントラスト感度特性が考慮されていない。そのために、画像本来の立体感に対し、プリンタやディスプレイ等の出力装置で出力した画像において適した処理を施すことができずに立体感が低下あるいは変化する場合があった。

以上のように従来技術では、再生出力画像においては、人間が感じる画像の立体感が低下したりあるいは変化したりするという問題を解決するには至っていない。

本発明は上記従来例に鑑みてなされたもので、出力画像においても人間が感じる画像の立体感を適切に表現できるよう処理可能な画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

上記目的を達成するために本発明の画像処理装置は次のような構成からなる。

即ち、被写体を撮像することにより得られた画像データを画像処理して出力装置に出力する画像処理装置であって、前記出力装置から出力された画像を鑑賞する際の鑑賞条件を取得する取得手段と、前記取得手段により取得された鑑賞条件と、前記出力装置から出力される画像の鮮鋭性に影響する出力特性とに基づいて、前記画像処理を実行するための画像処理条件を設定する設定手段と、前記被写体を撮像する際の合焦面からの距離に相当する情報と前記設定手段により設定された画像処理条件とを用いて前記画像データを画像処理する画像処理手段とを有することを特徴とする。

また本発明を別の側面から見れば、コンピュータを上記構成の画像処理装置の各手段として機能させるためのプログラムを備える。

さらに本発明を別の側面から見れば、被写体を撮像することにより得られた画像データを画像処理して出力装置に出力する画像処理装置における画像処理方法であって、前記出力装置から出力された画像を鑑賞する際の鑑賞条件を取得する取得工程と、前記取得工程において取得された鑑賞条件と、前記出力装置から出力される画像の鮮鋭性に影響する出力特性とに基づいて、前記画像処理を実行するための画像処理条件を設定する設定工程と、前記被写体を撮像する際の合焦面からの距離に相当する情報と前記設定工程において設定された画像処理条件とを用いて前記画像データを画像処理する画像処理工程とを有する工程とを有することを特徴とする画像処理方法を備える。

本発明によれば、鑑賞条件によるコントラスト感度特性を適用した画像撮影時の合焦面からの距離に相当する情報毎の鮮鋭性に影響する特性を考慮することで、鑑賞条件の違いがあっても出力画像における立体感を適切に表現できるという効果がある。

本発明の代表的な実施例である画像処理システムの概略構成を示すブロック図である。 鑑賞条件を設定するＵＩの画面構成を模式的に示す図である。 合焦面、像ずれ量とデフォーカス量の関係を示す図である。 撮像装置における合焦物体距離、合焦像物体に対する撮像面距離、物体距離、合焦面から物体までの距離の関係を示す図である。 デフォーカスマップと各領域を例示した図である。 画像処理部の構成を示すブロック図である。 画像処理の概要を示すフローチャートである。 コントラスト感度特性を模式的に示す図である。 コントラストと空間周波数（サイクル／度）との関係を示す図である。 デフォーカス量と立体感制御量の関係を示す図である。 出力画像の周波数特性（ＭＴＦ特性）を算出するためのサンプル画像を示す図である。 画像処理条件の作成処理を示すフローチャートである。

以下添付図面を参照して本発明の好適な実施例について、さらに具体的かつ詳細に説明する。なお、既に説明した部分には同一符号を付し重複説明を省略する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。

なお、この明細書において、「記録」（「プリント」「印刷」という場合もある）とは、文字、図形等有意の情報を形成する場合のみならず、有意無意を問わない。また人間が視覚で知覚し得るように顕在化したものであるか否かを問わず、広く記録媒体上に画像、模様、パターン等を形成する、または媒体の加工を行う場合も表すものとする。

また、「記録媒体」（「シート」という場合もある）とは、一般的な記録装置で用いられる紙のみならず、広く、布、プラスチック・フィルム、金属板、ガラス、セラミックス、木材、皮革等、インクを受容可能なものも表すものとする。

さらに、「インク」（「液体」と言う場合もある）とは、上記「記録（プリント）」の定義と同様広く解釈されるべきものである。従って、記録媒体上に付与されることによって、画像、模様、パターン等の形成または記録媒体の加工、或いはインクの処理（例えば記録媒体に付与されるインク中の色剤の凝固または不溶化）に供され得る液体を表すものとする。

なお、以下の説明では、画像を出力する出力装置の一例としてインクジェットプリンタとして説明するが、電子写真方式を採用したレーザビームプリンタを用いても良い。

＜画像処理システムの概要（図１〜図５）＞
図１は本発明の代表的な実施例である画像処理装置を用いた画像処理システム（以下、システム）の全体構成を示すブロック図である。図１に示されているように、このシステムは、パーソナルコンピュータ装置（ＰＣ）１０１（以下、ＰＣ）と出力装置１０２とから構成されている。そして、ＰＣ１０１と出力装置１０２とは有線／無線ネットワークやＵＳＢまたはローカルバスなどのインタフェースで接続されている。

ＰＣ１０１は、出力装置１０２への印刷制御指示、必要な情報および画像データの転送などを行う。記憶装置１０５にはＯＳ、システムプログラムや各種アプリケーションおよび各種処理に必要なパラメータデータを記憶している。記憶装置１０５は、ハードディスク（ＨＤ）、半導体ディスク（ＳＳＤ）やフラッシュＲＯＭなどの書き換え可能な記憶媒体で構成される。ＣＰＵ１０４は、記憶装置１０５に格納されたソフトウェアを実行するにあたりＲＡＭなどの作業メモリ１０７を用いて処理を実行する。ユーザインタフェースとなる操作部（以下、ＵＩ）１０６は、上記処理の実行に関して、ユーザからの入力やユーザに対する表示に関する処理を行うために、キーボードやポインティングデバイス等の入力機器やディスプレイ等の表示機器を含む。また、データ入出力装置１０８は、ＳＤカード等の外部記憶媒体とのデータの入出力を行う。また、デジタルカメラなどの撮像装置（不図示）をデータ入出力装置１０８やデータ転送部１０９へ直接接続して外部記憶媒体を介さずにデータの受渡しを行ってもよい。

この実施例では、ＵＩ１０６から出力画像の鑑賞条件に係る情報を取得する。鑑賞条件に係る情報とは、鑑賞する環境の照明条件、または鑑賞者が鑑賞する距離（以下、鑑賞距離）、鑑賞者の年齢の情報などを含む。

図２は鑑賞条件を設定するＵＩの画面構成を模式的に示す図である。

図２に示すようなＵＩ１０６を用いて使用者が出力画像の鑑賞条件に係る情報を選択（入力）することにより、システムはその情報を取得する。鑑賞条件は、アプリケーションのインストール時に選択する構成でもよいし、アプリケーションを動作させることによりＵＩ１０６の画面に表示される設定ボタンから選択する構成としてもよい。図２に示す例では、照明条件（照度：ルックス（ｌｘ））、鑑賞距離（距離：ｍ）、鑑賞者の年齢（年齢）を設定する構成としているが、鑑賞条件を全て設定する必要はなく、上記の中の１つでも良いし、他の条件を用いても良い。また、鑑賞条件の情報の表示間隔や、表示単位も、図２に示すものに限られず、後述する鑑賞条件に対応するコントラスト感度特性との対応関係がとれる単位であればよい。

出力装置１０２は、データ転送部１０９、プリンタ制御部１１２、後述する画像処理部１１０、印刷部１１１から構成される。出力装置１０２にＰＣ１０１から印刷データが送信される。印刷データは、次のもので構成される。即ち、撮像装置で被写体を撮像することで得られる写真画像の画像データを含む。これに加え、画像データに対応した撮影時の合焦面からの距離に相当する情報、鑑賞条件の情報、記録媒体の固有データ（画像処理パラメータ）、プリンタ制御データ、ＵＩ上で選択した印刷品位や記録媒体等の印刷情報データを含む。後述する撮影時の合焦面からの距離に相当する情報とは、デフォーカス量や像ずれ量、実際の合焦面から物体までの距離である。

ここでは、デジタルカメラ等の撮像装置で生成されたデータとして説明するが、それに限らず、実際に距離を測定した情報から生成されたデータであってもよい。また、例えば入力画像データのボケ量を解析した結果から生成されたデータおよびその他撮影時のデータを併用したデータでもよい。入力画像データや合焦面からの距離に相当する情報は、撮像装置内で生成されてもよいし、撮像装置に接続されたＰＣ１０１または出力装置１０２で生成されてもよい。

また、合焦面からの距離に相当する情報を生成するための情報を撮像装置から取得し、撮像装置に接続されたＰＣ１０１や出力装置１０２内で合焦面からの距離に相当する情報を生成してもよい。または、撮像装置はＰＣ１０１に接続され、ＰＣ１０１を経由して合焦面からの距離に相当する情報を生成するための情報を取得した出力装置１０２で生成されてもよい。ここで、合焦面からの距離に相当する情報を生成するための情報とは、例えば、撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる対の画像などである。

また、鑑賞条件の情報は、印刷データではなく、出力装置のパネル上のＵＩから情報を取得する構成としてもよい。

データ転送部１０９は、ＰＣ１０１から送信された印刷データから、入力画像データと撮影時の合焦面からの距離に相当するデータと鑑賞条件の情報と画像処理パラメータを取り出して画像処理部１１０に転送する。さらに、データ転送部１０９はプリンタ制御データをプリンタ制御部１１２に転送する。ここでの入力画像データは、ＰＣ１０１内で記憶装置１０５にプログラムとして記憶されている解像度変換処理によってユーザ設定した記録媒体のサイズに変倍されたデータである。また、解像度変換処理は、出力装置１０２内の画像処理部１１０内で同様に処理されてもよい。また、このシステムでは、画像処理部１１０は出力装置１０２内にあるとしているが、これをＰＣ１０１内に構成もよい。

また、画像処理パラメータやプリンタ制御データはＰＣ１０１中の記憶装置１０５や、出力装置１０２内のハードディスクやＲＯＭ等の記憶装置（不図示）に記憶されている。しかしながら、これらが、印刷データ内の印刷情報データをもとに選択され、画像処理部１１０とプリンタ制御部１１２に転送される構成でもよい。プリンタ制御部１１２はプリンタ制御データに従って印刷部１１１の動作を制御する。印刷部１１１では、インクジェット方式に従った記録ヘッドからインクと吐出して記録媒体に画像を形成して印刷を行う構成としている。

図３は被写体の撮影時の合焦面、像ずれ量とデフォーカス量の関係を説明するための図である。

図３において、合焦面２０１は撮像装置において像面（撮像面）２０３と平行でピントの合う平面のことである。また、デフォーカス量２０５は、像面２０３とデフォーカスした撮像面位置２０４との差（予定結像面と実際の結像面との差）であり、ボケ量に比例している。デフォーカス量２０５は、従来から瞳分割型位相差検出方式やボケの異なる複数の画像を用いてデフォーカス量を検出する撮像装置が知られている。

例えば、特開２００８−１５７５４号公報では、図２に示す画像の像ずれ量（視差量）２０６からデフォーカス量２０５を算出する方法が開示されている。撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる一対の画素データに対して、データを相対的にずらしながら相関値を演算し、最も相関が高くなる像ずれ量２０６が視差量となる。

さらに算出した像ずれ量２０６に対して、撮像素子の画素ピッチとレンズに応じて決定される変換係数を用いて被写体像面の予定結像面に対するデフォーカス量２０５を算出する。また、特開２０１３−２５３９６４号公報では、Ｄｅｐｔｈ ｏｆ Ｄｅｆｏｃｕｓ（ＤＦＤ）方式でデフォーカス量を算出する方法が開示されている。ＤＦＤ方式は、撮像光学系の撮影パラメータを制御することでボケの異なる複数の画像を取得し、複数の取得画像において測定対象画素およびその周辺画素を用いて互いのボケの相関量を算出してデフォーカス量を算出する。

次に合焦面と被写体との距離を算出する方法について説明する。

図４は合焦面と被写体とレンズと像面との関係を示す図である。

図４において、レンズ２０２と合焦面２０１の距離（ＯＢＪ（０））と、レンズ２０２と像面２０３の距離（Ｓ（０））と、被写体３００とレンズ２０２の距離（ＯＢＪ（ｄｅｆ））と、合焦面２０１と被写体３００の距離Ｌと間にはレンズの公式が成立する。言い換えると、以下の式（１）、（２）が成立するため、物体距離ＯＢＪ（ｄｅｆ）は式（３）で算出することが可能である。即ち、
１／ＯＢＪ（０）＋１／Ｓ（０）＝１／ｆ……（１）
１／ＯＢＪ（ｄｅｆ）＋１／｛Ｓ（０）＋ｄｅｆ｝＝１／ｆ……（２）
ＯＢＪ（ｄｅｆ）＝
｛（Ｓ（０）＋ｄｅｆ）＊ｆ｝／｛（Ｓ（０）−ｄｅｆ）＊ｆ｝……（３）
である。ここで、ＯＢＪ（０）は合焦物体距離、Ｓ（０）は撮像面距離、ＯＢＪ（ｄｅｆ）は物体距離という。従って、式（３）で算出した物体距離ＯＢＪ（ｄｅｆ）を合焦物体距離ＯＢＪ（０）から引くことで、合焦面２０１から被写体３００までの距離Ｌを算出することが可能である。

上述した合焦面からの距離に相当する情報とは、合焦面からの距離に比例した情報である。そのため、合焦面からの距離に相当する情報としては、上述した像ずれ量２０６、デフォーカス量２０５、合焦面から被写体までの距離Ｌのいずれでもよい。

次にデフォーカスマップについて説明する。

図５はデフォーカスマップを説明する図である。

デフォーカスマップとは上述のデフォーカス量を入力画像上の複数個所でマップ化したものをいい、ここでは、図５（ａ）に示すような２つの立方体５０１、５０２を撮影して得られた画像データの各画素に対応するデフォーカス量の情報を保持している。また、図５（ｂ）は、デフォーカス量とここでの画像処理に使用する各領域を説明するための図である。

図５（ｂ）において、デフォーカス量０が撮影時の合焦面に相当するデフォーカス量であり、これは、図５（ａ）における最も黒い部分（領域５０３）が対応する。デフォーカス量０から離れるにつれて、図５（ａ）では白くなっていく。図５（ａ）に示すデフォーカスマップにおいて、デフォーカス量０の領域が領域５０３であり、ピントが合っている（合焦面）画像領域である。これを、図５（ｂ）の５０３でも示すように「合焦領域」という。

領域５０３以外の領域をここでは、デフォーカスマップ上で合焦面に対応しない領域として非合焦領域５０４とする。また、ピントが合っていると許容する領域を許容合焦領域５０５とする。許容合焦領域５０５は、被写界深度としてその範囲を定義してもよいし、被験者実験によって任意に定義してもよい。許容合焦領域５０５以外の領域を、ここでは許容合焦領域５０５ではない領域として非許容合焦領域５０６とする。図５（ｂ）では、横軸をデフォーカス量としたが、合焦面からの距離に相当する情報である、上述の像ずれ量や合焦面からの距離の情報でもよい。なお、図５（ｂ）において、ｄ０はデフォーカス量が０、つまり、合焦領域を示しており、ｄｘは非許容合焦領域におけるデフォーカス量を示している。

次に、以上の構成の画像処理システムにおいて、立体感をもたせた画像を記録媒体に印刷するための画像処理について説明する。

＜画像処理の概要（図６〜図７）＞
図６は画像処理部１１０の構成を示すブロック図である。

図６に示すように、画像処理部１１０は、立体感制御部４０１と出力画像生成部４０２と画像処理条件選択部４０３から構成される。立体感制御部４０１は、ＰＣ１０１から送信された画像データとデフォーカスマップと、ＰＣ１０１又は出力装置１０２に格納されている画像処理条件とを入力して画像に立体感を与える画像処理を実行する。また、出力画像生成部４０２では、立体感制御部４０１から出力される画像データ（ＲＧＢ）に基づいて、インクジェットプリンタの記録ヘッドからインクを吐出して画像を記録するために用いるデータを生成する。さらに画像処理条件選択部４０３は入力された鑑賞条件に対応する画像処理条件を選択する。

図７は立体感をもたせるための画像処理を示すフローチャートである。

まず、ステップＳ６０１、Ｓ６０２では、画像処理部１１０は、画像データと被写体撮影時の合焦面からの距離に相当する情報として上述のデフォーカスマップとをそれぞれ、入力する。さらに、ステップＳ６０３では、立体感制御部４０１は、記憶装置１０５や、出力装置１０２内のハードディスクやＲＯＭ等の記憶装置（不図示）に記憶されている出力装置１０２の出力特性に基づいて定められた画像処理条件を入力する。ここでは、画像処理条件は印刷条件（メディアや印刷品位）毎に記憶装置内に保持されており、その中から入力された鑑賞条件に応じて画像処理条件が選択され、立体感制御部４０１に入力されるものとする。

ステップＳ６０４では、入力画像データとデフォーカスマップ、鑑賞条件に基づいて定められた画像処理条件によって、画像の立体感を制御する。なお、立体感制御部４０１における処理の詳細と、画像処理条件の詳細については後述する。

次に、ステップＳ６０５では、出力画像生成部４０２は、立体感制御部４０１から出力される画像データ（ＲＧＢ）に対して、インクジェット記録ヘッドからインクを吐出して画像を記録するために用いるデータを生成する。生成処理はデバイス非依存のＲＧＢデータをデバイス依存のＲＧＢデータに変換する色変換処理、デバイス依存のＲＧＢデータからインク色データに変換するインク色分解処理、記録装置の階調特性に線形的に対応づけるよう階調補正を行う階調補正処理を含む。さらに、インク色データをインクドットのＯＮ／ＯＦＦの情報である中間調処理、記録ヘッドの各記録走査で記録される２値データを生成するマスクデータ変換処理等が実行される。いずれもインクジェットプリンタにおいては一般的な処理であり、この実施例の根幹に関わる部分ではないため、詳細な説明は割愛する。

最後に、ステップＳ６０６では、出力画像生成部４０２で生成された出力データを印刷部１１１に転送し、その出力データに基づいて記録媒体上に画像を記録する。

＜鑑賞条件と立体感（図８〜図９）＞
ここでは、鑑賞条件と立体感の制御について説明する。

人間は、カメラなどで撮影された２次元画像を見る際、合焦している（ピントが合っている）合焦領域を含む許容合焦領域と、合焦していない（ボケている）非許容合焦領域の鮮鋭感の差から画像の奥行き感や立体感を感じている。

一方、プリンタに限らず、ディスプレイやプロジェクタ等の出力装置１０２で出力した際、照明条件や鑑賞者が鑑賞する距離等の画像を鑑賞する環境、または鑑賞する人の視覚特性等の影響により、出力装置からの出力時と鑑賞時で出力画像の鮮鋭性が変化する。

図８はコントラスト感度特性（Ｃｏｎｔｒａｓｔ Ｓｅｎｓｉｔｉｖｉｔｙ Ｆｕｎｃｔｉｏｎｓ：ＣＳＦ）を模式的に示す図である。図８において、横軸は空間周波数、縦軸はコントラスト感度である。図８（ａ）は年齢別のコントラスト感度特性を示しており、実線が年齢の低い人、破線が中年の人、点線が高齢の人の特性を示している。図８（ｂ）は照明条件の違いによるコントラスト感度特性を示しており、実線が高照明の環境、破線が中程度の照明の環境、点線が低照明の環境での特性を示している。

人間は、空間周波数により知覚できる輝度の変化の量が異なり、図８に示すコントラスト感度特性を見ても分かる通り、バンドパス特性を有している。

また、図８（ａ）に示す年齢別のコントラスト感度特性からもわかるように、鑑賞する人の年齢によってコントラスト感度特性が異なり、実線で示す年齢が若い人（年齢 低）の方が、点線で示す年齢が高い人（年齢 高）に比べて感度のピークが高くなる。そのため、図８（ａ）に示す特性からすれば、出力画像を見た際の鮮鋭性は年齢によって異なることが分かる。また、縦軸のコントラスト感度が高い程、より小さいコントラストまで検出可能であり、周波数によりその感度が変化していることが図８から分かる。さらに、図８（ｂ）に示すように、コントラスト感度特性は、年齢だけに限らず、照明条件によっても異なり、環境が明るくなるにつれてコントラスト感度のピークが高くなり、かつピーク周波数が高周波側にシフトする。

また、図示はしないが、鑑賞する距離が変化することでコントラスト感度は変化する。これは、距離の変化は鑑賞している画像の空間周波数が変化していくことと同等なため、図８（ａ）と図８（ｂ）からも分かるように、空間周波数が変わることでコントラスト感度も変化する。

この影響により、入力画像の立体感に影響している許容合焦領域と非許容合焦領域の鮮鋭性の関係が、出力画像を鑑賞する環境で維持されない場合がある。

図９はコントラストと空間周波数（サイクル／度）との関係を示す図である。図９において、実線ｄ０はデフォーカス量が０、つまり、合焦領域におけるコントラストを示しており、点線ｄｘはデフォーカス量がｄｘ、つまり、非許容合焦領域におけるコントラストを示している。

なお、図９では、説明を簡略にするため、合焦領域の画像の空間周波数特性と非合焦領域に含まれる特定のデフォーカス量に対応する画像の空間周波数特性が同じ周波数にピークを持つ画像として扱う。

図９（ａ）は、鮮鋭性の差により立体感がある入力画像において、特定の周波数における入力画像データの合焦領域の鮮鋭性を示すコントラスト値Ｃ１と、非合焦領域の鮮鋭性を示すコントラスト値Ｃ２の関係を示している。この実施例では、図８（ａ）に示す「年齢 高」のコントラスト感度を有する鑑賞者がこの入力画像に対応する出力画像を鑑賞している場合を想定する。その結果、図９（ａ）に示したコントラスト値Ｃ１とＣ２が図９（ｂ）に示すようにＣ１とＣ２’に変化する。

図９（ａ）と図９（ｂ）から明らかなように、入力画像の鮮鋭性の変化量が、鑑賞条件に応じたコントラスト感度特性の影響から合焦領域と非合焦領域で異なる。具体的には、出力画像では立体感に影響する鮮鋭性の差９０２（コントラスト値Ｃ１とＣ２’の差）が、入力画像における鮮鋭性の差９０１（コントラスト値Ｃ１とＣ２の差）と異なり、適切な立体感が得られない。従って、この実施例では、前述の鑑賞条件に対するコントラスト感度特性を適用したデフォーカス量毎の鮮鋭性に関する特性に基づいたボケの状態によって適切に鮮鋭性を制御することで、立体感のある出力画像を得るようにしている。

ここで「年齢 中」の感度特性を適用した場合には、「年齢 高」と比較してより図９（ｂ）に示すＣ２’のコントラスト値が高くなる。つまり鮮鋭性の差９０２が小さくなる。同様に「年齢 小」となれば、「年齢 中」よりさらにＣ２’のコントラスト値が高くなり、鮮鋭性の差９０２もさらに小さくなる。これは、年齢が低くなることでコントラスト感度が高くなり、コントラスト値が小さいものも検出可能となるためである。これは、照明条件・鑑賞距離のコントラスト感度特性においても、特性の傾向が同じであれば同様である。

つまり、この実施例では、後述する画像出力条件に設定されるコントラスト感度特性を適用したデフォーカス量毎の鮮鋭性に関する特性に基づいたデフォーカス量と鮮鋭化制御量の関係を用いて画像の鮮鋭性を適切に制御する。このような画像の鮮鋭性が制御された出力画像では、合焦領域と非合焦領域のコントラスト値の関係は図９（ａ）に示すような入力画像における特性のようになる。

図９（ａ）におけるＣ１は合焦領域のコントラスト値、Ｃ２は非合焦領域のコントラスト値である。この実施例に従って設定された画像出力条件に基づいて立体感制御処理を実行した出力画像では、図９（ｂ）に示すこの処理を実行しない場合の鮮鋭性の差９０２に対して、図９（ａ）に示すように鮮鋭性の差９０１が小さくなる。これにより、出力画像は入力画像における鮮鋭性の差に等しく（もしくは限りなく近く）なっているため、適切な立体感を得ることができる。

図９では、説明を簡略にするため、合焦領域の画像の空間周波数と非合焦領域に含まれる特定のデフォーカス量に対応する画像の２点に対するコントラストを比較した。前述の関係は、合焦領域と非許容合焦領域の別のデフォーカス量に対応する画像についても成立する。また、許容合焦領域に含まれる特定のデフォーカス量に対応する画像と非許容合焦領域に含まれる特定のデフォーカス量に対応する２点においても前述の関係は成立する。

画像の鮮鋭性に影響する画像特性としてコントラスト値を取り上げたが、出力装置１０２の出力特性による合焦領域と非合焦領域の画像の鮮鋭性の変化については、鮮鋭度を示す空間周波数特性においても同じ関係が説明できることは自明である。

＜立体感制御処理（図１０）＞
ここでは、立体感制御部４０１が実行する立体感制御処理について説明する。

立体感制御部４０１では、画像処理条件に設定されている鮮鋭性の制御パラメータにより入力画像データの鮮鋭性を制御する。画像処理条件には各デフォーカス量に対する立体感制御量が設定されている。

図１０は画像処理条件に設定されているデフォーカス量と立体感制御量の関係を示す図である。なお、画像処理条件の作成方法については後述する。

立体感制御部４０１は、入力画像データの各画素の輝度情報に対して、処理対象画素のデフォーカスマップのデフォーカス量を参照しながら、画像処理条件に設定された立体感制御量を適用してシャープネス処理を行う。シャープネス処理では、例えば、Ｌａｐｌａｃｉａｎ Ｏｆ Ｇａｕｓｓｉａｎフィルタ（式（４））やアンシャープマスクを用いる。式（５）に式（４）に示すＬａｐｌａｃｉａｎ Ｏｆ Ｇａｕｓｓｉａｎフィルタを用いた際の入力画像データの輝度情報の変換式を示す。即ち、
ｈ（ｘ，ｙ）＝（ｘ²+ｙ²−２σ²）／（２πσ² ）・
ｅｘｐ［−（ｘ²＋ｙ²）／（２σ² ）］……（４）
Ｏｕｔ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）−β×ｈ（ｘ，ｙ）×Ｉ（ｘ，ｙ） ……（５）
である。ここで、Ｏｕｔ（ｘ，ｙ）は立体感制御処理後の画像データ、βは画像処理条件に設定されるデフォーカス量に対する立体感制御量である。

図１０において、デフォーカス量ｄ＝０でのβ＝β１は入力画像の合焦領域に対する制御量を示す。また、デフォーカス量ｄ１は図４（ｂ）に示す許容合焦領域と非許容合焦領域の境界の値である。さらに、デフォーカス量ｄ２はデフォーカスマップに含まれる最大のデフォーカス量である。

出力画像において、コントラスト感度特性を適用したデフォーカス量毎の鮮鋭性に関する特性を考慮した適切な立体感を得るためには、図１０（ａ）に示すように、デフォーカス量に応じた制御量を適切に設定する必要がある。図１０（ａ）は、デフォーカス量が大きくなるにつれて制御量が大きくなる例を示している。同一周波数において合焦領域が最もコントラストが高く、非合焦領域ではデフォーカス量が大きくなるについてコントラスト値が小さくなる。そのため、デフォーカス量が大きいほどコントラスト感度特性の影響を受けることになるため、制御量も大きくする必要がある。

なお、デフォーカス量に応じた制御量は、図１０（ａ）に示すものに限られず、例えば図１０（ｂ）のように許容合焦領域を０とし、ある一定のデフォーカス量を越えてから増加するような特性としても良い。このようにしても、許容合焦領域と非許容合焦領域の鮮鋭性の差は、入力画像における許容合焦領域と非許容合焦領域の鮮鋭性の差に近づき、出力画像の立体感を得ることができる。

なお、シャープネス処理に使用するフィルタは、Ｌａｐｌａｃｉａｎ Ｏｆ Ｇａｕｓｓｉａｎフィルタだけに限定されるものではない。例えば、出力装置の鮮鋭性の低下情報の逆特性を求めて作成されたフィルタ（特定フィルタ）を用いてシャープネス処理を行って、鮮鋭性を調整制御しても良い。

また、以上の説明では、鮮鋭性を制御する処理としてシャープネス処理を例にしたが、これはコントラスト処理でもよい。具体的には、合焦領域を含む許容合焦領域の入力画像データの各画素の輝度値のコントラストが高くなるように輝度変換を行う。輝度変換については立体感制御量を係数とする変換式を用いる方法や入力画像データの各画素の輝度値から生成したヒストグラムを均等化することでコントラストを高める方法等があるが、コントラストが制御できれば、もちろんこれに限らない。

シャープネス処理とコントラスト処理のどちらも処理も出力画像の鮮鋭性を制御することができるため、出力装置の特性に応じて、どちらかの処理を選択する、あるいは２つの処理を組み合わせて使用してもよい。

＜画像処理条件（図１１〜図１２）＞
ここでは、立体感制御処理での画像処理条件の作成方法について説明する。

図１１は画像サンプルの例を示す図である。

画像処理条件として設定するパラメータは、例えば、図１１に示すようなサンプル画像対して上述のコントラスト感度特性を適用して得られた画像の周波数特性（ＭＴＦ特性）から算出する。

図１１に示すサンプル画像は、ピントが合っている合焦面に対応する画像群１００１、あるデフォーカス量における入力画像のボケ量に相当するボケで表現された複数の画像群１００２から構成されている。より詳細には、周波数の異なる複数の矩形パターンあるいは正弦波パターン、均一パターン１００３、１００４を含むチャートである。

なお、図１１に図示した例は、周波数の異なる複数の正弦波パターンからなる画像群１００１、１００２である。均一パターン１００３、１００４は夫々正弦波パターン上の最大画素値と最小値の画素値で構成される。

図１２は画像処理条件の作成方法を示すフローチャートである。

まず、ステップＳ１１００では、図１１に示す画像データＩ（ｘ，ｙ）に対して式（６）に示すフーリエ変換を実行することで画像データを周波数空間へ変換する。次に、ステップＳ１１０１では、式（７）を用いて周波数空間で表現された画像データにコントラスト感度特性を乗ずる。さらに、ステップＳ１１０２では、その結果に対して式（８）に示す逆フーリエ変換を実行して、元の位置座標系である画像データに戻す（逆変換）。

ここで、コントラスト感度特性（ＣＳＦ）は、被験者実験で得られた独自の結果を用いてもよいし、既知の文献等に記載されている式を用いてもよい。式（６）〜式（８）は以下のとおりである。即ち、
Ｉ（μ，ν）＝ＦＦＴ（Ｉ（ｘ，ｙ）） ……（６）
Ｏ（μ，ν）＝Ｉ（μ，ν）×ＣＳＦ（μ，ν） ……（７）
Ｏ（ｘ，ｙ）＝ＩＦＦＴ（Ｏ（μ，ν）） ……（８）
である。

なお、サンプル画像が図１１に示したような周波数の異なる正弦波パターンである場合、ステップＳ１１０３では、ＭＴＦ特性を式（９）或いは式（１０）を用いて算出する。この値は、光学伝達関数の絶対値を意味する。出力画像の平均明度が変化する場合は式（１０）を用いることが好ましい。式（６）と式（７）は以下の通りである。即ち、
ＭＴＦ（ｕ）＝｛Ｃ（ｕ）｝／Ｃ’……（９）
ｕ：正弦波の周波数
Ｃ（ｕ）＝｛Ｍａｘ（ｕ）−Ｍｉｎ（ｕ）｝／｛Ｍａｘ（ｕ）＋Ｍｉｎ（ｕ）｝
Ｃ’＝｛（Ｒ１−Ｒ２）｝／｛（Ｒ１＋Ｒ２）｝
Ｍａｘ（ｕ）：周波数で変化する正弦波パターンの最大輝度値
Ｍｉｎ（ｕ）：周波数で変化する正弦波パターンの最小輝度値
Ｒ１、Ｒ２：均一パターンの反射率（Ｒ１＞Ｒ２）
ＭＴＦ（ｕ）＝｛Ｍａｘ（ｕ）−Ｍｉｎ（ｕ）｝／｛Ｒ１−Ｒ２｝……（１０）
である。なお、式（９）や（１０）におけるＲ１、Ｒ２の値は輝度値としたが、明度値やＲＧＢ値を用いてもよいことは言うまでもない。

また、サンプル画像が矩形波パターンである場合、出力装置のＭＴＦ特性は、式（９）又は式（１０）を適用することで得られるコントラスト伝達関数（ＣＴＦ）で表現される。あるいは、ＣＴＦ値をコルトマン補正式で変換したＭＴＦ値を用いてもよい。

以上説明した方法により、サンプル画像に含まれる合焦面に対応する画像群１００１およびコントラスト感度特性を適用した任意のデフォーカス量に対応する画像群１００２夫々の画像の周波数特性（ＭＴＦ特性）が取得される。

これにより、デフォーカス量ごとに、ＭＴＦ特性が取得できる。つまり、コントラスト感度特性を適用したデフォーカス量毎の出力装置の鮮鋭性に関する出力特性が得られる。

一方、出力画像で適切な立体感を得るためには、立体感制御処理を適用しない場合と比較して、これを適用した際の出力画像の許容合焦領域と非許容合焦領域の鮮鋭性の差が、入力画像における許容合焦領域と非許容合焦領域の鮮鋭性の差に近づく必要がある。言い換えると、画像処理後の出力画像において許容合焦領域と非許容合焦領域の鮮鋭性の差を適切に制御するためには、コントラスト感度を適用したデフォーカス量毎の鮮鋭性に関する特性に応じて立体感制御量を設定することが必要である。

具体的には、ステップＳ１１０４において、特定周波数における出力画像の合焦領域の鮮鋭性あるいは周波数特性を入力画像の鮮鋭性あるいは周波数特性に鮮鋭化処理によって復元するように立体感制御量を設定する。同様に非合焦領域に対してもデフォーカス量毎に得られるＭＴＦ特性から復元量を算出し立体感制御量とする。これにより、図１０に示すデフォーカス量に対する立体感制御量が算出される。ここでは、図１０（ａ）に示すように、合焦領域の立体感制御量は０であるが、合焦領域の鮮鋭性の特性に変化がある場合は、もちろんその制御量は０ではないことは言うまでもない。

画像処理条件としてデフォーカス量と鮮鋭度の関係は、デフォーカス量を入力として立体感制御量を出力とする関係式として設定する方法、ＬＵＴ方式でパラメータを選択して設定する方法等がある。もちろんこれに限らず、デフォーカス量に対する立体感制御量を算出できるのであれば、どのような方法でもよい。

また、立体感制御量はＭＴＦ特性を復元する値に限らない。画像処理条件に設定されるコントラスト感度特性を適用したデフォーカス量毎の鮮鋭性に影響する特性に基づいたデフォーカス量と鮮鋭化制御量に応じた鮮鋭化処理をしない場合の鮮鋭性の差に対する、処理を行った場合の鮮鋭性の差を考慮する。これらの差が、入力画像での鮮鋭性の差に近くなると、出力画像で適切な立体感が得られる。

最後に、ステップＳ１１０５では、上述のように、コントラスト感度特性を適用したデフォーカス量毎の鮮鋭性に影響する特性から導出される画像処理条件を設定する。

従って以上説明した実施例に従えば、出力画像での許容合焦領域と非許容合焦領域における鮮鋭度の差が入力画像での許容合焦領域と非許容合焦領域における鮮鋭度の差に近づくように鑑賞条件を用いて処理するので、出力画像に立体感をもたせることができる。

なお、以上説明した実施例では、画像処理条件としてデフォーカス量と立体感制御量の関係を例に説明したが、合焦面からの距離に相当する情報である像ずれ量もしくは合焦面と被写体との距離と立体感制御量の関係を画像処理条件としてもよい。

また、以上説明した実施例では、写真画像の画像データとしてカメラ等の撮像装置で撮影したデータ、合焦面からの距離に相当する情報として撮影時のデフォーカス量を用いる形態を説明した。しかし、撮像して得られた写真画像を画像編集用のソフトウェアで編集して焦点位置の補正を行い、その際に合わせて画像中の領域毎のフォーカス量も変更することもある。その場合には、補正後の画像データと変更後のデフォーカス量を用いてもよい。また、撮像装置側でフォーカス量を取得せずに、撮像した画像を画像編集用のソフトウェアで解析し、その解析によりフォーカス量を取得するようにしてもよい。
また、これらに限らず、例えばモデリング、レンダリング、画像編集用のソフトウェア等で作成した写真画像のデータと、その画像データに対応するソフトで作成された合焦面からの距離に相当する情報を使用することもできる。これらのソフトウェアでは、合焦面からの距離に相当する情報であるマップを用いて画像のボケ情報等を生成する場合がある。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ パーソナルコンピュータ装置（ホスト装置）、１０２ 出力装置（プリンタ）、
１１０ 画像処理部、１１１ 印刷部、２０１ 合焦面、２０２ レンズ、
２０３ 像面、３００ 被写体、４０１ 立体感制御部、４０２ 出力画像生成部、
４０３ 画像処理条件選択部

Claims (12)

1. 被写体を撮像することにより得られた画像データを画像処理して出力装置に出力する画像処理装置であって、
   前記出力装置から出力された画像を鑑賞する際の鑑賞条件を取得する取得手段と、
   前記取得手段により取得された鑑賞条件と、前記出力装置から出力される画像の鮮鋭性に影響する出力特性とに基づいて、前記画像処理を実行するための画像処理条件を設定する設定手段と、
   前記被写体を撮像する際の合焦面からの距離に相当する情報と前記設定手段により設定された画像処理条件とを用いて前記画像データを画像処理する画像処理手段とを有することを特徴とする画像処理装置。
2. 前記鑑賞条件は、前記出力された画像を鑑賞する環境の照明条件と、鑑賞距離と、鑑賞者の年齢とのうちの少なくとも１つを含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記鑑賞条件は、前記出力された画像のコントラスト感度特性に対応し、
   前記コントラスト感度特性は、前記照明条件と前記鑑賞者の年齢の少なくともいずれかに応じて変化することを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理手段は、前記合焦面からの距離に相当する情報として、前記画像データの各画素に対応するデフォーカス量、又は、前記合焦面から前記被写体までの距離、又は、視差量を用いることを特徴とする請求項３に記載の画像処理装置。
5. 前記設定手段は、
   サンプル画像を表す画像データをフーリエ変換する変換手段と、
   前記変換手段によりフーリエ変換された画像データに前記コントラスト感度特性を適用する適用手段と、
   前記適用手段により前記コントラスト感度特性が適用された画像を逆フーリエ変換する逆変換手段と、
   前記逆変換手段により逆フーリエ変換された画像データに基づいて、前記出力特性としてＭＴＦ特性を算出する算出手段と、
   前記算出手段により算出されたＭＴＦ特性に基づいて、前記画像処理条件を導出する導出手段とを有することを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記サンプル画像は、合焦面に対応する周波数の異なる複数の画像と、予め定められたデフォーカス量をもった周波数の異なる複数の画像とを含むことを特徴とする請求項５に記載の画像処理装置。
7. 前記取得手段は、前記照明条件と、前記鑑賞距離と、前記鑑賞者の年齢とを入力する入力手段を含むことを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
8. 前記画像処理手段は、前記合焦面からの距離に相当する情報が大きくなるに従って画像の立体感を表す鮮鋭度を調整する制御量を大きくするように制御する画像処理を実行することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記画像処理装置は、パーソナルコンピュータ又は前記出力装置に含まれることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記出力装置は、インクを記録媒体に吐出して画像を記録するインクジェットプリンタであることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. コンピュータを請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
12. 被写体を撮像することにより得られた画像データを画像処理して出力装置に出力する画像処理装置における画像処理方法であって、
    前記出力装置から出力された画像を鑑賞する際の鑑賞条件を取得する取得工程と、
    前記取得工程において取得された鑑賞条件と、前記出力装置から出力される画像の鮮鋭性に影響する出力特性とに基づいて、前記画像処理を実行するための画像処理条件を設定する設定工程と、
    前記被写体を撮像する際の合焦面からの距離に相当する情報と前記設定工程において設定された画像処理条件とを用いて前記画像データを画像処理する画像処理工程とを有する工程とを有することを特徴とする画像処理方法。