JP2017103569A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 複数の被写体が奥行き方向に重なった場合でも、各被写体のシルエットを表現する影絵調画像を生成する技術を提供する。【解決手段】 画像の入力を受け付ける入力手段と、入力画像の領域ごとに被写体の距離情報を取得する距離情報取得手段と、前記距離情報に基づいて前記入力画像の領域ごとに階調を割り当て、割り当てられた階調にしたがって前記入力画像の輝度データを変換する変換手段と、を備えることを特徴とする画像処理装置を提供する。【選択図】 図１

Description

本発明は、デジタル画像データに影絵のような効果を付加する画像処理技術に関する。

入力された画像データに対して、画像データの情報量を落とすことによって被写体のシルエットを強調する画像処理がある。例えば、入力画像データから抽出した輪郭線に基づいて塗りつぶしを行うことにより、切り絵風画像を生成する情報処理回路を備えるものがある（例えば、特許文献１参照）。

特開２０１１−１８０６４３号公報

しかしながら、特許文献１に記載の処理は、２つ以上の被写体同士が重なった場合が考慮されていない。つまり、前後に重なった被写体から抽出した輪郭線が交わる場合は、各被写体を判別することができない可能性がある。特に、輪郭線を省き、塗りつぶしだけで被写体のシルエットを表す影絵調の画像を生成する場合は顕著である。

上記課題に鑑み、本発明の目的は、前後に被写体が重なった場合でも、各被写体のシルエットを表現する影絵調画像を生成する技術を提供することにある。

上記課題を解決するために、本発明の一実施態様は、画像の入力を受け付ける入力手段と、入力画像の領域ごとに被写体の距離情報を取得する距離情報取得手段と、前記距離情報に基づいて前記入力画像の領域ごとに階調を割り当て、割り当てられた階調にしたがって前記入力画像の輝度データを変換する変換手段と、を備えることを特徴とする画像処理装置である。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、複数の被写体が奥行き方向に重なった場合でも、各被写体のシルエットを表現する影絵調画像を生成することが可能となる。

第１の実施形態における画像処理装置の構成図 第１の実施形態における影絵調処理部の構成図 第１の実施形態における階調割当に用いるＬＵＴの入出力特性を示した図 第１の実施形態における影絵調処理の各ステップでの処理後の画像のイメージ図 第１の実施形態における各被写体の距離関係を模式的に示した図 第１の実施形態における影絵調処理の動作を示すフローチャート 第２の実施形態における影絵調処理部の構成図 第２の実施形態におけるＬＵＴ選択処理の動作を示すフローチャート 第２の実施形態における影絵調処理後の画像のイメージ図 第２の実施形態における階調割当に用いるＬＵＴの入出力特性を示した図 第２の実施形態における各被写体の距離関係を模式的に示した図

（第１の実施形態）
以下、本発明の実施形態について説明する。

本実施形態では、本発明をデジタルカメラ、スキャナ等の撮像系を有する画像処理装置に適用した例を用いて説明を行う。しかし、これに限らず、画像データを処理できる画像処理装置であれば、本発明を適用することは可能である。すなわち、画像処理装置として、パーソナルコンピュータ等の情報処理装置であってもよいし、携帯型の情報端末、プリンタ等の画像形成装置などであってもよい。これは、他の実施形態でも同様である。

図１は、本実施形態の画像処理装置１００のであるデジタルカメラの構成を示すブロック図である。

画像処理装置１００において、被写体光は、絞り、レンズ等の光学系１により撮像素子２上に結像され、光電変換されて電気信号となって撮像素子２から出力される。撮像素子２は、例えば、一般的な原色カラーフィルタを備える単板カラー撮像素子とする。原色カラーフィルタは、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーンを撮影する。

単板カラー撮像素子では、これらの色フィルタを画素毎にモザイク状に空間的に配列し、各画素が単一の色プレーンにおける強度を得るので、撮像素子２からは色モザイク画像が出力されることになる。

Ａ／Ｄ変換部３は、撮像素子２により得られた電気信号をデジタル画像信号に変換し、現像処理部４に出力する。本実施形態では、この時点で１２ｂｉｔの画像データが画素毎に生成される。

現像処理部４は、Ａ／Ｄ変換部３から出力されたデジタル画像信号に対して、画素補間処理、輝度信号処理、及び色信号処理などの一連の現像処理を行う。現像処理部４の処理によって、Ｒ、Ｇ、Ｂの色空間から８ｂｉｔの輝度（Ｙ）データ、色差（Ｕ、Ｖ）データの色空間に変換され、ＹＵＶデータとして現像処理部４から出力されるものとする。

距離情報取得部１２は、現像処理部４から出力される画像データの各画素に対する距離情報を取得する。本実施形態における距離情報とは、画像のピント位置から被写体までの相対的な距離であってもよく、また撮影時の撮像装置から被写体までの絶対距離であってもよい。なお、絶対距離あるいは相対距離は、像面側での距離、物体側での距離のどちらであってもよい。また、距離は、実空間の距離で表されてもよいし、デフォーカス量で表されていてもよい。さらになお、距離情報は、画像の各画素に対して距離が設定されている例に限らず、画像の一定の範囲を有する各領域に対して距離が設定されていてもよい。

本実施形態では、距離情報取得部１２は、現像処理部４から出力される画像データから被写体の距離情報を取得する。距離情報の取得には、例えば特開２０００−１５６８２３号公報に記載された撮像面位相差画素を用いた方法や、撮像条件を変えて複数回撮影したぼけ方の異なる画像データを用いる方法（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ法：ＤＦＤ法）など、任意の公知の技術を使用可能である。

なお、距離情報取得部１２は、例えば、位相差検出素子の利用など、現像処理部４から出力される画像データを用いずに距離情報を取得しても構わない。

本実施形態では、撮影される画像に対して影絵調処理を行う撮影モードが画像処理装置１００に設定されている場合、現像処理部４から出力される画像データに対して、影絵調処理部５にて後述する影絵調画像処理が施される。

本実施形態では、画像処理装置１００が撮像系を有しており、光学系１と撮像素子２の構成が画像の入力を受け付ける画像入力部として機能する。なお、本発明を、撮像系を有しない画像処理装置に適用する場合は、画像処理装置１００の外部から画像の入力を受け付ける入力インタフェースが画像入力部として機能する。

信号処理部６は、影絵調処理がなされた画像データに対して、リサイズ処理などを行い、出力部７へ供給する。出力部７は、ＨＤＭＩ（登録商標）などの出力インタフェースへの出力、半導体メモリカードなどの記録メディアへの記録、画像処理装置１００の表示装置（図示せず）への出力の１つ以上を行う。

なお、撮影される画像に対して影絵調処理を行わない通常の撮影モードが画像処理装置１００に設定されている場合には、現像処理部４から出力される画像データが、図１の破線で示すように信号処理部６に直接入力される。

ＵＩ部９は、スイッチ、ボタン、表示装置（図示せず）に設けられたタッチパネルなどの入力機器を１つ以上有し、ユーザによる指示などの外部からの操作は、ＵＩ部９を介して画像処理装置１００へと入力される。制御部１０は、ＵＩ部９を介して入力された操作を受けて演算を行ったり、画像処理装置１００の各部を制御したりする。

制御部１０は、バス８を介して各部を制御し、また適宜必要な演算処理を行う。

メモリ１１は、各処理部で用いられる画像データや、絞り値、シャッタースピード、ＩＳＯ感度、ホワイトバランスゲイン値、ｓ−ＲＧＢなどの色域の設定などの撮影時情報のデータを記憶する。記憶されているデータは、制御部１０の指示によって適宜読み出され、使用される。また、図１に示すように、画像処理装置１００の各構成要素は、バス８を介して互いに通信可能に接続されている。

以下、図２を参照して、画像処理装置１００が実行する影絵調処理の画像処理方法、及びそれを実現する画像処理回路の構成について説明する。影絵調処理部５は、影絵の特徴を画像効果として画像データに施すための構成を有する。なお、ここでいう影絵の代表的な特徴とは、輪郭内を単一色で塗り潰したシルエット表現、スクリーンからの距離に応じたボケ量、大きく減光された周辺部、制限された色数である。

本実施形態では、撮影画像に対応した距離情報を用いて輝度（Ｙ）データの階調を決定することにより、ピント位置に存在する主被写体の前後に別の被写体が重なった場合でも、各被写体のシルエットを表現する影絵調の効果を出すことが可能となる。

階調割当部２０１は、現像処理部４から入力されたＹＵＶ形式の画像データに対して、階調割り当てを行う。階調割り当ての方法として、本実施形態では、輝度（Ｙ）データに関しては、距離情報取得部１２から入力される距離情報と１次元のルックアップテーブル（ＬＵＴ）２０８によって決まる階調を割り当て、色差（ＵＶ）データに関しては、一律に所定値（たとえば０）を割り当てる。

ＬＵＴ２０８は、図３（ａ）および（ｂ）に示される特性のいずれかを持つ影絵調種類毎のＬＵＴ２０７ａおよびＬＵＴ２０７ｂからＬＵＴ選択部２０５が影絵調種類に基づいて選択したものである。影絵調種類については後述する。

ボケ画像生成部２０２は、影絵調の階調が割り当てられた画像データに対して、例えばローパスフィルタを用いたフィルタ処理などでボカシ処理（平滑化処理）を行うことにより、ボケ画像を生成する。ここでボケ画像とは入力画像に対してボケた、つまり所定の周波数より高い高周波成分が除去された画像のことである。

上述のボカシ処理を行う方法は幾つか考えられ、例えば、ガウシアンフィルタ係数によるローパスフィルタを画像の縦および横にかけて１度に平滑化する方法がある。しかし、影絵調処理で期待するボケ具合を１度の平滑化処理で実現するためには、ローパスフィルタのカーネルサイズが大きくなり処理時間が膨大なものとなってしまう。つまりカメラのハード上で処理するにはあまり現実的ではない。そこで、本実施形態では、処理時間を短縮しかつ所望のボケを得るために、縮小処理回路と拡大処理回路を組み合わせてボケ画像を生成する。ボケ画像生成処理についての詳細の動きは図６（ｃ）のフローチャートを用いて後述する。

合成部２０３は、階調割当部２０１から入力された画像とボケ画像生成部２０２から入力されたボケ画像を特定の条件で合成する。影絵は、スクリーンと光源の間に影を作る物体を配置し、光源によって物体の影がスクリーンに映し出されることで鑑賞できるが、物体とスクリーンの距離に応じて輪郭の鮮明度が変化するという特徴がある。

この特徴を画像データに与えるため、本実施形態では、階調割当部によって影絵調の階調が割り当てられた画像データは、被写体距離が階調によって表されている。そこで、合成部２０３が、階調割当部２０１から入力された画像データの特定の値以上の領域をボケ画像で置き換えることにより、スクリーンからの距離に応じてボケ量が変化するという影絵の特徴を画像効果として施すことができる。

また、周辺光量低下処理部２０４は、影絵調のボケ効果が与えられた画像データに対して画像データの周辺光量が低下しているかのような処理を施す。影絵は、明瞭な影を作成するために点光源で影を作る物体やスクリーンを照らすため、スクリーンの一点が最も明るくその点から離れるに従って暗くなるという特徴がある。

この特徴を画像データに与えるため、本実施形態では、スクリーン（画像）の中心を最も明るい点として、画像データの周辺輝度を低下させる処理を施す。具体的には、画像データに対応させた２次元分布の周辺輝度低下データ（周辺光量低下データ）を画像データに乗算することで、画像データの輝度分布を調整する。また、画像データの周辺の輝度を低下させる処理としてはこれに限らず、画像データに除算、あるいは加減算することで輝度分布を調整する輝度低下データであってもよい。

また、周辺輝度低下データを予め用意しておくのではなく、演算によって画像データの輝度分布を調整する方法でも本発明は適用することができる。なお、最も明るい点をスクリーンの中心ではなく、スクリーンの上側や下側の端部、もしくはスクリーンの外側に配置することにより、太陽などの光源被写体を表現することも可能である。この場合は、周辺光量低下データの座標を上下左右にシフトした上で画像データに乗算すれば良い。

調色部２０５は、周辺光量低下処理を施された画像データに対して調色を行う。基本的な影絵は、無色のスクリーンに白熱灯、ＬＥＤ電球、プロジェクタ光源などが発する人の目で無色と感じられる光を照射して作られるために白黒のモノトーンの画像であるが、空の青や夕焼けの赤を表現するために、光源の前にカラーフィルムを挟むことで調色を施すことが可能である。

この特徴を画像データに与えるため、本実施形態では、調色部２０５に入力されたＹＵＶ画像データをマトリクス演算によってＲＧＢ空間に変換し、ＲＧＢ各プレーンにそれぞれ異なる係数を乗算する。例えば、空の青のような色に調色するためには、以下の式に示す処理を行えば良い。当然ながら、調色を行わない場合は係数を１とすれば良い。
Ｒ‘＝Ｒ×２１８／２５５
Ｇ‘＝Ｇ×２５５／２５５
Ｂ‘＝Ｂ×１９１／２５５

調色部２０５は、調色されたＲＧＢ画像データを、マトリクス演算によって再びＹＵＶフォーマットに変換し、ＹＵＶ画像データとして信号処理部６に出力する。

階調割当部２０１による輝度値（Ｙ）の設定と、調色部２０５による色値（ＵＶ）の設定をそれぞれ行うことにより、画像の領域ごとについて、当該領域の距離を単一色の濃淡で示すモノトーン画像に変換することが可能となる。

ここで、本実施形態で行われる階調割当部２０１での階調割当処理についてより詳細に説明する。

階調割当部２０１は、距離情報取得部から入力される距離情報に応じて画像データの階調を割り当てるが、距離情報には上述した通り様々な形態が想定されるため、距離情報をそのまま画像データの階調とすることはできない。そのため、使用する距離情報の形態に合わせたＬＵＴをメモリに保存しておき、それを距離情報に適用した結果を画像データの階調として割り当てる。

本実施形態では、画像データにおける各画素の被写体距離を、無限遠を０、ピント面を１２８、至近端を２５５として２５６階調で表す距離情報を用いる。

図３（ａ）は、前述した距離情報を影絵調の階調に変換するＬＵＴ２０７ａである。影絵は、主要被写体が全て影、遠景は影と対比するようにやや明るく、被写体が存在しない領域は影絵を映し出すスクリーンのため最も明るい、という特徴的な階調特性を有している。なお、影絵における遠景部分が影よりも明るい理由は、影を作る物体がスクリーンから離れて光源方向に近付くことにより、光源からの光が回り込むためである。

ＬＵＴ２０７ａは、画像データに対して影絵に近い階調を与えるため、１２８以上の入力値、すなわちピント面の主被写体から至近端の間に存在する被写体は、一律で階調値０を与えることによって影として表す。次に、入力値０すなわち無限遠から入力値１２８の間にある被写体は、それぞれ入力値に応じて２２０から０の間で線形補間した階調値を与えることによって、遠景およびスクリーンとして表す。

図４に、本実施形態において、影絵調処理部５が行う影絵調処理の各ステップでの処理後の画像（データ）のイメージ図を示す。

図４（ａ）は、現像処理部４から出力され、影絵調処理部５に入力されるＹＵＶデータからなる画像データのサンプルを示している。図５は、画像データにおける各被写体と距離の関係を示す模式図を示している。図４（ａ）と図５に示す通り、画像データには、ピント面に主被写体である画面中央の人物が存在し、画面左側に立つ木の幹が至近端に存在し、ビル群や森がピント面よりも遠くに存在し、空が無限遠に存在している。

図４（ｂ）は、距離情報取得部１２から出力され、影絵調処理部５に入力される距離情報のイメージ図を示している。図４（ｂ）では、無限遠に存在する空の値が０、ピント面よりも遠くに存在するビル群や森の値が６４、ピント面に存在する人物の値が１２８、至近端に存在する木の幹の値が２５５、人物と木の間に存在する地面が１２８と２５５の間で連続的に変化している。

図４（ｃ）は、階調割当部２０１から出力される画像データのイメージ図である。図４（ｃ）は、上述した階調割当処理によって、ピント面に存在する人物およびピント面よりも至近端側に位置して距離情報の値が大きな木や地面などの値が一律０となり、影のように表され、そのシルエットが強調されている。一方、ピント面よりも無限遠側に位置して距離情報の値が小さなビル群や森の値は一律２００となり、シルエットが強調されながらも、影の領域との判別が可能である。また、無限遠に存在する空の値は一律で２２０となり、画面内で最も明るく影絵におけるスクリーンのように表されている。

図４（ｄ）は、合成部２０３から出力される画像データのイメージ図である。本実施形態においては、階調割当部２０１から出力された画像に対して、値が２００以上、すなわち遠景領域をボケ画像生成部２０２から出力されたボケ画像で置き換える。図４（ｄ）を見ると、ビル群や森の輪郭の尖鋭度が低下している一方で、影の輪郭は尖鋭度が高いままで保たれており、より影のシルエットが強調されていることが分かる。

図４（ｅ）は、周辺光量低下処理部２０４から出力される画像データのイメージ図である。本実施形態においては、ボケ画像生成部２０２から出力された画像データに対し、画面中心を入力値１００％、画面４隅を入力値３０％、その他の領域は所定の割合で同心円状に入力値を低下させる周辺輝度低下データを乗算することで、周辺光量低下処理が行われる。図４（ｅ）を見ると、点光源でスクリーンを照らしたような周辺光量落ちが表現されていることが分かる。

以上の通り、図３（ａ）に示すＬＵＴ２０７ａのような特性で階調割当処理を行った上で得られた最終的な画像は、ピント面に存在する主被写体の階調値を０として必ず影として表すため、実際の影絵に近い表現となる。しかし一方で、主被写体よりも撮像面に近い被写体の階調値も０とするため、例えば図４（ｅ）の人物が動いて木の幹と重なった場合、それぞれのシルエットが判別できないという側面もある。したがって、ユーザの作画意図に応じて、主被写体と主被写体よりも撮像面に近い被写体の階調を分離する制御を適用的に選択できるようにしても良い。そこで本実施形態では、後述するようにユーザの作画意図に応じて、適したＬＵＴを選択して適用することが可能としている。

図６は、図２に示す影絵調処理部５で行われる影絵調処理の全体の動作を示すフローチャートである。フローチャートの各動作は制御部１０、あるいは制御部１０の指示により各部で行われる。

ステップＳ６０１では、階調割当部２０１で用いられるＬＵＴ２０８が、ＬＵＴ選択部２０６によって選択され、設定される。

ステップＳ６０２では、選択されたＬＵＴに従って、階調割当部２０１が前述したような階調割当処理を行う。

ステップＳ６０３では、ボケ画像生成部２０２により、階調割当がなされた画像データに対して、ボケ画像生成処理が行われる。

ステップＳ６０４では、合成部２０３により、ボケ画像生成部２０２から出力されたボケ画像と階調割当部２０１から出力された画像データに対して、前述したような合成処理が行われる。

ステップＳ６０５では、周辺光量低下処理部２０４により、合成処理がなされた画像データに対して、前述したような周辺光量低下処理が行われる。

なお、階調変換された撮影画像に対して、Ｓ６０４のぼかし処理とＳ６０５の周辺光量低下処理の一方のみを適用してもよい。一方の処理であっても、影絵調の効果をより与えることが可能である。

ステップＳ６０６では、周辺光量低下処理がなされた画像データに対して、調色部２０５が前述したような調色処理を行い、影絵調処理部５の出力として出力して処理を終了する。

図６のステップＳ６０１のＬＵＴ選択処理を、図６（ｂ）のフローチャートを用いて詳細に説明する。前述したように、本実施形態では、ユーザの作画意図に応じて適したＬＵＴを選択して適用する。例えば、ユーザの作画意図が、ピント面に存在する主被写体のシルエットを確実に判別したいという場合は、図３（ｂ）に示すような、至近端の階調値を０、主被写体の階調値を０より高い値とした特性を持つＬＵＴ２で階調割当を行う。一方、ユーザの作画意図が、影絵のように主被写体を影として表したいという場合は、図３（ａ）に示すような、ピント面の主被写体から至近端の間に存在する被写体に一律で階調値０を与える特性を持つＬＵＴ１で階調割当を行う。ただし、いずれも無限遠に存在する被写体には階調値２２０を与えることによって、スクリーンとして表すような特性を持っている。また、無限遠と主被写体の間にある被写体には、無限遠と主被写体の間で距離に応じて線形補間した階調値を与えることによって、遠景として表す。

なお、図３（ａ）（ｂ）に示すように、ＬＵＴ１およびＬＵＴ２において設定された階調値は、一例に過ぎず、この値に限定されない。

図４（ｅ）は、前述した通り、階調割当部２０１で用いるＬＵＴ２０８としてＬＵＴ１を用いた場合の影絵調処理部５の出力画像イメージであったが、図４（ｆ）に、ＬＵＴ２０８としてＬＵＴ２を用いた場合の出力画像イメージを示す。図４（ｆ）を見ると、木の幹が影のように表される一方、人物は中間調で表されており、木のシルエットと人物のシルエットを明確に判別することができる。

本実施形態では、影絵調画像の作成前に、ユーザが、影絵調種類として影絵らしさ優先またはシルエット判別優先のいずれかを選択することが可能である。ＵＩ部９を介して、ユーザによって入力された影絵調種類は、メモリ１１に記録される。

ステップＳ６０１１では、制御部１０が、影絵調種類として、例えば影絵らしさ優先をメモリ１１から読みだす。

次に、ステップＳ６０１２では、ＬＵＴ選択部２０６が、読みだされた影絵調種類を判定し、対応するＬＵＴ２０８を、メモリ１１に記憶されている影絵調種類毎のＬＵＴ２０７から選択する。上述した影絵調種類の内、影絵らしさ優先の場合はＬＵＴ１，シルエット判別優先の場合はＬＵＴ２を選択する。影絵調種類毎のＬＵＴ２０７を予め保持しておくことで撮影時に膨大な計算処理が発生することがないため、撮影駒速を落とすことなく高速連写ができる。

ステップＳ６０１３では、制御部１０が、選択されたＬＵＴ２０８を階調割当部２０１に設定して本処理に戻る。

図６のステップＳ６０３のボケ画像生成処理を、図６（ｃ）のフローチャートを用いて詳細に説明する。前述したように、ボケ画像生成処理では、縮小処理と拡大処理を組み合わせてボケ画像を生成する。より具体的には、階調割当がなされた画像データに対して、一旦縮小処理を行って情報量を落とした後に、再び補間を伴い拡大処理を行うことで画像にボケ効果を与えることになる。

まず、目標とするボケの大きさに合わせて最縮小画像の縮小サイズを設定する。例えば、本実施形態では、無限遠領域を置き換えるボケ画像としては入力画像に対して各辺１／４サイズ（縦横でそれぞれ画素数が１／４）とする。各辺１／４サイズまで縮小する場合、Ｎ＝２として縦方向および横方向に１／２縮小をＮ回繰り返す（ステップＳ６０２１〜６０２４）。ここで、縮小による高周波成分の折返り、いわゆるモアレの発生を防ぐために、縮小の前に縦方向および横方向にフィルタ係数［１，２，１］のローパスフィルター（ＬＰＦ）をかけて平滑化しておく（ステップＳ６０２２）。縮小処理がＮ回まで終了したら、次に元のサイズになるまで拡大処理を行う。拡大処理も縮小処理同様、縦方向および横方向に２倍ずつＮ回繰り返す（ステップＳ６０２５〜６０２７）。

尚、本実施形態では１回の縮小時の変倍率を１／２倍としたが、１／４倍でもよくこれに限るものではない。但し、併せてかけるローパスフィルタのフィルタ係数は、モアレの発生を防ぐためには適宜変える必要がある。例えば１／４倍とした場合のフィルタ係数は［１，４，６，４，１］と設定する必要がある。

以上のように、本実施形態では、影絵調の効果を付与する影絵調処理において、入力画像に対応する距離情報を用いて影絵調の階調を持つ輝度データを生成し、白黒のモノトーンもしくは調色を施した色データと合わせて最終的な画像データとすることで、影絵調の画像を生成する。これにより、前後に被写体が重なった場合でも、各被写体のシルエットを表現する影絵調処理を実現することができる。

さらに本実施形態では、影絵調種類に応じて適切な階調割当がなされるので、ユーザの作画意図を反映した影絵調の画像を生成することができる。

（第２の実施形態）
上述した通り、影絵は、影を作る物体と光源との距離に応じて、作られる影の明るさが変化する。複数の物体を光源からそれぞれ異なる距離に置いて影絵を作った場合、明るさが異なる複数の影が生成されるが、各物体の影の明るさは光源との距離に応じて離散的になるという特徴がある。

第１の実施形態では、階調割当部２０１にて階調割当を行う際、距離情報によって連続的な階調を割り当てる特性を持つＬＵＴを用いたが、第２の実施形態では、階調割当部２０１にて階調割当を行う際、プリセットとして保持されたＬＵＴの特性を離散化し、階調割当ＬＵＴを算出する。

図７は、第２の実施形態における影絵調処理部５の詳細を示すブロック図である。図２と同じ符号のブロックについては処理内容が同じため説明は省略する。第１の実施形態と異なるところは、ＬＵＴ離散化部７０１が設けられ、ＬＵＴ離散化部７０１が制御部１０からの撮影条件を解析し、撮影条件に対応する適切な階調割当ＬＵＴ７０２を算出するところである。

図８は、本実施形態における図６（ａ）のステップＳ６０１のＬＵＴ選択処理の動作例を示すフローチャートである。その他全体の影絵調処理については図６で示した動作と同様である。

ステップＳ８０１では、制御部１０が、影絵調種類として、影絵らしさ優先およびシルエット判別優先のいずれか一方のモードを読み出す。以下の説明では、シルエット判別優先をメモリ１１から読みだす例を用いる。

ステップＳ８０２では、ＬＵＴ選択部２０６が、読みだされた影絵調種類を判定し、対応するＬＵＴ２０８を、メモリ１１に記憶されている影絵調種類毎のＬＵＴ２０７から選択する。シルエット判別優先の場合はＬＵＴ２が選択される。

ステップＳ８０３では、ＬＵＴ離散化部７０１が、選択されたＬＵＴに対して離散化処理を行い、階調割当ＬＵＴ７０２を算出する。

ステップＳ８０４では、制御部１０が、離散化された階調割当ＬＵＴ７０２を階調割当部２０１に設定して本処理に戻る。

図９に、本実施形態において、影絵調処理部５が行う影絵調処理後の画像のイメージ図を示す。図４（ｆ）と図９を比較すると、図４（ｆ）では、地面の階調が木の根元から人物の足元にかけて連続的に変化しているのに対し、図９では、人物および人物付近の地面に一律で階調値１００が与えられ、至近端の木および木付近の地面に一律で階調値０が割り当てられている。距離に応じて階調を離散化することにより、前述した影絵の特徴がより適切に表されている。

図８のステップＳ８０３のＬＵＴ離散化処理を、図８（ｂ）のフローチャートを用いて詳細に説明する。

本実施形態では、ＬＵＴ離散化部７０１は、距離情報を影絵調の階調に変換するＬＵＴ２０７を、ピント面付近に存在する主被写体、至近の被写体、遠景の被写体、無限遠の被写体の４領域に分割し、一定の距離範囲を有する各領域に対して同じ階調値を与えることで、距離情報を４階調に離散化する。図１０に、影絵調種類がシルエット判別優先の時に選択されるＬＵＴ２０７ｂを離散化して算出した、階調割当ＬＵＴ７０２を示す。

ある被写体の距離がピント位置の距離から一定以上近くにあるとみなす閾値をＴＨ近、逆に一定以上遠くにあるとみなす閾値をＴＨ遠とした場合、階調割当ＬＵＴ７０２は、ピント面を示す１２８に対して、１２８−ＴＨ遠と１２８＋ＴＨ近の範囲内にある入力を主被写体領域として、主被写体を表す階調値１００を与え、１２８＋ＴＨ近よりも大きな入力を至近の被写体として、影を表す階調値０を与え、１２８−ＴＨ遠よりも小さな入力については、０付近の入力を無限遠の被写体として、スクリーンを表す階調値２２０を与え、それ以外の入力を遠景の被写体として、遠景を表す階調値２００を与える特性を持つ。つまり、それぞれの領域について、その領域の距離が、ピント面からの距離に基づいて段階的に設定された複数の距離範囲のいずれに含まれるかに応じて、階調値が割り当てられる。

この時、階調割当ＬＵＴ７０２の入力である距離情報は、影絵調処理の対象となる入力画像を撮影した際の撮影条件によってその値が変動する。そこで本実施形態では、後述するように撮影条件に応じて、ＬＵＴを離散化する閾値を適応的に制御する。すなわち、上述の複数の距離範囲は、入力された画像の撮影条件に基づいて設定される。

本実施形態では、制御部１０は、光学系１からその最短撮影可能距離を取得することができる。また、ピント面の距離は距離情報取得部１２から取得することができる。

ステップＳ８０１１では、制御部１０が、撮影条件として、例えば最短撮影可能距離１ｍ、ピント面の距離１１ｍをメモリ１１から読みだす。本実施形態では撮影系を含む画像処理装置を想定しているので、入力画像の撮影時に設定されている撮影条件がメモリ１１に記憶されており、それを読み出すことで上述の処理が実現される。

ステップＳ８０１２では、ＬＵＴ離散化部７０１が、撮影条件に応じて、ＬＵＴを離散化するために必要な閾値を算出する。本実施形態では、例えば、ピント面の前後１ｍに存在する被写体を主被写体としてＬＵＴの離散化を行う。

図１１（ａ）に、撮影条件として、最短撮影可能距離１ｍ、ピント面の距離１１ｍが設定された場合における各被写体の距離関係を模式的に示す。図１１（ａ）におけるＬＵＴの離散化を行うＴＨ近１１０１とＴＨ遠１１０２は、例えば、共に１５となる。

図１１（ｂ）は、撮影条件として、最短撮影可能距離１ｍ、ピント面の距離６ｍが設定された場合における各被写体の距離関係を模式的に示した図である。ピント面の距離が６ｍと短くなったため、ピント面よりも撮像面に近い領域においては、同じ距離を表すための距離情報の値が相対的に大きくなる。そのため、ピント面の前後１ｍで離散化するための閾値を大きくする必要があり、図１１（ｂ）の撮影条件におけるＴＨ近１１０３は、例えば３０となる。逆に、ピント面よりも撮像面から遠い領域においては、同じ距離を表すための距離情報の値が相対的に小さくなる。そのため、ピント面の前後１ｍで離散化するための閾値を小さくする必要があり、図１１（ｂ）の撮影条件におけるＴＨ遠１１０４は、例えば８となる。

なお、本実施形態では、撮影条件として、光学系１の最短撮影可能距離とピント面の距離を例に説明を行ったが、これに限定されるものではない。例えば、撮影条件として、焦点距離や絞り値を用いても良い。焦点距離や絞り値が変化すると、距離情報を取得することができる最長距離すなわち無限遠の距離が変化し、ピント面よりも撮像面から遠い領域においては、同じ距離を表すための距離情報の値が相対的に変化する。例えば、無限遠の距離が大きくなった場合は、ＴＨ遠を小さくすれば良く、逆に無限遠の距離が小さくなった場合は、ＴＨ遠を大きくすれば良い。

さらになお、撮影条件として例示した要素の組み合わせに基づいて閾値を設定して、離散化された距離範囲を決定してもよい。

ステップＳ８０１３では、ステップＳ８０１２で算出された閾値を用いて、ＬＵＴ離散化部７０１が、前述したようなＬＵＴ離散化処理を行って、ＬＵＴ２０７を離散化し、階調割当ＬＵＴ７０２を算出して本処理に戻る。

以上のように、本実施形態では、影絵調の効果を付与する影絵調処理において、入力画像に対応する距離情報を用いて影絵調の階調を持つ輝度データを生成し、白黒のモノトーンもしくは調色を施した色データと合わせて最終的な画像データとすることで、影絵調の画像を生成する。これにより、前後に被写体が重なった場合でも、各被写体のシルエットを表現する影絵調処理を実現することができる。

さらに本実施形態では、撮影条件に適した閾値でＬＵＴを離散化し、離散化されたＬＵＴで階調割当を行うことにより、最大限に影絵調のテイストを表現することが可能である。

上記各実施形態では、影絵調処理部５の各ブロックのハード構成についても説明したが、各ブロックの動作はいずれもソフトウェアでも実現可能な処理であるので、影絵調処理部５の各動作の一部あるいは全部がソフトウェア処理で実装されていても良い。また、図１の画像処理装置１００におけるその他のブロックについても、同様にその一部あるいは全部がソフトウェア処理で実装されていても良い。

また、上記各実施形態では、階調割当部２０１における階調割当を１次元ＬＵＴによって行う例を示した。しかし、階調割当処理の方法はこれに限らず、図３、図１０に示すような特性を持った階調割当を行うものであれば、例えば演算により出力画素値を算出するような処理であってもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２ 撮像素子
５ 影絵調処理部
６ 信号処理部
７ 出力部
１０ 制御部
１２ 距離情報取得部
１００ 画像処理装置
２０１ 階調割当部
２０５ 調色部

Claims (9)

1. 画像の入力を受け付ける入力手段と、
   入力画像の領域ごとに被写体の距離情報を取得する距離情報取得手段と、
   前記距離情報に基づいて前記入力画像の領域ごとに階調を割り当て、割り当てられた階調にしたがって前記入力画像の輝度データを変換する変換手段と、を備えることを特徴とする画像処理装置。
2. 前記変換手段は、その距離が一定の距離範囲に含まれる領域については、同じ階調を割り当てることを特徴とする請求項１に記載の画像処理装置。
3. 前記変換手段は、
   ある領域の距離が、ピント面からの距離に基づいて段階的に設定された複数の距離範囲の何れに含まれるかに応じて階調を割り当てることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記複数の距離範囲は、前記入力画像の撮影条件に基づいて設定されることを特徴とする請求項３に記載の画像処理装置。
5. 前記撮影条件は、ピント面の距離、撮影可能距離、焦点距離および絞り値の少なくとも１つから構成されることを特徴とする請求項４に記載の画像処理装置。
6. 前記入力画像の色データとして単一色に対応した値を設定する調色手段を備えることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記変換手段かで輝度データが変換された入力画像に対して、画像をぼかすぼかし処理、画像の周辺光量を低下させる光量低下処理の少なくとも一方を施す信号処理手段を備えることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 画像の入力を受け付ける入力ステップと、
   入力画像の領域ごとに被写体の距離情報を取得する距離情報取得ステップと、
   前記距離情報に基づいて前記入力画像の領域ごとに階調を割り当て、割り当てられた階調にしたがって前記入力画像の輝度データを変換する変換ステップと、を備えることを特徴とする画像処理方法。
9. 画像の入力を受け付ける入力手段と、
   入力画像の領域ごとに被写体の距離情報を取得する距離情報取得手段と、
   前記距離情報に基づいて、前記入力画像を、画像の領域ごとの距離を単一色の濃淡で示すモノトーン画像に変換する変換手段と、を備えることを特徴とする画像処理装置。