JP2012070305A - 画像処理装置 - Google Patents

Abstract

【課題】奥行感の増した立体感のある画像を生成する。
【解決手段】画像処理装置１００は、取得部１０１と分離部１０３と処理部１０４と合成部１０５とを備える。取得部１０１は、入力画像に撮像されている被写体の奥行値を取得する。分離部１０３は、入力画像を、グラデーションを含む成分である第１成分と、第１成分以外の成分である第２成分とに分離する。処理部１０４は、第１成分を奥行値に応じた強さで強調した処理済成分を生成する。合成部１０５は、処理済成分と、第２成分とを合成した合成成分を生成する。
【選択図】図１

Description

本発明の実施形態は、画像の立体感を向上させる画像処理装置に関する。

取得した画像について、カメラなどの撮像機器から被写体までの距離が分かっている場合、距離に応じた両眼視差だけずらした２枚の画像を作成し、それぞれ右目と左目で観測することで、両眼立体視により画像を立体的に見ることができる。しかしながら、本システムを実現するためには、例えば、右目用と左目用の映像を空間的または時間的に分割して表示するディスプレイが必要である。また、視聴者は対応する眼鏡をかける必要があるなど、構成が複雑になる。そこで、映像表示を２次元のままに、立体感の増した映像が表示することができれば、簡易的に立体的な映像を視聴できるため、視聴者の利益が大きい。

被写体の陰影を強調することで凹凸感が増し、画像の立体感が増す効果がある。ここで、凹凸感とは、被写体表面の凹凸の表現力と定義する。凹凸感は陰影を表現する要素の１つである、画像のグラデーションを強調する手法が知られている。この手法では、画像の勾配を計算し、勾配強度の小さい成分を強調することで、処理を実現している。

宮岡伸一郎：「画像の勾配空間フィルタリング」、電子情報通信学会技術研究報告、Ｖｏｌ．１０９、Ｎｏ．１８２、ｐｐ．１４３−１５０、２００９年８月

しかしながら、従来技術では、全画面一様に陰影が強調されるため、例えば、距離の遠い背景の凹凸感も増す。凹凸感の増した被写体は処理前よりも距離が近く知覚されるため、前景に被写体が存在した場合、前景と背景の距離が近く知覚され、結果的に奥行感の低い平面的な構図の画像となる問題があった。ここで、奥行感とは、被写体間の奥行方向の距離の表現力と定義する。凹凸感と奥行感は共に、画像の立体感を構成する主要な要素であると考えられる。

実施形態の画像処理装置は、取得部と分離部と処理部と合成部とを備える。取得部は、入力画像に撮像されている被写体の奥行値を取得する。分離部は、入力画像を、グラデーションを含む成分である第１成分と、第１成分以外の成分である第２成分とに分離する。処理部は、第１成分を奥行値に応じた強さで強調した処理済成分を生成する。合成部は、処理済成分と、第２成分とを合成した合成成分を生成する。

第１の実施形態に係わる画像処理装置のブロック図。 第１の実施形態に係わる画像処理装置による画像処理のフローチャート。 撮影された画像を示した模式図。 撮影された画像を示した模式図。 奥行値を用いて閾値を設定する画像処理装置のブロック図。 画像の領域を示す図。 入力画像から分離した骨格成分画像と分離成分画像の一例を示す図。 第２の実施形態に係わる画像処理装置のブロック図。 第２の実施形態に係わる画像処理装置による画像処理のフローチャート。 第１または第２の実施形態に係わる画像処理装置のハードウェア構成図。

以下に添付図面を参照して、この発明に係わる画像処理装置の好適な実施形態を詳細に説明する。

（第１の実施形態）
図１は、第１の実施形態に係わる画像処理装置の構成例を示すブロック図である。図１に示すように、第１の実施形態の画像処理装置１００は、取得部１０１と、算出部１０２と、分離部１０３と、処理部１０４と、合成部１０５とを備えている。

取得部１０１は、入力画像に撮像されている被写体の奥行値を取得する。算出部１０２は、入力画像の画素値の勾配を算出する。分離部１０３は、勾配の大きさに応じて、入力画像を、グラデーションを含む成分である第１成分と、第１成分以外の成分である第２成分とに分離する。

本実施形態では、分離部１０３は、閾値より大きいか否かにより、算出された勾配を、骨格勾配成分と、骨格勾配成分以外の分離勾配成分とに分離する。そして、分離部１０３は、骨格勾配成分を勾配として有する骨格成分画像と、分離勾配成分を勾配として有する分離成分画像とを生成する。骨格成分画像には、勾配が強い部分である、例えばエッジが含まれる。分離勾配画像には、勾配が弱い部分である、例えばエッジを除いたグラデーションなどが含まれる。すなわち、分離部１０３により、入力画像が、グラデーションを含む成分である分離勾配画像（第１成分）と、第１成分以外の成分である骨格成分画像（第２成分）とに分離される。

処理部１０４は、分離勾配画像を奥行値に応じて処理して処理済成分（処理済成分画像）を生成する。合成部１０５は、骨格成分画像と処理済成分画像とを合成した合成成分（合成成分画像）を生成する。

次に、図１および図２を用いて、第１の実施形態に係わる画像処理装置１００の動作について説明する。なお、図２は、第１の実施形態に係わる画像処理装置１００による画像処理の全体の流れの一例を示すフローチャートである。

まず取得部１０１は、入力画像に映っている被写体の奥行値Ｒを取得する（ステップＳ１１）。ここで、奥行値とは、入力画像の画素毎に取得される、例えばカメラ等の撮像装置などの所定の視点から被写体までの距離に対応する値のことである。奥行値は、例えば距離センサを用いて直接取得することができる。また、２つの視点から撮影された画像の組であるステレオ画像を用いて、ステレオ画像間の視差に応じて奥行値を取得することもできる。特に、立体映像コンテンツに含まれる、右目用画像と左目用画像を用いて奥行値を取得することができる。また、１枚の画像から、画像のぼやけ度合やコントラストの情報を用いて、奥行値を推定して取得してもよい。ここで、本実施形態では、座標（ｘ，ｙ）における奥行値Ｒ（ｘ，ｙ）は、値が大きいほど手前を示し、０から１の値をとるものとする。なお、奥行値の範囲は一例であり、例えば値が小さいほど手前を示す奥行値を用いてもよい。

次に、算出部１０２は、入力画像の勾配を算出する（ステップＳ１２）。入力画像をＩ_ｉｎとしたとき、算出部１０２は、勾配ｇ_ｉｎを以下の（１）式で算出する。

ただし、（ｘ，ｙ）は、座標を示すインデックスであり、例えば、Ｉ_ｉｎ（ｘ，ｙ）は、Ｉ_ｉｎの座標（ｘ，ｙ）における画素値を示す。なお、カラー画像が入力される場合は、例えばＹＵＶのうちＹ成分（明度）を画素値として処理し、ＵＶ成分はＹ成分に応じて処理する。（１）式に示したように、勾配ｇ_ｉｎ（ｘ，ｙ）は、水平方向（ｘ方向）と垂直方向（ｙ方向）の勾配を持つベクトルである。

次に、分離部１０３は、算出部１０２で算出した勾配の大きさに基づいて、骨格成分画像と骨格成分画像を取り除いた残りの分離成分画像とを生成する。まず、分離部１０３は、勾配を、その大きさに基づいて骨格勾配成分ｇ_ｓｔと分離勾配成分ｇ_ｇｒとに分離する（ステップＳ１３）。分離部１０３は、例えば、予め定められた閾値Ｔを用いて、以下の（２）式により、勾配ｇ_ｉｎ（ｘ，ｙ）を骨格勾配成分ｇ_ｓｔと分離勾配成分ｇ_ｇｒとに分離する。

このとき、閾値Ｔは奥行値に応じて可変にしてもよい。例えば、閾値Ｔを、奥行値が奥であるほど大きな値とする。例えば、分離部１０３が、以下の（３）式により、奥行値Ｒ（ｘ，ｙ）が小さいほど（奥であるほど）値が大きくなる閾値Ｔ（ｘ，ｙ）を算出してもよい。この場合は、（２）式のＴを、（３）式のＴ（ｘ，ｙ）に置き換えればよい。ただし、λは正の実数である。

これにより、ある凹凸情報を持つ物体が、画像中で奥に存在しても手前に存在しても、物体の骨格成分と分離成分を変わらずに分離することができる。この理由を、図３および図４を用いて説明する。図３および図４は、ある物体が、それぞれ異なる奥行で撮影された画像を示した模式図である。

図３に示すように、ある距離で物体４０２が撮影された画像４０１について、破線で示した直線の画素値がグラフ４１１に示すように表されるとする。グラフ４１１は、物体４０２が、あるグラデーションを持っていることを示している。

図４の画像５０１は、図３の画像４０１と比較して同一の物体４０２が遠くに撮影された画像を示している。物体４０２が遠くに撮影されているため、画像中における物体４０２の面積は小さくなる。従って、グラフ５１１に示されるように、物体４０２のグラデーションによる画素値の変化量は変化しないものの、グラデーションの勾配は大きくなることが分かる。そのため、同一の物体が、奥行が変わって撮影されたときに、グラデーション成分を変わらずに抽出するためには、奥行値が奥を示すほど閾値を大きく設定することが有効である。

図５は、奥行値を用いて閾値を設定するように構成した画像処理装置１００−２の構成例を示すブロック図である。画像処理装置１００−２は、取得部１０１−２から分離部１０３−２へ奥行値が入力される点が異なる。

また、骨格勾配成分ｇ_ｓｔと分離勾配成分ｇ_ｇｒの値は、０および０以外の値のみでなく、それぞれ勾配の強さと弱さの程度を示す値にしてもよい。例えば、（２）式の代わりに以下の（４）式を用いることができる。

ただし、ｈ（ｇ）は、勾配の大きさについて単調増加する０から１の実数をとる係数であり、例えば以下の（５）式で表される。ただし、σ_１、σ_２は正の実数である。

次に、分離部１０３は、骨格勾配成分ｇ_ｓｔを勾配として持つ、骨格成分画像Ｉ_ｓｔを生成する（ステップＳ１４）。ある勾配を持つ画像を生成する方法は、ポアソン方程式に問題を帰着して解く方法が広く知られている（例えば、Ｒ．Ｆａｔｔａｌら、「Ｇｒａｄｉｅｎｔ ｄｏｍａｉｎ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｃｏｍｐｒｅｓｓｉｏｎ」、ＳＩＧＧＲＡＰＨ議事録、ｐｐ．２４９−２５６、２００２年）。

分離部１０３は、図６に示す、画像の端周囲１画素の領域Ωでは入力画像の画素値を保持するという境界条件を表す以下の（６）式を満たしつつ、領域Ωを除く内部の領域Γでは勾配が骨格勾配成分ｇ_ｓｔに近くなる画像（骨格成分画像）Ｉ_ｓｔを以下の（７）式により算出する。

（７）式は、式変形により、以下の（８）式のポアソン方程式に帰着され、Ｊａｃｏｂｉ法、Ｇａｕｓｓ−Ｓｅｉｄｅｌ法、およびＳＯＲ法等により解くことができる。

また、骨格成分画像Ｉ_ｓｔは、サイン変換した係数を処理することでも解くことができる。例えば、Ｊａｃｏｂｉ法を用いて解く場合は、以下の（９）式を（ｘ，ｙ）∈Γについて反復する。

（ｄｉｖｇ）（ｘ，ｙ）は、ｇの水平方向成分と垂直方向成分をそれぞれｇ_ｘ、ｇ_ｙとして、以下の（１０）式で計算する。

ｎが事前に定められた数に到達するか、反復によるＩ_ｓｔ ^ｎの変化が十分小さくなるまで反復を繰り返した後のＩ_ｓｔ ^ｎを、最終的な骨格成分画像Ｉ_ｓｔとする。

次に、分離部１０３は、分離勾配成分ｇ_ｇｒを勾配として持つ、分離成分画像Ｉ_ｇｒを生成する（ステップＳ１５）。分離成分画像Ｉ_ｇｒは、以下の（１１）式を満たす条件の下で、以下の（１２）式により算出する。

（１１）式の解法は、ステップＳ１４と同様である。また、分離成分画像は入力画像から骨格成分画像を減算することで算出することもできる。

図７は、入力画像から分離した骨格成分画像と分離成分画像の一例を示す図である。各グラフは、各画像の輝度を１次元で模式的に示したグラフである。グラフ７０１に示すような波形の画像信号（入力画像）が入力されたとき、骨格成分画像と分離成分画像は、それぞれグラフ７１１およびグラフ７１２のような形状となる。

図７に示したように、骨格成分画像は、主に画像のエッジとエッジ間の平均輝度を表す画像である。分離成分画像は、主にグラデーションや微小なテクスチャを含み、陰影を表現する画像である。

なお、骨格成分画像と分離成分画像の算出方法は、ステップＳ１２からステップＳ１５で説明した方法に限らない。例えば、予め画像中で強い勾配を持たない領域が分かっている場合や、グラデーションを含む被写体の領域が分かっている場合は、該当領域毎に画素値を平均することにより骨格成分画像を算出することができる。また、分離成分画像は、入力画像から骨格成分画像を減算することにより算出できる。

次に、処理部１０４は、奥行値に応じて分離成分画像を処理して処理済成分画像を算出する（ステップＳ１６）。本実施形態では、手前に存在する被写体ほど陰影を強く表現して凹凸感を増すことで、奥に存在する被写体と手前に存在する被写体の奥行方向の距離が広がって知覚される画像を生成し、奥行感の増した画像を取得する。凹凸感の増した被写体は、より手前側に出て知覚される。処理部１０４は、分離成分画像Ｉ_ｇｒと奥行値Ｒにより、以下の（１３）式により処理済成分画像を計算する。

ただし、α（ｒ）は、奥行値が手前であるほど大きな値をとる処理係数であり、例えば以下の（１４）式で表すことができる。ただし、βは正の定数である。

また、さらに正の定数ωを用いて、以下の（１５）式のように非線形の形でα（ｒ）を表してもよい。

以上のように、処理係数αは任意の正数を値としてとることができ、処理係数αが１より大きければ分離成分画像は強調され、出力画像の陰影が強くなる。また、処理係数αが１より小さいときは、分離成分画像は抑制され、出力画像の陰影は弱くなる。さらに、分離成分画像の処理は、処理係数αの乗算に限らない。例えば、以下の（１６）式のように加算により絶対値を操作してもよい。

ただし、ｓｉｇｎ（ｉ）は、ｉの正負の符号である。また、距離に応じて値を大きく変換するテーブルを予め作成しておき、テーブルにより分離成分画像の絶対値を変換してもよい。

また、ここでは奥行値の取りうる値のうち最も手前を表す値を基準値とし、基準値と奥行値との差分が小さいほど分離成分画像を強調する例を示したが、基準値はこれに限られない。奥行値が中間のある奥行を表す値、または、最奥を表す値を基準値とし、この基準値に近いほど分離成分画像を強調してもよい。例えば、ある中間の奥行値をｒ_ｂａｓｅとすると、奥行値Ｒ（ｘ，ｙ）がｒ_ｂａｓｅに近いほど大きくなるαを（１３）式で用いればよい。αとしては、例えば、ωを正の定数として、以下の（１７）式で表される値を用いることができる。

これにより、ある奥行値ｒ_ｂａｓｅにのみ照明が強く当たっている場合などに、該当位置の被写体を強調して表現することができる。

最後に、合成部１０５は、骨格成分画像Ｉ_ｓｔと、（１３）式で算出される処理済成分画像とを合成し、合成成分画像を生成する（ステップＳ１７）。合成部１０５は、例えば以下の（１８）式により合成成分画像Ｉ_ｃｏｍｂを生成する。

以上の処理により生成された合成成分画像Ｉ_ｃｏｍｂが、本実施形態に係わる画像処理装置１００の出力画像である。

このように、第１の実施形態に係わる画像処理装置１００によれば、画像の陰影を表す成分について、手前の被写体ほど強く表現することで、被写体間の奥行方向の距離の表現力の増した立体感の向上した画像の取得が可能となる。

（第２の実施形態）
図８は、第２の実施形態に係わる画像処理装置２００の構成例を示すブロック図である。図８に示すように、第２の実施形態の画像処理装置２００は、取得部１０１と、算出部１０２と、分離部２０３と、処理部２０４と、合成部２０５とを備えている。

第２の実施形態では、分離部２０３、処理部２０４および合成部２０５の機能と、生成部２０６を追加したことが第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態に係わる画像処理装置１００の構成を表すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

分離部２０３は、勾配の大きさに応じて、入力画像から算出された勾配を、グラデーションを含む成分である第１成分と、第１成分以外の成分である第２成分とに分離する。本実施形態では、閾値より大きいか否かにより分離した分離勾配成分および骨格勾配成分が、それぞれ第１成分および第２成分に相当する。

処理部２０４は、分離勾配成分を奥行値に応じて処理して処理済成分（処理済分離勾配成分）を生成する。合成部２０５は、骨格勾配成分と処理済分離勾配成分とを合成した合成成分（合成勾配成分）を生成する。生成部２０６は、合成勾配成分を勾配として持つ画像を生成する。

次に、図８および図９を用いて、第２の実施形態に係わる画像処理装置２００の動作について説明する。なお、図９は、第２の実施形態に係わる画像処理装置２００による画像処理の全体の流れの一例を示すフローチャートである。

ステップＳ３１からステップＳ３３までは、第１の実施形態に係わる画像処理装置１００におけるステップＳ１１からステップＳ１３までと同様の処理なので、その説明を省略する。

次に、処理部２０４は、奥行値に応じて分離勾配成分を処理して処理済分離勾配成分を算出する（ステップＳ３４）。ここでは、第１の実施形態と同様に、手前に存在する被写体ほど陰影を強く表現する方法を示す。ただし、陰影を強調する奥行は最も手前を基準とする以外に、奥と手前の中間や、最も奥に設定してもよい。処理部２０４は、以下の（１９）式により処理済分離勾配成分を算出する。

ただし、α（ｒ）は奥行値が手前であるほど大きな値をとる処理係数であり、式（１５）や式（１７）を用いることができる。また、ｇ_ｇｒ（ｘ，ｙ）の水平方向成分と垂直方向成分を、異なる係数で処理してもよい。

次に、合成部２０５は、骨格勾配成分ｇ_ｓｔと、（１９）式により算出された処理済分離勾配成分とから、合成勾配成分ｇ_ｃｏｍｂを生成する（ステップＳ３５）。合成部２０５は、以下の（２０）式のように、骨格勾配成分ｇ_ｓｔと処理済分離勾配成分との加算により合成勾配成分ｇ_ｃｏｍｂを算出する。

次に、生成部２０６は、合成勾配成分ｇ_ｃｏｍｂを勾配として持つ画像を、第２の実施形態に係わる画像処理装置２００の出力画像Ｉ_ｏｕｔとして生成する（ステップＳ３６）。生成部２０６の動作は、第１の実施形態のステップＳ１４およびステップＳ１５で説明した動作と同様である。生成部２０６は、図６に示す画像の端周囲１画素の領域Ωでは入力画像の画素値を保持する境界条件である以下の（２１）式を満たしつつ、領域Ωを除く内部の領域Γでは勾配成分がｇ_ｃｏｍｂに近くなる画像として、以下の（２２）式により出力画像を算出する。

（２２）式は、例えば、Ｊａｃｏｂｉ法により解くことができ、以下の（２３）式の反復により出力画像が得られる。

ｎが事前に定められた数に到達するか、反復によるＩ_ｏｕｔ ^ｎの変化が十分小さくなるまで反復を繰り返した後のＩ_ｏｕｔ ^ｎを、最終的な出力画像Ｉ_ｏｕｔとする。

このように、第２の実施形態に係わる画像処理装置２００によれば、画像の陰影を表す成分について、手前の被写体ほど強く表現することで、被写体間の奥行方向の距離の表現力の増した立体感の向上した画像の取得が可能となる。

第１の実施形態は、計算コストのかかる勾配成分からの画像生成処理であるステップＳ１４およびステップＳ１５を、分離成分の処理であるステップＳ１６の前に実行する。これにより、処理係数αを変更した場合でも、ステップＳ１４およびステップＳ１５を処理することなくステップＳ１７へ進むことができる。このため、処理係数変更時の計算コストを小さくできる。第２の実施形態は、合成勾配成分から出力画像を生成するため、より自然なグラデーションを持つ画像が取得できる。

これまでの実施形態では画像の立体感を処理する手順を示したが、動画のフレームを処理することで動画を処理することもできる。また、右目用と左目用の２枚の画像を持つ３次元画像コンテンツのそれぞれの画像を処理することで、立体感の向上した３次元画像を生成することができる。また、ディスプレイから複数の視点に視差のついた画像を表示して３次元画像を表示するシステムについても、各画像を処理することで立体感の向上した３次元画像を生成できる。

以上説明したとおり、第１および第２の実施形態によれば、奥行感の増した、立体感のある画像の生成が可能となる。

次に、第１または第２の実施形態に係わる画像処理装置のハードウェア構成について図１０を用いて説明する。図１０は、第１または第２の実施形態に係わる画像処理装置のハードウェア構成を示す説明図である。

第１または第２の実施形態に係わる画像処理装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、ＨＤＤ（Hard Disk Drive）、ＣＤ（Compact Disc）ドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置と、各部を接続するバス６１を備えており、通常のコンピュータを利用したハードウェア構成となっている。

第１または第２の実施形態に係わる画像処理装置で実行される画像処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。

また、第１または第２の実施形態に係わる画像処理装置で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１または第２の実施形態に係わる画像処理装置で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

また、第１または第２の実施形態の画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

第１または第２の実施形態に係わる画像処理装置で実行される画像処理プログラムは、上述した各部（取得部、算出部、分離部、処理部、合成部等）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５１（プロセッサ）が上記記憶媒体から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した各部が主記憶装置上に生成されるようになっている。

なお、本実施形態は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００、１００−２、２００ 画像処理装置
１０１ 取得部
１０２ 算出部
１０３、２０３ 分離部
１０４、２０４ 処理部
１０５、２０５ 合成部
２０６ 生成部

Claims (7)

1. 入力画像に撮像されている被写体の奥行値を取得する取得部と、
   前記入力画像を、グラデーションを含む成分である第１成分と、前記第１成分以外の成分である第２成分とに分離する分離部と、
   前記第１成分を前記奥行値に応じた強さで強調した処理済成分を生成する処理部と、
   前記処理済成分と、前記第２成分とを合成した合成成分を生成する合成部と、
   を備えることを特徴とする画像処理装置。
2. 前記処理部は、予め定められた基準値と前記奥行値との差分が小さいほど、前記第１成分を強調する量を大きくすること、
   を特徴とする請求項１に記載の画像処理装置。
3. 前記基準値は、前記奥行値の取りうる値のうち最も手前を表す値であること、
   を特徴とする請求項２に記載の画像処理装置。
4. 前記入力画像の画素値の勾配を算出する算出部をさらに備え、
   前記分離部は、前記入力画像を、前記勾配が閾値以下である前記第１成分と、前記勾配が前記閾値より大きい前記第２成分と、に分離すること、
   を特徴とする請求項１に記載の画像処理装置。
5. 前記分離部は、算出された前記勾配を、前記閾値以下の前記勾配である第１勾配と前記閾値より大きい前記勾配である第２勾配とに分離し、前記第１勾配を画素値の勾配として有する前記第１成分を生成し、前記第２勾配を画素値の勾配として有する前記第２成分を生成すること、
   を特徴とする請求項４に記載の画像処理装置。
6. 前記分離部は、算出された前記勾配を、前記閾値以下の前記勾配である前記第１成分と、前記閾値より大きい前記勾配である前記第２成分とに分離し、
   前記合成成分を画素値の勾配として有する画像を生成する生成部をさらに備えること、
   を特徴とする請求項４に記載の画像処理装置。
7. 前記分離部は、前記奥行値が手前を表すほど小さい値である閾値を用いて、前記入力画像を前記第１成分と前記第２成分とに分離すること、
   を特徴とする請求項４に記載の画像処理装置。

Images