JP2013172214A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】２次元画像から局所的および大局的な奥行き推定を行い、これらを統合した高精度な推定奥行き値を適用した３Ｄ画像を生成する装置、方法を提供する。
【解決手段】２次元画像の部分領域単位の特徴に基づく局所的奥行きマップ情報と、画像全体の特徴に基づく大局的奥行きマップ情報を生成し、さらに、局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、大局的奥行きマップ情報のＡＣ成分とＤＣ成分の各成分信号を生成し、局所的奥行き感の強調度合いを制御する局所的奥行き強調制御信号に従って、これら各成分信号を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する。さらに、これらをＡＣＤＣ成分を統合した統合奥行きマップ情報を生成し、統合奥行きマップ情報を適用して、２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する。
【選択図】図１

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ステレオ視（立体視）可能な３次元画像（３Ｄ画像）の生成を行う画像処理装置、および画像処理方法、並びにプログラムに関する。

奥行きを持つ立体画像として視覚可能なステレオ視（立体視）に対応した画像は、異なる視点からの画像である左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）の２つの画像の組み合わせによって構成される。これらの２つの視点からの画像、すなわち両眼視差画像を得るためには、例えば２つの撮像装置を左右に離間させて配置して撮像することが行われる。

撮像された一対のステレオ画像は、
左側の撮像装置で撮像し、左眼で観察する左眼用画像（Ｌ画像）と、
右側の撮像装置で撮像し、右眼で観察する右眼用画像（Ｒ画像）と、
のペア画像によって構成される。

左眼用画像と右眼用画像のペアによって構成されるステレオ画像対を、左眼用画像と右眼用画像をそれぞれ分離して観察者の左眼と右眼に提示できる表示装置に表示することで、観察者は画像を立体画像として知覚することができる。

一方、１つの視点から撮影された通常の２次元（２Ｄ）画像を利用して、ステレオ視（立体視）に対応した左眼用画像と右眼用画像からなる両眼視差画像としての３次元（３Ｄ）画像を生成する構成についても従来から様々な提案がなされている。

これは、近年３次元（３Ｄ）表示可能な表示装置として液晶ディスプレイやプラズマディスプレイ（ＰＤＰ）が普及する一方で、これらの３Ｄ表示装置に表示するための３Ｄコンテンツが不足しているという現状に対応するものであり、通常の２次元（２Ｄ）画像信号を疑似的に３次元（３Ｄ）画像信号に変換する技術（以後、２Ｄ３Ｄ変換）により３Ｄコンテンツの不足を補うものとして期待されている。

この２Ｄ３Ｄ変換は、通常の２Ｄ画像信号から奥行き情報を推定する必要があるが、たとえば、特許文献１（特開平１１−９８５３１号公報）では、背景の大局的な奥行き情報を、外部から受信、または予め設定された情報を選択、または動き情報により求めると記載している。しかし、実際に画像情報のみから背景の大局的な奥行きを求めるのは、動き情報を利用する場合だけであり、この場合、静止シーンには、適用不可となる。

また、複数の異なる画像解析結果等を総合的に利用して奥行きを推定する処理についても提案されているが、この複数の奥行き情報を統合する際、予め設定された重み係数による加重平均を利用している。
例えば、画像シーン、例えばポートレート、風景などの様々なシーンの背景の大局的な奥行き構造などについては考慮せず、遠くの領域と近くの領域で、一律に同じ重みで大局的な奥行き情報と局所的な奥行き情報を加重平均している。このような処理を行うと、奥行き感が不自然になる可能性がある。

また、特許文献２（特開２００５−１５１５３４号公報）では、色情報（赤）による局所的な奥行き信号を生成する構成を開示している。
しかし、この文献に記載の構成は、単純にＲ信号に係数を乗じて、大局的な奥行き信号に重畳するのみの処理であり、大局的な奥行き分布の性質を考慮していないため、副作用が目立ちやすくなるといった傾向がある。

また、非特許文献１［"Ｄｅｐｔｈ ｍａｐ ｇｅｎｅｒａｔｉｏｎ ｂｙ ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ，"Ｓ．Ｂａｔｔｉａｔｏ， Ｓ．Ｃｕｒｔｉ， Ｍ．Ｌａ Ｃａｓｃｉａ， Ｍ．Ｔｏｒｔｏｒａ， Ｅ．Ｓｃｏｒｄａｔｏ Ｐｒｏｃ． ＳＰＩＥ ５３０２，９５ （２００４）］には、シーン分類結果によるハードスイッチ的な処理による奥行き推定処理を開示している。しかし、この手法は、動画での時間変動が目立つといった副作用の発生や、局所的な凸凹感と大局的な奥行きの広がり感の両立が難しいといった傾向がある。

特開平１１−９８５３１号公報 特開２００５−１５１５３４号公報

"Ｄｅｐｔｈ ｍａｐ ｇｅｎｅｒａｔｉｏｎ ｂｙ ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ，"Ｓ．Ｂａｔｔｉａｔｏ， Ｓ．Ｃｕｒｔｉ， Ｍ．Ｌａ Ｃａｓｃｉａ， Ｍ．Ｔｏｒｔｏｒａ， Ｅ．Ｓｃｏｒｄａｔｏ Ｐｒｏｃ． ＳＰＩＥ ５３０２，９５ （２００４）

本開示は、例えば上記の問題に鑑みてなされたものであり、通常の２次元（２Ｄ）画像信号を疑似的に３次元（３Ｄ）画像信号に変換する処理において、不自然な奥行き感を抑制した画像変換を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

例えば、本開示の一実施例では、局所的な奥行きマップ情報と大局的な奥行きマップ情報の異なる性質をもった奥行きマップ情報を統合する際に発生する問題点を解決することに主眼を置いている。

従来から、局所的な奥行きマップ情報と大局的な奥行きマップ情報を加重平均で統合する処理については提案されているが、この重み係数が予め設定された固定の重み係数である場合が多い。従って、シーンによっては不自然な奥行き感になることがある。

また、従来技術においては、背景の大局的な奥行き構造などが考慮されておらず、遠くの領域と近くの領域で一律に同じ重みで加重平均を行うのが一般的である。このような一律の加重平均処理行うと、遠近の奥行き感が不自然になるといった問題が発生する。

本開示は、例えば上述の実情を鑑みて提供されるものであって、シーンの構図タイプを判定し、その判定結果に応じて局所的な奥行きと大局的な奥行きのそれぞれの重みを制御し、さらに背景の大局的な奥行きの内部構造を考慮して局所的な奥行き情報を推定することで、より高精度に奥行き情報を推定するものである。また、シーンの構図タイプを判定する際、判定結果の信頼度情報を生成し、この信頼度情報を用いて奥行きマップ情報を補正し、３Ｄ画像信号の視差分布を制御することで、副作用の少ない自然な奥行感を感じさせる３Ｄ画像を生成する。

本開示の第１の側面は、
２次元画像の部分領域単位の特徴に基づいて部分領域単位の奥行きを推定し、部分領域単位の奥行き推定情報である局所的奥行きマップ情報を生成する局所的奥行きマップ情報推定部と、
２次元画像の画像全体の特徴に基づいて画像全体単位の奥行きを推定し、画像全体単位の奥行き推定情報である大局的奥行きマップ情報を生成する大局的奥行きマップ情報推定部と、
前記局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、前記大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成するＡＣ−ＤＣ成分制御部と、
前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分に基づいて、統合奥行きマップ情報を生成する統合奥行きマップ情報生成部と、
前記統合奥行きマップ情報を適用して、前記２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する３Ｄ画像生成部を有し、
前記大局的奥行きマップ情報推定部は、
前記大局的奥行きマップ情報に併せて、前記大局的奥行きマップ情報に応じた局所的奥行き感の強調度合いを制御する局所的奥行き強調制御信号を生成して出力し、
前記ＡＣ−ＤＣ成分制御部は、
前記局所的奥行き強調制御信号に基づいて、前記局所的奥行きマップ情報と前記大局的奥行きマップ情報の寄与率を制御して前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する構成である画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記大局的奥行きマップ情報推定部は、大局的奥行きを示す複数のシーン構図タイプから、画面全体の特徴量に応じて選択したシーン構図タイプを大局的奥行きマップ情報とする。

さらに、本開示の画像処理装置の一実施態様において、前記局所的奥行きマップ情報推定部は、複数の異なる特徴量に応じた複数の奥行き情報を信頼度に応じて統合して前記局所的奥行きマップ情報を生成し、前記大局的奥行きマップ情報推定部は、複数の異なる特徴量に応じた複数の奥行き情報を信頼度に応じて統合して前記大局的奥行きマップ情報を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記局所的奥行きマップ情報推定部は、前記部分領域単位の特徴として、空間周波数、色、明るさ、コントラスト、動き情報の少なくともいずれかの特徴に基づく奥行き推定を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記大局的奥行きマップ情報推定部は、前記画像全体の特徴として、エッジ、色、明るさ、空間周波数、コントラスト、動き情報の少なくともいずれかの特徴に基づく奥行き推定を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記局所的奥行きマップ情報推定部の生成した局所的奥行きマップ情報を信頼度に応じて補正する局所的奥行きマップ情報補正部と、前記大局的奥行きマップ情報推定部の生成した大局的奥行きマップ情報を信頼度に応じて補正する大局的奥行きマップ情報補正部を有し、前記ＡＣ−ＤＣ成分制御部は、補正後の局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、補正後の大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記局所的奥行きマップ情報補正部、および前記大局的奥行きマップ情報補正部は、奥行きマップ情報の信頼度が低い場合、奥行きマップ情報のダイナミックレンジを狭め、信頼度が高い場合には広げる補正処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記ＡＣ−ＤＣ成分制御部は、奥行きマップ情報で表現される奥側、手前側の、どちらか一方または両方で、奥行きマップ情報の設定値のクリップ処理が発生しないように、前記局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、前記大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記ＡＣ−ＤＣ成分制御部は、外部ブロックからの制御信号を適用して、前記制御統合奥行きマップＡＣ成分、または前記制御統合奥行きマップＤＣ成分を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記外部ブロックからの制御信号は、ノイズ量計測結果、信号帯域計測結果、顔検出結果、テロップ検出結果、ＥＰＧ情報、カメラ撮影情報、動き検出結果、ユーザ嗜好情報の少なくともいずれかを含む。

さらに、本開示の画像処理装置の一実施態様において、前記ＡＣ−ＤＣ成分制御部は、前記局所的奥行きマップ情報のＡＣ成分に対する前記局所的奥行き強調制御信号に応じたゲイン制御によって生成した局所的ＡＣ成分と、前記大局的奥行きマップ情報のＡＣ成分に対する前記局所的奥行き強調制御信号に応じたゲイン制御によって生成した大局的ＡＣ成分との加算処理により、制御統合奥行きマップＡＣ成分を生成し、
前記局所的奥行きマップ情報のＤＣ成分と、前記大局的奥行きマップ情報のＤＣ成分を前記局所的奥行き強調制御信号に応じて加算して前記制御統合奥行きマップＤＣ成分を生成する。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
局所的奥行きマップ情報推定部において、２次元画像の部分領域単位の特徴に基づいて部分領域単位の奥行きを推定し、部分領域単位の奥行き推定情報である局所的奥行きマップ情報を生成する局所的奥行きマップ情報推定処理と、
大局的奥行きマップ情報推定部において、２次元画像の画像全体の特徴に基づいて画像全体単位の奥行きを推定し、画像全体単位の奥行き推定情報である大局的奥行きマップ情報を生成する大局的奥行きマップ情報推定処理と、
ＡＣ−ＤＣ成分制御部において、前記局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、前記大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成するＡＣ−ＤＣ成分制御処理と、
統合奥行きマップ情報生成部において、前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分に基づいて、統合奥行きマップ情報を生成する統合奥行きマップ情報生成処理と、
３Ｄ画像生成部において、前記統合奥行きマップ情報を適用して、前記２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する３Ｄ画像生成処理を実行し、
前記大局的奥行きマップ情報推定処理において、
前記大局的奥行きマップ情報に併せて、前記大局的奥行きマップ情報に応じた局所的奥行き感の強調度合いを制御する局所的奥行き強調制御信号を生成して出力し、
前記ＡＣ−ＤＣ成分制御処理は、
前記局所的奥行き強調制御信号に基づいて、前記局所的奥行きマップ情報と前記大局的奥行きマップ情報の寄与率を制御して前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
局所的奥行きマップ情報推定部において、２次元画像の部分領域単位の特徴に基づいて部分領域単位の奥行きを推定し、部分領域単位の奥行き推定情報である局所的奥行きマップ情報を生成する局所的奥行きマップ情報推定処理と、
大局的奥行きマップ情報推定部において、２次元画像の画像全体の特徴に基づいて画像全体単位の奥行きを推定し、画像全体単位の奥行き推定情報である大局的奥行きマップ情報を生成する大局的奥行きマップ情報推定処理と、
ＡＣ−ＤＣ成分制御部において、前記局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、前記大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成するＡＣ−ＤＣ成分制御処理と、
統合奥行きマップ情報生成部において、前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分に基づいて、統合奥行きマップ情報を生成する統合奥行きマップ情報生成処理と、
３Ｄ画像生成部において、前記統合奥行きマップ情報を適用して、前記２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する３Ｄ画像生成処理を実行させ、
前記大局的奥行きマップ情報推定処理において、
前記大局的奥行きマップ情報に併せて、前記大局的奥行きマップ情報に応じた局所的奥行き感の強調度合いを制御する局所的奥行き強調制御信号を生成して出力させ、
前記ＡＣ−ＤＣ成分制御処理において、
前記局所的奥行き強調制御信号に基づいて、前記局所的奥行きマップ情報と前記大局的奥行きマップ情報の寄与率を制御して前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、２次元画像から局所的および大局的な奥行き推定を行い、これらを統合した高精度な推定奥行き値を適用した３Ｄ画像を生成する装置、方法が実現される。
具体的には、２次元画像の部分領域単位の特徴に基づく局所的奥行きマップ情報と、画像全体の特徴に基づく大局的奥行きマップ情報を生成し、さらに、局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、大局的奥行きマップ情報のＡＣ成分とＤＣ成分の各成分信号を生成し、局所的奥行き感の強調度合いを制御する局所的奥行き強調制御信号に従って、これら各成分信号を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する。さらに、これらをＡＣＤＣ成分を統合した統合奥行きマップ情報を生成し、統合奥行きマップ情報を適用して、２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する。
この構成により、２次元画像から高精度な奥行き推定を行い、精度の高い奥行き値を適用した３Ｄ画像を生成する装置、方法が実現される。

本開示の画像処理装置の構成例について説明する図である。 本開示の画像処理装置の各構成要素の入出力データについて説明する図である。 本開示の画像処理装置の各構成要素の入出力データについて説明する図である。 本開示の画像処理装置における局所的奥行きマップ情報推定部の構成例を示す図である。 本開示の画像処理装置における局所的奥行きマップ情報推定部の処理について説明する図である。 本開示の画像処理装置における局所的奥行きマップ情報推定部の処理について説明する図である。 本開示の画像処理装置における局所的奥行きマップ情報推定部の処理について説明する図である。 本開示の画像処理装置における局所的奥行きマップ情報推定部の処理について説明する図である。 本開示の画像処理装置における大局的奥行きマップ情報推定部の構成例を示す図である。 本開示の画像処理装置における大局的奥行きマップ情報推定部の処理について説明する図である。 本開示の画像処理装置における局所的奥行きマップ情報補正部の構成例と処理例について説明する図である。 本開示の画像処理装置における局所的奥行きマップ情報補正部の構成例と処理例について説明する図である。 本開示の画像処理装置における局所的奥行きマップ情報補正部の構成例と処理例について説明する図である。 本開示の画像処理装置における奥行きマップ情報ＡＣ−ＤＣ分離部の構成例と処理について説明する図である。 本開示の画像処理装置におけるＡＣ−ＤＣ成分制御部の構成例と処理について説明する図である。 本開示の画像処理装置におけるＡＣ−ＤＣ成分制御部の処理について説明する図である。 本開示の画像処理装置におけるＡＣ−ＤＣ成分制御部の処理について説明する図である。 本開示の画像処理装置におけるＡＣ−ＤＣ成分制御部の処理について説明する図である。 本開示の画像処理装置におけるＡＣ−ＤＣ成分制御部の処理について説明する図である。 本開示の画像処理装置における統合奥行きマップ情報生成部の構成例と処理について説明する図である。 本開示の画像処理装置の構成例について説明する図である。 本開示の画像処理装置の各構成要素の入出力データについて説明する図である。 本開示の画像処理装置の各構成要素の入出力データについて説明する図である。 本開示の画像処理装置におけるＡＣ−ＤＣ成分制御部の構成例と処理について説明する図である。 本開示の画像処理装置におけるＡＣ−ＤＣ成分制御部の構成例と処理について説明する図である。 本開示の画像処理装置におけるＡＣ−ＤＣ成分制御部の構成例と処理について説明する図である。 本開示の画像処理装置におけるＡＣ−ＤＣ成分制御部の構成例と処理について説明する図である。 本開示の画像処理装置の構成例について説明する図である。 本開示の画像処理装置の各構成要素の入出力データについて説明する図である。 本開示の画像処理装置の各構成要素の入出力データについて説明する図である。 本開示の画像処理装置におけるＡＣ−ＤＣ成分制御部の構成例と処理について説明する図である。 本開示の画像処理装置におけるＡＣ−ＤＣ成分制御部の構成例と処理について説明する図である。 本開示の画像処理装置におけるＡＣ−ＤＣ成分制御部の構成例と処理について説明する図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．本開示の画像処理装置（第１実施形態）の全体構成と処理の概要について
２．局所的奥行きマップ情報推定部の構成と処理について
３．大局的奥行きマップ情報推定部の構成と処理について
４．局所的奥行きマップ情報補正部の構成と処理について
５．大局的奥行きマップ情報補正部の構成と処理について
６．奥行きマップ情報ＡＣ−ＤＣ分離部の構成と処理について
７．ＡＣ−ＤＣ成分制御部の構成と処理について
８．統合奥行きマップ情報生成部の構成と処理について
９．３Ｄ画像生成部の構成と処理について
１０．本開示の画像処理装置の第２実施形態の構成と処理について
１１．本開示の画像処理装置の第３実施形態の構成と処理について
１２．本開示の画像処理装置の第４実施形態の構成と処理について
１３．本開示の画像処理装置の第５実施形態の構成と処理について
１４．本開示の画像処理装置のまとめ
１５．本開示の構成のまとめ

［１．本開示の画像処理装置（第１実施形態）の全体構成と処理の概要について］
図１は本開示の第１実施形態に係る画像処理装置の一実施例のブロック図である。
図１に示す画像処理装置１００は、以下の構成を有する。
局所的奥行きマップ情報推定部１１１、局所的奥行きマップ情報補正部１１２、局所的奥行きマップ情報ＡＣ−ＤＣ分離部１１３、
大局的奥行きマップ情報推定部１２１、大局的奥行きマップ情報補正部１２２、大局的奥行きマップ情報ＡＣ−ＤＣ分離部１２３、
ＡＣ，ＤＶ成分制御部１３１、統合奥行きマップ情報生成部１３２、３Ｄ画像生成部１３３を有する。

図１に示す画像処理装置１００は、２次元（２Ｄ）画像信号５０を入力し、入力した１枚の２次元（２Ｄ）画像信号５０に基づいて３次元（３Ｄ）画像表示用の左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）からなる３Ｄ画像信号７０を生成して出力する。
本実施形態の画像処理装置１００は、１枚の２次元（２Ｄ）画像信号５０の画像変換によって、疑似的な３Ｄ画像信号７０を生成する画像信号処理を行う。
２次元（２Ｄ）画像信号の画像変換による３Ｄ画像信号の生成処理を、以下２Ｄ３Ｄ変換と呼ぶ。２Ｄ３Ｄ変換処理については、様々な技術が知られており、例えば２次元（２Ｄ）画像信号の解析処理によって画素領域単位の奥行き情報である奥行きマップ情報を利用して、視差を設定した３次元（３Ｄ）画像表示用の左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）からなる３Ｄ画像信号を生成する処理が知られている。

本開示の画像処理装置においても、奥行きマップ情報を利用して３Ｄ画像信号を生成する。本開示の画像処理装置は、奥行きマップ情報の生成処理に１つの特徴を有する。
なお、以後の説明における奥行きマップ情報の値は、大きいほど手前、小さいほど奥として表わされることを仮定している。

例えば、奥行き値を輝度情報として表現した奥行きマップ情報（デプスマップともよばれる）を生成する場合、画素単位で奥行きに応じて、例えば０〜２５５等の輝度値が設定される。
奥行きが、手前（近い）〜奥（遠い）に応じて、画素値は２５５（明るい）〜０（暗い）の各値に設定される。
このように、奥行きマップ情報は、画像を構成する画素単位で奥行きを示す値を持つ情報である。

図１に示す画像処理装置１００の各構成部の実行する処理の概要と処理の流れ、および入出力データについて、まず、図２、図３を参照して説明する。
なお、各構成部の構成と処理の詳細については、後段で、順次説明する。

図２に示すように、局所的奥行きマップ情報推定部１１１は、入力された２Ｄ画像信号５０に対して、画像の部分領域（局所領域）の特徴に基づく奥行き推定処理を実行し、局所的奥行きマップ情報２１１と、その推定結果に対応する局所的奥行きマップ信頼度情報２１２を出力する。

なお、画像の部分領域（局所領域）とは、例えばｎ×ｎ画素領域（ｎ＝５，７，９，等）の画素領域であり、予め設定された大きさを有する領域である。
局所的奥行きマップ情報推定部１１１は、２Ｄ画像信号５０の部分領域（局所領域）単位の特徴に基づく部分領域単位の奥行き推定処理を実行し、局所的奥行きマップ情報２１１と、この局所的奥行きマップ情報２１１に設定された奥行き値の信頼度を示す局所的奥行きマップ信頼度情報２１２を生成して出力する。
これらの具体的な処理については後述する。

同様に、大局的奥行きマップ情報推定部１２１は、入力された２Ｄ画像信号５０に対して、画像全体の特徴に基づく奥行き推定処理を画像全体を単位として実行し、大局的奥行きマップ情報２２１と、大局的奥行きマップ情報２２１に設定された奥行き値の信頼度を示す大局的奥行きマップ信頼度情報２２２を生成して出力する。

局所的奥行きマップ情報補正部１１２は、局所的奥行きマップ情報推定部１１１の生成した局所的奥行きマップ信頼度情報２１２に基づいて、局所的奥行きマップ情報２１１を補正し、補正局所的奥行きマップ情報２１３を生成する。
同様に、大局的奥行きマップ情報補正部１２２は、大局的奥行きマップ情報推定部１２１の生成した大局的奥行きマップ信頼度情報２２２に基づいて、大局的奥行きマップ情報２２１を補正し、補正大局的奥行きマップ情報２２３を生成する。

さらに、局所的奥行きマップ情報ＡＣ−ＤＣ分離部１１３は、局所的奥行きマップ情報補正部１１２の生成した補正局所的奥行きマップ情報２１３に設定された奥行値（例えば画素単位の輝度値０〜２５５）の信号をＡＣ成分とＤＣ成分に分離し、局所的奥行きマップＡＣ成分２１４と、局所的奥行きマップＤＣ成分２１５を生成して出力する。

同様に大局的奥行きマップ情報ＡＣ−ＤＣ分離部１２３は、大局的奥行きマップ情報補正部１２２の生成した補正大局的奥行きマップ情報２２３に設定された奥行値（例えば画素単位の輝度値０〜２５５）の信号をＡＣ成分とＤＣ成分に分離し、大局的奥行きマップＡＣ成分２２４と、大局的奥行きマップＤＣ成分２２５を生成して出力する。

ＡＣ−ＤＣ成分制御部１３１は、図２、図３に示すように、
局所的奥行きマップ情報ＡＣ−ＤＣ分離部１１３から、局所的奥行きマップＡＣ成分２１４と、局所的奥行きマップＤＣ成分２１５、
大局的奥行きマップ情報ＡＣ−ＤＣ分離部１２３から、大局的奥行きマップＡＣ成分２２４と、大局的奥行きマップＤＣ成分２２５、
これらの信号を入力する。
さらに、
大局的奥行きマップ情報推定部１２１から出力される局所的奥行き強調制御信号２２６と、大局的奥行きマップ情報２２１、
外部ブロックからの制御信号２３０、
これらの各信号を入力する。

ＡＣ−ＤＣ成分制御部１３１は、これらの情報に基づいて、制御統合奥行きマップＡＣ成分２３１、制御統合奥行きマップＤＣ成分２３２を生成して出力する。

統合奥行きマップ情報生成部１３２は、ＡＣ−ＤＣ成分制御部１３１の生成した制御統合奥行きマップＡＣ成分２３１、制御統合奥行きマップＤＣ成分２３２を加算し、最終的な統合奥行きマップ情報２３３を生成して出力する。

３Ｄ画像生成部１３３は、統合奥行きマップ情報生成部１３２の生成した統合奥行きマップ情報２３３に基づいて、入力された２Ｄ画像信号５０から３Ｄ画像表示に適用するＬＲ画像によって構成される３Ｄ画像７０を生成して出力する。
以下、画像処理装置１００の各構成部の詳細構成と処理の詳細について、順次説明する。

［２．局所的奥行きマップ情報推定部の構成と処理について］
まず、局所的奥行きマップ情報推定部１１１の構成と処理について説明する。
図４は、局所的奥行きマップ情報推定部１１１の詳細構成を示す図である。
局所的奥行きマップ情報推定部１１１は、複数の部分領域画像特徴抽出部として、部分領域画像特徴０抽出部３０１−０〜部分領域画像特徴Ｎ抽出部３０１−Ｎを有する。
これらＮ＋１個の部分領域画像特徴抽出部ではそれぞれ異なる画像特徴量（特徴０〜特徴Ｎ）の抽出を部分領域（局所領域単位）で行う。
画像特徴量とは、例えば、空間周波数、色、明るさ、コントラスト、動きなどの特徴量である。Ｎ＋１個の部分領域画像特徴抽出部では、例えばこれらの様々な特徴量のいずれかについて、それぞれ異なる画像特徴量（特徴０〜特徴Ｎ）の抽出を入力２Ｄ画像５０の部分領域（局所領域単位）で行う。

部分領域画像特徴０抽出部３０１−０は、入力された２Ｄ画像信号５０の部分領域単位の画像解析を行い、部分領域単位の画像特徴量（特徴０）を抽出し、部分領域画像特徴信号３１１−０を出力する。
同様に、部分領域画像特徴１抽出部３０１−１は、上記の部分領域画像特徴０抽出部３０１−０で抽出した特徴量とは異なる画像特徴量（特徴１）を抽出し、部分領域画像特徴信号３１１−１として出力する。以後、同様に、部分領域画像特徴Ｎ抽出部３０１−Ｎまで、全部で（Ｎ＋１）個のそれぞれ異なる画像特徴量（特徴０〜Ｎ）を抽出して、それに対応する部分領域画像特徴信号３１１−０〜Ｎを出力する。

特徴０−局所的奥行き情報変換部３０２−０は、部分領域画像特徴信号３１１−０を入力し、特徴０に基づいて推定した２Ｄ画像５０の各画素単位の奥行き値を設定した特徴０ベース局所的奥行き情報３１２−０ａと、この特徴０ベース局所的奥行き情報３１２−０ａに設定された奥行値の信頼度を示す特徴０ベース局所的奥行き信頼度３１２−ｂを出力する。

各特徴対応の局所的奥行き情報変換部３０２−１〜Ｎにおいても、同様に種々の特徴量に基づいた奥行き情報とその信頼度情報を生成して出力する。
なお、前述したように、特徴量には、空間周波数、色、明るさ、コントラスト、動き情報などである。
各特徴対応の局所的奥行き情報変換部３０２−０〜Ｎは、例えば空間周波数、色、明るさ、コントラスト、動き情報などの特徴量に基づいて部分領域（局所領域）単位の奥行き値を算出し、さらに、その奥行き値の信頼度情報を生成して出力する。なお、信頼度情報は、例えば各特徴量に応じて予め設定した信頼度を用いてもよいし、各特徴量の取得態様に応じて予め設定した信頼度を用いる当、様々な設定が可能である。

以下、各種の特徴量に応じた奥行き値の推定処理例について説明する。
まず、空間周波数を特徴量として用いた奥行き値の推定処理例について図５を参照して説明する。
例えば、部分領域の画像信号を構成している空間周波数の信号帯域を解析する。
例えば、部分領域の画像信号を構成している空間周波数の信号帯域が狭い場合、部分領域の画像信号のスペクトル強度は図５（Ａ）に示す分布となる。
また、部分領域の画像信号を構成している空間周波数の信号帯域が広い場合、部分領域の画像信号のスペクトル強度は図５（Ｂ）に示す分布となる。
図５（Ａ），（Ｂ）は横軸が周波数（０〜πに正規化）、縦軸がスペクトル強度を示すグラフである。

部分領域の画像信号を構成している空間周波数の信号帯域の広さが図５（Ａ）、図５（Ｂ）のように、狭い場合と広い場合を区別するような指標（例えば、分散値）を用いて、信号帯域の広さに応じた奥行き値を設定する。
具体的には、図５（Ｃ）に示すように、部分領域（局所領域）の信号帯域が狭い領域は、その部分領域（局所領域）の奥行き値を奥（遠い）の値を示す奥行き値とし、部分領域（局所領域）の信号帯域が広いほど、その部分領域（局所領域）の奥行き値を手前（近い）の値を示す奥行き値に設定する。

次に、部分領域の色を特徴量として用いる場合の奥行き値の推定処理例について説明する。
赤や黄、橙などの高明度色や暖色系の色は、進出色と呼ばれ、視界から前方に接近してくるような印象をあたえる。この傾向に従い、部分領域の色が暖色系の色である場合は、その部分領域（局所領域）の奥行き値を手前（近い）の値を示す奥行き値に設定する。
一方、青や緑などの低明度色や寒色系の色は後退色と呼ばれ、視界から後方へ引っ込んでいるような印象を与える。この傾向に従い、部分領域の色が寒色系の色である場合は、その部分領域（局所領域）の奥行き値を奥（遠い）の値を示す奥行き値に設定する。

具体的には、図６（Ａ）に示すように、赤っぽい（Ｒ信号：大Ｂ信号：小）ほど、局所的奥行き情報を大きく（手前に）、青っぽい（Ｒ信号：小Ｂ信号：大）ほど、局所的奥行き情報が小さく（奥に）なるような値を設定する。

さらに、特徴量として明るさを用いる場合の奥行き値の推定処理例について説明する。
一般的には、陰影などの影響で図６（Ｂ）のように、輝度信号などを調べて明るいところは手前、暗い所は、奥となるように局所的奥行き情報を設定する。

さらに、特徴量としてコントラストを用いる場合の奥行き値の推定処理例について説明する。
コントラストの場合は、図７（Ａ）に示す２つの画像のように、背景に対して、コントラストが高い部分ほど、手前に見える傾向があることが知られている。
したがって、図７（Ｂ）のグラフのようにコントラストが高いほど、局所的奥行き情報が大きく（手前に）なるような値を設定する。

最後に、図８（Ａ）に示す画像のように、例えば、電車の窓から外の風景を見たようなシーンでは、見かけ動きが遅いほど遠くに、近いほど見かけの動きが速くみえる傾向がある。このため、図８（Ｂ）に示すグラフのように、動き量として動きベクトルの大きさを用い、これが大きいほど、局所的奥行き情報が大きく（手前に）なるような値を設定する。

図４に戻り、局所的奥行きマップ情報推定部１１１の構成と処理についての説明を続ける。
上述したように、特徴０−局所的奥行き情報変換部３０２−１〜Ｎは、種々の特徴量に基づいた奥行き情報とその信頼度情報を生成して出力する。
局所的奥行き統合部３０３は、特徴０−局所的奥行き情報変換部３０２−１〜Ｎから出力される各特徴量に基づいて推定された各特徴ベース局所的奥行き情報３１２−０ａ〜Ｎａと、これらの各奥行き情報の信頼度を示す各特徴ベース局所的奥行き信頼度３１２−０ｂ〜Ｎｂを入力し、これらの各情報を用いて、局所的奥行きマップ情報２１１と、局所的奥行きマップ信頼度情報２１２を生成して出力する。

なお、局所的奥行きマップ情報２１１の求め方は、例えば、各特徴量に基づいた局所的奥行き信頼度を重みとした各特徴量に基づいて推定された局所的奥行き情報の加重平均、または各特徴量に基づいた局所的奥行き信頼度の大きさを考慮した各特徴量に基づいて推定された局所的奥行き情報に対する順序統計フィルタなど、種々の処理の適用が可能である。

また、局所的奥行きマップ信頼度情報２１２は、各特徴量に基づいた局所的奥行き信頼度の加重平均、最大値、順序統計フィルタの出力値など種々の処理を用いることができる。なお、上記のＮは、０以上の整数である。

［３．大局的奥行きマップ情報推定部の構成と処理について］
次に、図１〜図３に示す画像処理装置１００の大局的奥行きマップ情報推定部１２１の構成と処理について説明する。
大局的奥行きマップ情報推定部１２１の構成例を図９に示す。
大局的奥行きマップ情報推定部１２１は、複数の全画面特徴抽出部として、全画面０特徴抽出部３２１−０〜全画面特徴Ｎ抽出部３２１−Ｎを有する。
これらＮ＋１個の全画面特徴抽出部ではそれぞれ異なる画像特徴量（特徴０〜特徴Ｎ）の抽出を全画面単位で行う。
画像特徴量とは、例えば、空間周波数、色、明るさ、コントラスト、動きなどの特徴量である。Ｎ＋１個の部分領域画像特徴抽出部では、例えばこれらの様々な特徴量のいずれかについて、それぞれ異なる画像特徴量（特徴０〜特徴Ｎ）の抽出を入力する２Ｄ画像５０の全画面単位で行う。

全画面像特徴０抽出部３２１−０は、入力された２Ｄ画像信号５０の画面全体の画像解析を行い、全画面単位の画像特徴量（特徴０）を抽出し、全画面特徴信号３３１−０を出力する。
同様に、全画面特徴１抽出部３２１−１は、上記の全画面特徴０抽出部３２１−０で抽出した特徴とは異なる画面全体のある特徴量を抽出し、全画面特徴信号３３１−１を出力する。
以下、同様に、全画面特徴Ｎ抽出部３２１−Ｎまで、全部で（Ｎ＋１）個のそれぞれ異なる画面全体の特徴量を抽出して、それに対応する全画面特徴情報を出力する。

なお、全画面の特徴量としては、エッジ、色、明るさ、空間周波数、コントラスト、動きなどの特徴量が利用可能であり、全画面特徴０抽出部３２１−０〜全画面特徴Ｎ抽出部３２１−Ｎでは、これらの様々な特徴量の抽出を行う、
たとえば、エッジ、空間周波数を使って求めた消失点、消失線（水平線）を全画面特徴情報として使用することが考えられる。さらに、色、明るさ、空間周波数などを使って、地面や空の領域を求め、その領域情報を全画面特徴情報として使用することも考えられる。また、カメラのパニングシーンなどのグローバルモーションを全画面特徴情報として求め、奥行きを反映したその情報から大局的奥行きモデルを設定することが考えられる。ただし、これらは、あくまでも一例であり、これら以外の様々な特徴量の抽出が可能である。

次に、大局的奥行きシーン構図タイプ判定部３２２は、（Ｎ＋１）個のそれぞれ異なる画面全体の特徴量３３１−０〜Ｎを入力し、これらの情報に基づいて、大局的奥行きを示すシーン構図タイプを判定する。すなわち、画像全体単位の奥行き設定を推定する。

具体的には、シーン構図タイプを０、１、、、Ｎの合計（Ｎ＋１）個に分類し、各シーン構図タイプに対応する大局的奥行きモデル情報３３２−０ａ〜Ｎａと、そのモデルに対するモデル分類信頼度３３２−０ｂ〜Ｎｂを設定して出力する。

大局的奥行きモデルの例を図１０に示す。ただし、これらは、あくまでも一例であり、本開示の装置において適用するモデルはこれらに限られるものではない。

大局的奥行きシーン構図タイプ判定部３２２の実行する処理ら、すなわち、画面全体の特徴量３３１−０〜Ｎを入力し、これらの情報に基づいて、大局的奥行きを示すシーン構図タイプを判定する処理の具体例について説明する。

具体的には、図１０（１）の奥行きモデルは、地平線のある風景シーン、図１０（２）は、画面中央部に消失点があるような市街地のシーン、さらに図１０（３）は、天井があるような屋内のシーンとして適用する例が考えられ、このようなシーンでは、全体の構図から受ける大局的な奥行き感が感じ取れやすいと言える。一方、図１０（４）の大局的奥行きモデルは、特に形状がついておらずフラットであり、背景の大局的な奥行き感よりも、局所的な奥行きによる凸凹感を強調した方が立体感を感じやすくなるシーンで適用される。このシーン例としては、被写界深度の浅いポートレートのようなシーンが当てはまり、ぼけている背景は、大局的な奥行き感が感じにくく、前景の被写体の凹凸感を強調した方が、シーン全体として奥行き感を向上させることができる。

大局的奥行きシーン構図タイプ判定部３２２は、画面全体の特徴量３３１−０〜Ｎに応じて、それぞれの特徴量に応じたＮ＋１個の大局的奥行きを示すシーン構図タイプを示す大局的奥行きモデル情報３３２−０ａ〜Ｎａと、そのモデルに対するモデル分類信頼度３３２−０ｂ〜Ｎｂを設定して出力する。

モデル分類信頼度３３２−０ｂ〜Ｎｂは、各大局的奥行きモデルに判定された分類結果に対する確からしさを示す値である。例えば、全画面特徴情報が消失点でＨｏｕｇｈ変換などで求める場合、画像中のエッジが対応する複数の直線の交点の密集度でもよいし、空領域、地面領域の場合、画面内の面積によって定義してもよい。また、ローカルなオプティカルフローの情報から求めたグローバルモーションの動きモデルによる近似度でもよいし、他の方法でもよい。

さらに、大局的奥行きシーン構図タイプ判定部３２２は、各モデル分類信頼度３３２−０ｂ〜Ｎｂの情報を考慮して、局所的奥行き強調制御信号２２６を生成して出力する。

この局所的奥行き強調制御信号２２６は、シーン構図タイプによって、局所的奥行き感の強調度合い（逆にいえば、大局的な奥行き感を弱める度合い）を制御するための信号である。
具体的には、例えば背景の大局的な奥行き感があまり感じとれにくいようなシーンに対しては、局所的奥行き強調制御信号２２６の値を大きくする設定とする。
一方、背景の大局的な奥行き感を感じやすいシーンに対しては、局所的奥行き強調制御信号２２６の値を小さくする設定とする。

局所的奥行き強調制御信号２２６の算出処理例について説明する。
一例として、図１０に示す４つの奥行きモデルを利用した処理例について説明する。
それぞれの奥行きモデルに対するモデル分類信頼度が以下のように設定されたとする。
図１０（１）の地平線のある風景シーンの奥行きモデルに対するモデル分類信頼度をＬａｎｄ＿Ｒｅｌ、
図１０（２）の画面中央部に消失点があるような市街地のシーンの奥行きモデルに対するモデル分類信頼度をＣｉｔｙ＿Ｒｅｌ、
図１０（３）の天井があるような屋内のシーンの奥行きモデルに対するモデル分類信頼度をＩｎｄｏｏｒ＿Ｒｅｌ、
図１０（４）の被写界深度の浅いポートレートのようなシーンに対するモデル分類信頼度をＰｏｒｔ＿Ｒｅｌ、
とする。

このような設定において、大局的奥行きシーン構図タイプ判定部３２２は、局所的奥行き強調制御信号（ＬｄｅｐｔｈＥｎｈ）を以下の（式Ａ）を適用して算出する。
なお、各モデル分類信頼度の値は、０．０〜１．０に正規化されているものとする。
ＬｄｅｐｔｈＥｎｈ＝（１．０−Ｌａｎｄ＿Ｒｅｌ）×（１．０−Ｃｉｔｙ＿Ｒｅｌ）×（１．０−Ｉｎｄｏｏｒ＿Ｒｅｌ）×Ｐｏｒｔ＿Ｒｅｌ
・・・・・（式Ａ）

なお、局所的奥行き強調制御信号（ＬｄｅｐｔｈＥｎｈ）は、上記（式Ａ）による算出処理以外にも様々な算出処理が可能である。例えば、以下の（式Ｂ）で算出してもよい。
Ｇｌｏｂａｌ＿Ｒｅｌ＝Ｍａｘ（Ｌａｎｄ＿Ｒｅｌ，Ｃｉｔｙ＿Ｒｅｌ，Ｉｎｄｏｏｒ＿Ｒｅｌ）
ＬｄｅｐｔｈＥｎｈ＝（１．０−Ｇｌｏｂａｌ＿Ｒｅｌ）×Ｐｏｒｔ＿Ｒｅｌ
・・・・・（式Ｂ）
ただし、ＭＡＸ（）は、（）内の最大値を出力する式を意味する。

さらに、局所的奥行き強調制御信号（ＬｄｅｐｔｈＥｎｈ）は、上記（式Ａ），（式Ｂ）に限らず、以下の（式Ｃ）のような線形加重和の形で算出してもよい。
ＬｄｅｐｔｈＥｎｈ＝ｗ１×（１．０−Ｌａｎｄ＿Ｒｅｌ）＋ｗ２×（１．０−Ｃｉｔｙ＿Ｒｅｌ）ｗ３×（１．０−Ｉｎｄｏｏｒ＿Ｒｅｌ）＋ｗ４×Ｐｏｒｔ＿Ｒｅｌ
・・・・・（式Ｃ）
ただし、ｗ１〜ｗ４は、ｗ１＋ｗ２＋ｗ３＋ｗ４＝１．０を満たす重み係数である。

大局的奥行きシーン構図タイプ判定部３２２は、局所的奥行き強調制御信号（ＬｄｅｐｔｈＥｎｈ）を、例えば上記の（式Ａ），（式Ｂ），（式Ｃ）のいずれかの算出式を適用して算出する。
以上のような方法で、例えば、背景の大局的な奥行き感があまり感じとれにくいようなシーンに対しては、値が大きく設定された局所的奥行き強調制御信号２２６が生成され出力される。

図９に示す大局的奥行きマップ情報推定部１２１の大局的奥行き統合部３２３では、大局的奥行きシーン構図タイプ判定部３２２から入力された大局的奥行きモデル情報３３２−０ａ〜Ｎａと、モデル分類信頼度３３２−０ｂ〜Ｎｂを使って、大局的奥行きマップ情報２２１を生成して出力する。

たとえば、モデル分類信頼度３３２−０ｂ〜Ｎｂを重みとした、大局的奥行きモデル情報の加重平均や、分類信頼度が最大になるときの大局的奥行きモデルの情報を大局的奥行きマップ情報２２１として設定する。
この手法に限らず、例えば、モデル分類信頼度がある閾値を越えるものだけで加重平均を行ったものでもよく、他の方法でもよい。

また、大局的奥行きマップ情報信頼度２２４は、モデル分類信頼度３３２−０ｂ〜Ｎｂの加重平均、最大値、順序統計フィルタの出力値など種々の処理を用いて求め、後段のブロックに出力される。

［４．局所的奥行きマップ情報補正部の構成と処理について］
次に、局所的奥行きマップ情報補正部の構成と処理について説明する。
図１１に、局所的奥行きマップ情報補正部１１２の構成例を示す。局所的奥行きマップ情報補正部１１２は、奥行きマップブレンド比制御部３５１、固定奥行きマップ値設定部３５２と、２個の加算器と乗算器を有する。

局所的奥行きマップ情報補正部１１２は、図１、図２に示すように、
局所的奥行きマップ情報推定部１１１の生成した局所的奥行きマップ情報２１１と、局所的奥行きマップ情報信頼度２１２、これらの各情報を入力する。

図１１に示す局所的奥行きマップ情報補正部１１２の局所的奥行きマップブレンド比制御部３５１は、入力された局所的奥行きマップ情報信頼度２１２に基づいて、マップブレンド比（α）３６１を生成して出力する。
マップブレンド比（α）３６１とは、
（１）入力された局所的奥行きマップ情報２１１（Ｏｒｇ＿ｌｏｃａｌ＿Ｄｅｐｔｈ）と、
（２）固定奥行きマップ値設定部３５２から出力される固定奥行きマップ値３６２（Ｆｉｘ＿Ｄｅｐｔｈ）、
これらの２つのマップの値の加重平均処理を行うためのマップブレンド比である。

なお、固定奥行きマップ値設定部３５２から出力される固定奥行きマップ値３６２（Ｆｉｘ＿Ｄｅｐｔｈ）は、奥行き値を一定の固定値として設定した局所的奥行きマップである。
局所的奥行きマップブレンド比制御部３５１は、マップブレンド比を、所定の画素領域単位のブレンド比として算出して出力する。

局所的奥行きマップブレンド比制御部３５１は、マップブレンド比（α）３６１を、図１１の下段のグラフのように設定する。
図１１の下段に示すグラフは、
横軸が局所的奥行きマップ情報信頼度２１２、
縦軸がマップブレンド比（α）３６１、
これらの設定である。

局所的奥行きマップ情報信頼度の値（０〜１）に応じて、マップブレンド比（α＝０〜１）が設定される。
局所的奥行きマップ情報信頼度の値が大きい（１に近い）ほど、マップブレンド比（α）の値が大きく（１に近く）設定され、局所的奥行きマップ情報信頼度の値が小さい（０に近い）ほど、マップブレンド比（α）の値が小さく（０に近く）設定される。
局所的奥行きマップブレンド比制御部３５１は、各画素単位のマップブレンド比（α）３６１を、図１１の下段のグラフに従って設定して出力する。

局所的奥行きマップ情報補正部１１２は、このマップブレンド比（α）に基づいて、下式の加重平均処理によって、補正局所的奥行きマップ情報２１３（Ｒｅｖ＿ｌｏｃａｌ＿Ｄｅｐｔｈ）を求め出力する。
Ｒｅｖ＿ｌｏｃａｌ＿Ｄｅｐｔｈ＝α×（Ｏｒｇ＿ｌｏｃａｌ＿Ｄｅｐｔｈ）＋（１．０−α）×（Ｆｉｘ＿Ｄｅｐｔｈ）

すなわち、局所的奥行きマップ情報信頼度の値が大きい（１に近い）領域では、マップブレンド比（α）の値が大きく（１に近く）設定され、入力された局所的奥行きマップ情報２１１（Ｏｒｇ＿ｌｏｃａｌ＿Ｄｅｐｔｈ）の設定値の重みが、固定奥行きマップ値（Ｆｉｘ＿Ｄｅｐｔｈ）より大きく設定された加重平均により、局所的奥行きマップ情報２１１（Ｏｒｇ＿ｌｏｃａｌ＿Ｄｅｐｔｈ）の設定値を大きく反映した補正奥行値（Ｒｅｖ＿ｌｏｃａｌ＿Ｄｅｐｔｈ）が算出される。

一方、局所的奥行きマップ情報信頼度の値が小さい（０に近い）領域では、マップブレンド比（α）の値が小さく（０に近く）設定され、入力された局所的奥行きマップ情報２１１（Ｏｒｇ＿ｌｏｃａｌ＿Ｄｅｐｔｈ）の設定値の重みが、固定奥行きマップ値（Ｆｉｘ＿Ｄｅｐｔｈ）より小さく設定された加重平均により、固定奥行きマップ値（Ｆｉｘ＿Ｄｅｐｔｈ）の設定値を大きく反映した補正奥行値（Ｒｅｖ＿ｌｏｃａｌ＿Ｄｅｐｔｈ）が算出される。

このように、この加重平均処理により、局所的奥行きマップ情報信頼度２１２が小さい信頼度の場合には、固定奥行きマップ値（Ｆｉｘ＿Ｄｅｐｔｈ）３６２の重みが高くなるので、補正局所的奥行きマップ情報（Ｒｅｖ＿Ｄｅｐｔｈ）２１３の奥行値のダイナミックレンジは小さくなる。この結果、後段の３Ｄ画像生成部１３３で生成される３Ｄ画像の視差分布のレンジも狭くなるため、奥行き感が弱まる効果（副作用を抑制する）がある。

一方、局所的奥行きマップ情報信頼度２１２が大きい信頼度の場合は、この逆で、後段の３Ｄ画像生成部１３３で生成される３Ｄ画像の視差分布のレンジが広くなるため、奥行き感が強まる効果がある。

局所的奥行きマップ情報補正部１１２の内部構成図の別の構成例を図１２に示す。
図１２に示す局所的奥行きマップ情報補正部１１２は、ＬＵＴ選択部３７１、ＬＵＴマップ変換部３７２を有する。
ＬＵＴ選択部３７１は、例えば図１２の下段に示す（Ａ），（Ｂ），（Ｃ）の異なる入出力特性をもつ複数のＬＵＴの中から、入力された局所的奥行きマップ情報信頼度２１２に基づいて入出力対応テーブル（ＬＵＴ）の選択を行うためのＬＵＴ識別情報３８１を生成して出力する。

図１２の下段に示す（Ａ），（Ｂ），（Ｃ）のＬＵＴは、以下の入出力対応関係を持つテーブルである。
図１２の下段に示す（Ａ），（Ｂ），（Ｃ）のＬＵＴにおいて、
横軸は、局所的奥行きマップ情報推定部１１１の生成した局所的奥行きマップ情報２１１の設定値としての奥行値、
縦軸は、局所的奥行きマップ情報補正部１１２における補正処理によって出力する補正局所的奥行きマップ情報２１３の設定値としての奥行値、
である。

例えば、図１２（Ａ）のＬＵＴは、入力値と出力値が同一であり、局所的奥行きマップ情報推定部１１１の生成した局所的奥行きマップ情報２１１の設定値をそのまま補正局所的奥行きマップ情報２１３の設定値として出力するＬＵＴである。
図１２（Ｂ）のＬＵＴは、入力値の値の幅に比較してと出力値の幅が小さく設定され、局所的奥行きマップ情報推定部１１１の生成した局所的奥行きマップ情報２１１の設定値のレンジを小さくして補正局所的奥行きマップ情報２１３の設定値として出力するＬＵＴである。
図１２（Ｃ）のＬＵＴは、入力値の値に依存せず、一定の出力値が設定され、局所的奥行きマップ情報推定部１１１の生成した局所的奥行きマップ情報２１１の設定値の値に依存することなく、一定値を補正局所的奥行きマップ情報２１３の設定値として出力するＬＵＴである。

ＬＵＴ選択部３７１は、例えば、入力された局所的奥行きマップ情報信頼度２１２の示す信頼度が大きければ（Ａ）に示すＬＵＴを選択し、信頼度が小さければ（Ｃ）に示すＬＵＴを選択し、中程度の信頼度であれば（Ｂ）のＬＵＴを選択するためのＬＵＴ識別情報３８１を生成して出力する。

このように、入力された局所的奥行きマップ情報信頼度２１２の示す信頼度が小さい値の場合、出力のダイナミックレンジを小さくするため、図１２下段に示す（Ａ），（Ｂ），（Ｃ）の異なる入出力特性をもつ複数のＬＵＴの中から、（Ｂ）や（Ｃ）が選択される。一方、局所的奥行きマップ情報信頼度２１２の示す信頼度が大きい場合、出力のダイナミックレンジを大きくするため、（Ｂ）から（Ａ）に近くようなＬＵＴを選択する。

ＬＵＴマップ変換部３７２は、ＬＵＴ識別情報３８１に応じて決定されるＬＵＴの入出力特性に従って、入力された局所的奥行きマップ情報２１１を変換し、補正局所的奥行きマップ情報２１３を出力する。

なお、ＬＵＴの特性は、図１２の（Ａ）、（Ｂ）、（Ｃ）のように直線に限るものではなく、局所的奥行きマップ情報信頼度２１２の示す信頼度が小さくなるほど補正局所的奥行きマップ情報２１３のダイナミックレンジを小さくする効果を出すものであれば、折れ線、曲線などで示される特性でもよい。

さらに、奥行きマップ情報補正部１１２の別の構成例について図１３を参照して説明する。
図１３に示す奥行きマップ情報補正部１１２は、入出力特性設定部３９１、マップ変換部３９２を有する。

入出力特性設定部３９１は、入力された局所的奥行きマップ情報信頼度２１２の示す信頼度に応じて、図１３の下段に示すような入出力特性を定義するパラメータ（ａ，ｂ）を含む入出力特性情報（ａ，ｂ）を設定して出力する。

具体的には図１３下段のグラフ（２）に示すように入力された局所的奥行きマップ情報信頼度２１２の示す信頼度が大きいほど、図１３下段のグラフ（１）の特性直線の傾きａが大きくなるように設定する。なお、この場合、ｂの設定方法は任意とする。例えば固定値としてもよいし、ユーザが調整可能なパラメータとしてもよい。
これにより、局所的奥行きマップ情報信頼度２１２の示す信頼度が大きい場合、出力のダイナミックレンジが大きくなる。

逆に、局所的奥行きマップ情報信頼度２１２の示す信頼度が小さい場合は、図１３（２）のグラフに示すように、パラメータａが小さく設定され、図１３下段のグラフ（１）の特性直線の傾きａが小さく設定される。この結果、出力される補正局所的奥行きマップ情報２１３のダイナミックレンジが小さくなる。

マップ変換部３９２では、このようにして、入出力特性設定部３９１の設定したパラメータ（ａ，ｂ）を含む入出力特性情報（ａ，ｂ）２０１を入力して、以下に示す変換式により、入力された局所的奥行きマップ情報（Ｏｒｇ＿ｌｏｃａｌ＿Ｄｅｐｔｈ）２１１から補正局所的奥行きマップ情報（Ｒｅｖ＿ｌｏｃａｌ＿Ｄｅｐｔｈ）６３に変換し出力する。
Ｒｅｖ＿ｌｏｃａｌ＿Ｄｅｐｔｈ＝ａ×（Ｏｒｇ＿ｌｏｃａｌ＿Ｄｅｐｔｈ）＋ｂ

なお、入出力特性設定部３９１の生成するパラメータ（ａ，ｂ）は、図１３のグラフのように直線に限るものではなく、奥行きマップ情報信頼度６２の示す信頼度が小さくなるほど補正奥行きマップ情報６３のダイナミックレンジを小さくする効果を出すものであれば、折れ線、曲線などで示される特性でもよい。

［５．大局的奥行きマップ情報補正部の構成と処理について］
次に、図１に示す画像処理装置１００の大局的奥行きマップ情報補正部１２２の構成と処理について説明する。
大局的奥行きマップ情報補正部１２２の構成は、前述した局所的奥行きマップ情報補正部１１２と同様である。
ただし、入力信号が、以下のように変更される。
局所的奥行きマップ情報２１１→大局的奥行きマップ情報２２１、
局所的奥行きマップ信頼度情報２１２→大局的奥行きマップ信頼度情報２２２、
このように変更される。
また、出力信号が、
補正局所的奥行きマップ情報２１３→補正大局的奥行きマップ情報２２３、
に変更される。
この入出力が変更される以外は、構成、動作は、先に図１１〜図１３を参照して説明したと同様の構成と動作となる。

［６．奥行きマップ情報ＡＣ−ＤＣ分離部の構成と処理について］
次に、図１に示す画像処理装置１００の局所的奥行きマップ情報ＡＣ−ＤＣ分離部１１３と、大局的奥行きマップ情報ＡＣ−ＤＣ分離部１２３の構成と処理について説明する。
局所的奥行きマップ情報ＡＣ−ＤＣ分離部１１３と、大局的奥行きマップ情報ＡＣ−ＤＣ分離部１２３の構成例を図１４に示す。

局所的奥行きマップ情報ＡＣ−ＤＣ分離部１１３の局所的奥行きマップ情報ＤＣ算出部４１１は、入力された補正局所的奥行きマップ情報２１３に設定された奥行値について、１画面分の平均値を求め、これを局所的奥行きマップＤＣ成分２１５として出力する。さらに、入力された補正局所的奥行きマップ情報２１３から局所的奥行きマップＤＣ成分２１５を差し引くことで、局所的奥行きマップＡＣ成分２１４を生成し出力する。

なお、局所的奥行きマップＡＣ成分２１４を求める際、局所的奥行きマップＤＣ成分２１５は、リアルタイム性を考慮して１フレーム前などの過去のフレームの結果を利用してもよい。

一方、大局的奥行きマップ情報ＡＣ−ＤＣ分離部１２３は、大局的奥行きマップ情報ＤＣ算出部４１２において、入力された補正大局的奥行きマップ情報２２３に設定された奥行値について、１画面分の平均値を求め、これを大局的奥行きマップＤＣ成分２２５として出力する。
さらに、入力された補正大局的奥行きマップ情報２２３から大局的奥行きマップＤＣ成分２２５を差し引くことで、大局的奥行きマップＡＣ成分２２４を生成し出力する。

［７．ＡＣ−ＤＣ成分制御部の構成と処理について］
次に、図１、図３に示す画像処理装置１００内のＡＣ−ＤＣ成分制御部１３１の構成と処理について説明する。
ＡＣ−ＤＣ成分制御部１３１の構成例を図１５に示す。
ＡＣ−ＤＣ成分制御部１３１は、図１５に示すように、大局的ＡＣ成分全体ゲイン設定部４３１、局所的ＡＣ成分全体ゲイン設定部４３２、局所的ＡＣ成分奥行き適応制御部４３３、大局的ＡＣ成分制御部４３４、局所的ＡＣ成分制御部４３５、統合ＤＣ成分生成部４３６を有する。
ＡＣ−ＤＣ成分制御部１３１は、局所的奥行き強調制御信号に基づいて、局所的奥行きマップ情報と大局的奥行きマップ情報の寄与率を制御して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する。

処理の流れについて説明する。
まず、大局的ＡＣ成分全体ゲイン設定部４３１は、入力された外部ブロックからの制御信号２３０、局所的奥行き強調制御信号２２６に基づいて、大局的ＡＣ成分全体ゲイン４４１を設定する。

例えば、局所的奥行き強調制御信号２２６が大きいほど、大局的な奥行き感よりも局所的な奥行き感を優先させた方がよいため、大局的ＡＣ成分全体ゲイン４４１を小さく設定する。
具体的には、図１６（１）のグラフに示すような設定とする。
図１６（１）のグラフは、横軸が、局所的奥行き強調制御信号２２６、縦軸が大局的ＡＣ成分全体ゲインであり、大局的ＡＣ成分全体ゲイン設定部４３１は、このような図１６（１）の対応関係に応じて、局所的奥行き強調制御信号２２６に基づいて、大局的ＡＣ成分全体ゲイン４４１を設定して出力する。

なお、外部ブロックからの制御信号２３０に対しては、例えば、図１６（２）に示すグラフのように、外部ブロックで計測されたノイズ量が大きい場合、３Ｄ画像中でノイズによる奥行き感の副作用が目立つようになるため、大局的ＡＣ成分全体ゲイン４４１を小さく設定する。

さらに、図１６（３）や図１６（４）に示すように外部ブロックによって検出された顔領域やテロップ領域の面積が、ある一定以上大きくなるような場合では、大局的な奥行き感を強調すると顔やテロップ部での副作用が目立ちやすくなるため、大局的ＡＣ成分全体ゲイン４４１を小さく設定する。

なお、これら以外にも、外部ブロックによって検出、計測された情報を使って大局的ＡＣ成分全体ゲイン４４１の大きさを制御することで、大局的な奥行き感の副作用の抑制や効果の促進が目的であれば、設定方法は、上記の例に限るものではない。なお、大局的ＡＣ成分全体ゲイン４４１は、局所的奥行き強調制御信号２２６と外部ブロックからの制御信号２３０のいずれかを用いてもよいし、両方を使って（例えば加重平均）設定してもよい。

局所的ＡＣ成分全体ゲイン設定部４３２は、入力された外部ブロックからの制御信号２３０、局所的奥行き強調制御信号２２６に基づいて、局所的ＡＣ成分全体ゲイン４４２を設定する。

例えば、図１７（１）に示すように、局所的奥行き強調制御信号２２６が大きいほど、大局的な奥行き感よりも局所的な奥行き感を優先させた方がよいため、局所的ＡＣ成分全体ゲイン４４２を大きく設定する。また、外部ブロックからの制御信号２３０に対しては、前記した大局的ＡＣ成分全体ゲイン設定部４３１における処理、すなわち、図１６（２）〜（４）と同様の設定とした処理を行う。

これ以外には例えば、外部ブロックによって得られた撮影情報から算出した被写界深度に応じて、図１７（２）に示すように、被写界深度が浅いほど局所的ＡＣ成分全体ゲインを高くする設定としてもよい。これは、被写界深度が浅いシーンにおいては、背景部はぼけてしまい、前景部の局所的な奥行き（凸凹感）の方が、３Ｄ画像の立体感に寄与するためである。

これら以外にも、外部ブロックによって検出、計測された情報を使って局所的ＡＣ成分全体ゲイン４４２の大きさを制御可能である。
なお、局所的な奥行き感の副作用の抑制や効果の促進が可能であれば、設定方法は、上記の例に限るものではない。なお、局所的ＡＣ成分全体ゲイン４４２は、局所的奥行き強調制御信号２２６と外部ブロックからの制御信号２３０のいずれかを用いてもよいし、両方を使って（例えば加重平均）設定してもよい。

局所的ＡＣ成分奥行き適応制御部４３３は、入力された大局的奥行きマップ情報２２１と、局所的奥行き強調制御信号２２６に基づいて、局所的ＡＣ成分奥行き適応ゲイン４４３を設定する。

具体的には、図１８（１Ａ）のグラフに示すように、局所的奥行き強調制御信号２２６の大きさが小さいときは、大局的奥行きマップ情報２２１に応じて奥ほど局所的ＡＣ成分奥行き適応ゲイン４４３の値を小さくし、手前に近づくほど局所的ＡＣ成分奥行き適応ゲイン４４３の値を大きくするような制御特性で局所的ＡＣ成分奥行き適応ゲイン４４３を設定する。

一方、図１８（１Ｃ）のグラフに示すように、局所的奥行き強調制御信号２２６の大きさが大きいときは、大局的奥行きマップ情報２２１の大きさに関係ない一定の局所的ＡＣ成分奥行き適応ゲイン４４３の値を設定する。これは、局所的奥行き強調制御信号２２６が小さい場合は、大局的な奥行きを感じやすい構図が予想されるためである。すなわち、図１８（２）に示すように、局所的奥行きも大局的な奥行きの性質に合わせた形で強調するのが望ましいと考えられるからである。

図１８（２）に示す図は、局所的ＡＣ成分のゲインを模式的に示した図であり、奥行き値が奥から手前に進むに従って局所的ＡＣ成分のゲインを大きくする設定であることを示す図である。
図１８（１Ａ）に示す設定に対応する図である。

同様に、図１８（３）に示す図も、局所的ＡＣ成分のゲインを模式的に示した図であり、奥行き値が奥から手前まで局所的ＡＣ成分のゲインを不変とする設定であることを示す図である。
図１８（１Ｃ）に示す設定に対応する図である。

大局的ＡＣ成分制御部４３４は、前段の大局的ＡＣ成分全体ゲイン設定部４３１で求めた大局的ＡＣ成分全体ゲイン４４１を、入力された大局的奥行きマップＡＣ成分２２４に乗じて大局的ＡＣ成分４４５を求める。一方、局所的ＡＣ成分制御部４３５は、前段の局所的ＡＣ成分全体ゲイン設定部４３２で求めた局所的ＡＣ成分全体ゲイン４４２と、局所的ＡＣ成分奥行き適応制御部４３３で求めた局所的ＡＣ成分奥行き適応ゲイン４４３を、入力された局所的奥行きマップＡＣ成分２１４に乗じて局所的ＡＣ成分４４６を求める。

さらに、ＡＣ−ＤＣ成分制御部１３１は、大局的ＡＣ成分４４５と局所的ＡＣ成分４４６を加算して制御統合奥行きマップＡＣ成分２３１として後段に出力する。

一方、統合ＤＣ成分生成部４３６は、入力された局所的奥行き強調制御信号２２６に基づいて、局所的奥行きマップＤＣ成分２１５（Ｌｏｃａｌ＿ＤＣ）と大局的奥行きマップＤＣ成分２２５（Ｇｌｏｂａｌ＿ＤＣ）から、例えば下式に従って、これらの各値のに加重平均により、制御統合奥行きマップＤＣ成分２３２（Ｉｎｔｇ＿ＤＣ）を求め、後段の処理ブロックに出力する。
Ｉｎｔｇ＿ＤＣ＝ｗ×Ｌｏｃａｌ＿ＤＣ＋（１．０−ｗ）×Ｇｌｏｂａｌ＿ＤＣ
なお、ｗは重み係数である。
重み係数は、例えば、図１９に示すグラフのように、局所的奥行き強調制御信号２２６の値が大きくなるほど大きくなるように設定する。

［８．統合奥行きマップ情報生成部の構成と処理について］
次に、図１、図３に示す画像処理装置１００の統合奥行きマップ情報生成部１３２の構成と処理について説明する。
統合奥行きマップ情報生成部１３２の構成例を図２０に示す。統合奥行きマップ情報生成部１３２は、ＡＣ−ＤＣ成分制御部１３１から制御統合奥行きマップＡＣ成分２３１と制御統合奥行きマップＤＣ成分２３２を入力し、これらを加算部４５１において加算し、この加算結果を統合奥行きマップ情報２３３として出力する。

［９．３Ｄ画像生成部の構成と処理について］
次に、図１、図３に示す画像処理装置１００の３Ｄ画像生成部１３３の構成と処理について説明する。
３Ｄ画像生成部１３３では、統合奥行きマップ情報生成部１３２の生成した統合奥行きマップ情報２３３と２Ｄ画像信号５０を入力し、入力した２Ｄ画像信号５０に対して、統合奥行きマップ情報２３３を適用した２Ｄ３Ｄ変換処理を行い、３Ｄ画像表示用の左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）からなる３Ｄ画像７０を生成して出力する。

なお、この２Ｄ３Ｄ変換処理については、例えば、非特許文献（Ｙ．Ｊ．Ｊｅｏｎｇ，Ｙ．Ｋｗａｋ，Ｙ．Ｈａｎ，Ｙ．Ｊ．Ｊｕｎ ａｎｄ Ｄ．Ｐａｒｋ，"Ｄｅｐｔｈ−ｉｍａｇｅ−ｂａｓｅｄ ｒｅｎｄｅｒｉｎｇ（ＤＩＢＲ） ｕｓｉｎｇ ｄｉｓｏｃｃｌｕｓｉｏｎ ａｒｅａ ｒｅｓｔｒａｔｉｏｎ，"Ｐｒｏｃ．ｏｆ ＳＩＤ，２００９．）等に記載の手法を用いた処理として実行可能である。
具体的には、統合奥行きマップ情報２３３に設定された奥行き値を視差情報に変換し、２Ｄ画像信号５０に奥行きに応じた視差を設定した左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）からなる３Ｄ画像７０を生成する。

なお、奥行きマップ情報を適用して、２Ｄ画像信号から３Ｄ画像を生成する手法は、上記文献に記載の手法に限らず、様々な手法が提案されており、３Ｄ画像生成部１０４は、上記文献に記載の手法に限らず、様々な手法が適用可能である。

このように、本発明の方法では、局所的な奥行きマップ情報と大局的な奥行きマップ情報をＡＣ成分とＤＣ成分に分離し、シーンの構図タイプの分類結果や外部ブロックの情報に応じて局所的な奥行きと大局的な奥行きのそれぞれの画面全体の重みを制御し、さらに、局所的な奥行きを背景の大局的な奥行きの内部構造を考慮して、画面内の局所領域毎に制御することで、より高精度に奥行き情報を推定することができる。また、前記シーンの構図タイプを分類する際、その分類結果の信頼度情報を生成し、この信頼度情報を用いて奥行きマップ情報を補正し、３Ｄ画像信号の視差分布を制御することで、副作用の少ない自然な奥行感を感じさせる３Ｄ画像を生成することができる。

［１０．本開示の画像処理装置の第２実施形態の構成と処理について］
次に、図２１以下を参照して本開示の画像処理装置の第２実施形態の構成と処理について説明する。
本開示の画像処理装置の第２実施形態の構成を図２１に示し、各構成部における入出力データを示す図を図２２、図２３に示す。
図２１に示す第２実施形態の画像処理装置５００は、先に図１を参照して説明した第１実施形態の画像処理装置１００と同様の構成要素を有する。同一の構成要素に対しては同一の参照符号を設定して示している。

図１〜図３を参照して説明した第１実施形態の画像処理装置１００との違いは、第２実施形態の画像処理装置５００の局所的奥行きマップ情報ＡＣ−ＤＣ分離部１１３と、大局的奥行きマップ情報ＡＣ−ＤＣ分離部１２３の処理である。

第１実施形態の画像処理装置１００について説明した図３と、第２実施形態の画像処理装置５００について説明した図２３を比較して理解されるように、第２実施形態の画像処理装置５００の局所的奥行きマップ情報ＡＣ−ＤＣ分離部１１３は、局所的奥行きマップＡＣ成分２１４のみを出力し、局所的奥行きマップＤＣ成分２１５を出力していない。
また、第２実施形態の画像処理装置５００の大局的奥行きマップ情報ＡＣ−ＤＣ分離部１２３は、大局的奥行きマップＡＣ成分２２４のみを出力し、大局的奥行きマップＤＣ成分２２５を出力していない。

また、ＡＣ，ＤＣ制御部１３１の内部構成が異なる。
ＡＣ，ＤＣ制御部１３１のの構成と処理について、図２４以下を参照して説明する。
このＡＣ，ＤＣ制御部１３１の動作と、先に図１５を参照して説明した第１実施形態のＡＣ，ＤＣ制御部１３１の動作との相違点は、統合ＤＣ成分生成部４３６の動作である。

具体的には、本実施形態において、統合ＤＣ成分生成部４３６は、ＡＣ，ＤＣ制御部１３１の出力として生成する制御統合奥行きマップＡＣ成分２３１を入力し、この制御統合奥行きマップＡＣ成分２３１に基づいて制御統合奥行きマップＤＣ成分２３２を生成して出力する。

統合ＤＣ成分生成部４３６の構成と処理について、図２５を参照して説明する。
図２５（Ａ）は、統合ＤＣ成分生成部４３６の構成例を示す図である。
図２５（Ａ）に示すように、統合ＤＣ成分生成部４３６は、ＡＣ，ＤＣ制御部１３１の出力として生成された制御統合奥行きマップＡＣ成分２３１を入力し、入力された制御統合奥行きマップＡＣ成分２３１の最大値を、ＤＣ補正パラメータ抽出部５１１で求め、この最大値をＤＣ補正パラメータ５２１として出力する。

この値は、図２５（Ｂ１）に示すＭＡＸ＿ＡＣに相当する。
図２５（Ｂ１）のグラフは、統合ＤＣ成分生成部４３６に入力される制御統合奥行きマップＡＣ成分２３１を模式的に示す図であり、奥から手前に向かうに従ってＡＣ成分を大きく設定することを示している。このＡＣ成分の最大値がＭＡＸ＿ＡＣである。

次に、クリップ回避ＤＣ成分設定部５１２において、奥行きマップ情報で定義されるレンジの最大値（例えば、８ｂｉｔの場合、２５５）から、ＤＣ補正パラメータ５２１（ＭＡＸ＿ＡＣ）を差し引いた値を制御統合奥行きマップＤＣ成分２３２として生成して、後段のブロックに出力する。

このように制御統合奥行きマップＤＣ成分２３２を設定することで、図２５（Ｂ３）に示すように手前側の奥行き情報マップのクリップ処理を回避することができ、３Ｄ画像上での手前側の奥行き感の副作用を抑制することができる。この処理を行わないと、図２５（Ｂ２）に示すように、奥行き情報マップのダイナミックレンジを超えたＡＣ成分がクリップされ、奥行き値が正しく反映されない結果となってしまう。

なお、奥側でクリップを回避したい場合は、ＤＣ補正パラメータ５２１は、入力された制御統合奥行きマップＡＣ成分２３１の最小値の絶対値に設定すればよい。この場合、クリップ回避ＤＣ成分設定部５１２は、奥行きマップ情報で定義されるレンジの最小値（例えば、０）にＤＣ補正パラメータ５２１、すなわち、この場合、図２５（Ｂ１）のＭＩＮ＿ＡＣに相当するＤＣ補正パラメータ５２１を加算した値を制御統合奥行きマップＤＣ成分２３２として後段のブロックに出力する設定とすればよい。

また、図２５（Ｂ１）のＭＡＸ＿ＡＣ、ＭＩＮ＿ＡＣを両方、適用して奥行き情報マップのクリップ処理を回避するような制御統合奥行きマップＤＣ成分２３２を設定してもよい。なお、上記のＭＡＸ＿ＡＣ、ＭＩＮ＿ＡＣは、過去フレームで求めたものを使ってもよい。

［１１．本開示の画像処理装置の第３実施形態の構成と処理について］
次に、図２６以下を参照して本開示の画像処理装置の第３実施形態の構成と処理について説明する。
第３実施形態の画像処理装置の構成とデータ入出力関係は、第２実施形態と同様であり、図２１〜図２３に示す構成である。
前記の第２実施形態と異なるのは、ＡＣ−ＤＣ成分制御部１３１の構成と処理である。

第３実施形態の画像処理装置のＡＣ−ＤＣ成分制御部１３１の構成と処理について、図２６を参照して説明する。
本第３実施形態のＡＣ−ＤＣ成分制御部１３１は、先に図２４を参照して説明した第２実施形態のＡＣ−ＤＣ成分制御部１３１内の統合ＤＣ成分生成部４３６を、図２６に示すように、Ｄレンジ変換ＡＣ−ＤＣ成分生成部５３１に変更している点が異なる。

Ｄレンジ変換ＡＣ−ＤＣ成分生成部５３１は、大局的ＡＣ成分４４５と局所的ＡＣ成分４４６を加算した信号である、加算ＡＣ成分５４１を入力する。
Ｄレンジ変換ＡＣ−ＤＣ成分生成部５３１は、この加算ＡＣ成分５４１を適用して、制御統合奥行きマップＡＣ成分２３１と制御統合奥行きマップＤＣ成分２３２を生成して出力する。

Ｄレンジ変換ＡＣ−ＤＣ成分生成部５３１の構成と処理について、図２７を参照して説明する。
図２７（Ａ）は、Ｄレンジ変換ＡＣ−ＤＣ成分生成部５３１の構成例を示す図である。

図２７（Ａ）に示すように、Ｄレンジ変換ＡＣ−ＤＣ成分生成部５３１は、大局的ＡＣ成分４４５と局所的ＡＣ成分４４６を加算した信号である、加算ＡＣ成分５４１を入力し、まず、最大−最小ＡＣ成分検出部５５１において、加算ＡＣ成分５４１の最大値（ＭＡＸ＿ＡＣ）と、最小値（ＭＩＮ＿ＡＣ）を求め、それぞれ最大加算ＡＣ成分（ＭＡＸ＿ＡＣ）５６１、最小加算ＡＣ成分（ＭＩＮ＿ＡＣ）５６２として出力する。

次に、Ｄレンジ変換部５５２は、入力された加算ＡＣ成分（ＡＤＤ＿ＡＣ）５４１に対して、最大加算ＡＣ成分（ＭＡＸ＿ＡＣ）５６１と、最小加算ＡＣ成分（ＭＩＮ＿ＡＣ）５６２と、あらかじめ設定した固定値としての制御統合奥行きマップＤＣ成分（ＩＮＴＧ＿ＤＣ）２３２を適用したデータ変換を行い、制御統合奥行きマップＡＣ成分（ＩＮＴＧ＿ＡＣ）２３１を算出する。
Ｄレンジ変換部５５２は、この算出処理を以下の式に従って実行する。
ＡＣ＿Ｄｒａｎｇｅ＝（ＭＡＸ＿ＡＣ−ＭＩＮ＿ＡＣ）
ＩＮＴＧ＿ＡＣ＝（ＡＤＤ＿ＡＣ−ＭＩＮ＿ＡＣ）／ＡＣ＿Ｄｒａｎｇｅ×２５５−ＩＮＴＧ＿ＤＣ

なお、上記算出式において算出するＡＣ＿Ｄｒａｎｇｅは、最大加算ＡＣ成分（ＭＡＸ＿ＡＣ）５６１と、最小加算ＡＣ成分（ＭＩＮ＿ＡＣ）５６２との差分であり、図２７（Ｂ１）に示す設定となる。

また、制御統合奥行きマップＤＣ成分（ＩＮＴＧ＿ＤＣ）２３２の固定値は、図２７（Ｂ３）に示すように０でもよいし（ＡＣ成分は、正値のみ発生）、奥行きマップ情報（０〜２５５）の中央値である１２８（ＡＣ成分は、正負の両方発生）でもよい。また他の値を設定してもよい。なお、上記のＭＡＸ＿ＡＣ、ＭＩＮ＿ＡＣは、過去フレームで求めたものを使ってもよい。

このような処理によって、図２７（Ｂ２）に示すように、奥行き情報マップのダイナミックレンジを超えたＡＣ成分のクリップを回避し、奥行き値を正しく反映した奥行き情報マップ生成が可能となる。

［１２．本開示の画像処理装置の第４実施形態の構成と処理について］
次に、図２８以下を参照して本開示の画像処理装置の第４実施形態の構成と処理について説明する。
第４実施形態の画像処理装置の構成を図２８に示し、各構成部における入出力データを示す図を図２９、図３０に示す。
図２８に示す第４実施形態の画像処理装置７００は、先に図１を参照して説明した第１実施形態の画像処理装置１００における大局的奥行きマップ情報ＡＣ−ＤＣ分離部１２３が削除されている点である。

図２８に示す第４実施形態の画像処理装置７００は、図２９、図３０に示すように、大局的奥行きマップ情報補正部１２２の生成した補正大局的奥行きマップ情報２２３がそのままＡＣ−ＤＣ成分制御部１３１に入力されている。
また、局所的奥行きマップ情報ＡＣ−ＤＣ分離部１１３からは、局所的奥行きマップＡＣ成分２１４のみが出力されている部分が異なる。
さらに、ＡＣ−ＤＣ成分制御部１３１の構成と処理が異なる。

ＡＣ−ＤＣ成分制御部１３１の構成と処理について、図３１を参照して説明する。
図３１に示す本第４実施形態の画像処理装置７００のＡＣ−ＤＣ成分制御部１３１は、先に図１５を参照して説明した第１実施形態のＡＣ−ＤＣ成分制御部１３１に存在した以下の構成を削除している。
大局的ＡＣ成分全体ゲイン設定部４３１、
大局的ＡＣ成分制御部４３４、
統合ＤＣ成分生成部４３６、
これらの構成が削除されている。

その他の局所的ＡＣ成分全体ゲイン設定部４３２、局所的ＡＣ成分奥行き適応制御部４３３、局所的ＡＣ成分制御部４３５の動作は、先に説明した第１実施形態と同様である。ただし、局所的ＡＣ成分制御部４３５は、局所的ＡＣ成分全体ゲイン４４２と局所的ＡＣ成分適応ゲイン４４３の乗算結果である、局所的ＡＣ成分統合ゲイン７２１を出力する。

一方、補正大局的奥行きマップ情報２２３は、制御統合奥行きマップＤＣ成分２３２としてそのまま出力する。また、新たに局所的ＡＣ成分補正部７１１を設けている。
局所的ＡＣ成分補正部７１１は、
局所的奥行きマップＡＣ成分２１４の他、
局所的ＡＣ成分統合ゲイン７２１、
補正大局的奥行きマップ情報２２３、
補正大局的奥行きマップ情報２２３と局所的ＡＣ成分４４６の加算結果である仮統合奥行きマップ情報７２２、
これらの各信号を入力する。

局所的ＡＣ成分補正部７１１は、これらの入力信号を適用して、奥行き情報マップのクリップ処理を発生させないように、局所的奥行きマップＡＣ成分２１４に対する強調処理を行い、制御統合奥行きマップＡＣ成分２３１を生成して出力する。

局所的ＡＣ成分補正部７１１の構成と処理について図３２を参照して説明する。
図３２（Ａ）は、局所的ＡＣ成分補正部７１１の構成例を示している。局所的ＡＣ成分補正部７１１は、まず、クリップ対象ＡＣ成分検出部７３１において、局所的ＡＣ成分統合ゲイン７２１と仮統合奥行きマップ情報７２２（Ｏｖｅｒ＿Ｄｅｐｔｈ）を入力し、図３２（Ｂ１）に示すように、クリップ処理対象となる仮統合奥行きマップ情報７２２（Ｏｖｅｒ＿Ｄｅｐｔｈ）の中で、その局所的ＡＣ成分統合ゲイン７２１（図３２（Ｂ１）に示すＯｖｅｒ＿Ｇａｉｎ）を、仮統合奥行きマップ情報７２２の信号がクリップされないようなゲイン値に変換する（図３２（Ｂ２）のＭＯＤ＿Ｇａｉｎ）。

具体的には、以下の式のようにＭＯＤ＿Ｇａｉｎを設定する
ＭＯＤ＿Ｇａｉｎ＝Ｏｖｅｒ＿Ｇａｉｎ×（２５５−Ｏｖｅｒ＿ＧＤｅｐｔｈ）／（Ｏｖｅｒ＿Ｄｅｐｔｈ−Ｏｖｅｒ＿ＧＤｅｐｔｈ）

なお、上記式において、
Ｏｖｅｒ＿ＧＤｅｐｔｈは、クリップ処理対象となるときの補正大局的奥行きマップ情報２２３を示す。

このようにして求めたゲインをクリップ回避局所的ＡＣ成分統合ゲイン７４１として局所的奥行きマップＡＣ成分強調処理部７３２に出力する。
局所的奥行きマップＡＣ成分強調処理部７３２は、局所的奥行きマップＡＣ成分２１４にクリップ回避局所的ＡＣ成分統合ゲイン７４１を乗じて、制御統合奥行きマップＡＣ成分２３１を生成して出力する。

なお、統合奥行きマップ情報生成部１３２、３Ｄ画像生成部１３３の動作は、実施の形態１と同様になる。以上の処理により、本実施の形態では、図３２（Ｂ２）に示すように、奥行き情報マップのクリップ処理を回避することができ、３Ｄ画像での手前側の奥行き感の副作用を抑制することができる。

［１３．本開示の画像処理装置の第５実施形態の構成と処理について］
次に、本開示の画像処理装置の第５実施形態の構成と処理について説明する。
本第５実施形態は、先に図１以下を参照して説明した第１実施形態に対して、ＡＣ−ＤＣ成分制御部１３１の構成と処理を変更したものである。

本第５実施形態のＡＣ−ＤＣ成分制御部１３１の構成と処理について図３３を参照して説明する。
本第５実施形態のＡＣ−ＤＣ成分制御部１３１の統合ＤＣ成分生成部４３６には、外部ブロックからの制御信号２３０が入力され、この情報に基づいて制御統合奥行きマップＤＣ成分２３２を生成して出力する。

外部ブロックからの制御信号２３０の例としては、例えばＥＰＧ情報がある。
統合ＤＣ成分生成部４３６は、ＥＰＧ情報を入力し、飛び出し感を出したい番組カテゴリ（スポーツ、アニメ、ＣＧ、ゲーム）のシーンに対しては、制御統合奥行きマップＤＣ成分２３２を手前側に設定する。
一方、ディプスレイ面から奥側への全体の広がり感を出したい番組（自然風景、サッカー、野球）ドラマ、映画、動物、自然）のシーンに対しては、制御統合奥行きマップＤＣ成分２３２を奥側に設定する。

また、外部ブロックからの制御信号２３０のもう一つの例として、視聴ユーザ嗜好情報がある。この情報は、例えば、視聴ユーザが３Ｄ画像の飛び出し感を好む人と、奥側への全体の広がり感を好む人を識別する情報である。統合ＤＣ成分生成部４３６は、それぞれのユーザの好みに応じて、制御統合奥行きマップＤＣ成分２３２の値を制御する。以上のような制御をすることで、シーン内容に応じた立体感、ユーザの好みに適した３Ｄ画像を生成することができる。

［１４．本開示の画像処理装置のまとめ］
ここまで、本開示の画像処理装置の構成と処理の複数の実施例について説明してきた。
本開示の画像処理装置は、局所的な奥行きマップ情報と大局的な奥行きマップ情報の異なる性質をもった奥行きマップ情報を統合する手法において、それぞれの奥行きマップ情報をＡＣ成分とＤＣ成分に分離して、各成分の強調度をシーンの構図タイプ、背景の大局的な奥行きの内部構造、外部ブロックからの制御信号などに基づいて制御するものである。
これらの処理によって、シーンの内容に応じた最適な奥行き感を感じさせる３Ｄ画像を生成することができる。
また、奥行きマップ情報を補正する手法では、前段ブロックで処理された、シーンの構図タイプの判定結果に対する信頼度情報を用いて奥行きマップ情報を補正する構成としている。この処理により、３Ｄ画像信号の視差分布を制御することで、３Ｄ画像中の不自然な奥行感を抑制することができるため、効果のあるシーンでの立体感を維持しつつ、視聴者への目の負担を軽減させる効果がある。

［１５．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） ２次元画像の部分領域単位の特徴に基づいて部分領域単位の奥行きを推定し、部分領域単位の奥行き推定情報である局所的奥行きマップ情報を生成する局所的奥行きマップ情報推定部と、
２次元画像の画像全体の特徴に基づいて画像全体単位の奥行きを推定し、画像全体単位の奥行き推定情報である大局的奥行きマップ情報を生成する大局的奥行きマップ情報推定部と、
前記局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、前記大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成するＡＣ−ＤＣ成分制御部と、
前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分に基づいて、統合奥行きマップ情報を生成する統合奥行きマップ情報生成部と、
前記統合奥行きマップ情報を適用して、前記２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する３Ｄ画像生成部を有し、
前記大局的奥行きマップ情報推定部は、
前記大局的奥行きマップ情報に併せて、前記大局的奥行きマップ情報に応じた局所的奥行き感の強調度合いを制御する局所的奥行き強調制御信号を生成して出力し、
前記ＡＣ−ＤＣ成分制御部は、
前記局所的奥行き強調制御信号に基づいて、前記局所的奥行きマップ情報と前記大局的奥行きマップ情報の寄与率を制御して前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する構成である画像処理装置。

（２）前記大局的奥行きマップ情報推定部は、大局的奥行きを示す複数のシーン構図タイプから、画面全体の特徴量に応じて選択したシーン構図タイプを大局的奥行きマップ情報とする前記（１）に記載の画像処理装置。
（３）前記局所的奥行きマップ情報推定部は、複数の異なる特徴量に応じた複数の奥行き情報を信頼度に応じて統合して前記局所的奥行きマップ情報を生成し、前記大局的奥行きマップ情報推定部は、複数の異なる特徴量に応じた複数の奥行き情報を信頼度に応じて統合して前記大局的奥行きマップ情報を生成する前記（１）または（２）に記載の画像処理装置。

（４）前記局所的奥行きマップ情報推定部は、前記部分領域単位の特徴として、空間周波数、色、明るさ、コントラスト、動き情報の少なくともいずれかの特徴に基づく奥行き推定を実行する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記大局的奥行きマップ情報推定部は、前記画像全体の特徴として、エッジ、色、明るさ、空間周波数、コントラスト、動き情報の少なくともいずれかの特徴に基づく奥行き推定を実行する前記（１）〜（４）いずれかに記載の画像処理装置。

（６）前記画像処理装置は、さらに、前記局所的奥行きマップ情報推定部の生成した局所的奥行きマップ情報を信頼度に応じて補正する局所的奥行きマップ情報補正部と、前記大局的奥行きマップ情報推定部の生成した大局的奥行きマップ情報を信頼度に応じて補正する大局的奥行きマップ情報補正部を有し、前記ＡＣ−ＤＣ成分制御部は、補正後の局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、補正後の大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記局所的奥行きマップ情報補正部、および前記大局的奥行きマップ情報補正部は、奥行きマップ情報の信頼度が低い場合、奥行きマップ情報のダイナミックレンジを狭め、信頼度が高い場合には広げる補正処理を実行する前記（６）に記載の画像処理装置。

（８）前記ＡＣ−ＤＣ成分制御部は、奥行きマップ情報で表現される奥側、手前側の、どちらか一方または両方で、奥行きマップ情報の設定値のクリップ処理が発生しないように、前記局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、前記大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記ＡＣ−ＤＣ成分制御部は、外部ブロックからの制御信号を適用して、前記制御統合奥行きマップＡＣ成分、または前記制御統合奥行きマップＤＣ成分を生成する前記（１）〜（８）いずれかに記載の画像処理装置。
（１０）前記外部ブロックからの制御信号は、ノイズ量計測結果、信号帯域計測結果、顔検出結果、テロップ検出結果、ＥＰＧ情報、カメラ撮影情報、動き検出結果、ユーザ嗜好情報の少なくともいずれかを含む前記（９）に記載の画像処理装置。

（１１）前記ＡＣ−ＤＣ成分制御部は、前記局所的奥行きマップ情報のＡＣ成分に対する前記局所的奥行き強調制御信号に応じたゲイン制御によって生成した局所的ＡＣ成分と、前記大局的奥行きマップ情報のＡＣ成分に対する前記局所的奥行き強調制御信号に応じたゲイン制御によって生成した大局的ＡＣ成分との加算処理により、制御統合奥行きマップＡＣ成分を生成し、前記局所的奥行きマップ情報のＤＣ成分と、前記大局的奥行きマップ情報のＤＣ成分を前記局所的奥行き強調制御信号に応じて加算して前記制御統合奥行きマップＤＣ成分を生成する前記（１）〜（１０）いずれかに記載の画像処理装置。

さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、２次元画像から局所的および大局的な奥行き推定を行い、これらを統合した高精度な推定奥行き値を適用した３Ｄ画像を生成する装置、方法が実現される。
具体的には、２次元画像の部分領域単位の特徴に基づく局所的奥行きマップ情報と、画像全体の特徴に基づく大局的奥行きマップ情報を生成し、さらに、局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、大局的奥行きマップ情報のＡＣ成分とＤＣ成分の各成分信号を生成し、局所的奥行き感の強調度合いを制御する局所的奥行き強調制御信号に従って、これら各成分信号を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する。さらに、これらをＡＣＤＣ成分を統合した統合奥行きマップ情報を生成し、統合奥行きマップ情報を適用して、２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する。
この構成により、２次元画像から高精度な奥行き推定を行い、精度の高い奥行き値を適用した３Ｄ画像を生成する装置、方法が実現される。

１００ 画像処理装置
１１１ 局所的奥行きマップ情報推定部
１１２ 局所的奥行きマップ情報補正部
１１３ 局所的奥行きマップ情報ＡＣ−ＤＣ分離部
１２１ 大局的奥行きマップ情報推定部
１２２ 大局的奥行きマップ情報補正部
１２３ 大局的奥行きマップ情報ＡＣ−ＤＣ分離部
１３１ ＡＣ−ＤＣ成分制御部
１３２ 統合奥行きマップ情報生成部
１３３ ３Ｄ画像生成部
３０１ 部分領域画像特徴抽出部
３０２ 特徴対応局所的奥行き情報変換部
３０３ 局所的奥行き統合部
３２１ 全画面特徴抽出部
３２２ 大局的奥行きシーン構図タイプ判定部
３２３ 大局的奥行き統合部
３５１ 奥行きマップブレンド比制御部
３５２ 固定奥行きマップ値設定部
３７１ ＬＵＴ選択部
３７２ ＬＵＴマップ変換部
３９１ 入出力特性設定部
３９２ マップ変換部
４１１ 局所的奥行きマップ情報ＤＣ算出部
４１２ 大局的奥行きマップ情報ＤＣ算出部
４３１ 大局的ＡＣ成分全体ゲイン設定部
４３２ 局所的ＡＣ成分全体ゲイン設定部
４３３ 局所的ＡＣ成分奥行き全体適応ゲイン設定部
４３４ 大局的ＡＣ成分制御部
４３５ 局所的ＡＣ成分制御部
４３６ 統合ＤＣ成分生成部
５１１ ＤＣ補正パラメータ抽出部
５１２ クリップ回避ＤＣ成分設定部
５３１ Ｄレンジ変換ＡＣ−ＤＣ成分生成部
５５１ 最大帆最小ＡＣ成分検出部
５５２ Ｄレンジ変換部
７１１ 局所的ＡＣ成分補正部
７３１ クリップ対象ＡＣ成分検出部
７３２ 局所的奥行きマップＡＣ成分強調処理部

Claims (13)

1. ２次元画像の部分領域単位の特徴に基づいて部分領域単位の奥行きを推定し、部分領域単位の奥行き推定情報である局所的奥行きマップ情報を生成する局所的奥行きマップ情報推定部と、
   ２次元画像の画像全体の特徴に基づいて画像全体単位の奥行きを推定し、画像全体単位の奥行き推定情報である大局的奥行きマップ情報を生成する大局的奥行きマップ情報推定部と、
   前記局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、前記大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成するＡＣ−ＤＣ成分制御部と、
   前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分に基づいて、統合奥行きマップ情報を生成する統合奥行きマップ情報生成部と、
   前記統合奥行きマップ情報を適用して、前記２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する３Ｄ画像生成部を有し、
   前記大局的奥行きマップ情報推定部は、
   前記大局的奥行きマップ情報に併せて、前記大局的奥行きマップ情報に応じた局所的奥行き感の強調度合いを制御する局所的奥行き強調制御信号を生成して出力し、
   前記ＡＣ−ＤＣ成分制御部は、
   前記局所的奥行き強調制御信号に基づいて、前記局所的奥行きマップ情報と前記大局的奥行きマップ情報の寄与率を制御して前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する構成である画像処理装置。
2. 前記大局的奥行きマップ情報推定部は、
   大局的奥行きを示す複数のシーン構図タイプから、画面全体の特徴量に応じて選択したシーン構図タイプを大局的奥行きマップ情報とする請求項１に記載の画像処理装置。
3. 前記局所的奥行きマップ情報推定部は、
   複数の異なる特徴量に応じた複数の奥行き情報を信頼度に応じて統合して前記局所的奥行きマップ情報を生成し、
   前記大局的奥行きマップ情報推定部は、
   複数の異なる特徴量に応じた複数の奥行き情報を信頼度に応じて統合して前記大局的奥行きマップ情報を生成する請求項１に記載の画像処理装置。
4. 前記局所的奥行きマップ情報推定部は、
   前記部分領域単位の特徴として、空間周波数、色、明るさ、コントラスト、動き情報の少なくともいずれかの特徴に基づく奥行き推定を実行する請求項１に記載の画像処理装置。
5. 前記大局的奥行きマップ情報推定部は、
   前記画像全体の特徴として、エッジ、色、明るさ、空間周波数、コントラスト、動き情報の少なくともいずれかの特徴に基づく奥行き推定を実行する請求項１に記載の画像処理装置。
6. 前記画像処理装置は、さらに、
   前記局所的奥行きマップ情報推定部の生成した局所的奥行きマップ情報を信頼度に応じて補正する局所的奥行きマップ情報補正部と、
   前記大局的奥行きマップ情報推定部の生成した大局的奥行きマップ情報を信頼度に応じて補正する大局的奥行きマップ情報補正部を有し、
   前記ＡＣ−ＤＣ成分制御部は、
   補正後の局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、補正後の大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する請求項１に記載の画像処理装置。
7. 前記局所的奥行きマップ情報補正部、および前記大局的奥行きマップ情報補正部は、奥行きマップ情報の信頼度が低い場合、奥行きマップ情報のダイナミックレンジを狭め、信頼度が高い場合には広げる補正処理を実行する請求項６に記載の画像処理装置。
8. 前記ＡＣ−ＤＣ成分制御部は、
   奥行きマップ情報で表現される奥側、手前側の、どちらか一方または両方で、奥行きマップ情報の設定値のクリップ処理が発生しないように、前記局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、前記大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する請求項１に記載の画像処理装置。
9. 前記ＡＣ−ＤＣ成分制御部は、
   外部ブロックからの制御信号を適用して、前記制御統合奥行きマップＡＣ成分、または前記制御統合奥行きマップＤＣ成分を生成する請求項１に記載の画像処理装置。
10. 前記外部ブロックからの制御信号は、ノイズ量計測結果、信号帯域計測結果、顔検出結果、テロップ検出結果、ＥＰＧ情報、カメラ撮影情報、動き検出結果、ユーザ嗜好情報の少なくともいずれかを含む請求項９に記載の画像処理装置。
11. 前記ＡＣ−ＤＣ成分制御部は、
    前記局所的奥行きマップ情報のＡＣ成分に対する前記局所的奥行き強調制御信号に応じたゲイン制御によって生成した局所的ＡＣ成分と、
    前記大局的奥行きマップ情報のＡＣ成分に対する前記局所的奥行き強調制御信号に応じたゲイン制御によって生成した大局的ＡＣ成分との加算処理により、制御統合奥行きマップＡＣ成分を生成し、
    前記局所的奥行きマップ情報のＤＣ成分と、前記大局的奥行きマップ情報のＤＣ成分を前記局所的奥行き強調制御信号に応じて加算して前記制御統合奥行きマップＤＣ成分を生成する請求項１に記載の画像処理装置。
12. 画像処理装置において実行する画像処理方法であり、
    局所的奥行きマップ情報推定部において、２次元画像の部分領域単位の特徴に基づいて部分領域単位の奥行きを推定し、部分領域単位の奥行き推定情報である局所的奥行きマップ情報を生成する局所的奥行きマップ情報推定処理と、
    大局的奥行きマップ情報推定部において、２次元画像の画像全体の特徴に基づいて画像全体単位の奥行きを推定し、画像全体単位の奥行き推定情報である大局的奥行きマップ情報を生成する大局的奥行きマップ情報推定処理と、
    ＡＣ−ＤＣ成分制御部において、前記局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、前記大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成するＡＣ−ＤＣ成分制御処理と、
    統合奥行きマップ情報生成部において、前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分に基づいて、統合奥行きマップ情報を生成する統合奥行きマップ情報生成処理と、
    ３Ｄ画像生成部において、前記統合奥行きマップ情報を適用して、前記２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する３Ｄ画像生成処理を実行し、
    前記大局的奥行きマップ情報推定処理において、
    前記大局的奥行きマップ情報に併せて、前記大局的奥行きマップ情報に応じた局所的奥行き感の強調度合いを制御する局所的奥行き強調制御信号を生成して出力し、
    前記ＡＣ−ＤＣ成分制御処理は、
    前記局所的奥行き強調制御信号に基づいて、前記局所的奥行きマップ情報と前記大局的奥行きマップ情報の寄与率を制御して前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する画像処理方法。
13. 画像処理装置において画像処理を実行させるプログラムであり、
    局所的奥行きマップ情報推定部において、２次元画像の部分領域単位の特徴に基づいて部分領域単位の奥行きを推定し、部分領域単位の奥行き推定情報である局所的奥行きマップ情報を生成する局所的奥行きマップ情報推定処理と、
    大局的奥行きマップ情報推定部において、２次元画像の画像全体の特徴に基づいて画像全体単位の奥行きを推定し、画像全体単位の奥行き推定情報である大局的奥行きマップ情報を生成する大局的奥行きマップ情報推定処理と、
    ＡＣ−ＤＣ成分制御部において、前記局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、前記大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成するＡＣ−ＤＣ成分制御処理と、
    統合奥行きマップ情報生成部において、前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分に基づいて、統合奥行きマップ情報を生成する統合奥行きマップ情報生成処理と、
    ３Ｄ画像生成部において、前記統合奥行きマップ情報を適用して、前記２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する３Ｄ画像生成処理を実行させ、
    前記大局的奥行きマップ情報推定処理において、
    前記大局的奥行きマップ情報に併せて、前記大局的奥行きマップ情報に応じた局所的奥行き感の強調度合いを制御する局所的奥行き強調制御信号を生成して出力させ、
    前記ＡＣ−ＤＣ成分制御処理において、
    前記局所的奥行き強調制御信号に基づいて、前記局所的奥行きマップ情報と前記大局的奥行きマップ情報の寄与率を制御して前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成させるプログラム。