JP2013172214A5

JP2013172214A5 -

Info

Publication number: JP2013172214A5
Application number: JP2012033427A
Authority: JP
Filing date: 2012-02-17
Publication date: 2015-02-19

Claims

２次元画像の部分領域単位の特徴に基づいて部分領域単位の奥行きを推定し、部分領域単位の奥行き推定情報である局所的奥行きマップ情報を生成する局所的奥行きマップ情報推定部と、
２次元画像の画像全体の特徴に基づいて画像全体単位の奥行きを推定し、画像全体単位の奥行き推定情報である大局的奥行きマップ情報を生成する大局的奥行きマップ情報推定部と、
前記局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、前記大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成するＡＣ−ＤＣ成分制御部と、
前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分に基づいて、統合奥行きマップ情報を生成する統合奥行きマップ情報生成部を有し、
前記大局的奥行きマップ情報推定部は、
前記大局的奥行きマップ情報に併せて、前記大局的奥行きマップ情報に応じた局所的奥行き感の強調度合いを制御する局所的奥行き強調制御信号を生成して出力し、
前記ＡＣ−ＤＣ成分制御部は、
前記局所的奥行き強調制御信号に基づいて、前記局所的奥行きマップ情報と前記大局的奥行きマップ情報の寄与率を制御して前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する構成である画像処理装置。
前記大局的奥行きマップ情報推定部は、
大局的奥行きを示す複数のシーン構図タイプから、画面全体の特徴量に応じて選択したシーン構図タイプを大局的奥行きマップ情報とする請求項１に記載の画像処理装置。
前記局所的奥行きマップ情報推定部は、
複数の異なる特徴量に応じた複数の奥行き情報を信頼度に応じて統合して前記局所的奥行きマップ情報を生成し、
前記大局的奥行きマップ情報推定部は、
複数の異なる特徴量に応じた複数の奥行き情報を信頼度に応じて統合して前記大局的奥行きマップ情報を生成する請求項１に記載の画像処理装置。
前記局所的奥行きマップ情報推定部は、
前記部分領域単位の特徴として、空間周波数、色、明るさ、コントラスト、動き情報の少なくともいずれかの特徴に基づく奥行き推定を実行する請求項１に記載の画像処理装置。
前記大局的奥行きマップ情報推定部は、
前記画像全体の特徴として、エッジ、色、明るさ、空間周波数、コントラスト、動き情報の少なくともいずれかの特徴に基づく奥行き推定を実行する請求項１に記載の画像処理装置。
前記画像処理装置は、さらに、
前記局所的奥行きマップ情報推定部の生成した局所的奥行きマップ情報を信頼度に応じて補正する局所的奥行きマップ情報補正部と、
前記大局的奥行きマップ情報推定部の生成した大局的奥行きマップ情報を信頼度に応じて補正する大局的奥行きマップ情報補正部を有し、
前記ＡＣ−ＤＣ成分制御部は、
補正後の局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、補正後の大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する請求項１に記載の画像処理装置。
前記局所的奥行きマップ情報補正部、および前記大局的奥行きマップ情報補正部は、奥行きマップ情報の信頼度が低い場合、奥行きマップ情報のダイナミックレンジを狭め、信頼度が高い場合には広げる補正処理を実行する請求項６に記載の画像処理装置。
前記ＡＣ−ＤＣ成分制御部は、
奥行きマップ情報で表現される奥側、手前側の、どちらか一方または両方で、奥行きマップ情報の設定値のクリップ処理が発生しないように、前記局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、前記大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する請求項１に記載の画像処理装置。
前記ＡＣ−ＤＣ成分制御部は、
外部ブロックからの制御信号を適用して、前記制御統合奥行きマップＡＣ成分、または前記制御統合奥行きマップＤＣ成分を生成する請求項１に記載の画像処理装置。
前記外部ブロックからの制御信号は、ノイズ量計測結果、信号帯域計測結果、顔検出結果、テロップ検出結果、ＥＰＧ情報、カメラ撮影情報、動き検出結果、ユーザ嗜好情報の少なくともいずれかを含む請求項９に記載の画像処理装置。
前記ＡＣ−ＤＣ成分制御部は、
前記局所的奥行きマップ情報のＡＣ成分に対する前記局所的奥行き強調制御信号に応じたゲイン制御によって生成した局所的ＡＣ成分と、
前記大局的奥行きマップ情報のＡＣ成分に対する前記局所的奥行き強調制御信号に応じたゲイン制御によって生成した大局的ＡＣ成分との加算処理により、制御統合奥行きマップＡＣ成分を生成し、
前記局所的奥行きマップ情報のＤＣ成分と、前記大局的奥行きマップ情報のＤＣ成分を前記局所的奥行き強調制御信号に応じて加算して前記制御統合奥行きマップＤＣ成分を生成する請求項１に記載の画像処理装置。
前記画像処理装置は、さらに、
前記統合奥行きマップ情報を適用して、前記２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する３Ｄ画像生成部を有する請求項１に記載の画像処理装置。
画像処理装置において実行する画像処理方法であり、
局所的奥行きマップ情報推定部において、２次元画像の部分領域単位の特徴に基づいて部分領域単位の奥行きを推定し、部分領域単位の奥行き推定情報である局所的奥行きマップ情報を生成する局所的奥行きマップ情報推定処理と、
大局的奥行きマップ情報推定部において、２次元画像の画像全体の特徴に基づいて画像全体単位の奥行きを推定し、画像全体単位の奥行き推定情報である大局的奥行きマップ情報を生成する大局的奥行きマップ情報推定処理と、
ＡＣ−ＤＣ成分制御部において、前記局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、前記大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成するＡＣ−ＤＣ成分制御処理と、
統合奥行きマップ情報生成部において、前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分に基づいて、統合奥行きマップ情報を生成する統合奥行きマップ情報生成処理を実行し、
前記大局的奥行きマップ情報推定処理において、
前記大局的奥行きマップ情報に併せて、前記大局的奥行きマップ情報に応じた局所的奥行き感の強調度合いを制御する局所的奥行き強調制御信号を生成して出力し、
前記ＡＣ−ＤＣ成分制御処理は、
前記局所的奥行き強調制御信号に基づいて、前記局所的奥行きマップ情報と前記大局的奥行きマップ情報の寄与率を制御して前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成する画像処理方法。
前記画像処理方法は、さらに、
３Ｄ画像生成部において、前記統合奥行きマップ情報を適用して、前記２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する３Ｄ画像生成処理を実行する請求項１３に記載の画像処理方法。
画像処理装置において画像処理を実行させるプログラムであり、
局所的奥行きマップ情報推定部において、２次元画像の部分領域単位の特徴に基づいて部分領域単位の奥行きを推定し、部分領域単位の奥行き推定情報である局所的奥行きマップ情報を生成する局所的奥行きマップ情報推定処理と、
大局的奥行きマップ情報推定部において、２次元画像の画像全体の特徴に基づいて画像全体単位の奥行きを推定し、画像全体単位の奥行き推定情報である大局的奥行きマップ情報を生成する大局的奥行きマップ情報推定処理と、
ＡＣ−ＤＣ成分制御部において、前記局所的奥行きマップ情報のＡＣ成分とＤＣ成分と、前記大局的奥行きマップ情報のＡＣ成分とＤＣ成分を統合して制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成するＡＣ−ＤＣ成分制御処理と、
統合奥行きマップ情報生成部において、前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分に基づいて、統合奥行きマップ情報を生成する統合奥行きマップ情報生成処理を実行させ、
前記大局的奥行きマップ情報推定処理において、
前記大局的奥行きマップ情報に併せて、前記大局的奥行きマップ情報に応じた局所的奥行き感の強調度合いを制御する局所的奥行き強調制御信号を生成して出力させ、
前記ＡＣ−ＤＣ成分制御処理において、
前記局所的奥行き強調制御信号に基づいて、前記局所的奥行きマップ情報と前記大局的奥行きマップ情報の寄与率を制御して前記制御統合奥行きマップＡＣ成分と、制御統合奥行きマップＤＣ成分を生成させるプログラム。
前記プログラムは、さらに、
３Ｄ画像生成部において、前記統合奥行きマップ情報を適用して、前記２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する３Ｄ画像生成処理を実行させる請求項１５に記載のプログラム。