JP2012253644A

JP2012253644A - 画像処理装置および方法、並びにプログラム

Info

Publication number: JP2012253644A
Application number: JP2011126028A
Authority: JP
Inventors: Satoshi Mizukami; 聡水上
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-06-06
Filing date: 2011-06-06
Publication date: 2012-12-20

Abstract

【課題】視聴者にとってより印象的な立体画像を提供する。
【解決手段】奥行き情報生成部は、２次元の画像における被写体の奥行きを表す奥行き情報を生成し、特定シーン検出部は、画像において注目すべきシーンである特定シーンを検出し、奥行き情報調整部は、特定シーンに対応する奥行き情報を調整する。本技術は、２次元画像から３次元画像を生成するのに用いられる奥行き情報を生成する画像処理装置に適用することができる。
【選択図】図１

Description

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、視聴者にとってより印象的な立体画像を提供することができるようにする画像処理装置および方法、並びにプログラムに関する。

従来、２次元画像における被写体の奥行きを表す奥行き情報を生成し、その奥行き情報に基づいて、２次元画像から３次元画像を生成する技術が提案されている（例えば、特許文献１参照）。

また、コンテンツにおいて、所望のシーンを検出することで、所望のダイジェストを生成するようにした技術がある（例えば、特許文献２参照）。

特開平１１−９８５３１号公報特開２０１０−１８３３８３号公報

ところで、特許文献１等の技術によって生成される奥行き情報は、画像の画素の画素値等に基づいて定量的に求められるのが一般的であり、特許文献２等の技術によって検出されるシーンに対応させた奥行き情報を求めることは行われていなかった。したがって、このような奥行き情報に基づいて生成される３次元画像は、シーンの盛り上がり等に対して単調なものとなっていた。

本技術は、このような状況に鑑みてなされたものであり、視聴者にとってより印象的な立体画像を提供することができるようにするものである。

本技術の一側面の画像処理装置は、２次元の画像における被写体の奥行きを表す奥行き情報を生成する奥行き情報生成部と、前記画像において注目すべきシーンである特定シーンを検出する特定シーン検出部と、前記特定シーンに対応する前記奥行き情報を調整する奥行き情報調整部とを備える。

前記画像処理装置には、前記特定シーンの検出結果に基づいて、前記特定シーンに対応する前記奥行き情報を調整するための調整係数を算出する係数算出部をさらに設け、前記奥行き情報調整部には、前記調整係数に基づいて、前記特定シーンに対応する前記奥行き情報を調整させることができる。

前記特定シーン検出部には、前記画像の特徴量に基づいて求められる評価値が所定の閾値より大きくなる前記画像の区間を、前記特定シーンとして検出させ、前記係数算出部には、前記特定シーンについての前記評価値に基づいて、前記調整係数を算出させることができる。

前記シーン検出部には、前記画像の前記特徴量に基づいて求められる複数種類の評価値の一部または全部が、それぞれについての所定の閾値より大きくなる前記画像の区間を、前記特定シーンとして検出させることができる。

前記係数算出部には、前記シーンに対応する前記奥行き情報の大小を調整するための前記調整係数を算出させ、前記奥行き情報調整部には、前記調整係数に基づいて、前記シーンに対応する前記奥行き情報の大小を調整させることができる。

前記画像処理装置には、前記奥行き情報調整部によって調整された前記奥行き情報に基づいて、前記画像を３次元画像として視認させるための左眼用画像および右眼用画像を生成する画像生成部をさらに設けることができる。

本技術の一側面の画像処理方法は、２次元の画像における被写体の奥行きを表す奥行き情報を生成する奥行き情報生成部と、前記画像において注目すべきシーンである特定シーンを検出する特定シーン検出部と、前記特定シーンに対応する前記奥行き情報を調整する奥行き情報調整部とを備える画像処理装置の画像処理方法であって、前記画像処理装置が、２次元の画像における被写体の奥行きを表す奥行き情報を生成し、前記画像において注目すべきシーンである特定シーンを検出し、前記特定シーンに対応する前記奥行き情報を調整するステップを含む。

本技術の一側面のプログラムは、２次元の画像における被写体の奥行きを表す奥行き情報を生成する奥行き情報生成ステップと、前記画像において注目すべきシーンである特定シーンを検出する特定シーン検出ステップと、前記特定シーンに対応する前記奥行き情報を調整する奥行き情報調整ステップとを含む処理をコンピュータに実行させる。

本技術の一側面においては、２次元の画像における被写体の奥行きを表す奥行き情報が生成され、画像において注目すべきシーンである特定シーンが検出され、特定シーンに対応する奥行き情報が調整される。

本技術の一側面によれば、視聴者にとってより印象的な立体画像を提供することが可能となる。

本技術を適用した奥行き情報生成装置の一実施の形態の機能構成例を示すブロック図である。奥行き情報生成処理について説明するフローチャートである。奥行き情報生成装置の他の機能構成例を示すブロック図である。本技術を適用した３次元画像生成装置の一実施の形態の機能構成例を示すブロック図である。３次元画像生成処理について説明するフローチャートである。コンピュータのハードウェアの構成例を示すブロック図である。

以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．奥行き情報生成装置の構成と奥行き情報生成処理
２．３次元画像生成装置の構成と３次元画像生成処理

＜１．奥行き情報生成装置の構成と奥行き情報生成処理＞
［奥行き情報生成装置の構成］
図１は、本技術を適用した画像処理装置としての奥行き情報生成装置の一実施の形態の構成を示している。

図１の奥行き情報生成装置１１は、画像信号として入力されてくる２次元画像（動画像）に基づいて、２次元画像における被写体の奥行きを表す奥行き情報を生成し、その奥行き情報を、２次元画像から３次元画像を生成する３次元画像生成装置に供給する。

奥行き情報生成装置１１は、奥行き情報生成部３１、特定シーン検出部３２、係数算出部３３、および奥行き情報調整部３４から構成される。

奥行き情報生成部３１は、画像信号として入力されてくる２次元画像に基づいて、動画像のフレームにおける被写体の奥行きを表す奥行き情報を生成し、奥行き情報調整部３４に供給する。

特定シーン検出部３２は、画像信号として入力されてくる２次元画像において、注目すべきシーンである特定シーンを検出し、その結果であるシーン検出結果を係数算出部３３に供給する。

係数算出部３３は、特定シーン検出部３２からのシーン検出結果に基づいて、２次元画像において特定シーンに対応するフレームについて生成された奥行き情報を調整するための調整係数を算出する。また、係数算出部３３は、例えば、ユーザの指示に応じて入力されてくる、調整係数を調整するための係数調整用パラメータに基づいて、算出した調整係数を調整する。このようにして得られた調整係数は、奥行き情報調整部３４に供給される。

奥行き情報調整部３４は、係数算出部３３からの調整係数に基づいて、奥行き情報生成部３１からの奥行き情報のうちの、特定シーンに対応するフレームについて生成された奥行き情報を調整し、図示せぬ３次元画像生成装置に供給する。

［奥行き情報生成処理］
次に、図２のフローチャートを参照して、奥行き情報生成装置１１による奥行き情報生成処理について説明する。図２の奥行き情報生成処理は、奥行き情報生成装置１１に、画像信号としての２次元画像（動画像）が入力されると開始される。

ステップＳ３１において、奥行き情報生成部３１は、入力されてくる２次元画像に基づいて、奥行き情報を生成し、奥行き情報調整部３４に供給する。

例えば、奥行き情報生成部３１は、フィルタ処理等により２次元画像の各フレームから高域成分を抽出するとともに、２次元画像をいくつかの領域に分割する。そして、奥行き情報生成部３１は、分割した領域毎に、領域内の各位置における高域成分の値の絶対値和（積算値）を求めることで、奥行き情報を生成する。

一般的に、ユーザから見て手前側に見える（定位する）被写体、つまり前景の領域や、画像上の焦点の合っている領域には高域成分が多く含まれており、そのような領域に対応する奥行き情報の値（高域成分の積算値）は大きくなると考えられる。したがって、奥行き情報の値が大きい領域ほど、ユーザから見て、より手前側に見える被写体の領域であるとすることができる。

また、奥行き情報生成部３１は、画像上の各画素の色を特定して、暖色系の色を有する画素は手前側にある被写体の画素であるとし、寒色系の色を有する画素は奥側にある被写体の画素であるとして、奥行き情報を生成するようにしてもよい。これは、暖色系の色ほど手前側に定位しているように見えるという人間の視覚特性を利用したものである。

なお、奥行き情報の生成方法は、上述した方法に限らず、既存の２Ｄ３Ｄ変換技術を利用した方法等であってもよい。例えば、２Ｄ３Ｄ変換技術については、「JVC,”Real-time 2D-to-3D Conversion at Full HD 1080P Resolution” The 13th IEEE International Symposium on Consumer Electronics(ISCE2009)」や「東芝”2D to 3Dコンテンツ変換技術”映像情報メディア学会年次大会２０１０」等に詳細に記載されている。

図２のフローチャートに戻り、ステップＳ３２において、特定シーン検出部３２は、入力されてくる２次元画像において、特定シーンを検出し、シーン検出結果を係数算出部３３に供給する。

具体的には、特定シーン検出部３２は、２次元画像の特徴量を抽出し、その特徴量に基づいた評価値を求める。そして、特定シーン検出部３２は、評価値が所定の閾値より大きくなる２次元画像の区間を特定シーンとして検出し、その検出結果として、１または０の値を係数算出部３３に供給する。すなわち、特定シーンである区間については、検出結果は１となり、特定シーンでない区間については、検出結果は０となる。また、ここでは、特徴量として、音声の音量や高域成分、画像の動きベクトルや高域成分、ズーム、パンの程度などのうちのいずれか１つが抽出され、この特徴量に基づいて、盛り上がりの評価値が求められる。

なお、特徴量として、盛り上がりの評価値を求めるための特徴量を抽出するようにしたが、その他の評価値を求めるための特徴量を抽出するようにしてもよい。また、特定シーンの検出方法は、ユーザの注目すべきシーンが検出されればよく、上述した方法に限らず、既存のシーン検出技術を用いた方法であってもよい。

図２のフローチャートで示される奥行き情報生成処理においては、奥行き情報生成部３１と特定シーン検出部３２とは、互いに同期してそれぞれの処理を実行する。例えば、奥行き情報生成部３１と特定シーン検出部３２とは、入力されてくる２次元画像の所定数フレームを処理単位として、それぞれの処理を実行する。

なお、奥行き情報生成部３１と特定シーン検出部３２とで処理単位を同期させることができない場合には、後段の奥行き情報調整部３４において、処理単位のずれを調整させるようにする。

図２のフローチャートに戻り、ステップＳ３３において、係数算出部３３は、特定シーン検出部３２からの特定シーンの検出結果に基づいて、調整係数を算出する。

具体的には、係数算出部３３は、特定シーン検出部３２からの検出結果としての１または０の値に基づいて、２次元画像の各フレームについて生成された奥行き情報の大小を調整するための調整係数を算出する。例えば、係数算出部３３は、特定シーンの検出結果が１である場合、奥行き情報を大きくするための調整係数を算出し、特定シーンの検出結果が０である場合、奥行き情報を小さくするための調整係数を算出し、奥行き情報調整部３４に供給する。この調整係数は、奥行き情報生成部３１において分割された領域毎に算出される。

ステップＳ３４において、奥行き情報調整部３４は、係数算出部３３からの調整係数に基づいて、奥行き情報生成部３１からの奥行き情報を調整する。

具体的には、奥行き情報調整部３４は、係数算出部３３からの調整係数が奥行き情報を大きくするための調整係数である場合、対応するフレームについて生成された奥行き情報を大きくするよう調整する。また、奥行き情報調整部３４は、係数算出部３３からの調整係数が奥行き情報を小さくするための調整係数である場合、対応するフレームについて生成された奥行き情報を小さくするよう調整する。

すなわち、奥行き情報調整部３４は、特定シーンに対応するフレームについての奥行き情報を大きくし、特定シーンに対応しないフレームについての奥行き情報を小さくするよう、奥行き情報を調整する。

ステップＳ３５において、奥行き情報生成装置１１は、全ての画像信号について処理したか否かを判定する。全ての画像信号について処理していないと判定された場合、処理はステップＳ３１に戻り、ステップＳ３１乃至Ｓ３５の処理が繰り返される。一方、全ての画像信号について処理したと判定された場合、処理は終了する。

以上の処理によれば、２次元画像の奥行き情報が生成されるとともに、２次元画像における特定シーンが検出され、その検出結果に応じた調整係数に基づいて、奥行き情報が調整され、ユーザの注目するシーンについての奥行き情報が強調されるようになる。したがって、このようにして得られた奥行き情報に基づいて生成される３次元画像においては、ユーザの注目するシーンの奥行き感が強調されるようになり、これにより、視聴者にとってより印象的な立体画像を提供することが可能となる。

なお、ステップＳ３３においては、係数算出部３３は、算出した調整係数を、ユーザの指示によって入力されてくる係数調整用パラメータに基づいて調整するようにしてもよい。

また、以上においては、係数算出部３３は、処理単位毎に得られるシーン検出結果である１または０の値に応じて調整係数を算出するようにしたが、シーン検出結果である１または０の値の連続する時間的な長さに応じて調整係数を算出するようにしてもよい。具体的には、係数算出部３３は、特定シーンの検出結果として１が連続するほど、奥行き情報をより大きくするような調整係数を算出し、特定シーンの検出結果として０が連続するほど、奥行き情報をより小さくするような調整係数を算出するようにしてもよい。

さらに、以上においては、特定シーンの検出結果を１または０の値とするようにしたが、特定シーンの検出結果を、動画像の特徴量から求められる評価値そのものとするようにしてもよい。この場合、係数算出部３３は、その評価値に基づいて調整係数を算出したり、評価値そのものを調整係数とするようにもできる。

このように、調整係数を細かく算出（設定）することで、奥行き情報の大小をより細かく調整することができるようになり、ひいては、最終的に得られる立体画像の奥行き感をより細かく調整することができるようになる。

さらに、以上においては、特定シーンを検出する際、動画像から抽出される１つの特徴量が抽出され、この特徴量に基づいて評価値が求められるようにしたが、動画像から複数の特徴量を抽出するようにし、これらの特徴量に基づいて複数の評価値が求められるようにしてもよい。

［奥行き情報生成装置の他の構成］
ここで、図３を参照して、特定シーンを検出する際に複数の評価値を求めるようにした奥行き情報生成装置の構成を示している。

なお、図３の奥行き情報生成装置１１１において、図１の奥行き情報生成装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図３の奥行き情報生成装置１１１において、図１の奥行き情報生成装置１１と異なるのは、特定シーン検出部３２に代えて、特定シーン検出部１３１を設けた点である。

特定シーン検出部１３１は、第１の特定シーン検出部１３１−１乃至第ｎの特定シーン検出部１３１−ｎを備え、動画像である２次元画像のｎ個の特徴量を抽出し、それぞれの特徴量に基づいた評価値を求める。そして、特定シーン検出部３２は、評価値の一部または全部が所定の閾値より大きくなる動画像の区間を特定シーンとして検出し、その検出結果として、１または０の値を係数算出部３３に供給する。なお、ここでは、ｎ個の特徴量として、音声の音量や高域成分、画像の動きベクトルや高域成分、ズーム、パンの程度などが抽出される。

図３の奥行き情報生成装置１１１においても、図１の奥行き情報生成装置１１と同様の作用効果を奏することができる。なお、図３の奥行き情報生成装置１１１による奥行き情報生成処理については、図２のフローチャートを参照して説明した、図１の奥行き情報生成装置１１の処理と基本的に同様であるので、その説明は省略する。

さらに、複数の評価値に基づいて特定シーンが検出されるようにしたので、ユーザの注目度がより詳細に反映された特定シーンが検出され、その検出結果に応じた調整係数に基づいて、奥行き情報が調整されるので、ユーザの注目するシーンについての奥行き情報がよりユーザの嗜好に応じて強調されるようになる。したがって、このようにして得られた奥行き情報に基づいて生成される３次元画像において、ユーザの注目するシーンの奥行き感がよりユーザの嗜好に応じて強調されるようになり、これにより、視聴者にとってより印象的で、かつ満足度の高い立体画像を提供することが可能となる。

＜２．３次元画像生成装置の構成と３次元画像生成処理＞
［３次元画像生成装置の構成］
図４は、本技術を適用した画像処理装置としての３次元画像生成装置の一実施の形態の構成を示している。

図４の３次元画像生成装置２１１は、画像信号として入力されてくる２次元画像（動画像）に基づいて、２次元画像における被写体の奥行きを表す奥行き情報を生成し、その奥行き情報に基づいて、２次元画像から３次元画像を生成し、図示せぬ表示装置等に出力する。

なお、図４の３次元画像生成装置２１１において、図１の奥行き情報生成装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図４の３次元画像生成装置２１１において、図１の奥行き情報生成装置１１と異なるのは、３次元画像生成部２３１を新たに設けた点である。

３次元画像生成部２３１は、奥行き情報調整部３４からの奥行き情報に基づいて、画像信号として入力されてくる２次元画像を、３次元画像としてユーザに視認させるための左眼用画像および右眼用画像を生成し、図示せぬ表示装置等に出力する。

［３次元画像生成処理］
次に、図５のフローチャートを参照して、３次元画像生成装置２１１による３次元画像生成処理について説明する。

なお、図５のフローチャートにおけるステップＳ１３１乃至Ｓ１３４，Ｓ１３６における処理は、図１のフローチャートにおけるステップＳ３１乃至Ｓ３５における処理と同様であるので、その説明は省略する。

ステップＳ１３４において調整された奥行き情報は、３次元画像生成部２３１に供給される。

ステップＳ１３５において、３次元画像生成部２３１は、奥行き情報調整部３４からの調整された奥行き情報に基づいて、画像信号として入力されてくる２次元画像から３次元画像を生成する。

具体的には、３次元画像生成部２３１は、奥行き情報調整部３４からの調整された奥行き情報に基づいて、奥行き情報生成部３１によって分割された領域毎に視差情報を生成する。そして、３次元画像生成部２３１は、領域毎の視差情報に基づいて、ユーザの左眼に視認される左眼用画像と、ユーザの右眼に視認される右眼用画像に視差が生じるように、左眼用画像信号および右眼用画像信号を生成し、図示せぬ表示装置等に出力する。なお、奥行き情報に基づく視差情報の生成方法、および、視差情報に基づく左眼用画像および右眼用画像の生成方法については、例えば、特開平６−１０５８３号公報等に詳細に記載されている。

また、図４の３次元画像生成装置２１１において、特定シーン検出部３２に代えて、図３の特定シーン検出部１３１を備えるようにしてもよい。これにより、図３の奥行き情報生成装置１１１と同様の作用効果を奏することができる。

なお、上述した構成において、奥行き情報生成部３１および特定シーン検出部３２は、既存技術の機能を有するブロックであればよいので、用途に合わせてこれらを適宜交換可能とすることで、汎用性の高いシステムを構築することができる。

上述した一連の処理の一部または全部は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。

図６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

さらに、本技術は以下のような構成をとることができる。
（１）２次元の画像における被写体の奥行きを表す奥行き情報を生成する奥行き情報生成部と、
前記画像において注目すべきシーンである特定シーンを検出する特定シーン検出部と、
前記特定シーンに対応する前記奥行き情報を調整する奥行き情報調整部と
を備える画像処理装置。
（２）前記特定シーンの検出結果に基づいて、前記特定シーンに対応する前記奥行き情報を調整するための調整係数を算出する係数算出部をさらに備え、
前記奥行き情報調整部は、前記調整係数に基づいて、前記特定シーンに対応する前記奥行き情報を調整する
（１）に記載の画像処理装置。
（３）前記特定シーン検出部は、前記画像の特徴量に基づいて求められる評価値が所定の閾値より大きくなる前記画像の区間を、前記特定シーンとして検出し、
前記係数算出部は、前記特定シーンについての前記評価値に基づいて、前記調整係数を算出する
（２）に記載の画像処理装置。
（４）前記シーン検出部は、前記画像の前記特徴量に基づいて求められる複数種類の評価値の一部または全部が、それぞれについての所定の閾値より大きくなる前記画像の区間を、前記特定シーンとして検出する
（３）に記載の画像処理装置。
（５）前記係数算出部は、前記シーンに対応する前記奥行き情報の大小を調整するための前記調整係数を算出し、
前記奥行き情報調整部は、前記調整係数に基づいて、前記シーンに対応する前記奥行き情報の大小を調整する
（２）乃至（４）のいずれかに記載の画像処理装置。
（６）前記奥行き情報調整部によって調整された前記奥行き情報に基づいて、前記画像を３次元画像として視認させるための左眼用画像および右眼用画像を生成する画像生成部をさらに備える
（１）乃至（５）のいずれかに記載の画像処理装置。
（７）２次元の画像における被写体の奥行きを表す奥行き情報を生成する奥行き情報生成部と、
前記画像において注目すべきシーンである特定シーンを検出する特定シーン検出部と、
前記特定シーンに対応する前記奥行き情報を調整する奥行き情報調整部と
を備える画像処理装置の画像処理方法において、
前記画像処理装置が、
２次元の画像における被写体の奥行きを表す奥行き情報を生成し、
前記画像において注目すべきシーンである特定シーンを検出し、
前記特定シーンに対応する前記奥行き情報を調整する
ステップを含む画像処理方法。
（８）２次元の画像における被写体の奥行きを表す奥行き情報を生成する奥行き情報生成ステップと、
前記画像において注目すべきシーンである特定シーンを検出する特定シーン検出ステップと、
前記特定シーンに対応する前記奥行き情報を調整する奥行き情報調整ステップと
を含む処理をコンピュータに実行させるプログラム。

１１奥行き情報生成装置，３１奥行き情報生成部，３２特定シーン検出部，３３係数算出部，３４奥行き情報調整部，１１１奥行き情報生成装置，１３１特定シーン検出部，２１１３次元画像生成装置，２３１３次元画像生成部

Claims

２次元の画像における被写体の奥行きを表す奥行き情報を生成する奥行き情報生成部と、
前記画像において注目すべきシーンである特定シーンを検出する特定シーン検出部と、
前記特定シーンに対応する前記奥行き情報を調整する奥行き情報調整部と
を備える画像処理装置。
前記特定シーンの検出結果に基づいて、前記特定シーンに対応する前記奥行き情報を調整するための調整係数を算出する係数算出部をさらに備え、
前記奥行き情報調整部は、前記調整係数に基づいて、前記特定シーンに対応する前記奥行き情報を調整する
請求項１に記載の画像処理装置。
前記特定シーン検出部は、前記画像の特徴量に基づいて求められる評価値が所定の閾値より大きくなる前記画像の区間を、前記特定シーンとして検出し、
前記係数算出部は、前記特定シーンについての前記評価値に基づいて、前記調整係数を算出する
請求項２に記載の画像処理装置。
前記シーン検出部は、前記画像の前記特徴量に基づいて求められる複数種類の評価値の一部または全部が、それぞれについての所定の閾値より大きくなる前記画像の区間を、前記特定シーンとして検出する
請求項３に記載の画像処理装置。
前記係数算出部は、前記シーンに対応する前記奥行き情報の大小を調整するための前記調整係数を算出し、
前記奥行き情報調整部は、前記調整係数に基づいて、前記シーンに対応する前記奥行き情報の大小を調整する
請求項２に記載の画像処理装置。
前記奥行き情報調整部によって調整された前記奥行き情報に基づいて、前記画像を３次元画像として視認させるための左眼用画像および右眼用画像を生成する画像生成部をさらに備える
請求項１に記載の画像処理装置。
２次元の画像における被写体の奥行きを表す奥行き情報を生成する奥行き情報生成部と、
前記画像において注目すべきシーンである特定シーンを検出する特定シーン検出部と、
前記特定シーンに対応する前記奥行き情報を調整する奥行き情報調整部と
を備える画像処理装置の画像処理方法において、
前記画像処理装置が、
２次元の画像における被写体の奥行きを表す奥行き情報を生成し、
前記画像において注目すべきシーンである特定シーンを検出し、
前記特定シーンに対応する前記奥行き情報を調整する
ステップを含む画像処理方法。
２次元の画像における被写体の奥行きを表す奥行き情報を生成する奥行き情報生成ステップと、
前記画像において注目すべきシーンである特定シーンを検出する特定シーン検出ステップと、
前記特定シーンに対応する前記奥行き情報を調整する奥行き情報調整ステップと
を含む処理をコンピュータに実行させるプログラム。