JP2014016792A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】より自然で立体感のある３Ｄ画像を得ることができるようにする。
【解決手段】検出結果安定化部は、２Ｄ画像から検出された顔領域の位置およびサイズが、２Ｄ画像に対するシーン認識結果から推定される構図に対して不自然か否かを判定し、不自然である場合には、顔領域の検出結果は誤検出であるとする。また、顔領域の位置およびサイズが不自然でない場合、簡易奥行きマップ生成部は、顔領域の位置およびサイズから定まる半楕円体形状のモデルに基づいて簡易奥行きマップを生成する。さらに平滑化フィルタ処理部は、簡易奥行きマップに対してエッジ保存型の平滑化フィルタでフィルタ処理を施し、顔奥行きマップを生成する。視差生成部は、顔奥行きマップを用いて２Ｄ画像を３Ｄ画像に変換する。本技術は、画像処理装置に適用することができる。
【選択図】図１

Description

本技術は画像処理装置および方法、並びにプログラムに関し、特に、より自然で立体感のある立体画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。

近年、立体表示（３Ｄ表示）可能な液晶ディスプレイやPDP（Plasma Display Panel）が普及し始めているが、ネイティブの３Ｄコンテンツが不足しているのが現状である。

そこで、通常の２Ｄ画像（２次元画像）の画像信号を、擬似的に３Ｄ画像の画像信号に変換する技術により、３Ｄコンテンツの不足を補う技術が求められている。

例えば、そのような技術として、基本となる３種類のシーン構造のそれぞれについて、奥行き値を示す基本奥行きモデルを用意し、それらの基本奥行きモデルを合成することで、３Ｄ画像の画像信号を生成する技術が提案されている（例えば、特許文献１参照）。この技術では、２Ｄ画像の高域成分の評価結果に応じて基本奥行きモデルの合成比率が決定され、合成されて得られたモデルに基づいて、２Ｄ画像が３Ｄ画像に変換される。

特開２００６−１８６５１０号公報

しかしながら、上述した技術では、画像上の人の顔領域を自然な立体感で再現することは困難であった。

本技術は、このような状況に鑑みてなされたものであり、より自然で立体感のある立体画像を得ることができるようにするものである。

本技術の一側面の画像処理装置は、２次元の入力画像に対するシーン認識を行なうシーン認識部と、前記シーン認識の結果に基づいて、前記入力画像からの顔領域の検出結果が誤検出であるか否かを判定する検出結果安定化部と、前記顔領域の検出結果が誤検出でない場合、前記顔領域の検出結果に基づいて、前記顔領域の奥行きを示す顔奥行きマップを生成する顔奥行きマップ生成部と、前記顔奥行きマップに基づいて、前記入力画像を立体画像に変換する視差生成部とを備える。

前記検出結果安定化部には、前記顔領域の位置およびサイズが、前記シーン認識の結果から推定される前記入力画像の構図に対して定まる条件を満たしているか否かを判定することで、前記顔領域の検出結果が誤検出であるか否かを判定させることができる。

画像処理装置には、検出された前記顔領域にある顔の形状が半楕円体形状であるものとして、前記顔領域の位置およびサイズに基づいて、簡易的な前記顔領域の奥行きを示す簡易奥行きマップを生成する簡易奥行きマップ生成部をさらに設け、前記顔奥行きマップ生成部には、前記簡易奥行きマップおよび前記入力画像に基づいて、前記顔奥行きマップを生成させることができる。

前記顔奥行きマップ生成部には、前記入力画像に対してエッジ検出を行なわせるとともに、前記エッジ検出の結果に基づいて定められたエッジ保存型平滑化フィルタを用いて、前記簡易奥行きマップに対してフィルタ処理を施させることで、前記顔奥行きマップを生成させることができる。

画像処理装置には、前記顔領域の位置およびサイズの時間的な変動を検出することで、前記顔領域の検出の信頼度を算出する信頼度計算部をさらに設け、前記簡易奥行きマップ生成部には、前記信頼度に基づいて前記簡易奥行きマップにより示される奥行きを調整することで、最終的な前記簡易奥行きマップを生成させることができる。

画像処理装置には、前記顔領域の位置およびサイズに対して、前記顔領域の位置およびサイズを時間方向に安定化させるフィルタ処理を施すフィルタ処理部をさらに設け、前記簡易奥行きマップ生成部には、前記フィルタ処理部によりフィルタ処理が施された前記顔領域の位置およびサイズに基づいて、前記簡易奥行きマップを生成させることができる。

本技術の一側面の画像処理方法またはプログラムは、２次元の入力画像に対するシーン認識を行ない、前記シーン認識の結果に基づいて、前記入力画像からの顔領域の検出結果が誤検出であるか否かを判定し、前記顔領域の検出結果が誤検出でない場合、前記顔領域の検出結果に基づいて、前記顔領域の奥行きを示す顔奥行きマップを生成し、前記顔奥行きマップに基づいて、前記入力画像を立体画像に変換するステップを含む。

本技術の一側面においては、２次元の入力画像に対するシーン認識が行なわれ、前記シーン認識の結果に基づいて、前記入力画像からの顔領域の検出結果が誤検出であるか否かが判定され、前記顔領域の検出結果が誤検出でない場合、前記顔領域の検出結果に基づいて、前記顔領域の奥行きを示す顔奥行きマップが生成され、前記顔奥行きマップに基づいて、前記入力画像が立体画像に変換される。

本技術の一側面によれば、より自然で立体感のある立体画像を得ることができる。

画像処理装置の構成例を示す図である。 検出結果安定化部の構成例を示す図である。 不自然な位置やサイズの顔領域について説明する図である。 時間安定化部の構成例を示す図である。 位置信頼度およびサイズ信頼度について説明する図である。 簡易奥行きマップ生成部の構成例を示す図である。 簡易奥行きマップの生成について説明する図である。 平滑化フィルタ処理部の構成例を示す図である。 ２Ｄ／３Ｄ変換処理を説明するフローチャートである。 不自然な位置やサイズの顔領域について説明する図である。 不自然な位置やサイズの顔領域について説明する図である。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
［本技術の概要について］
まず、本技術の概要について説明する。

例えば、色や明るさを手がかりとして２Ｄ画像を３Ｄ画像に変換するよりも、より立体感のある３Ｄ画像が得られるように、２Ｄ画像から人の顔領域を検出し、その顔領域に応じた奥行きマップに基づいて３Ｄ画像を生成する手法が提案されている。奥行きマップは、画像の各領域の奥行きを示す情報であり、これから得ようとする３Ｄ画像の被写体が奥行きマップで示される奥行きとなるように、２Ｄ画像が３Ｄ画像に変換される。

しかしながら、２Ｄ画像から顔領域を高精度に検出することは困難であるため、実際の顔領域と、奥行きマップにおける顔領域に対応する領域とに位置ずれが生じてしまい、２Ｄ画像から得られる３Ｄ画像が不自然な立体感の画像となってしまうことがある。すなわち、人の顔の領域の立体感が不自然になってしまうことがある。また、顔検出で誤検出が生じると、実際には顔の領域ではない領域に、顔領域に応じた奥行きの値をもつ奥行きマップが生成されてしまう。

そこで、本技術では、２Ｄ画像に対するシーン認識を利用して、顔検出の精度を向上させる。これにより、安定して高精度な奥行きマップを得ることができ、より自然で立体感のある３Ｄ画像を得ることができるようになる。

また、本技術では、顔検出の結果に基づいて簡易的な手法により生成した、大まかな奥行きマップに対して、エッジ保存型の平滑化フィルタ処理を行なうことで、より簡単に高精度な奥行きマップを生成し、自然で立体感のある３Ｄ画像を得ることができる。すなわち、実際の顔領域の凹凸と、各領域の奥行きとのずれが少ない奥行きマップを簡単に生成し、より自然で立体感のある３Ｄ画像が得られるようにする。

［画像処理装置の構成例］
続いて、本技術を適用した具体的な実施の形態について説明する。図１は、本技術を適用した画像処理装置の構成例を示す図である。

画像処理装置１１は、顔検出部２１、シーン認識部２２、検出結果安定化部２３、時間安定化部２４、簡易奥行きマップ生成部２５、平滑化フィルタ処理部２６、および視差生成部２７から構成される。

画像処理装置１１には、入力として２Ｄ画像（２次元画像）の画像信号が供給され、画像処理装置１１は、入力された２Ｄ画像を、右眼用画像と左眼用画像とからなる３Ｄ画像の画像信号に変換して出力する。なお、右眼用画像および左眼用画像は、それぞれ立体画像である３Ｄ画像を表示するときに、ユーザの右眼および左眼で観察されるように提示される画像である。

顔検出部２１は、供給された２Ｄ画像から、人の顔領域を検出し、その検出結果として得られた顔領域の位置とサイズ（大きさ）を、検出結果安定化部２３に供給する。シーン認識部２２は、供給された２Ｄ画像に対するシーン認識を行なって、その認識結果を検出結果安定化部２３に供給する。

検出結果安定化部２３は、シーン認識部２２から供給されたシーン認識結果に基づいて、顔検出部２１から供給された顔領域の検出結果の安定化処理を行なう。すなわち、検出結果安定化部２３は、顔検出部２１により検出された顔領域のうち、認識されたシーンから推定される２Ｄ画像の構図に対して、不自然な位置やサイズの顔領域を排除し、排除されずに残った顔領域の位置およびサイズを時間安定化部２４に供給する。

時間安定化部２４は、検出結果安定化部２３から供給された顔領域の位置およびサイズに対してフィルタ処理を施し、時間方向に安定化させた顔領域の位置およびサイズを簡易奥行きマップ生成部２５に供給する。また、時間安定化部２４は、顔領域の位置およびサイズの時間方向の変動を検出することで、検出された顔領域の位置およびサイズの信頼度を算出し、簡易奥行きマップ生成部２５に供給する。

簡易奥行きマップ生成部２５は、時間安定化部２４から供給された顔領域の位置およびサイズと、信頼度とに基づいて、顔領域の奥行きを示す簡易的な奥行きマップである簡易奥行きマップを生成し、平滑化フィルタ処理部２６に供給する。

平滑化フィルタ処理部２６は、供給された２Ｄ画像に基づいて、簡易奥行きマップ生成部２５からの簡易奥行きマップに対して、エッジ保存型の平滑化フィルタを用いたフィルタ処理を施し、その結果得られた顔奥行きマップを視差生成部２７に供給する。顔奥行きマップは、２Ｄ画像における顔領域の奥行きを示す奥行きマップである。

視差生成部２７は、供給された２Ｄ画像と、平滑化フィルタ処理部２６から供給された顔奥行きマップとに基づいて３Ｄ画像を生成し、出力する。

［検出結果安定化部の構成例］
次に、画像処理装置１１の各部のより詳細な構成について説明する。

図２は、図１の検出結果安定化部２３のより詳細な構成例を示す図である。検出結果安定化部２３は、判定部５１、スイッチ５２、およびスイッチ５３から構成される。

判定部５１は、シーン認識部２２からのシーン認識結果と、顔検出部２１からの顔領域の位置およびサイズとに基づいて、シーン認識結果により示されるシーンから推定される２Ｄ画像の構図に対して、顔領域の位置とサイズが不自然であるか否かを判定する。なお、以下、顔領域の位置とサイズが不自然であるか否かの判定を、顔検出結果の安定化判定とも称することとする。

判定部５１は、顔検出結果の安定化判定の結果を示す値として、０または１をスイッチ５２およびスイッチ５３に供給する。具体的には、顔領域の位置とサイズが不自然であると判定された場合、判定結果を示す値１がスイッチ５２とスイッチ５３に供給され、顔領域の位置とサイズが不自然でないと判定された場合、判定結果を示す値０がスイッチ５２とスイッチ５３に供給される。

スイッチ５２は、判定部５１から供給された顔検出結果の安定化判定の結果に基づいて、顔検出部２１から供給された顔領域の位置、または顔領域の位置「０」を時間安定化部２４に供給する。また、スイッチ５３は、判定部５１から供給された顔検出結果の安定化判定の結果に基づいて、顔検出部２１から供給された顔領域のサイズ、または顔領域のサイズ「０」を時間安定化部２４に供給する。

ここで、値が「０」である顔領域の位置およびサイズは、実質的に２Ｄ画像から顔領域が検出されなかったことを示している。検出結果安定化部２３では、顔領域の位置やサイズが不自然であり、顔検出結果の安定化判定の結果を示す値が「１」とされた場合、顔領域は検出されなかった、つまり顔領域の誤検出が生じたとされ、顔領域の位置およびサイズを示す値として「０」が出力される。

例えば、シーン認識の結果として、図３に示すように海の風景のシーンが検出された場合、２Ｄ画像において、人の顔領域が空の領域である領域Ａ１１や、図中、下側の砂浜の端の領域である領域Ａ１２で検出されたとする。すなわち、領域Ａ１１は、遠景である２Ｄ画像の上部の領域であり、領域Ａ１２は近景である２Ｄ画像の下部の領域である。

このような遠景領域である領域Ａ１１や、近景領域である領域Ａ１２に、小さいサイズの顔領域が検出された場合、構図として不自然であり、顔領域の検出結果は誤検出である可能性が高い。そこで、顔検出結果の安定化判定では、領域Ａ１１や領域Ａ１２に小さいサイズの顔が検出された場合など、構図として不自然な位置や大きさの顔が検出された場合には、その検出は誤検出であるとされて除外される。これにより、顔領域の検出精度を向上させることができる。

また、検出結果安定化部２３では、顔領域の位置やサイズが不自然ではなく、顔検出結果の安定化判定の結果を示す値が「０」とされた場合には、正しく顔領域が検出されたとされ、顔検出部２１から供給された顔領域の位置およびサイズがそのまま出力される。

［時間安定化部の構成例］
図４は、図１の時間安定化部２４のより詳細な構成例を示す図である。

時間安定化部２４は、フィルタ処理部８１、遅延処理部８２、減算部８３、絶対値計算部８４、位置信頼度計算部８５、フィルタ処理部８６、遅延処理部８７、減算部８８、絶対値計算部８９、サイズ信頼度計算部９０、および乗算部９１から構成される。

フィルタ処理部８１は、検出結果安定化部２３のスイッチ５２から供給された顔領域の位置に対して、例えばIIR（Infinite Impulse Response）フィルタ等の時間方向の平滑化を行なうフィルタを用いたフィルタ処理を施し、簡易奥行きマップ生成部２５に供給する。また、フィルタ処理部８１は、フィルタ処理により得られた顔領域の位置を、遅延処理部８２および減算部８３にも供給する。

遅延処理部８２は、フィルタ処理部８１から供給された顔領域の位置を、２Ｄ画像の１フレーム分の時間だけ遅延させ、減算部８３に供給する。減算部８３は、フィルタ処理部８１から供給された顔領域の位置と、遅延処理部８２から供給された顔領域の位置との差分を求め、絶対値計算部８４に供給する。

絶対値計算部８４は、減算部８３から供給された差分の絶対値を求め、位置信頼度計算部８５に供給する。位置信頼度計算部８５は、絶対値計算部８４から供給された顔領域の位置の差分の絶対値（差分絶対値）に基づいて、顔領域の位置の検出結果の信頼度を示す位置信頼度を求め、乗算部９１に供給する。

フィルタ処理部８６は、検出結果安定化部２３のスイッチ５３から供給された顔領域のサイズに対して、IIRフィルタ等の時間方向の平滑化を行なうフィルタを用いたフィルタ処理を施し、簡易奥行きマップ生成部２５に供給する。また、フィルタ処理部８６は、フィルタ処理により得られた顔領域のサイズを、遅延処理部８７および減算部８８にも供給する。

遅延処理部８７は、フィルタ処理部８６から供給された顔領域のサイズを、２Ｄ画像の１フレーム分の時間だけ遅延させ、減算部８８に供給する。減算部８８は、フィルタ処理部８６から供給された顔領域のサイズと、遅延処理部８７から供給された顔領域のサイズとの差分を求め、絶対値計算部８９に供給する。

絶対値計算部８９は、減算部８８から供給された差分の絶対値（差分絶対値）を求め、サイズ信頼度計算部９０に供給する。サイズ信頼度計算部９０は、絶対値計算部８９から供給された顔領域のサイズの差分絶対値に基づいて、顔領域のサイズの検出結果の信頼度を示すサイズ信頼度を求め、乗算部９１に供給する。

乗算部９１は、位置信頼度計算部８５からの位置信頼度と、サイズ信頼度計算部９０からのサイズ信頼度とを乗算して、その結果得られた最終的な信頼度を簡易奥行きマップ生成部２５に供給する。

このように、時間安定化部２４では、検出された顔領域の位置およびサイズを時間方向に安定化（平滑化）させる処理と、顔領域の位置およびサイズの検出結果の信頼度の算出とが行なわれる。

例えば、２Ｄ画像から正しく顔領域が検出できたとしても、その顔領域の位置やサイズが時間方向に不安定である場合、その顔領域の検出結果から生成される顔奥行きマップも時間方向に不安定となり、望ましい２Ｄ／３Ｄ画像変換を期待することができない。すなわち、２Ｄ／３Ｄ画像変換により得られる３Ｄ画像において、各領域の時間方向に対する視差変動が大きくなってしまう。

また、顔領域の検出に長い処理時間を要する場合や、２Ｄ画像上において人が動いたり、２Ｄ画像を撮影するカメラがパンやズームアウトしたりする場合においても、実際の顔領域の位置と、顔奥行きマップで示される顔領域の位置とにずれが生じてしまう。そうすると、３Ｄ画像に違和感が生じてしまう可能性がある。

そこで、時間安定化部２４では、フィルタ処理により顔領域の位置およびサイズの時間変動を抑制することで、検出された顔領域の位置およびサイズを時間方向に安定化させ、より自然な立体感の３Ｄ画像が得られるようにする。

また、時間安定化部２４では、簡易奥行きマップの生成に用いられる、顔領域の位置およびサイズの検出結果の信頼度が算出される。この信頼度の算出に用いられる位置信頼度とサイズ信頼度は、それぞれ顔領域の位置およびサイズの差分絶対値に基づいて算出される。ここで、顔領域の位置およびサイズの差分絶対値は、それぞれ現フレームの２Ｄ画像における顔領域の位置およびサイズと、現フレームよりも１フレーム前の２Ｄ画像における顔領域の位置およびサイズとの差分絶対値を示している。

したがって、この差分絶対値が大きいほど、顔領域の位置とサイズの時間方向の変動が大きいので、図５に示すように、差分絶対値が大きいほど、位置信頼度もサイズ信頼度も小さくなるようにされる。なお、図５において、縦軸は位置信頼度またはサイズ信頼度の値を示しており、横軸は顔領域の位置またはサイズの差分絶対値を示している。

図中、左側に示すように位置信頼度は０から１までの範囲の値とされ、絶対値計算部８４により求められる顔領域の位置の差分絶対値が大きいほど、位置信頼度の値は小さくなる。この例では、差分絶対値が大きくなるにしたがって、位置信頼度が直線的に小さくなっている。

同様に、図中、右側に示すようにサイズ信頼度は０から１までの範囲の値とされ、絶対値計算部８９により求められる顔領域のサイズの差分絶対値が大きいほど、サイズ信頼度の値は小さくなる。この例では、差分絶対値が大きくなるにしたがって、サイズ信頼度が直線的に小さくなっている。

したがって、２Ｄ画像から検出された顔領域の位置やサイズが急激に変化するほど、信頼度は低くなる。これは、顔領域の位置やサイズが急激に変化する場合には、例えば顔奥行きマップや３Ｄ画像を生成する処理が、顔領域の位置やサイズの変化に追いつかず、顔奥行きマップで示される顔領域の位置が、実際の位置とずれてしまう可能性があるからである。

そこで、画像処理装置１１は、顔領域の位置やサイズが急激に変化するときには、顔領域の検出の信頼度を低くして、３Ｄ画像における視差量が小さくなるように、簡易奥行きマップで示される顔領域の奥行きを調整する。これにより、３Ｄ画像の顔領域の立体感が不自然になってしまうことを抑制することができる。

［簡易奥行きマップ生成部の構成例］
また、図６は、図１の簡易奥行きマップ生成部２５のより詳細な構成例を示す図である。

簡易奥行きマップ生成部２５は、楕円体生成部１２１および乗算部１２２から構成される。

楕円体生成部１２１は、時間安定化部２４のフィルタ処理部８１およびフィルタ処理部８６から供給された顔領域の位置およびサイズに基づいて、簡易奥行きマップを生成し、乗算部１２２に供給する。乗算部１２２は、楕円体生成部１２１から供給された簡易奥行きマップの各画素の画素値に、時間安定化部２４の乗算部９１から供給された信頼度を乗算することで簡易奥行きマップのゲイン調整を行い、平滑化フィルタ処理部２６に供給する。つまり、乗算部１２２では、簡易奥行きマップにより示される奥行きが調整される。

例えば、図７に示すように、２Ｄ画像ＴＰ１１上に人Ｕ１１が写っているとする。また、２Ｄ画像ＴＰ１１における人Ｕ１１の顔部分で、画像処理装置１１により顔領域ＦＲ１１が検出されたとする。ここで、顔領域ＦＲ１１は、時間安定化部２４から出力される顔領域の位置およびサイズから定まる矩形領域である。図７の例では、顔領域ＦＲ１１は、実際の人Ｕ１１の顔の領域となっている。

楕円体生成部１２１は、顔領域ＦＲ１１を特定する顔領域の位置およびサイズが供給されると、この矩形状の顔領域ＦＲ１１に対応する簡易奥行きモデルＭＤ１１を生成する。すなわち楕円体生成部１２１では、人Ｕ１１の頭部はほぼ楕円体形状であるとされて、顔領域ＦＲ１１内に収まる大きさの楕円体を半分に切って得られる半楕円体形状のモデルが、人Ｕ１１の顔部分の形状を簡易的に表す簡易奥行きモデルＭＤ１１として生成される。

ここで、簡易奥行きモデルＭＤ１１は、人Ｕ１１の顔の簡易的な奥行きを示すモデルであり、簡易奥行きモデルＭＤ１１の矢印ｘの方向および矢印ｙの方向は、それぞれ２Ｄ画像ＴＰ１１の図中、横方向および縦方向に対応している。また、簡易奥行きモデルＭＤ１１の矢印ｘの方向および矢印ｙの方向に垂直な方向は、簡易奥行きモデルＭＤ１１により示される奥行きを示している。より詳細には、簡易奥行きモデルＭＤ１１において、図中、手前側に凸の領域ほど、その領域の奥行き位置が２Ｄ画像ＴＰ１１を観察するユーザから見てより手前側であることを示している。

楕円体生成部１２１は、顔領域ＦＲ１１と同じ大きさの矩形領域を簡易奥行きモデルＭＤ１１とし、簡易奥行きモデルＭＤ１１が半楕円体形状となるように、簡易奥行きモデルＭＤ１１の各領域の奥行きを定める。人の顔領域は、細かな凹凸を無視すればほぼ半楕円体形状であるから、半楕円体形状の簡易奥行きモデルＭＤ１１は、簡易的に人の顔領域の奥行きを表しているということができる。

楕円体生成部１２１は、このようにして定めた簡易奥行きモデルＭＤ１１の各領域の奥行きの値を、画素の画素値として有する画像を簡易奥行きマップとする。すなわち、簡易奥行きマップの任意の画素の画素値は、その画素と同じ位置にある簡易奥行きモデルＭＤ１１の領域の奥行きの値を示している。

このようにして得られた簡易奥行きマップは、２Ｄ画像ＴＰ１１上の顔領域ＦＲ１１内の各領域の奥行きを示しており、３Ｄ画像の生成時には、簡易奥行きマップから得られた顔奥行きマップが顔領域ＦＲ１１に適用されることになる。

簡易奥行きマップ生成部２５では、乗算部１２２において、楕円体生成部１２１により生成された簡易奥行きマップの各画素の画素値に、信頼度が乗算されて奥行きの値が調整され、最終的に得られた簡易奥行きマップが平滑化フィルタ処理部２６に出力される。したがって、例えば信頼度が０である場合には、実質的に簡易奥行きマップが生成されないことになる。

［平滑化フィルタ処理部の構成例］
さらに、図８は、図１の平滑化フィルタ処理部２６のより詳細な構成例を示す図である。

平滑化フィルタ処理部２６は、エッジ検出部１５１、フィルタ係数調整部１５２、および平滑化フィルタ部１５３から構成される。

エッジ検出部１５１は、供給された２Ｄ画像、特に２Ｄ画像の顔領域に対してエッジ検出を行い、その検出結果をフィルタ係数調整部１５２に供給する。

フィルタ係数調整部１５２は、エッジ検出部１５１から供給されたエッジの検出結果に基づいて、平滑化フィルタ部１５３で行なわれるフィルタ処理に用いられるフィルタ係数を調整し、平滑化フィルタ部１５３に供給する。例えば、フィルタ係数調整部１５２は、顔領域におけるエッジ部分と同じ位置にある、簡易奥行きマップの領域では奥行きが平滑化されないように、フィルタ係数を調整する。つまり、顔領域のエッジ部分が保存されるように、フィルタ係数が調整される。

平滑化フィルタ部１５３は、フィルタ係数調整部１５２から供給されたフィルタ係数により定まるエッジ保存型平滑化フィルタを用いて、簡易奥行きマップ生成部２５の乗算部１２２から供給された簡易奥行きマップにフィルタ処理を施す。また、平滑化フィルタ部１５３は、フィルタ処理の結果得られた顔奥行きマップを、視差生成部２７に供給する。

例えば簡易奥行きマップは、半楕円体形状のモデルにより顔領域の奥行きを表現した、簡易的な奥行きマップであるため、簡易奥行きマップでは顔領域に含まれる人の鼻や瞼、口など、人の顔の細かな凹凸は表現されていない。そのため、簡易奥行きマップをそのまま用いて２Ｄ画像を３Ｄ画像に変換すると、人の顔の部分の立体感が不自然になってしまう。

そこで、平滑化フィルタ処理部２６で、エッジ検出に応じたフィルタ係数に基づいて、エッジ保存型平滑化フィルタにより簡易奥行きマップにフィルタ処理を施し、顔奥行きマップとすることで、実際の顔とマッチングのとれた奥行きマップを得ることができる。すなわち、エッジ保存型平滑化フィルタによるフィルタ処理では、顔領域の輝度のエッジが保存されるので、人の目や口、鼻など、実際の顔の各部分と同じ位置にある奥行きマップの領域に対して、それらの目や口などの凹凸を表現する奥行きを与えることができる。

例えば、仮に図７の２Ｄ画像ＴＰ１１上の人Ｕ１１の顔の領域の形状と、簡易奥行きモデルＭＤ１１により示される半楕円体の形状とに多少のずれが生じていたとする。しかし、そのような場合でも、平滑化フィルタ処理部２６によるフィルタ処理によって、実際の人Ｕ１１の顔の目や口などの各部と同じ位置にある、顔奥行きマップの領域に対して、それらの人Ｕ１１の顔の目等の各部の凹凸を表現する奥行きが付加される。

また、人Ｕ１１の顔が横方向など、正面とは異なる方向を向いていたとしても、平滑化フィルタ処理部２６によるフィルタ処理によって、顔奥行きマップにより示される各領域の奥行きは、人Ｕ１１の顔の目等の各部の凹凸を示す奥行きとなる。

これにより、顔領域の検出位置に多少のずれが生じる場合であっても、より高精度に人の顔領域の凹凸が表現された顔奥行きマップを得ることができ、このような顔奥行きマップを用いて３Ｄ画像を生成すれば、より自然で立体感のある画像を得ることができる。

［２Ｄ／３Ｄ変換処理の説明］
次に、画像処理装置１１の動作について説明する。

画像処理装置１１に２Ｄ画像の画像信号が供給され、３Ｄ画像の画像信号への変換が指示されると、画像処理装置１１は、２Ｄ／３Ｄ変換処理を行なって、３Ｄ画像を生成し、出力する。以下、図９のフローチャートを参照して、画像処理装置１１による２Ｄ／３Ｄ変換処理について説明する。

ステップＳ１１において、顔検出部２１は、供給された２Ｄ画像から人の顔領域を検出し、その結果得られた顔領域の位置およびサイズを検出結果安定化部２３に供給する。具体的には、顔検出部２１は、顔領域の位置を判定部５１およびスイッチ５２に供給するとともに、顔領域のサイズを判定部５１およびスイッチ５３に供給する。

ステップＳ１２において、シーン認識部２２は、供給された２Ｄ画像のシーン認識を行い、その認識結果を検出結果安定化部２３の判定部５１に供給する。

ステップＳ１３において、判定部５１は、シーン認識部２２からのシーン認識結果と、顔検出部２１からの顔領域の位置およびサイズとに基づいて、シーン認識結果により示されるシーンから推定される２Ｄ画像の構図に対して、顔領域の位置とサイズが不自然であるか否かを判定する。すなわち、顔検出結果の安定化判定が行われる。

例えば、図１０に示すように、２Ｄ画像ＴＰ２１に対するシーン認識結果から、２Ｄ画像ＴＰ２１の構図として、人Ｕ２１と地平線ＨＲ１１が含まれる構図が推定されたとする。また、顔領域の検出結果として、人Ｕ２１の顔が検出されたとする。

このような場合、判定部５１は、人Ｕ２１の顔領域の図中、縦方向の大きさＬＡおよび位置、つまり顔検出部２１から供給された顔領域の位置およびサイズと、地平線ＨＲ１１の位置とに基づいて、顔領域の位置とサイズが不自然であるか否かを判定する。

具体的には、判定部５１は、２Ｄ画像ＴＰ２１の上端から地平線ＨＲ１１までの縦方向の長さ（距離）をＬＢとする。そして、判定部５１は、（ＬＢ／ＬＡ）＞１０が成立し、かつ人Ｕ２１の顔領域の縦方向の位置が、２Ｄ画像ＴＰ２１の上端から地平線ＨＲ１１までの上側の１／４程度の領域内の位置にある場合、顔領域の位置とサイズが不自然であるとする。つまり、顔領域の検出結果は誤検出であるとされる。

このような場合、例えば図１０に示すように、人Ｕ２１が空中に浮いていることになり、不自然な構図となるからである。例えば、通常、人は７から８頭身程度であるので、人Ｕ２１が地上に立っていれば、（ＬＢ／ＬＡ）＞１０が成立することはない。

なお、（ＬＢ／ＬＡ）＞１０が成立するか、または人Ｕ２１の顔領域の縦方向の位置が、２Ｄ画像ＴＰ２１の上端から地平線ＨＲ１１までの上側の１／４程度の領域内の位置にあるかの少なくとも何れかである場合に、顔領域の位置とサイズが不自然であるとされてもよい。

また、例えば図１１に示すように、２Ｄ画像ＴＰ３１に対するシーン認識結果から、２Ｄ画像ＴＰ３１の構図として、人Ｕ３１と消失点ＤＰ１１が含まれる構図が推定されるとする。また、顔領域の検出結果として、人Ｕ３１の顔が検出されたとする。

この場合、判定部５１は、人Ｕ３１の顔領域の図中、縦方向の位置、つまり顔検出部２１から供給された顔領域の位置と、矢印Ｈ１１により示される、消失点ＤＰ１１の図中、縦方向の高さとに基づいて、顔領域の位置とサイズが不自然であるか否かを判定する。

具体的には、判定部５１は、人Ｕ３１の顔領域の図中、縦方向の位置が、矢印Ｈ１１により示される消失点ＤＰ１１の図中、縦方向の高さ（位置）よりも低い場合、顔領域の位置とサイズが不自然であるとする。つまり、人Ｕ３１の顔領域が、消失点ＤＰ１１よりも図中、下側に位置する場合、不自然な構図であり、顔領域の検出結果は誤検出であるとされる。

以上のように、判定部５１は、顔領域の位置およびサイズが、２Ｄ画像のシーン認識結果から推定される２Ｄ画像の構図に対して定まる所定の条件を満たす場合、その顔領域の位置およびサイズが不自然である、つまり顔領域の検出結果は誤検出であると判定する。

図９のフローチャートの説明に戻り、ステップＳ１３において、顔領域の位置とサイズが不自然ではないと判定された場合、処理はステップＳ１４に進む。

ステップＳ１４において、判定部５１は、顔検出結果の安定化判定の結果として、顔領域の位置とサイズが不自然ではないことを示す値「０」を、スイッチ５２およびスイッチ５３に供給して、処理はステップＳ１６に進む。

これに対して、ステップＳ１３において、顔領域の位置とサイズが不自然であると判定された場合、処理はステップＳ１５に進む。ステップＳ１５において、判定部５１は、顔検出結果の安定化判定の結果として、顔領域の位置とサイズが不自然であることを示す値「１」を、スイッチ５２およびスイッチ５３に供給し、処理はステップＳ１６に進む。

このように、ステップＳ１４またはステップＳ１５において、顔検出結果の安定化判定の結果を示す値が出力されると、ステップＳ１６の処理が行なわれる。すなわち、ステップＳ１６において、スイッチ５２およびスイッチ５３は、判定部５１から供給された顔検出結果の安定化判定の結果を示す値に応じて、顔領域の位置とサイズを出力する。

具体的には、スイッチ５２は、顔検出結果の安定化判定の結果を示す値として「０」が供給された場合、顔検出部２１から供給された顔領域の位置をそのまま時間安定化部２４のフィルタ処理部８１に供給する。また、スイッチ５２は、顔検出結果の安定化判定の結果を示す値として「１」が供給された場合、顔領域の位置として値「０」をフィルタ処理部８１に供給する。

同様に、スイッチ５３は、顔検出結果の安定化判定の結果を示す値として「０」が供給された場合、顔検出部２１から供給された顔領域のサイズをそのまま時間安定化部２４のフィルタ処理部８６に供給する。また、スイッチ５３は、顔検出結果の安定化判定の結果を示す値として「１」が供給された場合、顔領域のサイズとして値「０」をフィルタ処理部８６に供給する。

このように、顔領域の位置とサイズが不自然である場合に、検出された顔領域の位置とサイズを破棄し、以降の処理で用いられないようにすることで、顔領域の検出精度を向上させ、３Ｄ画像が不自然になってしまうことを抑制することができる。これにより、より自然で立体感のある３Ｄ画像を得ることができるようになる。

ステップＳ１７において、時間安定化部２４は、検出結果安定化部２３から供給された顔領域の位置およびサイズに基づいて、時間安定化処理を行なう。

すなわち、フィルタ処理部８１は、スイッチ５２から供給された顔領域の位置に対して、例えばIIRフィルタ等を用いたフィルタ処理を施し、簡易奥行きマップ生成部２５の楕円体生成部１２１、遅延処理部８２、および減算部８３に供給する。

また、フィルタ処理部８６は、スイッチ５３から供給された顔領域のサイズに対して、IIRフィルタ等を用いたフィルタ処理を施し、楕円体生成部１２１、遅延処理部８７、および減算部８８に供給する。

このように顔領域の位置やサイズに対してフィルタ処理を施すことで、顔領域の位置やサイズの時間的な変動を抑制することができる。

ステップＳ１８において、乗算部９１は、２Ｄ画像からの顔領域の検出結果の信頼度を算出する。

すなわち、遅延処理部８２は、フィルタ処理部８１から供給され、１フレーム分の時間だけ遅延させた顔領域の位置を、減算部８３に供給する。減算部８３は、フィルタ処理部８１から供給された顔領域の位置と、遅延処理部８２から供給された顔領域の位置との差分を求め、絶対値計算部８４に供給する。

さらに、絶対値計算部８４は、減算部８３から供給された差分の絶対値を求め、位置信頼度計算部８５に供給する。そして、位置信頼度計算部８５は、図５の左側を参照して説明したように、絶対値計算部８４から供給された顔領域の位置の差分絶対値により定まる位置信頼度を、乗算部９１に供給する。

また、遅延処理部８７は、フィルタ処理部８６から供給され、１フレーム分の時間だけ遅延させた顔領域のサイズを減算部８８に供給する。減算部８８は、フィルタ処理部８６からの顔領域のサイズと、遅延処理部８７からの顔領域のサイズとの差分を求め、絶対値計算部８９に供給し、絶対値計算部８９は、減算部８８からの差分の絶対値を求めてサイズ信頼度計算部９０に供給する。さらに、サイズ信頼度計算部９０は、図５の右側を参照して説明したように、絶対値計算部８９から供給された顔領域のサイズの差分絶対値により定まるサイズ信頼度を求め、乗算部９１に供給する

乗算部９１は、位置信頼度計算部８５からの位置信頼度と、サイズ信頼度計算部９０からのサイズ信頼度とを乗算して、その結果得られた信頼度を簡易奥行きマップ生成部２５の乗算部１２２に供給する。

ステップＳ１９において、簡易奥行きマップ生成部２５は、顔領域の奥行きを示す簡易奥行きマップを生成し、平滑化フィルタ処理部２６の平滑化フィルタ部１５３に供給する。

具体的には、楕円体生成部１２１は、フィルタ処理部８１およびフィルタ処理部８６から供給された顔領域の位置およびサイズに基づいて、図７を参照して説明した簡易奥行きモデルを生成し、その簡易奥行きモデルに基づいて簡易奥行きマップを生成する。そして、楕円体生成部１２１は、得られた簡易奥行きマップを乗算部１２２に供給する。また、乗算部１２２は、楕円体生成部１２１から供給された簡易奥行きマップの各画素の画素値に、乗算部９１から供給された信頼度を乗算し、平滑化フィルタ部１５３に供給する。

このように、簡易的なモデルに基づいて簡易奥行きマップを生成することで、より簡単な処理で、顔領域の奥行きを示すマップを生成することができる。

ステップＳ２０において、エッジ検出部１５１は、供給された２Ｄ画像に対してエッジ検出を行い、その検出結果をフィルタ係数調整部１５２に供給する。このエッジ検出により、２Ｄ画像の顔領域における人の目や鼻などの輝度のエッジが検出される。

また、フィルタ係数調整部１５２は、エッジ検出部１５１から供給されたエッジの検出結果に基づいて、簡易奥行きマップに対して行なわれるフィルタ処理に用いられるフィルタ係数を調整し、平滑化フィルタ部１５３に供給する。

ステップＳ２１において、平滑化フィルタ部１５３は、フィルタ係数調整部１５２からのフィルタ係数により定まるエッジ保存型平滑化フィルタを用いて、乗算部１２２からの簡易奥行きマップにフィルタ処理を施す。例えば、エッジ保存型平滑化フィルタとして、バイラテラルフィルタなどが用いられる。

平滑化フィルタ部１５３は、フィルタ処理の結果得られた顔奥行きマップを、視差生成部２７に供給する。

このように、２Ｄ画像に基づいて、簡易奥行きマップに対してエッジ保存型の平滑化フィルタ処理を施すことで、より高精度に人の顔領域の凹凸が表現された顔奥行きマップを得ることができる。

ステップＳ２２において、視差生成部２７は、平滑化フィルタ部１５３から供給された顔奥行きマップに基づいて、供給された２Ｄ画像を３Ｄ画像に変換し、得られた３Ｄ画像を後段に出力する。

例えば、視差生成部２７は供給された２Ｄ画像の各領域の色や輝度等に基づいて、２Ｄ画像の顔領域を除く他の領域の奥行きを示す奥行きマップを生成し、得られた奥行きマップと、顔奥行きマップとを合成することで、最終的な奥行きマップを生成する。そして、視差生成部２７は、２Ｄ画像の各画素を、最終的な奥行きマップに示される奥行きから求まる視差の分だけシフトさせることで、右眼用画像と左眼用画像とからなる３Ｄ画像を生成する。

なお、顔奥行きマップと２Ｄ画像に基づいて３Ｄ画像の顔領域の部分が生成され、２Ｄ画像に基づいて、３Ｄ画像の顔領域以外の部分が生成されて、それらの顔領域の部分と、顔領域以外の部分とが合成されて、最終的な３Ｄ画像とされるようにしてもよい。

３Ｄ画像が得られると、得られた３Ｄ画像が出力され、２Ｄ／３Ｄ変換処理は終了する。

以上のようにして、画像処理装置１１は、シーン認識の結果に基づいて、検出された顔領域のうち、位置とサイズが不自然である顔領域を除外し、顔領域の位置およびサイズに基づいて、簡易的なモデルを用いて顔奥行きマップを生成する。そして、画像処理装置１１は、得られた顔奥行きマップを用いて、２Ｄ画像を３Ｄ画像に変換し、出力する。

このように、シーン認識の結果に基づいて、検出された顔領域のなかから、位置とサイズが不自然である顔領域を除外することで、顔領域の検出精度を向上させ、より自然で立体感のある立体画像（３Ｄ画像）を得ることができる。

また、顔領域の位置およびサイズに基づいて、簡易的なモデルを用いて顔奥行きマップを生成することで、簡単な処理で、より高精度に人の顔領域の凹凸が表現された顔奥行きマップを得ることができ、その結果、より自然で立体感のある画像を得ることができる。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

［１］
２次元の入力画像に対するシーン認識を行なうシーン認識部と、
前記シーン認識の結果に基づいて、前記入力画像からの顔領域の検出結果が誤検出であるか否かを判定する検出結果安定化部と、
前記顔領域の検出結果が誤検出でない場合、前記顔領域の検出結果に基づいて、前記顔領域の奥行きを示す顔奥行きマップを生成する顔奥行きマップ生成部と、
前記顔奥行きマップに基づいて、前記入力画像を立体画像に変換する視差生成部と
を備える画像処理装置。
［２］
前記検出結果安定化部は、前記顔領域の位置およびサイズが、前記シーン認識の結果から推定される前記入力画像の構図に対して定まる条件を満たしているか否かを判定することで、前記顔領域の検出結果が誤検出であるか否かを判定する
［１］に記載の画像処理装置。
［３］
検出された前記顔領域にある顔の形状が半楕円体形状であるものとして、前記顔領域の位置およびサイズに基づいて、簡易的な前記顔領域の奥行きを示す簡易奥行きマップを生成する簡易奥行きマップ生成部をさらに備え、
前記顔奥行きマップ生成部は、前記簡易奥行きマップおよび前記入力画像に基づいて、前記顔奥行きマップを生成する
［１］または［２］に記載の画像処理装置。
［４］
前記顔奥行きマップ生成部は、前記入力画像に対してエッジ検出を行なうとともに、前記エッジ検出の結果に基づいて定められたエッジ保存型平滑化フィルタを用いて、前記簡易奥行きマップに対してフィルタ処理を施すことで、前記顔奥行きマップを生成する
［３］に記載の画像処理装置。
［５］
前記顔領域の位置およびサイズの時間的な変動を検出することで、前記顔領域の検出の信頼度を算出する信頼度計算部をさらに備え、
前記簡易奥行きマップ生成部は、前記信頼度に基づいて前記簡易奥行きマップにより示される奥行きを調整することで、最終的な前記簡易奥行きマップを生成する
［３］または［４］に記載の画像処理装置。
［６］
前記顔領域の位置およびサイズに対して、前記顔領域の位置およびサイズを時間方向に安定化させるフィルタ処理を施すフィルタ処理部をさらに備え、
前記簡易奥行きマップ生成部は、前記フィルタ処理部によりフィルタ処理が施された前記顔領域の位置およびサイズに基づいて、前記簡易奥行きマップを生成する
［３］乃至［５］の何れかに記載の画像処理装置。

１１ 画像処理装置， ２１ 顔検出部， ２２ シーン認識部， ２３ 検出結果安定化部， ２４ 時間安定化部， ２５ 簡易奥行きマップ生成部， ２６ 平滑化フィルタ処理部， ２７ 視差生成部， ５１ 判定部， ８１ フィルタ処理部， ８５ 位置信頼度計算部， ８６ フィルタ処理部， ９０ サイズ信頼度計算部， ９１ 乗算部， １５１ エッジ検出部， １５３ 平滑化フィルタ部

Claims (8)

1. ２次元の入力画像に対するシーン認識を行なうシーン認識部と、
   前記シーン認識の結果に基づいて、前記入力画像からの顔領域の検出結果が誤検出であるか否かを判定する検出結果安定化部と、
   前記顔領域の検出結果が誤検出でない場合、前記顔領域の検出結果に基づいて、前記顔領域の奥行きを示す顔奥行きマップを生成する顔奥行きマップ生成部と、
   前記顔奥行きマップに基づいて、前記入力画像を立体画像に変換する視差生成部と
   を備える画像処理装置。
2. 前記検出結果安定化部は、前記顔領域の位置およびサイズが、前記シーン認識の結果から推定される前記入力画像の構図に対して定まる条件を満たしているか否かを判定することで、前記顔領域の検出結果が誤検出であるか否かを判定する
   請求項１に記載の画像処理装置。
3. 検出された前記顔領域にある顔の形状が半楕円体形状であるものとして、前記顔領域の位置およびサイズに基づいて、簡易的な前記顔領域の奥行きを示す簡易奥行きマップを生成する簡易奥行きマップ生成部をさらに備え、
   前記顔奥行きマップ生成部は、前記簡易奥行きマップおよび前記入力画像に基づいて、前記顔奥行きマップを生成する
   請求項２に記載の画像処理装置。
4. 前記顔奥行きマップ生成部は、前記入力画像に対してエッジ検出を行なうとともに、前記エッジ検出の結果に基づいて定められたエッジ保存型平滑化フィルタを用いて、前記簡易奥行きマップに対してフィルタ処理を施すことで、前記顔奥行きマップを生成する
   請求項３に記載の画像処理装置。
5. 前記顔領域の位置およびサイズの時間的な変動を検出することで、前記顔領域の検出の信頼度を算出する信頼度計算部をさらに備え、
   前記簡易奥行きマップ生成部は、前記信頼度に基づいて前記簡易奥行きマップにより示される奥行きを調整することで、最終的な前記簡易奥行きマップを生成する
   請求項４に記載の画像処理装置。
6. 前記顔領域の位置およびサイズに対して、前記顔領域の位置およびサイズを時間方向に安定化させるフィルタ処理を施すフィルタ処理部をさらに備え、
   前記簡易奥行きマップ生成部は、前記フィルタ処理部によりフィルタ処理が施された前記顔領域の位置およびサイズに基づいて、前記簡易奥行きマップを生成する
   請求項４に記載の画像処理装置。
7. ２次元の入力画像に対するシーン認識を行ない、
   前記シーン認識の結果に基づいて、前記入力画像からの顔領域の検出結果が誤検出であるか否かを判定し、
   前記顔領域の検出結果が誤検出でない場合、前記顔領域の検出結果に基づいて、前記顔領域の奥行きを示す顔奥行きマップを生成し、
   前記顔奥行きマップに基づいて、前記入力画像を立体画像に変換する
   ステップを含む画像処理方法。
8. ２次元の入力画像に対するシーン認識を行ない、
   前記シーン認識の結果に基づいて、前記入力画像からの顔領域の検出結果が誤検出であるか否かを判定し、
   前記顔領域の検出結果が誤検出でない場合、前記顔領域の検出結果に基づいて、前記顔領域の奥行きを示す顔奥行きマップを生成し、
   前記顔奥行きマップに基づいて、前記入力画像を立体画像に変換する
   ステップを含む処理をコンピュータに実行させるプログラム。

Images