JP2012105019A - 画像処理装置、方法およびそのプログラム - Google Patents

Abstract

【課題】２次元画像からより正確な奥行きを生成する。
【解決手段】実施の形態によれば、画像処理装置１は、入力画像１００に含まれる立体物の立体物領域１０３を検出する領域検出部１２と、奥行きの基本構造であるベースデプス１５１を入力画像１００に付与するベースデプス付与部１３と、立体物領域１０３の接地位置近傍１０３ｃの立体物奥行値を入力画像１００に付与されたベースデプス１５１から取得し、取得した立体物奥行値を立体物領域１０３の奥行値Ｚとしてベースデプス１５１に設定することで、デプスマップ１１０を生成するデプスマップ生成部１４と、を備える。
【選択図】図１

Description

本発明の実施の形態は、画像処理装置、方法およびプログラムに関する。

従来、２次元画像を３次元表示するために、２次元画像に対して奥行きの情報を付加する技術が存在する。この従来技術の一つでは、たとえば２次元画像の上部および下部の高周波成分の分布から、あらかじめ用意しておいた奥行きのモデルとの合成比率を算出し、この算出結果から画像全体の大まかな奥行きを求める。また、大まかな奥行きに２次元画像中のＲ信号を重畳することで、奥行きを補正することも考えられている。

特許第４２１４９７６号公報

以下の実施の形態では、２次元画像からより正確な奥行きを生成することが可能な画像処理装置、方法およびプログラムを開示する。

実施の形態による画像処理装置は、画像の奥行きを表現するデプスマップを生成する画像処理装置であって、画像に含まれる立体物の領域を検出する領域検出部と、奥行きの基本構造であるベースデプスを前記画像に付与するベースデプス付与部と、前記立体物の接地位置近傍の奥行きを前記画像に付与されたベースデプスから取得し、取得した該奥行きを前記立体物の領域の奥行きとして前記ベースデプスに設定するデプスマップ生成部と、を備える。

図１は、実施の形態１による画像処理装置の概略構成を示す図。 図２は、実施の形態１における入力画像の一例を示す図。 図３は、実施の形態１によるベースデプスの一例を示す図。 図４は、実施の形態１において生成されるデプスマップの一例を示す図。 図５は、実施の形態１による画像処理方法の概略流れを示す図。 図６は、実施の形態２による画像処理装置２の概略構成を示す図。 図７は、実施の形態２の仮想境界線が設定された入力画像の一例を示す図。 図８は、実施の形態２において生成されたベースデプスの一例を示す図。 図９は、実施の形態２において生成されるデプスマップの一例を示す図。 図１０は、実施の形態２による画像処理方法の概略流れを示す図。

以下、例示する実施の形態にかかる画像処理装置、方法およびそのプログラムについて、図面を参照して詳細に説明する。

＜実施の形態１＞
まず、実施の形態１にかかる画像処理装置、方法およびそのプログラムについて、図面を参照して詳細に説明する。以降の説明では、以下の事項（１）〜（４）を前提とする。ただし、本開示は、これらの事項に限定されるものではない。

（１）画像の左上隅を原点とし、横方向（水平方向）をｘ軸、縦方向（垂直方向）をｙ軸とする。ただし、画像に対して設定される座標系は、これに限られるものではない。また、画像中の座標（ｘ，ｙ）の画素値をＰ（ｘ，ｙ）と表す。ここで画素値Ｐは、画素の明るさまたは色成分を表すものであればよい。このような画素値Ｐには、たとえば輝度、明度、特定の色チャンネルなどが該当する。

（２）デプスマップは、画像の奥行きを表現するデータである。このデプスマップは、マップの左上隅を原点とし、横方向（水平方向）をＸ軸、縦方向（垂直方向）をＹ軸とする。ただし、デプスマップに対して設定される座標系は、これに限られるものではない。また、デプスマップ中の座標（Ｘ，Ｙ）での画素値をＺ（Ｘ，Ｙ）と表す。この画素値Ｚは、画素ごとの奥行きを示す情報（奥行き情報）である。たとえば画素値Ｚが大きいほど、その画素の奥行き（デプス）が大きい。

（３）画像中の座標とデプスマップ中の座標とは、１対１に対応する。本開示では、特に記述しない限り、画像のサイズとデプスマップのサイズとは等しい。また、画像の座標（ｘ，ｙ）とデプスマップの座標（Ｘ，Ｙ）とは、互いに対応している。すなわち、ｘ＝Ｘ、ｙ＝Ｙが成立する。

（４）本開示において特に記述しない場合、画像の画素値Ｐを「画素値」と記述し、その値域を［０，２５５］（０以上２５５以下）とする。さらに、デプスマップの画素値Ｚを「奥行値」と記述し、その値域を［０，２５５］（０以上２５５以下）とする。

つぎに、本実施の形態１による画像処理装置１を、図面を用いて詳細に説明する。図１は、本実施の形態１による画像処理装置１の概略構成を示す。図１に示すように、画像処理装置１は、画像入力部１１と、領域検出部１２と、ベースデプス付与部１３と、デプスマップ生成部１４とを備える。

画像入力部１１は、処理の対象となる２次元の画像（以下、入力画像という）を入力する。入力画像は、静止画であっても動画であってもよい。図２に、入力画像の一例を示す。図２に示すように、入力画像１００は、大別して、空を写した空領域１０１と、地面を写した地面領域１０２と、を含む。また、入力画像１００には、立体物を写した領域である立体物領域１０３ａおよび１０３ｂが含まれる。なお、地面領域１０２とは、地面や水面などの水平面や坂道などの水平に近い面など、入力画像１００の空間下側のベースとなる面の領域である。この地面領域１０２には、建物屋上などのような立体物中の水平面を含んでもよい。空領域１０１とは、空や塀や天井など、地面領域とは異なる部分の領域である。また、立体物は、地面領域１０２に対して、垂直かそれに近い角度で存在する物体全体、もしくはその物体の垂直面などを含む。また、立体物領域は、入力画像１００中で立体物が写し出された領域である。図２に示す例では、立体物領域１０３ａは家を写した領域であり、立体物領域１０３ｂは木を写した領域である。以下の説明において、立体物領域１０３ａおよび１０３ｂを特に区別しない場合、その符号を１０３とする。

図１に戻り説明する。入力画像１００の入力元には、あらゆる機器または媒体を適用することができる。たとえば画像入力部１１は、ハードディスクドライブ（ＨＤＤ）やＤＶＤ−ＲＯＭやフラッシュメモリなどの記録媒体から画像データを入力することができるとよい。また、画像入力部１１は、ネットワークを介して接続された録画機やデジタルカメラやデジタルビデオカメラなどの外部装置から画像データを入力することができるとよい。さらに、画像入力部１１は、無線または有線でテレビジョン放送を受信する受信機であってもよい。

さらに、入力画像の形式は２次元画像でなくてもかまわない。例えば、サイドバイサイド形式やラインバイライン形式等といったステレオ画像でもよいし、多視点形式の画像を入力としてもよい。この場合、どれか１つの視点の画像を処理対象の画像として扱う。

領域検出部１２は、入力画像１００中に含まれる立体物領域１０３を検出する。立体物領域１０３の検出には、一般に知られている方法などを用いてよい。既存の検出方法には、たとえば立体物検出用の識別器を用いて入力画像１００から立体物領域１０３を識別する方法などがある。ただし、これに限定されず、種々の検出方法を適用可能である。また、領域検出部１２は、立体物領域１０３を分割した分割立体物領域を検出してもよい。例えば、立体物領域１０３をオブジェクト単位に分割するなどの方法が考えられる。

ベースデプス付与部１３は、入力画像１０３に対してベースデプスを付与する。ベースデプスとは、たとえば奥行きを持つ３次元の空間構造をデータ化したものである。ベースデプスに含まれる奥行き情報は、たとえば数値（画素値または奥行値）で表されている。このようなベースデプスは、入力画像１００に対するデプスマップを作成する際に奥行きの下地データとして用いることができる。

ここで図３に、ベースデプスの一例を示す。図３に示すように、ベースデプス１５１は、Ｘ軸、Ｙ軸およびＺ軸で与えられる３次元空間内に形成された平面または曲面の１つ以上の組み合わせよりなる。図３に例示するベースデプス１５１は、Ｙ座標の上限値（２５５）に近い領域ほど手前に位置し、Ｙ座標の原点Ｏに近い領域ほど奥に位置する曲面形状となっている。このような形状のベースデプス１５１は、画像の下部に地面が広がり、上部に空や建物等がある画像に対して好適である。

図１に戻り説明する。ベースデプス１５１は、たとえば記憶部１５内にあらかじめ用意されていてもよい。また、記憶部１５は、たとえば複数種類のベースデプスをテンプレートとしてあらかじめ保持していてもよい。ベースデプス付与部１３は、たとえば入力画像１００を解析することで、この入力画像１００に対して適したベースデプスのテンプレートを特定し、これを記憶部１５から取得する。入力画像１００に対して適したベースデプスの特定は、たとえば入力画像１００から特定また推定された空間的構造に基づいて行うことができる。この特定方法では、たとえば入力画像１００における地面または床面の領域（本例では地面領域１０２）や空または天井の領域（本例では空領域１０１）などから入力画像１００の空間的構造を特定または推定する。つぎに、この空間的構造に適したベースデプス１５１を記憶部１５から特定する。ただし、この特定方法に限らず、種々の方法を用いてベースデプスを取得することが可能である。さらに、ベースデプス付与部１３は、あらかじめ用意しておいたベースデプス１５１ではなく、入力画像１００から推定したベースデプスを使用してもよい。

デプスマップ生成部１４は、入力画像１００から検出された各立体物領域１０３の接地位置近傍１０３ｃの奥行きの情報を、入力画像１００に対して付与されたベースデプス１５１から算出する。ここで接地位置近傍１０３ｃは、たとえば各立体物領域１０３の下底または最下底のエッジであってもよいし、このエッジを中心とした周囲数画素（たとえば３画素）の領域であってもよい。ただし、これらに限定されるものではない。たとえば、各立体物領域１０３の下底または最下底のエッジを含む領域であって、画像に対する横方向のサイズおよび縦方向のサイズがともに入力画像１００のサイズの５％以下となる領域を接地位置近傍１０３ｃとするなど、種々変形可能である。以下の説明において、各立体物領域１０３の接地位置近傍１０３ｃに対して算出した奥行きの情報を、たとえば立体物奥行値という。ここで、上述したように、入力画像１００における画素の座標（ｘ，ｙ）と、ベースデプス１５１における画素の座標（Ｘ，Ｙ）とを対応づけておくことで、接地位置近傍１０３ｃに含まれる画素の奥行値Ｚ（Ｘ，Ｙ）を容易に特定することができる。この結果、特定した奥行値Ｚ（Ｘ，Ｙ）から、各接地位置近傍１０３ｃに対する立体物奥行値を容易に算出することができる。立体物奥行値の算出方法の例については、後述において触れる。

また、デプスマップ生成部１４は、算出した立体物奥行値を用いて各立体物領域１０３の奥行きの情報をデプスマップに設定する。立体物領域１０３の奥行きの情報は、たとえば立体物奥行値から容易に生成することができる。たとえばデプスマップ生成部１４は、各接地位置近傍１０３ｃに対して算出した立体物奥行値をそのまま各立体物領域１０３の奥行きの情報（奥行値Ｚ）としてデプスマップに設定してもよい。図４に、本実施の形態１において生成されるデプスマップの一例を示す。

図４に示すように、デプスマップ１１０は、空領域１０１と地面領域１０２との奥行きの情報（奥行値Ｚ）がそれぞれベースデプス１５１の奥行値Ｚに設定された構造を備える。また、デプスマップ１１０では、立体物領域１０３ａおよび１０３ｂの奥行きの情報（奥行値Ｚ）に、それぞれの接地位置近傍１０３ｃに基づいてベースデプス１５１から特定した立体物奥行値が設定されている。

なお、立体物奥行値の算出方法には、種々の方法を適用可能である。以下に、その一部を例示する。ただし、以下の例に限定されるものではない。
（１）立体物領域１０３内の画素に対応するベースデプス１５１内の画素の画素値Ｚを立体物奥行値とする方法
（２）立体物領域１０３内の画素に対応するベースデプス１５１内の画素の画素値Ｚの平均値を立体物奥行値とする方法
（３）立体物領域１０３内の画素に対応するベースデプス１５１内の画素の画素値Ｚの最大値を立体物奥行値とする方法
（４）立体物領域１０３内の画素に対応するベースデプス１５１内の画素の画素値Ｚの最小値を立体物奥行値とする方法
（５）立体物領域１０３内の画素に対応するベースデプス１５１内の画素の画素値Ｚの最小値から最大値までの範囲の中央値を立体物奥行値とする方法

また、立体物奥行値を立体物領域１０３の奥行値Ｚとしてデプスマップ１１０に設定する設定方法には、種々の方法を適用することが可能である。以下に、その一部を例示する。ただし、以下の例に限定されるものではない。
（１）立体物奥行値を立体物領域１０３内の画素の縦ラインごとの奥行値Ｚとして設定する方法
（２）立体物奥行値を各立体物領域１０３の奥行値Ｚとして設定する方法
（３）立体物奥行値を入力画像１００中の全ての立体物領域１０３の奥行値Ｚとして設定する方法

なお、（３）に例示した設定方法では、入力画像１００中の何れかの立体物領域１０３の接地位置近傍１０３ｃに対して立体物奥行値を求めればよい。ただし、これに限定されず、複数または全ての立体物領域１０３の接地位置近傍１０３ｃに対してそれぞれ算出した立体物奥行値の平均値、最大値、最小値、または中央値を、全ての立体物領域１０３の奥行値Ｚとして設定してもよい。また、デプスマップ生成部１４は、領域検出部１２が立体物領域１０３を分割した分割立体物領域を検出する場合、分割された領域ごとに奥行きを与えてもよい。

つづいて、本実施の形態１による画像処理装置１が実行する画像処理方法の流れを、以下に図面を用いて詳細に説明する。図５は、本実施の形態１による画像処理方法の概略流れを示すフローチャートである。

図５に示すように、本動作では、まず、画像入力部１１が入力画像１００を入力する（ステップＳ１０１）。画像入力部１１は、この入力画像１００を領域検出部１２に入力する。領域検出部１２は、入力画像１００を解析することで、入力画像１００に含まれる立体物領域１０３を検出する（ステップＳ１０２）。検出された立体物領域１０３は、デプスマップ生成部１４に入力される。また、領域検出部１２は、入力画像１００をベースデプス付与部１３に入力する。

なお、ベースデプス付与部１３が入力画像１００中の空領域１０１と地面領域１０２とに基づいて付与すべきベースデプス１５１を特定するように構成した場合、領域検出部１２は、ステップＳ１０２において、入力画像１００中の空領域１０１と地面領域１０２とを検出してもよい。この検出された空領域１０１と地面領域１０２とは、たとえば入力画像１００とともにベースデプス付与部１３に入力される。ただし、これに限定されず、入力画像１００に対してあらかじめ定めておいたベースデプス１５１を付与するように構成してもよい。

つぎに、ベースデプス付与部１３は、入力画像１００に対して付与すべきベースデプス１５１をたとえば記憶部１５から特定する（ステップＳ１０３）。この際、ベースデプス付与部１３は、入力画像１００に対して検出された空領域１０１と地面領域１０２とに基づいて付与すべきベースデプス１５１を特定してもよい。つづいて、ベースデプス付与部１３は、特定したベースデプス１５１を入力画像１００に付与する（ステップＳ１０４）。このベースデプス１５１が付与された入力画像１００は、デプスマップ生成部１４に入力される。

デプスマップ生成部１４は、まず、領域検出部１２から入力された立体物領域１０３とベースデプス付与部１３から入力されたベースデプス１５１付きの入力画像１００とから、各立体物領域１０３の接地位置近傍１０３ｃを特定し（ステップＳ１０５）、この設置位置近傍１０３ｃの立体物奥行値を上述した算出方法にて算出する（ステップＳ１０６）。つぎに、デプスマップ生成部１４は、算出した立体物奥行値を立体物領域１０３の奥行きの情報（奥行値Ｚ）としてベースデプス１５１に設定することで、デプスマップ１１０を生成し（ステップＳ１０７）、その後、処理を終了する。これにより、図４に例示するようなデプスマップ１１０が生成される。なお、立体物奥行値を立体物領域１０３の奥行値Ｚとしてデプスマップ１１０に設定する設定方法は、上述した方法などがある。

以上のように構成および動作することで、本実施の形態１では、立体物の奥行きをこの立体物のベースデプス上の位置に基づいて設定するため、立体物に対してより正確な奥行きを設定することが可能となる。この結果、２次元画像からより正確な奥行きの構造（デプスマップ）を生成することが可能となる。

たとえば画像中のＲ信号を用いてベースデプスを補正する場合、人の頭は一般的にＲ信号が小さく、皮膚はＲ信号が大きい。このため、Ｒ信号を用いた補正により得られたデプスマップでは、本来近接する位置にあるはずの人の頭と顔との奥行きが大きく異なってしまう場合がある。すなわち、頭が奥側に位置し、顔が手前側に位置するといった不具合を生じる場合があった。これに対し、本実施の形態１によれば、人全体を立体物とし、その接地位置からベースデプス上の奥行きを算出して、これを人の奥行きに設定することが可能であるため、より正確な奥行きの構造を得ることが可能である。

＜実施の形態２＞
つぎに、実施の形態２にかかる画像処理装置、方法およびそのプログラムについて、図面を参照して詳細に説明する。なお、以下の説明において、実施の形態１と同様の構成には、同一の符号を付し、その重複する説明を省略する。

図６は、本実施の形態２による画像処理装置２の概略構成を示す。図６と図１と比較すると明らかなように、画像処理装置２（図６）は、画像処理装置１（図１）と同様の構成を備える。ただし、画像処理装置２では、画像処理装置１における領域検出部１２が領域検出部２２に置き換えられている。また、画像処理装置２は、仮想境界線設定部２５およびベースデプス生成部２６をさらに備える。

領域検出部２２は、入力画像１００から立体物領域１０３を検出する立体物領域検出部２２３と、地面領域１０２を検出する地面領域検出部２２２と、空領域１０１を検出する空領域検出部２２１とを含む。立体物領域検出部２２３は、たとえば実施の形態１における領域検出部１２に相当する。ただし、上述したように、実施の形態１の領域検出部１２は、実施の形態２の領域検出部２２と同様に、空領域１０１と地面領域１０２とを検出してもよい。また、立体物、空および地面それぞれの領域の検出は、一般に知られている方法などを用いればよい。既知の検出方法には、たとえばそれぞれの領域について識別器を用いる方法などがある。また、その他にも、立体物と空と地面との３種類のうち２種類の領域についての検出を行い、残った領域を残りの種類の領域とする方法などが考えられる。この場合、領域を４種類以上に分類するのであれば、１種類を残して他の種類の領域を検出することとなる。

仮想境界線設定部２５は、ベースデプスを求めるための仮想境界線を設定する。具体的には、仮想境界線設定部２５は、ベースデプスを求めるときに用いる地面と空の仮想的な境界線である仮想境界線を設定する。図７に、仮想境界線が設定された入力画像の一例を示す。図７に示すように、仮想境界線２０４は、地面の最奥位置を設定する線分であればよく、厳密な地平線や水平線である必要はない。たとえば図７に示す例では、仮想境界線２０４が空領域１０１と地面領域１０２との境界線と一致していない。ただし、この仮想境界線２０４の奥行きは、入力画像１００中、仮想境界線２０４より下の領域よりも奥であればよい。これは、仮想境界線２０４の奥行きが、空領域１０１の奥行きと同等であることを含む。

このような仮想境界線２０４を設定する設定方法には、種々の方法を適用可能である。以下に、その一部を例示する。ただし、以下の例に限定されるものではない。
（１）入力画像１００の中心を通る水平線分（ｙ＝ｙ＿ｍａｘ／２：ｙ＿ｍａｘは入力画像１００のｙ座標の最大値）を仮想境界線２０４に設定する方法
（２）入力画像１００の上端（ｙ＝０）を仮想境界線２０４に設定する方法
（３）入力画像１００から地平線または水平線を検出し、この地平線または水平線を仮想境界線２０４に設定する方法
（４）入力画像１００から消失線を検出して消失点を求め、この消失点を通る水平線分を仮想境界線２０４に設定する方法
（５）入力画像１００から検出した地面領域１０２の最上端を通る水平線分を仮想境界線２０４に設定する方法
（６）入力画像１００から検出した地面領域１０２の上端線を仮想境界線２０４に設定する方法
（７）入力画像１００から検出した地面領域１０２と空領域１０１との重心の真中を通る水平線分を仮想境界線２０４に設定する方法

図６に戻り説明する。ベースデプス生成部２６は、設定した仮想境界線２０４を用いて、入力画像１００に付与するベースデプスを生成する。以下に、仮想境界線２０４を用いたベースデプスの生成方法の一例を説明する。なお、以下の説明では、ｙ＝Ａの線分で示される仮想境界線２０４が設定された場合を例に挙げる。

ここで、仮想境界線２０４の奥行値をＺｂ、入力画像１００の下端（ｙ＝ｙ＿ｍａｘ）の奥行値をＺｄとする（Ｚｂ≧Ｚｄ）。仮想境界線２０４の奥行値Ｚｂは、奥行値Ｚの値域の最大値（たとえば２５５）であってもよいし、入力画像１００に対して検出された空領域１０１および地面領域１０２の少なくとも一方の空間的広がり等から算出した値であってもよい。また、仮想境界線２０４より下側の領域の奥行きは、たとえば仮想境界線２０４が設定された位置に基づいて算出される。この際、仮想境界線２０４より下側の領域の奥行値Ｚは、この領域の下側ほど小さく、仮想境界線２０４に近づくほど大きくなるとよい。そこで、仮想境界線２０４より下の領域（ｙ＞Ａ）中の画素（ｘ，ｙ）の奥行値Ｚ（Ｘ，Ｙ）は、以下の式１で与えることができる。式１によれば、仮想境界線２０４より下の領域は、入力画像１００の下端から仮想境界線２０４に近づくに連れて直線的に奥行値Ｚが大きくなる奥行き構造となる。ただし、これに限定されず、入力画像１００の下端から仮想境界線２０４に近づくほど奥行きが大きくなる条件であれば、如何様にも変形することが可能である。

また、仮想境界線２０４上および仮想境界線２０４よりも上側の領域は、以下の式２に示すように、最奥の奥行値Ｚｂなどに設定されてもよい。ただし、ここで言う最奥は、奥行値Ｚの値域の最大値（たとえば２５５）に限るものではなく、入力画像１００のデプスマップにおける奥行値Ｚの中で最大値であればよい。また、仮想境界線２０４は、仮想境界線２０４よりも上の領域の手前に設定されてもよい。この場合、仮想境界線２０４よりも上の領域が、最奥の領域となる。

なお、入力画像１００の下端から仮想境界線２０４までの領域（Ｙ＞Ａ）については、以下の式３のような、Ｙが大きくなるに連れて奥行値Ｚが反比例して小さくなる関数など、種々変形可能である。

以上の式１および式２を用いた生成方法にて生成されたベースデプスの一例を、図８に示す。図８に示すように、ベースデプス２５１は、仮想境界線２０４より下の領域では、Ｙ座標が大きいほど手前に位置し、仮想境界線２０４に近づくほど奥側に位置する。また、仮想境界線２０４上および仮想境界線２０４よりも上側の領域は、最奥に位置している。また、以上のように生成されたベースデプス２５１は、ベースデプス付与部１３に入力される。ベースデプス付与部１３は、実施の形態１と同様に、ベースデプス２５１を入力画像１００に付与する。また、デプスマップ生成部１４は、実施の形態１と同様に、ベースデプス２５１を用いて立体物奥行値を算出し、この立体物奥行値を用いて各立体物領域１０３の奥行きの情報をデプスマップに設定する。ここで、図９に、本実施の形態２において生成されるデプスマップの一例を示す。

図９に示すように、デプスマップ２１０は、空領域１０１と地面領域１０２との奥行きの情報（奥行値Ｚ）がそれぞれベースデプス２５１の奥行値Ｚに設定された構造を備える。また、デプスマップ２１０では、立体物領域１０３ａおよび１０３ｂの奥行きの情報（奥行値Ｚ）に、それぞれの接地位置近傍１０３ｃに基づいてベースデプス２５１から特定した立体物奥行値が設定されている。

つづいて、本実施の形態２による画像処理装置２が実行する画像処理方法の流れを、以下に図面を用いて詳細に説明する。図１０は、本実施の形態２による画像処理方法の概略流れを示すフローチャートである。

図１０に示すように、本動作では、図５に示すステップＳ１０１およびＳ１０２と同様の工程を経ることで、領域検出部２２における立体物領域検出部２２３が入力画像１００に含まれる立体物領域１０３を検出する。ただし、ステップＳ１０１で入力された入力画像１００は、領域検出部２２の他に、仮想境界線設定部２５にも入力される。

また、本実施の形態１で生成された奥行きに基づいて、入力画像１００の各画素のシフト量を求め、入力画像１００をシフトさせることにより、入力画像１００とは別の視点から観測した画像を生成することができる。そこで、２視点またはそれ以上の数の視点から観測した多視点画像を入力画像１００から生成し、それらを立体映像表示用の表示装置に表示することにより立体視が可能となる。入力画像１００とは別の視点から観測した画像は、たとえば別の視点に基づいたレンダリングにより生成することができる。

つぎに本実施の形態２では、領域検出部２２における空領域検出部２２１が入力画像１００に含まれる空領域１０１を検出し（ステップＳ２０１）、さらに、地面領域検出部２２２が入力画像１００に含まれる地面領域１０２を検出する（ステップＳ２０２）。なお、検出された立体物領域１０３は、デプスマップ生成部１４に入力される。また、検出された空領域１０１および地面領域１０２は、仮想境界線設定部２５およびベースデプス生成部２６にそれぞれ入力される。

仮想境界線設定部２５は、画像入力部１１から入力された入力画像１００と、領域検出部２２から入力された空領域１０１および地面領域１０２とから、入力画像１００に対して設定する仮想境界線２０４を算出し、これを入力画像１００に設定する（ステップＳ２０３）。なお、仮想境界線２０４の算出方法は、上述の通りである。また、仮想境界線２０４が設定された入力画像１００は、ベースデプス生成部２６に入力される。

ベースデプス生成部２６は、入力画像１００に設定された仮想境界線２０４に基づいて、ベースデプス２５１を生成する（ステップＳ２０４）。なお、ベースデプス２５１の生成方法は、上述の通りである。また、生成されたベースデプス２５１は、入力画像１００とともにベースデプス付与部１３に入力される。

ベースデプス付与部１３は、図５に示すステップＳ１０４と同様に、入力されたベースデプス２５１を入力画像１００に付与し（ステップＳ１０４）、つづいて、図５のステップＳ１０５〜Ｓ１０７と同様の工程を経ることで、デプスマップ１１０を生成する。これにより、図９に例示するようなデプスマップ２１０が生成される。

以上のように構成および動作することで、本実施の形態２では、入力画像１００に対して仮想境界線２０４を設定し、この仮想境界線２０４に基づいて入力画像１００に付与するベースデプス２５１を生成するため、入力画像１００中の実際の奥行き構造により近いベースデプス２５１を生成して使用することが可能となる。この結果、２次元画像からより正確な奥行きの構造（デプスマップ）を生成することが可能となる。なお、その他の構成、動作および効果は、実施の形態１と同様であるため、ここでは詳細な説明を省略する。

なお、上述した実施の形態における画像処理装置および方法は、ソフトウエアで実現されても、ハードウエアで実現されてもよい。ソフトウエアで実現する場合、たとえば所定のプログラムをＣＰＵなどの情報処理装置が読み出して実行することで、画像処理装置および方法が実現される。所定のプログラムは、たとえばＣＤ−ＲＯＭやＤＶＤ−ＲＯＭやフラッシュメモリなどの記録媒体に記録されていてもよいし、ネットワークに接続された記録装置に記録されていてもよい。情報処理装置は、この所定のプログラムを読み出すか、ダウンロードして実行する。

また、上記実施の形態およびその変形例は本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、仕様等に応じて種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施の形態が可能であることは上記記載から自明である。例えば各実施の形態に対して適宜例示した変形例は、他の実施の形態に対して適用することも可能であることは言うまでもない。

１、２ 画像処理装置、 １１ 画像入力部、 １２，２２ 領域検出部、 １３ ベースデプス付与部、 １４ デプスマップ生成部、 １５ テンプレート記憶部、 ２５ 仮想境界線設定部、 ２６ ベースデプス生成部、 １００ 入力画像、 １０１ 空領域、 １０２ 地面領域、 １０３ａ，１０３ｂ 立体物領域、 １０３ｃ 接地位置近傍、 １１０，２１０ デプスマップ、 １５１，２５１ ベースデプス、 ２０４ 仮想境界線、 ２２１ 空領域検出部、 ２２２ 地面領域検出部、 ２２３ 立体物領域検出部

Claims (11)

1. 画像の奥行きを表現するデプスマップを生成する画像処理装置であって、
   画像に含まれる立体物の領域を検出する領域検出部と、
   奥行きの基本構造であるベースデプスを前記画像に付与するベースデプス付与部と、
   前記立体物の接地位置近傍の奥行きを前記画像に付与されたベースデプスから取得し、取得した該奥行きを前記立体物の領域の奥行きとして前記ベースデプスに設定するデプスマップ生成部と、
   を備える、画像処理装置。
2. 前記画像に仮想境界線を設定する設定部と、
   前記仮想境界線が設定された画像に基づいて前記ベースデプスを生成するベースデプスと、
   をさらに備え、
   前記ベースデプスは、前記仮想境界線が最奥となる構造である、請求項１に記載の画像処理装置。
3. 前記設定部は、前記画像に含まれる地平線近傍に前記仮想境界線を設定する、請求項２に記載の画像処理装置。
4. 前記設定部は、前記画像における消失点を通るように前記仮想境界線を設定する、請求項２に記載の画像処理装置。
5. 前記領域検出部は、前記画像に含まれる地面の領域を検出する地面領域検出部を含み、
   前記設定部は、前記地面の領域の分布に応じて前記仮想境界線を設定する、請求項２に記載の画像処理装置。
6. 前記領域検出部は、前記画像に含まれる地面の領域を検出する地面領域検出部と、該画像に含まれる空の領域を検出する空領域検出部と、を含み、
   前記設定部は、前記地面の領域と前記空の領域とに応じて前記仮想境界線を設定する、請求項２に記載の画像処理装置。
7. 前記デプスマップ生成部は、前記地面の領域の奥行きを、前記画像に対して前記仮想境界線が設定された位置に基づいて算出する、請求項５または６に記載の画像処理装置。
8. 前記デプスマップ生成部は、前記空領域の奥行きに前記仮想境界線の奥行きを設定する、請求項６に記載の画像処理装置。
9. 前記ベースデプスは、前記画像の下端に近づくほど浅い奥行きとなる構造である、請求項１に記載の画像処理装置。
10. 画像の奥行きを表現するデプスマップを生成する画像処理方法において、
    画像に含まれる立体物の領域を検出し、
    奥行きの基本構造であるベースデプスを前記画像に付与し、
    前記立体物の接地位置近傍の奥行きを前記画像に付与されたベースデプスから取得し、
    取得した前記奥行きを前記立体物の領域の奥行きとして前記ベースデプスに設定する、画像処理方法。
11. 画像の奥行きを表現するデプスマップを画像処理装置に生成させるためのプログラムであって、
    画像に含まれる立体物の領域を検出する領域検出処理と、
    奥行きの基本構造であるベースデプスを前記画像に付与する付与処理と、
    前記立体物の接地位置近傍の奥行きを前記画像に付与されたベースデプスから取得し、取得した該奥行きを前記立体物の領域の奥行きとして前記ベースデプスに設定するデプスマップ生成処理と、
    を前記画像処理装置に実行させる、プログラム。

Images