JP2013185905A

JP2013185905A - 情報処理装置及び方法、並びにプログラム

Info

Publication number: JP2013185905A
Application number: JP2012050377A
Authority: JP
Inventors: Yasutaka Hirasawa; 康孝平澤; Akihiko Kaino; 彰彦貝野; Atsushi Ito; 厚史伊藤; Yoshihiro Meikan; 佳宏明官
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-03-07
Filing date: 2012-03-07
Publication date: 2013-09-19

Abstract

【課題】奥行き情報の精度を改善させることができるようにする。
【解決手段】奥行き情報取得部は、画像を構成する複数の画素の各々について、奥行き情報をそれぞれ取得する。奥行き手がかり情報抽出部は、複数の画素の奥行き情報の各々を得るための有意情報を、奥行き手がかり情報として画像から抽出する。奥行き情報改善部は、抽出された奥行き手がかり情報を用いて、複数の画素毎に取得された奥行き情報の精度を改善する。本技術は、奥行き情報を生成する情報処理装置に適用することができる。
【選択図】図１

Description

本技術は、情報処理装置及び方法、並びにプログラムに関し、特に、奥行き情報の精度を改善させることができるようにした、情報処理装置及び方法、並びにプログラムに関する。

従来から、ステレオカメラやTOF(Time Of Flight)技術を用いて、奥行き情報を生成する手法が存在する（例えば、特許文献１参照）。

ステレオカメラを用いる手法においては、ステレオカメラによって撮像された結果得られる左画像及び右画像に対して、ステレオマッチング処理が施されることにより、奥行き情報が生成される。

TOF技術を用いる手法においては、撮像位置から被写体に向けて光が投射され、当該光が被写体に投射されて戻ってくるまでの時間が計測される。そして、計測された時間から、撮像位置から被写体までの距離が求められ、その距離を用いて、奥行き情報が生成される。

特開２００３−０８５５６６号公報

しかしながら、ステレオカメラを用いる手法においては、ステレオカメラのカメラ間距離（即ち、ベースライン長）により、得られる奥行きの階調は変化し、さらに、遠方ほど得られる奥行きの階調は少なくなる。また、ステレオマッチング処理では、画像の平坦な領域の奥行き情報の生成は困難である。さらに、ステレオマッチング処理により生成される奥行き情報は、エラーやノイズが含まれており、精度が低い。

TOF技術を用いる手法においては、投射光とは異なる外光が当たる領域や、投射光が投射される方向に対して平行に近い被写体については、奥行き情報の生成は困難である。

このように、従来のいずれの手法を用いても、奥行き情報の生成自体が困難であるか、生成されたとしても精度の低い奥行き情報になっている。このため、奥行き情報の精度を改善させることができる手法が要求されている状況である。

本技術は、このような状況に鑑みてなされたものであり、奥行き情報の精度を改善させることができるようにしたものである。

本技術の一側面の情報処理装置は、画像を構成する複数の画素の各々について、奥行き情報をそれぞれ取得する奥行き情報取得部と、前記複数の画素の前記奥行き情報の各々を得るための有意情報を、奥行き手がかり情報として前記画像から抽出する奥行き手がかり情報抽出部と、前記奥行き手がかり情報抽出部により抽出された前記奥行き手がかり情報を用いて、前記奥行き情報取得部により前記複数の画素毎に取得された前記奥行き情報の精度を改善する奥行き情報改善部とを備える。

前記画像は、複数の異なる視点から撮像された場合にそれぞれ得られる複数の画像から構成され、前記奥行き情報取得部は、前記複数の画像に対してステレオマッチング処理を施すことにより、前記奥行き情報を取得することができる。

前記奥行き手がかり情報抽出部は、前記複数の画像のうちの所定の画像から、前記奥行き手がかり情報を抽出することができる。

前記奥行き手がかり情報抽出部は、前記複数の画像のうち所定の画像内のテクスチャの密度の変化に関する情報を、前記奥行き手がかり情報として抽出することができる。

前記奥行き手がかり情報抽出部は、前記複数の画像のうち所定の画像内のオブジェクトの重なりに関する情報を、前記奥行き手がかり情報として抽出することができる。

前記奥行き手がかり情報抽出部は、前記複数の画像のうち所定の画像内の空の領域に関する情報を、前記奥行き手がかり情報として抽出することができる。

前記奥行き手がかり情報抽出部は、前記複数の画像のうち所定の画像内の消失点に向かう直線に関する情報を、前記奥行き手がかり情報として抽出することができる。

前記奥行き手がかり情報抽出部は、前記複数の画像のうち所定の画像内に含まれる１以上の直線を検出する直線検出部と、前記直線検出部により検出された前記１以上の直線に基づいて、消失点を検出する消失点検出部と、前記直線検出部により検出された前記１以上の直線の中から、前記消失点検出部により検出された前記消失点で交差する半直線を主要直線として選択する主要直線選択部と、前記所定の画像を構成する複数の水平ラインのうち、処理の対象として着目すべき着目画素が存在する水平ラインを着目水平ラインとして、前記所定の画像を構成する複数の画素の中から、前記主要直線選択部により選択された前記主要直線と前記着目水平ラインとの交点の画素をアンカー点として設定するアンカー点設定部と、前記所定の画像を構成する前記複数の画素の中から、前記アンカー点設定部により設定された前記アンカー点に対する垂直方向の参照画素、及び前記アンカー点ではない画素に対する垂直方向の参照画素を設定する参照画素設定部と、前記着目画素における、前記参照画素設定部により設定された前記参照画素と、前記着目画素の水平方向の隣接画素を用いたコスト関数を演算する演算部とを有し、前記奥行き手がかり情報抽出部は、前記演算部の演算結果を前記奥行き手がかり情報として抽出することができる。

前記奥行き情報取得部は、前記奥行き情報として、前記複数の画像に対して前記ステレオマッチング処理を施すことにより得られる第１デプスマップを取得し、前記奥行き手がかり情報取得部は、前記複数の画像のうち前記所定の画像に基づいて、遠点におけるデプス値の精度が高い第２デプスマップを、前記奥行き手がかり情報として抽出する遠点奥行き手がかり情報抽出部と、前記複数の画像のうち前記所定の画像に基づいて、近点におけるデプス値の精度が高い第３デプスマップを、前記奥行き手がかり情報として抽出する近点奥行き手がかり情報抽出部とを有し、前記奥行き情報改善部は、前記第１デプスマップ、前記第２デプスマップ、及び前記第３デプスマップを合成することにより、前記第１デプスマップの精度を改善することができる。

前記遠点奥行き手がかり情報抽出部は、前記所定の画像に含まれる複数のエッジを検出するエッジ検出部と、前記エッジ検出部により検出された前記複数のエッジの各々を延長し、延長された前記複数のエッジのうち、２つが交差する交点座標を１以上検出する交点検出部と、前記交点検出部により検出された前記交点座標毎に、前記交点検出部による検出数に応じてヒストグラムの度数を蓄積し、最高の度数となる前記交点座標が示す点を消失点として検出する消失点検出部と、前記消失点検出部により検出された前記消失点に基づいて、前記所定の画像を構成する各画素に対してデプス値を割り当てることにより第２デプスマップを生成するデプスマップ生成部とを有することができる。

前記奥行き情報改善部は、前記第１デプスマップ、前記第２デプスマップ、及び前記第３デプスマップの各々のデプス値をＮ段階に分類し、分類の結果に基づいて前記第１デプスマップの精度を改善することができる。

前記奥行き情報改善部は、前記第２デプスマップのデプス値を、前記第１デプスマップのデプス値に基づいて調整した後に、前記第１デプスマップと前記第２デプスマップを合成することができる。

前記奥行き情報取得部は、前記奥行き情報取得部は、前記第１デプスマップを取得する場合に、前記第１デプスマップの信頼性を表わす信頼度マップを生成し、前記奥行き情報改善部は、前記信頼度マップに基づいて、前記第１乃至第３デプスマップを合成することができる。

前記遠点奥行き手がかり情報抽出部は、前記第２デプスマップを抽出する場合に、前記第２デプスマップの信頼性を表わす信頼度マップを生成し、前記奥行き情報改善部は、前記信頼度マップに基づいて、前記第１乃至第３デプスマップを合成することができる。

前記近点奥行き手がかり情報抽出部は、前記第３デプスマップを抽出する場合に、前記第３デプスマップの信頼性を表わす信頼度マップを生成し、前記奥行き情報改善部は、前記信頼度マップに基づいて、前記第１乃至第３デプスマップを合成することができる。

前記奥行き情報取得部は、前記奥行き情報として、前記複数の画像に対して前記ステレオマッチング処理を施すことにより得られる第１デプスマップを取得し、前記奥行き手がかり情報取得部は、前記複数の画像のうち前記所定の画像に基づいて、遠点におけるデプス値の精度が高い第２デプスマップを、前記奥行き手がかり情報として抽出する遠点奥行き手がかり情報抽出部と、前記複数の画像のうち前記所定の画像に含まれるオブジェクトを抽出するオブジェクト抽出部とを有し、前記奥行き情報改善部は、前記第１デプスマップ及び前記第２デプスマップを合成することにより、新たなデプスマップを生成し、さらに、前記オブジェクト抽出部により抽出された前記オブジェクトの下部分の領域のデプス値を、前記新たなデプスマップに含まれる前記オブジェクト全体のデプス値に更新することにより、前記第１デプスマップの精度を改善することができる。

前記奥行き情報取得部は、外部から取得される情報から、前記画像の各画素毎の前記奥行き情報を取得することができる。

本技術の一側面の情報処理方法及びプログラムは、上述した本技術の一側面の情報処理装置に対応する方法及びプログラムである。

本技術の一側面の情報処理装置及び方法並びにプログラムにおいては、画像を構成する複数の画素の各々について、奥行き情報がそれぞれ取得され、前記複数の画素の前記奥行き情報の各々を得るための有意情報が、奥行き手がかり情報として前記画像から抽出され、抽出された前記奥行き手がかり情報が用いられて、前記複数の画素毎に取得された前記奥行き情報の精度が改善される。

以上のごとく、本技術によれば、奥行き情報の精度を改善させることができる。

情報処理装置の機能的構成例を示すブロック図である。奥行き情報改善処理の流れの一例を説明するフローチャートである。第１実施形態の情報処理装置の機能的構成例を示すブロック図である。テクスチャの密度の変化に関する情報を用いた奥行き手がかり情報を示す図である。奥行き手がかり情報抽出部の機能的構成例を示すブロック図である。奥行き手がかり情報抽出部の各構成要素が実行する処理について説明する図である。参照画素設定部により設定される参照画素の一例を示す図である。ステレオカメラの撮像場所の上面図である。ステレオカメラにより得られる左画像及び右画像を示す図である。標準的な探索範囲でのステレオマッチング処理が実行されて生成されたデプスマップを示す図である。探索範囲を広くしたステレオマッチング処理により生成されたデプスマップを示す図である。本実施形態における手法により生成されたデプスマップを示す図である。第２実施形態の情報処理装置の機能的構成例を示すブロック図である。遠点奥行き手がかり情報抽出部の機能的構成を示すブロック図である。遠点奥行き手がかり情報抽出部の各構成要素が実行する処理について説明する図である。第１及び第２デプスマップの距離をそろえた後にデプス値を合成する手法を示す図である。信頼度を示す図である。前景のセグメンテーション結果をアルゴリズム処理過程毎に示した図である。オブジェクト情報が奥行き手がかり情報として用いられる場合の情報処理装置の機能的構成例を示すブロック図である。情報処理装置が実行する処理について説明する図である。奥行き手がかり情報として遠点における奥行き手がかり情報のみが抽出される場合の情報処理装置の機能的構成例を示すブロック図である。奥行き手がかり情報として近点における奥行き手がかり情報のみが抽出される場合の情報処理装置の機能的構成例を示すブロック図である。第３実施形態の情報処理装置の機能的構成例を示すブロック図である。本技術が適用される情報処理装置のハードウエアの構成例を示すブロック図である。

[情報処理装置の機能的構成例]
図１は、本技術が適用される情報処理装置の機能的構成例を示すブロック図である。

例えば、パーソナルコンピュータからなる情報処理装置１は、画像取得部１１、奥行き手がかり情報抽出部１２、奥行き情報取得部１３、及び奥行き情報改善部１４から構成される。

画像取得部１１は、他の情報処理装置または図示せぬ記憶部から画像のデータを取得して、奥行き手がかり情報抽出部１２に供給する。

奥行き手がかり情報抽出部１２は、画像取得部１１から供給された画像のデータに基づいて、当該画像内に存在する奥行き手がかり情報を抽出する。奥行き手がかり情報は、単眼奥行き情報ともいい、１枚の画像から抽出される情報であって、奥行き情報を得るための有意情報をいう。奥行き手がかり情報抽出部１２は、抽出された奥行き手がかり情報を奥行き情報改善部１４に供給する。

奥行き情報取得部１３は、画像取得部１１により取得された画像のデータについて、各画素毎に奥行き情報を取得して、奥行き情報改善部１４に供給する。

奥行き情報改善部１４は、奥行き手がかり情報抽出部１２から供給された奥行き手がかり情報を用いて、奥行き情報取得部１３から供給された奥行き情報の精度を改善する処理を実行する。奥行き情報改善部１４は、精度が改善された奥行き情報を出力する。

[奥行き情報改善処理]
次に、このような図１の機能的構成を有する情報処理装置１が実行する奥行き情報改善処理の流れについて説明する。

図２は、奥行き情報改善処理の流れの一例を説明するフローチャートである。

ステップＳ１において、画像取得部１１は、画像のデータを取得する。

ステップＳ２において、奥行き手がかり情報抽出部１２は、ステップＳ１の処理で取得された画像のデータに基づいて、当該画像内に存在する奥行き手がかり情報を抽出する。

ステップＳ３において、奥行き情報取得部１３は、ステップＳ１の処理で取得された画像のデータについて奥行き情報を取得する。

ステップＳ４において、奥行き情報改善部１４は、ステップＳ２の処理で取得された奥行き手がかり情報を用いて、ステップＳ３の処理で取得された奥行き情報の精度を改善する。精度が改善された奥行き情報は、情報処理装置１から出力される。

これにより、奥行き情報改善処理は終了する。

なお、ステップＳ１及びステップＳ２の処理とステップＳ３の処理とは、独立した処理であるため、処理の順は、図２に示される順に限定されない。ステップＳ３の処理が先に実行された後にステップＳ１及びステップＳ２の処理が実行されてもいいし、ステップＳ１及びステップＳ２の処理とステップＳ３の処理がほぼ同時に並列して実行されてもよい。

情報処理装置１においては、奥行き手がかり情報抽出部１２により抽出された奥行き手がかり情報を用いて、奥行き情報取得部１３により取得された奥行き情報を補完することで、奥行き情報の精度を改善させることができる。

このような情報処理装置１について、以下、３つの実施形態（以下、それぞれ第１乃至第３実施形態と称する）を、次の順序で説明する。

１．第１実施形態（奥行き手がかり情報が１つの例）
２．第２実施形態（奥行き手がかり情報が２つの例）
３．第３実施形態（奥行き情報が外部から取得される例）

＜１．第１実施形態＞
[第１実施形態の情報処理装置１の構成例]
図３は、第１実施形態の情報処理装置１の機能的構成例を示すブロック図である。なお、第１実施形態の情報処理装置１は、図１の情報処理装置１と基本的に同様の機能と構成を有している。したがって、以下では、図１の情報処理装置１との一致点の説明は省略し、その差異点のみを説明する。

図３に示されるように、情報処理装置１の画像取得部１１は、左画像取得部２１と右画像取得部２２を含むように構成されている。

左画像取得部２１は、図示せぬステレオカメラが被写体を撮像した結果得られる左画像及び右画像のうちの左画像のデータを取得して、奥行き情報取得部１３に供給する。

右画像取得部２２は、図示せぬステレオカメラが被写体を撮像した結果得られる左画像及び右画像のうちの右画像のデータを取得して、奥行き情報取得部１３と奥行き手がかり情報抽出部１２に供給する。

奥行き情報取得部１３は、ステレオマッチング処理部２３を含むように構成される。ステレオマッチング処理部２３は、左画像取得部２１から供給された左画像のデータと、右画像取得部２２から供給された右画像のデータに対してステレオマッチング処理を施すことにより、奥行き情報を取得する。

具体的には、奥行き情報取得部１３は、ステレオマッチング処理として、次のような処理を実行する。即ち、奥行き情報取得部１３は、左画像と右画像の各データについて面積相関の演算を実行することで、左画像の各画素（各点）が、右画像の何れの画素（対応点）に対応するのかを求める。

具体的には、奥行き情報取得部１３は、左画像における、処理対象として注目すべき画素（以下、注目画素と称する）の周囲を含む所定の領域（以下、比較元領域と称する）に対する、右画像におけるマッチング対象の領域（以下、比較先領域と称する）を順次変更する。奥行き情報取得部１３は、比較先領域を変更する毎に、比較元領域と比較先領域とにおける相対位置が同一となる各点の差分を取ることで、各点の差分の合計値が最小となる比較先領域を特定する。そして、奥行き情報取得部１３は、特定された比較先領域内における、注目画素の配置位置と相対的に同一位置に存在する画素を、対応点として求める。このような一連の処理が、左画像を構成する各画素が注目画素に順次設定される毎に実行されて、左画像と右画像との対応関係が求められる。そして、奥行き情報取得部１３は、その対応関係に基づく三角測量の原理にしたがって、奥行き情報を取得する。

ステレオマッチング処理部２３により取得された奥行き情報は、奥行き情報改善部１４に供給される。

奥行き手がかり情報抽出部１２は、右画像取得部２２により供給された右画像のデータに基づいて、当該右画像内に存在する奥行き手がかり情報を抽出する。なお、本実施形態においては、右画像から奥行き手がかり情報が抽出されるものとするが、左画像とすることもできる。また、奥行き手がかり情報は、奥行き情報を得るための有意情報であれば特に限定されない。奥行き手がかり情報の例については、後述する。

奥行き手がかり情報抽出部１２は、右画像から抽出された奥行き手がかり情報を、奥行き情報改善部１４に供給する。

第１実施形態の情報処理装置１の処理を図２のフローチャートで説明すると、次のようになる。ステップＳ１において、左画像取得部２１が左画像のデータを取得すると共に、右画像取得部２２が右画像のデータを取得する。

ステップＳ２において、奥行き手がかり情報抽出部１２は、ステップＳ１の処理で取得された右画像のデータに基づいて、当該右画像内に存在する奥行き手がかり情報を抽出する。奥行き手がかり情報の例については、図４、図６等を参照して後述する。

ステップＳ３において、ステレオマッチング処理部２３は、ステップＳ１の処理で取得された左画像及び右画像の各データに対してステレオマッチング処理を施すことにより、奥行き情報を取得する。

これにより、第１実施形態の情報処理装置１による奥行き情報改善処理は終了する。

[奥行き手がかり情報]
次に、奥行き手がかり情報の例について説明する。

奥行き手がかり情報抽出部１２は、例えば、画像内のテクスチャの密度の変化に関する情報を用いて奥行き手がかり情報を抽出することができる。

図４は、テクスチャの密度の変化に関する情報を用いた奥行き手がかり情報を示す図である。

図４Ａは、ステレオカメラが被写体Ｓｂ１を撮像した結果得られる右画像または左画像のうちのいずれか１枚の画像ＰＧ１（右画像または左画像）を示している。画像ＰＧ１には、所定のテクスチャに覆われた平面であって、ステレオカメラの撮像位置から遠ざかっていく被写体Ｓｂ１（図４の例では、レンガ塀）が含まれる。

このようにしてステレオカメラにより得られた右画像と左画像の各データに対してステレオマッチング処理が施された場合、図４Ｂに示されるような奥行き情報ＤＩ１が得られる。

図４Ｂに示されるように、奥行き情報ＤＩ１のうち、ステレオカメラの撮像位置から近い領域ｒｎにおいては、手前ほどグレースケールが明るく表わされているように、奥行きの階調が得られている。しかしながら、奥行き情報ＤＩ１のうち、ステレオカメラの撮像位置から遠い領域ｒｆにおいては、奥行きの階調が２段階でしか表わされていない。即ち、ステレオカメラにより得られた画像のデータに対してステレオマッチング処理が施された場合、撮像位置が遠ざかるほど、得られる階調が減少する。

したがって、奥行き手がかり情報抽出部１２は、テクスチャの密度の変化に関する情報を用いて、奥行き手がかり情報を抽出する。なお、テクスチャの密度の変化に関する情報を用いて奥行き手がかり情報を抽出する手法としては、例えば、“Texture Structure Classification and Depth Estimation using Multi-Scale Local Autocorrelation Features”, KANG Y, HASEGAWA O, NAGAHASHI H (Tokyo Inst. Technol.), JST-PRESTO（以下、非特許文献１と称する）に記載された手法を採用することができる。

具体的には、奥行き手がかり情報抽出部１２は、図４Ａに示されるように、画像中に一様なテクスチャが存在する場合、遠方にいくにしたがってテクスチャの密度が小さくなることを利用する。即ち、奥行き手がかり情報抽出部１２は、画像内において、同質のテクスチャの密度が徐々に小さくなる領域を検知した場合には、所定のテクスチャに覆われた平面が撮像位置から遠ざかっていると判断する。このような場合、奥行き手がかり情報抽出部１２は、画像内の遠方の領域に対しても、撮像位置からの距離にしたがって奥行き情報を割り当てるような奥行き手がかり情報を抽出する。

このようにして抽出された奥行き手がかり情報が用いられることで、図４Ｃに示されるように、ステレオマッチング処理では階調が得られないような遠方の領域であっても、階調が得られるようになる。

また、奥行き手がかり情報抽出部１２は、例えば、画像内のオブジェクトの重なりに関する情報を用いて奥行き手がかり情報を抽出することができる。

画像内のオブジェクトの重なりに関する情報を用いて奥行き手がかり情報を抽出する手法としては、例えば、“Recovering Occlusion Boundaries from a Single Image”, D.Hoiem, A.Stein, A.Efros, M.Hebert: ICCV 2007.（以下、非特許文献２と称する）に記載された手法を採用することができる。

具体的には、奥行き手がかり情報抽出部１２は、オブジェクト間のエッジに基づいてオブジェクト間の重なり（即ち、遮蔽関係）を評価し、距離の前後関係を示す情報を有する画像（マップ）を生成し、当該画像を奥行き手がかり情報として抽出する。

このようにして抽出された奥行き手がかり情報が用いられることで、ステレオマッチング処理では奥行き情報を得ることができない平坦なオブジェクトや、エラーが発生した領域についても、奥行き情報を正しく得ることが可能となる。

また、奥行き手がかり情報抽出部１２は、例えば、画像内の空の領域に関する情報を用いて奥行き手がかり情報を抽出することができる。

例えば、晴天時の空等は特徴点が存在しないため、ステレオマッチング処理を用いて奥行き情報を生成することは困難である。

そこで、奥行き手がかり情報抽出部１２は、画像内の空の領域に関する情報を用いて奥行き手がかり情報を抽出する。なお、画像内の空の領域に関する情報を用いて奥行き手がかり情報を抽出する手法としては、例えば、“Depth-Map Generation by Image Classification”, S.Battiato, S.Curti, M.La Cascia, M.Tortora, E.Scordato（以下、非特許文献３と称する）に記載された手法を採用することができる。

具体的には、奥行き手がかり情報抽出部１２は、色情報などから画像内に含まれる空の領域が特定できた場合、当該空の領域は遠方の領域であると判断して、当該空の領域に対して奥行き情報を割り当てるような奥行き手がかり情報を抽出する。

このようにして抽出された奥行き手がかり情報が用いられることで、より精度の高い奥行き情報を得ることが可能となる。

また、奥行き手がかり情報抽出部１２は、例えば、画像内のオクルージョンに関する情報を用いて奥行き手がかり情報を抽出することができる。

画像内のオクルージョンに関する情報を用いて奥行き手がかり情報を抽出する手法としては、例えば、国際公開第２００５／０９１２２１号（以下、特許文献２と称する）に記載された手法や、国際公開第２００５／０８３６３０号（以下、特許文献３と称する）に記載された手法を採用することができる。

また、奥行き手がかり情報抽出部１２は、例えば、大気による光の分散とデプスの関係に関する情報を用いて距離マップを生成することにより、奥行き手がかり情報を抽出することができる。

大気による光の分散とデプスの関係に関する情報を用いて距離マップを生成することにより、奥行き手がかり情報を抽出する手法としては、例えば、“Depth from Scattering”, F.Cozman, E.Krotkov: CVPR 1997. （以下、非特許文献４と称する）に記載された手法を採用することができる。

[消失点に向かう直線に関する情報を用いる場合の奥行き手がかり情報抽出部の機能的構成]
また、奥行き手がかり情報抽出部１２は、その他にも例えば、消失点に向かう直線に関する情報を用いて奥行き手がかり情報を抽出することができる。

消失点とは、透視変換によって三次元空間中の平行線を画像平面上に投影した場合に、それら平行線に対応する画面平面上の直線が収束する点のことである。即ち、消失点とは、実際は奥行きを有している空間が投影された平面画像上において、「無限に遠い点」であり、奥行き方向に平行な線の延長線が交わる点や、奥行き方向に伸びる面の延長が無限遠方に収束する点として認識されるものである。

消失点に向かう直線に関する情報を用いて奥行き手がかり情報を抽出する場合、奥行き手がかり情報抽出部１２の構成は、例えば図５に示されるようになる。

図５は、消失点に向かう直線に関する情報を用いて奥行き手がかり情報を抽出する場合の、奥行き手がかり情報抽出部１２の機能的構成例を示すブロック図である。

図５に示されるように、奥行き手がかり情報抽出部１２は、直線検出部４１、消失点検出部４２、主要直線選択部４３、アンカー点設定部４４、参照画素設定部４５、及び演算部４６から構成される。奥行き手がかり情報抽出部１２の各構成要素が実行する処理について、図６を参照して説明する。

[奥行き手がかり情報抽出部１２の処理]
図６は、奥行き手がかり情報抽出部１２の各構成要素が実行する処理について説明する図である。

図６Ａは、右画像取得部２２から、奥行き手がかり情報抽出部１２の直線検出部４１に供給される右画像ＲＰ１を示す図である。図６Ａに示される右画像ＲＰ１のデータが供給されると、直線検出部４１は、右画像ＲＰ１に含まれる複数の直線を検出する。

図６Ｂは、直線検出部４１により検出される複数の直線の例を示す図である。直線の検出手法は特に限定されず、例えば、Hough変換を利用した手法を採用することができる。図６Ｂに示されるように、直線検出部４１により複数の直線が検出される。直線検出部４１は、検出された複数の直線の情報を、消失点検出部４２と主要直線選択部４３に供給する。

消失点検出部４２は、直線検出部４１から供給された複数の直線の情報に基づいて、消失点を検出する。即ち、消失点検出部４２は、最も多くの直線が収束する点を消失点として検出して、検出された消失点の情報を主要直線選択部４３に供給する。

主要直線選択部４３は、消失点検出部４２から供給された消失点の情報に基づいて、直線検出部４１により検出された複数の直線の中から主要直線を選択する。直線検出部４１により検出された複数の直線には、奥行きの変化に沿った直線と、それ以外の直線が含まれる。複数の直線のうち、奥行きの変化に沿った直線が主要直線である。主要直線は、消失点となる一点を通過する半直線（即ち、他の主要直線と消失点で交差する半直線）であると定義することができる。したがって、主要直線選択部４３は、直線検出部４１により検出された複数の直線の中から、消失点で交差する複数の半直線を主要直線として選択する。

図６Ｃは、主要直線選択部４３により選択された複数の主要直線を示す図である。図６Ｃの中央部には、消失点検出部４２により検出された消失点Ｐｄ１と、主要直線選択部４３により選択された主要直線Ｌ１乃至Ｌ６が示されている。図６Ｃに示されるように、主要直線Ｌ１乃至Ｌ６は、消失点Ｐｄ１で交差する半直線である。主要直線選択部４３は、選択された主要直線Ｌ１乃至Ｌ６の情報をアンカー点設定部４４に供給する。

アンカー点設定部４４は、右画像ＲＰ１を構成する各水平ラインの各々を着目水平ラインに順次設定し、主要直線選択部４３から供給された主要直線Ｌ１乃至Ｌ６の情報に基づいて、主要直線Ｌ１乃至Ｌ６の各々と着目水平ラインとの交点をアンカー点として設定する処理を繰り返し実行する。

図６Ｄは、着目水平ラインとして水平ラインＨＬｋが設定された場合に、アンカー点設定部４４により設定されたアンカー点を示す図である。図６Ｄに示されるように、主要直線Ｌ１乃至Ｌ６の各々と着目水平ラインＨＬｋとの交点Ｐａ１乃至Ｐａ６の各々が、アンカー点としてそれぞれ設定される。アンカー点設定部４４は、アンカー点Ｐａ１乃至Ｐａ６の情報を参照画素設定部４５に供給する。

参照画素設定部４５は、アンカー点設定部４４から供給されたアンカー点Ｐａ１乃至Ｐａ６の情報に基づいて、アンカー点Ｐａ１乃至Ｐａ６のそれぞれに対して参照画素を設定する。

[参照画素の設定]
図７は、参照画素設定部４５により設定される参照画素の一例を示す図である。図７には、奥行き手がかり情報抽出部１２に供給された右画像ＲＰ１に含まれる、複数の画素ｐｘ（図７において丸印で表わされている）が示されている。

図７Ａには、主要直線Ｌｋと着目水平ラインＨＬｋの交点の画素が、アンカー点Ｐａｋとして示されている。参照画素設定部４５は、アンカー点Ｐａｋを通る主要直線Ｌｋの傾きから、アンカー点Ｐａｋの参照画素を設定する。具体的には、参照画素設定部４５は、主要直線Ｌｋ上の画素ｐｘのうち、アンカー点Ｐａｋと垂直方向（即ち、上下方向）に最も近い２つの画素ｐｘを、アンカー点Ｐａｋの垂直方向参照画素Ｐｒｋ１，Ｐｒｋ２として設定する。

また、参照画素設定部４５は、所定の水平ラインＨＬｋ上の画素のうち、アンカー点ではない画素ｐｘ（以下、非アンカー点と称する）に対しても参照画素を設定する。

図７Ｂには、主要直線Ｌｍ，Ｌｎと、アンカー点Ｐａｍ，Ｐａｎ（即ち、主要直線Ｌｍ，Ｌｎのそれぞれと所定の水平ラインＨＬｋの交点の画素）が示されている。

参照画素設定部４５は、非アンカー点Ｐｆｏの近傍に存在するアンカー点Ｐａｍ，Ｐａｎにおける主要直線Ｌｍ，Ｌｎの傾きに基づいて、非アンカー点Ｐｆｏの参照画素を設定する。具体的には、参照画素設定部４５は、主要直線Ｌｍ，Ｌｎの傾きから、補間処理により、非アンカー点Ｐｆｏにおける仮の主要直線Ｌｏを設定する。そして、参照画素設定部４５は、仮の主要直線Ｌｏ上の画素ｐｘのうち、非アンカー点Ｐｆｏと垂直方向（即ち、上下方向）に最も近い２つの画素ｐｘを、非アンカー点Ｐｆｏの垂直方向参照画素Ｐｒｏ１，Ｐｒｏ２として設定する。

即ち、参照画素設定部４５は、所定の水平ラインＨＬｋ上のアンカー点と主要直線の傾きを補間しながら、所定の水平ラインＨＬｋ上の各画素ｐｘに対して、それぞれ垂直方向参照画素を設定する。参照画素設定部４５は、設定された垂直方向参照画素の情報を演算部４６に供給する。

演算部４６は、参照画素設定部４５から供給された垂直方向参照画素の情報に基づいて、水平隣接画素と垂直方向参照画素との拘束条件を反映したコスト関数の、最小化によるマッチングを行い、Depth情報を推定し、当該Depth情報を奥行き手がかり情報として抽出する。

例えば本実施形態では、演算部４６は、式（１）に示されるコスト関数Ｃ（ｘ）が最小となる領域を求めることにより、Depth情報を推定し、当該Depth情報を奥行き手がかり情報として抽出する。

式（１）において、xiは、マッチング対象領域に含まれる各画素のうち、i番目に設定された着目画素を示している。Ｃｇｈ（xi）は、式（２）に示すように、着目画素xiの奥行きｍｖ（ｘｉ）と、その水平方向の隣接画素ｘｉ＋１の奥行きｍｖ（ｘｉ＋１）との差分に基づくコストを示している。Ｃｇｖｋ（xi）は、式（３）に示すように、着目画素xiの水平方向の奥行きの微分（ｍｖ（ｘｉ）−ｍｖ（ｘｉ＋１））と、垂直方向参照画素ｘｒｋの水平方向の奥行きの微分（ｍｖ（ｘｒｋ）−ｍｖ（ｘｒｋ＋１））との差分に基づくコストを示している。ここで、ｋは、１又は２の値であり、Ｃｇｖ１（ｘｉ）は、垂直上方向参照画素ｘｒ１に関するコストを示し、Ｃｇｖ２（ｘｉ）は、垂直下方向参照画素ｘｒ２に関するコストを示している。αは、コストＣｇｈ（xi）についての重み値であり、βは、コストＣｇｖｋ（xi）についての重み値である。なお、式（２）と式（３）中のノルムの種類は特に限定されない。

演算部４６は、このようにして抽出したDepth情報を奥行き手がかり情報として、奥行き情報改善部１４に供給する。このようにして抽出された奥行き手がかり情報が用いられることで、より空間解像度（即ち、密度）が高い奥行き情報を得ることが可能となる。

＜２．第２実施形態＞
第１実施形態においては、奥行き手がかり情報抽出部１２により抽出される奥行き手がかり情報は１つであった。しかしながら、抽出される奥行き手がかり情報は、１つに限定されない。例えば、奥行き手がかり情報として、撮像位置から遠い点（以下、遠点と称する）における奥行き手がかり情報と、撮像位置から近い点（以下、近点と称する）における奥行き手がかり情報の２つが抽出されてもよい。

なお、第２実施形態においては、デプスマップが奥行き情報として採用される。デプスマップは、奥行き情報の画像内の分布状態を示す情報である。以下、図８乃至図１２を参照して、デプスマップの詳細について説明する。

[ステレオカメラによる撮像]
図８は、ステレオカメラの撮像場所の上面図である。

ステレオカメラＣＡは、図８に示される位置から被写体Ｓｂ１１乃至Ｓｂ１４を撮像する。なお、被写体Ｓｂ１１乃至Ｓｂ１４は、ステレオカメラＣＡの撮像位置からみて、被写体Ｓｂ１１乃至Ｓｂ１４の順で順次離れていくように配置されている。

[左右画像]
図９は、ステレオカメラＣＡにより得られる左画像及び右画像を示す図である。

図９の左上の図においては、ステレオカメラＣＡにより被写体Ｓｂ１１乃至Ｓｂ１４が撮像され、その結果得られる左画像ＬＰ１１が示されている。

図９の右上の図においては、ステレオカメラＣＡにより被写体Ｓｂ１１乃至Ｓｂ１４が撮像され、その結果得られる右画像ＲＰ１１が示されている。なお、左画像ＬＰ１１と右画像ＲＰ１１の視差についての説明を分かりやすくするために、図９の右下に、左上と同じ左画像ＬＰ１１が示されている。

左画像ＬＰ１１と右画像ＲＰ１１とにおける対応点同士の水平方向の長さ（即ち、水平方向の位置ずれ）が視差となるが、被写体Ｓｂ１１乃至Ｓｂ１４についての各視差を比較すると、近点の被写体ほど視差が大きくなり、遠点の被写体ほど視差が小さくなる。

具体的には、ステレオカメラＣＡの撮像位置から最短距離に位置する被写体Ｓｂ１１（即ち、最近点）の視差ｄｆ１は、一番大きい。ステレオカメラＣＡの位置から２番目に短い距離に位置する被写体Ｓｂ１２の視差ｄｆ２は、二番目に大きい。ステレオカメラＣＡの位置から３番目に短い距離に位置する被写体Ｓｂ１３の視差ｄｆ３は、三番目に大きい。そして、撮像位置から最も遠くに位置する被写体Ｓｂ１４（即ち、最遠点）の視差は０となっている。

[デプスマップ]
図１０は、このような左画像ＬＰ１１と右画像ＲＰ１１を用いて、標準的な探索範囲でのステレオマッチング処理が実行されて生成されたデプスマップＤＭ１１を示す図である。

図１０に示されるように、近点においては、視差が膨大になり、マッチング探索範囲をオーバーしているため距離が検出できず、奥行き情報が示されていないことが分かる。また、遠点においては、図９を用いて説明したように、視差が０であることから、遠点に位置する被写体Ｓｂ１４が背景と同一化しており、奥行き情報が示されていないことが分かる。

したがって、図１１を参照して、探索範囲を広くしたステレオマッチング処理により生成されたデプスマップについて説明する。

図１１に示されるように、近点においては、距離が検出され、奥行き情報が示されていることが分かる。しかしながら、遠点においては、図１０に示されたデプスマップと同様に、遠点に位置する被写体Ｓｂ１４が背景と同一化しており、奥行き情報が示されていないことが分かる。

その理由は、ステレオマッチング処理により生成されるデプスマップが、ステレオカメラのカメラ間距離に応じて、次のような特徴が存在するからである。即ち、カメラ間距離が長い場合、近点における視差が膨大になり、視差を求めるステレオマッチング処理の探索範囲が増大してしまい、奥行き情報の取得が困難となる。一方、カメラ間距離が短い場合、遠点における視差が検知できないほど小さくなり、前後間の距離差を検出することが困難となるため、奥行き情報の取得が困難となる。

したがって、本実施形態においては、奥行き手がかり情報取得部１２により取得される遠点及び近点の両方における奥行き手がかり情報を用いることにより、遠点及び近点における奥行き情報の精度を改善させるようにしている。

図１２は、本実施形態における手法により生成されたデプスマップＤＭ１３を示す図である。

図１２に示されるように、デプスマップＤＭ１３では、近点においても、遠点においても、奥行き情報が示されていることが分かる。このように、奥行き手がかり情報取得部１２により取得される遠点及び近点の両方における奥行き手がかり情報を用いることにより、遠点及び近点における奥行き情報の精度が改善される。

[第２実施形態の情報処理装置１の構成例]
図１３は、第２実施形態の情報処理装置１の機能的構成例を示すブロック図である。なお、第２実施形態の情報処理装置１は、図３の情報処理装置１と基本的に同様の機能と構成を有している。したがって、以下では、図３の情報処理装置１との一致点の説明は省略し、その差異点のみを説明する。

図１３に示されるように、奥行き情報取得部１３は、ステレオマッチング処理部２３を含むように構成される。ステレオマッチング処理部２３は、左画像取得部２１から供給された左画像のデータと、右画像取得部２２から供給された右画像のデータに対してステレオマッチング処理を施すことにより、第１デプスマップを取得する。取得された第１デプスマップが奥行き情報として用いられる。

なお、ステレオマッチング処理の手法は、特に限定されず、例えば、特許文献１に記載された手法を採用することができる。当該手法が適用されたステレオマッチング処理部２３は、動的計画法の一種であるビタビアルゴリズムに従って、左画像のデータと右画像のデータを水平方向に走査していき、水平走査線上の画素列のデータに対して最適な対応を割り当てることにより、第１デプスマップを取得する。

ステレオマッチング処理部２３により取得された第１デプスマップは、奥行き情報改善部１４に供給される。

奥行き手がかり情報抽出部１２は、遠点奥行き手がかり情報抽出部１０１と、近点奥行き手がかり情報抽出部１０２を含むように構成されている。

遠点奥行き手がかり情報抽出部１０１は、右画像取得部２２から供給された右画像のデータに対して、遠近法に基づく画像解析をすることによって、第２デプスマップを抽出する。抽出された第２デプスマップは、特に遠点におけるデプス値の精度が高いため、当該右画像の遠点の奥行き手がかり情報として用いられる。なお、遠点奥行き手がかり情報抽出部１０１の詳細と第２デプスマップの例については、後述する。

遠点奥行き手がかり情報抽出部１０１は、抽出された第２デプスマップを奥行き情報改善部１４に供給する。

近点奥行き手がかり情報抽出部１０２は、右画像取得部２２から供給された右画像のデータについて、フォーカス位置に起因して現れるボケ量を評価することによって、第３デプスマップを抽出する。抽出された第３デプスマップは、特に近点におけるデプス値の精度が高いため、当該右画像の近点の奥行き手がかり情報として用いられる。

第３デプスマップを抽出する手法は、特に限定されず、例えば、“Unsupervised multiresolution segmentation for images with low depth of field”, WANG LI, GRAY WIEDERHOLD: PAMI 2001.（以下、非特許文献５と称する）に記載された手法を採用することができる。

当該手法が適用された近点奥行き手がかり情報抽出部１０２は、wavelet係数の分散をマッピングする手法を用いて、右画像のデータを、同一DoF(Depth of Field)領域ごとにセグメンテーションする。そして、近点奥行き手がかり情報抽出部１０２は、抽出されたセグメントごとに奥行きを順次与えていくことで、第３デプスマップを抽出する。

近点奥行き手がかり情報抽出部１０２は、抽出された第３デプスマップを奥行き情報改善部１４に供給する。

奥行き情報改善部１４は、遠点奥行き手がかり情報抽出部１０１から供給された第２デプスマップと、近点奥行き手がかり情報抽出部１０２から供給された第３デプスマップを用いて、ステレオマッチング処理部２３から供給された第１デプスマップの精度を改善する処理を実行して出力する。即ち、奥行き情報改善部１４は、第１乃至第３デプスマップの３つを合成することにより、新たなデプスマップを生成し、当該新たなデプスマップを、精度が改善された第１デプスマップとして出力する。なお、奥行き情報改善部１４の処理の詳細の例については、後述する。

第２実施形態の情報処理装置１の処理を図２のフローチャートで説明すると、ステップＳ１において、左画像取得部２１が左画像のデータを取得すると共に、右画像取得部２２が右画像のデータを取得する。

ステップＳ２において、遠点奥行き手がかり情報抽出部１０１は、ステップＳ１の処理で取得された右画像のデータに基づいて、当該右画像の遠点の奥行き手がかり情報として第２デプスマップを抽出する。また、近点奥行き手がかり情報抽出部１０２は、ステップＳ１の処理で取得された右画像のデータに基づいて、当該右画像の近点の奥行き手がかり情報として第３デプスマップを抽出する。

ステップＳ３において、ステレオマッチング処理部２３は、ステップＳ１の処理で取得された左画像及び右画像の各データに対してステレオマッチング処理を施すことにより、奥行き情報として第１デプスマップを取得する。

ステップＳ４において、奥行き情報改善部１４は、ステップＳ２の処理で取得された奥行き手がかり情報である第２デプスマップと第３デプスマップを用いて、ステップＳ３の処理で取得された奥行き情報である第１デプスマップの精度を改善する。精度が改善された第１デプスマップは、情報処理装置１から出力される。

これにより、第２実施形態の情報処理装置１による奥行き情報改善処理は終了する。

[遠点奥行き手がかり情報抽出部の機能的構成]
次に、遠点奥行き手がかり情報抽出部１０１の詳細と第２デプスマップについて説明する。

第２デプスマップを抽出する手法として、例えば、“Interpreting perspective images”, S.T.Barnard, Artificial Intelligence, Vol 21, pp.435-462, 1983.（以下、非特許文献６と称する）に記載された手法を、遠点奥行き手がかり情報抽出部１０１は採用することができる。

当該手法が適用された遠点奥行き手がかり情報抽出部１０１は、右画像取得部２２から供給された右画像のデータに基づいて、当該右画像に含まれる各種エッジを検出することにより消失点を検出する。そして、遠点奥行き手がかり情報抽出部１０１は、検出された消失点を最遠のデプス値であると認識し、当該最遠のデプス値を基準にして、右画像の各画素に対してデプス値を割り当てる（即ち、各画素値をデプス値にそれぞれ変更する）ことで、デプスマップを抽出する。

この場合、遠点奥行き手がかり情報抽出部１０１は、例えば図１４のような構成を取ることができる。

図１４は、遠点奥行き手がかり情報抽出部１０１の機能的構成を示すブロック図である。

図１４に示されるように、遠点奥行き手がかり情報抽出部１０１は、エッジ検出部１２１、交点検出部１２２、ヒストグラム蓄積部１２３、及びデプスマップ生成部１２４から構成される。遠点奥行き手がかり情報抽出部１０１の各構成要素が実行する処理について、図１５を参照して説明する。

[遠点奥行き手がかり情報抽出部１０１の処理]
図１５は、遠点奥行き手がかり情報抽出部１０１の各構成要素が実行する処理について説明する図である。

図１５Ａは、エッジ検出部１２１とデプスマップ生成部１２４に、右画像取得部２２から供給される右画像ＲＰ２１を示す図である。図１５Ａに示される右画像ＲＰ２１のデータが供給されると、エッジ検出部１２１は、右画像ＲＰ２１に含まれるエッジを検出する。

図１５Ｂは、エッジ検出部１２１により検出されたエッジを含むエッジ画像ＥＰ２１の例を示す図である。エッジの検出手法は、特に限定されず、例えば、ハイパスフィルタやCannyアルゴリズムを利用した手法を採用することができる。エッジ検出部１２１により被写体のエッジが検出されることによって、例えば図１５Ｂに示されるエッジ画像ＥＰ２１が得られる。エッジ検出部１２１は、エッジ画像ＥＰ２１を交点検出部１２２に供給する。

交点検出部１２２は、エッジ検出部１２１から供給されたエッジ画像ＥＰ２１に含まれるエッジを延長し、全てのエッジ対の交点における画像内の座標（以下、交点座標と称する）を検出して、検出された交点座標の情報をヒストグラム蓄積部１２３に供給する。

ヒストグラム蓄積部１２３は、エッジ対の交点が最も集まっている座標、即ち交点座標として検出された個数が最も多い座標上の点を消失点として検出する。具体的には、ヒストグラム蓄積部１２３は、エッジ画像ＥＰ２１中に格子を張るように２次元ヒストグラムを形成し、全てのエッジ対の交点座標の数に応じてヒストグラムの度数を蓄積する。そして、ヒストグラム蓄積部１２３は、最高の度数のマス目の点を、エッジ対の交点が最も集積される座標として検出し、検出した座標の点を消失点として検出する。

図１５Ｃは、ヒストグラム蓄積部１２３により検出される消失点Ｐｄ２１の一例を示す図である。図１５ＣにＸ印で示されるように、エッジ対の交点が最も集まっている座標の点が消失点Ｐｄ２１として検出される。

ヒストグラム蓄積部１２３は、検出された消失点Ｐｄ２１の座標の情報をデプスマップ生成部１２４に供給する。

デプスマップ生成部１２４は、ヒストグラム蓄積部１２３から供給された消失点Ｐｄ２１の座標の情報に基づいて、右画像取得部２２から供給された右画像ＲＰ２１を構成する各画素に対してデプス値を割り当てることにより第２デプスマップを生成する。即ち、デプスマップ生成部１２４は、右画像ＲＰ２１に含まれる各画素の画素値として、消失点Ｐｄ２１からの距離に応じて線形にデプス値が変化していくように、各画素値にデプス値を割り当てる。具体的には、デプスマップ生成部１２４は、消失点Ｐｄ２１の座標を最遠点として、消失点Ｐｄ２１との距離が離れている画素ほど近点であるとして、右画像ＲＰ２１に含まれる各画素に対してデプス値を割り当てる。

図１５Ｄは、デプスマップ生成部１２４により生成された第２デプスマップＤＭ２１を示す図である。上述したようにデプス値が割り当てられた結果、第２デプスマップＤＭ２１には、遠点ほどグレースケールが暗く表わされ、近点ほどグレースケールが明るく表わされている。

デプスマップ生成部１２４は、生成された第２デプスマップを奥行き情報改善部１４に供給する。

[奥行き情報改善部の処理]
次に、奥行き情報改善部１４の処理の詳細について説明する。

奥行き情報改善部１４は、第１乃至第３デプスマップの３つを合成することにより、新たなデプスマップを生成し、当該新たなデプスマップを、精度が改善された第１デプスマップとして出力する。即ち、奥行き情報改善部１４は、第１のデプスマップに対応する画像の各画素を注目画素に順次設定し、第１乃至第３デプスマップの各デプス値のうち任意の１以上の値を用いて得られるデプス値に置き換える処理（以下、このような処理を、合成と適宜称する）を繰り返し実行することによって、精度が改善された第１デプスマップを生成する。以下では、第１乃至第３デプスマップの合成手法として、３つの合成手法について説明する。

[１つ目の合成手法]
先ず、１つ目の合成手法について説明する。具体的には、デプス値に対して第１閾値及び第２閾値（第１閾値＞第２閾値）の２つを設定して、第１乃至第３デプスマップに対応する画像の各画素毎に、第１閾値及び第２閾値との大小関係からデプス値を「近」、「中」、「遠」のうちのいずれかを得意とする距離として分類する。注目画素において、例えば、第１デプスマップのデプス値が、第１閾値と第２閾値との間の値である場合、第１デプスマップにおける注目画素の得意な距離は「中」であるとして分類する。また、第２デプスマップのデプス値が、第１閾値以上の値である場合、第２デプスマップにおける注目画素の得意な距離は「遠」であるとして分類する。第３デプスマップのデプス値が、第２閾値以下の値である場合、第３デプスマップにおける注目画素の得意な距離は「近」であるとして分類する。

そして、奥行き情報改善部１４は、第１のデプスマップに対応する画像の各画素を注目画素に順次設定し、第１乃至第３デプスマップの各デプス値を選択的に切り替えて合成する。

例えば、注目画素が、第１乃至第３デプスマップの得意とするデプス値としてそれぞれ異なる分類がなされている場合には、予め用意されている優先度に従って選択的に切り替えたデプス値を、注目画素の更新後のデプス値（即ち、精度が改善された第１デプスマップの注目画素のデプス値）として採用するようにすればよい。即ち、第１デプスマップ>第２デプスマップ>第３デプスマップの順に優先度が高くなることが予め決定されているとする。そして、例えば、第１デプスマップが「中」、第２デプスマップが「遠」、第３デプスマップが「近」にそれぞれ分類されている注目画素については、優先度にしたがって、第１デプスマップのデプス値が注目画素の更新後のデプス値として採用される。

なお、デプス値に対して設定する閾値は２つに限定されない。即ち、第１乃至第３デプスマップの各々のデプス値をＮ段階（Ｎは２以上の任意の整数値）に分類してもよい。

また例えば、注目画素の更新後のデプス値として、第１乃至第３デプスマップの中からいずれか１つのデプス値を採用するのみでなく、重みをつけた加算により、そのデプス値を合成してもよい。例えば、遠点と近点の境界付近では、徐々に加算の割合を変える等して重みを変化させるようにしてもよい。

[２つ目の合成手法]
２つ目の合成手法は、第１乃至第３デプスマップの距離をそろえた上で、デプス値を合成する手法である。１つ目の合成手法のように第１乃至第３デプスマップが選択的に切り換えられて合成された場合には、それらの境界部分が不連続となるおそれがある。したがって、このようなおそれを解消するためには、第１乃至第３デプスマップの距離をそろえた後に、デプス値を合成する２つ目の合成手法を採用すればよい。以下では、第１乃至第３デプスマップのうち、第１及び第２デプスマップの距離がそろえられた後に合成される例について説明する。

図１６は、第１及び第２デプスマップの距離をそろえた後にデプス値を合成する手法を示す図である。

図１６の左上の図は、画像取得部１１に供給される画像ＰＧ３１を示している。画像取得部１１に画像ＰＧ３１のデータが供給されると、左画像取得部２１は、画像ＰＧ３１から左画像のデータを取得して、ステレオマッチング処理部２３に供給する。また、右画像取得部２２は、画像ＰＧ３１から右画像のデータを取得して、ステレオマッチング処理部２３と奥行き手がかり情報抽出部１２に供給する。

ステレオマッチング処理部２３は、左画像取得部２１から供給された左画像のデータと、右画像取得部２２から供給された右画像のデータに対してステレオマッチング処理を施すことにより、第１デプスマップを取得する。

図１６の中央上の図は、ステレオマッチング処理部２３により取得された第１デプスマップＤＭ３１を示す図である。図１６の中央上の図においては、第１デプスマップＤＭ３１の近点においては、デプス値が明確である様子が示されている。しかしながら、点線枠で示される遠点の領域ｆａにおいては、デプス値が不明瞭である様子が示されている。即ち、第１デプスマップＤＭ３１においては、遠点の領域ｆａのデプス値の精度が低いことが分かる。

一方、遠点奥行き手がかり情報抽出部１０１は、右画像取得部２２から供給された右画像のデータに所定の処理を施すことにより、第２デプスマップを抽出する。

図１６の左下の図は、遠点奥行き手がかり情報抽出部１０１により抽出された第２デプスマップＤＭ３２を示す図である。図１６の左下の図に示されるように、第２デプスマップＤＭ３２の遠点においては、第１デプスマップＤＭ３１の遠点と比較すると、デプス値が精度よく示されている。即ち、第２デプスマップＤＭ３２は、遠点におけるデプス値の精度が高いことが分かる。

したがって、奥行き情報改善部１４は、ステレオマッチング処理部２３から供給された第１デプスマップと、遠点奥行き手がかり情報抽出部１０１から供給された第２デプスマップを、次のようにして合成する。即ち、奥行き情報改善部１４は、第１デプスマップＤＭ３１のうち、デプス値の精度が高い近点が注目画素となっている場合には、第１デプスマップＤＭ３１のデプス値を、注目画素の更新後のデプス値（即ち、精度が改善された第１デプスマップの注目画素のデプス値）として採用する。一方、奥行き情報改善部１４は、第１デプスマップＤＭ３１のうち、デプス値の精度が低い遠点が注目画素となっている場合には遠点における精度が高い第２デプスマップＤＭ３２のデプス値を、注目画素の更新後のデプス値として採用する。

この場合、１つ目の合成手法のように、第１デプスマップと第２デプスマップのデプス値が選択的に切り換えられて合成されると、それらの境界部分が不連続となるおそれがある。したがって、２つ目の合成手法が適用された奥行き情報改善部１４は、第２デプスマップの近点におけるデプス値が、第１デプスマップの近点におけるデプス値と同一の値になるように調整を行った後で、第１デプスマップと第２デプスマップの合成を行う。

図１６の中央下の図は、近点におけるデプス値が調整された第２デプスマップＤＭ３３を示す図である。図１６の中央下の図に示されるように、第２デプスマップＤＭ３３の近点のデプス値は、同図の中央上の図に示される第１デプスマップＤＭ３１の近点のデプス値と同一の値になるように調整されている。

その後、奥行き情報改善部１４は、第１デプスマップＤＭ３１と、デプス値が調整された第２デプスマップＤＭ３３を合成する。

図１６の右の図は、第１デプスマップＤＭ３１と、デプス値が調整された第２デプスマップＤＭ３３が合成されたデプスマップＤＭ３４を示す図である。図１６の右の図に示されるように、デプスマップＤＭ３４は、第１デプスマップＤＭ３１の近点のデプス値と、デプス値が調整された第２デプスマップＤＭ３３の遠点のデプス値が合成されたものである。この場合、第１デプスマップＤＭ３１と第２デプスマップＤＭ３３は、近点におけるデプス値が同一になるように調整されてから合成されている。したがって、両者が合成された結果生成されるデプスマップＤＭ３４は、遠点と近点との境界部分が連続となる。

[３つ目の合成手法]
３つ目の合成手法は、第１乃至第３デプスマップのそれぞれの信頼性を用いる手法である。即ち、第１乃至第３デプスマップのそれぞれが生成される場合に、それぞれのデプスマップの信頼性を表わす信頼度マップも生成されて、第１乃至第３デプスマップとともに奥行き情報改善部１４に供給される。奥行き情報改善部１４は、信頼度マップに基づいて第１乃至第３デプスマップを合成することにより、新たなデプスマップを生成する。

[第１デプスマップに対する第１信頼度マップ]
はじめに、第１デプスマップに対する第１信頼度マップについて説明する。

ステレオマッチング処理部２３は、例えば、上述した特許文献１の手法によりステレオマッチング処理を実行して第１デプスマップを取得する場合に、同時に第１信頼度マップを生成する。

具体的には、ステレオマッチング処理部２３は、左画像と右画像の各データを水平方向に走査していき、水平走査線上の画素列のデータに対して最適な対応を割り当てて第１デプスマップを取得する際に、その対応度合いを画素毎に記録する。ステレオマッチング処理部２３は、記録された対応度合いを第１信頼度マップとして、第１デプスマップとともに奥行き情報改善部１４に供給する。

なお、対応度合いの数値化の手法は特に限定されず、例えば、対応が認められた左右の画素対の相関値そのものを用いる手法を採用することができる。また、対応が認められた左右の画素対以外にも相関が高い画素対が存在するか否かを判定し、相関が高い画素対が存在する場合には、信頼度を下げる手法を採用することができる。対応度合いの数値化の手法の一例について、図１７を参照して説明する。

ステレオマッチング処理部２３は、ステレオマッチング処理において、比較元領域に対する比較先領域を順次変更する毎に、比較元領域と比較先領域とにおける相対位置が同一となる各点の画素値の差分を取ることで、各点の差分絶対値総和値（以下、SAD(Sum of Absolute Difference)値と称する）を検出する。ステレオマッチング処理部２３は、SAD値が最小となるシフト量を視差として検出する。

SAD値が最小であるシフト量Ｖｘと、SAD値が２番目に小さなシフト量Ｖｘ’の差分を信頼度Ｔとすると、信頼度Ｔ＝Ｖｘ’−Ｖｘと表わされる。

図１７は、信頼度を示す図である。図１７において、縦軸はSAD値を示し、横軸はシフト量を示している。

図１７Ａに示される信頼度Ｔ１は、信頼度Ｔ１＝Ｖ１ｘ’−Ｖ１ｘと表わされる。図１７Ｂに示される信頼度Ｔ２は、信頼度Ｔ２＝Ｖ２ｘ’−Ｖ２ｘと表わされる。

図１７Ａに示される信頼度Ｔ１と、図１７Ｂに示される信頼度Ｔ２とを比較すると、信頼度Ｔ２＞信頼度Ｔ１であることが分かる。

ステレオマッチング処理部２３は、このようにして生成された第１信頼度マップを、第１デプスマップとともに奥行き情報改善部１４に供給する。

奥行き情報改善部１４は、ステレオマッチング処理部２３から供給された第１信頼度マップの各画素の信頼度Ｔに応じて、第１乃至第３デプスマップを合成する。例えば、注目画素において、第１信頼度マップの信頼度が高い場合には、第１デプスマップのデプス値が、注目画素の更新後のデプス値（即ち、精度が改善された第１デプスマップの注目画素のデプス値）として採用される。一方、第１信頼度マップの信頼度が低い場合には、第２デプスマップまたは第３デプスマップのデプス値が、注目画素の更新後のデプス値として採用される。この場合、第２及び第３デプスマップの何れのデプス値を採用するかは、例えば、１つ目または２つ目の合成手法により決定されてもよい。また、１つ目乃至３つ目の合成手法が適宜組み合わされて採用されてもよい。

なお、生成される信頼度マップは、第１デプスマップに対する第１信頼度マップに限定されない。第２デプスマップに対する第２信頼度マップや第３デプスマップに対する第３信頼度マップが生成されてもよい。

[第２デプスマップに対する第２信頼度マップ]
次に、第２デプスマップに対する第２信頼度マップについて説明する。

遠点奥行き手がかり情報抽出部１０１は、例えば、消失点を検出する場合に、同時に第２信頼度マップを生成する。

図１５Ｃにおいて示された消失点Ｐｄ２１は、エッジ対の交点が最も集まっている座標の点である。このように、集まったエッジの本数が多い画素ほど信頼度が高く、集まったエッジの本数が少ない画素ほど信頼度が低いとしてもよい。信頼度の定量化には、集まったエッジの本数や、１点に集まったエッジの本来の長さ（即ち、延長される前のエッジの長さ）等を用いることができる。

また、最も多くエッジが集まった画素と２番目に多くエッジが集まった画素のエッジの本数の差が大きいほど、最も多くエッジが集まった画素における信頼度が高く、エッジの本数の差が小さいほど信頼度が低いとしてもよい。即ち、エッジが集まった点が複数ある場合に信頼度が低くなるとしてもよい。

遠点奥行き手がかり情報抽出部１０１は、このようにして生成した第２信頼度マップを、第２デプスマップとともに奥行き情報改善部１４に供給する。奥行き情報改善部１４は、供給された第２信頼度マップを用いて、第１乃至第３デプスマップを合成する。

[第３デプスマップに対する第３信頼度マップ]
次に、第３デプスマップに対する第３信頼度マップについて説明する。

近点奥行き手がかり情報抽出部１０２は、例えば、上述した非特許文献５の手法により第３デプスマップを取得する場合に、同時に第３信頼度マップを生成する。

図１８は、非特許文献５の図を引用したものである。図１８は、前景のセグメンテーション結果をアルゴリズム処理過程毎に示している。当該アルゴリズムでは、探索のブロックサイズが大きい方から小さい方まで順次前景の抽出が行われる。

図１８の１番上の図は、右画像取得部２２から供給された右画像を示している。上から２番目の図は、探索のブロックサイズが３２である場合に抽出された前景を示している。同様に、探索のブロックサイズが１６，８，４，１のそれぞれの場合に抽出された前景が、上から順に示されている。

この場合、探索のブロックサイズが小さくても抽出される領域ほど信頼度が高いとされる。具体的には、図１８において、探索のブロックサイズが小さくても抽出される領域、即ちブロックサイズが「３２∩１６∩８∩４∩１」である領域には、最高の信頼度が設定される。一方、探索のプロックサイズが大きい場合にしか抽出されない領域、即ちブロックサイズが「３２∩(１６∪８∪４∪１)」である領域には、最低の信頼度が設定される。

また、信頼度の設定の手法は、これに限定されない。非特許文献５においては、wavelet変換の基底として、Haarフィルタが採用されている。したがって、Haarフィルタの応答の大きさ（即ち、Intensityが規格化されたもの）が信頼度として設定されてもよい。この場合、Haarフィルタの応答が大きいほど信頼度が高く設定される。

近点奥行き手がかり情報抽出部１０２は、このようにして生成した第３信頼度マップを、第３デプスマップとともに奥行き情報改善部１４に供給する。奥行き情報改善部１４は、供給された第３信頼度マップを用いて、第１乃至第３デプスマップを合成する。

[オブジェクト情報が奥行き手がかり情報として用いられる場合の情報処理装置の機能的構成]
本実施形態においては、奥行き手がかり情報として、遠点における奥行き手がかり情報と、近点における奥行き手がかり情報が抽出された。しかしながら、抽出される奥行き手がかり情報は、これに限定されない。

上述の例では、画像中の平面のような連続領域においては、精度の高いデプス値の推定が可能となる。しかしながら、所定のオブジェクトが、連続領域に重なるようにして前景として配置されているような場合には、当該オブジェクトについてデプス値を精度よく推定することが困難になる場合がある。したがって、以下では、近点における奥行き手がかり情報のかわりに、オブジェクトの情報を奥行き手がかり情報として抽出する手法について説明する。

この場合、情報処理装置１の構成は、例えば図１９に示されるようになる。

図１９は、オブジェクト情報が奥行き手がかり情報として用いられる場合の、情報処理装置１の機能的構成例を示すブロック図である。なお、この場合の情報処理装置１は、図１３の情報処理装置１と基本的に同様の機能と構成を有している。したがって、以下では、図１３の情報処理装置１との一致点の説明は省略し、その差異点のみを説明する。

図１９に示されるように、奥行き手がかり情報抽出部１２は、遠点奥行き手がかり情報抽出部１０１と、オブジェクト抽出部１４１を含むように構成されている。

オブジェクト抽出部１４１は、右画像取得部２２から右画像のデータが供給されると、当該右画像に含まれるオブジェクト領域を抽出する。

オブジェクト領域を特定する手法は、特に限定されず、例えば、“Thomas Brox, Lubomir Bourdev, Subhransu Maji, Jitendra Malik. Object Segmentation by Alignment of Poselet Activations to Image Contours: CVPR 2011” （以下、非特許文献７と称する）に記載された手法を採用することができる。具体的には、オブジェクト抽出部１４１は、右画像に含まれるエッジやテクスチャのつながり等を解析して、オブジェクト領域を抽出する。

オブジェクト抽出部１４１は、抽出されたオブジェクト領域の情報（以下、オブジェクト情報と称する）を、奥行き情報改善部１４に供給する。

[情報処理装置１の処理]
奥行き手がかり情報としてオブジェクト情報が用いられる場合の、情報処理装置１の処理について図２０を参照して説明する。

図２０は、情報処理装置１が実行する処理について説明する図である。

図２０の左上の図は、画像取得部１１に供給される画像ＰＧ４１を示している。図２０の左上の図に示されるように、画像ＰＧ４１においては、連続領域である地面上の近点にオブジェクトｏｂ１（図２０の例では、左側の木）が重なるように配置され、遠点にオブジェクトｏｂ２（図２０の例では、右側の木）が重なるように配置されている。

画像取得部１１に画像ＰＧ４１が供給されると、左画像取得部２１は、取得した左画像のデータをステレオマッチング処理部２３に供給する。また、右画像取得部２２は、取得した右画像のデータを、ステレオマッチング処理部２３と奥行き手がかり情報抽出部１２に供給する。

図２０の中央上の図は、ステレオマッチング処理部２３により取得された第１デプスマップＤＭ４１を示す図である。図２０の中央上の図においては、第１デプスマップＤＭ４１の近点におけるデプス値が明確である様子が示されている。また、第１デプスマップＤＭ４１においては、近点に配置されているオブジェクトｏｂ１についても、デプス値が明確である様子が示されている。しかしながら、点線枠で示される遠点の領域ｆａにおいては、遠点に配置されているオブジェクトｏｂ２が背景と同一化しており、デプス値が不明瞭である様子が示されている。即ち、第１デプスマップＤＭ４１においては、遠点の領域ｆａのデプス値の精度が低いことが分かる。

図２０の左下の図は、遠点奥行き手がかり情報抽出部１０１により抽出された第２デプスマップＤＭ４２を示す図である。図２０の左下の図に示されるように、第２デプスマップＤＭ４２の遠点においては、第１デプスマップＤＭ４１の遠点と比較して、画像中の連続領域に対するデプス値が明確である様子が示されている。しかしながら、画像中の連続領域に重なるように配置されているオブジェクトｏｂ１，ｏｂ２のデプス値は不明瞭である。

奥行き情報改善部１４において、このような第１デプスマップＤＭ４１と第２デプスマップＤＭ４２が合成された場合、図２０の中央下の図のようなデプスマップが生成される。

図２０の中央下の図は、第１デプスマップＤＭ４１と第２デプスマップＤＭ４２が合成されて生成されたデプスマップＤＭ４３を示す図である。デプスマップＤＭ４３においては、第１デプスマップＤＭ４１の領域ｆａの連続領域のデプス値が、第２デプスマップＤＭ４２の遠点の連続領域のデプス値に更新されている。したがって、デプスマップＤＭ４３の遠点においては、連続領域に対するデプス値が明確になっている様子が示されている。

しかしながら、図２０の中央下の図に示されるように、デプスマップＤＭ４３には、オブジェクトｏｂ２のデプス値が不明瞭である様子が示されている。即ち、デプスマップＤＭ４３には、オブジェクトｏｂ１のデプス値のみが明確になっており、第１デプスマップＤＭ４１と第２デプスマップＤＭ４２の両方において不明瞭であったオブジェクトｏｂ２のデプス値は不明瞭のままになっている。

したがって、本実施形態においては、オブジェクトｏｂ１，ｏｂ２の両方のデプス値が明確になるように、オブジェクト抽出部１４１により抽出されたオブジェクト情報が用いられる。オブジェクト抽出部１４１は、右画像取得部２２から右画像のデータが供給されると、当該右画像に含まれるオブジェクト領域を抽出する。

図２０の右上の図は、オブジェクト抽出部１４１により抽出されたオブジェクトｏｂ１，ｏｂ２を含むオブジェクト画像ＯＢを示す図である。オブジェクト抽出部１４１は、抽出されたオブジェクトｏｂ１，ｏｂ２のオブジェクト情報を、奥行き情報改善部１４に供給する。

はじめに、奥行き情報改善部１４は、第１デプスマップＤＭ４１と第２デプスマップＤＭ４２を用いて、デプスマップＤＭ４３を生成する。即ち、奥行き情報改善部１４は、第１デプスマップＤＭ４１の領域ｆａのデプス値を、第２デプスマップＤＭ４２の遠点のデプス値に更新したデプスマップＤＭ４３を生成する。

次に、奥行き情報改善部１４は、オブジェクト抽出部１４１から供給されたオブジェクト情報を用いて、１つのオブジェクトに一塊のデプス値を割り当てる。即ち、奥行き情報改善部１４は、デプスマップＤＭ４３のうちオブジェクトの下部分の領域のデプス値を、当該オブジェクト全体のデプス値に更新する。具体的には、図２０の中央下の図において、オブジェクトｏｂ２の下部分の領域ｄｐのデプス値が、オブジェクトｏｂ２全体のデプス値に更新される。これにより、精度が改善された第１デプスマップが得られることになる。

図２０の右下の図は、奥行き情報改善部１４が、オブジェクト情報を用いて、第１デプスマップＤＭ４１と第２デプスマップＤＭ４２を合成した結果生成されるデプスマップＤＭ４４（即ち、精度が改善された第１デプスマップ）を示している。デプスマップＤＭ４４に含まれるオブジェクトｏｂ２には、オブジェクトｏｂ２の下部分の領域ｄｐのデプス値が全体に割り当てられている。

このように、奥行き情報改善部１４は、オブジェクト情報を用いることにより、所定のオブジェクトが、連続領域に重なるようにして前景として配置されている場合であっても、当該オブジェクトについてデプス値を割り当てることが可能となる。

[遠点における奥行き手がかり情報のみが抽出される例]
本実施形態においては、奥行き手がかり情報として、遠点における奥行き手がかり情報と、近点における奥行き手がかり情報が抽出された。しかしながら、このうちの遠点における奥行き手がかり情報のみが抽出されてもよい。

図２１は、奥行き手がかり情報として遠点における奥行き手がかり情報のみが抽出される場合の情報処理装置１の機能的構成例を示すブロック図である。

図２１に示されるように、奥行き手がかり情報抽出部１２は、遠点奥行き手がかり情報抽出部１０１のみを含むように構成されている。遠点奥行き手がかり情報抽出部１０１は、右画像取得部２２から供給された右画像のデータに基づいて、第２デプスマップを抽出して、奥行き情報改善部１４に供給する。

[近点における奥行き手がかり情報のみが抽出される例]
これに対して、奥行き手がかり情報として、遠点における奥行き手がかり情報と、近点における奥行き手がかり情報のうちの近点における奥行き手がかり情報のみが抽出されてもよい。

図２２は、奥行き手がかり情報として近点における奥行き手がかり情報のみが抽出される場合の情報処理装置１の機能的構成例を示すブロック図である。

図２２に示されるように、奥行き手がかり情報抽出部１２は、近点奥行き手がかり情報抽出部１０２のみを含むように構成されている。近点奥行き手がかり情報抽出部１０２は、右画像取得部２２から供給された右画像のデータに基づいて、第３デプスマップを抽出して、奥行き情報改善部１４に供給する。

図２１と図２２に示される情報処理装置１においては、奥行き手がかり情報抽出部１２により抽出される奥行き手がかり情報が１つであることから、第１実施形態と同様であるといえる。

＜３．第３実施形態＞
第１及び第２実施形態においては、奥行き情報取得部１３により取得される奥行き情報は、画像取得部１１により取得された画像のデータから取得された。しかしながら、奥行き情報は、これに限定されず、外部から取得される情報であってもよい。

図２３は、第３実施形態の情報処理装置１の機能的構成例を示すブロック図である。なお、第３実施形態の情報処理装置１は、図１の情報処理装置１と基本的に同様の機能と構成を有している。したがって、以下では、図１の情報処理装置１との一致点の説明は省略し、その差異点のみを説明する。

奥行き情報取得部１３は、図示せぬ他の情報処理装置から奥行き情報を取得して、奥行き情報改善部１４に供給する。

例えば、奥行き情報取得部１３は、予めステレオカメラにより取得された奥行き情報を取得する。また、例えば、奥行き情報取得部１３は、赤外線により距離を測定する情報処理装置によって取得された距離情報から奥行き情報を取得する。

なお、上述の実施形態では、ステレオマッチング処理で用いられる左画像と右画像の各データは、ステレオカメラにより撮像された画像のデータが採用されたが、特にこれに限定されない。例えば、複数のカメラの各々により撮像された撮像画像の各データを左画像または右画像のデータとして採用してもよい。

以上、説明したように、情報処理装置１においては、奥行き手がかり情報抽出部１２により抽出された奥行き手がかり情報を用いて、奥行き情報取得部１３により取得された奥行き情報を補完することで、奥行き情報の精度を改善させることができる。

[本技術のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本技術は、以下のような構成もとることができる。
（１）
画像を構成する複数の画素の各々について、奥行き情報をそれぞれ取得する奥行き情報取得部と、
前記複数の画素の前記奥行き情報の各々を得るための有意情報を、奥行き手がかり情報として前記画像から抽出する奥行き手がかり情報抽出部と、
前記奥行き手がかり情報抽出部により抽出された前記奥行き手がかり情報を用いて、前記奥行き情報取得部により前記複数の画素毎に取得された前記奥行き情報の精度を改善する奥行き情報改善部と
を備える情報処理装置。
（２）
前記画像は、複数の異なる視点から撮像された場合にそれぞれ得られる複数の画像から構成され、
前記奥行き情報取得部は、前記複数の画像に対してステレオマッチング処理を施すことにより、前記奥行き情報を取得する
前記（１）に記載の情報処理装置。
（３）
前記奥行き手がかり情報抽出部は、前記複数の画像のうちの所定の画像から、前記奥行き手がかり情報を抽出する
前記（１）または（２）に記載の情報処理装置。
（４）
前記奥行き手がかり情報抽出部は、前記複数の画像のうち所定の画像内のテクスチャの密度の変化に関する情報を、前記奥行き手がかり情報として抽出する
前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
前記奥行き手がかり情報抽出部は、前記複数の画像のうち所定の画像内のオブジェクトの重なりに関する情報を、前記奥行き手がかり情報として抽出する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記奥行き手がかり情報抽出部は、前記複数の画像のうち所定の画像内の空の領域に関する情報を、前記奥行き手がかり情報として抽出する
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記奥行き手がかり情報抽出部は、前記複数の画像のうち所定の画像内の消失点に向かう直線に関する情報を、前記奥行き手がかり情報として抽出する
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記奥行き手がかり情報抽出部は、
前記複数の画像のうち所定の画像内に含まれる１以上の直線を検出する直線検出部と、
前記直線検出部により検出された前記１以上の直線に基づいて、消失点を検出する消失点検出部と、
前記直線検出部により検出された前記１以上の直線の中から、前記消失点検出部により検出された前記消失点で交差する半直線を主要直線として選択する主要直線選択部と、
前記所定の画像を構成する複数の水平ラインのうち、処理の対象として着目すべき着目画素が存在する水平ラインを着目水平ラインとして、前記所定の画像を構成する複数の画素の中から、前記主要直線選択部により選択された前記主要直線と前記着目水平ラインとの交点の画素をアンカー点として設定するアンカー点設定部と、
前記所定の画像を構成する前記複数の画素の中から、前記アンカー点設定部により設定された前記アンカー点に対する垂直方向の参照画素、及び前記アンカー点ではない画素に対する垂直方向の参照画素を設定する参照画素設定部と、
前記着目画素における、前記参照画素設定部により設定された前記参照画素と、前記着目画素の水平方向の隣接画素を用いたコスト関数を演算する演算部と
を有し、
前記奥行き手がかり情報抽出部は、前記演算部の演算結果を前記奥行き手がかり情報として抽出する
前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記奥行き情報取得部は、前記奥行き情報として、前記複数の画像に対して前記ステレオマッチング処理を施すことにより得られる第１デプスマップを取得し、
前記奥行き手がかり情報取得部は、
前記複数の画像のうち前記所定の画像に基づいて、遠点におけるデプス値の精度が高い第２デプスマップを、前記奥行き手がかり情報として抽出する遠点奥行き手がかり情報抽出部と、
前記複数の画像のうち前記所定の画像に基づいて、近点におけるデプス値の精度が高い第３デプスマップを、前記奥行き手がかり情報として抽出する近点奥行き手がかり情報抽出部と
を有し、
前記奥行き情報改善部は、前記第１デプスマップ、前記第２デプスマップ、及び前記第３デプスマップを合成することにより、前記第１デプスマップの精度を改善する
前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記遠点奥行き手がかり情報抽出部は、
前記所定の画像に含まれる複数のエッジを検出するエッジ検出部と、
前記エッジ検出部により検出された前記複数のエッジの各々を延長し、延長された前記複数のエッジのうち、２つが交差する交点座標を１以上検出する交点検出部と、
前記交点検出部により検出された前記交点座標毎に、前記交点検出部による検出数に応じてヒストグラムの度数を蓄積し、最高の度数となる前記交点座標が示す点を消失点として検出する消失点検出部と、
前記消失点検出部により検出された前記消失点に基づいて、前記所定の画像を構成する各画素に対してデプス値を割り当てることにより第２デプスマップを生成するデプスマップ生成部と
を有する
前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記奥行き情報改善部は、前記第１デプスマップ、前記第２デプスマップ、及び前記第３デプスマップの各々のデプス値をＮ段階に分類し、分類の結果に基づいて前記第１デプスマップの精度を改善する
前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記奥行き情報改善部は、前記第２デプスマップのデプス値を、前記第１デプスマップのデプス値に基づいて調整した後に、前記第１デプスマップと前記第２デプスマップを合成する
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記奥行き情報取得部は、
前記奥行き情報取得部は、前記第１デプスマップを取得する場合に、前記第１デプスマップの信頼性を表わす信頼度マップを生成し、
前記奥行き情報改善部は、前記信頼度マップに基づいて、前記第１乃至第３デプスマップを合成する
前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
前記遠点奥行き手がかり情報抽出部は、前記第２デプスマップを抽出する場合に、前記第２デプスマップの信頼性を表わす信頼度マップを生成し、
前記奥行き情報改善部は、前記信頼度マップに基づいて、前記第１乃至第３デプスマップを合成する
前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
前記近点奥行き手がかり情報抽出部は、前記第３デプスマップを抽出する場合に、前記第３デプスマップの信頼性を表わす信頼度マップを生成し、
前記奥行き情報改善部は、前記信頼度マップに基づいて、前記第１乃至第３デプスマップを合成する
前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
前記奥行き情報取得部は、前記奥行き情報として、前記複数の画像に対して前記ステレオマッチング処理を施すことにより得られる第１デプスマップを取得し、
前記奥行き手がかり情報取得部は、
前記複数の画像のうち前記所定の画像に基づいて、遠点におけるデプス値の精度が高い第２デプスマップを、前記奥行き手がかり情報として抽出する遠点奥行き手がかり情報抽出部と、
前記複数の画像のうち前記所定の画像に含まれるオブジェクトを抽出するオブジェクト抽出部と
を有し、
前記奥行き情報改善部は、前記第１デプスマップ及び前記第２デプスマップを合成することにより、新たなデプスマップを生成し、さらに、前記オブジェクト抽出部により抽出された前記オブジェクトの下部分の領域のデプス値を、前記新たなデプスマップに含まれる前記オブジェクト全体のデプス値に更新することにより、前記第１デプスマップの精度を改善する
前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
前記奥行き情報取得部は、外部から取得される情報から、前記画像の各画素毎の前記奥行き情報を取得する
前記（１）乃至（１６）のいずれかに記載の情報処理装置。

本技術は、奥行き情報を生成する情報処理装置に適用することができる。

１情報処理装置，１１画像取得部，１２奥行き手がかり情報抽出部，１３奥行き情報取得部，１４奥行き情報改善部，２１左画像取得部，２２右画像取得部，２３ステレオマッチング処理部，４１直線検出部，４２消失点検出部，４３主要直線選択部，４４アンカー点設定部，４５参照画素設定部，４６演算部，１０１遠点奥行き手がかり情報抽出部，１０２近点奥行き手がかり情報抽出部、１２１エッジ検出部，１２２交点検出部，１２３ヒストグラム蓄積部，１２４デプスマップ生成部，１４１オブジェクト抽出部

Claims

画像を構成する複数の画素の各々について、奥行き情報をそれぞれ取得する奥行き情報取得部と、
前記複数の画素の前記奥行き情報の各々を得るための有意情報を、奥行き手がかり情報として前記画像から抽出する奥行き手がかり情報抽出部と、
前記奥行き手がかり情報抽出部により抽出された前記奥行き手がかり情報を用いて、前記奥行き情報取得部により前記複数の画素毎に取得された前記奥行き情報の精度を改善する奥行き情報改善部と
を備える情報処理装置。
前記画像は、複数の異なる視点から撮像された場合にそれぞれ得られる複数の画像から構成され、
前記奥行き情報取得部は、前記複数の画像に対してステレオマッチング処理を施すことにより、前記奥行き情報を取得する
請求項１に記載の情報処理装置。
前記奥行き手がかり情報抽出部は、前記複数の画像のうちの所定の画像から、前記奥行き手がかり情報を抽出する
請求項２に記載の情報処理装置。
前記奥行き手がかり情報抽出部は、前記複数の画像のうち所定の画像内のテクスチャの密度の変化に関する情報を、前記奥行き手がかり情報として抽出する
請求項３に記載の情報処理装置。
前記奥行き手がかり情報抽出部は、前記複数の画像のうち所定の画像内のオブジェクトの重なりに関する情報を、前記奥行き手がかり情報として抽出する
請求項３に記載の情報処理装置。
前記奥行き手がかり情報抽出部は、前記複数の画像のうち所定の画像内の空の領域に関する情報を、前記奥行き手がかり情報として抽出する
請求項３に記載の情報処理装置。
前記奥行き手がかり情報抽出部は、前記複数の画像のうち所定の画像内の消失点に向かう直線に関する情報を、前記奥行き手がかり情報として抽出する
請求項３に記載の情報処理装置。
前記奥行き手がかり情報抽出部は、
前記複数の画像のうち所定の画像内に含まれる１以上の直線を検出する直線検出部と、
前記直線検出部により検出された前記１以上の直線に基づいて、消失点を検出する消失点検出部と、
前記直線検出部により検出された前記１以上の直線の中から、前記消失点検出部により検出された前記消失点で交差する半直線を主要直線として選択する主要直線選択部と、
前記所定の画像を構成する複数の水平ラインのうち、処理の対象として着目すべき着目画素が存在する水平ラインを着目水平ラインとして、前記所定の画像を構成する複数の画素の中から、前記主要直線選択部により選択された前記主要直線と前記着目水平ラインとの交点の画素をアンカー点として設定するアンカー点設定部と、
前記所定の画像を構成する前記複数の画素の中から、前記アンカー点設定部により設定された前記アンカー点に対する垂直方向の参照画素、及び前記アンカー点ではない画素に対する垂直方向の参照画素を設定する参照画素設定部と、
前記着目画素における、前記参照画素設定部により設定された前記参照画素と、前記着目画素の水平方向の隣接画素を用いたコスト関数を演算する演算部と
を有し、
前記奥行き手がかり情報抽出部は、前記演算部の演算結果を前記奥行き手がかり情報として抽出する
請求項７に記載の情報処理装置。
前記奥行き情報取得部は、前記奥行き情報として、前記複数の画像に対して前記ステレオマッチング処理を施すことにより得られる第１デプスマップを取得し、
前記奥行き手がかり情報取得部は、
前記複数の画像のうち前記所定の画像に基づいて、遠点におけるデプス値の精度が高い第２デプスマップを、前記奥行き手がかり情報として抽出する遠点奥行き手がかり情報抽出部と、
前記複数の画像のうち前記所定の画像に基づいて、近点におけるデプス値の精度が高い第３デプスマップを、前記奥行き手がかり情報として抽出する近点奥行き手がかり情報抽出部と
を有し、
前記奥行き情報改善部は、前記第１デプスマップ、前記第２デプスマップ、及び前記第３デプスマップを合成することにより、前記第１デプスマップの精度を改善する
請求項３に記載の情報処理装置。
前記遠点奥行き手がかり情報抽出部は、
前記所定の画像に含まれる複数のエッジを検出するエッジ検出部と、
前記エッジ検出部により検出された前記複数のエッジの各々を延長し、延長された前記複数のエッジのうち、２つが交差する交点座標を１以上検出する交点検出部と、
前記交点検出部により検出された前記交点座標毎に、前記交点検出部による検出数に応じてヒストグラムの度数を蓄積し、最高の度数となる前記交点座標が示す点を消失点として検出する消失点検出部と、
前記消失点検出部により検出された前記消失点に基づいて、前記所定の画像を構成する各画素に対してデプス値を割り当てることにより第２デプスマップを生成するデプスマップ生成部と
を有する
請求項９に記載の情報処理装置。
前記奥行き情報改善部は、前記第１デプスマップ、前記第２デプスマップ、及び前記第３デプスマップの各々のデプス値をＮ段階に分類し、分類の結果に基づいて前記第１デプスマップの精度を改善する
請求項９に記載の情報処理装置。
前記奥行き情報改善部は、前記第２デプスマップのデプス値を、前記第１デプスマップのデプス値に基づいて調整した後に、前記第１デプスマップと前記第２デプスマップを合成する
請求項９に記載の情報処理装置。
前記奥行き情報取得部は、
前記奥行き情報取得部は、前記第１デプスマップを取得する場合に、前記第１デプスマップの信頼性を表わす信頼度マップを生成し、
前記奥行き情報改善部は、前記信頼度マップに基づいて、前記第１乃至第３デプスマップを合成する
請求項９に記載の情報処理装置。
前記遠点奥行き手がかり情報抽出部は、前記第２デプスマップを抽出する場合に、前記第２デプスマップの信頼性を表わす信頼度マップを生成し、
前記奥行き情報改善部は、前記信頼度マップに基づいて、前記第１乃至第３デプスマップを合成する
請求項９に記載の情報処理装置。
前記近点奥行き手がかり情報抽出部は、前記第３デプスマップを抽出する場合に、前記第３デプスマップの信頼性を表わす信頼度マップを生成し、
前記奥行き情報改善部は、前記信頼度マップに基づいて、前記第１乃至第３デプスマップを合成する
請求項９に記載の情報処理装置。
前記奥行き情報取得部は、前記奥行き情報として、前記複数の画像に対して前記ステレオマッチング処理を施すことにより得られる第１デプスマップを取得し、
前記奥行き手がかり情報取得部は、
前記複数の画像のうち前記所定の画像に基づいて、遠点におけるデプス値の精度が高い第２デプスマップを、前記奥行き手がかり情報として抽出する遠点奥行き手がかり情報抽出部と、
前記複数の画像のうち前記所定の画像に含まれるオブジェクトを抽出するオブジェクト抽出部と
を有し、
前記奥行き情報改善部は、前記第１デプスマップ及び前記第２デプスマップを合成することにより、新たなデプスマップを生成し、さらに、前記オブジェクト抽出部により抽出された前記オブジェクトの下部分の領域のデプス値を、前記新たなデプスマップに含まれる前記オブジェクト全体のデプス値に更新することにより、前記第１デプスマップの精度を改善する
請求項３に記載の情報処理装置。
前記奥行き情報取得部は、外部から取得される情報から、前記画像の各画素毎の前記奥行き情報を取得する
請求項１に記載の情報処理装置。
情報処理装置の情報処理方法において、
前記情報処理装置が、
画像を構成する複数の画素の各々について、奥行き情報をそれぞれ取得し、
前記複数の画素の前記奥行き情報の各々を得るための有意情報を、奥行き手がかり情報として前記画像から抽出し、
抽出された前記奥行き手がかり情報を用いて、前記複数の画素毎に取得された前記奥行き情報の精度を改善する
ステップを含む情報処理方法。
コンピュータを、
画像を構成する複数の画素の各々について、奥行き情報をそれぞれ取得する奥行き情報取得部と、
前記複数の画素の前記奥行き情報の各々を得るための有意情報を、奥行き手がかり情報として前記画像から抽出する奥行き手がかり情報抽出部と、
前記奥行き手がかり情報抽出部により抽出された前記奥行き手がかり情報を用いて、前記奥行き情報取得部により前記複数の画素毎に取得された前記奥行き情報の精度を改善する奥行き情報改善部と
して機能させるためのプログラム。