JP2014048896A

JP2014048896A - 距離情報推定装置

Info

Publication number: JP2014048896A
Application number: JP2012191315A
Authority: JP
Inventors: Kaori Taya; 香織田谷
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-08-31
Filing date: 2012-08-31
Publication date: 2014-03-17
Anticipated expiration: 2032-08-31
Also published as: US20140063235A1; JP5995614B2; US9243935B2

Abstract

【課題】詳細な距離推定の精度を保ちつつ、平坦な部分の距離推定もできる方法を提供すること。
【解決手段】画像データが示す画像の距離情報と、解像度変換画像データが示す距離情報とをそれぞれ推定し、画像の距離情報と解像度変換画像の距離情報とを合成することで、距離情報を推定する。
【選択図】図１

Description

本発明は、一枚以上の画像から距離の推定ができる距離情報推定装置に関する。

多視点画像は、いわゆる多眼カメラで一度に撮像した複数の視点画像や、１つのスチルカメラの視点（撮像位置）を順次移動して撮像した複数の視点画像や、ビデオカメラで撮像したビデオ映像からサンプリングされて作成された複数の視点画像により構成される。これらの視点画像中に含まれる対象物までの距離情報を算出したり、撮像を行っていない視点を含む任意の視点の画像を生成したりする場合には、視点間隔に対応した視差情報が必要となる。

多視点画像から視差情報を抽出するために、一群の視点画像の中から任意に選択された２画像における個々の画素の対応情報を得る多視点画像処理装置が提案されている。

この多視点画像処理装置においては、一方の撮像画像上のある画素（注目点）に関して、他方の撮像画像上において対応する画素（対応点）を特定する。そしてこれらの画素についての視差、すなわち一方の画像中での注目点の位置とそれに対応する他方の画像上における対応点の位置とのずれ量を視差として算出する。

ここで、２つの画像間において一方の画像上の注目点に対する他方の画像上での対応点を特定するための処理（マッチング）には、様々な手法がある。例えば、一方の画像上において注目点を含む複数の画素により構成される画素ブロックをテンプレートとし、該テンプレートと他方の画像上の各領域との相関を求めて対応点を特定するエリアベースの手法がある。また、一方の画像における注目点を含んだ特徴を抽出し、その特徴に基づいて他方の画像における対応点を特定する特徴ベースの手法がある。

これらエリアベース、特徴ベースのどちらの手法においても、他方の画像上では、一方の画像上の注目点の座標に基づいて探索範囲が設定され、該探索範囲内における対応点の候補についてそれぞれ相関度を求め、最も相関度の高い画素が対応点として選択される。カメラ姿勢や歪曲が既知ならば、三角測量法などでこれらの対応点の奥行きを推定することが可能である。

また、１枚の画像の構図から距離を推定する技術も提案されている。例えば、ぼけ量や構図などの画像の特徴量を解析し、その特徴量をあらかじめ設定されている奥行き情報と対応させることで奥行きを推定することが可能である。

特許文献１に記載された方法によれば、特徴ベースとエリアベースの手法を混合し、特徴点を抽出し、特徴点周辺に小さな画素ブロック（以降パッチと呼ぶ）を生成する。そのパッチが複数のカメラから見えるならば採択するというパッチの取捨選択を行うことによって特徴点付近に小さいパッチを順次生成して密な距離情報推定を行うことができる。

特許文献２に記載された方法によれば、特徴ベースの手法とエリアベースの手法を混合し、カメラ位置が既知の複数の画像の１枚を基準画像とし、その上に複数の三角形によって構成された２次元メッシュを生成する。基準画像以外の参照画像の視点に変換した２次元メッシュが最も参照画像と一致するようにメッシュの各頂点の距離を求めることで画像の距離情報を推定することができる。

特許文献３に記載の方法によれば、１枚の画像からでも画像構図を解析し、予め用意された奥行き構造パターンと照合することで画像の距離情報を推定することができる。

米国特許出願公開第２００９／００５２７９６号明細書特開２００８−１２３０１９号公報特開２０１２−０２９１６８号公報

しかしながら、特許文献１と特許文献２の方法では画像の平坦な部分の視差が求められないという課題がある。

特許文献１では、パッチの大きさよりある程度以上大きい平坦な部分では別の視点から見た時のパッチの対応パッチを一意に決められない。

特許文献２では、メッシュの大きさよりある程度以上大きい平坦な部分では別の視点から見た時のメッシュの各頂点の対応点を一意に求められない。

特許文献３では、予め用意された構造パターンを基に推定するため、細かい凹凸など精度の高い推定を行うことは難しい。

そこで、本発明は、詳細な距離推定の精度を保ちつつ、平坦な部分の距離推定もできる方法を提供することを目的とする。

本発明に係る距離推定装置は、画像データと、前記画像データの解像度を変換した解像度変換画像データとを取得する取得手段と、前記画像データが示す画像の距離情報と前記解像度変換画像データが示す解像度変換画像の距離情報とをそれぞれ推定する距離情報推定手段と、前記画像の距離情報と前記解像度変換画像の距離情報とを合成する距離情報合成手段とを有することを特徴とする。

本発明によれば、詳細な距離推定の精度を保ちつつ、平坦な部分の距離推定が可能になる。

実施例１における距離情報推定装置の一例を示すブロック図である。実施例１における距離情報推定処理の一例を示すフローチャートである。実施例１における解像度変換処理の模式図の一例である。実施例１における解像度変換前及び解像度変換後の距離推定結果の模式図の一例である。実施例１における解像度変換前及び解像度変換後の距離推定の違いを表す模式図の一例である。実施例１における距離情報合成処理の一例を示すフローチャートである。実施例１における距離情報合成処理の模式図の一例である。実施例２における距離情報推定装置の一例を示すブロック図である。実施例２における距離情報推定処理の一例を示すフローチャートである。実施例２における距離情報合成処理の一例を示すフローチャートである。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

本実施例は複数の解像度で特徴点を探索し、距離推定を行った結果を合成することで、被覆率が高く、精度の高い距離推定を行う例を示す。

本実施例で求める「距離情報」とは、画像の画素に対応する点のカメラ位置からの距離とする。距離推定の結果がワールド座標で得られる場合に、推定結果を画像上の位置と距離情報に対応させるにはまずワールド座標をカメラ座標に変換し、カメラ座標を画像座標に変換すれば良い。なお、カメラ座標とはカメラ位置を原点としカメラの縦方向をy軸、横方向をx軸、x軸y軸に直交しカメラの中心を通る軸をz軸とした座標系のことであり、画像座標とは画像の中心を原点、縦方向をｙ軸、横方向をｘ軸、単位をピクセルとした座標とする。

ワールド座標からカメラ座標への変換は、次のように行われる。例えば、ワールド座標の点をPw=(x,y,z)、カメラ座標の点をPc、カメラ位置のワールド座標をC=(Cx,Cy,Cz)、カメラ座標のx軸・y軸・z軸方向それぞれの単位縦ベクトルをRx・Ry・Rzとしたとき、以下の座標変換の式で表せる。
Pc=(Pw-C)*[Rx,Ry,Rz] （式１）
ただし、ここで、「*」は行列の掛け算、「[Rx,Ry,Rz]」は縦ベクトルRx,Ry,Rzを横に並べた行列を表す。

カメラ座標から画像座標への変換は、カメラ座標の点をPc=(Pc_x,Pc_y,Pc_z)、画像座標の点をPi=(Pi_x,Pi_y)としたとき、以下のパース変換の式で表せる。
Pi_x=Fc*Pc_x/Pc_z, Pi_y=Fc*Pc_y/Pc_z （式２）
ただし、「*」は乗算、「/」は除算を表す。なお、ここでFcは画像とカメラ座標を対応させる定数であり、カメラの横解像度res、焦点距離fとセンサの横幅widから次の式３で決めることができる。
Fc=res * f / wid （式３）

以降、画像座標(Pi_x,Pi_y)の距離情報とはカメラ座標でのz座標Pc_zのこととする。ただし、距離情報を画像で表現するときは、諧調が表現できる範囲内で距離情報を表現するよう適切にシフトと定数倍をして表す。なお、本実施例では距離情報を前記カメラ座標のz座標としたが、点からカメラ位置までのユークリッド距離
sqrt(Pc_x^2+ Pc_y^2+ Pc_z^2) （式４）
でも良い。ただし、「sqrt(x)」はxの平方根、「m^n」はmのn乗を表す。

また、本実施例では複数の視点から得られる画像である多視点画像データを使って距離を推定する例を説明しているが、従来の技術に挙げたような１枚の画像データから距離を推定する手法を使っても同様の処理が可能である。

＜距離情報推定装置＞
図１は、本実施例に係る距離情報推定装置の構成の一例を示す図である。本実施例に係る距離情報推定装置は、多視点画像データ入力部１１と、解像度変換部１２と、画像領域分割部１３と、カメラ情報入力部１４と、距離情報推定部１５と、距離情報合成部１６と、距離情報出力部１７とを有する。

図２は、距離情報推定装置の処理のフロー図である。以下、図１と図２を使って距離情報推定装置の処理フローを説明する。

まず、ステップＳ２１において、多視点画像データ入力部１１が多視点画像を示す多視点画像データを読み込む。ここで、多視点画像データとは基準画像１枚と参照画像１枚以上の少なくとも２枚の画像に対応する画像データとする。３枚以上の画像があっても良い。

次に、ステップＳ２２において、解像度変換部１２が多視点画像の解像度をそれぞれ変換する。すなわち、解像度変換部１２が、基準画像と参照画像の画像データをそれぞれ解像度変換し、解像度変換画像データを取得する。例えば、図３（ａ）を入力画像とすると、解像度を４分の１に縮小した画像は図３（ｂ）のようになる。また、ここでは、解像度変換画像が１つの例で説明するが、２種類以上であっても同様の処理が可能である。

次に、ステップＳ２３において、画像領域分割部１３が多視点画像の基準画像を領域分割する。領域分割方法には一般的な画像分割手法、例えば、平均値シフト(Mean shift)法やファジィc-平均法、ウォータシェッド(Watersheds)法などを用いればよい。

次に、ステップＳ２４において、カメラ情報入力部１４が多視点画像データのそれぞれの画像データに対応するカメラ情報を読み込む。ここで、カメラ情報にはカメラの位置(x,y,z)とカメラの傾き(Yaw,Pitch,Roll)、倍率(α)が含まれるとする。レンズの歪曲がある場合には歪曲のパラメータがあることが望ましい。

次に、ステップＳ２５において、距離情報推定部１５が解像度変換前の多視点画像と解像度変換後の多視点画像の距離情報をステップＳ２４で得られたカメラ情報を用いてそれぞれ推定する。すなわち、距離情報推定部１５は、解像度変換前の基準画像と参照画像とを用いた距離推定処理と、解像度変換後の基準画像と参照画像とを用いた距離推定処理とを行う。距離の推定方法は前述のエリアベースの手法でも特徴点ベースの手法でも良い。ここで、解像度が異なる画像を用いる理由は、解像度の違いによって形状推定の結果が異なるためである。

例えば、図４（ａ）が解像度変換なしの多視点画像を用いた距離推定結果を、図４（ｂ）が解像度変換（例えば解像度２分の１）後の多視点画像を用いた距離推定結果を、距離が推定できた点を白、推定できなかった点を黒で示した図である。輪郭や模様のある部分では解像度変換なしの画像の方が詳細に推定出来ているが、一方で平坦な部分では解像度変換後の画像の方が推定できた領域が大きい。以下、この理由について図５を用いて説明する。図５はアーチ型をした図形を真上からの視点５１と斜めからの視点５２でそれぞれ見た図である。この図形には特徴点５３が存在するものとする。図５（ａ）は横方向からそれぞれの位置関係を表している。図５（ｂ）は解像度変換なしの画像である。図５（ｃ）は解像度変換後の画像である。この特徴点５３の周辺領域５４の形状を求める時、図５（ｂ）の解像度変換なしの画像では諧調の変化が滑らかであるため、視点５２で視点５１の周辺領域５４に対応する位置を決めることが難しい。一方、図５（ｃ）の解像度変換後の画像では諧調の変化に段差があるため、その諧調の変化を利用して視点５２で視点５１の周辺領域５４に対応する位置を決めることができる。そのため、画像の平坦な領域では解像度が低い方が形状を求めることができる場合がある。ただし、解像度が低くなると精度も低下するというトレードオフの関係があるため、解像度が低ければ必ず良い結果になる訳ではない。

次に、ステップＳ２６において、距離情報合成部１６が解像度変換前の多視点画像の距離情報と、解像度変換後の多視点画像の距離情報とをステップ２３で得られた領域分割情報に基づいて合成した距離情報を作成する。この処理の詳細は後述する。

最後に、ステップＳ２７において、距離情報出力部１７がステップＳ２７で作成された距離情報を出力する。

＜距離情報合成部＞
以下では、距離情報合成部１６の距離情報の合成処理について、図６のフローチャートと図７の模式図を用いてより詳細に説明する。なお、以下の合成処理は基準画像の全ての画素に対して行う。

まず、ステップＳ６１において、距離情報合成部１６は、ステップＳ２５で作成した解像度変換前の多視点画像の距離情報と解像度変換後の多視点画像の距離情報とを読み込む。例えば、入力画像７１に対する解像度変換前の距離情報は７３、解像度変換後の距離情報は７４で示すもののようになる。

次に、ステップＳ６２において、距離情報合成部１６は、ステップＳ２２で作成された領域分割情報を読み込む。例えば、入力画像７１に対する領域分割画像は７２のようになる。

次に、ステップＳ６３において、距離情報合成部１６は、解像度変換前の多視点画像の距離情報と解像度変換後の多視点画像の距離情報それぞれに対して精度によって異なる重み係数(以降、精度重み係数と記述）を設定する。これは、例えば、解像度変換後の画像が解像度２分の１だったとき、変換前の精度重み係数(以下、αと記述する)をα＝１、変換後の精度重み係数をα＝0.25と設定すれば良い。すなわち、部分的に推定できない箇所があり得るものの、解像度の高い画像を用いて距離推定した方が、解像度の低い画像を用いて距離推定するよりも全体的な精度は高いと考えられる。よって、上記のよう精度重み係数の設定を行う。重みの設定はこれに限らない。

次に、ステップＳ６４において、距離情報合成部１６は、注目画素の距離情報算出のための周辺距離情報の重みフィルタ係数(以降、空間重みフィルタ係数と記述）を算出する。これは、例えば、下式のようなガウス関数の重み係数を設定すれば良い。
f(x,y;x0,y0)=1/(2π*σ^2)*exp(−1/2*((x-x0)^2/σ^2+ (y-y0)^2/σ^2)) （式５）

ただし、ここでσはガウス関数の標準偏差、注目画素のx,y座標をx0,y0とする。例えば、入力画像７１で注目画素を「＋」、フィルタ範囲を「□」で示すと空間重みフィルタは７５のように表せる。この空間重みフィルタ係数は、注目画素に近いほど重みを重くしている。

次に、ステップＳ６５において、距離情報合成部１６は、注目画素の領域分割情報と周辺画素の領域分割情報とを比較し、重み係数(以降、領域重み係数と記述）を算出する。これは、例えば、下式のようなガウス関数の重み係数を設定すれば良い。
g(x,y;x0,y0)=1/(sqrt(2π)*σ)*exp(−1/2*((S(x,y)-S(x0,y0))^2/σ^2)) （式６）

ただし、ここで、S(x,y)は座標x,yでの領域分割画像の値を表す。標準偏差σは式５と異なる値でも良い。例えば、空間重みフィルタ７５と同様に領域分割画像７２上に領域分割重みフィルタを表すと７６のように表せる。領域重み係数は、例えば分割された領域の色が類似する領域については、重みを重くしている。

次に、ステップＳ６６において、距離情報合成部１６は、算出した精度重み係数と空間重み係数と領域重み係数とを乗算して、距離合成の重み係数(以降、合成重み係数と記述)を算出する。これは、下式のような関数になる。
h(x,y;x0,y0)=α*f(x,y;x0,y0)*g(x,y;x0,y0) （式７）

例えば、空間重みフィルタ７５と同様に表すと、解像度変換前距離情報７３の合成重みフィルタは７７、解像度変換後距離情報７４の合成重みフィルタは７８のように表せる。

次に、ステップＳ６７において、注目画素の周辺画素の解像度変換前・後の距離情報と合成重み係数との乗算和を、合成重み係数の和で割って正規化し、それを注目画素の距離情報とする。なお、距離情報７３、７４のうち距離情報がない領域（黒色の領域）は乗算和にも正規化のための係数和にも含めない。式で記述すると下式のようになる。

ただし、ここで、D1(x,y)は座標x,yでの解像度変換前の距離情報、D2(x,y)は座標x,yでの解像度変換後の距離情報とし、距離情報がない領域ではD1(x,y)=0、D2(x,y)=0となっているとする。

最後に、全画素の処理が終了したかどうかを判定し、終了していなければステップＳ６５に戻り、終了していれば距離情報合成部の処理を終了する。この結果得られる距離情報は図７の合成距離情報７９のようになる。距離情報７９では、詳細な距離情報７３の細部の情報は残しつつ、粗い距離情報７４で詳細な距離情報７３で抜けている距離情報を補間できている。また、領域情報７２を用いて領域内の補間を行うことで、補間してもエッジがぼけることを防ぐ効果がある。

さらに、よりエッジ部分を滑らかにしたい場合、合成距離情報７９に対して、領域分割情報７２を用いて領域内のスムージングを行った合成距離情報８０を作成しても良い。

以上説明した処理を行うことで、被覆率が高く、精度の高い距離推定を行うことが可能となる。

なお、本実施例では、２種類の解像度の距離推定の結果の合成について説明したが、３種以上の合成も信頼度重みを合成する数だけ設定することで２種類の場合と同様に可能である。

また、本実施例では、距離情報の推定に際して複数の視点から得られた画像を用いる例について説明したが、１つの視点で得られた１枚の画像から距離情報を推定する形態を採用してもよい。

また、本実施例では、解像度の異なる画像の距離推定結果の合成の例を示したが、解像度に限らず、精度と被覆率に影響する他のパラメータ、例えば、エリアベースの対応点探索方法の参照範囲の大きさなどが異なる結果であっても良い。

なお、本実施例の構成においては、上記以外にも様々な構成要素が存在し得るが、本実施例の主眼ではないため、その説明は省略する。

実施例１では、距離情報推定部１５の解像度や他のパラメータが異なる距離推定結果を合成する例を挙げた。実施例２では異なる距離推定方法、例えば、全体の構図から距離を推定する手法と特徴点の移動速度から距離を推定する手法など推定の基準が異なる距離推定結果を合成する例を挙げる。距離推定方法が異なっても、精度が高く被覆率の低い距離情報と、精度が低く被覆率の高い距離情報の組み合わせであれば実施例１と同様の距離情報の合成が可能である。

＜距離情報推定装置＞
図８は、実施例２の距離情報推定装置の構成の一例を示す図である。実施例２の距離情報推定装置は、多視点画像データ入力部１１と、画像領域分割部１３と、カメラ情報入力部１４と、距離情報出力部１７と、第一距離情報推定部８１と、第二距離情報推定部８２と、距離情報合成部８３とを有する。なお、実施例１と同一の構成とすることができるものについては、図１と同一の符号を付している。

図９は、距離情報推定装置の処理のフロー図である。以下、図８と図９を使って実施例２の距離情報推定装置の処理フローを説明する。

ステップＳ９１とＳ９２〜Ｓ９３はステップＳ２１とＳ２３〜Ｓ２４と同様であるため、説明を省略する。

次に、ステップＳ９４において、第一距離情報推定部８１が多視点画像の距離情報（以降、第一距離情報と記述）を推定する。

次に、ステップＳ９５において、第二距離情報推定部８２が多視点画像の距離情報（以降、第二距離情報と記述）を推定する。

なお、第一距離情報推定部８１と第二距離情報推定部８２とは、それぞれ異なる距離推定方法を用いるものとする。また、第一距離情報と第二距離情報とは、精度と被覆率が異なる距離推定結果であるとする。ただし、必ずしも画像全面で同じ傾向でなくても良く、例えば、暗い部分では第一距離情報の方の精度が良く、明るい部分では第二距離情報の方の精度が良いなど画像の特徴によって精度の良い距離情報が変わっても良い。

次に、ステップＳ９６において、距離情報合成部８３が第一距離情報と第二距離情報とを合成する。距離情報合成部８３の処理は後述する。

最後に、ステップＳ９７において、距離情報出力部１７がステップＳ９６で合成された距離情報を出力する。

＜距離情報合成部＞
以下では、距離情報合成部８３の距離情報の合成処理について、図１０のフローチャートを用いてより詳細に説明する。なお、以下の合成処理は基準画像の全ての画素に対して行う。

まず、ステップＳ１０１において、距離情報合成部８３は、ステップＳ９４で作成した第一距離情報とステップＳ９５で作成した第二距離情報とを読み込む。

ステップＳ１０２はステップＳ６２と同様であるため、説明を省略する。

次に、ステップＳ１０３において、距離情報合成部８３は、第一距離情報と第二距離情報に対して精度によって異なる重み係数(以降、精度重み係数と記述）を設定する。精度重み係数は、画面全体で第一距離情報と第二距離情報の精度の優劣の傾向が同じならば、精度が良い方の重みを上げれば良い。また、画像の特徴によって精度の優劣の傾向が異なるならば、画面内で画像の特徴に従って異なる精度係数を設定してもよい。

ステップＳ１０４〜Ｓ１０６はステップＳ６４〜Ｓ６６と同様であるため、説明を省略する。

次に、ステップＳ１０７において、距離情報合成部８３は、注目画素の周辺画素の第一距離情報と第二距離情報それぞれとの合成重み係数の乗算和を、合成重み係数の和で割って正規化し、それを注目画素の距離情報とする。なお、第一距離情報、第二距離情報のうち距離データが存在しない領域の値は乗算和にも正規化のための係数和にも含めない。

最後に、距離情報合成部８３は、全画素の処理が終了したかどうかを判定し、終了していなければステップＳ１０５に戻り、終了していれば距離情報合成部の処理を終了する。

以上説明した処理を行うことで、異なる距離推定方法の結果においても、被覆率が高く、精度の高い距離推定を行うことが可能となる。

なお、本実施例では、２種類の解像度の距離推定の結果の合成の説明をしたが、３種以上の合成も信頼度重みを合成する数だけ設定することで２種類の場合と同様に可能である。

本実施例の構成においては、上記以外にも様々な構成要素が存在し得るが、本発明の主眼ではないため、その説明は省略する。

以上が、距離情報推定装置の構成の一例についての説明である。なお、上記説明した、距離情報推定装置には、コンピュータが組み込まれていても良い。コンピュータには、ＣＰＵ等の主制御手段、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の記憶手段が具備される。また、コンピュータにはその他、キーボード、マウス、ディスプレイ又はタッチパネル等の入出力手段、ネットワークカード等の通信手段等も具備される。なお、これら各構成手段は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。

＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

画像データと、前記画像データの解像度を変換した解像度変換画像データとを取得する取得手段と、
前記画像データが示す画像の距離情報と前記解像度変換画像データが示す解像度変換画像の距離情報とをそれぞれ推定する距離情報推定手段と、
前記画像の距離情報と前記解像度変換画像の距離情報とを合成する距離情報合成手段と
を有することを特徴とする距離情報推定装置。
前記取得手段は２種類以上の異なる解像度で２種類以上の解像度変換画像データを取得し、
前記距離情報推定手段は２種類以上の前記解像度変換画像の距離情報を推定し、
前記距離情報合成手段は２種類以上の前記解像度変換画像の距離情報を用いて合成することを特徴とする請求項１に記載の距離情報推定装置。
前記距離情報推定手段は、前記画像データに対応するカメラ情報に基づいて前記距離情報を推定することを特徴とする請求項１または２に記載の距離情報推定装置。
前記距離情報合成手段は、前記画像の領域を分割した領域分割情報に基づいて前記距離情報を合成することを特徴とする請求項１から３のいずれかに記載の距離情報推定装置。
距離情報合成手段は、前記領域分割情報に基づいて合成の重み係数を設定することを特徴とする請求項４に記載の距離情報推定装置。
距離情報合成手段は、前記距離情報のそれぞれの精度に基づいて合成の重み係数を設定することを特徴とする請求項１から５のいずれかに記載の距離情報推定装置。
画像データが示す画像の第一距離情報を推定する第一距離情報推定手段と、
前記画像の、前記第一距離情報とは異なる第二距離情報を推定する第二距離情報推定手段と、
前記第一距離情報と前記第二距離情報とを合成する距離情報合成手段と
を有することを特徴とする距離情報推定装置。
前記第一距離情報推定手段と前記第二距離情報推定手段とは精度の異なる１つ以上の推定方法で１つ以上の距離情報を推定することを特徴とする請求項７に記載の距離情報推定装置。
前記第一距離情報推定手段および前記第二距離情報推定手段の少なくとも１つは、前記画像データに対応するカメラ情報に基づいて距離情報を推定することを特徴とする請求項７または８に記載の距離情報推定装置。
前記画像データは、複数の視点から得られた多視点画像を示す画像データであることを特徴とする請求項１から９のいずれかに記載の距離情報推定装置。
画像データと、前記画像データの解像度を変換した解像度変換画像データとを取得する取得ステップと、
前記画像データが示す画像の距離情報と前記解像度変換画像データが示す解像度変換画像の距離情報とをそれぞれ推定する距離情報推定ステップと、
前記画像の距離情報と前記解像度変換画像の距離情報とを合成する距離情報合成ステップと
を有することを特徴とする距離情報推定方法。
コンピュータを、請求項１から１０のいずれかに記載の距離情報推定装置として機能させるためのプログラム。