JP2011039918A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】補間エラーを防止し精度の高い距離画像の生成を可能とする装置および方法を提供する。
【解決手段】例えばコントラスト検出法などによって画像に含まれる領域の輪郭部の距離情報を取得し、距離情報の取得できていない領域内部の距離値を推定する構成において、領域の輪郭部の距離情報を用いて領域を構成する平面などの領域面を定義する領域面定義式を算出する。算出した領域面と距離情報の座標位置を比較し、領域面からの離間度の大きい距離情報を異常データと判定し、異常データを除く距離情報を適用して領域内部の距離を推定する補間処理を行う。本構成により補間エラーを防止した高精度な距離画像を生成することが可能となる。
【選択図】図８

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特にカメラ撮影画像に含まれる被写体の距離を算出する画像処理装置、および画像処理方法、並びにプログラムに関する。

カメラの撮影画像に含まれるオブジェクトまでの距離情報を元の画像と対応させて表現したデータを距離マップと呼ぶ。距離マップを画像として表現した距離画像は、距離値に応じて異なる画素値を設定した画像である。例えば、近距離にあるオブジェクトほど輝度の高い画素とし、遠距離にあるオブジェクトほど輝度の低い画素として距離を表現する。例えば、図１に示す画像１１に基づく距離画像が距離画像１２である。距離画像は図１に示すように輝度の高低により被写体の距離を表現した画像として生成される。

距離マップや距離画像は、被写体の三次元形状の解析などに利用できる。なお、画像解析による距離マップ、距離画像の生成、あるいは三次元形状解析処理については、特許文献１（特開２００３−２１６９３２号公報）、特許文献２（特開２００４−１２５７０８号公報）、特許文献３（特開２００４−２５７９３４号公報）などに記載されている。

カメラの撮影画像から距離画像を作成することを考える。距離画像を作成するためには、カメラからオブジェクトまでの距離を求める必要がある。被写体までの距離解析手法にはいくつかの方法がある。その１つの手法としてレンズのフォーカス位置を変化させながらオブジェクトの輪郭や模様が最もはっきりと写るようなフォーカス位置を探す手法がある。

この手法は、小型カメラのオートフォーカス機構で広く用いられる方法の１つで、コントラスト検出法とも呼ばれる。被写体にピントが合うとコントラストが高くなる。コントラスト検出法による距離計測は、このコントラストの変化を検出して被写体のフォーカス位置を決定し、フォーカス位置に対応した距離を被写体距離として検出する手法である。

コントラスト検出法では、各種の微分フィルタを用いて画素の輝度が急激に変化する画素位置を検出する方法が一般に用いられる。この方法によりオブジェクトの輪郭や模様を求めることができる。以下では輪郭および模様を検出するための微分フィルタをエッジ検出フィルタと呼ぶ。なお、画素の輝度はグレイスケール画像においては画像データから直接得られるが、カラー画像の場合は複数の輝度コンポーネントの線形結合から画素の輝度を算出する。

コントラスト検出法を用いてレンズのフォーカス位置を最短撮影距離から無限遠まで順次移動させながら、画面内で検出されたオブジェクト輪郭や模様の位置を記録すると、画像に含まれるオブジェクト輪郭や模様に関する距離情報が得られ距離マップを生成することができる。

ただし、実際の画像においては、オブジェクト輪郭の画素の輝度差の不足等が原因となって、オブジェクト輪郭は常に検出できるわけではない。また、模様のない領域については、フォーカス位置を変化させても、エッジ検出フィルタでは何も検出されないため、得られる距離マップには多くの未知領域、すなわち距離の不確定領域が含まれる。

次に、そのような未知領域について距離を推定し、画面全体の距離画像を求めることを考える。未知領域の距離算出処理としては周囲の既知情報を用いる補間処理が一般的である。すなわち、あるオブジェクトの輪郭や模様の位置で観測された既知の距離情報を用いて、オブジェクト領域内部の未知領域の距離情報を推定する。

具体的には、例えば、図２（ａ）に示すようにカメラ２０でオブジェクトＡ２１の画像を撮影する。この画像撮影時にコントラスト検出法を用いてレンズのフォーカス位置を最短撮影距離から無限遠まで順次移動させながら、画面内で検出されたオブジェクト輪郭や模様の位置を記録すると、図２（ｂ）に示す距離画像（補間前）２２を取得することができる。

図２（ｂ）に示す距離画像（補間前）２２のオブジェクトＡの輪郭領域では、エッジ検出フィルタによりエッジ検出が可能であり、コントラスト検出による距離情報が得られる。距離画像（補間前）２２のオブジェクトＡの輪郭領域に示す濃淡を持つ円が距離値に応じた輝度を設定した距離情報である。高輝度は距離が小さく、低輝度は距離が大きいことを示している。なお、図２（ｂ）に示す距離画像（補間前）２２のオブジェクトＡの輪郭領域に示す濃淡を持つ円は模式的に大きく示しているものであり、実際の距離情報は画素レベルで取得可能である。

図２（ｂ）に示す距離画像（補間前）２２は、オブジェクトＡの輪郭領域では距離情報が得られるがオブジェクトＡの内部領域は模様がなくコントラスト検出法による距離情報が得られない。このような場合に、輪郭領域において求められた距離情報を用いて内部領域の距離値を推定する補間処理を行う。この補間処理によって図２（ｃ）に示す距離画像（補間後）２３が得られる。

補間処理を行う場合、オブジェクト領域について、予め一定の基準で領域分割を行っておく。例えば、画像内の近傍で色が類似している部分は一領域としてまとめておく分割手法が有効である。この処理により、例えば同一オブジェクト単位での領域分割が可能となる。

例えば１つの分割領域として設定された領域内部に存在する距離の不確定領域に対する補間処理は、例えば以下のように行うことができる。
被写体を撮影した元画像において、画素ｐの輝度や色などの画素属性値をＹ（ｐ）とする。
被写体を撮影した元画像において、
画素属性値Ｙ（ｐ）が滑らかに変化している画像領域では距離値Ｄ（ｐ）も滑らかに変化し、
画素属性値Ｙ（ｐ）が急激に変化する画像領域では距離値Ｄ（ｐ）は不連続となると仮定する。

上記の仮定に基づいて、補間前の距離画像において距離情報が得られていない画素を画素ｐとして、画素ｐの距離推定値Ｄ（ｐ）を求める。
なお、画素ｐの周囲の画素ｑの距離値Ｄ（ｑ）は、補間前に得られているとする。すなわち、画素ｑは、例えば図２（ｂ）に示す補間前の距離画像２２のオブジェクトＡ２１の輪郭部分の画素に対応する。

画素ｐの距離推定値Ｄ（ｐ）は、以下に示す（式Ａ）のように、画素ｐの周囲の画素ｑの距離値Ｄ（ｑ）と、重みｗ_ｐｑの線形和で近似できる。Ｎ（ｐ）は、画素ｐの周囲の画素の集合である。

・・・・・（式Ａ）

上記（式Ａ）において、
重みｗ_ｐｑは、被写体撮影画像である元画像における画素ｐと画素ｑの輝度や色等の画素属性値Ｙ（ｐ）とＹ（ｑ）が近い値をとるほど、大きな値となるような関数であり、例えば以下のような、正規分布を仮定した式が使える。

・・・・・（式Ｂ）

上記（式Ｂ）において、
σ_ｐ ^２は、Ｎ（ｐ）に含まれるＹの値の分散である。

ここで、補間前の距離画像において距離情報が得られている画素の距離値以外を０、すなわち、距離情報が未知領域画素に対応する距離推定値Ｄ＝０とした１次元ベクトルを［ベクトルｂ］とする。
また、上記の（式Ａ）に従って、距離情報が未知領域である画素に対応する距離推定値を算出し、すべての画素の距離情報を設定した１次元ベクトルを［ベクトルｘ］とする。なお、画像のサイズをｎ画素×ｍ画素とすると、画像全体の画素数はｎ×ｍ個となる。これらｎ×ｍ個の画素の全てのｎ×ｍ個の距離推定値Ｄを並べた１次元ベクトルが［ベクトルｘ］となる。

このベクトルｘとベクトルｂの関係は、（ｎ×ｍ）×（ｎ×ｍ）の大きさで、ｗ_ｐｑを要素に持つ正方行列Ａを用いて、以下のように書き表せる。
Ａｘ＝ｂ

画像全体の距離推定値は、以下のようにしてベクトルｘの値を求めることによって得られる。行列Ａの逆行列は、例えば共役勾配法などを用いて、数値的に求めることができる。
ｘ＝Ａ^−１・ｂ
以上の手順で、オブジェクト領域内部の未知領域の距離値を補間することにより、画像全体の距離マップや距離画像を生成することができる。

特開２００３−２１６９３２号公報 特開２００４−１２５７０８号公報 特開２００４−２５７９３４号公報

上述したように、距離が未知である領域について補間処理を行うことで距離マップや距離画像を完成させることができる。しかし、例えばあるオブジェクトＡの領域内部にある距離の未知領域の補間処理を行う際、画像上に異なる隣接オブジェクトＢが存在する場合などに問題が発生する。

例えばオブジェクトＡとオブジェクトＢは撮影画像上では隣接しても、実際の空間上では、カメラからの距離が大きく異なっていることがある。このような場合、画像上のオブジェクトＡとオブジェクトＢの境界部では、観測距離情報が大きく異なることになる。このような場合、例えばオブジェクトＡの内部領域をオブジェクトＡの輪郭において観測された距離情報を用いて補間を実行しようとした場合、オブジェクトＢの輪郭の距離情報が使用されてしまう可能性がある。このような処理が行われると補間結果の大きな誤りの原因になる。図３を参照して、このような補間処理の問題点について説明する。

例えば、図３に示すようにオブジェクトＡ３１とオブジェクトＢ３２をカメラ３０によって撮影して距離画像を作成する場合について考察する。
カメラ３０からの距離は、四角形のオブジェクトＡ３１は遠距離、三角形のオブジェクトＢは近距離にある。
オブジェクトＡ３１とオブジェクトＢ３２の位置関係を、ＸＹ平面、ＸＺ平面、ＺＹ平面で示すと、図４に示すようになる。
なお、Ｘは水平方向、Ｙは垂直方向、Ｚは奥行き方向（＝距離）に相当する。

コントラスト検出法を用いて図３に示すカメラ３０のレンズのフォーカス位置を最短撮影距離から無限遠まで順次移動させながら、画面内で検出されたオブジェクト輪郭や模様の位置を記録する。

オブジェクトの輪郭位置で検出されるエッジ情報から、初期状態では、図５（ａ）に示すような観測距離値の距離マップ（距離画像）が作成できる。画像上のオブジェクトＡのみを抽出すると、図５（ｂ）に示す距離マップ（距離画像）となる。しかし、この図５（ｂ）に示す距離マップ（距離画像）には、画面手前にある三角形のオブジェクトＢ３２の輪郭で検出された距離情報の一部が含まれてしまっている。

この設定で、画面奥にある四角形のオブジェクトＡ３１領域について、前述した式Ａに従った未知領域の距離値の推定による補間処理を行うと、図５（ｃ）に示すように、誤った補間結果となる。図５（ｃ）に示す距離画像には、オブジェクトＢの距離情報適用によるエラー領域が発生する。
本来の正しい距離画像は図５（ｄ）に示す画像であるが、図５（ｂ）に示す距離画像に基づく補間処理を実行すると、図５（ｃ）に示す誤った距離画像が生成されてしまう。

このような誤った距離情報の混入は、以下を含む様々な理由により発生する。
＊オブジェクト境界とエッジ検出位置が正確に一致しない。
＊エッジは真のオブジェクト輪郭の内側と外側の両方で検出される

微分フィルタの特性により、オブジェクト境界は、真のオブジェクト輪郭からオブジェクトの内側と外側に広がりを持った位置で検出される。オブジェクトの外側で検出されたエッジは、オブジェクトに隣接する領域に混ざる可能性がある。しかし、局所的にエッジのどちら側がオブジェクト内部なのかを判定することは一般に困難である。

例えば、白い背景に黒いオブジェクトがある時のエッジと、黒い背景に白いオブジェクトがある時のエッジは、どちらがオブジェクトの内側であるのか区別することができない。このような問題への対処方法として、閉じた領域を検出して、その内側をオブジェクト領域とする手法が使われることがある。しかしこの手法では、穴の開いたオブジェクトを扱うことができないので現実的ではない。

オブジェクトのエッジが検出された際、検出エッジによって分離される領域のどちら側にオブジェクトが存在するかを判定することは困難である。従って、観測された距離値が正しいオブジェクト領域に配置されているかどうかの判断も困難となる。結果として、特定の領域の補間処理に際して、輪郭にある観測距離値の適用、非適用を的確に判断することは困難であり、誤った補間処理がなされてしまうことになる。

本願発明は、このような問題点に鑑みてなされたものであり、誤った距離情報の混入を低減した補間処理を実現して高精度な距離画像を生成することを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
画像に含まれる領域の輪郭部の距離情報を取得する輪郭距離推定部と、
画像に含まれる領域を画素属性値に基づいて分割する領域分割部と、
前記領域分割部の分割した領域単位で、前記領域の輪郭部の距離情報を用いて各領域を構成する領域面を推定し領域面定義式を算出する領域面推定部と、
前記領域面推定部の算出した領域面と、前記輪郭距離推定部の取得した距離情報の３次元空間における座標位置とを比較し、領域面からの離間度の大きい距離情報を異常データと判定する異常データ判定部と、
前記輪郭距離推定部の取得した距離情報から、前記異常データを除く距離情報を適用して前記領域内部の距離を推定する領域補間部と、
を有する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記異常データ判定部が、前記画像に含まれる第１領域に対する異常データと判定した距離情報を保持する異常データ処理部を有し、前記異常データ判定部は、第２領域の異常データ判定処理の実行時に、前記第２領域の領域面との離間度に基づいて、前記異常データ処理部の保持データの異常判定処理を実行し、前記保持データが前記第２領域に対する異常データではないと判定された場合、前記領域補間部は、前記保持データを前記第２領域の補間処理に適用する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記領域面推定部は、前記領域分割部の分割した領域を構成する平面のｘｙｚ三次元空間における平面定義式ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０におけるパラメータａ，ｂ，ｃ，ｄを算出する。

さらに、本発明の画像処理装置の一実施態様において、前記領域面推定部は、前記領域分割部の分割した領域を構成する曲面のｘｙｚ三次元空間における曲面定義式ａｘ^２＋ｂｙ^２＋ｃｚ^２＋ｄｘｙ＋ｅｙｚ＋ｆｚｘ＋ｇｘ＋ｈｙ＋ｋｚ＋ｍ＝０におけるパラメータａ〜ｈ，ｋ，ｍを算出する。

さらに、本発明の画像処理装置の一実施態様において、前記領域面推定部は、前記領域の輪郭部の距離情報を用いた領域面定義式の算出処理を、最小二乗法、またはロバスト推定法を用いて行う。

さらに、本発明の画像処理装置の一実施態様において、前記領域面推定部は、前記領域の距離情報に関するヒストグラムを生成し、生成したヒストグラムがほぼ同一の距離データのみで構成されるか否かを判定し、ヒストグラムがほぼ同一の距離データのみで構成されると判定した場合は、前記領域を構成する領域面が同一の距離を持つ領域面であると判定する。

さらに、本発明の画像処理装置の一実施態様において、前記異常データ判定部は、前記領域面推定部の算出した領域面と前記輪郭距離推定部の取得した距離情報の３次元空間における座標位置との距離と、予め設定した閾値とを比較し、閾値より大きな距離を持つ距離情報を異常データと判定する。

さらに、本発明の画像処理装置の一実施態様において、前記異常データ判定部は、前記領域面推定部の算出した領域面と前記輪郭距離推定部の取得した複数の距離情報の３次元空間における座標位置との距離の平均値と標準偏差を算出し、各距離情報と前記平均値の差分と前記標準偏差との比較により異常データの選別を行う。

さらに、本発明の第２の側面は、
画像処理装置において実行する画像処理方法であり、
輪郭距離推定部が、画像に含まれる領域の輪郭部の距離情報を取得する輪郭距離推定ステップと、
領域分割部が、画像に含まれる領域を画素属性値に基づいて分割する領域分割ステップと、
領域面推定部が、前記領域分割部の分割した領域単位で、前記領域の輪郭部の距離情報を用いて各領域を構成する領域面を推定し領域面定義式を算出する領域面推定ステップと、
異常データ判定部が、前記領域面推定部の算出した領域面と、前記輪郭距離推定部の取得した距離情報の３次元空間における座標位置とを比較し、領域面からの離間度の大きい距離情報を異常データと判定する異常データ判定ステップと、
領域補間部が、前記輪郭距離推定部の取得した距離情報から、前記異常データを除く距離情報を適用して前記領域内部の距離を推定する領域補間ステップと、
を有する画像処理方法にある。

さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
輪郭距離推定部に、画像に含まれる領域の輪郭部の距離情報を取得させる輪郭距離推定ステップと、
領域分割部に、画像に含まれる領域を画素属性値に基づいて分割させる領域分割ステップと、
領域面推定部に、前記領域分割部の分割した領域単位で、前記領域の輪郭部の距離情報を用いて各領域を構成する領域面を推定し領域面定義式を算出させる領域面推定ステップと、
異常データ判定部に、前記領域面推定部の算出した領域面と、前記輪郭距離推定部の取得した距離情報の３次元空間における座標位置とを比較させ、領域面からの離間度の大きい距離情報を異常データと判定させる異常データ判定ステップと、
領域補間部が、前記輪郭距離推定部の取得した距離情報から、前記異常データを除く距離情報を適用して前記領域内部の距離を推定させる領域補間ステップと、
を有するプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例によれば、例えばコントラスト検出法などによって画像に含まれる領域の輪郭部の距離情報を取得し、距離情報の取得できていない領域内部の距離値を推定する構成において、領域の輪郭部の距離情報を用いて領域を構成する平面などの領域面を定義する領域面定義式を算出する。算出した領域面と、距離情報の３次元空間における座標位置を比較し、領域面からの離間度の大きい距離情報を異常データと判定し、異常データを除く距離情報を適用して領域内部の距離を推定する領域補間処理を行う。この処理により、異常データの適用による補間エラーの発生を防止し高精度な距離画像を生成することが可能となる。

距離画像の例について説明する図である。 コントラスト検出法による距離画像の生成処理例について説明する図である。 複数オブジェクトが存在する場合の補間処理エラーの発生について説明する図である。 複数オブジェクトが存在する場合の補間処理エラーの発生について説明する図である。 複数オブジェクトが存在する場合の補間処理エラーの発生について説明する図である。 本発明の画像処理の概要について説明する図である。 本発明の画像処理の概要について説明する図である。 本発明の画像処理装置の構成例について説明する図である。 本発明の画像処理装置の生成する輪郭距離情報の例について説明する図である。 本発明の画像処理装置の生成する領域情報の例について説明する図である。 本発明の画像処理装置の実行する異常データ判定処理について説明する図である。 本発明の画像処理装置の領域補間部の実行する補間処理例について説明する図である。 本発明の画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本発明の画像処理装置の構成例について説明する図である。 本発明の画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．本発明の画像処理の概要について
２．本発明の画像処理装置の第１実施例について
３．本発明の画像処理装置の第２実施例について
４．その他の実施例について

［１．本発明の画像処理の概要について］
まず、本発明の画像処理の概要について、図６、図７を参照して説明する。
本発明では、オブジェクト境界等、エッジ近傍で得られた限られた距離情報を利用して、距離未知領域の距離を推定する補間処理を実行して距離画像を完成させる。
この補間処理の開始前に補間処理対象となるオブジェクトの平面を定義する平面定義式を算出し、平面定義式から大きくはずれる距離情報を異常データであると判定し、異常データを取り除く。残りの正常データ、すなわち平面定義式によって定義された平面を含むオブジェクトに対応すると判断される正常な距離情報のみを利用し、平面内部の領域の補間処理を実行する。

例えば図６に示すように、カメラ１００からの距離の異なる複数オブジェクト、すなわちオブジェクトＡ１０１、オブジェクトＢ１０２を撮影した撮影画像を適用してコントラスト検出法を用いて距離情報を取得する。

ここで、オブジェクトＡ１０１の内部領域の補間処理を行う場合、オブジェクトＡの平面定義式を求める。図６に示すように、
Ｓ：ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０
上記の平面定義式Ｓを求める。

初期の距離画像は、先に説明したように図７（ａ）に示すようなオブジェクト輪郭のみに距離情報を持つ距離画像となる。図７（ａ）にはオブジェクトＡ１０１のみを示している。オブジェクトＡ１０１の境界には、オブジェクトＡ１０１の距離に対応する距離情報のみならず、オブジェクトＢ１０２の境界に基づく距離情報も混在する。

本発明の画像処理装置では、このオブジェクトＢ１０２の境界に基づく距離情報を異常データと判断して除去する処理を行う。
補間処理の開始前に補間処理対象となるオブジェクトＡの平面を定義する平面定義式［Ｓ：ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０］を求め、この平面定義式から大きくはずれる距離情報を異常データであると判定して取り除く処理を行う。

この結果、図７（ａ）に示す異常データ１２０が除去され、図７（ｂ）に示すオブジェクトＡ１０１に対応する正常な距離情報のみが選択された距離画像ｂが得られる。この距離画像ｂを適用して補間処理を実行する。

結果として図７（ｃ）に示す距離画像ｃが得られる。この距離画像ｃはオブジェクトＡの境界にあるオブジェクトＡの距離情報のみを選択的に用いてオブジェクトＡ内部の距離を推定しているため、正しい距離情報からなる距離画像となる。

このように、本発明の画像処理装置は、補間処理の開始前に補間処理対象となるオブジェクトの平面を定義する平面定義式を算出し、平面定義式から大きくはずれる距離情報を異常データであると判定し、異常データを取り除いて、正常データのみを適用した補間処理を実行することでエラーを含まない正しい距離画像を生成することを可能としている。

［２．本発明の画像処理装置の第１実施例について］
次に、本発明の画像処理装置の第１実施例について図８以下を参照して説明する。
図８は、本発明の画像処理装置の一構成例を示す図である。図８に示す画像処理装置は、画像入力部２０１、輪郭距離推定部２０２、領域分割部２０３、領域対応補間処理部２１０、画像出力部２０８、制御部２２０を有する。領域対応補間処理部２１０は、平面推定部２０４、異常データ判定部２０５、異常データ除外部２０６、領域補間部２０７を有する。画像処理装置の各構成部は、例えば制御部２２０の実行するプログラムに従って処理を実行する。

画像入力部２０１は、図示しないカメラによって撮影される画像を入力する。入力画像２５１は、カメラのレンズのフォーカス位置を最短撮影距離から無限遠まで順次移動させながら撮影される画像である。

輪郭距離推定部２０２は、エッジ検出フィルタにより輝度変化のピーク位置を検出し、例えばオブジェクト輪郭や模様部分などの画素の輝度変化が最大になるポイントのフォーカス距離をその画素の距離情報として取得する処理を行う。すなわち輪郭距離情報２５２を取得する。例えば図９に示す輪郭距離情報２５２を取得して、領域対応補間処理部２１０の平面推定部２０４と、異常データ判定部２０５に出力する。

輪郭距離情報２５２は、オブジェクトの輪郭部や模様の境界などのみに距離情報を持つデータである。なお、本実施例では、オブジェクトＡ１０１，オブジェクトＢ１０２の双方とも模様の無いオブジェクトであり、コントラスト検出法ではオブジェクト内部領域の距離情報が得られないものとする。

図７に示す領域分割部２０３は、入力画像に基づいて、オブジェクト領域の分割処理を行う。例えば、画像内の近傍で色が類似している部分は同一オブジェクトとするなど、画像の画素値の類似領域を１つのオブジェクトとする。この領域分割処理により、領域情報２５３を生成する。例えば図１０に示す領域情報２５３を生成する。

図１０に示す領域情報２５３は、領域Ａ２８１、領域Ｂ２８２の２つの領域に関する情報を持つ。それぞれがオブジェクトＡ、オブジェクトＢに対応する領域である。
領域分割部２０３の生成した領域情報２５３は、領域対応補間処理部２１０の平面推定部２０４、異常データ判定部２０５、領域補間部２０７に出力される。

次に、領域対応補間処理部２１０の処理について説明する。領域対応補間処理部２１０は、制御部２２０の制御の下、領域分割部２０３の設定した領域単位で、補間処理を行う。

まず、領域対応補間処理部２１０における平面推定部２０４の実行する処理について説明する。
平面推定部２０４は、領域分割部２０４によって分割された領域単位の平面の定義式を求める処理を行う。例えば、図１０に示す領域情報２５３を入力した場合、領域Ａ２８１、領域Ｂ２８２の２つの領域に関する平面定義式を順次算出する。以下では、まず、オブジェクトＡ１０１に対応する領域Ａ２８１の平面定義式を算出する処理を行う場合の例について説明する。

平面推定部２０４は、輪郭距離推定部２０２の生成した輪郭距離情報２５２（図９参照）も入力する。輪郭距離推定部２０２の生成した輪郭距離情報２５２は、エッジ部（輪郭）の平面座標（ｘ，ｙ）に加え、距離情報をｚ座標とした空間座標（ｘ，ｙ，ｚ）情報が含まれる。平面推定部２０４は、これらの座標情報を用いて特定のオブジェクトに対応する領域の平面定義式を算出する。

輪郭距離推定部２０２の生成した輪郭距離情報２５２（図９参照）には、オブジェクトＡを構成する平面の輪郭部の多数の座標情報（ｘ１，ｙ１，ｚ１）〜（ｘｎ，ｙｎ，ｚｎ）が含まれる。この一部は、オブジェクトＢに属する座標情報であるが、大多数はオブジェクトＡに属する座標情報である。

このような複数の既知座標を用いて、これらの既知座標が１つの平面上に設定されるような平面を検出する。このような平面算出手法としてはいくつかの方法がある。例えば最小二乗法やロバスト推定法などを用いることで平面定義式を算出することができる。以下では一例として、最小二乗法を適用した処理について説明する。

なお、特別な方法で近似平面の判別が可能な領域については、領域内部全体の距離データを確定させておいてもよい。例えば、領域内に含まれる距離データのヒストグラムを作成し、ヒストグラムがほぼ同一の距離データのみで構成されることが判明した場合は、その領域全体について、ヒストグラムを代表する距離データを持つものとする。例えば予め設定した閾値以上の割合で特定の距離データの範囲にデータが集中している場合は、その集中した距離データがその領域面全体の距離であると判定する。このようにすることで、以下の領域近似平面の推定と、領域内の未知領域の補間を省略することができて、計算量を削減することができる。

以下、最小二乗法を適用した平面定義式の算出処理例について説明する。最小二乗法は、観測されたデータ列を、想定する関数で近似するときに、残差の二乗和を最小にするようなパラメータを決定する方法である。

処理対象とする領域のｘｙｚ空間における平面定義式を以下に示す（式１）のように定義する。
Ｓ：ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０・・・・・（式１）
（ただし、ａ^２＋ｂ^２＋ｃ^２＝１）

平面推定部２０４は、上記平面定義式Ｓの未知パラメータａ，ｂ，ｃ，ｄを求める処理を行う。
上記（式１）をｚについて書き直すと、以下の（式２）が得られる。

・・・・・（式２）

さらに、観測されたｎ個のデータ列（ｘ１，ｙ１，ｚ１），（ｘ２，ｙ２，ｚ２），・・・，（ｘｎ，ｙｎ，ｚｎ）との関係を行列で表す。観測されたｎ個のデータ列（ｘ１，ｙ１，ｚ１）〜（ｘｎ，ｙｎ，ｚｎ）とは、輪郭距離推定部２０２の生成した輪郭距離情報２５２（図９参照）に含まれる情報であり、オブジェクトＡを構成する平面の輪郭部のｎ個の座標情報である。上記（式２）に含まれる各値、すなわち、
ｘ，ｙを行列Ｇ
ａ１，ａ２，ａ３を行列ａ
ｚを行列ｚ
とする。
すなわち、以下に示す（式３）として表現する。

・・・・・（式３）

観測されたｎ個のデータ列（ｘ１，ｙ１，ｚ１）〜（ｘｎ，ｙｎ，ｚｎ）の全てのデータ列が完全に平面Ｓ上に乗り、残差が０である場合は、
Ｇａ＝ｚ・・・・・（式４）

上記（式４）が成立する。

しかし、実際には観測値と平面Ｓ上の理論値には次式で表されるような残差二乗和Ｊが存在する。
Ｊ＝（Ｇａ−ｚ）^Ｔ（Ｇａ−ｚ）・・・・・（式５）

上記式の残差二乗和Ｊを最小にするような最小二乗平面Ｓのパラメータベクトルａは、上記（式５）のＪをベクトルａの各成分で偏微分してゼロとおいた、以下の正規方程式（式６）を解くことにより求められる。
Ｇ^ＴＧａ＝Ｇ^Ｔｚ・・・・・（式６）

上記式を展開すると下式（式７）が得られる。
ａ＝（Ｇ^ＴＧ）^−１Ｇ^Ｔｚ・・・・・（式７）
ここで行列Ｇ^ＴＧは、以下の（式８）で示される。

・・・・・（式８）

なお、総和を表すΣ記号は、全てｉ＝１．．ｎまでの総和である。
観測データ列が１点あるいは直線に縮退しているような特殊な場合を除くと、Ｐの逆行列が存在して、３ｘ３の行列の逆行列Ｐ^−１は以下の（式９）のように代数的に求めることができる。

・・・・・（式９）

一方、Ｇ^Ｔｚは、以下の（式１０）として示される。
・・・・・（式１０）

また、前述の（式７）〜（式９）により、行列ａは以下の（式１１）として示される。
ａ＝（Ｇ^ＴＧ）^−１Ｇ^Ｔｚ＝Ｐ^−１ｑ・・・・・（式１１）

行列ａの各要素ａ_１，ａ_２，ａ_３は以下の（式１２）に示すように算出することができる。

・・・・・（式１２）

行列ａの要素ａ_１，ａ_２，ａ_３は、先に（式３）で示したように、
平面定義式Ｓ：ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０
の各パラメータａ，ｂ，ｃ，ｄと以下の（式１３）に従った関係にある。
ａ_１＝−（ａ／ｃ）
ａ_２＝−（ｂ／ｃ）
ａ_３＝−（ｄ／ｃ）
・・・・（式１３）

上記（式１３）の関係式に従って、平面定義式Ｓのパラメータａ，ｂ，ｃ，ｄを決定する。

ベクトル（ａ，ｂ，ｃ）は平面Ｓの法線ベクトルであり、その大きさは任意であるから、ここではその大きさを１とする。パラメータｃは以下の（式１４）のように示すことができる。

・・・・・（式１４）

従って、平面定義式Ｓのパラメータａ，ｂ，ｃ，ｄは、以下の（式１５）のように示すことができる。

・・・・・（式１５）

なお、ここでは平面の裏表を区別する必要がないので、正負の符号は一方のみを利用すればよい。

上述した処理によって求めた平面パラメータａ，ｂ，ｃ，ｄによって、平面定義式Ｓ、すなわち、
Ｓ：ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０
が決定する。

この平面定義式Ｓは、例えば図６、図７のオブジェクトＡ１０１（＝図１０に示す領域２８１）の平面を規定する式である。

図８に示す平面推定部２０４は、この平面パラメータａ，ｂ，ｃ，ｄまたは平面定義式Ｓを含む平面情報２５４を異常データ判定部２０５に出力する。

異常データ判定部２０５は、輪郭距離推定部２０２の生成した輪郭距離情報２５２、すなわち図９に示す輪郭距離情報２５２から異常データを選択する処理を行う。ここでの処理対象は、図６、図７のオブジェクトＡ１０１（＝図１０に示す領域２８１）であり、オブジェクトＡ１０１（領域２８１）に対する異常データを選択する。

異常データ判定部２０５における異常データ判定処理について図１１を参照して説明する。
図１１（ａ）には、ｙｚ平面上のオブジェクトＡ１０１、オブジェクトＢ１０２を示している。ｚ軸はカメラからの距離に対応する。
オブジェクトＡ１０１の平面は、平面推定部２０４によって算出された平面定義式Ｓ、すなわち、
Ｓ：ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０
として示されている。

図中に示す濃淡を持つ丸は、輪郭距離推定部２０２の生成した輪郭距離情報２５２である。それぞれ（ｘ１，ｙ２，ｚ３）〜（ｘｎ，ｙｎ，ｚｎ）の３次元位置情報を持つ。

平面定義式Ｓ、すなわち、
Ｓ：ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０
と、郭距離推定部２０２の生成した輪郭距離情報に含まれる位置（ｘ１，ｙ２，ｚ３）〜（ｘｎ，ｙｎ，ｚｎ）との距離を各々算出する。

例えば、ｉ番目の３次元位置データ（ｘｉ，ｙｉ，ｚｉ）と平面Ｓの距離ｄｉは次式（式１６）で与えられる。

・・・・・（式１６）

平面Ｓからの距離ｄｉが、他のデータと比べて著しく大きいデータは、異常データであって、その領域に属さない可能性が高いものと判定する。この判定は例えば、予め規定した閾値：Ｔｈとの比較で行ってもよい。平面Ｓの距離ｄｉが閾値Ｔｈより大きい場合は異常データとみなす。すなわち、以下の式（式１７）が成立する場合は異常データとする。
ｄｉ＞Ｔｈ・・・・・（式１７）

図１１に示すオブジェクトＢ１０２上の距離情報が異常データ２９１として判定されることになる。

あるいは、輪郭距離情報として得られた全データ（ｘ１，ｙ２，ｚ３）〜（ｘｎ，ｙｎ，ｚｎ）の距離の平均値を算出し、平均値と、各距離ｄｉとの差を算出し、算出した差分データと距離の標準偏差σと比較し、異常データを判別する構成としてもよい。
標準偏差σとの比較による異常データの判定を行う場合、例えば以下の条件式（式１８）が成立するとき、ｉ番目のデータを異常データと見なす。

・・・・・（式１８）

このように領域平面と輪郭距離推定部の取得した複数の距離情報の３次元空間における座標位置との距離の平均値と標準偏差を算出し、各距離情報と平均値の差分と標準偏差との比較により異常データの選別を行うことも可能である。

異常データ判定部２０５における異常データ判定処理は、例えば上述の処理に従って、輪郭距離推定部２０２の生成した輪郭距離情報に含まれる位置情報（ｘ１，ｙ２，ｚ３）〜（ｘｎ，ｙｎ，ｚｎ）から、異常データを判別する。

図８に示すように、異常データ判定部２０５は、異常データ判定処理によって輪郭距離情報に含まれる位置情報（ｘ１，ｙ２，ｚ３）〜（ｘｎ，ｙｎ，ｚｎ）から正常データのみを選択した距離情報正常データ２５５を領域補間部２０７に出力する。一方、異常データのみからなる距離情報異常データ２５６を異常データ除外部２０６に出力する。

図１１（ｂ）に示す初期距離画像は、輪郭距離推定部２０２によって生成された輪郭距離情報２５２に対応する。これは、輪郭距離情報として得られた全データ（ｘ１，ｙ２，ｚ３）〜（ｘｎ，ｙｎ，ｚｎ）が含まれる。
異常データ判定部２０５は、異常データ判定処理によって輪郭距離情報に含まれる位置情報（ｘ１，ｙ２，ｚ３）〜（ｘｎ，ｙｎ，ｚｎ）から正常データのみを選択する。この結果異常データが除去された図１１（ｃ）に示す異常データ削除距離画像が生成され、領域補間部２０７に出力される。

異常データ除外部２０６は、距離情報異常データ２５６の削除処理を行う。
領域補間部２０７は、輪郭距離情報に含まれる位置情報（ｘ１，ｙ２，ｚ３）〜（ｘｎ，ｙｎ，ｚｎ）から正常データのみを選択した距離情報正常データ２５５を利用して補間処理を実行する。

領域補間部２０７の処理例を図１２に示す。領域補間部２０７は、異常データ判定部２０５において異常データを除去した図１２（ｃ）に示す異常データ削除距離画像に含まれる距離情報正常データのみを用いてオブジェクトＡ１０１の内部の距離未知領域の補間処理を実行する。
なお。補間処理は、先に説明した式Ａに従って実行することができる。

この処理では、異常データが利用されず、すべてオブジェクトＡ１０１に属する輪郭の距離情報のみが利用される。結果として、エラー領域のない、正しい補間処理が実行され、図１２（ｄ）に示す正しい補間処理後距離画像が得られる。

図８に示すように、図１２（ｄ）に示す正しい補間処理後距離画像が全領域処理結果２５７として画像出力部２０８に提供され、画像出力部２０８から正しい距離画像２６０が出力される。

このように、本発明の画像処理装置は、画像に含まれる領域を、画素属性値、例えば輝度や色と情報などの画素属性値に従って領域区分を行い、各領域単位で平面を算出し、算出した平面から離間した距離情報を異常データとして判定し除外する。
その後、異常データを除外した正常データのみによって構成されるな距離情報を用いて領域内の未知領域の距離を推定する補間処理を実行する。
このような処理により、異常データによるエラーのない精度の高い距離画像が得られる。

なお、上述した処理例では、オブジェクトＡ１０１（＝領域２８１）の平面のみの算出処理と、補間処理例を説明したが、オブジェクトＡ１０１（＝領域２８１）の処理の後、オブジェクトＢ１０２（＝領域２８２）の平面の算出処理と、補間処理を実行する。

本実施例の処理シーケンスについて、図１３に示すフローチャートを参照して説明する。なお、図１３に示すフローチャートは、図８に示す輪郭距離推定部２０２における輪郭距離情報２５２（図９参照）の生成処理と、領域分割部２０３における領域情報２０３（図１０参照）の生成処理が完了した後の処理を説明するフローチャートである。すなわち、図８に示す領域対応補間処理部２１０の処理について説明するフローチャートである。前述したように、領域対応補間処理部２１０は、制御部２２０の制御の下、領域分割部２０３の設定した領域単位で補間処理を行う。

ステップＳ１０１の処理は図８に示す制御部２２０の処理として行われる。
ステップＳ１０１において、領域分割部２０３における領域情報２０３（図１０参照）を参照して、補間処理を実行していない未処理領域を１つ選択する。

次に、ステップＳ１０２において、選択した領域に対応する平面定義式または平面パラメータを算出する。ステップＳ１０２の処理は、図８に示す平面推定部２０４の実行する処理である。この処理は、先に説明したように、輪郭距離推定部２０２の生成した輪郭距離情報２５２に含まれるのエッジ部（輪郭）の平面座標（ｘ，ｙ）に距離情報（ｚ座標）追加した空間座標（ｘ，ｙ，ｚ）情報を用いて実行する。

領域の輪郭部の多数の座標情報（ｘ１，ｙ１，ｚ１）〜（ｘｎ，ｙｎ，ｚｎ）を用いて、最小二乗法やロバスト推定法などを用いることで平面定義式を算出する。
具体的には領域の平面定義式Ｓ：ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０の、パラメータａ，ｂ，ｃ，ｄを算出する処理を実行する。

なお、前述したように、最小二乗法やロバスト推定法以外の特別な方法で近似平面の判別が可能な領域については、領域内部全体の距離データを確定させておいてもよい。例えば、領域内に含まれる距離データのヒストグラムを作成し、ヒストグラムがほぼ同一の距離データのみで構成されることが判明した場合は、その領域全体について、ヒストグラムを代表する距離データを持つものとする。このような処理を行って平面推定を実行した場合は、領域内の未知領域の補間処理（ステップＳ１０５の処理）を省略することができて、計算量を削減することができる。

次のステップＳ１０３の処理は、図８に示す異常データ判定部２０５の処理である。異常データ判定部２０５は、輪郭距離推定部２０２の生成した輪郭距離情報２５２、すなわち図９に示す輪郭距離情報２５２から異常データを選択する処理を行う。異常データ判定部２０５における異常データ判定処理については図１１を参照して説明したとおりである。

すなわち、図１１（ａ）に示すように、平面定義式Ｓによつて示される平面と、輪郭距離推定部２０２の生成した輪郭距離情報２５２に含まれる３次元位置情報（ｘ１，ｙ２，ｚ３）〜（ｘｎ，ｙｎ，ｚｎ）との距離を各々算出する。
例えば、ｉ番目の３次元位置データ（ｘｉ，ｙｉ，ｚｉ）と平面Ｓの距離ｄｉが、他のデータと比べて著しく大きいデータは、異常データと判定する。すなわち処理対象としている領域に属さない距離情報であると判断する。

具体的には、例えば予め規定した閾値：Ｔｈとの比較処理、あるいは、輪郭距離情報として得られた全データ（ｘ１，ｙ２，ｚ３）〜（ｘｎ，ｙｎ，ｚｎ）の距離の平均値を算出し、平均値と、各距離ｄｉとの差を算出し、算出した差分データと距離の標準偏差σと比較し、異常データを判別する。

次のステップＳ１０４の処理は、図８に示す異常データ除外部２０６の処理である。
異常データ除外部２０６は、異常データ判定部２０５が異常データと判定した距離情報異常データの削除処理を行う。

次のステップＳ１０５の処理は、図８に示す領域補間部２０７の処理である。
領域補間部２０７は、輪郭距離情報に含まれる位置情報（ｘ１，ｙ２，ｚ３）〜（ｘｎ，ｙｎ，ｚｎ）から正常データのみを選択した距離情報正常データを利用して補間処理を実行する。

この処理は図１２を参照して説明した処理である。領域補間部２０７は、異常データ判定部２０５において異常データを除去した図１２（ｃ）に示す異常データ削除距離画像に含まれる距離情報正常データのみを用いて処理対象としている領域（＝オブジェクトＡ１０１）の内部の距離未知領域の補間処理を実行する。なお。補間処理は、先に説明した式Ａに従って実行することができる。

この処理では、異常データが利用されず、すべて単一のオブジェクトＡ１０１に属する輪郭の距離情報のみが利用される。結果として、エラー領域のない、正しい補間処理が実行され、図１２（ｄ）に示す正しい補間処理後距離画像が得られる。

次のステップＳ１０６〜Ｓ１０７の処理は制御部２２０の処理として行われる。
ステップＳ１０６では、全ての領域の補間処理が完了したか否かを判定する。なお、全ての領域とは、領域分割部２０３における領域情報２０３（図１０参照）に含まれる全ての領域である。

ステップＳ１０６において、全ての領域の補間処理が完了せず、未処理領域があると判断した場合は、ステップＳ１０７に進み、未処理領域を１つ選択しステップＳ１０２に戻り未処理領域に対する処理を行う。
ステップＳ１０６において、全ての領域の補間処理が完了したと判定した場合は処理を終了する。

このように、本発明の画像処理装置は、異常データを除外した正常データのみによって構成されるな距離情報を用いて領域内の未知領域の距離を推定する補間処理を実行することにより、異常データによるエラーのない精度の高い距離画像を取得可能としている。

［３．本発明の画像処理装置の第２実施例について］
次に、本発明の画像処理装置の第２実施例について説明する。上述した第１実施例では、異常データを検出して削除する処理を行う構成としていた。以下、説明する第２実施例では、検出した異常データを削除するのではなく、隣接領域に移動する処理を行う。

すなわち、平面定義式を算出し補間処理対象とした領域に対して異常データと判定された距離情報を、処理対象としている領域に隣接する領域の距離情報として移動する処理を行う。ある領域の境界付近で検出された異常データは、本来は隣接する領域に属するデータである可能性が高い。そこで、領域境界付近の異常データを、隣接領域に移動させる。すなわち、現在の処理対象領域に対して異常データとされた距離情報を、隣接領域に対応する距離情報として利用する。ただし、隣接領域の処理時には、再度、その距離情報が正常データであるか異常データであるかの判別を行う。

移動先の領域においても平面定義式を作成して、平面に属する距離情報であるか否かの判定が行われる。この判定に従って、異常データと判定された場合は、そのデータは削除する。

本実施例では、このような処理を行うことにより、一度異常とされたデータを、隣接領域において有効に再利用することができる。残ったデータを用いて、領域内の補間を行う。すると、領域内の全ての位置についての距離推定値が得られる。また、隣接領域においても、より信頼性の高い距離推定値が得られる。

本実施例の画像処理装置の構成例を図１４に示す。図１４に示す画像処理装置は、先に図８を参照して説明した第１実施例の画像処理装置の構成と同様、画像入力部２０１、輪郭距離推定部２０２、領域分割部２０３、領域対応補間処理部２１０、画像出力部２０８、制御部２２０を有する。
領域対応補間処理部２１０は、平面推定部２０４、異常データ判定部２０５、異常データ処理部２０９、領域補間部２０７を有する。

図８に示す構成における領域対応補間処理部２１０の異常データ除外部２０６が異常データ処理部２０９に置き換えられた点が異なるのみである。
異常データ処理部２０９は、異常データ判定部２０５が、ある１つの処理対象領域に対する異常データ、すなわち、距離情報異常データ２５６を異常データ処理部２０９に提供する。

異常データ処理部２０９は、この異常データを保持する。領域対応補間処理部２１０において、次の領域の処理が開始されるまで保持し、次の領域の処理が開始されると、この異常データを異常データ判定部２０５に提供する。図１４に示す距離情報移動データ３５１である。

異常データ判定部２０５は、次の領域の処理に際して、この距離情報が正常か否かを判定する。この判定処理は、第１実施例で説明した処理と同様であり、平面定義式によって設定される平面との離間量によって決定する。

本実施例の処理シーケンスについて、図１５に示すフローチャートを参照して説明する。なお、図１５に示すフローチャートは、先に第１実施例において説明した図１３のフローチャートと同様、図１４に示す輪郭距離推定部２０２における輪郭距離情報２５２（図９参照）の生成処理と、領域分割部２０３における領域情報２０３（図１０参照）の生成処理が完了した後の処理を説明するフローチャートである。すなわち、図１４に示す領域対応補間処理部２１０の処理について説明するフローチャートである。領域対応補間処理部２１０は、制御部２２０の制御の下、領域分割部２０３の設定した領域単位で補間処理を行う。

ステップＳ２０１の処理は図１４に示す制御部２２０の処理として行われる。
ステップＳ２０１において、領域分割部２０３における領域情報２０３（図１０参照）を参照して、補間処理を実行していない未処理領域を１つ選択する。

次に、ステップＳ２０２において、選択した領域に対応する平面定義式または平面パラメータを算出する。ステップＳ２０２の処理は、図１４に示す平面推定部２０４の実行する処理である。この処理は、先に説明したように、輪郭距離推定部２０２の生成した輪郭距離情報２５２に含まれるのエッジ部（輪郭）の平面座標（ｘ，ｙ）に距離情報（ｚ座標）追加した空間座標（ｘ，ｙ，ｚ）情報を用いて実行する。

領域の輪郭部の多数の座標情報（ｘ１，ｙ１，ｚ１）〜（ｘｎ，ｙｎ，ｚｎ）を用いて、最小二乗法やロバスト推定法などを用いることで平面定義式を算出する。
具体的には領域の平面定義式Ｓ：ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０の、パラメータａ，ｂ，ｃ，ｄを算出する処理を実行する。

なお、前述したように、最小二乗法やロバスト推定法以外の特別な方法で近似平面の判別が可能な領域については、領域内部全体の距離データを確定させておいてもよい。例えば、領域内に含まれる距離データのヒストグラムを作成し、ヒストグラムがほぼ同一の距離データのみで構成されることが判明した場合は、その領域全体について、ヒストグラムを代表する距離データを持つものとする。このような処理を行って平面推定を実行した場合は、領域内の未知領域の補間処理（ステップＳ２０６の処理）を省略することができて、計算量を削減することができる。

次のステップＳ２０３の処理は、図１４に示す異常データ判定部２０５の処理である。異常データ判定部２０５は、輪郭距離推定部２０２の生成した輪郭距離情報２５２、すなわち図９に示す輪郭距離情報２５２から異常データを選択する処理を行う。異常データ判定部２０５における異常データ判定処理については図１１を参照して説明したとおりである。

すなわち、図１１（ａ）に示すように、平面定義式Ｓによつて示される平面と、輪郭距離推定部２０２の生成した輪郭距離情報２５２に含まれる３次元位置情報（ｘ１，ｙ２，ｚ３）〜（ｘｎ，ｙｎ，ｚｎ）との距離を各々算出する。
例えば、ｉ番目の３次元位置データ（ｘｉ，ｙｉ，ｚｉ）と平面Ｓの距離ｄｉが、他のデータと比べて著しく大きいデータは、異常データと判定する。すなわち処理対象としている領域に属さない距離情報であると判断する。

具体的には、例えば予め規定した閾値：Ｔｈとの比較処理、あるいは、輪郭距離情報として得られた全データ（ｘ１，ｙ２，ｚ３）〜（ｘｎ，ｙｎ，ｚｎ）の距離の平均値を算出し、平均値と、各距離ｄｉとの差を算出し、算出した差分データと距離の標準偏差σと比較し、異常データを判別する。

次のステップＳ２０４の処理も、図１４に示す異常データ判定部２０５の処理である。異常データ判定部２０５は、ステップＳ２０３において異常データと判定した距離情報が、隣接領域から移動してきた距離情報であるか否かを判定する。すなわち、異常データ処理部２０９から提供されたデータ（図１４に示す距離情報移動データ３５１）であるか否かを判定する。

ステップＳ２０４の判定がＹｅｓの場合、すなわち異常データが隣接領域から移動してきた距離情報（図１４に示す距離情報移動データ３５１）であると判定した場合は、ステップＳ２０５に進む。この場合は、異常データが例えば既に処理済みの隣接領域においても異常データと判定されているデータであると判断される。すなわち、異常データは隣接領域の双方において異常データであると判断されたデータであり、ステップＳ２０５において異常データの削除処理を行う。この削除処理は、異常データ処理部２０９において行われる。

一方、ステップＳ２０４の判定がＮｏの場合、すなわち、異常データが隣接領域から移動してきた距離情報（図１４に示す距離情報移動データ３５１）でないと判定した場合は、ステップＳ２１１に進む。

ステップＳ２１１〜Ｓ２１３の処理は、図１４に示す異常データ処理部２０９の処理である。異常データ処理部２０９はステップＳ２１１において、現在、領域対応補間処理部２１０において実行対象としている領域の隣接領域が未処理であるか否かを判定する。未処理である場合はステップＳ２１３に進む。未処理でない場合は、ステップＳ２１２において未処理に設定して、ステップＳ２１３に進む。

ステップＳ２１３では、異常データを隣接領域に対する距離情報として設定する。この距離情報は、隣接領域の処理において利用されることになる。すなわち、隣接領域の処理が領域対応補間処理部２１０において実行される際に、その領域対応の距離情報として利用される。

ステップＳ２０６は、図１４に示す領域補間部２０７の処理である。
領域補間部２０７は、輪郭距離情報に含まれる位置情報（ｘ１，ｙ２，ｚ３）〜（ｘｎ，ｙｎ，ｚｎ）から正常データのみを選択した距離情報正常データを利用して補間処理を実行する。

この処理は図１２を参照して説明した処理である。領域補間部２０７は、異常データ判定部２０５において異常データを除去した図１２（ｃ）に示す異常データ削除距離画像に含まれる距離情報正常データのみを用いて処理対象としている領域（＝オブジェクトＡ１０１）の内部の距離未知領域の補間処理を実行する。なお。補間処理は、先に説明した式Ａに従って実行することができる。

この処理では、異常データが利用されず、すべて単一のオブジェクトに属すると判定された正常な距離情報のみが利用される。結果として、エラー領域のない、正しい補間処理が実行され、例えば図１２（ｄ）に示す正しい補間処理後距離画像が得られる。

次のステップＳ２０７〜Ｓ２０８の処理は制御部２２０の処理として行われる。
ステップＳ２０７では、全ての領域の補間処理が完了したか否かを判定する。なお、全ての領域とは、領域分割部２０３における領域情報２０３（図１０参照）に含まれる全ての領域である。

ステップＳ２０７において、全ての領域の補間処理が完了せず、未処理領域があると判断した場合は、ステップＳ２０８に進み、未処理領域を１つ選択しステップＳ２０２に戻り未処理領域に対する処理を行う。
ステップＳ２０７において、全ての領域の補間処理が完了したと判定した場合は処理を終了する。

このように、本実施例の画像処理装置は、異常データを除外した正常データのみによって構成されるな距離情報を用いて領域内の未知領域の距離を推定する補間処理を実行することにより、異常データによるエラーのない精度の高い距離画像を取得可能としている。
さらに、１つの領域において異常データと判定された距離情報については、隣接領域の距離情報として際利用する構成としているので、初期的に得られた輪郭距離情報を無駄にすることなく有効活用することが可能となり、より精度の高い距離画像を生成することが可能となる。

［４．その他の実施例について］
以上、複数の実施例について説明してきた。上述した実施例中では各領域の平面定義式を算出し、その平面定義式によって定義される平面からの離間状態に応じて距離情報が正常データであるか否かを判定する処理を行う構成としていた。しかし、オブジェクトを構成する面は平面とは限らず、曲面である場合もある。

このような場合、コントラスト検出法などによって初期的に得られる輪郭の距離情報を適用して曲面定義式を作成し、作成した曲面からの離間状態に応じて、距離情報を正常データと異常データに選別し、正常データのみを用いて曲面領域内の補間処理を行う構成とすることが可能である。
曲面定義式としては、例えば以下のような２次曲面の式が適用できる。
ａｘ^２＋ｂｙ^２＋ｃｚ^２＋ｄｘｙ＋ｅｙｚ＋ｆｚｘ＋ｇｘ＋ｈｙ＋ｋｚ＋ｍ＝０

例えば上記曲面定義式におけるパラメータａ〜ｈ，ｋ，ｍを求める処理を行い、曲面定義式を完成させる。この構成とした場合、図８、図１４に示す領域対応補間処理部２１０の平面推定部２０４は、曲面推定部として上記パラメータａ〜ｈ，ｋ，ｍを算出する。曲面定義式算出処理には、輪郭距離推定部２０２の推定した領域輪郭上のデータ（ｘ１，ｙ１，ｚ１）〜（ｘｎ，ｙｎ，ｚｎ）を利用する。なお、曲面定義式の算出処理には、前述した平面定義式の算出と同様、例えば、最小二乗法やロバスト推定法などを用いることができる。

このような処理により、オブジォクトの構成面が平面の場合に限らず、曲面である場合も、正しい距離画像を生成することが可能となる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、例えばコントラスト検出法などによって画像に含まれる領域の輪郭部の距離情報を取得し、距離情報の取得できていない領域内部の距離値を推定する構成において、領域の輪郭部の距離情報を用いて領域を構成する平面などの領域面を定義する領域面定義式を算出する。算出した領域面と、距離情報の３次元空間における座標位置を比較し、領域面からの離間度の大きい距離情報を異常データと判定し、異常データを除く距離情報を適用して領域内部の距離を推定する領域補間処理を行う。この処理により、異常データの適用による補間エラーの発生を防止し高精度な距離画像を生成することが可能となる。

１１ 画像
１２ 距離画像
２１ オブジェォクトＡ
２２ 距離画像
２３ 距離画像
３１ オブジェクトＡ
３２ オブジェクトＢ
１００ カメラ
１０１ オブジェクトＡ
１０２ オブジェクトＢ
２０１ 画像入力部
２０２ 輪郭距離推定部
２０３ 領域分割部
２０４ 平面推定部
２０５ 異常データ判定部
２０６ 異常データ除外部
２０７ 領域補間部
２０８ 画像出力部
２０９ 異常データ処理部
２１０ 領域対応補間処理部
２２０ 制御部
２５１ 入力画像
２５２ 輪郭距離情報
２５３ 領域情報
２５４ 平面情報
２５５ 距離情報正常データ
２５６ 距離情報異常データ
２５７ 前領域処理結果
２６０ 距離画像
２８１ 領域Ａ
２８２ 領域Ｂ
２９１ 異常データ
３５１ 距離情報異常データ

Claims (10)

1. 画像に含まれる領域の輪郭部の距離情報を取得する輪郭距離推定部と、
   画像に含まれる領域を画素属性値に基づいて分割する領域分割部と、
   前記領域分割部の分割した領域単位で、前記領域の輪郭部の距離情報を用いて各領域を構成する領域面を推定し領域面定義式を算出する領域面推定部と、
   前記領域面推定部の算出した領域面と、前記輪郭距離推定部の取得した距離情報の３次元空間における座標位置とを比較し、領域面からの離間度の大きい距離情報を異常データと判定する異常データ判定部と、
   前記輪郭距離推定部の取得した距離情報から、前記異常データを除く距離情報を適用して前記領域内部の距離を推定する領域補間部と、
   を有する画像処理装置。
2. 前記画像処理装置は、さらに、
   前記異常データ判定部が、前記画像に含まれる第１領域に対する異常データと判定した距離情報を保持する異常データ処理部を有し、
   前記異常データ判定部は、
   第２領域の異常データ判定処理の実行時に、前記第２領域の領域面との離間度に基づいて、前記異常データ処理部の保持データの異常判定処理を実行し、
   前記保持データが前記第２領域に対する異常データではないと判定された場合、前記領域補間部は、前記保持データを前記第２領域の補間処理に適用する構成である請求項１に記載の画像処理装置。
3. 前記領域面推定部は、
   前記領域分割部の分割した領域を構成する平面のｘｙｚ三次元空間における平面定義式ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０におけるパラメータａ，ｂ，ｃ，ｄを算出する請求項１または２に記載の画像処理装置。
4. 前記領域面推定部は、
   前記領域分割部の分割した領域を構成する曲面のｘｙｚ三次元空間における曲面定義式ａｘ^２＋ｂｙ^２＋ｃｚ^２＋ｄｘｙ＋ｅｙｚ＋ｆｚｘ＋ｇｘ＋ｈｙ＋ｋｚ＋ｍ＝０におけるパラメータａ〜ｈ，ｋ，ｍを算出する請求項１または２に記載の画像処理装置。
5. 前記領域面推定部は、
   前記領域の輪郭部の距離情報を用いた領域面定義式の算出処理を、最小二乗法、またはロバスト推定法を用いて行う請求項１または２に記載の画像処理装置。
6. 前記領域面推定部は、
   前記領域の距離情報に関するヒストグラムを生成し、生成したヒストグラムがほぼ同一の距離データのみで構成されるか否かを判定し、ヒストグラムがほぼ同一の距離データのみで構成されると判定した場合は、前記領域を構成する領域面が同一の距離を持つ領域面であると判定する請求項１または２に記載の画像処理装置。
7. 前記異常データ判定部は、
   前記領域面推定部の算出した領域面と前記輪郭距離推定部の取得した距離情報の３次元空間における座標位置との距離と、予め設定した閾値とを比較し、閾値より大きな距離を持つ距離情報を異常データと判定する請求項１または２に記載の画像処理装置。
8. 前記異常データ判定部は、
   前記領域面推定部の算出した領域面と前記輪郭距離推定部の取得した複数の距離情報の３次元空間における座標位置との距離の平均値と標準偏差を算出し、各距離情報と前記平均値の差分と前記標準偏差との比較により異常データの選別を行う請求項１または２に記載の画像処理装置。
9. 画像処理装置において実行する画像処理方法であり、
   輪郭距離推定部が、画像に含まれる領域の輪郭部の距離情報を取得する輪郭距離推定ステップと、
   領域分割部が、画像に含まれる領域を画素属性値に基づいて分割する領域分割ステップと、
   領域面推定部が、前記領域分割部の分割した領域単位で、前記領域の輪郭部の距離情報を用いて各領域を構成する領域面を推定し領域面定義式を算出する領域面推定ステップと、
   異常データ判定部が、前記領域面推定部の算出した領域面と、前記輪郭距離推定部の取得した距離情報の３次元空間における座標位置とを比較し、領域面からの離間度の大きい距離情報を異常データと判定する異常データ判定ステップと、
   領域補間部が、前記輪郭距離推定部の取得した距離情報から、前記異常データを除く距離情報を適用して前記領域内部の距離を推定する領域補間ステップと、
   を有する画像処理方法。
10. 画像処理装置において画像処理を実行させるプログラムであり、
    輪郭距離推定部に、画像に含まれる領域の輪郭部の距離情報を取得させる輪郭距離推定ステップと、
    領域分割部に、画像に含まれる領域を画素属性値に基づいて分割させる領域分割ステップと、
    領域面推定部に、前記領域分割部の分割した領域単位で、前記領域の輪郭部の距離情報を用いて各領域を構成する領域面を推定し領域面定義式を算出させる領域面推定ステップと、
    異常データ判定部に、前記領域面推定部の算出した領域面と、前記輪郭距離推定部の取得した距離情報の３次元空間における座標位置とを比較させ、領域面からの離間度の大きい距離情報を異常データと判定させる異常データ判定ステップと、
    領域補間部が、前記輪郭距離推定部の取得した距離情報から、前記異常データを除く距離情報を適用して前記領域内部の距離を推定させる領域補間ステップと、
    を有するプログラム。