JP2004178281A - 形状復元方法及び形状復元装置、ならびに形状復元プログラム及び記録媒体 - Google Patents

Abstract

【課題】画像に写っている物体の三次元形状を復元する形状復元方法及び形状復元装置において、復元に必要な情報の量を少なくする。
【解決手段】画像に写っている物体上の各点の三次元座標から、前記物体の表面形状を復元する形状復元方法であって、前記各点の三次元座標から、前記物体の端のうち、あらかじめ定めた基準面に対して垂直な方向の端を検出するステップと、前記各点の三次元座標と前記垂直な方向の端とから、前記物体の端のうち、前記基準面に対して平行な方向の端を検出するステップと、前記基準面に対して垂直な方向の端と前記基準面に対して平行な方向の端とから、前記物体の部分的な平面モデルを生成し、前記生成した部分的な平面モデルを結合して前記物体の表面形状を復元するステップとを備える形状復元方法である。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、形状復元方法及び形状復元装置、ならびに形状復元プログラム及び記録媒体に関し、特に、地面に垂直な面を持つ三次元物体の形状を復元する方法に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
従来、画像に写っている三次元物体を構成する面のうち、地面に垂直な面の形状を復元する方法には、下記で説明するような２種類の方法がある。
１つめの方法は、レーザやステレオ視を用いて前記物体表面上の各点の三次元座標を計測し、得られた三次元座標に対して、三角形分割を作成して得られる三角形の多面体を物体の形状モデルとする方法である（例えば、特許文献１を参照。）。
また、２つめの方法は、ステレオ視でのマッチング処理により三次元座標上の各点の類似度を取得する方法である。この方法では、平面や曲面といった三次元の形状モデルを用意しておき、得られた類似度を前記形状モデルのパラメータで張られる空間に投票し、多数決の原理を用いて前記パラメータを決定し、形状を復元する。
【０００３】
【特許文献１】
特開２００１‐２２９３６号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、前記従来の技術のうち、前記特許文献１に記載された方法では、前記物体表面上の計測点が多くなった場合、多面体の面の数が非常に多くなり、そのままでは十分なモデル化がなされているとはいえない。また、計測装置によって得た三次元座標にはノイズ（雑音）も多く、例えば、平坦な面を復元したいときでも凹凸のある複雑な面となってしまうことがある。そのため、前記物体の表面形状を与えるデータの量が大きくなることがある。すなわち、前記特許文献１に記載されたような方法では、前記物体の表面形状を与えるデータの量が大きくなり、三次元表示には適さないという問題があった。
【０００５】
前記物体の表面形状を与えるデータの量が大きくなるのを防ぐ手段として、三角形分割によって得られた多数の面を、垂直に近い面に分類して形状モデルを生成することが考えられる。しかしながら、それぞれの三角形面は、非常に狭い範囲の３点で作られるので、大域的に見て、その三角形面が実際にその周辺の正しい角度を反映しているとは言えない。そのため、復元した三次元形状の精度を十分に保証できないという問題がある。
【０００６】
また、前記類似度をパラメータ空間に投票し、多数決の原理を用いて形状モデルを決定する方法は、様々な形状の復元が可能であるが、計算量が多い上、領域の抽出が難しいという問題があった。
【０００７】
前記投票と多数決の原理を用いる方法では、三次元形状を探索するときに投票する空間の次元数が高くなる。前記投票と多数決の原理によるホフ変換（Ｈｏｕｇｈ 変換）（例えば、「コンピュータビジョン」新技術コミュニケーションズ， １９９９を参照。）を行う場合、投票する空間の次元数のべき乗に比例して、計算量とメモリ消費量が増加するという問題があった。また、投票する空間中では、異なる図形からの投票軌跡が干渉し、形状の復元精度が低下することがあるという問題があった。
【０００８】
前記各問題に対し、あらかじめ地面などの基準面に垂直な平面のみの検出に限定し、投票する空間の次元数を減らす方法も提案されているが、三次元空間上で検出した平面から、物体側面に当たる領域を切り出すのは難しいという問題があった。
【０００９】
本発明の目的は、画像に写っている物体の三次元形状を復元する形状復元方法及び形状復元装置において、復元に必要な情報の量を少なくすることが可能な技術を提供することにある。
本発明の他の目的は、画像に写っている物体の三次元形状を復元する形状復元方法及び形状復元装置において、復元した形状の精度を高くすることが可能な技術を提供することにある。
本発明の他の目的は、前記形状復元方法をコンピュータに実行させる形状復元プログラム及びそのプログラムを記録した記録媒体を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【００１０】
【課題を解決するための手段】
本願において開示される発明の概要を簡単に説明すれば、以下の通りである。
第１の発明は、画像に写っている物体上の各点の三次元座標から、前記物体の表面形状を復元する形状復元方法であって、前記各点の三次元座標から、前記物体の端のうち、あらかじめ定めた基準面に対して垂直な方向の端を検出するステップと、前記各点の三次元座標と前記垂直な方向の端とから、前記物体の端のうち、前記基準面に対して平行な方向の端を検出するステップと、前記基準面に対して垂直な方向の端と前記基準面に対して平行な方向の端とから、前記物体の部分的な平面モデルを生成し、前記生成した部分的な平面モデルを結合して前記物体の表面形状を復元するステップとを備える形状復元方法である。
【００１１】
前記第１の発明によれば、基準面に対して垂直な方向の端と水平な方向の端とに分けて検出した後、平面を復元することにより、ノイズの影響を受けにくくすることができ、平面の復元精度が高くなる。
また、前記第１の発明において、前記基準面に対して垂直な方向の端を検出するステップは、例えば、前記各点の三次元座標を、前記基準面と平行な二次元平面上に投影するステップと、前記基準面と平行な二次元平面上で前記物体の端を検出するステップとを備えることにより、少ないデータ量で容易に物体の端を検出することができる。
また、前記基準面に対して平行な方向の端を検出するステップは、前記各点の三次元座標を、前記基準面と垂直な方向の端の座標と関連付けて、前記基準面と垂直な二次元平面に投影するステップと、前記基準面と垂直な二次元平面上で前記物体の端を検出するステップを備えることにより、少ないデータ量で容易に物体の端を検出できるとともに、復元した形状の精度を高くすることができる。
【００１２】
第２の発明は、画像に写っている物体上の各点の三次元座標から、前記物体の表面形状を復元する形状復元装置であって、前記各点の三次元座標から、前記物体の端のうち、あらかじめ定めた基準面に対して垂直な方向の端を検出する垂直方向端検出手段と、前記各点の三次元座標と前記垂直な方向の端とから、前記物体の端のうち、前記基準面に対して平行な方向の端を検出する平行方向端検出手段と、前記基準面に対して垂直な方向の端と前記基準面に対して平行な方向の端とから、前記物体の部分的な平面モデルを生成し、前記生成した部分的な平面モデルを結合して前記物体の表面形状を復元する形状復元手段とを備える形状復元装置である。
前記第２の発明は、前記第１の発明である形状復元方法を実現させるための装置であり、前記形状復元方法が備える各ステップを実行する手段を設けることにより、復元した形状の精度が高く、かつ、少ないデータ量で復元することができる。
【００１３】
第３の発明は、画像に写っている物体上の各点の三次元座標から、前記物体の表面形状を復元する形状復元方法をコンピュータに実行させる形状復元プログラムであって、前記各点の三次元座標から、前記物体の端のうち、あらかじめ定めた基準面に対して垂直な方向の端を検出させる手順と、前記各点の三次元座標と前記垂直な方向の端とから、前記物体の端のうち、前記基準面に対して平行な方向の端を検出させる手順と、前記基準面に対して垂直な方向の端と前記基準面に対して平行な方向の端とから、前記物体の部分的な平面モデルを生成し、前記生成した部分的な平面モデルを結合して前記物体の表面形状を復元させる手順とを備える形状復元プログラムである。
前記第３の発明は、前記第１の発明である形状復元方法をコンピュータに実行させるためのプログラムであり、前記形状復元方法が備える各ステップを実行させるための手順を設けることにより、コンピュータを用いて、精度が高い形状復元を行うことができる。
【００１４】
第４の発明は、前記第３の発明の形状復元プログラムが記録された記録媒体である。
前記第４の発明によれば、前記記録媒体に記録されたデータを読み取り可能なコンピュータであれば、前記形状復元プログラムを実行することができる。そのため、専用の形状復元装置を用いることなく、精度の高い三次元形状を復元することができる。
【００１５】
以下、本発明について、図面を参照して実施の形態（実施例）とともに詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは、同一符号を付け、その繰り返しの説明は省略する。
【００１６】
【発明の実施の形態】
（実施例）
図１は、本発明による一実施例の形状復元装置の概略構成を示す模式図である。
本実施例の形状復元装置１は、図１に示すように、画像を用いて求めた物体上の複数の点の三次元座標から、基準面に垂直な方向の端部を検出する垂直方向端検出手段１０１と、前記各点の三次元座標と前記垂直な方向の端部とから、前記基準面に水平な方向の端部を検出する水平方向端検出手段１０２と、前記垂直な方向の端部と前記水平な方向の端部とから平面を復元し、その平面を結合して物体の表面の三次元形状を復元する形状復元手段１０３とにより構成される。
また、前記物体の各点の三次元座標は、図１に示すように、計測手段２で計測する。
また、前記形状復元手段１０３で復元された物体の三次元形状は、復元形状出力手段３で出力する。
以下、本実施例の形状復元装置１を用いた形状復元方法について説明するが、その前に、前記計測手段２において、物体上の各点の三次元座標を計測する方法について説明する。
【００１７】
図２乃至図５は、本実施例の形状復元装置で用いる三次元座標の計測方法を説明するための模式図であり、図２は取得する画像の例を示す図、図３（ａ）は図２の画像を取得する方法を説明するための斜視図、図３（ｂ）は図３（ａ）をｚ軸方向から見た図、図４は類似度の計算方法を説明するための図、図５（ａ）及び図５（ｂ）は類似度の計算結果の例を示す図である。
【００１８】
前記計測手段２では、例えば、図２に示したように、視差を有する第１画像４０１と第２画像４０２の２枚の画像を取得し、前記第１画像４０１と前記第２画像４０２を用いたステレオ視でのマッチング処理により画像上の各点の３次元座標を求め、その類似度を計算する。前記形状復元装置１では、前記類似度から画像上の物体の形状を復元する。
【００１９】
前記第１画像４０１と前記第２画像４０２は、例えば、図３（ａ）及び図３（ｂ）に示すように、移動手段５に搭載された第１カメラ６０１及び第２カメラ６０２の２台のカメラで撮影する。
【００２０】
このとき、前記第１カメラ６０１及び前記第２カメラ６０２には、例えば、ラインセンサカメラを用い、同時刻に撮影を開始し、その撮影開始地点を座標系の原点とする。またこのとき、前記移動手段５の移動方向をｘ軸、ｘ軸と垂直で移動手段５から物体７へ向かう方向をｙ軸、ｘｙ平面に垂直な方向をｚ軸とする。
【００２１】
また、前記第１カメラ６０１は、光軸がｙｚ平面から移動方向に角度θだけ傾き、前記第２カメラ６０２は、光軸がｙｚ平面から移動方向と逆向きに角度θだけ傾くように搭載する。またこのとき、前記第１カメラ６０１の光軸と前記第２カメラ６０２の光軸はｙｚ平面で対称になるようにする。
【００２２】
前記第１カメラ６０１及び前記第２カメラ６０２で前記物体７を撮影するときには、前記移動手段５で移動しながら、例えば、ロータリーエンコーダーを用いて、一定距離ごとに画像を取り込む。このとき、例えば、前記第１カメラ６０１から取得した線状の画像を時系列に並べると、図２に示したような、第１画像４０１が得られる。同様に、第２カメラ６０２からは、図２に示したような、第２画像４０２が得られる。なお、図２では、前記各画像の時間軸方向をａ軸、ライン方向をｂ軸とする。
【００２３】
前記第１画像４０１と前記第２画像４０２を取得したら、次に、例えば、前記第１画像４０１上の点と前記第２画像４０２上の点との類似度を計算する。
前記類似度を計算するときには、例えば、図４に示すように、前記第１画像４０１上に基準領域８Ａを設定し、前記第２画像４０２上に、前記基準領域８Ａとの類似度を計算するための視差候補領域８Ｂを設定する。このとき、前記基準領域８Ａ及び前記視差候補領域８Ｂは、Ｍ画素×Ｎ画素の局所領域とする。また、前記各画像４０１，４０２は、ａ軸をｘ軸と一致させ、ｂ軸をｚ軸と一致させる。
【００２４】
前記基準領域８Ａの中心画素の座標が（ｘ_Ａ，ｚ_Ａ）である場合、前記第２画像４０２上で前記基準領域８Ａと同一の物体が写っている可能性がある領域は、前記基準領域８Ａとｂ軸方向の高さが同じである。そのため、前記視差候補画像の中心画素のｂ座標（ｚ座標）はｚ_Ａである。
【００２５】
そこで、視差候補領域８Ｂの中心画素の座標を（ｘ_Ｂ，ｘ_Ａ）とし、例えば、ｘ_Ｂを０からｘ_ｍａｘまで１画素ずつずらしながら、前記基準領域８Ａと前記各視差候補画像８Ｂとの類似度を計算する。その後、例えば、前記基準領域８Ａの中心画素の座標を（ｘ_Ｂ＋１，ｚ_Ａ）あるいは（ｘ_Ｂ，ｚ_Ａ＋１）として、同様に類似度の計算を行い、前記第１画像４０１上で設定できるすべての基準領域８Ａに対して類似度を計算する。またこのとき、画素の密度が十分に高ければ、１画素ずつではなく、いくつかの画素を飛ばしながら計算してもよい。
【００２６】
前記類似度の計算方法には、例えば、２つの領域の画素値の差をとる方法がある。また、その他にも、例えば、相互相関係数を用いる方法（例えば、「画像解析ハンドブック」， 東京大学出版会， １９９９年， を参照。）などがある。
【００２７】
またこのとき、中心画素の座標が（ｘ_Ａ，ｚ_Ａ）の基準領域８Ａと、中心画素の座標が（ｘ_Ｂ，ｚ_Ａ）の視差候補領域８Ｂに同じ物体が写っているとすると、基準領域（中心画素）に写っている物体の三次元座標（ｘ，ｙ，ｚ）は、下記数式１から数式３で求められる。
【００２８】
【数１】

【００２９】
【数２】

【００３０】
【数３】

【００３１】
前記数式１及び数式２において、Ｍは撮影距離の間隔を記述した画像移動量定数である。また、前記数式３において、ｆは焦点距離である。また、前記数式３は、ピンホールカメラモデルを用いて導出した式である。
前記数式１から数式３を用いて求めた３次元座標（ｘ，ｙ，ｚ）と、その座標に対する類似度とを関連付け、類似度表を作成する。
【００３２】
前記物体７が、例えば、図５（ａ）に示すように、２階建ての建造物である場合、前記計測手段２で求めた類似度を三次元空間にプロットすると、図５（ｂ）に示すように、前記建造物の側面７０１，７０２に相当する部分に、類似度の高い領域Ｆ_１，Ｆ_２が分布している。なお、図５（ｂ）では、類似度の高い点を黒で表している。
【００３３】
また、前記手順では、前記第１カメラ６０１及び第２カメラ６０２としてラインセンサカメラを用い、ステレオ視でのマッチング処理により三次元座標を求め、類似度を作成する方法について説明したが、これに限らず、例えば、レーザ計測により物体７の表面の三次元座標を求め、その座標の類似度の値を１として類似度表を作成してもよい。
【００３４】
図６乃至図１２は、本実施例の形状復元装置を用いた形状復元方法を説明するための模式図であり、図６は復元手順を示すフローチャート、図７は類似度をｘｙ平面に投影したときの図、図８はパラメータ空間の例を示す図、図９（ａ）はｘｙ平面上で求めた直線の例を示す図、図９（ｂ）はｘｙ平面上で求めた線分及び物体の端部の例を示す図、図１０は類似度をｙｚ平面に投影したときの図、図１１（ａ）はｙｚ平面上で求めた直線の例を示す図、図１１（ｂ）はｙｚ平面上で求めた線分及び物体の端部の例を示す図、図１２は復元された平面を示す図である。
【００３５】
本実施例の形状復元装置を用いて、前記第１画像４０１及び第２画像４０２に写った物体の三次元形状を復元するときには、前記物体の表面が平面であり、かつ、基準面（ｘｙ平面）に対して垂直であると仮定して復元する。
【００３６】
そこで、本実施例では、図５（ａ）に示したような、２階建ての建造物７の形状を復元する場合を例にあげて説明する。
前記建造物７の形状を復元する場合、まず、前記垂直方向端検出手段１０１において、前記建造物７の側面７０１，７０２の幅、すなわち、基準面（ｘｙ平面）に垂直な方向の端を検出する。
【００３７】
前記基準面に垂直な方向の端を検出するには、まず、図６に示したように、前記手順で求めた類似度表からｘｙ投影類似度表を作成する（ステップ９０１）。
前記ステップ９０１では、前記類似度表のｘ座標及びｙ座標を固定し、ｚ座標を変えながら類似度を加算し、記録する。このとき、例えば、ｘ＝１，ｙ＝１に固定し、ｚ座標の最大値をｚ_ｍａｘとすると、座標が（１，１，０），（１，１，１），（１，１，２），・・・，（１，１，ｚ_ｍａｘ）までの各点の類似度を加算し、記録する。その後、ｘ座標あるいはｙ座標を１つずつ変えながら、前記三次元類似度表におけるすべてのｘ座標、ｙ座標の組み合わせで同様に類似度の加算をし、記録する。
このとき、前記各類似度は単純に加算してもよいし、類似度に重みをつけて加算してもよい。また、閾値以上の類似度だけを加算してもよい。
【００３８】
以下、前記ｘ座標及びｙ座標を固定して加算した値をｘｙ投影類似度値と称し、その集合をｘｙ投影類似度表と称する。
ここで得られた前記ｘｙ投影類似度値を、例えば、２５６階調に換算し、ｘｙ平面上に濃淡で表示すると、図７に示すように、類似度の高い領域Ｆｘｙ_１，Ｆｘｙ_２が見られる。なお、図７では、類似度が高いほど黒く表示している。このとき、前記類似度の高い領域のうち、第１領域Ｆｘｙ_１は、図５（ａ）に示した建造物７の１階の側面７０１と対応し、第２領域Ｆｘｙ_２は建造物７の２階の側面７０２と対応する。以下、図７に示したような濃淡値での表示をｘｙ投影図と称する。
【００３９】
次に、前記ｘｙ投影図上の、前記類似度の高い領域Ｆｘｙ_１，Ｆｘｙ_２に対応する直線を検出する（ステップ９０２）。
前記類似度の高い領域Ｆｘｙ_１，Ｆｘｙ_２に対応する直線は、前記ｘｙ投影図上の各点の濃淡値を、直線のパラメータ空間（「コンピュータビジョン」， 新技術コミュニケーションズ， １９９９， を参照。）に投票し、多数決の原理を用いて検出する。前記パラメータ空間は、直線を ｓｘ＋ｔｙ＝１ としたときに、パラメータｓ，ｔで張られる空間とする。また、前記パラメータ空間の分解能は、任意に決められるが、本実施例では、前記パラメータｓ，ｔをそれぞれ、１ｃｍの分解能に設定する。
【００４０】
前記濃淡値を前記パラメータ空間（ｓ，ｔ）に投票すると、例えば、図８に示すような結果が得られる。なお、図８では、投票された点を黒く示している。
前記ｘｙ投影図上のすべての濃淡値を投票したら多数決をとり、投票数が上位の点のパラメータ（ｓ，ｔ）の値を用いて前記ｘｙ投影図上に直線を引く。ここでは、図８に示したように、投票数が上位の２点、Ｈ１（ｓ_１，ｔ_１）とＨ２（ｓ_２，ｔ_２）を検出すると、図９（ａ）に示すように、ｘｙ投影図上の類似度が高い領域Ｆｘｙ_１，Ｆｘｙ_２に対応する投影直線 ｓ_１ｘ＋ｔ_１＝１，ｓ_２ｘ＋ｔ_２＝１を引くことができる。
【００４１】
前記多数決により検出する点、すなわちパラメータｓ，ｔの数は、例えば、復元した三次元形状に要求される精度等に応じて設定してもよいし、数を決めずに、投票数が閾値以上の点を全て検出してもよい。また、ある閾値を設けて前記ｘｙ投影図を２値化し、ラベリング法を用いてラベル数を求め、そのラベル数と同じ数だけ検出してもよい（例えば、井上誠喜ほか著， 「Ｃ言語で学ぶ実践画像処理」， 初版， オーム社， １９９９年１２月８日， ｐ．８７‐８９ を参照。）。
【００４２】
次に、前記ステップ９０２で検出した投影直線をもとに、ｘｙ投影図上での物体の端を検出する（ステップ９０３）。
前記ｘｙ投影図上での物体の端を検出するときには、例えば、前記ｘｙ投影図上の点のうち、前記投影直線 ｓ_１ｘ＋ｔ_１＝１，ｓ_２ｘ＋ｔ_２＝１ 上にあり、かつ、画素値が２５５（白色）以外の値を持つ点（画素）だけ抽出する。このとき、前記ｘｙ投影図上には、図９（ｂ）に示すようなｘｙ投影線分Ｌｘｙ_１，Ｌｘｙ_２が得られる。またこのとき、前記ｘｙ投影線分Ｌｘｙ_１，Ｌｘｙ_２の端点は、前記類似度の高い領域の外周部に当たるので、前記各ｘｙ投影線分Ｌｘｙ_１，Ｌｘｙ_２の端点を物体の端とする。
前記手順で求めた物体の端は、もともと３次元座標で与えられていた類似度をｘｙ平面に投影して求めた端である。そのため、前記手順では、ｘｙ平面に対して垂直な方向の端を求めたことになる。
【００４３】
次に、前記水平方向端検出手段１０２において、前記建造物７の側面の高さ、すなわち、基準面（ｘｙ平面）に水平な方向の端を検出する。
前記基準面に水平な方向の端を検出するには、まず、図６に示すように、前記類似度表と前記垂直な方向の端からｚ投影類似度表を作成する（ステップ９０４）。
前記ステップ９０４では、前記類似度表のｚ座標をｚ＝０に固定し、前記類似度表における、各ｘｙ投影線分上の類似度を加算し、記録する。その後、ｚ＝１，２，・・・，ｚ_ｍａｘまでｚを変えながら同様に加算し、記録する。
以下、前記ｚ座標を固定して加算した値をｚ投影類似度値と称する。
【００４４】
すべてのｚに対して前記ｚ投影類似度値の計算が済んだら、ｘｙ投影線分のｙ座標及びｚ座標と、前記ｚ投影類似度値とを関連付けてｚ投影類似度表を作成する。
ここで得られた前記ｚ投影類似度表を、例えば、２５６階調に換算し、ｙｚ平面上に濃淡で表示すると、図１０に示すように、類似度の高い領域Ｆｚ_１，Ｆｚ_２が見られる。なお、図１０では、類似度が高いほど黒く表示している。このとき、前記類似度の高い領域のうち、第３領域Ｆｚ_１は、図５（ａ）に示した建造物７の１階の側面７０１と対応し、第４領域Ｆｚ_２は建造物７の２階の側面７０２と対応する。以下、図１０に示したような濃淡値での表示をｚ投影図と称する。
【００４５】
次に、前記ｚ投影図上の、前記類似度の高い領域Ｆｚ_１，Ｆｚ_２に対応する直線を検出する（ステップ９０５）。
前記類似度の高い領域Ｆｚ_１，Ｆｚ_２に対応する直線は、前記ｙｚ投影図上の各点の濃淡値を、直線のパラメータ空間に投票し、多数決の原理を用いて検出する。ここでは、直線を ｕｘ＋ｖｙ＝１ とし、パラメータｕ，ｖで張られるパラメータ空間（ｕ，ｖ）に投票する。
【００４６】
前記濃淡値を投票したら、多数決をとり、例えば、投票数が上位の２点（ｕ_１，ｖ_１），（ｕ_２，ｖ_２）を検出し、建造物側面を射影したときの直線 ｕ_１ｘ＋ｖ_１ｙ＝１，ｕ_１ｘ＋ｖ_１ｙ＝１ とする。このとき、ｚ投影面上には、図１１（ａ）に示すように、前記類似度の高い領域Ｆｚ_１，Ｆｚ_２に対応した直線（ｚ投影直線）が引ける。
【００４７】
前記多数決により検出する点、すなわちパラメータｕ，ｖの数は、前記ｘｙ投影図上の投影直線を検出するときと同様に、復元した三次元形状に要求される精度等に応じて設定してもよいし、数を決めずに、投票数が閾値以上の点を全て検出してもよい。また、ある閾値を設けて前記ｚ投影図を２値化し、ラベリング法を用いてラベル数を求め、そのラベル数と同じ数だけ検出してもよい。
【００４８】
次に、前記ステップ９０５で検出した投影直線をもとに、ｚ投影図上での物体の端を検出する（ステップ９０６）。
前記ステップ９０６では、前記ｘｙ投影線分を検出したときと同様の方法で、前記ｚ投影図上で、例えば、投影直線 ｕ_１ｘ＋ｖ_１＝１ 上にあり、かつ、画素値が０以外の値を持つ点（画素）だけを残すと、図１１（ｂ）に示すようなｚ投影線分Ｌｚ_１，Ｌｚ_２が得られる。このとき、前記線分Ｌｚ_１，Ｌｚ_２の端点は、前記類似度の高い領域Ｆｚ_１，Ｆｚ_２の外周部に当たるので、前記各線分Ｌｚ_１，Ｌｚ_２の端点を物体の端とする。
【００４９】
前記手順で求めた物体の端は、もともと３次元座標で与えられていた類似度をｙｚ平面に投影して求めた端である。そのため、前記手順では、ｘｙ平面に対して水平な方向の端を求めたことになる。
【００５０】
以上の手順により、前記物体の基準面に垂直な方向の端及び水平な方向の端を求めたら、前記形状復元手段１０３により、前記垂直な方向の端と水平な方向の端を結んで平面を作り、できた平面を結合する（ステップ９０７）。
前記ステップ９０７で結合された平面は、例えば、図１２に示すようになり、図５（ａ）に示した、前記建造物７の１階の壁７０１に当たる平面Ｒ１と、２階の壁７０２にあたる平面Ｒ２が復元されている。
【００５１】
以上説明したように、本実施例の形状復元装置及び形状復元方法によれば、基準面と水平な２次元平面上及び垂直な２次元平面上のそれぞれで物体の端を検出し、それらの端を結んで平面を復元することにより、データ量を少なくすることができ、画像に写った物体の形状を効率よく復元することができる。
また、前記物体の形状を、前記各２次元平面上に投影して復元することにより、ノイズ（雑音）の影響を受けにくくすることができ、平面の復元の安定性が高くなる。
また、本実施例の形状復元方法は、特に、物体の表面が平面であり、かつ、復元する平面が基準面に対して垂直な場合に適している。そのため、市街地の建造物を復元した三次元都市空間の構築が容易になる。
【００５２】
また、本実施例の形状復元方法をプログラム化すれば、前記形状復元装置としてコンピュータを用いることができる。そのため、専用の装置を用いなくても精度の良い形状復元を行える。このとき、前記形状復元のプログラムは、メモリカードやハードディスク、ＣＤ−ＲＯＭなどの記録媒体に記録することも、ネットワークを通して提供（ダウンロード）することもできる。
【００５３】
図１３乃至図１５は、前記実施例の応用例を説明するための模式図であり、図１３は物体の構成を示す斜視図、図１４（ａ）及び図１４（ｂ）はｘｙ投影線分を求める手順を説明する図、図１５（ａ）及び図１５（ｂ）はｚ投影線分を求める手順を説明するための図である。
【００５４】
前記実施例では、前記物体７の側面７０１，７０２が、図５に示したように、ｘ軸、すなわち移動手段５の移動方向と平行な場合を例に挙げて説明したが、これに限らず、図１３に示すように、側面がｘ軸と平行でない建造物７Ｂの場合でも、前記実施例で説明した手順で復元することができる。
【００５５】
このとき、前記ｘｙ投影図は、図１４（ａ）に示すように、側面がｘ軸と平行な建造物７Ａの投影領域Ｆｘｙ_Ａと前記建造物７Ｂに対応する投影領域Ｆｘｙ_Ｂが類似度の高い領域になる。
【００５６】
そこで、前記実施例で説明したように、直線のパラメータ空間に投票し、多数決の原理を用いて投影直線を求めた後、図１４（ｂ）に示すように、ｘｙ投影線分Ｌｘｙ_Ａ，Ｌｘｙ_Ｂを検出し、物体の端を得る。
また、前記ｚ投影線分及び物体の端を検出するときには、前記建造物７Ａの側面に対応するほうは、前記実施例で説明したとおりなので省略する。
【００５７】
前記建造物７Ｂの側面に対応するｚ投影線分及び物体の端を検出するときには、図１４（ｂ）に示したように、前記建造物７Ｂに対応するｘｙ投影線分Ｌｘｙ_Ｂと垂直な方向にｗ軸を取り、前記実施例で説明したｙｚ平面の変わりに、図１５（ｂ）に示すように、ｗｚ平面上でｚ投影類似度表を作成する。あとは、前記実施例で説明したのと同様の手順で、前記ｗｚ平面上でｚ投影直線を検出し、ｚ投影線分及び物体の端を検出する。
【００５８】
図１６乃至図１８は、前記実施例の他の応用例を説明するための模式図であり、図１６は物体の構成を示す斜視図、図１７（ａ）及び図１７（ｂ）ならびに図１８はｘｙ投影線分を求める手順を説明するための図である。
【００５９】
前記実施例で説明した形状復元装置を、例えば、市街地の三次元都市空間の復元に用いる場合には、図１３に示したように、建造物の側面がｘ軸と平行でない場合のほかに、例えば、図１６に示すように、建造物７Ａの手前に、電柱などの他の建造物７Ｃがあり、前記建造物７Ａの側面の一部がかけることがある。
【００６０】
そのような場合、前記実施例で説明した手順に沿って、前記ｘｙ投影図を表示すると、図１７（ａ）に示したように、前記建造物７Ａに対応する投影領域の一部が欠けて、二つの領域Ｆｘｙ_Ａ，Ｆｘｙ_Ａ’になってしまう。このとき、そのまま平面を復元すると、図１７（ｂ）に示したように、投影線分が２本に分かれ、本来なら１つである平面が２つの平面として復元されてしまう。
【００６１】
そこで、例えば、前記実施例で説明した手順でｘｙ投影線分Ｌｘｙ_Ａ，Ｌｘｙ_Ａ’を検出したときに、ｙ座標が同じ線分の間隔δｘが、あらかじめ定めておいた値よりも小さい場合には、図１８に示すように、１つの線分Ｌｘｙ_Ａに結合させることで、前記建造物の復元精度がさらに向上する。
【００６２】
以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。
【００６３】
【発明の効果】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、以下の通りである。
（１）画像に写っている物体の三次元形状を復元する形状復元方法及び形状復元装置において、復元に必要な情報の量を少なくすることができる。
（２）画像に写っている物体の三次元形状を復元する形状復元方法及び形状復元装置において、復元した形状の精度を高くすることができる。
【図面の簡単な説明】
【図１】本発明による一実施例の形状復元装置の概略構成を示す模式図である。
【図２】本実施例の形状復元装置で用いる三次元座標の計測方法を説明するための模式図であり、取得する画像の例を示す図である。
【図３】本実施例の形状復元装置で用いる三次元座標の計測方法を説明するための模式図であり、図３（ａ）は図２の画像を取得する方法を説明するための斜視図、図３（ｂ）は図３（ａ）をｚ軸方向から見た図である。
【図４】本実施例の形状復元装置で用いる三次元座標の計測方法を説明するための模式図であり、類似度の計算方法を説明するための図である。
【図５】本実施例の形状復元装置で用いる三次元座標の計測方法を説明するための模式図であり、図５（ａ）及び図５（ｂ）は類似度の計算結果の例を示す図である。
【図６】本実施例の形状復元装置を用いた形状復元方法を説明するための模式図であり、処理手順を示すフローチャートである。
【図７】本実施例の形状復元装置を用いた形状復元方法を説明するための模式図であり、類似度をｘｙ平面に投影したときの図である。
【図８】本実施例の形状復元装置を用いた形状復元方法を説明するための模式図であり、パラメータ空間の例を示す図である。
【図９】本実施例の形状復元装置を用いた形状復元方法を説明するための模式図であり、図９（ａ）はｘｙ平面上で求めた直線の例を示す図、図９（ｂ）はｘｙ平面上で求めた線分および物体の端部の例を示す図である。
【図１０】本実施例の形状復元装置を用いた形状復元方法を説明するための模式図であり、類似度をｙｚ平面に投影したときの図である。
【図１１】本実施例の形状復元装置を用いた形状復元方法を説明するための模式図であり、図１１（ａ）ｙｚ平面上で求めた直線の例を示す図、図１１（ｂ）はｙｚ平面上で求めた線分及び物体の端部例を示す図である。
【図１２】本実施例の形状復元装置を用いた形状復元方法を説明するための模式図であり、復元された平面を示す図である。
【図１３】前記実施例の応用例を説明するための模式図であり、物体の構成を示す斜視図である。
【図１４】前記実施例の応用例を説明するための模式図であり、図１４（ａ）及び図１４（ｂ）はｘｙ投影線分を求める手順を説明する図である。
【図１５】前記実施例の応用例を説明するための模式図であり、図１５（ａ）及び図１５（ｂ）はｚ投影線分を求める手順を説明するための図である。
【図１６】前記実施例の他の応用例を説明するための模式図であり、物体の構成を示す斜視図である。
【図１７】前記実施例の他の応用例を説明するための模式図であり、図１７（ａ）及び図１７（ｂ）はｘｙ投影線分を求める手順を説明するための図である。
【図１８】前記実施例の他の応用例を説明するための模式図であり、ｘｙ投影線分を求める手順を説明するための図である。
【符号の説明】
１…形状復元装置、１０１…垂直方向端検出手段、１０２…水平方向端検出手段、１０３…形状復元手段、２…計測手段、３…復元形状出力手段、４０１…第１画像、４０２…第２画像、５…移動手段、６０１…第１カメラ、６０２…第２カメラ、７…物体（建造物）。

Claims (10)

1. 画像に写っている物体上の各点の三次元座標から、前記物体の表面形状を復元する形状復元方法であって、
   前記各点の三次元座標から、前記物体の端のうち、あらかじめ定めた基準面に対して垂直な方向の端を検出するステップと、
   前記各点の三次元座標と前記垂直な方向の端とから、前記物体の端のうち、前記基準面に対して平行な方向の端を検出するステップと、
   前記基準面に対して垂直な方向の端と前記基準面に対して平行な方向の端とから、前記物体の部分的な平面モデルを生成し、前記生成した部分的な平面モデルを結合して前記物体の表面形状を復元するステップとを備えることを特徴とする形状復元方法。
2. 前記基準面に対して垂直な方向の端を検出するステップは、前記各点の三次元座標を、前記基準面と平行な二次元平面上に投影するステップと、
   前記基準面と平行な二次元平面上で前記物体の端を検出するステップとを備えること特徴とする請求項１に記載の形状復元方法。
3. 前記基準面に対して平行な方向の端を検出するステップは、前記各点の三次元座標を、前記基準面と垂直な方向の端の座標と関連付けて、前記基準面と垂直な二次元平面に投影するステップと、
   前記基準面と垂直な二次元平面上で前記物体の端を検出することを特徴とする請求項１または請求項２に記載の形状復元方法。
4. 画像に写っている物体上の各点の三次元座標から、前記物体の表面形状を復元する形状復元装置であって、
   前記各点の三次元座標から、前記物体の端のうち、あらかじめ定めた基準面に対して垂直な方向の端を検出する垂直方向端検出手段と、
   前記各点の三次元座標と前記垂直な方向の端とから、前記物体の端のうち、前記基準面に対して平行な方向の端を検出する平行方向端検出手段と、
   前記基準面に対して垂直な方向の端と前記基準面に対して平行な方向の端とから、前記物体の部分的な平面モデルを生成し、前記生成した部分的な平面モデルを結合して前記物体の表面形状を復元する形状復元手段とを備えることを特徴とする形状復元装置。
5. 前記垂直方向端検出手段は、
   前記各点の三次元座標を、前記基準面と平行な二次元平面上に投影する投影手段と、
   前記基準面と平行な二次元平面上で前記物体の端を検出する検出手段とを備えること特徴とする請求項４に記載の形状復元装置。
6. 前記平行方向端検出手段は、
   前記各点の三次元座標を、前記基準面と垂直な方向の端の座標と関連付けて、前記基準面と垂直な二次元平面上に投影する投影手段と、
   前記基準面と垂直な二次元平面上で前記物体の端を検出する検出手段とを備えることを特徴とする請求項４または請求項５に記載の形状復元装置。
7. 画像に写っている物体上の各点の三次元座標から、前記物体の表面形状を復元する形状復元方法をコンピュータに実行させる形状復元プログラムであって、
   前記各点の三次元座標から、前記物体の端のうち、あらかじめ定めた基準面に対して垂直な方向の端を検出させる手順と、
   前記各点の三次元座標と前記垂直な方向の端とから、前記物体の端のうち、前記基準面に対して平行な方向の端を検出させる手順と、
   前記基準面に対して垂直な方向の端と前記基準面に対して平行な方向の端とから、前記物体の部分的な平面モデルを生成し、前記生成した部分的な平面モデルを結合して前記物体の表面形状を復元させる手順とを備えることを特徴とする形状復元プログラム。
8. 前記基準面に対して垂直な方向の端を検出させる手順は、
   前記各点の三次元座標を、前記基準面と平行な二次元平面上に投影させ、
   前記基準面と平行な二次元平面上で前記物体の端を検出させること特徴とする請求項７に記載の形状復元プログラム。
9. 前記基準面に対して平行な方向の端を検出させる手順は、
   前記各点の三次元座標を、前記基準面と垂直な方向の端の座標と関連付けて、前記基準面と垂直な二次元平面に投影させ、
   前記基準面と垂直な二次元平面上で前記物体の端を検出させることを特徴とする請求項７または請求項８に記載の形状復元プログラム。
10. 前記請求項７乃至請求項９のいずれか１項に記載の形状復元プログラムが記録された記録媒体。

Images