JP2011048507A - 3次元データ生成装置、3次元データ生成方法およびプログラム - Google Patents

3次元データ生成装置、3次元データ生成方法およびプログラム Download PDF

Info

Publication number
JP2011048507A
JP2011048507A JP2009194857A JP2009194857A JP2011048507A JP 2011048507 A JP2011048507 A JP 2011048507A JP 2009194857 A JP2009194857 A JP 2009194857A JP 2009194857 A JP2009194857 A JP 2009194857A JP 2011048507 A JP2011048507 A JP 2011048507A
Authority
JP
Japan
Prior art keywords
image
edge
images
dimensional data
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009194857A
Other languages
English (en)
Inventor
Shoji Otsuki
庄治 大月
Nobu Nakahara
暢 中原
Kimihide Kagaya
仁秀 加賀谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GEO SOLUTIONS Inc
Original Assignee
GEO SOLUTIONS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GEO SOLUTIONS Inc filed Critical GEO SOLUTIONS Inc
Priority to JP2009194857A priority Critical patent/JP2011048507A/ja
Publication of JP2011048507A publication Critical patent/JP2011048507A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

【課題】ステレオ画像から比較的簡易に2枚の画像の対応点を求める3次元データ生成装置、3次元データ生成方法およびプログラムを提供する。
【解決手段】画像データ入力部2は、異なる位置から所定の領域を撮影した2つの画像の画像データを取得する。位置指定部3は、2つの画像データのそれぞれの画像で、1つの構造物の領域に含まれる画像上の指定点を取得する。閉領域抽出部4は、2つの画像データのそれぞれの画像で指定点を含み、指定点との色の差が所定の範囲であって連続する画素の集合である閉領域を抽出する。外形ベクトル生成部5は、2つの画像のそれぞれで抽出した閉領域の輪郭に沿って一巡する外形ベクトルを抽出する。3次元データ計算部7は、2つの画像データのそれぞれの外形ベクトルが同じ構造物の外形に対応するとみなして、2つの画像データからその構造物の外形の3次元の位置座標を算出する。
【選択図】図1

Description

本発明は、ステレオ画像から3次元データを自動生成する3次元データ生成装置、3次元データ生成方法およびプログラムに関する。
人工衛星や航空機等から撮影された画像を基に、ステレオマッチングによって地形を示す3次元データ[DSM(Digital Surface Model)データ]を生成する方法が広く行われている。ステレオマッチング処理とは異なる視点から撮影した2枚の画像、いわゆるステレオ画像について、同一の点を撮像している各画像中の対応点を求め、その点の2枚の画像の視差を用いて三角測量の原理によって、対象までの奥行きや形状を求めることである。
写真測量による地形図を作成するには、ステレオ画像を立体視して、オペレータの操作によって画像中の点の3次元座標を求める図化編集システムが用いられている。図化編集システムでは、異なる場所から同じ地域を撮影した2枚の航空写真が重なった状態で表示されていて、特殊なディスプレイと円偏光メガネを用いることで2枚の航空写真のうち片方を左目のみで、もう片方を右目のみで見ることが可能である。これにより両眼視差を再現させ、立体視ウィンドウ上で両眼視差立体視を行うことができ、任意の地点の3次元座標の取得が可能となる。
ステレオマッチングを自動で行う処理については既に様々な手法が提案されている。例えば、特許文献1のステレオマッチング方法では、標定要素保持部に保持されている標定要素に応じて変換係数を算出し、ステレオ画像保持部に保持されているステレオ画像をモニタに表示させ、これに応じて入力された情報に応じて不定形窓を設定する。ステレオマッチング部は、変換係数、ステレオ画像、不定形窓、拘束条件に応じて平面ステレオマッチングを行って平面のパラメータを算出して3次元モデルを生成する。
特許文献2のステレオマッチング方法は、TLS(Three line sensor)で地上面を走査して、都市地上面Aの前方視画像Pf、直下視画像Pn、後方視画像Pbを得る。それぞれの画像をテクスチャ解析して複数の領域Rfk、Rnk、Rbkに分割する。領域Rnk上の特徴点を抽出し、前方視画像Pfにおけるこの特徴点に対する視線ベクトルVfを算出する。レーザスキャナにより取得した都市地上面Aの三次元データと視線ベクトルVfとの交点の有無を調査する。交点が存在しないことを確認して、領域Rnkをエピポーラライン上に投影して領域マッチングを行う。さらに、領域Rfk、Rnk近傍の直線エッジを抽出する。領域Rfk、Rnkの近傍にマッチング範囲を絞って直線エッジのマッチングを行う。このとき、領域Rfk、Rnkそれぞれと直線エッジとの位置関係に基づいて対応する直線エッジを検索する。
その他、ステレオマッチング方法ではないが、航空写真画像からポリゴン形成する方法が特許文献3に記載されている。特許文献3のポリゴン形成方法は、航空写真画像もしくは衛星画像からエッジ抽出による色情報の変化境界を線分化して地物線分図形を形成し、この地物線分図形に高さデータを重ね合わせて3次元地物線分図形を得る。そして、この3次元地物線分図形の複数の線分を同一高さの水準でグループ化すると共にこの複数の線分の夫々の一方の高さと他方の高さを属性として比高差によりこの複数の線分に方向を定め、このグループ化した各グループの線分の最も近い始点及び終点を結線するようにしたものである。
また、特許文献4には、建物の輪郭形状を抽出する地図作成装置が記載されている。特許文献4の地図作成装置は、空中写真画像中に存在する建物中の少なくとも一点の位置の指示を受け付ける画像指示部と、前記指示された位置の周囲の色を判定した結果に基づいて建物領域を抽出し、建物領域の輪郭線を抽出する輪郭抽出部と、前記建物領域の輪郭のベクトルを生成するベクトル形状生成部と、を有する。
特開2003−323603号公報 特開2004−30461号公報 特開2004−252213号公報 特開2004−341422号公報
ステレオマッチング処理では、2つの画像の局所的な画像パターンの相関値を用いて、2つの画像の対応点を求めることが一般に行われている。しかし、局所的な画像パターンの相関値を用いる方法は計算量が多い。また、画像中に繰り返しパターンが存在するような場合には、一意に対応付けすることができない。相関をとる画像パターンを大きくすれば対応付けの精度は向上するが、計算量は多くなる。画像パターンを小さくすれば、計算量は少なくなるが、対応付けを誤る率が増加する。
本発明は上述のような事情に鑑みてなされたもので、ステレオ画像から比較的簡易に2枚の画像の対応点を求める3次元データ生成装置、3次元データ生成方法およびプログラムを提供することを目的とする。
本発明の第1の観点に係る3次元データ生成装置は、
異なる位置から所定の領域を撮影した2つの画像の画像データを取得する画像データ取得手段と、
前記2つの画像データのそれぞれの画像で、1つの構造物の領域に含まれる画像上の指定点を取得する手段と、
前記2つの画像データのそれぞれの画像で前記指定点を含み、前記指定点との色の差が所定の範囲であって連続する画素の集合である閉領域を抽出する閉領域抽出手段と、
前記2つの画像のそれぞれで抽出した前記閉領域の輪郭に沿って一巡する外形ベクトルを抽出する外形ベクトル抽出手段と、
前記2つの画像データのそれぞれの前記外形ベクトルが同じ構造物の外形に対応するとみなして、前記複数の画像データからその構造物の外形の3次元の位置座標を計算する3次元データ計算手段と、
を備える。
本発明の第2の観点に係る3次元データ生成方法は、
異なる位置から所定の領域を撮影した2つの画像の画像データを取得する画像データ取得ステップと、
前記2つの画像データのそれぞれの画像で、1つの構造物の領域に含まれる画像上の指定点を取得するステップと、
前記2つの画像データのそれぞれの画像で前記指定点を含み、前記指定点との色の差が所定の範囲であって連続する画素の集合である閉領域を抽出する閉領域抽出ステップと、
前記2つの画像のそれぞれで抽出した前記閉領域の輪郭に沿って一巡する外形ベクトルを抽出する外形ベクトル抽出ステップと、
前記2つの画像データのそれぞれの前記外形ベクトルが同じ構造物の外形に対応するとみなして、前記複数の画像データからその構造物の外形の3次元の位置座標を計算する3次元データ計算ステップと、
を備える。
本発明の第3の観点に係るプログラムは、コンピュータに、
異なる位置から所定の領域を撮影した2つの画像の画像データを取得する画像データ取得ステップと、
前記2つの画像データのそれぞれの画像で、1つの構造物の領域に含まれる画像上の指定点を取得するステップと、
前記2つの画像データのそれぞれの画像で前記指定点を含み、前記指定点との色の差が所定の範囲であって連続する画素の集合である閉領域を抽出する閉領域抽出ステップと、
前記2つの画像のそれぞれで抽出した前記閉領域の輪郭に沿って一巡する外形ベクトルを抽出する外形ベクトル抽出ステップと、
前記2つの画像データのそれぞれの前記外形ベクトルが同じ構造物の外形に対応するとみなして、前記複数の画像データからその構造物の外形の3次元の位置座標を計算する3次元データ計算ステップと、
を実行させることを特徴とする。
本発明の3次元データ生成装置、3次元データ生成方法およびプログラムによれば、ステレオ画像から比較的簡易に2枚の画像の対応点を求めることができる。その対応点がステレオ画像で同じ構造物の外形に対応するとみなして、その構造物の外形の位置座標を算出することができる。
本発明の実施の形態1に係る3次元データ生成装置の構成例を示すブロック図である。 画像データに変換される航空写真の一例を模式的に示す図である。 2つの画像の重複部分の例を示す概念図である。 構造物の領域が画素の並びに対して傾いている画像の例を示す図である。 画素の並びが構造物の領域のエッジに平行になるように回転させた例を示す図である。 画像からエッジを抽出した状態を模式的に示す図である。 エッジの端点または角点から分割線を生成した状態を模式的に示す図である。 分割領域を結合して閉領域を生成した状態を模式的に示す図である。 2つの画像の外形ベクトルの対応を示す図である。 2つの画像の外形ベクトルの対応づけを説明する図である。 実施の形態1に係る3次元データ生成処理の動作の一例を示すフローチャートである。 本発明の実施の形態2に係る3次元データ生成装置の構成例を示すブロック図である。 実施の形態2に係る3次元データ生成処理の動作の一例を示すフローチャートである。 実施の形態2に係る外形ベクトル生成処理の動作の一例を示すフローチャートである。 実施の形態2に係る外形ベクトル対応処理の動作の一例を示すフローチャートである。 本発明の実施の形態に係る3次元データ生成装置の物理的な構成の一例を示すブロック図である。
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。
(実施の形態1)
図1は、本発明の実施の形態1に係る3次元データ生成装置の構成例を示すブロック図である。3次元データ生成装置1は、異なる位置から同じ領域を含む範囲を撮影した2つの画像の画像データを入力し、その同じ領域に含まれる構造物の外形の位置を表す座標である3次元データを生成する。
実施の形態1に係る3次元データ生成装置1は、画像データ入力部2、位置指定部3、閉領域抽出部4、外形ベクトル生成部5、外形ベクトル対応部6および3次元データ計算部7から構成される。閉領域抽出部4は、画像回転部41、エッジ抽出部42、分割線生成部43および閉領域生成部44を含む。外形ベクトル生成部5は、画像逆回転部51を含む。
画像データ入力部2は、ステレオマッチング処理に使用する異なる位置から同じ領域を含む範囲を撮影した2つの画像の画像データを入力する。画像データは、例えば、デジタル画像に変換された航空写真の画像である。画像データには、画像を撮影した位置、撮影した方向、画角などが含まれる。
図2は、画像データに変換される航空写真の一例を模式的に示す。図2に示される航空写真は、上空を飛行する航空機から連続撮影された、航空写真Aと航空写真Bから構成される。航空写真Aと航空写真Bとは、航空機の進行方向について範囲が重複して撮影されたものである。図2のハッチングを付した重複部分は、異なる位置P1、P2から同じ領域を撮影した画像である。
本実施の形態における画像は、航空写真A、航空写真Bを一例とする航空写真をデジタル変換して生成した画像である。本実施の形態に用いる画像は、航空写真に限定されるものではなく、デジタル化された衛星写真による画像や、一般的なデジタルカメラで撮影したデジタル画像や、一般的なアナログカメラで撮影したアナログ写真をスキャニングでデジタル化したデジタル画像などであってもよい。
位置指定部3は、入力した2つの画像の重複部分を表示し、その中の3次元データ生成の対象になる構造物の範囲の1点を指定する入力を受け付ける。3次元データを生成する対象の構造物は、家屋やビルディングなどの建物、鉄塔、橋梁、高架道路または高架鉄道など、あらゆる人工的な建造物を含む。本実施の形態の構造物には、3次元データを生成する対象になれば、自然の地物なども含まれる。さらに、屋内の物体の3次元データを生成すること等を想定すれば、形状を有する任意の物体を含む。
図3は、2つの画像の重複部分の例を示す概念図である。図3は、見やすいように構造物の一部をハッチングで表している。図3の2つの画像は地表の同じ範囲を異なる視点から撮影したものである。左の画像は、画像の対象に向かって左の位置から撮影した画像(以下、左画像という)である。右の画像は、画像の対象に向かって右の位置から撮影した画像(以下、右画像という)である。図中の矢印は3次元データを生成する対象になる構造物の範囲の1点を指定するものである。矢印の先端が指定点である。
図3では理解を容易にするために、2つの画像を左右に並べて表示している。異なる場所から同じ地域を撮影した2つの画像を、画像に平行な(撮影方向に垂直な)任意の平面(例えば、撮影対象の地面の平均高さ)においてちょうど2つの画像の同じ対象の位置が一致するように重ねて表示してもよい。このように重ねて表示して、特殊なディスプレイと円偏光メガネを用いることで2つの画像のうち左画像を左目のみ、右画像を右目のみで見ることが可能である。これにより両眼視差を再現させ、立体視ウィンドウ上で両眼視差立体視を行うことができる。この状態で3次元データを生成する対象の構造物の範囲の1点にカーソルを合わせて指定点を入力する。カーソルは左画像と右画像のそれぞれに表示され、立体視で高さ(画像の奥行き)方向に移動することができるので高さも指定することができる。本実施の形態では指定点の高さは構造物に正確に合っていなくても構わない。図3の左画像の矢印と右画像の矢印は、ある高さで同じ位置(同一の緯度、経度および標高値)を指している。
図1の閉領域抽出部4は、入力した2つの画像データのそれぞれの画像で、位置指定部3で指定された点(指定点)を含み、指定点との色の差が所定の範囲であって連続する画素の集合である閉領域を抽出する。
色とは、色相、彩度および明度の3要素によって規定される。本実施の形態では、色空間をコンピュータ上のカラー画像メモリとして一般に使われるRGB系から、L*a*b*表色系に変換する。この表色系では明度はL*の値として表現され、明度変化に対して色相や彩度(a*b*)を容易に不変とできる。その上で、画像の各画素の色と指定点の色との距離を求め、この大きさによるグレースケール画像となるように変換する。この変換画像では指定点の色と近い色ほど黒く表示される。線形空間であるL*a*b*表色系を用いることで、指定点の色と近い領域を人間の知覚に近似して正しく判定できる。また、色距離の導出にあたり明度値L*に適切な重みを指定することで影による影響を適切に除外することができる。閉領域抽出部4は、指定点を含み、指定点の色との差が所定の範囲で、連続する画素の集合である閉領域を、3次元データを生成する対象の構造物の領域として抽出する。
閉領域抽出部4の画像回転部41は、前述のようにグレースケールに変換した画像の各画素についてエッジ強度を求める。エッジ強度が所定の閾値を超える画素全体でのエッジ勾配の統計データから、画素の並び(水平または垂直)に対する対象の構造物の領域のエッジの傾きを求める。そして、画像の画素の並びがエッジに平行または直角になるように画像を回転する。
図4は、構造物の領域が画素の並びに対して傾いている画像の例を示す。図4の矢印は、指定点を示す。図4では、指定点で指定される構造物の領域が画像の画素の並び(図4の水平方向または垂直方向)に対して傾いている。
図5は、画素の並びが構造物の領域のエッジに平行になるように回転させた例を示す。多くの構造物は真上から見た場合に外形が直角多角形なので、対象の構造物の領域のエッジの傾きに従って画像を回転することで、切妻屋根などの一般的な勾配から検出すべきエッジの方向が画像の水平方向・垂直方向と各々の±10°の範囲に限定される。これにより、エッジ検出の精度向上と処理時間短縮を図る。
なお、画像を回転させる場合、入力した画像全体について回転する処理を行う必要はない。指定点を中心に、想定される最大の構造物が収まるであろう範囲の画像に限って回転させて、以後の処理を行えばよい。
図1のエッジ抽出部42は、2つの画像のそれぞれから、指定点を含む領域の色が所定の値以上変化する画素の並びであるエッジを抽出する。画像回転部によって、画素の並びが構造物の領域のエッジに平行または垂直になるように画像が回転されている場合は、画素の並びの水平方向±10°および垂直方向±10°の範囲のエッジを抽出する。
図6は、図5の画像からエッジを抽出した状態を模式的に示す。図6では、抽出したエッジを太い実線で表している。この時点では、指定点を含む構造物の領域を限定できないので、画素の色が所定の値以上変化する点を抽出し、それが連続する方向をエッジ方向とする。特に、画素の並びが構造物の領域のエッジに平行または垂直になるように画像が回転されている場合は、画素の並びの水平方向±10°および垂直方向±10°の範囲のエッジを抽出する。例えば、ソーベルフィルタを用いて、水平方向および垂直方向の色(グレースケール)の変化点を抽出し、水平方向±10°および垂直方向±10°の範囲で、所定の数以上連続する変化点の並びをエッジとして抽出する。
図1の分割線生成部43は、エッジ抽出結果をもとに画像を領域分割する。領域分割はエッジに分割線を追加することで実現する。分割線は、エッジの端点または角点を起点として、エッジを延長する直線またはエッジに直交する直線に沿って、他のエッジまたは画像の境界と最初に交わる点までの線分である。
エッジの端点から分割線を追加する場合には、端点を起点としてエッジと反対方向および両垂直方向に向かう計3本の半直線を生成する。次にこの半直線が他のエッジと交差する場合、最初に他のエッジと交差する点と分割線の終点とする。また、この半直線が他のエッジと交差しない場合、画像の端までを分割線とする。
エッジの角点から分割線を追加する場合には、角点を通る全てのエッジを対象として、角点を起点としてエッジを延長する半直線を生成する。次にこの半直線が他のエッジと交差する場合、最初に他のエッジと交差する点と分割線の終点とする。また、この半直線が他のエッジと交差しない場合、画像の端までを分割線とする。
画素の並びが構造物の領域のエッジに平行または垂直になるように画像が回転されている場合は、角点からエッジとは逆向きに画素の並びに平行または垂直な半直線を生成する。この半直線のうち、角点を通るいずれのエッジともなす角が10°以上あるものに対して、前述と同じように終点を定義し分割線とする。
図7は、エッジの端点または角点から分割線を生成した状態を模式的に示す。図7は、図6で生成されたエッジから分割線を生成した状態である。図7の太い実線はエッジを表す。エッジの端点または角点から水平または垂直に引かれた細い実線が分割線である。図7では、見やすいようにハッチングを省略している。また、生成されるすべての分割線を表示しているわけではない。
図1の閉領域生成部44は、分割線とエッジを用いて、指定点を含み、指定点との色の差が所定の範囲であって連続する画素の集合である閉領域を抽出する。分割線および/またはエッジで囲まれた連続する画素の集合を分割領域という。分割領域のうち、指定点を含む分割領域に、指定点との色の差が所定の範囲である隣り合う分割領域を結合して1つの閉領域を抽出する。
図8は、分割領域を結合して閉領域を生成した状態を模式的に示す。矢印の先端で示される指定点を含む分割領域をまず選択する。その分割領域に隣接する分割領域で、指定点との色の差が所定の範囲であるものを結合する。色の差を判定するには、例えば、分割領域に含まれる画素の平均をその分割領域の色として、指定点の色と比較する。結合した分割領域に隣接する分割領域で、指定点との色の差が所定の範囲であるものをさらに結合する。これを繰り返して、図8のハッチングで示される閉領域を抽出する。
なお、図4ないし図8はそれぞれ、2つの画像の一方(左画像または右画像)を代表して示す。閉領域抽出部4は、2つの画像のそれぞれについて、図4ないし図8に示すような処理を行って閉領域を抽出する。
図1の外形ベクトル生成部5は、閉領域抽出部4で抽出した2つの画像のそれぞれの閉領域の外形ベクトルを生成する。外形ベクトルは、閉領域の外形の頂点を、閉領域の外周を一巡する順序で並べた座標列で表される。図8の例では、外形ベクトルは、ハッチングを付けた領域の外形線の頂点を、外周を一巡する順序で並べた座標列で表される。
閉領域の画像が画像回転部41で回転されている場合、画像逆回転部51は、生成した外形ベクトルを、画像の画素の並びとエッジの角度が画像回転部41で抽出したエッジ強度の傾きになるように逆に回転させる。
外形ベクトル生成部5で生成する2つの画像それぞれの外形ベクトルを、
p((xp1,yp1)、(xp2,yp2)、...、(xpm、ypm))
q((xq1,yq1)、(xq2,yq2)、...、(xqn、yqn))
とする。座標列pは左画像から生成した外形ベクトル、座標列qは、右画像から生成した外形ベクトルである。mは左画像から抽出した閉領域の外形の頂点の数、nは右画像から抽出した閉領域の外形の頂点の数である。多くの場合、左画像の閉領域と右画像の閉領域の頂点の数は一致する。
図1の外形ベクトル対応部6は、外形ベクトル生成部5で生成した外形ベクトル(座標列p、q)について、同じ地点を示す頂点同士を対応付ける。図9は、2つの画像の外形ベクトルの対応付けの例を示す。図9は、図3の2つの画像に対応している。図9では、両端矢印の曲線で2つの画像の外形ベクトルの頂点同士の対応を表す。
外形ベクトルの対応付けには、指定点I と、座標列p のi番目の点pi、座標列q のj 番目の点qj を引数とする関数f(I,i,j,p,q)を、頂点同士の対応をとるための評価関数として用いる。関数f(I,i,j,p,q)は、指定点Iから見て点pi,qjが同じ方向、同じ距離にある場合により小さい値を返す関数である。左右画像の閉領域の全ての点列を網羅するようなi,jの組み合わせv(i,j)のうち、関数fの総和がもっとも小さくなるものを頂点の対応付けVとして採用する。
図10は、2つの画像の外形ベクトルの対応付けを説明する図である。図10は、左画像の外形ベクトルpと右画像の外形ベクトルqを、それぞれの指定点が一致するように重ねた状態を示す。図10では、外形ベクトルpと外形ベクトルqのずれを誇張して描いている。指定点から外形ベクトルpの頂点piへのベクトル(頂点ベクトル)をsiとする(i=1〜m)。指定点から外形ベクトルqの頂点qjへの頂点ベクトルをtjとする(j=1〜n)。
左画像の外形ベクトルpと右画像の外形ベクトルqからそれぞれ1つずつ点pi、点qjを選んで対にする組み合わせについて、|si−tj|の合計を評価関数とすることができる。評価関数が最小となる組み合わせを頂点の対応付けVとして採用すればよい。
2つの画像の外形ベクトルp、qの頂点の数m、nが同じであれば、簡略には以下のように対応付けを求めることができる。左画像の外形ベクトルpのある点piについて、右画像の外形ベクトルqのうち|si−tj|が最小になる点qjを対応させる。外形ベクトルpの各点について同じ操作を行って、対応付けVを得る。
図1の3次元データ計算部7は、外形ベクトル対応部6で対応付けられた頂点の組みが実空間の同一の点に対応するとみなして、外形ベクトル生成部5で生成された外形ベクトルの実空間の3次元データを計算する。実空間において、左画像を撮影した視点から外形ベクトルpの1つの頂点を見る直線と、右画像を撮影した視点から外形ベクトルqの対応する頂点を見る直線との交点の座標を計算する。
外形ベクトルp、qの頂点の数m、nが異なる場合、外形ベクトルpとqの最も差の小さい頂点ベクトルsiとtjを対応させて、残った頂点を削除して3次元データを計算することができる。また、残った頂点に(立体視で)最も近い他方の外形ベクトル上の点をそれに対応付けて、3次元データを計算してもよい。
図11は、実施の形態1に係る3次元データ生成処理の動作の一例を示すフローチャートである。画像データ入力部2は、異なる位置から同じ領域を含む範囲を撮影した2つの画像の画像データを入力する(ステップS11)。位置指定部3は、2つの画像から3次元データ生成の対象になる構造物の範囲の1点を指定する入力を受け付ける(ステップS12)。
閉領域抽出部4の画像回転部41は、各画像のエッジ強度からエッジの傾きを求めて、画像の画素の並びがエッジに平行または直角になるように画像を回転する(ステップS13)。エッジ抽出部42は、2つの画像のそれぞれから、指定点を含む領域の色が所定の値以上変化する画素の並びであるエッジを抽出する(ステップS14)。
分割線生成部43は、エッジの端点または角点を起点として、エッジを延長する直線またはエッジに直交する直線に沿って、他のエッジまたは画像の境界と最初に交わる点までの線分である分割線を生成する(ステップS15)。閉領域生成部44は、2つの画像それぞれで、指定点を含む分割領域に、指定点との色の差が所定の範囲である隣り合う分割領域を結合して1つの閉領域を抽出する(ステップS16)。
外形ベクトル生成部5は、閉領域抽出部4で抽出した2つの画像のそれぞれの閉領域の外形ベクトルを生成する(ステップS17)。閉領域の画像が画像回転部で回転されている場合、画像逆回転部51は、生成した外形ベクトルを、画像の画素の並びとエッジの角度が画像回転部41で抽出したエッジ強度の傾きになるように逆に回転させる。
外形ベクトル対応部6は、外形ベクトル生成部5で生成した外形ベクトルについて、前述のような方法で同じ地点を示す頂点同士を対応付ける(ステップS18)。3次元データ計算部7は、外形ベクトル対応部6で対応付けられた頂点の組みが実空間の同一の点に対応するとみなして、外形ベクトル生成部5で生成された外形ベクトルの実空間の3次元データを計算する(ステップS19)。
以上説明したように、本実施の形態1の3次元データ生成装置1によれば、ステレオ画像から比較的簡易に2枚の画像の対応点を求めることができる。その対応点がステレオ画像で同じ構造物の外形に対応するとみなして、その構造物の外形の位置座標を算出することができる。
なお、本実施の形態1では、3次元データを生成する対象の構造物の領域の点を、オペレータの入力によって指定することを想定して説明した。3次元データを生成する対象の構造物の領域の点は、地図データの住居表示とその座標(経緯度)から与えられるようにしてもよい。
(実施の形態2)
図12は、本発明の実施の形態2に係る3次元データ生成装置1の構成例を示すブロック図である。実施の形態2では、2つの画像で対応付けられるような外形ベクトルを生成できない場合に、生成不能であることを表す情報を表示する。実施の形態2の3次元データ生成装置1は、生成不能表示部8を備える。外形ベクトル生成部5は、評価部52を備える。また外形ベクトル対応部6は、対応判定部61を含む。
閉領域抽出部4は、2つの画像から必ず対応付けできる外形ベクトルを生成できるとは限らない。例えば、抽出した閉領域の外形に明確な頂点がない場合、頂点の数が少ない場合、または、2つの画像から生成した外形ベクトルの頂点の数が異なる場合がある。例えば、球形の構造物では、左右の画像から生成した外形ベクトルは同じ点に対応していない。また、尖塔のような構造物の場合、左画像から生成した外形ベクトルと、右画像から生成した外形ベクトルは、同じ点に対応していない可能性がある。このような場合に、2つの外形ベクトルが同じ構造物の外形に対応するとみなして、2つの画像データからその構造物の外形の位置座標を算出すると、3次元データの誤差が大きい。
そこで、そのような場合に生成不能であることを表す情報を表示して、オペレータの注意を促す。オペレータはその表示を見て、例えばステレオ画像を立体視して、操作によって画像中の点の3次元座標を求めることができる。
外形ベクトル生成部5の評価部52は、2つの画像から生成した外形ベクトルのいずれかが、頂点が3以下の場合、または、外形ベクトルで囲まれる面積(画素の数)が所定の数より少ない場合に、指定点を含む領域から外形ベクトルを生成できないと判定する。これらは、構造物が球形や尖塔の場合に該当する。あるいは、2つの画像のそれぞれで抽出した輪郭線の頂点の数の差が所定の値を超える場合に、指定点を含む領域から外形ベクトルを生成できないと判定する。これは、左右いずれかの画像で構造物に遮蔽された部分が、他方の画像で対象の構造物の閉領域に含まれるような場合に該当する。
外形ベクトル対応部6の対応判定部61は、2つの画像からそれぞれ1つずつ選択した頂点ベクトルの差の絶対値の、すべての頂点ベクトルについての和の最小値が所定の値を超える場合に、外形ベクトルの対応付けができないと判定する。
生成不能表示部8は、評価部52で外形ベクトルを生成できないと判定した場合に、指定点を含む領域から外形ベクトルを生成できないことを表す情報をディスプレイ装置(図示せず)などに表示する。また、対応判定部61で外形ベクトルの対応付けができないと判定した場合に、指定点を含む領域から1つの構造物の外形ベクトルを生成できないこと(対応付け不能)を表す情報をディスプレイ装置(図示せず)などに表示する。
外形ベクトル生成不能または対応付け不能を表す情報を表示する方法は、ディスプレイ装置またはランプなどを用いる視覚表示、スピーカまたはブザーなどを用いる聴覚表示、またはそれらの組み合わせを採用することができる。
図13は、実施の形態2に係る3次元データ生成処理の動作の一例を示すフローチャートである。図13のフローチャートのうち、ステップS11からステップS16は、図11と同様である。外形ベクトル生成部5の評価部52は、外形ベクトルを生成するときに(ステップS20)、外形ベクトルを生成できるかどうか判断する。
図14は、実施の形態2に係る外形ベクトル生成処理の動作の一例を示すフローチャートである。図14のフローチャートは、図13のステップS20の内容を示す。外形ベクトル生成部5は、2つの画像それぞれで閉領域の頂点を検出する(ステップS31)。評価部52は検出した頂点の数が所定の数、例えば3を超えるかどうか判断する(ステップS32)。頂点の数が3以下の場合は(ステップS32;NO)、外形生成不能を設定する(ステップS36)。
頂点の数が3を超える場合(ステップS32;YES)、閉領域の面積が基準値を超えるかどうか判断する(ステップS33)。閉領域の面積が基準値以下の場合(ステップS33;NO)、外形生成不能を設定する(ステップS36)。
閉領域の面積が基準値を超える場合(ステップS33;YES)、2つの画像の閉領域から検出した頂点の数の差が所定の値、例えば2より小さいかどうか判断する(ステップS34)。頂点の数の差が所定の値(例えば2)以上の場合(ステップS34;NO)、外形生成不能を設定する(ステップS36)。所定の値を1、すなわち頂点の数が一致しない場合に外形生成不能を設定することにしてもよい。
頂点の数の差が所定の値より小さい場合(ステップS34;YES)、それぞれの頂点列から外形ベクトルを生成する(ステップS35)。所定の値を2としたとき、頂点の数の差が1の場合は、頂点同士の対応付けから残った一方の頂点を3次元データ計算から除外するか、その点に近い他方の外形ベクトル上の点を対応付けて3次元データ計算を行うことにする。また、閉領域の画像が画像回転部で回転されている場合、画像逆回転部51は、生成した外形ベクトルを、画像の画素の並びとエッジの角度が画像回転部で抽出したエッジ強度の傾きになるように逆に回転させる。
図13のフローチャートに戻って、外形ベクトル生成部5で外形生成不能が設定された場合(ステップS21;NO)、生成不能表示部8は、外形ベクトルを生成できないことを表す情報を表示する(ステップS22)。評価部52で外形ベクトルを生成できると判断して、外形ベクトルが生成された場合(ステップS21;YES)、外形ベクトル対応部6は、外形ベクトル生成部5で生成した外形ベクトルについて、同じ地点を示す頂点同士を対応付ける(ステップS23)。
図15は、実施の形態2に係る外形ベクトル対応処理の動作の一例を示すフローチャートである。図15のフローチャートは、図13のステップS23の内容を示す。外形ベクトル対応部6は、頂点ベクトルの番号を表す変数iに1を設定し、評価変数Dに0を設定する(ステップS41)。
一方の画像(例えば左画像)の変数iで指定される頂点ベクトルを選択する(ステップS42)。例えば、頂点の数の少ない方の外形ベクトルから選択するとしてもよい。他の画像(例えば右画像)の頂点ベクトルのうち、一方の画像から選択した頂点ベクトルとの差(の絶対値)が最小のものを選択する(ステップS43)。その最小の差をdmとする。そして、評価変数Dにdmを加算する(ステップS44)。
番号変数iに1を加えて(ステップS45)、一方の画像の残りの頂点があるかどうか調べる(ステップS46)。残りの頂点があれば(ステップS46;YES)、ステップS42に戻って変数iで指定される頂点ベクトルiを選択して同様の処理を繰り返す。残りの頂点がなければ(ステップS46;NO)、評価変数Dが閾値を超えるかどうか調べる(ステップS47)。
評価変数Dが閾値以下であれば(ステップS47;YES)、実施の形態1と同様に外形ベクトルの対応を生成する(ステップS48)。評価変数Dが閾値を超えている場合は(ステップS47;NO)、対応付け不能を設定する(ステップS49)。
図13のフローチャートに戻って、外形ベクトルの対応付けができないと判定した場合(ステップS24;NO)、生成不能表示部8は、指定点を含む領域から1つの構造物の外形ベクトルを生成できないこと(対応付け不能)を表す情報を表示する(ステップS25)。外形ベクトルの対応付けができると判定した場合は(ステップS24;YES)、実施の形態1と同様に、3次元データを計算する(ステップS19)。
以上説明したように、本実施の形態2の3次元データ生成装置1によれば、2つの画像から対応付けできる外形ベクトルを生成できない場合に、外形ベクトルが生成できないことを表示するので、誤差の大きい3次元データを生成するのを防止できる。
図16は、本発明の実施の形態に係る3次元データ生成装置1の物理的な構成の一例を示すブロック図である。
本実施の形態に係る3次元データ生成装置1は、一般的なコンピュータ装置と同様のハードウェア構成によって実現することができる。3次元データ生成装置1は、図16に示すように、制御部21、主記憶部22、外部記憶部23、操作部24、表示部25および入出力部26を備える。主記憶部22、外部記憶部23、操作部24、表示部25および入出力部26はいずれも内部バス20を介して制御部21に接続されている。
制御部21はCPU(Central Processing Unit)等から構成され、外部記憶部23に記憶されている制御プログラム30に従って、3次元データ生成処理を実行する。
主記憶部22はRAM(Random-Access Memory)等から構成され、外部記憶部23に記憶されている制御プログラム30をロードし、制御部21の作業領域として用いられる。
外部記憶部23は、フラッシュメモリ、ハードディスク、DVD−RAM(Digital Versatile Disc Random-Access Memory)、DVD−RW(Digital Versatile Disc ReWritable)等の不揮発性メモリから構成され、前記の処理を制御部21に行わせるための制御プログラム30を予め記憶し、また、制御部21の指示に従って、この制御プログラム30が記憶するデータを制御部21に供給し、制御部21から供給されたデータを記憶する。
操作部24はキーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス20に接続するインターフェース装置から構成されている。操作部24を介して、画像データの入力、送受信などの指示、3次元データを生成する対象の構造物の領域の点の指定などが入力され、制御部21に供給される。
表示部25は、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)などから構成され、画像や3次元データ生成処理された結果、または外形ベクトルを生成できないことを表示する。
入出力部26は、無線送受信機、無線モデムまたは網終端装置、およびそれらと接続するシリアルインターフェースまたはLAN(Local Area Network)インターフェース等から構成されている。入出力部26を介して、画像データを受信し、また計算した結果を送信する。
図1または図12に示す3次元データ生成装置1の画像データ入力部2、位置指定部3、閉領域抽出部4、外形ベクトル生成部5、外形ベクトル対応部6および3次元データ計算部7の処理は、制御プログラム30が、制御部21、主記憶部22、外部記憶部23、操作部24、表示部25および入出力部26などを資源として用いて処理することによって実行する。
その他、本発明の好適な変形として、以下の構成が含まれる。
本発明の第1の観点に係る3次元データ生成装置について、
好ましくは、前記画像から前記指定点を含む領域の色が所定の値以上変化する画素の並びであるエッジを抽出するエッジ抽出手段と、
前記エッジの端点またはエッジの角点から、該エッジを延長する直線または該エッジに直交する直線に沿って、他の前記エッジまたは前記画像の境界と最初に交わる点までの線分である分割線を生成する手段と、を備え、
前記閉領域抽出手段は、前記分割線および/または前記エッジで囲まれた連続する画素の集合である分割領域のうち、前記指定点との色の差が所定の範囲である隣り合う前記分割領域を結合して1つの前記閉領域を抽出する。
好ましくは、前記画像から前記指定点を含む領域の色が変化する画素の並びであるエッジを抽出するエッジ抽出手段を備え、
前記閉領域抽出手段は、前記画像の画素の並びに対する前記エッジの傾きを算出して、前記画像の画素の並びが前記エッジに平行または垂直になるように前記画像を回転させてから、前記閉領域を抽出し、
前記外形ベクトル抽出手段は、前記閉領域の輪郭を、前記画像の画素の並びと前記エッジの角度が前記エッジの傾きになるように逆に回転させて、前記外形ベクトルを抽出する。
好ましくは、前記3次元データ計算手段は、前記2つの画像のそれぞれの前記指定点から前記外形ベクトルの頂点へ向かうベクトルである頂点ベクトルのうち、前記2つの画像からそれぞれ1つずつ選択した前記頂点ベクトルの差の絶対値の、すべての前記頂点ベクトルについての和が最小になる組合せで、前記2つの画像の外形ベクトルの頂点を対応づける。
好ましくは、前記2つの画像からそれぞれ1つずつ選択した前記頂点ベクトルの差の絶対値の、すべての前記頂点ベクトルについての和の最小値が所定の値を超える場合に、前記指定点を含む領域から1つの構造物の外形ベクトルを生成できないことを表す情報を表示する手段を備える。
好ましくは、前記2つの画像のそれぞれにおいて、前記外形ベクトルの頂点が3以下の場合、もしくは、前記外形ベクトルで囲まれる画素の数が所定の数より少ない場合、または、前記2つの画像のそれぞれで抽出した輪郭線の頂点の数の差が所定の値を超える場合に、前記指定点を含む領域から外形ベクトルを生成できないことを表す情報を表示する手段を備える。
本発明の第2の観点に係る3次元データ生成方法について、
好ましくは、前記画像から前記指定点を含む領域の色が所定の値以上変化する画素の並びであるエッジを抽出するエッジ抽出ステップと、
前記エッジの端点またはエッジの角点から、該エッジを延長する直線または該エッジに直交する直線に沿って、他の前記エッジまたは前記画像の境界と最初に交わる点までの線分である分割線を生成するステップと、を備え、
前記閉領域抽出ステップは、前記分割線および/または前記エッジで囲まれた連続する画素の集合である分割領域のうち、前記指定点との色の差が所定の範囲である隣り合う前記分割領域を結合して1つの前記閉領域を抽出する。
好ましくは、前記画像から前記指定点を含む領域の輝度または色が変化する画素の並びであるエッジを抽出するエッジ抽出ステップを備え、
前記閉領域抽出ステップは、前記画像の画素の並びに対する前記エッジの傾きを算出して、前記画像の画素の並びが前記エッジに平行または垂直になるように前記画像を回転させてから、前記閉領域を抽出し、
前記外形ベクトル抽出ステップは、前記閉領域の輪郭を、前記画像の画素の並びと前記エッジの角度が前記エッジの傾きになるように逆に回転させて、前記外形ベクトルを抽出する。
好ましくは、前記3次元データ計算ステップは、前記2つの画像のそれぞれの前記指定点から前記外形ベクトルの頂点へ向かうベクトルである頂点ベクトルのうち、前記2つの画像からそれぞれ1つずつ選択した前記頂点ベクトルの差の絶対値の、すべての前記頂点ベクトルについての和が最小になる組合せで、前記2つの画像の外形ベクトルの頂点を対応づける。
好ましくは、前記2つの画像からそれぞれ1つずつ選択した前記頂点ベクトルの差の絶対値の、すべての前記頂点ベクトルについての和の最小値が所定の値を超える場合に、前記指定点を含む領域から1つの構造物の外形ベクトルを生成できないことを表す情報を表示する。
好ましくは、前記2つの画像のそれぞれにおいて、前記外形ベクトルの頂点が3以下の場合、もしくは、前記外形ベクトルで囲まれる画素の数が所定の数より少ない場合、または、前記2つの画像のそれぞれで抽出した輪郭線の頂点の数の差が所定の値を超える場合に、前記指定点を含む領域から外形ベクトルを生成できないことを表す情報を表示する。
その他、前記のハードウエェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
制御部21、主記憶部22、外部記憶部23、操作部24、入出力部26および内部バス20などから構成される3次元データ生成装置1の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体(フレキシブルディスク、CD−ROM、DVD−ROM等)に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する3次元データ生成装置1を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで3次元データ生成装置1を構成してもよい。
また、3次元データ生成装置1の機能を、OS(オペレーティングシステム)とアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
1 3次元データ生成装置
2 画像データ入力部
3 位置指定部
4 閉領域抽出部
5 外形ベクトル生成部
6 外形ベクトル対応部
7 3次元データ計算部
8 生成不能表示部
21 制御部
22 主記憶部
23 外部記憶部
24 操作部
25 表示部
26 入出力部
30 制御プログラム
31 画像回転部
32 エッジ抽出部
33 分割線生成部
34 閉領域生成部
51 画像逆回転部
52 評価部
61 対応判定部

Claims (13)

  1. 異なる位置から所定の領域を撮影した2つの画像の画像データを取得する画像データ取得手段と、
    前記2つの画像データのそれぞれの画像で、1つの構造物の領域に含まれる画像上の指定点を取得する手段と、
    前記2つの画像データのそれぞれの画像で前記指定点を含み、前記指定点との色の差が所定の範囲であって連続する画素の集合である閉領域を抽出する閉領域抽出手段と、
    前記2つの画像のそれぞれで抽出した前記閉領域の輪郭に沿って一巡する外形ベクトルを抽出する外形ベクトル抽出手段と、
    前記2つの画像データのそれぞれの前記外形ベクトルが同じ構造物の外形に対応するとみなして、前記複数の画像データからその構造物の外形の3次元の位置座標を計算する3次元データ計算手段と、
    を備える3次元データ生成装置。
  2. 前記画像から前記指定点を含む領域の色が所定の値以上変化する画素の並びであるエッジを抽出するエッジ抽出手段と、
    前記エッジの端点またはエッジの角点から、該エッジを延長する直線または該エッジに直交する直線に沿って、他の前記エッジまたは前記画像の境界と最初に交わる点までの線分である分割線を生成する手段と、を備え、
    前記閉領域抽出手段は、前記分割線および/または前記エッジで囲まれた連続する画素の集合である分割領域のうち、前記指定点との色の差が所定の範囲である隣り合う前記分割領域を結合して1つの前記閉領域を抽出する、
    ことを特徴とする請求項1に記載の3次元データ生成装置。
  3. 前記画像から前記指定点を含む領域の色が変化する画素の並びであるエッジを抽出するエッジ抽出手段を備え、
    前記閉領域抽出手段は、前記画像の画素の並びに対する前記エッジの傾きを算出して、前記画像の画素の並びが前記エッジに平行または垂直になるように前記画像を回転させてから、前記閉領域を抽出し、
    前記外形ベクトル抽出手段は、前記閉領域の輪郭を、前記画像の画素の並びと前記エッジの角度が前記エッジの傾きになるように逆に回転させて、前記外形ベクトルを抽出する、
    ことを特徴とする請求項1または2に記載の3次元データ生成装置。
  4. 前記3次元データ計算手段は、前記2つの画像のそれぞれの前記指定点から前記外形ベクトルの頂点へ向かうベクトルである頂点ベクトルのうち、前記2つの画像からそれぞれ1つずつ選択した前記頂点ベクトルの差の絶対値の、すべての前記頂点ベクトルについての和が最小になる組合せで、前記2つの画像の外形ベクトルの頂点を対応づける、
    ことを特徴とする請求項1ないし3のいずれか1項に記載の3次元データ生成装置。
  5. 前記2つの画像からそれぞれ1つずつ選択した前記頂点ベクトルの差の絶対値の、すべての前記頂点ベクトルについての和の最小値が所定の値を超える場合に、前記指定点を含む領域から1つの構造物の外形ベクトルを生成できないことを表す情報を表示する手段を備える、
    ことを特徴とする請求項4に記載の3次元データ生成装置。
  6. 前記2つの画像のそれぞれにおいて、前記外形ベクトルの頂点が3以下の場合、もしくは、前記外形ベクトルで囲まれる画素の数が所定の数より少ない場合、または、前記2つの画像のそれぞれで抽出した輪郭線の頂点の数の差が所定の値を超える場合に、前記指定点を含む領域から外形ベクトルを生成できないことを表す情報を表示する手段を備える、
    ことを特徴とする請求項1ないし5のいずれか1項に記載の3次元データ生成装置。
  7. 異なる位置から所定の領域を撮影した2つの画像の画像データを取得する画像データ取得ステップと、
    前記2つの画像データのそれぞれの画像で、1つの構造物の領域に含まれる画像上の指定点を取得するステップと、
    前記2つの画像データのそれぞれの画像で前記指定点を含み、前記指定点との色の差が所定の範囲であって連続する画素の集合である閉領域を抽出する閉領域抽出ステップと、
    前記2つの画像のそれぞれで抽出した前記閉領域の輪郭に沿って一巡する外形ベクトルを抽出する外形ベクトル抽出ステップと、
    前記2つの画像データのそれぞれの前記外形ベクトルが同じ構造物の外形に対応するとみなして、前記複数の画像データからその構造物の外形の3次元の位置座標を計算する3次元データ計算ステップと、
    を備える3次元データ生成方法。
  8. 前記画像から前記指定点を含む領域の色が所定の値以上変化する画素の並びであるエッジを抽出するエッジ抽出ステップと、
    前記エッジの端点またはエッジの角点から、該エッジを延長する直線または該エッジに直交する直線に沿って、他の前記エッジまたは前記画像の境界と最初に交わる点までの線分である分割線を生成するステップと、を備え、
    前記閉領域抽出ステップは、前記分割線および/または前記エッジで囲まれた連続する画素の集合である分割領域のうち、前記指定点との色の差が所定の範囲である隣り合う前記分割領域を結合して1つの前記閉領域を抽出する、
    ことを特徴とする請求項7に記載の3次元データ生成方法。
  9. 前記画像から前記指定点を含む領域の輝度または色が変化する画素の並びであるエッジを抽出するエッジ抽出ステップを備え、
    前記閉領域抽出ステップは、前記画像の画素の並びに対する前記エッジの傾きを算出して、前記画像の画素の並びが前記エッジに平行または垂直になるように前記画像を回転させてから、前記閉領域を抽出し、
    前記外形ベクトル抽出ステップは、前記閉領域の輪郭を、前記画像の画素の並びと前記エッジの角度が前記エッジの傾きになるように逆に回転させて、前記外形ベクトルを抽出する、
    ことを特徴とする請求項7または8に記載の3次元データ生成方法。
  10. 前記3次元データ計算ステップは、前記2つの画像のそれぞれの前記指定点から前記外形ベクトルの頂点へ向かうベクトルである頂点ベクトルのうち、前記2つの画像からそれぞれ1つずつ選択した前記頂点ベクトルの差の絶対値の、すべての前記頂点ベクトルについての和が最小になる組合せで、前記2つの画像の外形ベクトルの頂点を対応づける、
    ことを特徴とする請求項7ないし9のいずれか1項に記載の3次元データ生成方法。
  11. 前記2つの画像からそれぞれ1つずつ選択した前記頂点ベクトルの差の絶対値の、すべての前記頂点ベクトルについての和の最小値が所定の値を超える場合に、前記指定点を含む領域から1つの構造物の外形ベクトルを生成できないことを表す情報を表示するステップを備える、
    ことを特徴とする請求項10に記載の3次元データ生成方法。
  12. 前記2つの画像のそれぞれにおいて、前記外形ベクトルの頂点が3以下の場合、もしくは、前記外形ベクトルで囲まれる画素の数が所定の数より少ない場合、または、前記2つの画像のそれぞれで抽出した輪郭線の頂点の数の差が所定の値を超える場合に、前記指定点を含む領域から外形ベクトルを生成できないことを表す情報を表示するステップを備える、
    ことを特徴とする請求項7ないし11のいずれか1項に記載の3次元データ生成方法。
  13. コンピュータに、
    異なる位置から所定の領域を撮影した2つの画像の画像データを取得する画像データ取得ステップと、
    前記2つの画像データのそれぞれの画像で、1つの構造物の領域に含まれる画像上の指定点を取得するステップと、
    前記2つの画像データのそれぞれの画像で前記指定点を含み、前記指定点との色の差が所定の範囲であって連続する画素の集合である閉領域を抽出する閉領域抽出ステップと、
    前記2つの画像のそれぞれで抽出した前記閉領域の輪郭に沿って一巡する外形ベクトルを抽出する外形ベクトル抽出ステップと、
    前記2つの画像データのそれぞれの前記外形ベクトルが同じ構造物の外形に対応するとみなして、前記複数の画像データからその構造物の外形の3次元の位置座標を計算する3次元データ計算ステップと、
    を実行させることを特徴とするプログラム。
JP2009194857A 2009-08-25 2009-08-25 3次元データ生成装置、3次元データ生成方法およびプログラム Pending JP2011048507A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009194857A JP2011048507A (ja) 2009-08-25 2009-08-25 3次元データ生成装置、3次元データ生成方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009194857A JP2011048507A (ja) 2009-08-25 2009-08-25 3次元データ生成装置、3次元データ生成方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2011048507A true JP2011048507A (ja) 2011-03-10

Family

ID=43834778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009194857A Pending JP2011048507A (ja) 2009-08-25 2009-08-25 3次元データ生成装置、3次元データ生成方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2011048507A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012243048A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
KR101227936B1 (ko) * 2011-05-31 2013-01-30 전자부품연구원 대응 영상의 컬러 보정 방법 및 그 기록매체
JP2013061204A (ja) * 2011-09-13 2013-04-04 Asia Air Survey Co Ltd 空中写真画像データの対応点設定方法及び対応点設定装置並びに対応点設定プログラム
JP2019125202A (ja) * 2018-01-17 2019-07-25 日本電信電話株式会社 検出装置、検出方法およびプログラム
JP2021051442A (ja) * 2019-09-24 2021-04-01 株式会社PocketRD 特徴抽出装置、特徴抽出方法及びコンテンツ利用管理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012243048A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
KR101227936B1 (ko) * 2011-05-31 2013-01-30 전자부품연구원 대응 영상의 컬러 보정 방법 및 그 기록매체
JP2013061204A (ja) * 2011-09-13 2013-04-04 Asia Air Survey Co Ltd 空中写真画像データの対応点設定方法及び対応点設定装置並びに対応点設定プログラム
JP2019125202A (ja) * 2018-01-17 2019-07-25 日本電信電話株式会社 検出装置、検出方法およびプログラム
JP2021051442A (ja) * 2019-09-24 2021-04-01 株式会社PocketRD 特徴抽出装置、特徴抽出方法及びコンテンツ利用管理装置

Similar Documents

Publication Publication Date Title
US20200090390A1 (en) Mosaic oblique images and systems and methods of making and using same
Johnson‐Roberson et al. Generation and visualization of large‐scale three‐dimensional reconstructions from underwater robotic surveys
EP2913796B1 (en) Method of generating panorama views on a mobile mapping system
Verhoeven et al. Computer vision‐based orthophoto mapping of complex archaeological sites: The ancient quarry of Pitaranha (Portugal–Spain)
CN104330074B (zh) 一种智能测绘平台及其实现方法
US20030014224A1 (en) Method and apparatus for automatically generating a site model
JP6060682B2 (ja) 路面画像生成システム並びに影除去装置、方法及びプログラム
Barazzetti et al. True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach
CN109255808B (zh) 基于倾斜影像的建筑物纹理提取方法和装置
KR100967838B1 (ko) 항공 라이다 정보와 디지털 항공 사진 정보를 이용하여 3차원 지리 정보를 생성하는 방법 및 그 시스템
EP3413266B1 (en) Image processing device, image processing method, and image processing program
KR20200096951A (ko) 지물 지반 높이별 컬러 화상 생성 장치 및 지물 높이별 컬러 화상 생성 프로그램
CN114926739B (zh) 内河航道水上水下地理空间信息无人化协同采集处理方法
AU2018381377A1 (en) Feature height-based colored image generating apparatus and feature height-based colored image generating program
JP2011048507A (ja) 3次元データ生成装置、3次元データ生成方法およびプログラム
KR101021013B1 (ko) 경계강화필터링과 표고정보를 이용하여 3차원 지리정보를 생성하는 시스템
JP2004265396A (ja) 映像生成システム及び映像生成方法
CN108447042A (zh) 城市景观影像数据的融合方法及系统
JP4099776B2 (ja) 3次元モデル作成装置、3次元モデル作成方法および3次元モデル作成プログラム
KR101817756B1 (ko) 인터랙티브한 시점 제어가 가능한 3차원 모델 기반의 ptm 생성 시스템 및 이를 이용한 ptm 생성 방법
KR20130096854A (ko) 수중음파필터링과 3차원 해저표고모델을 이용하여 3차원 해저지형정보를 생성하는 시스템
US20220276046A1 (en) System and method for providing improved geocoded reference data to a 3d map representation
Bui et al. Integrating videos with LIDAR scans for virtual reality
KR101289885B1 (ko) 건물의 모델링을 위한 장치 및 방법
KR101031661B1 (ko) 디지털 항공사진정보를 이용한 3차원 객체 모델링 방법