JP2004086266A - Method, device and program for acquiring shape and recording medium with the program recorded thereon - Google Patents
Method, device and program for acquiring shape and recording medium with the program recorded thereon Download PDFInfo
- Publication number
- JP2004086266A JP2004086266A JP2002242831A JP2002242831A JP2004086266A JP 2004086266 A JP2004086266 A JP 2004086266A JP 2002242831 A JP2002242831 A JP 2002242831A JP 2002242831 A JP2002242831 A JP 2002242831A JP 2004086266 A JP2004086266 A JP 2004086266A
- Authority
- JP
- Japan
- Prior art keywords
- shape
- region
- evaluation value
- image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
【０００１】
【発明の属する技術分野】
本発明は、特徴量が均一な部分を同一の領域とすることにより、画像から人工物の形状を獲得する方法および装置に関するものである。
【０００２】
【従来の技術】
画像から人工物の形状を自動的に獲得する技術は非常に有用であり、様々に利用されている。例えば、衛星画像から山林の中にある建築物を検出することで、不法建築の発見等に役立てることができる。また、ロボットのカメラに人工物の検出機能を付けることで、作業対象物の発見や障害物の回避などが実現できる。
【０００３】
画像から形状を獲得するには、ある特徴量に注目し、その特徴量が均一な画像領域を抽出し、その領域の輪郭を形状として獲得するという方法が一般的である。例えば、画像における色を特徴量として、画像を領域分割し物体の形状を獲得する研究が行われている（非特許文献２，３参照）。つまり、特徴量として各画素が持つ画素値を用いて、画素値が近い画素をグルーピングすることで領域を分割し、対象物体の形状を獲得する方法である。
【０００４】
撮影方向の異なる複数枚の画像があれば、ステレオ視などの方法によって画像中の点の３次元位置を計測することができる。そこで、別の例として、画像面から奥行き方向の距離を特徴量として形状を獲得するという方法がある（非特許文献１参照）。以下、上空から撮影した複数枚の航空写真から建物の上面形状を獲得する例を図１６を用いて説明する。
【０００５】
複数枚の画像から点の３次元位置を計測する場合、複数の画像間で、計測対象となる点の対応関係を知る必要がある。そのためには点が画像中ではっきりと認識できる点、つまり輝度値の変化が大きな点（特徴点）だけが計測の対象となる。複数枚の画像から特徴点を抽出し、画像間の対応関係をとることは、画素値のパターンを複数枚の画像間で探索することにより自動的に行うことができる（１６０１）。その対応関係から例えばステレオ視を用いて各特徴点の３次元位置を計測できる（１６０２）。ここで計測される３次元位置はカメラからの相対位置として求まるが、カメラの絶対位置（緯度・経度・標高）が分かっていれば・特徴点の３次元位置も絶対位置に変換できる。そして、点の高度を特徴量として同じ高さの特徴点ごとに集合に分ける（１６０３）。その集合を包含するような２次元図形を作ることで、画像から建物上面の領域を抽出し、その領域の輪郭として建物上面形状を獲得できる（１６０４）。図１６では３つの領域が抽出できている。
【０００６】
なお、以下の説明で特徴点の３次元位置について述べる場合は、北緯・東経・標高の絶対座標で位置が与えられており、東方向をｘ軸、北方向をｙ軸、標高の高さ方向をｚ軸とする。また、ｘｙ平面を水平面と呼ぶ。
【０００７】
［非特許文献１］
石川裕治、宮川勲、若林佳織、有川知彦「３次元特徴点集合に基づく建物モデル復元手法の一検討」電子情報通信学会、２００２年度総合大会 情報・システム講演論文集２、２２９ページ
［非特許文献２］
Ｈｅｎｒｉｃｓｓｏｎ，Ｏ．，１９９８．Ｔｈｅ Ｒｏｌｅ ｏｆ Ｃｏｌｏｒ Ａｔｔｒｉｂｕｔｅｓ ａｎｄ Ｓｉｍｉｌａｒｉｔｙ Ｇｒｏｕｐｉｎｇ ｉｎ ３−Ｄ Ｂｕｉｌｄｉｎｇ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ．Ｉｎ：Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ，Ｖｏｌ．７２，Ｎｏ．２，ｐｐ．１６３−１８４．
［非特許文献３］
谷口慶治著「画像処理工学基礎編」共立出版、１９９６年、第５章
［非特許文献４］
東京大学教養学部統計学教室編「統計学入門」東京大学出版会、１９９１年、３２ページ、
【０００８】
【発明が解決しようとする課題】
「高さ」や「色」などの特徴量を使っても、形状獲得に十分な情報を得られない場合がある。上記の例で言えば、高さの計測で誤差が生じたり、同一面の一部分だけ色が違っていたりすることも十分に考えられる。このような状況では特徴量の均一性が失われているので、特徴量の均一な部分で領域を作成しても、最終的に獲得したい形状が一つの領域にまとまらず、複数の断片的な形状の集まりとして獲得されてしまう。
【０００９】
例えば、図１６と同じ手順で建物上面形状を獲得する場合に、図１７のように３次元位置が計測されたとする（１７０１）。この場合は、もともと特徴点はすべて一つの平らな長方形の建物上面に位置していたが、計測誤差により一点がやや低く計測されてしまっている。次に、図１６の１６０３，１６０４と同様に、同じ高さの点を集めて、その集合を包含するような２次元図形を作成することで、形状を抽出する（１７０２）。２次元図形として凸包を使うとして、１７０２において、同じ高さの点だけを含むように領域を形成すると、計測誤差を持つ点のために二つの領域に分割されてしまう。よって、最終的に建物の上面形状も２つに分裂して抽出されてしまう。
【００１０】
別な例として、航空写真から建物の上面形状を抽出するのに、特徴量として色を使う場合を考える。一般に一つの家屋の屋根は全体が同じ色で塗られているため、色の同じ領域を抽出することで家屋の上面形状を獲得できる。しかし、屋根に何か物を置いていたり、高い樹木が屋根に掛かっていたり、近隣の高い建物の陰が屋根に掛かっていたりすると、色のみを用いた方法では領域を十分に抽出できなくなる。
【００１１】
以上に説明したように、特徴量の均一性に基づいた画像領域の作成という方法では、利用する特徴量が形状を完全に反映していないことが原因で、形状をうまく抽出できない場合がある。そのため別の基準を併用して、より正しい領域の決定を行う必要がある。
【００１２】
本発明は、上記の課題を解決するために発明されたものであり、撮影した対象物体が、一部分異なる特徴量（例えば色）を持っている場合や、特徴量（例えば高さ）の計測に誤差を含む場合でも、形状を正しく獲得できるようにすることが課題である。
【００１３】
【課題を解決するための手段】
上記の課題を解決するため本発明は、画像から物体の形状を獲得する方法であって、画像内の点の特徴量が所定の範囲内にある部分を同一の領域とすることにより前記画像から領域を抽出する過程と、前記領域を複数併合して新たな領域を生成する過程と、前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の成す角度と直角との差異に基づいて当該領域の形状評価値を算出する過程と、前記形状評価値に基づいて前記併合前および併合後の領域のいずれかを物体の形状として選択する過程と、を有することを特徴とする形状獲得方法を課題解決の手段とする。
【００１４】
あるいは、画像から物体の形状を獲得する方法であって、画像内の点の特徴量が所定の範囲内にある部分を同一の領域とすることにより前記画像から領域を抽出する過程と、前記領域を複数併合して新たな領域を生成する過程と、前記併合前および併合後の領域の各々について領域内の点の特徴量と領域内の点の特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する過程と、前記均一性評価値に基づいて前記併合前および併合後の領域のいずれかを物体の形状として選択する過程と、を有することを特徴とする形状獲得方法を課題解決の手段とする。
【００１５】
あるいは、画像から物体の形状を獲得する方法であって、画像内の点の特徴量が所定の範囲内にある部分を同一の領域とすることにより前記画像から領域を抽出する過程と、前記領域を複数併合して新たな領域を生成する過程と、前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の成す角度と直角との差異に基づいて当該領域の形状評価値を算出する過程と、前記併合前および併合後の領域の各々について領域内の点の特徴量と領域内の点の特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する過程と、前記形状評価値と前記均一性評価値の双方に基づいて前記併合前および併合後の領域のいずれかを物体の形状として選択する過程と、を有することを特徴とする形状獲得方法を課題解決の手段とする。
【００１６】
あるいは、上記の形状獲得方法において、前記形状評価値を算出する過程は、領域の輪郭を表わす多角形の異なる全ての２つの辺の組に関して、該２つの辺の成す角度を求める過程を有することを特徴とする形状獲得方法を課題解決の手段とする。
【００１７】
あるいは、上記の形状獲得方法において、前記形状評価値を算出する過程では、領域の輪郭を表わす多角形の２つの辺のそれぞれの長さが長いほど、該２つの辺の成す角度の形状評価値に及ぼす影響が大きくなるように形状評価値を算出することを特徴とする形状獲得方法を課題解決の手段とする。
【００１８】
あるいは、上記の形状獲得方法において、前記特徴量は、画像内の点について３次元位置を獲得する手段によって得られた画像の観測点から被写体に向かう奥行き方向の距離であることを特徴とする形状獲得方法を課題解決の手段とする。
【００１９】
あるいは、上記の形状獲得方法において、前記特徴量は、画像内の点の画素値であることを特徴とする形状獲得方法を課題解決の手段とする。
【００２０】
あるいは、画像から物体の形状を獲得する装置であって、画像内の点の特徴量が所定の範囲内にある部分を同一の領域とすることにより前記画像から領域を抽出する手段と、前記領域を複数併合して新たな領域を生成する手段と、前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の成す角度と直角との差異に基づいて当該領域の形状評価値を算出する手段と、前記形状評価値に基づいて前記併合前および併合後の領域のいずれかを物体の形状として選択する手段と、を有することを特徴とする形状獲得装置を課題解決の手段とする。
【００２１】
あるいは、画像から物体の形状を獲得する装置であって、画像内の点の特徴量が所定の範囲内にある部分を同一の領域とすることにより前記画像から領域を抽出する手段と、前記領域を複数併合して新たな領域を生成する手段と、前記併合前および併合後の領域の各々について領域内の点の特徴量と領域内の点の特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する手段と、前記均一性評価値に基づいて前記併合前および併合後の領域のいずれかを物体の形状として選択する手段と、を有することを特徴とする形状獲得装置を課題解決の手段とする。
【００２２】
あるいは、画像から物体の形状を獲得する装置であって、画像内の点の特徴量が所定の範囲内にある部分を同一の領域とすることにより前記画像から領域を抽出する手段と、前記領域を複数併合して新たな領域を生成する手段と、前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の成す角度と直角との差異に基づいて当該領域の形状評価値を算出する手段と、前記併合前および併合後の領域の各々について領域内の点の特徴量と領域内の点の特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する手段と、前記形状評価値と前記均一性評価値の双方に基づいて前記併合前および併合後の領域のいずれかを物体の形状として選択する手段と、を有することを特徴とする形状獲得装置を課題解決の手段とする。
【００２３】
あるいは、上記の形状獲得装置において、前記形状評価値を算出する手段は、領域の輪郭を表わす多角形の異なる全ての２つの辺の組に関して、該２つの辺の成す角度を求める手段を有することを特徴とする形状獲得装置を課題解決の手段とする。
【００２４】
あるいは、上記の形状獲得装置において、前記形状評価値を算出する手段は、領域の輪郭を表わす多角形の２つの辺のそれぞれの長さが長いほど、該２つの辺の成す角度の形状評価値に及ぼす影響が大きくなるように形状評価値を算出するものであることを特徴とする形状獲得装置を課題解決の手段とする。
【００２５】
あるいは、上記の形状獲得装置において、前記特徴量は、画像内の点について３次元位置を獲得する手段によって得られた画像の観測点から被写体に向かう奥行き方向の距離であることを特徴とする形状獲得装置を課題解決の手段とする。
【００２６】
あるいは、上記の形状獲得装置において、前記特徴量は、画像内の点の画素値であることを特徴とする形状獲得装置を課題解決の手段とする。
【００２７】
あるいは、上記の形状獲得方法における過程を、コンピュータに実行させるためのプログラムとしたことを特徴とする形状獲得プログラムを課題解決の手段とする。
【００２８】
あるいは、上記の形状獲得方法における過程を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする形状獲得プログラムを記録した記録媒体を課題解決の手段とする。
【００２９】
本発明では、領域の輪郭を表す多角形の２つの辺の成す角度と直角の差異に基づいて当該領域の形状評価値を算出し、それに基づいて領域を併合するか否かを決定し、物体の形状を獲得する。あるいは、領域内の点の特徴量と領域内の点の特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出し、それに基づいて領域を併合するか否かを決定し、物体の形状を獲得する。あるいは、上記形状評価値と均一性評価値の双方を算出して、これらの双方の評価値に基づいて領域を併合するか否かを決定し、物体の形状を獲得する。これにより、人工物体が写っている画像領域が、一部異なる特徴量を含んでいる場合でも、形状の評価値を併用して、正しく形状を獲得できるようにする。つまり、撮影した対象物体が、一部分異なる特徴量（例えば色）を持っている場合や、特徴量（例えば高さ）の計測に誤差を含む場合でも、形状を正しく獲得できるようにする。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００３１】
従来の手法の項で述べたように、画像から形状を獲得する方法として、画素値が急に変わる点（特徴点）に対して、ステレオ視によって３次元世界における高さを求め、高さの同じ特徴点を集め、その特徴点の集合の凸包２次元平面を物体の上面形状として抽出する方法がある。以下の例では、特徴点の高さを特徴量として使った場合で説明を行うが、画素値を特徴量として用いた場合もわずかな変更で下記の手法を適用できる。
【００３２】
まず、本発明の一実施形態例による構成を図１に示す。本発明は、領域分割手段１０１、領域併合手段１０２、形状評価手段１０３、および均一性評価手段１０４から成る。
【００３３】
最初に、領域分割手段１０１は入力された画像に対して特徴量を計算し、特徴量が均一な領域を抽出・生成し、領域の集合を出力する。ここでの入力は画像に限らず、要素が２次元配列され、各要素が何らかの特徴量を持つようなデータであってもよい。特徴量としては、各画素に対する画素値や、特徴点に対する画像面から奥行き方向への距離、などが考えられる。
【００３４】
領域併合手段１０２は領域集合を入力として受け取り、形状評価手段１０３より出力される形状評価値、および、均一性評価手段１０４より出力される特徴量の均一性評価値に基づいて、領域の併合を行うかどうかを判定する。判定の方法としては、併合後の領域に対して得られた形状評価値が高く、かつ、特徴量の均一性評価値が高い場合に領域を併合しやすくする。併合処理終了後、領域集合を出力装置１０５に出力する。
【００３５】
形状評価手段１０３では、領域を入力として受け取り、領域の輪郭である多角形を対象に処理を行う。人工物の形状抽出を目的として、二つの辺ａ，ｂが成す角θが直角である場合に高い評価値を返すようにする。さらにａ，ｂの組み合わせは入力された２次元図形において相異なるすべての辺の組み合わせに対してθを求めて評価値に反映する。ａおよびｂの長さが長いほどθの影響が大きくなるように評価値を定めるものとする。
【００３６】
均一性評価手段１０４では、領域分割手段１０１で用いられた特徴量の値が、入力された領域おいてどの程度均一であるかに関して評価値を算出し、出力する。具体的な例としては特徴量の集合に対する代表値を算出し、その代表値から各特徴量との差の絶対値を総和し、その総和が小さいほど均一性が高いとする。代表値としては特徴量の平均値、最頻値、中央値（メディアン）などを利用する。
【００３７】
領域分割手段１０１の処理の流れの一例を図２に、実際の処理の例を図３，４，５に示す。
【００３８】
上空から撮影した画像を用いて、建物の上面形状を獲得する例を図３に示す。上空から２つの建物α，γと一本の木βを含む地域を撮影し（３０１）、３０２に示すような画像を得たとする。この画像から特徴点を抽出すると３０３のようになる。特徴点とは画像において明瞭な点を意味し、具体的には輝度値が急激に変化する点が特徴点となる。一般に対象物体の角が特徴点となりやすく、また、建物の上面に模様がある場合もそこで画素値が大きく変化するので特徴点となる。以上のようにして、最初に入力された画像から特徴点を得る（２０１，２０２）。
【００３９】
次に、撮影方向を変えた複数の画像からステレオ視によって各点の３次元位置を計測する（２０３）。なお、３次元位置は画像を使わずにレーザー測定装置による測量など他の測定方法によって求めてもよい。得られた各点の３次元位置を図４に示す。この例では、点ａの高さは実際は１０ｍであるが、計測時の誤差により５ｍとなっている。特徴点の高さを特徴量と考えて、高さが同じ点をグルーピングする（２０４）。各グループでは図４のｘｙ平面において凸包を作成し、その凸包が他の高さの点を含まないようにする（２０５）。これは各グループの凸包が同じ特徴を持つ領域だとして物体の形状を抽出しようとしているので、他の特徴量を持つ点が領域に含まれるのを防ぐためである。
【００４０】
最後に、各グルーブの凸包をそれぞれ一つの領域として出力する（２０６）。なお、特徴点を１つしか含まない場合や点が一直線に並ぶ場合は領域として面積を持たないので、特徴点集合には含まない。
【００４１】
図４のグルーピングの結果を図５に示す。高さが１０ｍで同じ点が１０点あるが、１０ｍより低い点が２つあるため１つの領域にはならずにＡ，Ｂ，Ｃの３つの領域として出力する。特に領域ＢとＣの場合は、点ａが持つ誤差によって本来１つになるべき形状がＢとＣに分割されてしまっている。
【００４２】
形状評価手段１０３での処理の流れの一例を図６に示す。形状評価手段１０３では領域を入力とし（６０１）、この領域の輪郭を表す多角形の２つの辺ｉ，ｊの成す角度θと直角の差異に基づいて当該領域の形状評価値Ｓを算出する。つまり、その角度θが直角に近いほどＳの値が大きくなるようにする。図６の例では、そのｘｙ平面上の２次元形状の相異なる辺の組（ｉ，ｊ）のすべてに対し、ｌｉは辺ｉの長さ、ｌｊは辺ｊの長さとして、ｌｉ×ｌｊの総和Ｓｕｍ＿Ｌとｌｉ×ｌｊ×θの総和Ｓｕｍを計算し（６０２〜６０５）、それらの比Ｓｕｍ／Ｓｕｍ＿Ｌを形状評価値Ｓとして出力する（６０６）。
【００４３】
上記とは別の形状評価値Ｓの算出例として、以下の式（１）で表される形状評価値Ｓを計算して出力する例を示す。
【００４４】
【数１】
ここで、ｌｉは辺ｉの長さ、ｌｊは辺ｊの長さ、θｉｊは辺ｉと辺ｊの成す角（０＜θｉｊ≦π）、βはパラメータである。式（１）における和は、隣り合う辺の組（ｉ，ｊ）だけでなく、相異なる辺の組すべてに対して計算する。二つの辺が互いに直交する位置にあれば、それらが隣り合っていなくても、建物形状の特徴として高く評価するためである。また、辺ｉおよび辺ｊの長さが長いほどＳの値に対するθｉｊの影響が大きくなる。これは長い辺の位置関係ほど形状に大きな影響を与えていると考えられるからである。
【００４６】
β＝０．３としたときの、Ｓの値の例を図７に示す。正方形（形状１）の評価が一番高いが、形状から人工物を検出するという目的にとっては、正方形の評価が高いことは望ましい。形状１に近い形状２の評価も同じくらい高くなっている。形状２は平面図形としては直角を持たないが、長い辺の相対位置が直角なので評価が高くなっている。式（１）において、隣り合う辺の組だけでなく相異なる辺の組すべてに対して計算していることにより、形状Ｂのような角が少し欠けた図形に対しても評価を高くすることができる。形状３は形状２に比べ形状１からの変形が大きいので評価が下がっている。形状４も形状１や形状２に比べて評価が低い。形状４は直角を含むが、一辺が短いので評価値が小さくなっている。このことは、あまりに細長い長方形は建物などの人工物と認めずに評価を低くすることを意味し、式（１）で辺の長さを考慮した効果である。
【００４７】
なお、式（１）は一例であり、定数を乗じたり加算したりした値を用いた場合においても、同様に本発明は成立し、また、式（１）における指数関数ｅｘｐ（）の部分は、θｉｊがπ／２に近いほど大きくなるような任意の関数に置き換えてもよい。
【００４８】
均一性評価手段１０４の処理の流れの一例を図８に示す。均一性評価手段１０４では領域を入力とし（８０１）、領域内の点の特徴量と領域内の点の特徴量の平均値との差異に基づいて当該領域の均一性評価値Ｄを算出する。図８の例では、特徴量として特徴点の高さを用いる。具体的には、領域に含まれる特徴点を集めて（８０２）、それらの特徴点の平均値Ｚを計算する（８０３）。次に、各特徴点の高さについてＺとのずれｄＺを計算し（８０４）、特徴点の高さの分散ρを式（２）で計算して（８０５）、ρの逆数を当該領域の均一性評価値Ｄとして出力する。
【００４９】
ρ＝√（ｄＺ２／（特徴点の数−１）） …（２）
均一性評価手段１０４では、特徴量として特徴点の高さを用いているので、領域に含まれている特徴点の高さがその平均値Ｚからずれていなければ、領域の特徴量は均一であると見なす。例えば、図５の領域Ａ，Ｂ，Ｃはいずれも、領域中のすべての特徴点が同じ高さにあるので、分散ρの値は０、均一性評価値Ｄは∞となる。なお、特徴量として画素値を用いる場合には、領域に含まれるすべての画素値の集合に対して分散を求めることで、同様の評価値を算出することは容易である。
【００５０】
上記とは別の均一性評価値Ｄの算出例としては、分散の代わりに特徴点集合の高さの標準偏差を用いることも考えられる。非特許文献４によれば、平均値からのばらつきを表す量の一つとして標準偏差があり、本例では標準偏差の逆数を均一性評価値Ｄとして用いる。例えば、図５の領域Ａ，Ｂ，Ｃはいずれも、領域中のすべての特徴点が同じ高さにあるので、標準偏差は０、均一性評価値Ｄは∞となる。なお、特徴量として画素値を用いる場合には、領域に含まれるすべての画素値の集合に対して標準偏差を求めることで、同様の評価値を算出することは容易である。
【００５１】
領域併合手段１０２の処理の流れの一例を図９に示す。領域併合手段１０２は、併合後の領域の形状評価値Ｓや均一性評価値Ｄの値を考慮して併合するか判定する。以下に示す例では、領域集合から領域の組を列挙し、各組に判定および併合の処理を行うこととする（９０２）。ただし３つ以上の領域を一度に判定および併合することも容易に考えられる。まだ選択されていない領域の組（Ａｉ，Ａｊ）を選択し（９０３）、Ａｉ，Ａｊを併合して領域Ａｎ＋１を作成する（９０４）。具体的には、Ａｉ，Ａｊの両方を包含するような凸包をｘｙ平面で作成し、その領域をＡｎ＋１とする。そしてＡｎ＋１に対して形状評価値Ｓと均一性評価値Ｄを求め（９０５，９０６）、Ｓ×Ｄがある適当な閾値（例えば、０．２と設定）よりも大きければ（９０７）、領域集合からＡｉ，Ａｊを削除してＡｎ＋１を加える（９０８）。このように併合の条件（９０７）を満たす領域の組を順次併合していき、最終的に得られた領域集合を出力して終了する（９０９）。
【００５２】
併合の条件（９０７）について説明する。形状評価値Ｓは大きい方が形状が望ましいことを意味し、均一性評価値Ｄは大きい方が特徴量の均一性が高いことを意味する。よって総合的にはＳとＤがともに大きい領域が望ましく、それを表す評価関数の一つとして併合の条件（９０７）で用いたＳ×Ｄが考えられる。よって、この評価関数値がある閾値より大きな場合に領域を併合することにし、点の位置の誤差により均一性が多少悪くなっていたとしても、形状が望ましい領域を得ることができる。なお、条件式の形は０．２＜Ｓ×Ｄに限るものではなく、ＳおよびＤが大きい時に真となる可能性が高くなる条件式であれば良い。閾値の値は対象物体や３次元位置計測の精度に依存するため、正しい形状を人手で獲得したものを正解サンプルとしていくつか用意し、そのサンプルから閾値を決める方法が考えられる。
【００５３】
ＳおよびＤの値の一例を図１０に示す。図中の「ＡＢ」は、ＡとＢを併合した結果得られる領域を示す。９０４の処理によって、併合後の領域はＡｉ，Ａｊの両方を包含する凸包として得られるので、例えば図５の領域Ｂ，Ｃを併合した結果得られる領域には、Ｂ，Ｃそれぞれに元々含まれていた特徴点の他に、図５の点ａ（高さ５ｍ）も含まれる。同様にＡ，Ｂでも高さの違う点ｂ（高さ８ｍ）を含む。他の特徴点の高さは１０ｍであり、点ｂよりも点ａのほうが高さが大きく異なるので、ＡＢよりもＢＣのほうが均一性が低い。その結果Ｄの値は小さくなる（０．５２９＜１．４１）。しかし、ＡＢよりもＢＣのほうがＳの評価値は高く、その結果Ｓ×Ｄの値も大きくなっている。
【００５４】
図１０の結果をもとに領域併合手段１０２の処理（図９）を説明する。初期の領域集合は｛Ａ，Ｂ，Ｃ｝となる。図９の９０３において、領域の組（Ａｉ，Ａｊ）として、（Ａ，Ｂ）、（Ａ，Ｃ）、（Ｂ，Ｃ）という順番で列挙されたとすると、（Ａ，Ｂ）、（Ａ，Ｃ）は９０７の判定でｎｏと判定され、併合（９０８の処理）は行われない。そして（Ｂ，Ｃ）の時に、９０７の判定でｙｅｓとなり、ＢとＣが領域集合から削除されてＢＣが領域集合に加えられる。このときの領域の状態を図１１に示す。
【００５５】
次に、領域の組（Ａｉ，Ａｊ）として、（Ａ，ＢＣ）が選択される。この場合は９０７の判定でｎｏと判定され、併合（９０８の処理）は行われない。領域集合は（Ａ，ＢＣ）以外の選択が無いので９０２の判定はｙｅｓとなり、処理を終了し、領域集合として｛Ａ，ＢＣ｝を出力する。
【００５６】
なお、図５の例で点ａの高さが０ｍであったとすると、ＢＣのＳ×Ｄの値は０．１７６＜０．２となり、９０７の判定でｎｏと判定されるためＢとＣは併合されない。つまり高さ０ｍの点ａは１０ｍの建物上面から大きく外れているため、ＢＣの一様性は著しく低く、形状評価関数Ｓの値が良くても、ＢとＣは同一の面とは認められない。点ａの高さが０ｍの場合は、位置測定の誤差によって観測された高さではなく、もともと建物がＢとＣに分割されており点ａは地上の点が観測されたものである、と考えるのがむしろ自然である。よって、ＢとＣを併合しないという結果は本発明の正しさを示していると考えられる。併合判定の結果は閾値によっても変わってくるが、地上付近の点が多く観測された場合に領域を併合しにくくなるという性質は、より正しい形状を与えるために望ましいと考えられる。
【００５７】
最後に出力装置１０５の実施形態例による処理の流れの一例を図１２に示す。出力装置１０５は、領域併合装置１０２から出力された領域集合を入力として受け取り、領域集合の各領域から柱状のモデルデータを作成する（１２０１）。まず、各領域に対して凸包Ｓｉを作成し柱状モデルの上面とする（１２０２）。次に、各領域に含まれる特徴点の高さの平均値を算出し、柱状モデルの高さＺｉとする（１２０３）。Ｓｉを上面とし高さＺｉを持つ柱状モデルを作成した後（１２０４）、ｘｙ平面における元々の凸包の２次元位置に柱状モデルを配置し（１２０５）、全体を一つの形状モデルとして出力する。図１１に示す領域集合｛Ａ，ＢＣ｝を元に作成した３次元形状モデルを図１３に示す。図３の撮影対象となった実世界と比較すると、上面に平面領域をもつ建物に関しては３次元形状モデルを復元できていることが分かる。
【００５８】
本発明の手法により、上空からの画像から得られた３次元点集合から、点の３次元位置に多少の誤差があっても安定して３次元の都市モデル等を構築することができる。実際の画像から３次元の都市モデルを作成した結果を図１４に示す。作成した３次元モデルは様々な数値シミュレーションやカーナビゲーション等のアプリケーションに利用することができる（図１５）。
【００５９】
上述の実施形態例では、形状評価値Ｓと均一性評価値Ｄの双方を用いる例を示したが、どちらか一方の評価値を用いるようにしても良い。その場合には、その一方のみの評価手段や評価の過程を備えれば良い。
【００６０】
なお、図１で示した処理の各部の一部もしくは全部の処理機能を、コンピュータ等の演算処理手段や制御手段を用いて実現できること、あるいは、図２，６，８，９、及び図１２で示した処理の過程をコンピュータ等に実行させることができることは言うまでもなく、コンピュータ等でその各部の処理機能を実現するためのプログラム、あるいは、コンピュータ等にその処理の過程を実行させるためのプログラムを、そのコンピュータ等が読み取り可能な記録媒体、例えば、ＦＤ（フレキシブルディスク）や、ＭＯ，ＲＯＭ、メモリカード、ＣＤ，ＤＶＤ、リムーバルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを通じて、該プログラムを提供したりすることが可能である。このようにして記録媒体や通信ネットワークにより提供されたプログラムを、コンピュータ等の演算処理手段や制御手段にインストールすることで、本発明が実施可能となる。
【００６１】
【発明の効果】
本発明によれば、人工物体が写っている画像領域が、一部異なる特徴量を含んでいる場合でも、形状評価値および均一性評価値の一方もしくは双方を使用して、正しく形状を獲得できる。つまり、撮影した対象物体が、一部分異なる特徴量（例えば色）を持っている場合や、特徴量（例えば高さ）の計測に誤差を含む場合でも形状を正しく獲得できるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態例による構成を示す図
【図２】上記実施形態例による領域分割手段での処理の流れの一例を示す図
【図３】上記領域分割手段での処理例として、上空から撮影した画像を用いて建物の上面形状を獲得する例を示す図
【図４】（ａ），（ｂ）は、上記領域分割手段での処理例として、得られた各点の３次元位置を示す図
【図５】（ａ），（ｂ）は、上記領域分割手段での処理例として、グルーピングの結果を示す図
【図６】上記実施形態例による形状評価手段での処理の流れの一例を示す図
【図７】（ａ），（ｂ），（ｃ），（ｄ）は、上記形状評価手段での処理例として、形状評価値Ｓの値の例を示す図
【図８】上記実施形態例による均一性評価手段の処理の流れの一例を示す図
【図９】上記実施形態例による領域併合手段の処理の流れの一例を示す図
【図１０】上記領域併合手段の処理例として、形状評価値Ｓおよび均一性評価値Ｄの値の一例を示す図
【図１１】（ａ），（ｂ）は、上記領域併合手段の処理例として、領域集合からの領域の削除と併合による領域の状態の一例を示す図
【図１２】上記実施形態例による出力装置の処理の流れの一例を示す図
【図１３】上記出力装置の処理例として、作成された３次元形状モデルの一例を示す図
【図１４】本発明により実際の画像から３次元の都市モデルを作成した結果の一例を示す図
【図１５】作成した３次元モデルの利用例を説明する図
【図１６】従来技術による、上空から撮影した複数枚の航空写真から建物の上面形状を獲得する例を説明する図
【図１７】上記従来技術の問題点を説明する図
【符号の説明】
１０１…領域分割手段
１０２…領域併合手段
１０３…形状評価手段
１０４…均一性評価手段
１０５…出力装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method and an apparatus for acquiring a shape of an artificial object from an image by setting a portion having a uniform feature amount to be the same region.
[0002]
[Prior art]
Techniques for automatically acquiring the shape of an artifact from an image are very useful and have been used in various ways. For example, detecting a building in a mountain forest from a satellite image can be useful for finding illegal buildings and the like. In addition, by attaching a function of detecting an artificial object to the camera of the robot, it is possible to find a work target, avoid obstacles, and the like.
[0003]
In order to acquire a shape from an image, it is common to focus on a certain feature amount, extract an image region having a uniform feature amount, and acquire the contour of the region as a shape. For example, research has been conducted to obtain a shape of an object by dividing an image into regions using colors in the image as feature amounts (see Non-Patent
[0004]
If there are a plurality of images having different photographing directions, the three-dimensional positions of points in the images can be measured by a method such as stereo vision. Therefore, as another example, there is a method of acquiring a shape using a distance from an image plane in a depth direction as a feature amount (see Non-Patent Document 1). Hereinafter, an example of acquiring the top surface shape of a building from a plurality of aerial photographs taken from the sky will be described with reference to FIG.
[0005]
When measuring the three-dimensional position of a point from a plurality of images, it is necessary to know the correspondence between points to be measured among the plurality of images. For this purpose, only points that are clearly recognizable in the image, that is, points (feature points) where the change in luminance value is large are measured. Extracting feature points from a plurality of images and establishing correspondence between the images can be automatically performed by searching for a pattern of pixel values among the plurality of images (1601). From the correspondence, the three-dimensional position of each feature point can be measured using, for example, stereo vision (1602). The three-dimensional position measured here is obtained as a relative position from the camera. However, if the absolute position (latitude, longitude, altitude) of the camera is known, the three-dimensional position of the feature point can also be converted to an absolute position. Then, the points are divided into sets for each feature point having the same height as a feature amount (1603). By creating a two-dimensional figure that includes the set, a region on the upper surface of the building is extracted from the image, and the shape of the upper surface of the building can be obtained as the outline of the region (1604). In FIG. 16, three regions have been extracted.
[0006]
In the following description, when describing the three-dimensional position of a feature point, the position is given in absolute coordinates of north latitude, east longitude, and altitude, x-axis in the east direction, y-axis in the north direction, and height direction in the altitude. Is the z axis. The xy plane is called a horizontal plane.
[0007]
[Non-Patent Document 1]
Yuji Ishikawa, Isao Miyakawa, Kaori Wakabayashi, Tomohiko Arikawa, "A Study on Building Model Restoration Method Based on 3D Feature Point Set" IEICE Information Conference, 2002, Information and Systems Lectures, p. 229
[Non-Patent Document 2]
Henricsson, O .; , 1998. The Role of Color Attributes and Similarity Grouping in 3-D Building Reconstruction. In: Computer Vision and Image Understanding, Vol. 72, no. 2, pp. 163-184.
[Non-Patent Document 3]
Keiji Taniguchi "Basic Image Processing Engineering" Kyoritsu Shuppan, 1996,
[Non-Patent Document 4]
The University of Tokyo, Faculty of Liberal Arts, Department of Statistics, "Introduction to Statistics", University of Tokyo Press, 1991, p. 32,
[0008]
[Problems to be solved by the invention]
Even if feature amounts such as “height” and “color” are used, it may not be possible to obtain sufficient information for obtaining a shape. In the above example, it is sufficiently conceivable that an error occurs in the measurement of the height or that the color of a part of the same surface is different. In such a situation, since the uniformity of the feature amount is lost, even if an area is created with a uniform portion of the feature amount, the shape to finally be obtained is not combined into one area, and a plurality of fragmentary It is acquired as a collection of shapes.
[0009]
For example, suppose that a three-dimensional position is measured as shown in FIG. 17 when acquiring a building top shape in the same procedure as in FIG. 16 (1701). In this case, all the feature points were originally located on one flat rectangular building upper surface, but one point was measured slightly lower due to a measurement error. Next, as in
[0010]
As another example, let us consider a case where color is used as a feature amount in extracting a top surface shape of a building from an aerial photograph. In general, the entire roof of one house is painted in the same color, so that the top surface shape of the house can be obtained by extracting the same color region. However, if an object is placed on the roof, a tall tree is hung on the roof, or a shadow of a nearby tall building is hung on the roof, it is not possible to sufficiently extract an area using the color-only method.
[0011]
As described above, in the method of creating an image area based on the uniformity of the feature amount, the shape may not be extracted properly because the feature amount to be used does not completely reflect the shape. Therefore, it is necessary to determine a more correct area by using another criterion.
[0012]
The present invention has been made to solve the above-described problem, and is used for measuring a feature amount (for example, height) when a photographed target object partially has a different feature amount (for example, color). The problem is to make it possible to obtain a shape correctly even when an error is included.
[0013]
[Means for Solving the Problems]
In order to solve the above-described problems, the present invention is a method for acquiring the shape of an object from an image, wherein a portion where the feature amount of a point in the image is within a predetermined range is set to be the same region, and Extracting a region, combining a plurality of the regions to generate a new region, and determining an angle formed by two sides of a polygon representing a contour and a right angle with respect to each of the regions before and after the combination. Calculating the shape evaluation value of the area based on the difference, and selecting any of the areas before and after the merging based on the shape evaluation value as the shape of the object, and The method of acquiring a shape is a means for solving the problem.
[0014]
Alternatively, there is provided a method of acquiring a shape of an object from an image, the method including: extracting a region from the image by setting a portion in which a feature amount of a point in the image is within a predetermined range to the same region; Generating a new region by merging a plurality of regions, and for each of the regions before and after merging, based on a difference between a feature value of a point in the region and an average value of feature values of points in the region. Calculating a uniformity evaluation value of a region; and selecting any of the pre-merging and post-merging regions as the shape of the object based on the uniformity evaluation value. The method is the means for solving the problem.
[0015]
Alternatively, there is provided a method of acquiring a shape of an object from an image, the method including: extracting a region from the image by setting a portion in which a feature amount of a point in the image is within a predetermined range to the same region; Generating a new region by merging a plurality of regions, and evaluating the shape of the region based on a difference between an angle formed by two sides of a polygon representing a contour and a right angle for each of the regions before and after the merger. Calculating a value, and for each of the regions before and after the merging, the uniformity evaluation value of the region based on the difference between the feature value of the point in the region and the average value of the feature value of the point in the region. Calculating the shape, and selecting any of the pre-merging and post-merging regions as the shape of the object based on both the shape evaluation value and the uniformity evaluation value. Means of solving the problem To.
[0016]
Alternatively, in the above-described shape acquisition method, the step of calculating the shape evaluation value includes a step of obtaining an angle formed by the two sides with respect to a set of all two sides of a polygon representing the outline of the region. A method for obtaining a shape characterized by the following is a means for solving the problem.
[0017]
Alternatively, in the above-described shape acquisition method, in the step of calculating the shape evaluation value, the longer the length of each of the two sides of the polygon representing the outline of the area, the larger the shape evaluation value of the angle formed by the two sides. A shape obtaining method characterized in that a shape evaluation value is calculated so that the influence on the shape is increased is a means for solving the problem.
[0018]
Alternatively, in the above shape acquisition method, the feature amount is a distance in a depth direction from an observation point of the image obtained by the means for obtaining a three-dimensional position to a point in the image toward the subject. The acquisition method is the means for solving the problem.
[0019]
Alternatively, in the above-described shape acquisition method, the feature acquisition method is characterized in that the feature amount is a pixel value of a point in an image.
[0020]
Alternatively, an apparatus for acquiring a shape of an object from an image, a unit for extracting a region from the image by setting a portion where a feature amount of a point in the image is within a predetermined range to the same region, and Means for generating a new area by merging a plurality of areas, and evaluating the shape of the area based on a difference between an angle formed by two sides of a polygon representing a contour and a right angle with respect to each of the areas before and after the merging. Means for calculating a value, and means for selecting any of the pre-merge and post-merge areas as the shape of the object based on the shape evaluation value. And
[0021]
Alternatively, an apparatus for acquiring a shape of an object from an image, a unit for extracting a region from the image by setting a portion where a feature amount of a point in the image is within a predetermined range to the same region, and Means for generating a new area by merging a plurality of areas, and for each of the areas before and after the merging, based on a difference between the feature value of the point in the area and the average value of the feature quantity of the points in the area. Means for calculating a uniformity evaluation value of an area, and means for selecting any of the areas before and after the merging as the shape of an object based on the uniformity evaluation value, a shape acquisition characterized by comprising: The device is a means for solving the problem.
[0022]
Alternatively, an apparatus for acquiring a shape of an object from an image, a unit for extracting a region from the image by setting a portion where a feature amount of a point in the image is within a predetermined range to the same region, and Means for generating a new area by merging a plurality of areas, and evaluating the shape of the area based on a difference between an angle formed by two sides of a polygon representing a contour and a right angle with respect to each of the areas before and after the merging. Means for calculating a value, and for each of the regions before and after the merging, the uniformity evaluation value of the region based on the difference between the feature value of the point in the region and the average value of the feature value of the point in the region. Means for calculating, and means for selecting any of the pre-merged and post-merged areas as the shape of the object based on both the shape evaluation value and the uniformity evaluation value. Means for solving problems with equipment To.
[0023]
Alternatively, in the above-described shape acquiring device, the means for calculating the shape evaluation value includes means for calculating an angle formed by the two sides with respect to a set of all two sides of a polygon representing the outline of the region. A shape obtaining apparatus characterized by the above is a means for solving the problem.
[0024]
Alternatively, in the above-mentioned shape acquiring device, the means for calculating the shape evaluation value is such that the longer the length of each of the two sides of the polygon representing the outline of the region, the greater the shape evaluation value of the angle formed by the two sides. A shape obtaining apparatus characterized in that a shape evaluation value is calculated so as to have a large effect on the shape is obtained.
[0025]
Alternatively, in the above-described shape acquiring apparatus, the feature amount is a distance in a depth direction from an observation point of the image obtained by the means for obtaining a three-dimensional position to a point in the image toward the subject. The acquisition device is a means for solving the problem.
[0026]
Alternatively, in the above-described shape obtaining apparatus, the feature amount is a pixel value of a point in an image, and the shape obtaining apparatus is a means for solving the problem.
[0027]
Alternatively, a program for causing a computer to execute the steps in the above-described shape obtaining method is a shape obtaining program as means for solving the problem.
[0028]
Alternatively, a program for causing a computer to execute the steps in the shape acquisition method described above is recorded on a recording medium readable by the computer. Means.
[0029]
According to the present invention, a shape evaluation value of a region is calculated based on a difference between an angle formed by two sides of a polygon representing the outline of the region and a right angle, and whether or not to merge the regions is determined based on the calculated value. To get the shape of. Alternatively, the uniformity evaluation value of the region is calculated based on the difference between the feature value of the point in the region and the average value of the feature value of the point in the region, and whether to merge the regions is determined based on the calculated uniformity evaluation value. , Get the shape of the object. Alternatively, both the shape evaluation value and the uniformity evaluation value are calculated, and whether to merge the regions is determined based on both of the evaluation values, and the shape of the object is obtained. Accordingly, even when the image region in which the artificial object is captured includes a partly different feature amount, the shape can be correctly acquired by using the shape evaluation value together. That is, even when the photographed target object partially has a different feature amount (for example, color) or includes an error in measurement of the feature amount (for example, height), the shape can be correctly acquired.
[0030]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0031]
As described in the section of the conventional method, as a method of acquiring a shape from an image, a point in a three-dimensional world is obtained by stereo viewing at a point (feature point) at which a pixel value changes abruptly. There is a method of collecting the same feature points and extracting a two-dimensional convex hull plane of the set of the feature points as the top surface shape of the object. In the following example, the case where the height of a feature point is used as a feature value will be described. However, even when a pixel value is used as a feature value, the following method can be applied with a slight change.
[0032]
First, a configuration according to an embodiment of the present invention is shown in FIG. The present invention includes a
[0033]
First, the region dividing means 101 calculates a feature amount for an input image, extracts and generates a region having a uniform feature amount, and outputs a set of regions. The input here is not limited to an image, but may be data in which elements are two-dimensionally arrayed and each element has some characteristic amount. As the feature amount, a pixel value for each pixel, a distance from an image plane to a feature point in a depth direction, or the like can be considered.
[0034]
The
[0035]
The shape evaluation means 103 receives a region as an input, and performs processing on a polygon which is the outline of the region. For the purpose of extracting the shape of the artifact, a high evaluation value is returned when the angle θ formed by the two sides a and b is a right angle. Further, for the combination of a and b, θ is determined for all combinations of different sides in the input two-dimensional figure and reflected in the evaluation value. The evaluation value is determined so that the influence of θ increases as the lengths of a and b increase.
[0036]
The
[0037]
FIG. 2 shows an example of the processing flow of the area dividing means 101, and FIGS.
[0038]
FIG. 3 shows an example in which an upper surface shape of a building is acquired using an image taken from the sky. It is assumed that an area including two buildings α and γ and a single tree β is photographed from the sky (301), and an image as indicated by 302 is obtained. Extracting the feature points from this image results in 303. A feature point means a clear point in an image, and specifically, a point at which a luminance value changes rapidly is a feature point. In general, the corner of the target object is likely to be a feature point, and even if there is a pattern on the upper surface of the building, the pixel value greatly changes there, so it is a feature point. As described above, feature points are obtained from the first input image (201, 202).
[0039]
Next, the three-dimensional position of each point is measured from a plurality of images in different photographing directions by stereo vision (203). Note that the three-dimensional position may be obtained by another measurement method such as measurement using a laser measurement device without using an image. FIG. 4 shows the obtained three-dimensional positions of the respective points. In this example, the height of the point a is actually 10 m, but is 5 m due to an error at the time of measurement. Points having the same height are grouped by considering the height of the feature point as a feature amount (204). In each group, a convex hull is created on the xy plane in FIG. 4 so that the convex hull does not include points at other heights (205). This is because the shape of the object is to be extracted assuming that the convex hull of each group is a region having the same feature, so that a point having another feature amount is prevented from being included in the region.
[0040]
Finally, the convex hull of each groove is output as one region (206). When only one feature point is included or when the points are arranged in a straight line, they do not have an area as a region and are not included in the feature point set.
[0041]
FIG. 5 shows the result of the grouping of FIG. Although the height is 10 m and there are 10 same points, there are two points which are lower than 10 m, so that they are output as three areas A, B and C instead of one area. In particular, in the case of the regions B and C, the shape that should originally be one has been divided into B and C due to the error of the point a.
[0042]
FIG. 6 shows an example of a processing flow in the shape evaluation means 103. The shape evaluation means 103 receives a region as an input (601), and calculates a shape evaluation value S of the region based on a difference between an angle θ formed by two sides i and j of a polygon representing the outline of the region and a right angle. That is, the value of S is increased as the angle θ is closer to a right angle. In the example of FIG. 6, for all of the sets of different sides (i, j) of the two-dimensional shape on the xy plane, l i Is the length of the side i, l j Is l as the length of side j i × l j Sum_L and l i × l j The sum Sum of xθ is calculated (602 to 605), and the ratio Sum / Sum_L is output as the shape evaluation value S (606).
[0043]
As another calculation example of the shape evaluation value S different from the above, an example is shown in which the shape evaluation value S represented by the following equation (1) is calculated and output.
[0044]
(Equation 1)
Where l i Is the length of the side i, l j Is the length of side j, θ ij Is the angle between side i and side j (0 <θ ij ≦ π) and β are parameters. The sum in Expression (1) is calculated not only for the set of adjacent sides (i, j) but also for all sets of different sides. This is because if two sides are at positions orthogonal to each other, even if they are not adjacent to each other, it is highly evaluated as a feature of the building shape. In addition, the longer the length of the side i and the side j, the more θ ij Influence becomes large. This is because it is considered that the positional relationship between the long sides has a greater influence on the shape.
[0046]
FIG. 7 shows an example of the value of S when β = 0.3. The evaluation of the square (shape 1) is the highest, but for the purpose of detecting an artifact from the shape, it is desirable that the evaluation of the square is high. The evaluation of
[0047]
Expression (1) is an example, and the present invention is similarly established even when a value obtained by multiplying or adding a constant is used. In addition, the exponential function exp () in expression (1) is , Θ ij May be replaced by an arbitrary function that becomes larger as the value approaches π / 2.
[0048]
FIG. 8 shows an example of the processing flow of the uniformity evaluation means 104. The uniformity evaluation means 104 receives a region as an input (801), and calculates a uniformity evaluation value D of the region based on a difference between a feature value of a point in the region and an average value of feature values of points in the region. In the example of FIG. 8, the height of the feature point is used as the feature amount. Specifically, feature points included in the region are collected (802), and the average value Z of those feature points is calculated (803). Next, a deviation dZ from each Z with respect to the height of each feature point is calculated (804), and a variance ρ of the height of the feature point is calculated by Expression (2) (805). Output as the uniformity evaluation value D.
[0049]
ρ = √ (dZ 2 / (Number of feature points -1)) ... (2)
Since the uniformity evaluation means 104 uses the height of the feature point as the feature amount, the feature amount of the region is uniform if the height of the feature point included in the region does not deviate from its average value Z. Assume that there is. For example, in all of the regions A, B, and C in FIG. 5, since all the feature points in the region are at the same height, the value of the variance ρ is 0 and the uniformity evaluation value D is ∞. When a pixel value is used as a feature value, it is easy to calculate a similar evaluation value by obtaining a variance for a set of all pixel values included in an area.
[0050]
As another example of the calculation of the uniformity evaluation value D, the standard deviation of the height of the feature point set may be used instead of the variance. According to
[0051]
FIG. 9 shows an example of the processing flow of the area merging means 102. The
[0052]
The conditions for merging (907) will be described. The larger the shape evaluation value S, the more desirable the shape, and the larger the uniformity evaluation value D, the higher the uniformity of the feature value. Therefore, a region where both S and D are large is desirably comprehensive, and S × D used under the merge condition (907) can be considered as one of the evaluation functions representing the region. Therefore, when the evaluation function value is larger than a certain threshold value, the regions are merged, and even if the uniformity is slightly deteriorated due to an error in the position of the point, a region having a desirable shape can be obtained. Note that the form of the conditional expression is not limited to 0.2 <S × D, but may be any conditional expression that increases the possibility of being true when S and D are large. Since the value of the threshold value depends on the accuracy of the target object and the three-dimensional position measurement, it is conceivable to prepare several correct answer samples manually as correct answer samples and determine the threshold value from the samples.
[0053]
One example of the values of S and D is shown in FIG. “AB” in the figure indicates a region obtained as a result of merging A and B. By the processing of 904, the area after the merging is A i , A j Are obtained as a convex hull including both of the points B and C in FIG. 5, for example, in addition to the feature points originally included in B and C respectively, a (height: 5 m) is also included. Similarly, A and B also include a point b (height 8 m) having a different height. The height of the other feature points is 10 m, and the height of point a is greatly different from that of point b. Therefore, the uniformity of BC is lower than that of AB. As a result, the value of D decreases (0.529 <1.41). However, the evaluation value of S is higher in BC than in AB, and as a result, the value of S × D is also higher.
[0054]
The processing of the area merging means 102 (FIG. 9) will be described based on the result of FIG. The initial area set is {A, B, C}. In 903 of FIG. 9, a set of areas (A i , A j ), (A, B), (A, C), and (B, C) are enumerated in this order, (A, B) and (A, C) are determined to be no in the determination of 907, and are merged. (Step 908) is not performed. At the time of (B, C), the determination at 907 becomes yes, B and C are deleted from the area set, and BC is added to the area set. FIG. 11 shows the state of the region at this time.
[0055]
Next, a set of areas (A i , A j ), (A, BC) is selected. In this case, the determination at 907 is no, and no merging (processing at 908) is performed. Since there is no selection other than (A, BC) for the area set, the determination in 902 is yes, the processing ends, and {A, BC} is output as the area set.
[0056]
If the height of the point a is 0 m in the example of FIG. 5, the value of S × D of BC is 0.176 <0.2, and the determination of 907 is “no”. Not merged. In other words, since point a at 0 m is far from the top of the 10 m building, the uniformity of BC is extremely low, and even if the value of the shape evaluation function S is good, B and C are recognized as the same plane. Absent. When the height of the point a is 0 m, the building is originally divided into B and C, and the point a is a point on the ground, which is not the height observed due to the error in the position measurement. It is rather natural to think. Therefore, the result of not merging B and C is considered to indicate the correctness of the present invention. Although the result of the merging judgment varies depending on the threshold value, the property that it is difficult to merge the regions when many points near the ground are observed is considered to be desirable for giving a more correct shape.
[0057]
Finally, FIG. 12 shows an example of the flow of processing according to the embodiment of the
[0058]
According to the method of the present invention, a three-dimensional city model or the like can be stably constructed from a three-dimensional point set obtained from an image from the sky even if there are some errors in the three-dimensional positions of the points. FIG. 14 shows the result of creating a three-dimensional city model from an actual image. The created three-dimensional model can be used for various numerical simulations and applications such as car navigation (FIG. 15).
[0059]
In the above-described embodiment, an example is described in which both the shape evaluation value S and the uniformity evaluation value D are used, but either one of the evaluation values may be used. In that case, only one of the evaluation means and the evaluation process may be provided.
[0060]
It is to be noted that a part or all of the processing functions of each unit of the processing shown in FIG. 1 can be realized by using an arithmetic processing means or a control means such as a computer, or by using FIGS. 2, 6, 8, 9, and 12. Needless to say, it is possible to cause the computer or the like to execute the process of the process shown, or a program for realizing the processing function of each unit in the computer or the like, or a program for causing the computer or the like to execute the process of the process. It can be recorded on a computer-readable recording medium, for example, FD (flexible disk), MO, ROM, memory card, CD, DVD, removable disk, etc., and stored or provided. Yes, and the program may be provided through a communication network such as the Internet. It is a function. The present invention can be implemented by installing a program provided by a recording medium or a communication network in an arithmetic processing unit or a control unit such as a computer.
[0061]
【The invention's effect】
Advantageous Effects of Invention According to the present invention, even when an image region in which an artificial object is captured partially includes different feature values, a shape can be correctly acquired using one or both of the shape evaluation value and the uniformity evaluation value. . That is, even when the photographed target object partially has a different feature amount (for example, color) or when the measurement of the feature amount (for example, height) includes an error, the shape can be correctly acquired.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration according to an embodiment of the present invention.
FIG. 2 is a diagram showing an example of a processing flow in a region dividing unit according to the embodiment.
FIG. 3 is a diagram showing an example in which a top surface shape of a building is acquired using an image taken from the sky, as a processing example of the area dividing means.
FIGS. 4A and 4B are diagrams showing three-dimensional positions of obtained points as an example of processing by the area dividing means; FIGS.
FIGS. 5A and 5B are diagrams showing grouping results as an example of processing by the area dividing means; FIGS.
FIG. 6 is a diagram showing an example of a processing flow in a shape evaluation unit according to the embodiment.
FIGS. 7A, 7B, 7C, and 7D show examples of the shape evaluation value S as an example of processing by the shape evaluation means.
FIG. 8 is a diagram showing an example of a processing flow of a uniformity evaluation unit according to the embodiment.
FIG. 9 is a diagram showing an example of a processing flow of an area merging unit according to the embodiment.
FIG. 10 is a diagram showing an example of a shape evaluation value S and a uniformity evaluation value D as a processing example of the area merging unit.
FIGS. 11A and 11B are diagrams showing an example of a state of an area by deleting and merging an area from an area set as a processing example of the area merging unit;
FIG. 12 is a diagram showing an example of a processing flow of the output device according to the embodiment.
FIG. 13 is a diagram showing an example of a created three-dimensional shape model as a processing example of the output device.
FIG. 14 is a diagram showing an example of a result of creating a three-dimensional city model from an actual image according to the present invention.
FIG. 15 is a diagram illustrating an example of using the created three-dimensional model.
FIG. 16 is a diagram illustrating an example of acquiring the top surface shape of a building from a plurality of aerial photographs taken from the sky according to the related art.
FIG. 17 is a diagram for explaining a problem of the above-described conventional technology.
[Explanation of symbols]
101 area dividing means
102 ... Area merging means
103: Shape evaluation means
104 uniformity evaluation means
105 output device
Claims (16)
画像内の点の特徴量が所定の範囲内にある部分を同一の領域とすることにより前記画像から領域を抽出する過程と、
前記領域を複数併合して新たな領域を生成する過程と、
前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の成す角度と直角との差異に基づいて当該領域の形状評価値を算出する過程と、前記形状評価値に基づいて前記併合前および併合後の領域のいずれかを物体の形状として選択する過程と、を有する
ことを特徴とする形状獲得方法。A method of obtaining a shape of an object from an image,
Extracting a region from the image by setting a portion where the feature value of a point in the image is within a predetermined range to the same region,
Generating a new region by merging a plurality of the regions,
Calculating the shape evaluation value of the region based on the difference between the angle formed by the two sides of the polygon representing the contour and the right angle for each of the regions before and after the merging, and based on the shape evaluation value Selecting one of the pre-merge area and the post-merge area as the shape of the object.
画像内の点の特徴量が所定の範囲内にある部分を同一の領域とすることにより前記画像から領域を抽出する過程と、
前記領域を複数併合して新たな領域を生成する過程と、
前記併合前および併合後の領域の各々について領域内の点の特徴量と領域内の点の特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する過程と、
前記均一性評価値に基づいて前記併合前および併合後の領域のいずれかを物体の形状として選択する過程と、を有する
ことを特徴とする形状獲得方法。A method of obtaining a shape of an object from an image,
Extracting a region from the image by setting a portion where the feature value of a point in the image is within a predetermined range to the same region,
Generating a new region by merging a plurality of the regions,
A step of calculating a uniformity evaluation value of the region based on the difference between the feature value of the point in the region and the average value of the feature value of the point in the region for each of the regions before and after the combination,
Selecting one of the areas before and after the merging as the shape of the object based on the uniformity evaluation value.
画像内の点の特徴量が所定の範囲内にある部分を同一の領域とすることにより前記画像から領域を抽出する過程と、
前記領域を複数併合して新たな領域を生成する過程と、
前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の成す角度と直角との差異に基づいて当該領域の形状評価値を算出する過程と、前記併合前および併合後の領域の各々について領域内の点の特徴量と領域内の点の特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する過程と、
前記形状評価値と前記均一性評価値の双方に基づいて前記併合前および併合後の領域のいずれかを物体の形状として選択する過程と、を有する
ことを特徴とする形状獲得方法。A method of obtaining a shape of an object from an image,
Extracting a region from the image by setting a portion where the feature value of a point in the image is within a predetermined range to the same region,
Generating a new region by merging a plurality of the regions,
Calculating the shape evaluation value of the region based on the difference between the angle formed by the two sides of the polygon representing the contour and the right angle for each of the regions before and after the merging, and before and after the merging. A process of calculating a uniformity evaluation value of the region based on a difference between a feature value of a point in the region and an average value of feature values of points in the region for each of the regions,
Selecting one of the pre-merge area and the merged area as the shape of the object based on both the shape evaluation value and the uniformity evaluation value.
前記形状評価値を算出する過程は、
領域の輪郭を表わす多角形の異なる全ての２つの辺の組に関して、該２つの辺の成す角度を求める過程を有する
ことを特徴とする形状獲得方法。The shape acquisition method according to claim 1 or 3,
The step of calculating the shape evaluation value,
A method for obtaining a shape, comprising a step of obtaining an angle formed by two sides of a set of two different sides of a polygon representing an outline of a region.
前記形状評価値を算出する過程では、
領域の輪郭を表わす多角形の２つの辺のそれぞれの長さが長いほど、該２つの辺の成す角度の形状評価値に及ぼす影響が大きくなるように形状評価値を算出する
ことを特徴とする形状獲得方法。The shape acquisition method according to any one of claims 1, 3 and 4,
In the process of calculating the shape evaluation value,
The shape evaluation value is calculated such that the longer the length of each of the two sides of the polygon representing the contour of the region is, the greater the effect of the angle formed by the two sides on the shape evaluation value is. Shape acquisition method.
ことを特徴とする形状獲得方法。6. The shape acquisition method according to claim 1, wherein the characteristic amount is a distance in a depth direction from an observation point of the image obtained by the means for obtaining a three-dimensional position of a point in the image toward the subject. A shape acquisition method characterized by the following.
前記特徴量は、画像内の点の画素値である
ことを特徴とする形状獲得方法。The shape acquisition method according to any one of claims 1 to 5,
The shape acquisition method, wherein the feature amount is a pixel value of a point in an image.
画像内の点の特徴量が所定の範囲内にある部分を同一の領域とすることにより前記画像から領域を抽出する手段と、
前記領域を複数併合して新たな領域を生成する手段と、
前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の成す角度と直角との差異に基づいて当該領域の形状評価値を算出する手段と、前記形状評価値に基づいて前記併合前および併合後の領域のいずれかを物体の形状として選択する手段と、を有する
ことを特徴とする形状獲得装置。An apparatus for acquiring a shape of an object from an image,
Means for extracting a region from the image by setting a portion where the feature amount of a point in the image is within a predetermined range to the same region,
Means for merging a plurality of the regions to generate a new region,
Means for calculating a shape evaluation value of the region based on a difference between an angle formed by two sides of a polygon representing a contour and a right angle with respect to each of the regions before and after the merging, and based on the shape evaluation value Means for selecting any of the areas before and after the merging as the shape of the object.
画像内の点の特徴量が所定の範囲内にある部分を同一の領域とすることにより前記画像から領域を抽出する手段と、
前記領域を複数併合して新たな領域を生成する手段と、
前記併合前および併合後の領域の各々について領域内の点の特徴量と領域内の点の特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する手段と、
前記均一性評価値に基づいて前記併合前および併合後の領域のいずれかを物体の形状として選択する手段と、を有する
ことを特徴とする形状獲得装置。An apparatus for acquiring a shape of an object from an image,
Means for extracting a region from the image by setting a portion where the feature amount of a point in the image is within a predetermined range to the same region,
Means for merging a plurality of the regions to generate a new region,
Means for calculating the uniformity evaluation value of the region based on the difference between the feature value of the point in the region and the average value of the feature value of the point in the region for each of the regions before and after the combination,
Means for selecting any one of the areas before and after the merging as the shape of the object based on the uniformity evaluation value.
画像内の点の特徴量が所定の範囲内にある部分を同一の領域とすることにより前記画像から領域を抽出する手段と、
前記領域を複数併合して新たな領域を生成する手段と、
前記併合前および併合後の領域の各々について輪郭を表わす多角形の２つの辺の成す角度と直角との差異に基づいて当該領域の形状評価値を算出する手段と、前記併合前および併合後の領域の各々について領域内の点の特徴量と領域内の点の特徴量の平均値との差異に基づいて当該領域の均一性評価値を算出する手段と、
前記形状評価値と前記均一性評価値の双方に基づいて前記併合前および併合後の領域のいずれかを物体の形状として選択する手段と、を有する
ことを特徴とする形状獲得装置。An apparatus for acquiring a shape of an object from an image,
Means for extracting a region from the image by setting a portion where the feature amount of a point in the image is within a predetermined range to the same region,
Means for merging a plurality of the regions to generate a new region,
Means for calculating a shape evaluation value of the area before and after merging based on a difference between an angle formed by two sides of a polygon representing a contour and a right angle with respect to each of the areas before and after merging; Means for calculating a uniformity evaluation value of the region based on a difference between a feature amount of a point in the region and an average value of feature amounts of points in the region for each of the regions,
Means for selecting any of the areas before and after the merging as the shape of the object based on both the shape evaluation value and the uniformity evaluation value.
前記形状評価値を算出する手段は、
領域の輪郭を表わす多角形の異なる全ての２つの辺の組に関して、該２つの辺の成す角度を求める手段を有する
ことを特徴とする形状獲得装置。The shape acquisition device according to claim 8 or 10,
The means for calculating the shape evaluation value,
A shape obtaining apparatus comprising: means for obtaining an angle formed between two sides of a polygon, which represents a contour of a region, of all different polygons.
前記形状評価値を算出する手段は、
領域の輪郭を表わす多角形の２つの辺のそれぞれの長さが長いほど、該２つの辺の成す角度の形状評価値に及ぼす影響が大きくなるように形状評価値を算出するものである
ことを特徴とする形状獲得装置。The shape acquisition device according to any one of claims 8, 10 and 11,
The means for calculating the shape evaluation value,
It is assumed that the shape evaluation value is calculated such that the longer the length of each of the two sides of the polygon representing the outline of the region is, the greater the effect of the angle formed by the two sides on the shape evaluation value is. Characteristic shape acquisition device.
前記特徴量は、画像内の点について３次元位置を獲得する手段によって得られた画像の観測点から被写体に向かう奥行き方向の距離である
ことを特徴とする形状獲得装置。The shape acquisition device according to any one of claims 8 to 12,
The shape acquisition apparatus according to claim 1, wherein the feature amount is a distance in a depth direction from an observation point of the image obtained by the means for obtaining a three-dimensional position of a point in the image toward the subject.
前記特徴量は、画像内の点の画素値である
ことを特徴とする形状獲得装置。The shape acquisition device according to any one of claims 8 to 12,
The feature acquisition device is characterized in that the feature amount is a pixel value of a point in an image.
ことを特徴とする形状獲得プログラム。8. A shape acquisition program, wherein the steps in the shape acquisition method according to claim 1 are a program for causing a computer to execute the steps.
該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
ことを特徴とする形状獲得プログラムを記録した記録媒体。A program for causing a computer to execute the steps in the shape obtaining method according to any one of claims 1 to 7,
A recording medium recording a shape acquisition program, wherein the program is recorded on a recording medium readable by the computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002242831A JP4035018B2 (en) | 2002-08-23 | 2002-08-23 | Shape acquisition method, apparatus, program, and recording medium recording this program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002242831A JP4035018B2 (en) | 2002-08-23 | 2002-08-23 | Shape acquisition method, apparatus, program, and recording medium recording this program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004086266A true JP2004086266A (en) | 2004-03-18 |
| JP4035018B2 JP4035018B2 (en) | 2008-01-16 |
Family
ID=32051756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002242831A Expired - Fee Related JP4035018B2 (en) | 2002-08-23 | 2002-08-23 | Shape acquisition method, apparatus, program, and recording medium recording this program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4035018B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130085199A (en) * | 2012-01-19 | 2013-07-29 | 삼성전자주식회사 | Apparatus and method for plane detection |
| KR20130118105A (en) * | 2012-04-19 | 2013-10-29 | 삼성전자주식회사 | Method and apparatus for representation 3d space based plane |
| JP2015533434A (en) * | 2012-10-22 | 2015-11-24 | ゼネラル・エレクトリック・カンパニイ | Biological unit identification based on supervised shape ranking |
| US9374571B2 (en) | 2011-10-11 | 2016-06-21 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device, imaging device, and image processing method |
| JP2017096689A (en) * | 2015-11-19 | 2017-06-01 | 株式会社大林組 | Long material positioning support device |
| JP2017096690A (en) * | 2015-11-19 | 2017-06-01 | 株式会社大林組 | Long material positioning support device |
| WO2018159468A1 (en) * | 2017-02-28 | 2018-09-07 | Ｎｅｃソリューションイノベータ株式会社 | Building height calculation device, building height calculation method, and computer-readable recording medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0773313A (en) * | 1992-06-26 | 1995-03-17 | Nec Corp | Method and device for dividing image |
| JPH09185720A (en) * | 1995-12-28 | 1997-07-15 | Canon Inc | Picture extraction device |
| JPH11339074A (en) * | 1998-05-22 | 1999-12-10 | Mitsubishi Electric Corp | Scenery modeling device |
| JP2001312716A (en) * | 2000-04-28 | 2001-11-09 | Nec Corp | Device and method for smoothing dem |
| JP2002024986A (en) * | 2000-07-06 | 2002-01-25 | Nippon Signal Co Ltd:The | Pedestrian detector |
| JP2003141575A (en) * | 2001-11-02 | 2003-05-16 | Nec Toshiba Space System Kk | Three-dimensional database generating system and method of generating three-dimensional database |
| JP2004030461A (en) * | 2002-06-27 | 2004-01-29 | Starlabo Corp | Method and program for edge matching, and computer readable recording medium with the program recorded thereon, as well as method and program for stereo matching, and computer readable recording medium with the program recorded thereon |
-
2002
- 2002-08-23 JP JP2002242831A patent/JP4035018B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0773313A (en) * | 1992-06-26 | 1995-03-17 | Nec Corp | Method and device for dividing image |
| JPH09185720A (en) * | 1995-12-28 | 1997-07-15 | Canon Inc | Picture extraction device |
| JPH11339074A (en) * | 1998-05-22 | 1999-12-10 | Mitsubishi Electric Corp | Scenery modeling device |
| JP2001312716A (en) * | 2000-04-28 | 2001-11-09 | Nec Corp | Device and method for smoothing dem |
| JP2002024986A (en) * | 2000-07-06 | 2002-01-25 | Nippon Signal Co Ltd:The | Pedestrian detector |
| JP2003141575A (en) * | 2001-11-02 | 2003-05-16 | Nec Toshiba Space System Kk | Three-dimensional database generating system and method of generating three-dimensional database |
| JP2004030461A (en) * | 2002-06-27 | 2004-01-29 | Starlabo Corp | Method and program for edge matching, and computer readable recording medium with the program recorded thereon, as well as method and program for stereo matching, and computer readable recording medium with the program recorded thereon |
Non-Patent Citations (1)
| Title |
|---|
| 松川 昌洋: "ＧＰＳと三軸角度センサを用いた多視点ステレオによる屋外環境構造の再構成", 電子情報通信学会技術研究報告 ＶＯＬ．９９ ＮＯ．７１０, vol. 第99巻 第710号, CSNG200201431006, 17 March 2000 (2000-03-17), JP, ISSN: 0000823938 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9374571B2 (en) | 2011-10-11 | 2016-06-21 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device, imaging device, and image processing method |
| KR20130085199A (en) * | 2012-01-19 | 2013-07-29 | 삼성전자주식회사 | Apparatus and method for plane detection |
| KR101909544B1 (en) | 2012-01-19 | 2018-10-18 | 삼성전자주식회사 | Apparatus and method for plane detection |
| KR20130118105A (en) * | 2012-04-19 | 2013-10-29 | 삼성전자주식회사 | Method and apparatus for representation 3d space based plane |
| KR102026903B1 (en) * | 2012-04-19 | 2019-09-30 | 삼성전자주식회사 | Method and apparatus for representation 3d space based plane |
| JP2015533434A (en) * | 2012-10-22 | 2015-11-24 | ゼネラル・エレクトリック・カンパニイ | Biological unit identification based on supervised shape ranking |
| JP2017096689A (en) * | 2015-11-19 | 2017-06-01 | 株式会社大林組 | Long material positioning support device |
| JP2017096690A (en) * | 2015-11-19 | 2017-06-01 | 株式会社大林組 | Long material positioning support device |
| WO2018159468A1 (en) * | 2017-02-28 | 2018-09-07 | Ｎｅｃソリューションイノベータ株式会社 | Building height calculation device, building height calculation method, and computer-readable recording medium |
| JPWO2018159468A1 (en) * | 2017-02-28 | 2019-12-12 | Ｎｅｃソリューションイノベータ株式会社 | Building height calculation device, building height calculation method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4035018B2 (en) | 2008-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101933216B1 (en) | River topography information generation method using drone and geospatial information | |
| Liang et al. | Forest data collection using terrestrial image-based point clouds from a handheld camera compared to terrestrial and personal laser scanning | |
| Eltner et al. | Analysis of different methods for 3D reconstruction of natural surfaces from parallel‐axes UAV images | |
| KR100912715B1 (en) | Method and apparatus of digital photogrammetry by integrated modeling for different types of sensors | |
| US20140362082A1 (en) | Automated Overpass Extraction from Aerial Imagery | |
| CN111383335B (en) | Crowd funding photo and two-dimensional map combined building three-dimensional modeling method | |
| Pepe et al. | Use of SfM-MVS approach to nadir and oblique images generated throught aerial cameras to build 2.5 D map and 3D models in urban areas | |
| JP6854195B2 (en) | Image processing device, image processing method and program for image processing | |
| Peña-Villasenín et al. | 3-D modeling of historic façades using SFM photogrammetry metric documentation of different building types of a historic center | |
| KR100904078B1 (en) | A system and a method for generating 3-dimensional spatial information using aerial photographs of image matching | |
| CN109255809A (en) | A kind of light field image depth estimation method and device | |
| Iheaturu et al. | An assessment of the accuracy of structure-from-motion (SfM) photogrammetry for 3D terrain mapping | |
| JP3618649B2 (en) | An extended image matching method between images using an indefinite window | |
| JP2017201261A (en) | Shape information generating system | |
| KR101079475B1 (en) | A system for generating 3-dimensional urban spatial information using point cloud filtering | |
| WO2020199153A1 (en) | Orthophoto map generation method based on panoramic map | |
| JP4035018B2 (en) | Shape acquisition method, apparatus, program, and recording medium recording this program | |
| JP6146731B2 (en) | Coordinate correction apparatus, coordinate correction program, and coordinate correction method | |
| KR102475790B1 (en) | Map making Platform apparatus and map making method using the platform | |
| CN107941241B (en) | Resolution board for aerial photogrammetry quality evaluation and use method thereof | |
| Pepe et al. | Cultural Heritage Documentation in Sis Environment: an application for" Porta Sirena" in the archaeological site of Paestum | |
| KR101079531B1 (en) | A system for generating road layer using point cloud data | |
| Chen et al. | Rapid 3d modeling using photogrammetry applied to google earth | |
| KR101114904B1 (en) | A system and method for generating urban spatial information using a draft map and an aerial laser measurement data | |
| CN114387532A (en) | Boundary identification method and device, terminal, electronic equipment and unmanned equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040726 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070402 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071026 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |