JP2004030453A - ステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
ステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP2004030453A JP2004030453A JP2002188518A JP2002188518A JP2004030453A JP 2004030453 A JP2004030453 A JP 2004030453A JP 2002188518 A JP2002188518 A JP 2002188518A JP 2002188518 A JP2002188518 A JP 2002188518A JP 2004030453 A JP2004030453 A JP 2004030453A
- Authority
- JP
- Japan
- Prior art keywords
- stereo matching
- edge
- stereo
- image
- matching method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】ステレオマッチングをする前に、三次元化する必要がないオブジェクトによって生じるエッジ又は領域を削除する。
【解決手段】ＴＬＳ（Ｔｈｒｅｅ ｌｉｎｅ ｓｅｎｓｏｒ）で撮像した都市地上面Ａのステレオ画像をテクスチャ解析して複数の領域に分割した上、ステレオ画像から直線エッジを抽出する。具体的には、検出されたエッジドット群に直線テンプレートを当て嵌め、方向性の近い直線テンプレートを統一化する。画像上における地上面の１．８ｍに相当する長さＬ［ｍｍ］以上であることという選別条件で、直線エッジを選別する。一般に建物の外周は１．８ｍ以上の直線成分により構成されているので、かかる選別により建物以外のオブジェクトによって生じたエッジを削除することができる。さらに、選別された直線成分で囲まれた領域を選別することにより、建物以外のオブジェクトによって生じた領域を削除することができる。
【選択図】 図７
【解決手段】ＴＬＳ（Ｔｈｒｅｅ ｌｉｎｅ ｓｅｎｓｏｒ）で撮像した都市地上面Ａのステレオ画像をテクスチャ解析して複数の領域に分割した上、ステレオ画像から直線エッジを抽出する。具体的には、検出されたエッジドット群に直線テンプレートを当て嵌め、方向性の近い直線テンプレートを統一化する。画像上における地上面の１．８ｍに相当する長さＬ［ｍｍ］以上であることという選別条件で、直線エッジを選別する。一般に建物の外周は１．８ｍ以上の直線成分により構成されているので、かかる選別により建物以外のオブジェクトによって生じたエッジを削除することができる。さらに、選別された直線成分で囲まれた領域を選別することにより、建物以外のオブジェクトによって生じた領域を削除することができる。
【選択図】 図７
Description
【０００１】
【発明の属する技術分野】
本発明は、ステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体（以下、単に「記録媒体」という。）に関するものである。
【０００２】
【従来の技術】
従来のステレオマッチング方法は、検出されたエッジ又は領域を三次元化してオブジェクト群の三次元データを取得するものであった。
【０００３】
【発明が解決しようとする課題】
オブジェクト群のうち特定の種類のオブジェクトのみを抽出した又は特定の種類のオブジェクトを取り除いた三次元データが所望されることがある。しかしながら、従来のステレオマッチング方法によると三次元化する必要がないオブジェクトによって生じるエッジ又は領域についてもステレオマッチングすることになるという問題点があった。
【０００４】
本発明は、上記問題を解決するためになされたものであり、ステレオマッチングをする前に、三次元化する必要がないオブジェクトによって生じるエッジ又は領域を削除できるステレオマッチング方法等を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明のステレオマッチング方法は、互いに異なる方向から同一のオブジェクト群を撮像した複数のステレオ画像に基づいてオブジェクト群の三次元データを取得するステレオマッチング方法において、ステレオ画像からエッジを検出するエッジ検出ステップと、エッジを直線化修正する直線化修正ステップと、直線化修正によって得られた直線エッジを選別するための選別条件を設定する選別条件設定ステップと、選別条件に従って直線エッジを選別する選別ステップとを含むことを特徴とする。
【０００６】
一般に、オブジェクトの種類はその外周を構成する直線成分の長さによって選別することができる。そのため、直線化修正によって得られる直線エッジから、その直線エッジを生じさせたオブジェクトの種類を識別することができる。そこで、本発明のように、直線化修正によって得られる直線エッジを選別条件に従って選別することにより、特定の種類のオブジェクトによって生じるエッジを削除することができる。その結果、ステレオマッチングをする前に三次元化する必要がないオブジェクトによって生じるエッジを削除できる。
【０００７】
本発明のステレオマッチング方法は、選別条件を、所定の長さよりも長い直線エッジとすることが好適である。
【０００８】
また、本発明のステレオマッチング方法は、選別条件を、ステレオ画像におけるオブジェクトの実寸法１．８ｍに相当する長さ以上の長さの直線エッジとすることが好適である。
【０００９】
また、本発明のステレオマッチング方法は、ステレオ画像が、オブジェクトの１．８ｍ未満の長さにおける形状変化を表したものであることが好適である。
【００１０】
一般に建物の外周は特定の長さの直線成分によって構成されるので、上記のように所定の長さ以上の直線エッジを選別することにより、建物以外のオブジェクトによって生じるエッジを削除することができる。また、固定資産に関する調査を行う際、１０ｍ２を下限として調査することが多い。対象を建物に限定した場合２ｍ×５ｍ、３ｍ×３ｍ等といったより正方形に近い矩形になるはずである。したがって、建物の外周を直線成分によって構成すると仮定した場合、画像中の直線エッジを選別する際には、直線エッジの下限値を２ｍ程度とするのが妥当である。また、古い建物のモジュール（基本単位）は１．８ｍであることが多い。そこで、建物の外周に関する直線エッジを選別する際には１．８ｍという数値が下限値として妥当する。また、上記のような高精細画像を用いると、効果的に建物以外のオブジェクトによって生じるエッジを削除することができる。
【００１１】
本発明のステレオマッチング方法は、選別条件を、所定の長さよりも短い直線エッジとすることが好適である。
【００１２】
また、本発明のステレオマッチング方法は、選別条件を、ステレオ画像におけるオブジェクトの実寸法０．２ｍに相当する長さ未満の長さの直線エッジとすることが好適である。
【００１３】
また、本発明のステレオマッチング方法は、ステレオ画像が、０．２ｍ四方の正方形型対空標識を認識できるものであることが好適である。
【００１４】
また、本発明のステレオマッチング方法は、ステレオ画像が、オブジェクトの０．２ｍ未満の長さにおける形状変化を表したものであることが好適である。
【００１５】
一般に樹木の外周は０．２ｍ未満の直線成分によって構成されるので、上記のように所定の長さ未満の直線エッジを選別することにより、樹木以外のオブジェクトによって生じるエッジを削除することができる。さらに、上記のような高精細画像を用いると、効果的に樹木以外のオブジェクトによって生じるエッジを削除することができる。
【００１６】
本発明のステレオマッチング方法は、更に、ステレオ画像を複数の領域に分割する領域分割ステップを含み、選別ステップで選別された直線エッジ群の情報を用いて、領域の情報を修正することが好適である。
【００１７】
上記のように選別された直線エッジ群の情報を用いて領域の情報を修正することにより、三次元化する必要がないオブジェクトによって生じる領域も削除することができる。
【００１８】
【発明の実施の形態】
以下、添付図面を参照して、本発明のステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録した記録媒体の好適な実施形態について詳細に説明する。
【００１９】
まず、本実施形態のエッジマッチング方法及びステレオマッチング方法を適用した三次元鳥瞰データ取得方法Ａを説明する。三次元鳥瞰データ取得方法Ａは、都市上空を飛行する航空機から撮像した都市地上面のステレオ画像から、都市地上面の三次元データ（樹木を取り除き、主として建物を三次元化したデータ）を取得するものである。ステレオ画像の撮像装置としては、ＴＬＳ（Ｔｈｒｅｅ ｌｉｎｅ ｓｅｎｓｏｒ）が用いられる。ＴＬＳとは、３つのリニアＣＣＤをそれぞれが同一の飛行方向線上に配置されるように航空機に搭載したものであり、３つのリニアＣＣＤが、それぞれ、都市地上面の前方視画像Ｐｆ、直下視画像Ｐｎ、後方視画像Ｐｂを撮像する。すなわち、ＴＬＳを走査することにより、同一範囲の都市地上面を互いに異なる方向から撮像したステレオ画像（前方視画像Ｐｆ、直下視画像Ｐｎ、後方視画像Ｐｂ）を得ることができる（図９を参照）。三次元鳥瞰データ取得方法Ａでは、直下視画像Ｐｎと前方視画像Ｐｆの組又は直下視画像Ｐｎと後方視画像Ｐｂの組を用いてステレオマッチングすることにより、撮像された都市地上面の三次元データを取得する。以下にその手順を説明する。
【００２０】
図１及び２は、三次元鳥瞰データ取得方法Ａにより特定範囲の都市地上面Ａ（建物オブジェクト群）の三次元データを取得する手順を示すフローチャートである。まず、ＴＬＳにより都市地上面Ａの前方視画像Ｐｆ、直下視画像Ｐｎ、後方視画像Ｐｂを撮像すると共に、それぞれの撮像時におけるリニアＣＣＤの投影中心点Ｃｆ、Ｃｎ、Ｃｂの三次元座標を算出する（Ｓ１０２）。投影中心点Ｃｆ、Ｃｎ、Ｃｂの三次元座標を算出する方法としては、ＧＰＳなどを用いることができる。なお、以下に現れる三次元座標は、特段の説明がない限り、同一の座標系に基づいているものとする。
【００２１】
以下に述べる画像処理を行うに先立って、エッジ選別条件を設定する（Ｓ１０３）。本実施形態では、直線エッジの長さが、画像上における地上面の１．８ｍに相当する長さＬ［ｍｍ］以上であることという選別条件を設定するものとする。
【００２２】
前方視画像Ｐｆ、直下視画像Ｐｎ、後方視画像Ｐｂのそれぞれについて、テクスチャ解析をした上、複数の領域Ｒｆｋ、Ｒｎｋ、Ｒｂｋ；ｋ＝１〜ｍに分割する（Ｓ１０４）。テクスチャ解析は、画像中で巨視的に濃度（画素値）が均一に分布している部分を検出することにより行われる。その具体的手法としては、領域拡張法、レベルライジング法などがある。
【００２３】
前方視画像Ｐｆ、直下視画像Ｐｎ、後方視画像Ｐｂのそれぞれについて、直線エッジの抽出を行う（Ｓ１０５）。ここで、直線エッジ抽出の詳細な手順を説明する。図３は、直線エッジ抽出の詳細な手順を示すフローチャートである。まず、画像中のエッジ（濃度変化の激しい部分であって、変化部分が線状に連なるところ）を検出する（Ｓ３０２）。その具体的手法としては、Ｃａｎｎｙ法などがある。なお、直線エッジとは、概ね直線上に並ぶ変化部分に相当する画素の連なりにおいて、直線からの微小なずれを修正したものをいうものとする。
【００２４】
検出されたエッジに直線テンプレートを当て嵌める（Ｓ３０４）。図８は、直線テンプレート及び直線テンプレートが当て嵌められる型枠を示す図である。直線テンプレートが当て嵌められる型枠は３ピクセル×３ピクセルで構成され、型枠中で変化部分に相当する画素が線状に連なっていると仮定した場合、直線テンプレートとしては、２２．５°ずつ角度が異なる８つの方向性のものλ１〜８が適用される。図８に示す型枠と直線テンプレートλ１〜８との対応関係に従って、型枠ごとに直線テンプレートλ１〜８が当て嵌められる。
【００２５】
当て嵌めた直線テンプレートで表現された直線の統合（直線化修正）が行われる（Ｓ３０６）。ここでは、隣り合う二つの直線テンプレートが角度差２２．５°でずれている場合に、かかる直線テンプレートで表現された直線を統合する。
【００２６】
Ｓ１０５で抽出された直線エッジを、Ｓ１０３で設定した選別条件に従って選別する（Ｓ１０６）。すなわち、画像上でＬ［ｍｍ］（画像上における地上面の１．８ｍに相当する長さ）未満の直線エッジを削除する。
【００２７】
都市地上面を構成する立体オブジェクトは、主として建物と樹木である。一般に、建物の外周は１．８ｍ以上の直線の組み合わせで構成される。そこで、画像上における地上面の１．８ｍ以上に相当する長さの直線エッジを選別することにより、建物によって生じるエッジを抽出すると同時に、樹木によって生じるエッジを取り除くことができる。図７に、建物と樹木を撮像した画像から樹木が取り除かれる様子を示す。ただし、このような作用は、画像Ｐｆ、Ｐｎ、Ｐｂが高精細画像であるときに効果的に達成される。例えば、地上面にあるオブジェクトの１．８ｍ未満の長さにおける形状変化を表せない画像であると、樹木によって生じるエッジもＬ［ｍｍ］以上の長さの直線エッジとなってしまい、上記の選別条件を充足することになるおそれがある。その結果、樹木が三次元データから取り除かれなくなる。かかる高精細画像としては、１ピクセルが画像上において地上面（水平面）の１．８ｍに相当する長さに収まるものが望ましい。
【００２８】
また、かかる高精細画像としては、２ピクセル、３ピクセル、４ピクセル、５ピクセル、６ピクセル、７ピクセル、８ピクセル又は９ピクセルが画像上において地上面（水平面）の１．８ｍに相当する長さに収まるものであるとなお好適である。
【００２９】
なお、都市地上面から樹木を抽出した三次元データが所望されるときには、例えば選別条件を画像上における地上面の０．２ｍに相当する長さｋ［ｍｍ］未満の長さとすればよい。一般に、樹木の外周は０．２ｍ未満の長さの直線の組み合わせで構成される。そこで、画像上における地上面の０．２ｍ未満に相当する長さの直線エッジを選別することにより、樹木によって生じるエッジを抽出することができると同時に、建物によって生じるエッジを取り除くことができる。ただし、このような作用は、画像Ｐｆ、Ｐｎ、Ｐｂが上記の例よりも更に高精細の画像であるときに効果的に達成される。例えば、地上面にあるオブジェクトの０．２ｍ未満の長さにおける形状変化を表せない画像、すなわち０．２ｍ四方の正方形型対空標識（図１３参照）を認識できない画像であると、樹木によって生じるエッジもｋ［ｍｍ］以上の長さの直線エッジとなってしまい、上記の選別条件から外れることになるおそれがある。その結果、樹木も三次元データから取り除かれてしまう。かかる高精細画像としては、９ピクセルが画像上において地上面（水平面）の１．８ｍに相当する長さに収まるものが望ましい。
【００３０】
Ｓ１０６で選別された直線エッジ群に基づいて領域Ｒｆｋ、Ｒｎｋ、Ｒｂｋを選別する（Ｓ１０７）。具体的には、周囲にＳ１０６で選別された直線エッジがある領域を残し、周囲に選別された直線エッジがない領域を削除する。この処理により建物によって生じる領域を抽出することができる。
【００３１】
Ｓ１０７で選別された領域の特徴点（例えば、角部）を抽出する（Ｓ１０８）。
【００３２】
領域Ｒｎｋの各特徴点が前方視画像Ｐｆにおける隠蔽部にあるか判断する（Ｓ１１０）。ここで、特徴点が前方視画像Ｐｆにおける隠蔽部にあるか判断する詳細な手順を説明する。図４は、特徴点が前方視画像Ｐｆにおける隠蔽部にあるか判断する詳細な手順を示すフローチャートである。
【００３３】
まず、レーザスキャンにより都市地上面の三次元データ（３Ｄレーザデータ曲面）を算出する（Ｓ４０２）。図１０は、レーザスキャナが実行される様子を示す図である。上空を飛行する航空機から地上面のランダムポイントに向けてレーザ光を発し、ランダムポイントで散乱したレーザ光が戻ってくるまでの時間から、航空機に搭載されたレーザスキャナ装置とランダムポイントとの距離を算出し、さらにレーザ光を照射する際のレーザスキャナ装置の三次元座標及びレーザ光の照射角度からランダムポイントの三次元座標を算出する。この処理を繰り返しつつ、地上面を走査することにより地上面の三次元データを得ることができる。ただし、一般に、ここで得られる三次元座標はステレオマッチング法に比べて間隔の大きい離散値であり、この離散値を補間して地上面の大まかな三次元データ（３Ｄレーザデータ曲面）を得る。
【００３４】
前方視画像Ｐｆを撮像する際の特徴点に対する視線ベクトルＶｆを算出する（Ｓ４０４）。具体的には、前方視画像Ｐｆの投影中心点Ｃｆの三次元座標を始点とし、レーザスキャナで得られる特徴点の三次元座標を終点とするベクトルを算出し、これを視線ベクトルＶｆとする。
【００３５】
都市地上面の三次元データ（３Ｄレーザデータ曲面）と、視線ベクトルＶｆとに交点があるか判断する（Ｓ４０６）。図９は、都市地上面の三次元データ（３Ｄレーザデータ曲面）と、視線ベクトルＶｆとが交わる様子を示す図である。ここで交点が存在することは、前方視画像Ｐｆの投影中心点Ｃｆから特徴点を見たときに、視線が他の地上物によって遮られることを意味する。そこで、交点があるときには、特徴点は前方視画像Ｐｆの隠蔽部にあると判断する（Ｓ４０８）。他方、交点がないときには、特徴点は前方視画像Ｐｆの隠蔽部にないと判断する（Ｓ４０９）。Ｓ１１０において、各特徴点について以上の処理を繰り返す。
【００３６】
いずれの特徴点も前方視画像Ｐｆの隠蔽部にないと判断されたときには、領域Ｒｎｋを前方視画像Ｐｆに投影して領域マッチングを行う（Ｓ１１２）。他方、いずれかの特徴点が前方視画像Ｐｆの隠蔽部にあると判断されたときには、前方視画像Ｐｆに代えて後方視画像Ｐｂをステレオ画像に選択し、領域Ｒｎｋを後方視画像Ｐｂに投影して領域マッチングを行う（Ｓ１１３）。片方のステレオ画像における隠蔽の存在は正確なステレオマッチングを妨げる原因の一つとなる。しかし、本実施形態では、上記のように都市地上面の三次元データ（３Ｄレーザデータ曲面）と視線ベクトルＶｆとの交点の有無を調査することにより、機械的に隠蔽の存在を検出することができる。さらに、前方視画像Ｐｆに隠蔽の存在が検出されたとき、前方視画像Ｐｆに代えて後方視画像Ｐｂをステレオ画像に選択することでステレオマッチングの正確性が向上する。
【００３７】
以下にＳ１１２、２０２、２０４及び２０６の処理（前方視画像Ｐｆをステレオ画像に選択したときの処理）を説明するが、これらの処理はＳ１１３、２０３、２０５及び２０７の処理（後方視画像Ｐｂをステレオ画像に選択したときの処理）と同一であるので、Ｓ１１３、２０３、２０５及び２０７の処理の説明は省略する。Ｓ１１２における領域マッチングの詳細な手順を説明する。図５は、領域マッチングの詳細な手順を示すフローチャートである。
【００３８】
まず、領域Ｒｎｋ中心点の前方視画像Ｐｆ上におけるエピポーララインを算出する（Ｓ５０２）。エピポーララインとは、対象画像とエピポーラ面（対象画像の投影中心点及び対象点が切り出された画像における対象点に対する視線ベクトルを含む面）との交線を指す。Ｓ５０２においては次のようにしてエピポーララインが算出される。（１）直下視画像Ｐｎ上における領域Ｒｎｋ中心点の二次元座標と投影中心点Ｃｎとの相対位置関係から、領域Ｒｎｋ中心点の三次元座標を算出する。（２）領域Ｒｎｋ中心点、投影中心点Ｃｎ及び投影中心点Ｃｆの三次元座標を含む平面の三次元データを算出し、これをエピポーラ面とする。（３）投影中心点Ｃｆと前方視画像Ｐｆとの相対位置関係から、前方視画像Ｐｆの三次元データを算出する。（４）エピポーラ面と前方視画像Ｐｆとの交線の三次元データを算出し、これをエピポーララインとする。
【００３９】
エピポーラライン上に領域Ｒｎｋ中心点が乗るように、領域Ｒｎｋを前方視画像Ｐｆに投影する（Ｓ５０４）。
【００４０】
領域Ｒｎｋ中心点をエピポーララインに沿って移動させつつ、領域Ｒｎｋとエピポーラライン上の各領域Ｒｆｋとの領域形状マッチング係数Ｒを算出する（Ｓ５０６）。領域形状マッチング係数Ｒは、二つの領域の大きさ及び形状の類似性並びに二つの領域の重なり度合いを示す相関係数であり、次の式（１）に表される。
【００４１】
【数１】
Ｎｎ：領域Ｒｎｋが占める画素数
Ｎｆ：領域Ｒｆｋが占める画素数
Ｎｏ：領域Ｒｎｋと領域Ｒｆｋとがオーバーラップする範囲の画素数
【００４２】
式（１）に表されるように、領域形状マッチング係数Ｒの分母をＮｎ（領域Ｒｎｋが占める画素数）でなく、Ｎｎ（領域Ｒｎｋが占める画素数）とＮｆ（領域Ｒｆｋが占める画素数）との積とすることにより、この相関係数が、領域Ｒｎｋにおけるオーバーラップの程度だけを示すものではなく、領域Ｒｆｋにおいてどれだけの程度でオーバーラップされているかも示すものとなる。
【００４３】
図１１は、領域形状マッチング係数Ｒの算出結果の例を示す図である。図１１において、ｘ方向にエピポーラライン上にある各領域Ｒｆｋの領域番号ｋを示す。ｙ軸方向に領域Ｒｎｋ中心点のエピポーラライン上における位置を示す。ｚ軸方向に領域形状マッチング係数Ｒを示す。それぞれの領域番号ｋについて領域形状マッチング係数Ｒのピークが存在するが、そのピークのうち最も高いピークを検出する。最も高いピークを有する領域Ｒｆｋが領域Ｒｎｋに対応すると判断し、かつこのピークが現れるエピポーラライン上の位置に領域Ｒｎｋ中心点があるときに領域Ｒｎｋと領域Ｒｆｋがマッチングされると判断する（Ｓ５０８）。このように、領域中心点のエピポーラライン上にマッチング範囲を限定することにより、計算量を軽減させると共にマッチングの正確性を向上させることができる。また、領域形状マッチング係数Ｒを用いた領域マッチング（領域の面積及び形状に基づく領域マッチング）により、大まかな領域マッチングを少ない計算量で行うことができる。
【００４４】
Ｓ５０８で検出された最大ピークが現れるエピポーラライン上の位置の付近で領域Ｒｎｋを動かしつつ、投影した領域Ｒｎｋとこれと重なった領域との画素値相関係数Ｓを算出する（Ｓ５１０）。画素値相関係数Ｓは、二つの領域における濃度分布の類似性を示す相関係数であり、次の式（２）に表される。
【００４５】
【数２】
ｌ：領域Ｒｎｋの前方視画像Ｐｆにおけるｘ方向の大きさ（ピクセル）
ｍ：領域Ｒｎｋの前方視画像Ｐｆにおけるｙ方向の大きさ（ピクセル）
ｆ（ｕ，ｖ）：前方視画像Ｐｆ上の座標（ｕ，ｖ）における前方視画像Ｐｆの画素値
ｎ（ｕ，ｖ）：前方視画像Ｐｆ上の座標（ｕ，ｖ）における領域Ｒｎｋの画素値
【００４６】
画素値相関係数Ｓのピークを検出し、このときの領域Ｒｎｋの位置において領域マッチングなされたものとする（Ｓ５１２）。このように、多段階の領域マッチングを行うことにより、マッチングの正確性を向上させることができる。また、画素値相関係数Ｓを用いた領域マッチング（領域の濃度分布に基づく領域マッチング）により、投影した領域とこれに対応する領域とを正確に重ね合わせることができる。
【００４７】
領域Ｒｎｋの近傍にある直線エッジを前方視画像Ｐｆに投影し、直線エッジマッチングを行う（Ｓ２０２）。ここで、直線エッジマッチングの詳細な手順を説明する。図６は、直線エッジマッチングの詳細な手順を示すフローチャートである。まず、投影された直線エッジと方向性の近い直線エッジを検索する（Ｓ６０２）。ただし、検索される範囲は、Ｓ１１２でマッチングされた領域の近傍に限定される。
【００４８】
さらに、投影された直線エッジと長さの近い直線エッジを絞り込み検索する（Ｓ６０４）。
【００４９】
マッチングされた領域Ｒｆｋ、領域Ｒｎｋそれぞれとの位置関係に基づき対応する直線エッジを絞り込み検索する（Ｓ６０６）。
【００５０】
直線エッジ両側の平均濃度に基づき対応する直線エッジを絞り込み検索する（Ｓ６０８）。このように、Ｓ１１２でマッチングされた領域の近傍にマッチング範囲を限定することにより、すなわち領域マッチングを行った後に領域マッチングの結果を利用してエッジマッチングの範囲を限定することにより、少ない計算量で正確にマッチングすることができる。また、エッジを直線化修正した上でエッジマッチングすることにより、対応するエッジを検索するのが容易になる。加えて、多段階の直線エッジマッチングを行うことにより、マッチングの正確性を向上させることができる。
【００５１】
Ｓ２０２でマッチングされた直線エッジの特徴点を抽出する（Ｓ２０４）。具体的には、直線エッジの両端を特徴点とする。
【００５２】
領域Ｒｎｋの特徴点及びＳ２０４で抽出された直線エッジの特徴点をマッチングする（Ｓ２０６）。
【００５３】
マッチングされた各特徴点の三次元座標を算出する（Ｓ２１０）。ここで、前方視画像Ｐｆと直下視画像Ｐｎにおいてマッチングされた特徴点の三次元座標算出方法を説明する。図１２は、ステレオマッチング法において対応点（特徴点）の三次元座標が算出される論理を説明する図である。理論的には前方視画像Ｐｆにおける特徴点に対する視線ベクトルと、直下視画像Ｐｎにおける特徴点に対する視線ベクトルとの交点の三次元座標を算出することにより特徴点の三次元座標を得ることができる。しかし、現実には投影中心点の測定誤差などの原因により視線ベクトルが交わらないことがある。そこで、視線ベクトル間の距離が最も近くなる点Ｏｆ、Ｏｎの中点を特徴点の三次元位置とする。
【００５４】
以下に、特徴点の三次元座標を算出する具体的手順を示す。（１）まず、前方視画像Ｐｆ上の特徴点の三次元座標と、投影中心点Ｃｆの三次元座標とを通過する直線の単位ベクトルを算出し、これから視線ベクトルＥｆ（Ｘｆｐ，Ｙｆｐ，Ｚｆｐ）を算出する。視線ベクトルＥｆは、次の式（３）に表される。
【００５５】
【数３】
（Ｘｆｃ，Ｙｆｃ，Ｚｆｃ）：投影中心点Ｃｆの三次元座標
（Ｖｆｘ，Ｖｆｙ，Ｖｆｚ）：前方視画像Ｐｆ上の特徴点の三次元座標と、投影中心点Ｃｆの三次元座標とを通過する直線の単位ベクトル
ｔｆ：パラメータ
【００５６】
（２）直下視画像Ｐｎ上の特徴点の三次元座標と、投影中心点Ｃｎの三次元座標とを通過する直線の単位ベクトルを算出し、これから視線ベクトルＥｎ（Ｘｎｐ，Ｙｎｐ，Ｚｎｐ）を算出する。視線ベクトルＥｎは、次の式（４）に表される。
【００５７】
【数４】
（Ｘｎｃ，Ｙｎｃ，Ｚｎｃ）：投影中心点Ｃｎの三次元座標
（Ｖｎｘ，Ｖｎｙ，Ｖｎｚ）：直下視画像Ｐｎ上の特徴点の三次元座標と、投影中心点Ｃｎの三次元座標とを通過する直線の単位ベクトル
ｔｎ：パラメータ
【００５８】
（３）視線ベクトル間の距離が最も近くなるときのパラメータｔｆ、ｔｎを算出し、これから視線ベクトル間の距離が最も近くなる点Ｏｆ、Ｏｎの三次元座標を得る。
【００５９】
（４）視線ベクトル間の距離が最も近くなる点Ｏｆ、Ｏｎの中点の三次元座標を算出する。Ｓ２１０において以上の計算を繰り返して各特徴点の三次元座標を算出する。
【００６０】
Ｓ２０６の結果から直線エッジの三次元データを取得する。このようにして三次元線分群が得られる（Ｓ２１２）。
【００６１】
また、領域Ｒｎｋの特徴点（例えば角部）の三次元座標から領域Ｒｎｋの三次元データを算出する（Ｓ２１４）。ここで算出する領域Ｒｎｋの三次元データは大まかなものでよい。
【００６２】
すべての領域Ｒｎｋ（Ｓ１０７で選別されたもの）についてＳ１１０からＳ２１４までの処理が完了した場合にはＳ２２２に進む。未処理の領域Ｒｎｋが存在する場合には、Ｓ１０７で選別された領域であってかつ領域番号ｋが大きい領域ＲｎｋについてＳ１１０からＳ２１４までの処理を行う（Ｓ２１６）。
【００６３】
上記の処理で得られた三次元線分群及び領域の三次元データを３Ｄワークスペース（三次元座標系）に投影する（Ｓ２１８）。
【００６４】
領域の三次元データを覆うように三次元線分群を再構成する（Ｓ２２０）。三次元線分群は上記の処理により高い精度で求めることができるが、都市の鳥瞰図を得る上では意味のないものも含まれている。しかし、領域の三次元データを参考にして三次元線分群を再構成することにより、都市の鳥瞰図として意味のあるデータを生成することができる。
【００６５】
再構成された三次元線分群で構成される領域に建物屋上面のテンプレートを当て嵌め、建物屋上面を推定する（Ｓ２２２）。
【００６６】
得られた建物屋上面と地表面とつなぐ側壁を形成させることによりソリッド化して、建物セグメントを得る（Ｓ２２４）。
【００６７】
近接する建物セグメントをクラスタリングして、建物オブジェクトを得る（Ｓ２２６）。以上の手順を踏むことにより、都市地上面Ａ（建物オブジェクト群）の三次元データを得ることができる。
【００６８】
以上説明したように、本実施形態では、ステレオマッチングをする前に、三次元化する必要がない樹木によって生じるエッジ又は領域を削除する。その結果、エッジマッチング又は領域マッチングをする際の検索対象を減らすことができ、マッチングの速度及び正確性を向上させることができる。
【００６９】
なお、上記の実施形態では、上空から地上に向けてＴＬＳ走査するものであったが、建物オブジェクト群の側方から水平方向にステレオ画像の撮像を行うことによって建物オブジェット群側壁の三次元データを取得し、これから都市地上面の三次元データを取得してもよい。
【００７０】
次に、本発明の実施形態に係るステレオマッチングプログラム４及びステレオマッチングプログラム４を記録した記録媒体１４について説明する。図１４は、ステレオマッチングプログラム４及びステレオマッチングプログラム４を記録した記録媒体１４の構成図である。ステレオマッチングプログラム４は、その構成要素として、エッジ検出モジュール４２、直線化修正モジュール４４、選別条件設定モジュール４６及び選別モジュール４８を含んで構成される。ステレオマッチングプログラム４を後述のコンピュータに適用することにより、上記のステレオマッチング方法が実行される。
【００７１】
図１５は、ステレオマッチングプログラム４が実行されるコンピュータ５の物理的構成を示す図である。コンピュータ５は、物理的構成要素として、中央処理装置（ＣＰＵ）５２、オペレーティングシステムを常駐させた作業用メモリ５４、読み取り装置５６、ディスプレイ５７及び入力装置５８を備える。
【００７２】
記録媒体１４が読み取り装置５６に挿入されると、記録媒体１４に記録された情報が読み取り装置５６からアクセス可能となり、ステレオマッチングプログラム４が、コンピュータ５によって実行される。
【００７３】
【発明の効果】
以上説明したように、本発明により、ステレオマッチングをする前に、三次元化する必要がないオブジェクトによって生じるエッジ又は領域を削除できるステレオマッチング方法等を提供することができる。
【図面の簡単な説明】
【図１】三次元鳥瞰データ取得方法Ａにより特定範囲の都市地上面Ａ（建物オブジェクト群）の三次元データを取得する手順を示す第１のフローチャートである。
【図２】三次元鳥瞰データ取得方法Ａにより特定範囲の都市地上面Ａ（建物オブジェクト群）の三次元データを取得する手順を示す第２のフローチャートである。
【図３】直線エッジ抽出の詳細な手順を示すフローチャートである。
【図４】特徴点が前方視画像Ｐｆにおける隠蔽部にあるか判断する詳細な手順を示すフローチャートである。
【図５】領域マッチングの詳細な手順を示すフローチャートである。
【図６】直線エッジマッチングの詳細な手順を示すフローチャートである。
【図７】建物と樹木を撮像した画像から樹木が取り除かれる様子を示した図である。
【図８】直線テンプレート及び直線テンプレートが当て嵌められる型枠を示す図である。
【図９】都市地上面の三次元データ（３Ｄレーザデータ曲面）と、視線ベクトルＶｆとが交わる様子を示す図である。
【図１０】レーザスキャナが実行される様子を示す図である。
【図１１】領域形状マッチング係数Ｒの算出結果の例を示す図である。
【図１２】ステレオマッチング法において対応点（特徴点）の三次元座標が算出される論理を説明する図である。
【図１３】対空標識を示す図である。
【図１４】ステレオマッチングプログラム４及びステレオマッチングプログラム４を記録した記録媒体１４の構成図である。
【図１５】エッジマッチングプログラム３又はステレオマッチングプログラム４が実行されるコンピュータ５の物理的構成を示す図である。
【符号の説明】
１４…記録媒体、４…ステレオマッチングプログラム、４２…エッジ検出モジュール、４４…直線化修正モジュール、４６…選別条件設定モジュール、４８…選別モジュール、５…コンピュータ、５２…ＣＰＵ、５４…作業用メモリ、５６…読み取り装置、５７…ディスプレイ、５８…入力装置、６…対空標識。
【発明の属する技術分野】
本発明は、ステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体（以下、単に「記録媒体」という。）に関するものである。
【０００２】
【従来の技術】
従来のステレオマッチング方法は、検出されたエッジ又は領域を三次元化してオブジェクト群の三次元データを取得するものであった。
【０００３】
【発明が解決しようとする課題】
オブジェクト群のうち特定の種類のオブジェクトのみを抽出した又は特定の種類のオブジェクトを取り除いた三次元データが所望されることがある。しかしながら、従来のステレオマッチング方法によると三次元化する必要がないオブジェクトによって生じるエッジ又は領域についてもステレオマッチングすることになるという問題点があった。
【０００４】
本発明は、上記問題を解決するためになされたものであり、ステレオマッチングをする前に、三次元化する必要がないオブジェクトによって生じるエッジ又は領域を削除できるステレオマッチング方法等を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明のステレオマッチング方法は、互いに異なる方向から同一のオブジェクト群を撮像した複数のステレオ画像に基づいてオブジェクト群の三次元データを取得するステレオマッチング方法において、ステレオ画像からエッジを検出するエッジ検出ステップと、エッジを直線化修正する直線化修正ステップと、直線化修正によって得られた直線エッジを選別するための選別条件を設定する選別条件設定ステップと、選別条件に従って直線エッジを選別する選別ステップとを含むことを特徴とする。
【０００６】
一般に、オブジェクトの種類はその外周を構成する直線成分の長さによって選別することができる。そのため、直線化修正によって得られる直線エッジから、その直線エッジを生じさせたオブジェクトの種類を識別することができる。そこで、本発明のように、直線化修正によって得られる直線エッジを選別条件に従って選別することにより、特定の種類のオブジェクトによって生じるエッジを削除することができる。その結果、ステレオマッチングをする前に三次元化する必要がないオブジェクトによって生じるエッジを削除できる。
【０００７】
本発明のステレオマッチング方法は、選別条件を、所定の長さよりも長い直線エッジとすることが好適である。
【０００８】
また、本発明のステレオマッチング方法は、選別条件を、ステレオ画像におけるオブジェクトの実寸法１．８ｍに相当する長さ以上の長さの直線エッジとすることが好適である。
【０００９】
また、本発明のステレオマッチング方法は、ステレオ画像が、オブジェクトの１．８ｍ未満の長さにおける形状変化を表したものであることが好適である。
【００１０】
一般に建物の外周は特定の長さの直線成分によって構成されるので、上記のように所定の長さ以上の直線エッジを選別することにより、建物以外のオブジェクトによって生じるエッジを削除することができる。また、固定資産に関する調査を行う際、１０ｍ２を下限として調査することが多い。対象を建物に限定した場合２ｍ×５ｍ、３ｍ×３ｍ等といったより正方形に近い矩形になるはずである。したがって、建物の外周を直線成分によって構成すると仮定した場合、画像中の直線エッジを選別する際には、直線エッジの下限値を２ｍ程度とするのが妥当である。また、古い建物のモジュール（基本単位）は１．８ｍであることが多い。そこで、建物の外周に関する直線エッジを選別する際には１．８ｍという数値が下限値として妥当する。また、上記のような高精細画像を用いると、効果的に建物以外のオブジェクトによって生じるエッジを削除することができる。
【００１１】
本発明のステレオマッチング方法は、選別条件を、所定の長さよりも短い直線エッジとすることが好適である。
【００１２】
また、本発明のステレオマッチング方法は、選別条件を、ステレオ画像におけるオブジェクトの実寸法０．２ｍに相当する長さ未満の長さの直線エッジとすることが好適である。
【００１３】
また、本発明のステレオマッチング方法は、ステレオ画像が、０．２ｍ四方の正方形型対空標識を認識できるものであることが好適である。
【００１４】
また、本発明のステレオマッチング方法は、ステレオ画像が、オブジェクトの０．２ｍ未満の長さにおける形状変化を表したものであることが好適である。
【００１５】
一般に樹木の外周は０．２ｍ未満の直線成分によって構成されるので、上記のように所定の長さ未満の直線エッジを選別することにより、樹木以外のオブジェクトによって生じるエッジを削除することができる。さらに、上記のような高精細画像を用いると、効果的に樹木以外のオブジェクトによって生じるエッジを削除することができる。
【００１６】
本発明のステレオマッチング方法は、更に、ステレオ画像を複数の領域に分割する領域分割ステップを含み、選別ステップで選別された直線エッジ群の情報を用いて、領域の情報を修正することが好適である。
【００１７】
上記のように選別された直線エッジ群の情報を用いて領域の情報を修正することにより、三次元化する必要がないオブジェクトによって生じる領域も削除することができる。
【００１８】
【発明の実施の形態】
以下、添付図面を参照して、本発明のステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録した記録媒体の好適な実施形態について詳細に説明する。
【００１９】
まず、本実施形態のエッジマッチング方法及びステレオマッチング方法を適用した三次元鳥瞰データ取得方法Ａを説明する。三次元鳥瞰データ取得方法Ａは、都市上空を飛行する航空機から撮像した都市地上面のステレオ画像から、都市地上面の三次元データ（樹木を取り除き、主として建物を三次元化したデータ）を取得するものである。ステレオ画像の撮像装置としては、ＴＬＳ（Ｔｈｒｅｅ ｌｉｎｅ ｓｅｎｓｏｒ）が用いられる。ＴＬＳとは、３つのリニアＣＣＤをそれぞれが同一の飛行方向線上に配置されるように航空機に搭載したものであり、３つのリニアＣＣＤが、それぞれ、都市地上面の前方視画像Ｐｆ、直下視画像Ｐｎ、後方視画像Ｐｂを撮像する。すなわち、ＴＬＳを走査することにより、同一範囲の都市地上面を互いに異なる方向から撮像したステレオ画像（前方視画像Ｐｆ、直下視画像Ｐｎ、後方視画像Ｐｂ）を得ることができる（図９を参照）。三次元鳥瞰データ取得方法Ａでは、直下視画像Ｐｎと前方視画像Ｐｆの組又は直下視画像Ｐｎと後方視画像Ｐｂの組を用いてステレオマッチングすることにより、撮像された都市地上面の三次元データを取得する。以下にその手順を説明する。
【００２０】
図１及び２は、三次元鳥瞰データ取得方法Ａにより特定範囲の都市地上面Ａ（建物オブジェクト群）の三次元データを取得する手順を示すフローチャートである。まず、ＴＬＳにより都市地上面Ａの前方視画像Ｐｆ、直下視画像Ｐｎ、後方視画像Ｐｂを撮像すると共に、それぞれの撮像時におけるリニアＣＣＤの投影中心点Ｃｆ、Ｃｎ、Ｃｂの三次元座標を算出する（Ｓ１０２）。投影中心点Ｃｆ、Ｃｎ、Ｃｂの三次元座標を算出する方法としては、ＧＰＳなどを用いることができる。なお、以下に現れる三次元座標は、特段の説明がない限り、同一の座標系に基づいているものとする。
【００２１】
以下に述べる画像処理を行うに先立って、エッジ選別条件を設定する（Ｓ１０３）。本実施形態では、直線エッジの長さが、画像上における地上面の１．８ｍに相当する長さＬ［ｍｍ］以上であることという選別条件を設定するものとする。
【００２２】
前方視画像Ｐｆ、直下視画像Ｐｎ、後方視画像Ｐｂのそれぞれについて、テクスチャ解析をした上、複数の領域Ｒｆｋ、Ｒｎｋ、Ｒｂｋ；ｋ＝１〜ｍに分割する（Ｓ１０４）。テクスチャ解析は、画像中で巨視的に濃度（画素値）が均一に分布している部分を検出することにより行われる。その具体的手法としては、領域拡張法、レベルライジング法などがある。
【００２３】
前方視画像Ｐｆ、直下視画像Ｐｎ、後方視画像Ｐｂのそれぞれについて、直線エッジの抽出を行う（Ｓ１０５）。ここで、直線エッジ抽出の詳細な手順を説明する。図３は、直線エッジ抽出の詳細な手順を示すフローチャートである。まず、画像中のエッジ（濃度変化の激しい部分であって、変化部分が線状に連なるところ）を検出する（Ｓ３０２）。その具体的手法としては、Ｃａｎｎｙ法などがある。なお、直線エッジとは、概ね直線上に並ぶ変化部分に相当する画素の連なりにおいて、直線からの微小なずれを修正したものをいうものとする。
【００２４】
検出されたエッジに直線テンプレートを当て嵌める（Ｓ３０４）。図８は、直線テンプレート及び直線テンプレートが当て嵌められる型枠を示す図である。直線テンプレートが当て嵌められる型枠は３ピクセル×３ピクセルで構成され、型枠中で変化部分に相当する画素が線状に連なっていると仮定した場合、直線テンプレートとしては、２２．５°ずつ角度が異なる８つの方向性のものλ１〜８が適用される。図８に示す型枠と直線テンプレートλ１〜８との対応関係に従って、型枠ごとに直線テンプレートλ１〜８が当て嵌められる。
【００２５】
当て嵌めた直線テンプレートで表現された直線の統合（直線化修正）が行われる（Ｓ３０６）。ここでは、隣り合う二つの直線テンプレートが角度差２２．５°でずれている場合に、かかる直線テンプレートで表現された直線を統合する。
【００２６】
Ｓ１０５で抽出された直線エッジを、Ｓ１０３で設定した選別条件に従って選別する（Ｓ１０６）。すなわち、画像上でＬ［ｍｍ］（画像上における地上面の１．８ｍに相当する長さ）未満の直線エッジを削除する。
【００２７】
都市地上面を構成する立体オブジェクトは、主として建物と樹木である。一般に、建物の外周は１．８ｍ以上の直線の組み合わせで構成される。そこで、画像上における地上面の１．８ｍ以上に相当する長さの直線エッジを選別することにより、建物によって生じるエッジを抽出すると同時に、樹木によって生じるエッジを取り除くことができる。図７に、建物と樹木を撮像した画像から樹木が取り除かれる様子を示す。ただし、このような作用は、画像Ｐｆ、Ｐｎ、Ｐｂが高精細画像であるときに効果的に達成される。例えば、地上面にあるオブジェクトの１．８ｍ未満の長さにおける形状変化を表せない画像であると、樹木によって生じるエッジもＬ［ｍｍ］以上の長さの直線エッジとなってしまい、上記の選別条件を充足することになるおそれがある。その結果、樹木が三次元データから取り除かれなくなる。かかる高精細画像としては、１ピクセルが画像上において地上面（水平面）の１．８ｍに相当する長さに収まるものが望ましい。
【００２８】
また、かかる高精細画像としては、２ピクセル、３ピクセル、４ピクセル、５ピクセル、６ピクセル、７ピクセル、８ピクセル又は９ピクセルが画像上において地上面（水平面）の１．８ｍに相当する長さに収まるものであるとなお好適である。
【００２９】
なお、都市地上面から樹木を抽出した三次元データが所望されるときには、例えば選別条件を画像上における地上面の０．２ｍに相当する長さｋ［ｍｍ］未満の長さとすればよい。一般に、樹木の外周は０．２ｍ未満の長さの直線の組み合わせで構成される。そこで、画像上における地上面の０．２ｍ未満に相当する長さの直線エッジを選別することにより、樹木によって生じるエッジを抽出することができると同時に、建物によって生じるエッジを取り除くことができる。ただし、このような作用は、画像Ｐｆ、Ｐｎ、Ｐｂが上記の例よりも更に高精細の画像であるときに効果的に達成される。例えば、地上面にあるオブジェクトの０．２ｍ未満の長さにおける形状変化を表せない画像、すなわち０．２ｍ四方の正方形型対空標識（図１３参照）を認識できない画像であると、樹木によって生じるエッジもｋ［ｍｍ］以上の長さの直線エッジとなってしまい、上記の選別条件から外れることになるおそれがある。その結果、樹木も三次元データから取り除かれてしまう。かかる高精細画像としては、９ピクセルが画像上において地上面（水平面）の１．８ｍに相当する長さに収まるものが望ましい。
【００３０】
Ｓ１０６で選別された直線エッジ群に基づいて領域Ｒｆｋ、Ｒｎｋ、Ｒｂｋを選別する（Ｓ１０７）。具体的には、周囲にＳ１０６で選別された直線エッジがある領域を残し、周囲に選別された直線エッジがない領域を削除する。この処理により建物によって生じる領域を抽出することができる。
【００３１】
Ｓ１０７で選別された領域の特徴点（例えば、角部）を抽出する（Ｓ１０８）。
【００３２】
領域Ｒｎｋの各特徴点が前方視画像Ｐｆにおける隠蔽部にあるか判断する（Ｓ１１０）。ここで、特徴点が前方視画像Ｐｆにおける隠蔽部にあるか判断する詳細な手順を説明する。図４は、特徴点が前方視画像Ｐｆにおける隠蔽部にあるか判断する詳細な手順を示すフローチャートである。
【００３３】
まず、レーザスキャンにより都市地上面の三次元データ（３Ｄレーザデータ曲面）を算出する（Ｓ４０２）。図１０は、レーザスキャナが実行される様子を示す図である。上空を飛行する航空機から地上面のランダムポイントに向けてレーザ光を発し、ランダムポイントで散乱したレーザ光が戻ってくるまでの時間から、航空機に搭載されたレーザスキャナ装置とランダムポイントとの距離を算出し、さらにレーザ光を照射する際のレーザスキャナ装置の三次元座標及びレーザ光の照射角度からランダムポイントの三次元座標を算出する。この処理を繰り返しつつ、地上面を走査することにより地上面の三次元データを得ることができる。ただし、一般に、ここで得られる三次元座標はステレオマッチング法に比べて間隔の大きい離散値であり、この離散値を補間して地上面の大まかな三次元データ（３Ｄレーザデータ曲面）を得る。
【００３４】
前方視画像Ｐｆを撮像する際の特徴点に対する視線ベクトルＶｆを算出する（Ｓ４０４）。具体的には、前方視画像Ｐｆの投影中心点Ｃｆの三次元座標を始点とし、レーザスキャナで得られる特徴点の三次元座標を終点とするベクトルを算出し、これを視線ベクトルＶｆとする。
【００３５】
都市地上面の三次元データ（３Ｄレーザデータ曲面）と、視線ベクトルＶｆとに交点があるか判断する（Ｓ４０６）。図９は、都市地上面の三次元データ（３Ｄレーザデータ曲面）と、視線ベクトルＶｆとが交わる様子を示す図である。ここで交点が存在することは、前方視画像Ｐｆの投影中心点Ｃｆから特徴点を見たときに、視線が他の地上物によって遮られることを意味する。そこで、交点があるときには、特徴点は前方視画像Ｐｆの隠蔽部にあると判断する（Ｓ４０８）。他方、交点がないときには、特徴点は前方視画像Ｐｆの隠蔽部にないと判断する（Ｓ４０９）。Ｓ１１０において、各特徴点について以上の処理を繰り返す。
【００３６】
いずれの特徴点も前方視画像Ｐｆの隠蔽部にないと判断されたときには、領域Ｒｎｋを前方視画像Ｐｆに投影して領域マッチングを行う（Ｓ１１２）。他方、いずれかの特徴点が前方視画像Ｐｆの隠蔽部にあると判断されたときには、前方視画像Ｐｆに代えて後方視画像Ｐｂをステレオ画像に選択し、領域Ｒｎｋを後方視画像Ｐｂに投影して領域マッチングを行う（Ｓ１１３）。片方のステレオ画像における隠蔽の存在は正確なステレオマッチングを妨げる原因の一つとなる。しかし、本実施形態では、上記のように都市地上面の三次元データ（３Ｄレーザデータ曲面）と視線ベクトルＶｆとの交点の有無を調査することにより、機械的に隠蔽の存在を検出することができる。さらに、前方視画像Ｐｆに隠蔽の存在が検出されたとき、前方視画像Ｐｆに代えて後方視画像Ｐｂをステレオ画像に選択することでステレオマッチングの正確性が向上する。
【００３７】
以下にＳ１１２、２０２、２０４及び２０６の処理（前方視画像Ｐｆをステレオ画像に選択したときの処理）を説明するが、これらの処理はＳ１１３、２０３、２０５及び２０７の処理（後方視画像Ｐｂをステレオ画像に選択したときの処理）と同一であるので、Ｓ１１３、２０３、２０５及び２０７の処理の説明は省略する。Ｓ１１２における領域マッチングの詳細な手順を説明する。図５は、領域マッチングの詳細な手順を示すフローチャートである。
【００３８】
まず、領域Ｒｎｋ中心点の前方視画像Ｐｆ上におけるエピポーララインを算出する（Ｓ５０２）。エピポーララインとは、対象画像とエピポーラ面（対象画像の投影中心点及び対象点が切り出された画像における対象点に対する視線ベクトルを含む面）との交線を指す。Ｓ５０２においては次のようにしてエピポーララインが算出される。（１）直下視画像Ｐｎ上における領域Ｒｎｋ中心点の二次元座標と投影中心点Ｃｎとの相対位置関係から、領域Ｒｎｋ中心点の三次元座標を算出する。（２）領域Ｒｎｋ中心点、投影中心点Ｃｎ及び投影中心点Ｃｆの三次元座標を含む平面の三次元データを算出し、これをエピポーラ面とする。（３）投影中心点Ｃｆと前方視画像Ｐｆとの相対位置関係から、前方視画像Ｐｆの三次元データを算出する。（４）エピポーラ面と前方視画像Ｐｆとの交線の三次元データを算出し、これをエピポーララインとする。
【００３９】
エピポーラライン上に領域Ｒｎｋ中心点が乗るように、領域Ｒｎｋを前方視画像Ｐｆに投影する（Ｓ５０４）。
【００４０】
領域Ｒｎｋ中心点をエピポーララインに沿って移動させつつ、領域Ｒｎｋとエピポーラライン上の各領域Ｒｆｋとの領域形状マッチング係数Ｒを算出する（Ｓ５０６）。領域形状マッチング係数Ｒは、二つの領域の大きさ及び形状の類似性並びに二つの領域の重なり度合いを示す相関係数であり、次の式（１）に表される。
【００４１】
【数１】
Ｎｆ：領域Ｒｆｋが占める画素数
Ｎｏ：領域Ｒｎｋと領域Ｒｆｋとがオーバーラップする範囲の画素数
【００４２】
式（１）に表されるように、領域形状マッチング係数Ｒの分母をＮｎ（領域Ｒｎｋが占める画素数）でなく、Ｎｎ（領域Ｒｎｋが占める画素数）とＮｆ（領域Ｒｆｋが占める画素数）との積とすることにより、この相関係数が、領域Ｒｎｋにおけるオーバーラップの程度だけを示すものではなく、領域Ｒｆｋにおいてどれだけの程度でオーバーラップされているかも示すものとなる。
【００４３】
図１１は、領域形状マッチング係数Ｒの算出結果の例を示す図である。図１１において、ｘ方向にエピポーラライン上にある各領域Ｒｆｋの領域番号ｋを示す。ｙ軸方向に領域Ｒｎｋ中心点のエピポーラライン上における位置を示す。ｚ軸方向に領域形状マッチング係数Ｒを示す。それぞれの領域番号ｋについて領域形状マッチング係数Ｒのピークが存在するが、そのピークのうち最も高いピークを検出する。最も高いピークを有する領域Ｒｆｋが領域Ｒｎｋに対応すると判断し、かつこのピークが現れるエピポーラライン上の位置に領域Ｒｎｋ中心点があるときに領域Ｒｎｋと領域Ｒｆｋがマッチングされると判断する（Ｓ５０８）。このように、領域中心点のエピポーラライン上にマッチング範囲を限定することにより、計算量を軽減させると共にマッチングの正確性を向上させることができる。また、領域形状マッチング係数Ｒを用いた領域マッチング（領域の面積及び形状に基づく領域マッチング）により、大まかな領域マッチングを少ない計算量で行うことができる。
【００４４】
Ｓ５０８で検出された最大ピークが現れるエピポーラライン上の位置の付近で領域Ｒｎｋを動かしつつ、投影した領域Ｒｎｋとこれと重なった領域との画素値相関係数Ｓを算出する（Ｓ５１０）。画素値相関係数Ｓは、二つの領域における濃度分布の類似性を示す相関係数であり、次の式（２）に表される。
【００４５】
【数２】
ｍ：領域Ｒｎｋの前方視画像Ｐｆにおけるｙ方向の大きさ（ピクセル）
ｆ（ｕ，ｖ）：前方視画像Ｐｆ上の座標（ｕ，ｖ）における前方視画像Ｐｆの画素値
ｎ（ｕ，ｖ）：前方視画像Ｐｆ上の座標（ｕ，ｖ）における領域Ｒｎｋの画素値
【００４６】
画素値相関係数Ｓのピークを検出し、このときの領域Ｒｎｋの位置において領域マッチングなされたものとする（Ｓ５１２）。このように、多段階の領域マッチングを行うことにより、マッチングの正確性を向上させることができる。また、画素値相関係数Ｓを用いた領域マッチング（領域の濃度分布に基づく領域マッチング）により、投影した領域とこれに対応する領域とを正確に重ね合わせることができる。
【００４７】
領域Ｒｎｋの近傍にある直線エッジを前方視画像Ｐｆに投影し、直線エッジマッチングを行う（Ｓ２０２）。ここで、直線エッジマッチングの詳細な手順を説明する。図６は、直線エッジマッチングの詳細な手順を示すフローチャートである。まず、投影された直線エッジと方向性の近い直線エッジを検索する（Ｓ６０２）。ただし、検索される範囲は、Ｓ１１２でマッチングされた領域の近傍に限定される。
【００４８】
さらに、投影された直線エッジと長さの近い直線エッジを絞り込み検索する（Ｓ６０４）。
【００４９】
マッチングされた領域Ｒｆｋ、領域Ｒｎｋそれぞれとの位置関係に基づき対応する直線エッジを絞り込み検索する（Ｓ６０６）。
【００５０】
直線エッジ両側の平均濃度に基づき対応する直線エッジを絞り込み検索する（Ｓ６０８）。このように、Ｓ１１２でマッチングされた領域の近傍にマッチング範囲を限定することにより、すなわち領域マッチングを行った後に領域マッチングの結果を利用してエッジマッチングの範囲を限定することにより、少ない計算量で正確にマッチングすることができる。また、エッジを直線化修正した上でエッジマッチングすることにより、対応するエッジを検索するのが容易になる。加えて、多段階の直線エッジマッチングを行うことにより、マッチングの正確性を向上させることができる。
【００５１】
Ｓ２０２でマッチングされた直線エッジの特徴点を抽出する（Ｓ２０４）。具体的には、直線エッジの両端を特徴点とする。
【００５２】
領域Ｒｎｋの特徴点及びＳ２０４で抽出された直線エッジの特徴点をマッチングする（Ｓ２０６）。
【００５３】
マッチングされた各特徴点の三次元座標を算出する（Ｓ２１０）。ここで、前方視画像Ｐｆと直下視画像Ｐｎにおいてマッチングされた特徴点の三次元座標算出方法を説明する。図１２は、ステレオマッチング法において対応点（特徴点）の三次元座標が算出される論理を説明する図である。理論的には前方視画像Ｐｆにおける特徴点に対する視線ベクトルと、直下視画像Ｐｎにおける特徴点に対する視線ベクトルとの交点の三次元座標を算出することにより特徴点の三次元座標を得ることができる。しかし、現実には投影中心点の測定誤差などの原因により視線ベクトルが交わらないことがある。そこで、視線ベクトル間の距離が最も近くなる点Ｏｆ、Ｏｎの中点を特徴点の三次元位置とする。
【００５４】
以下に、特徴点の三次元座標を算出する具体的手順を示す。（１）まず、前方視画像Ｐｆ上の特徴点の三次元座標と、投影中心点Ｃｆの三次元座標とを通過する直線の単位ベクトルを算出し、これから視線ベクトルＥｆ（Ｘｆｐ，Ｙｆｐ，Ｚｆｐ）を算出する。視線ベクトルＥｆは、次の式（３）に表される。
【００５５】
【数３】
（Ｖｆｘ，Ｖｆｙ，Ｖｆｚ）：前方視画像Ｐｆ上の特徴点の三次元座標と、投影中心点Ｃｆの三次元座標とを通過する直線の単位ベクトル
ｔｆ：パラメータ
【００５６】
（２）直下視画像Ｐｎ上の特徴点の三次元座標と、投影中心点Ｃｎの三次元座標とを通過する直線の単位ベクトルを算出し、これから視線ベクトルＥｎ（Ｘｎｐ，Ｙｎｐ，Ｚｎｐ）を算出する。視線ベクトルＥｎは、次の式（４）に表される。
【００５７】
【数４】
（Ｖｎｘ，Ｖｎｙ，Ｖｎｚ）：直下視画像Ｐｎ上の特徴点の三次元座標と、投影中心点Ｃｎの三次元座標とを通過する直線の単位ベクトル
ｔｎ：パラメータ
【００５８】
（３）視線ベクトル間の距離が最も近くなるときのパラメータｔｆ、ｔｎを算出し、これから視線ベクトル間の距離が最も近くなる点Ｏｆ、Ｏｎの三次元座標を得る。
【００５９】
（４）視線ベクトル間の距離が最も近くなる点Ｏｆ、Ｏｎの中点の三次元座標を算出する。Ｓ２１０において以上の計算を繰り返して各特徴点の三次元座標を算出する。
【００６０】
Ｓ２０６の結果から直線エッジの三次元データを取得する。このようにして三次元線分群が得られる（Ｓ２１２）。
【００６１】
また、領域Ｒｎｋの特徴点（例えば角部）の三次元座標から領域Ｒｎｋの三次元データを算出する（Ｓ２１４）。ここで算出する領域Ｒｎｋの三次元データは大まかなものでよい。
【００６２】
すべての領域Ｒｎｋ（Ｓ１０７で選別されたもの）についてＳ１１０からＳ２１４までの処理が完了した場合にはＳ２２２に進む。未処理の領域Ｒｎｋが存在する場合には、Ｓ１０７で選別された領域であってかつ領域番号ｋが大きい領域ＲｎｋについてＳ１１０からＳ２１４までの処理を行う（Ｓ２１６）。
【００６３】
上記の処理で得られた三次元線分群及び領域の三次元データを３Ｄワークスペース（三次元座標系）に投影する（Ｓ２１８）。
【００６４】
領域の三次元データを覆うように三次元線分群を再構成する（Ｓ２２０）。三次元線分群は上記の処理により高い精度で求めることができるが、都市の鳥瞰図を得る上では意味のないものも含まれている。しかし、領域の三次元データを参考にして三次元線分群を再構成することにより、都市の鳥瞰図として意味のあるデータを生成することができる。
【００６５】
再構成された三次元線分群で構成される領域に建物屋上面のテンプレートを当て嵌め、建物屋上面を推定する（Ｓ２２２）。
【００６６】
得られた建物屋上面と地表面とつなぐ側壁を形成させることによりソリッド化して、建物セグメントを得る（Ｓ２２４）。
【００６７】
近接する建物セグメントをクラスタリングして、建物オブジェクトを得る（Ｓ２２６）。以上の手順を踏むことにより、都市地上面Ａ（建物オブジェクト群）の三次元データを得ることができる。
【００６８】
以上説明したように、本実施形態では、ステレオマッチングをする前に、三次元化する必要がない樹木によって生じるエッジ又は領域を削除する。その結果、エッジマッチング又は領域マッチングをする際の検索対象を減らすことができ、マッチングの速度及び正確性を向上させることができる。
【００６９】
なお、上記の実施形態では、上空から地上に向けてＴＬＳ走査するものであったが、建物オブジェクト群の側方から水平方向にステレオ画像の撮像を行うことによって建物オブジェット群側壁の三次元データを取得し、これから都市地上面の三次元データを取得してもよい。
【００７０】
次に、本発明の実施形態に係るステレオマッチングプログラム４及びステレオマッチングプログラム４を記録した記録媒体１４について説明する。図１４は、ステレオマッチングプログラム４及びステレオマッチングプログラム４を記録した記録媒体１４の構成図である。ステレオマッチングプログラム４は、その構成要素として、エッジ検出モジュール４２、直線化修正モジュール４４、選別条件設定モジュール４６及び選別モジュール４８を含んで構成される。ステレオマッチングプログラム４を後述のコンピュータに適用することにより、上記のステレオマッチング方法が実行される。
【００７１】
図１５は、ステレオマッチングプログラム４が実行されるコンピュータ５の物理的構成を示す図である。コンピュータ５は、物理的構成要素として、中央処理装置（ＣＰＵ）５２、オペレーティングシステムを常駐させた作業用メモリ５４、読み取り装置５６、ディスプレイ５７及び入力装置５８を備える。
【００７２】
記録媒体１４が読み取り装置５６に挿入されると、記録媒体１４に記録された情報が読み取り装置５６からアクセス可能となり、ステレオマッチングプログラム４が、コンピュータ５によって実行される。
【００７３】
【発明の効果】
以上説明したように、本発明により、ステレオマッチングをする前に、三次元化する必要がないオブジェクトによって生じるエッジ又は領域を削除できるステレオマッチング方法等を提供することができる。
【図面の簡単な説明】
【図１】三次元鳥瞰データ取得方法Ａにより特定範囲の都市地上面Ａ（建物オブジェクト群）の三次元データを取得する手順を示す第１のフローチャートである。
【図２】三次元鳥瞰データ取得方法Ａにより特定範囲の都市地上面Ａ（建物オブジェクト群）の三次元データを取得する手順を示す第２のフローチャートである。
【図３】直線エッジ抽出の詳細な手順を示すフローチャートである。
【図４】特徴点が前方視画像Ｐｆにおける隠蔽部にあるか判断する詳細な手順を示すフローチャートである。
【図５】領域マッチングの詳細な手順を示すフローチャートである。
【図６】直線エッジマッチングの詳細な手順を示すフローチャートである。
【図７】建物と樹木を撮像した画像から樹木が取り除かれる様子を示した図である。
【図８】直線テンプレート及び直線テンプレートが当て嵌められる型枠を示す図である。
【図９】都市地上面の三次元データ（３Ｄレーザデータ曲面）と、視線ベクトルＶｆとが交わる様子を示す図である。
【図１０】レーザスキャナが実行される様子を示す図である。
【図１１】領域形状マッチング係数Ｒの算出結果の例を示す図である。
【図１２】ステレオマッチング法において対応点（特徴点）の三次元座標が算出される論理を説明する図である。
【図１３】対空標識を示す図である。
【図１４】ステレオマッチングプログラム４及びステレオマッチングプログラム４を記録した記録媒体１４の構成図である。
【図１５】エッジマッチングプログラム３又はステレオマッチングプログラム４が実行されるコンピュータ５の物理的構成を示す図である。
【符号の説明】
１４…記録媒体、４…ステレオマッチングプログラム、４２…エッジ検出モジュール、４４…直線化修正モジュール、４６…選別条件設定モジュール、４８…選別モジュール、５…コンピュータ、５２…ＣＰＵ、５４…作業用メモリ、５６…読み取り装置、５７…ディスプレイ、５８…入力装置、６…対空標識。
Claims (11)
- 互いに異なる方向から同一のオブジェクト群を撮像した複数のステレオ画像に基づいて前記オブジェクト群の三次元データを取得するステレオマッチング方法において、
前記ステレオ画像からエッジを検出するエッジ検出ステップと、
前記エッジを直線化修正する直線化修正ステップと、
前記直線化修正によって得られた直線エッジを選別するための選別条件を設定する選別条件設定ステップと、
前記選別条件に従って前記直線エッジを選別する選別ステップとを含む
ことを特徴とするステレオマッチング方法。 - 前記選別条件を、所定の長さよりも長い前記直線エッジとする
ことを特徴とする請求項１記載のステレオマッチング方法。 - 前記選別条件を、前記ステレオ画像における前記オブジェクトの実寸法１．８ｍに相当する長さ以上の長さの前記直線エッジとする
ことを特徴とする請求項１記載のステレオマッチング方法。 - 前記ステレオ画像が、前記オブジェクトの１．８ｍ未満の長さにおける形状変化を表したものである
ことを特徴とする請求項２又は３に記載のステレオマッチング方法。 - 前記選別条件を、所定の長さよりも短い前記直線エッジとする
ことを特徴とする請求項１記載のステレオマッチング方法。 - 前記選別条件を、前記ステレオ画像における前記オブジェクトの実寸法０．２ｍに相当する長さ未満の長さの前記直線エッジとする
ことを特徴とする請求項１記載のステレオマッチング方法。 - 前記ステレオ画像が、０．２ｍ四方の正方形型対空標識を認識できるものである
ことを特徴とする請求項５又は６に記載のステレオマッチング方法。 - 前記ステレオ画像が、前記オブジェクトの０．２ｍ未満の長さにおける形状変化を表したものである
ことを特徴とする請求項５又は６に記載のステレオマッチング方法。 - 更に、前記ステレオ画像を複数の領域に分割する領域分割ステップを含み、
前記選別ステップで選別された直線エッジ群の情報を用いて、前記領域の情報を修正する
ことを特徴とする請求項１ないし８のいずれか１項に記載のステレオマッチング方法。 - 請求項１ないし９のいずれか１項に記載のステレオマッチング方法をコンピュータに実行させる
ことを特徴とするステレオマッチングプログラム。 - 請求項１０記載のステレオマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002188518A JP2004030453A (ja) | 2002-06-27 | 2002-06-27 | ステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002188518A JP2004030453A (ja) | 2002-06-27 | 2002-06-27 | ステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004030453A true JP2004030453A (ja) | 2004-01-29 |
Family
ID=31183248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002188518A Pending JP2004030453A (ja) | 2002-06-27 | 2002-06-27 | ステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004030453A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011203159A (ja) * | 2010-03-26 | 2011-10-13 | Nec Corp | 赤外線撮像装置及び赤外線画像の表示方法 |
| US8154594B2 (en) | 2004-08-11 | 2012-04-10 | Tokyo Institute Of Technology | Mobile peripheral monitor |
| US8180100B2 (en) | 2004-08-11 | 2012-05-15 | Honda Motor Co., Ltd. | Plane detector and detecting method |
| US8331653B2 (en) | 2004-08-11 | 2012-12-11 | Tokyo Institute Of Technology | Object detector |
| JP2014134442A (ja) * | 2013-01-10 | 2014-07-24 | Mitsubishi Electric Corp | 赤外線目標検出装置 |
-
2002
- 2002-06-27 JP JP2002188518A patent/JP2004030453A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8154594B2 (en) | 2004-08-11 | 2012-04-10 | Tokyo Institute Of Technology | Mobile peripheral monitor |
| US8180100B2 (en) | 2004-08-11 | 2012-05-15 | Honda Motor Co., Ltd. | Plane detector and detecting method |
| US8331653B2 (en) | 2004-08-11 | 2012-12-11 | Tokyo Institute Of Technology | Object detector |
| JP2011203159A (ja) * | 2010-03-26 | 2011-10-13 | Nec Corp | 赤外線撮像装置及び赤外線画像の表示方法 |
| JP2014134442A (ja) * | 2013-01-10 | 2014-07-24 | Mitsubishi Electric Corp | 赤外線目標検出装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111797650B (zh) | 障碍物的识别方法、装置、计算机设备和存储介质 | |
| JP6426968B2 (ja) | 情報処理装置およびその方法 | |
| Kang et al. | Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model | |
| JP5870273B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
| JP5430456B2 (ja) | 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 | |
| JP2021192064A (ja) | ３次元計測システム及び３次元計測方法 | |
| KR20160003776A (ko) | 자세 추정 방법 및 로봇 | |
| WO2020000737A1 (zh) | 移动机器人定位方法、存储介质及计算机设备 | |
| JP6524529B2 (ja) | 建築限界判定装置 | |
| JP2007213353A (ja) | 三次元物体を検出する装置 | |
| JP6172432B2 (ja) | 被写体識別装置、被写体識別方法および被写体識別プログラム | |
| WO2017051480A1 (ja) | 画像処理装置及び画像処理方法 | |
| JP2004030461A (ja) | エッジマッチング方法、エッジマッチングプログラム、エッジマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体、ステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN112424565B (zh) | 车载环境识别装置 | |
| JP2013178656A (ja) | 画像処理装置、画像処理方法および画像処理用のプログラム | |
| JP2019114103A (ja) | 物体認識処理装置、物体認識処理方法及びプログラム | |
| KR101549155B1 (ko) | 라이다 자료를 활용한 구조물의 직선경계 추출방법 | |
| Wenzel et al. | High-resolution surface reconstruction from imagery for close range cultural Heritage applications | |
| Moussa et al. | A fast approach for stitching of aerial images | |
| CN110189403B (zh) | 一种基于单波束前视声纳的水下目标三维重建方法 | |
| JP7298687B2 (ja) | 物体認識装置及び物体認識方法 | |
| JP2004030453A (ja) | ステレオマッチング方法、ステレオマッチングプログラム及びステレオマッチングプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3919722B2 (ja) | 肌形状計測方法及び肌形状計測装置 | |
| JPH10269365A (ja) | 特徴抽出方法およびその方法を用いた物体認識装置 | |
| US20220276046A1 (en) | System and method for providing improved geocoded reference data to a 3d map representation |