JP2014123208A

JP2014123208A - ３次元復元装置

Info

Publication number: JP2014123208A
Application number: JP2012278273A
Authority: JP
Inventors: Hideaki Maehara; 秀明前原
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2012-12-20
Filing date: 2012-12-20
Publication date: 2014-07-03

Abstract

【課題】プリミティブ図形への置き換えを行わなくても、精度の高い３次元復元結果の得られる３次元復元装置を得る。
【解決手段】ステレオペア生成手段１は多視点画像に基づいてステレオペアを複数生成する。３次元座標推定手段２は、これらのステレオペアから画素毎の３次元座標を推定する。サンプリング点定義手段３は、３次元座標のサンプリング点を定義する。統計処理手段４は、サンプリング点毎に複数の３次元座標推定値を集めて最尤推定を行う。３次元座標表示手段５は、得られたサンプリング点毎の３次元座標をディスプレイ４０に表示させる。
【選択図】図１

Description

この発明は、例えば、防災用ヘリコプタなどに搭載されているスタビライザ（防振装置付き）カメラなどからのビデオ映像から、道路・橋梁、建造物などの３次元構造を推定する３次元復元装置に関するものである。

建造物などを空撮ビデオ映像から３次元復元する技術としては、例えば、非特許文献１に示されるように、スタビライザカメラを搭載したヘリコプタにより撮影されたビデオ映像から、建造物等の３次元モデルを生成し都市景観を再現する方法があった。

若林佳織、外３名、"上空からの3次元都市景観情報構築技術"、［online］、2005.2、NTT技術ジャーナル、［平成24年11月13日検索］、インターネット〈URL：http://www.ntt.co.jp/journal/0502/files/jn200502008.pdf〉

しかしながら、上記従来の方法では、３次元復元結果の精度を向上させるために、計算された３次元座標点を直方体や角柱などのプリミティブ図形へ置き換える処理が必要であり、その結果、建造物の細部構造情報が捨てられてしまうという課題があった。

この発明は上記のような課題を解決するためになされたもので、プリミティブ図形への置き換えを行わなくても、精度の高い３次元復元結果の得られる３次元復元装置を得ることを目的とする。

この発明に係る次元復元装置は、多視点画像を組み合わせて、２枚１組の画像であるステレオペアを２組以上生成するステレオペア生成手段と、個々のステレオペアに対して画素同士の対応付けを行うとともに、多視点画像を撮影したカメラの外部パラメータと内部パラメータから決定される、多視点画像における画素毎の光線ベクトルの交点を計算することにより、画素毎の３次元座標を推定する３次元座標推定手段と、３次元座標のサンプリング点を定義するサンプリング点定義手段と、定義されたサンプリング点毎に複数の３次元座標推定値を集めて、最尤推定を行う統計処理手段と、統計処理手段の最尤推定で得られたサンプリング点毎の３次元座標を表示装置に表示させる３次元座標表示手段とを備えたものである。

この発明の次元復元装置は、多視点画像に基づいてステレオペアを複数生成し、これらのステレオペアから画素毎の３次元座標を推定すると共に３次元座標のサンプリング点を定義し、サンプリング点毎に複数の３次元座標推定値を集めて最尤推定を行って３次元座標を表示するようにしたので、プリミティブ図形への置き換えを行わなくても、精度の高い３次元復元結果を得ることができる。

この発明の実施の形態１による３次元復元装置を示す構成図である。この発明の実施の形態１の３次元復元装置におけるビデオフレームと外部パラメータを示す説明図である。この発明の実施の形態１の３次元復元装置におけるビデオフレームを示す説明図である。この発明の実施の形態１の３次元復元装置におけるステレオペアの生成を示す説明図である。この発明の実施の形態１の３次元復元装置における画素毎の３次元座標推定値の求め方を示す説明図である。この発明の実施の形態１の３次元復元装置におけるサンプリング点を示す説明図である。この発明の実施の形態１の３次元復元装置における基準フレームにおけるある画素についての３次元座標推定値を示す説明図である。この発明の実施の形態１の３次元復元装置における２次元平面への透視投影像の表示を示す説明図である。この発明の実施の形態１の３次元復元装置における基準フレームの各画素毎に算定された３次元座標推定値の精度を示す説明図である。この発明の実施の形態１の３次元復元装置におけるステレオペアの生成の他の例を示す説明図である。

実施の形態１．
図１は、本発明の実施の形態１による３次元復元装置の構成を示す図である。
図示の３次元復元装置は、プログラムを実行する計算機１０と、空撮ビデオ映像を撮影するスタビライザカメラ搭載防災用ヘリコプタ２０と、空撮ビデオ映像を記録するハードディスク３０と、３次元復元の結果を出力表示する表示装置であるディスプレイ４０で構成される。なお、スタビライザカメラ搭載防災用ヘリコプタ２０（以下、防災ヘリ２０と記述）は、スタビライザカメラに加えて、ヘリコプタの現在位置を特定するためのＧＰＳ、カメラの姿勢を特定するジャイロセンサ、および空撮ビデオ映像・位置データ・姿勢データを伝送する無線伝送装置を備えているとする。

ハードディスク３０は、防災ヘリ２０から伝送された空撮ビデオ映像（多視点画像）とカメラの外部パラメータ（位置データ・姿勢データ）を記憶するものである。ステレオペア生成手段１は、多視点画像を組み合わせてステレオペアを２組以上生成するものである。３次元座標推定手段２は、個々のステレオペアにおいて画素同士の対応付けを求めるとともに、カメラの外部パラメータと内部パラメータから決定される多視点画像における画素毎の光線ベクトルの交点を計算することにより、画素毎の３次元座標を推定する手段である。サンプリング点定義手段３は、３次元座標のサンプリング点を定義する手段である。統計処理手段４は、サンプリング点毎に複数の３次元座標推定値を集め、最尤推定と精度の定量化を行う手段である。３次元座標表示手段５は、得られたサンプリング点毎の３次元座標を表示する手段である。また、これらステレオペア生成手段１〜３次元座標表示手段５は、それぞれの手段に対応したプログラムをＣＰＵがメモリ等のハードウェアを用いて実行することにより実現されている。

次に、実施の形態１の３次元復元装置の動作について説明する。
空撮ビデオ映像は１秒間に３０枚程度の静止画からなり、個々の静止画をビデオフレームと呼ぶ。従って、空撮ビデオ映像は連続したビデオフレームとして記憶される。図２は、防災ヘリ２０により撮影され、ハードディスク３０に記憶されたビデオフレームと外部パラメータの例である。ここでは、各ビデオフレーム毎に外部パラメータが与えられると仮定している（実際にはＧＰＳやジャイロセンサの計測結果は所定の時間間隔で得られるので、その結果を補間することによってフレーム毎の外部パラメータを算定する）。なお、位置データは平面直角座標系９系のＸ座標・Ｙ座標・標高で与えられるとする。また、地球中心への向きをＺ軸プラス、Ｚ軸に直交する北へ向きをＸ軸プラス、これらＺ軸とＸ軸に基づき右手座標系で定義されるＹ軸に対する座標系において、姿勢データはＸ軸・Ｙ軸・Ｚ軸に対するそれぞれの回転角で与えられるとする。

ハードディスク３０には、図３に例示したビデオフレーム２７．８３〜２８．０７および２９．５３の計９枚と、それぞれの外部パラメータが記憶されているとする。防災ヘリ２０は、画像の上部方向にほぼ一定の速度で飛行しながら撮影を行っているとする。各フレームに付与されている数値は、基準時刻からの経過秒を示す。まず、ステレオペア生成手段１は、図４に例示するように、ビデオフレーム２７．８３〜２８．０７および２９．５３から、ビデオフレーム２９．５３を基準フレームとして、２７．８３−２９．５３、２７．８７−２９．５３〜２８．０７−２９．５３の８つのステレオペアを生成し、ハードディスク３０に記憶する。ここで２９．５３を基準フレームとしたのは、２７．８３〜２８．０７のフレームに対して、ほぼ一定の視差を持つからである。

次に、３次元座標推定手段２は、まず、ハードディスク３０に記憶されたステレオペア１〜８を順に読み込み、すべての画素について対応関係を求める。一般的にこの方法は面積相関法と呼ばれる方法によって行われるが、広く知られた方法であるので、ここでは説明を省略する。次に、３次元座標推定手段２は、図５に示すように、カメラの外部パラメータと内部パラメータからビデオフレームにおける画素毎の光線ベクトルを決定し、対応する画素毎に、２本の光線ベクトルの３次元空間における交点を計算することにより、画素毎の３次元座標推定値を得る。画素（ｕ，ｖ）の光線ベクトル（ｅｘ，ｅｙ，ｅｚ）は次式で計算される（ただし、外部パラメータであるω、φ、κは、フレーム毎に異なる）。なお、ここでは、内部パラメータとしては焦点距離ｆのみを用いるとする。

次に、サンプリング点定義手段３は、後述する方法によって複数の３次元座標推定結果を統計処理するために、３次元座標推定値のサンプリング点を定義する。ここでは、基準フレームの各画素を３次元座標推定値のサンプリング点とする。

次に、統計処理手段４は、サンプリング点定義手段３によって定義されたサンプリング点毎に、３次元座標推定手段２において計算された３次元座標推定値を集め、統計量を計算する。具体的には、図６に示すように、基準フレーム中の各画素について、ステレオペア２７．８３−２９．５３〜ステレオペア２８．０７−２９．５３から得られた８個の３次元座標推定値について、スミルノフ・グラブス検定法に基づく外れ値の除去を行った後、平均値を計算して１つの３次元座標推定値を得る。また、複数の３次元座標推定値のばらつきから精密度（ｐｒｅｃｉｓｉｏｎ）を算定する。図７は、基準フレームにおけるある画素（ｕ，ｖ）についての３次元座標推定値の例を示す。この例では、ステレオペア７の３次元座標推定値が外れ値として除去され、それ以外の推定値から平均が求められ、３次元座標値（−５８７５．８，−３４９２４．２，１６４．０）が決定される。

最後に、３次元座標表示手段５は、基準フレームの各画素について、統計処理手段４によって計算された３次元座標に基づいて２次元平面への透視投影像を生成し、ディスプレイ４０に表示する。この表示の例を、図８に示す。左側の図は、基準フレーム上に定義した視点Ａからの透視投影像であり、右側の図は、基準フレーム上に定義した視点Ｂからの透視投影像を示す。また、図９は、基準フレームの各画素毎に算定された３次元座標推定値の精度を示している。

なお、上記実施の形態では、統計処理手段４において、複数の３次元座標推定値に対し、外れ値除去を行った後、平均により１個の３次元座標推定値を算定したが、個々の３次元座標推定の信頼度に基づいて、加重加算により算定するよう実施してもよい。このときの信頼度としては、例えば、３次元座標推定手段２において面積相関法による画素同士の対応付けを求めた際の相関値を使用することができる。

なお、上記実施の形態のステレオペア生成手段１では、基準フレームから過去の一定の期間内にあるフレームについてステレオペアを生成していたが、毎時ｔにおいて所定の時差がＴである時刻ｔ−Ｔにおける画像を基準の画像Ａとし、画像Ａと時刻ｔ〜ｔ−ｎ（ｎ＜Ｔ）の画像についてステレオペアを生成するように実施してもよい。時差Ｔを５、期間ｎを３とした場合の例を図１０に示す。こうすることにより、開始（ｔ＝０）から一定時刻経過以降（図１０においてはｔ＝１６以降）は、過去にステレオペアとなったフレームの組み合わせが出現するので（図１０のｔ＝１６において、フレーム０８とフレーム００は、ｔ＝８においてステレオペアとなっている）。すなわち、秒毎４個の３次元座標推定値を計算しても、過去に計算した結果を参照することで合計８個の３次元座標推定値を得ることができるようになり、計算量を減ずることができる。

また、ステレオペア生成手段１において、予め視差の上限値と下限値を設定しておき、１枚の画像を基準として、視差が上限値と下限値の間にある画像を２枚以上選択してステレオペアを生成するようにしてもよい。

なお、上記実施の形態では、多視点画像として、防災ヘリ２０によって撮影された空撮ビデオ映像を用いたが、これ以外にも、光学観測衛星によって撮影される空撮画像を用いることもできる。

以上説明したように、実施の形態１の３次元復元装置によれば、多視点画像を組み合わせて、２枚１組の画像であるステレオペアを２組以上生成するステレオペア生成手段と、個々の前記ステレオペアに対して画素同士の対応付けを行うとともに、多視点画像を撮影したカメラの外部パラメータと内部パラメータから決定される、多視点画像における画素毎の光線ベクトルの交点を計算することにより、画素毎の３次元座標を推定する３次元座標推定手段と、３次元座標のサンプリング点を定義するサンプリング点定義手段と、定義されたサンプリング点毎に複数の３次元座標推定値を集めて、最尤推定を行う統計処理手段と、統計処理手段の最尤推定で得られたサンプリング点毎の３次元座標を表示装置に表示させる３次元座標表示手段とを備えたので、３次元復元結果をプリミティブ図形に置き換えることなく、精度の高い３次元復元を行うことができる。

また、実施の形態１の３次元復元装置によれば、ステレオペア生成手段は、予め視差の上限値と下限値を設定しておき、１枚の画像を基準として、視差が上限値と下限値の間にある画像を２枚以上選択してステレオペアを生成するようにしたので、より精度の高い３次元復元を行うことができる。

また、実施の形態１の３次元復元装置によれば、ステレオペア生成手段は、毎時ｔにおいて所定の時差がＴである時刻ｔ−Ｔにおける画像を基準の画像Ａとし、画像Ａと時刻ｔ〜ｔ−ｎ（ｎ＜Ｔ）の画像についてステレオペアを生成し、サンプリング点定義手段は、画像Ａの各画素をサンプリング点とし、３次元座標推定手段は、３次元座標を順次推定していくこととし、統計処理手段は、時刻ｔ´において、時刻ｔ´−Ｔの位置にある画像Ａ´の各画素の３次元座標の推定値として、時刻ｔ´〜ｔ´−ｎの画像を用いて算定した推定値に加え、時刻ｔ´−２Ｔ〜ｔ´−２Ｔ−ｎの画像を用いて過去に算定されている推定値を用い、最尤推定と精度の定量化を行うようにしたので、計算量を減ずることができる。

また、実施の形態１の３次元復元装置によれば、統計処理手段は、複数の３次元座標推定値のばらつきから、最尤推定によって定めた３次元座標推定値の精密度を計算するようにしたので、３次元座標値の精度を出力することができる。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

１ステレオペア生成手段、２３次元座標推定手段、３サンプリング点定義手段、４統計処理手段、５３次元座標表示手段、１０計算機、２０スタビライザカメラ搭載防災用ヘリコプタ（防災ヘリ）、３０ハードディスク、４０ディスプレイ。

Claims

多視点画像を組み合わせて、２枚１組の画像であるステレオペアを２組以上生成するステレオペア生成手段と、
個々の前記ステレオペアに対して画素同士の対応付けを行うとともに、前記多視点画像を撮影したカメラの外部パラメータと内部パラメータから決定される、前記多視点画像における画素毎の光線ベクトルの交点を計算することにより、画素毎の３次元座標を推定する３次元座標推定手段と、
前記３次元座標のサンプリング点を定義するサンプリング点定義手段と、
前記定義されたサンプリング点毎に複数の３次元座標推定値を集めて、最尤推定を行う統計処理手段と、
前記統計処理手段の最尤推定で得られた前記サンプリング点毎の３次元座標を表示装置に表示させる３次元座標表示手段とを備えた３次元復元装置。
ステレオペア生成手段は、予め視差の上限値と下限値を設定しておき、１枚の画像を基準として、前記視差が上限値と下限値の間にある画像を２枚以上選択してステレオペアを生成することを特徴とする請求項１記載の３次元復元装置。
ステレオペア生成手段は、毎時ｔにおいて所定の時差がＴである時刻ｔ−Ｔにおける画像を基準の画像Ａとし、当該画像Ａと時刻ｔ〜ｔ−ｎ（ｎ＜Ｔ）の画像についてステレオペアを生成し、
サンプリング点定義手段は、前記画像Ａの各画素をサンプリング点とし、
３次元座標推定手段は、３次元座標を順次推定していくこととし、
統計処理手段は、時刻ｔ´において、時刻ｔ´−Ｔの位置にある画像Ａ´の各画素の３次元座標の推定値として、時刻ｔ´〜ｔ´−ｎの画像を用いて算定した推定値に加え、時刻ｔ´−２Ｔ〜ｔ´−２Ｔ−ｎの画像を用いて過去に算定されている推定値を用い、最尤推定と精度の定量化を行うことを特徴とする請求項１または請求項２記載の３次元復元装置。
統計処理手段は、複数の３次元座標推定値のばらつきから、最尤推定によって定めた３次元座標推定値の精密度を計算することを特徴とする請求項１から請求項３のうちのいずれか１項記載の３次元復元装置。