JP2023009981A - 設備認識システム及び設備認識方法 - Google Patents

Abstract

【課題】設備認識システムにおいて、特定の設備に着目することで、高精度に設備の認識を行う。【解決手段】３６０度カメラによって撮影されたパノラマ画像のパノラマ画像系列を入力として受け付ける入力部と、前記パノラマ画像系列に基づいて前記３６０度カメラのカメラ位置姿勢を推定するカメラ位置姿勢推定部と、前記パノラマ画像系列に基づいて設備に関する設備画像の設備画像系列を生成する設備画像生成部と、前記設備画像系列と前記カメラ位置姿勢に基づいて前記設備についての３次元設備点群を生成し前記設備の設備モデルを推定する設備モデル推定部とを有する。【選択図】図１

Description

本発明は、設備認識システム及び設備認識方法に関する。

車両にレーザスキャナ、デジタルカメラ、ＧＰＳ等の計測装置を搭載し、走行しながら道路周辺の３次元形状を３Ｄ点群（３次元点群）という形で収集するモバイルマッピングシステム（Ｍｏｂｉｌｅ Ｍａｐｐｉｎｇ Ｓｙｓｔｅｍ：ＭＭＳ）が知られている。
例えば、特許文献１では、レーザスキャナにより取得した３Ｄ点群と、設備の３Ｄモデル（３次元モデル）とのマッチングにより設備を認識する。

一方、カメラによって撮影された画像を用いて、電柱等の道路周辺の設備の状況を把握する技術が知られている。
例えば、特許文献２では、カメラによって撮影された画像と広域画像の特徴点の対応関係から、カメラ位置姿勢を推定する。
多視点画像からカメラ位置姿勢を推定する技術はＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）、多視点画像から３Ｄ点群を生成する技術はＭＶＳ（Ｍｕｌｔｉ―Ｖｉｅｗ Ｓｔｅｒｅｏ）として知られており、例えば、非特許文献１および非特許文献２に解説がある。

ＷＯ２０１４－１５５７１５号公報 特開２０１６－０１９０５３号公報

Ｏｎｕｒ Ｏｚｙｅｓｉｌ，Ｖｌａｄｉｓｌａｖ Ｖｏｒｏｎｉｎｓｋｉ，Ｒｏｎｅｎ Ｂａｓｒｉ，Ａｍｉｔ Ｓｉｎｇｅｒ，"Ａ Ｓｕｒｖｅｙ ｏｆ Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ"，Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２０１７，ａｒＸｉｖ：１７０１．０８４９３ｖ２［ｃｓ．ＣＶ］． Ｓ．Ｍ．Ｓｅｉｔｚ，Ｂ．Ｃｕｒｌｅｓｓ，Ｊ．Ｄｉｅｂｅｌ，Ｄ．Ｓｃｈａｒｓｔｅｉｎ ａｎｄ Ｒ．Ｓｚｅｌｉｓｋｉ，"Ａ Ｃｏｍｐａｒｉｓｏｎ ａｎｄ Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｍｕｌｔｉ－Ｖｉｅｗ Ｓｔｅｒｅｏ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍｓ，"２００６ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ’０６），２００６，ｐｐ．５１９－５２８，ｄｏｉ：１０．１１０９／ＣＶＰＲ．２００６．１９．

特許文献１では、レーザスキャナにより取得した高精度な３Ｄ点群を用いている。このため、設備の３Ｄモデルとのマッチングが可能となり、設備の認識が可能になっている。一方、レーザスキャナを用いずに、カメラを用いて設備の認識を行うことへのニーズがある。

特許文献２では、特定の設備を画像上で目視で確認することが可能であるが、３次元情報として高精度に設備の認識を行うことは困難である。

非特許文献１および非特許文献２に示されているＳｆＭおよびＭＶＳを用いれば、多視点画像から３Ｄ点群を生成することは可能である。しかしながら、レーザスキャナによって取得される高精度な３Ｄ点群とは異なり、設備の３Ｄモデルとのマッチングを適用することは困難である。

本発明の目的は、設備認識システムにおいて、特定の設備に着目することで、高精度に設備の認識を行うことにある。

本発明の一態様の設備認識システムは、３６０度カメラによって撮影されたパノラマ画像のパノラマ画像系列を入力として受け付ける入力部と、前記パノラマ画像系列に基づいて、前記３６０度カメラのカメラ位置姿勢を推定するカメラ位置姿勢推定部と、前記パノラマ画像系列に基づいて、設備に関する設備画像の設備画像系列を生成する設備画像生成部と、前記設備画像系列と前記カメラ位置姿勢に基づいて、前記設備についての３次元設備点群を生成し、前記設備の設備モデルを推定する設備モデル推定部と、を有することを特徴とする。

本発明の一態様の設備認識方法は、３６０度カメラによって撮影されたパノラマ画像のパノラマ画像系列を入力として受け付ける入力ステップと、前記パノラマ画像系列に基づいて、前記３６０度カメラのカメラ位置姿勢を推定するカメラ位置姿勢推定ステップと、前記パノラマ画像系列に基づいて、設備に関する設備画像の設備画像系列を生成する設備画像生成ステップと、前記設備画像系列と前記カメラ位置姿勢に基づいて、前記設備についての３次元設備点群を生成し、前記設備の設備モデルを推定する設備モデル推定ステップと、を有することを特徴とする。

本発明の一態様によれば、設備認識システムにおいて、特定の設備に着目することで、高精度に設備の認識を行うことができる。

実施例１における設備認識システムの構成図である。 実施例１における設備認識システムの処理フローを示す図である。 パノラマ画像系列または設備画像系列を入力としたカメラ位置姿勢推定の処理フローを示す図である。 カメラ位置姿勢推定において個々の特徴を採用するか否かの判定フローの一例を示す図である。 入力画像の一例を示す図である。 入力画像に対応する特徴抽出結果の点群を示す図である。 濃度が低いと判断された特徴の点群を示す図である。 濃度が高いと判断された特徴の点群を示す図である。 設備選択画面の一例を示す図である。 パノラマ画像のデータ形式の一例を示す図である。 設備画像系列の一覧を表示した画面構成例を示す図である。 カメラ配置のマップを表示した画面構成例を示す図である。 ３Ｄ点群生成および設備モデル推定の処理フローを示す図である。 設備画像に対してエッジ抽出を行った結果の例を示す図である。 電柱座標推定の例を示す図である。 本発明を適用しない場合の点群のパノラマ画像の３Ｄ表示を示す図である。 本発明を適用した場合の点群の設備画像の３Ｄ表示を示す図である。 実施例２における設備認識システムの構成図である。 実施例３における設備認識システムの構成図である。

多視点画像から、カメラの位置姿勢と対象物の３Ｄ復元を同時に推定する従来のＳｆＭでは、生成される３Ｄ点群は位置誤差が大きく、高精度に設備認識を行うことは困難である。そこで、本発明では、特定の設備に着目することで、３Ｄ点群の位置推定精度を局所的に高めることにより、高精度に設備認識を行って設備の３Ｄモデルを推定する。

以下、図面を用いて実施例について説明する。

図１を参照して、実施例１の設備認識システムの構成について説明する。
実施例１の設備認識システム１００は、処理部１１０とメモリ１２０を有する。処理部は１１０、入力部１１１、カメラ位置姿勢推定部１１２、設備選択部１１３、設備画像生成部１１４及び設備モデル推定部１１５を有する。処理部１１０には、ディスプレイ等の表示装置１４０及びマウス・キーボード等の入力装置１４１が接続されている。

メモリ１２０は、パノラマ画像系列１２１、設定パラメータ１２２、カメラ位置姿勢１２３、トラック情報１２４、設備画像系列１２５及び設備モデルパラメータ１２６を記憶する。

入力部１１には、３６０度カメラによって撮影されたパノラマ画像系列１３０及び設定パラメータ１３１が入力される。ここで、設定パラメータ１３１は、必須ではないが、内部処理で使用する際に入力してもよい。

ここで、３６０度カメラとは、上下左右の全方位を一度に撮影できるカメラのことを言う。例えば、３６０度カメラは、複数のレンズで撮影してつなぎ合わせることで３６０度すべての景色を画像にすることができ、一度の撮影でパノラマ画像が作成できる。

カメラ位置姿勢推定部１１２は、パノラマ画像系列１３０から特徴マッチングによりトラック情報１２４を生成し、各パノラマ画像を撮影した３６０度カメラのカメラ位置姿勢１２３の相対的な関係を推定する。

設備選択部１１３は、例えば、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を利用する等、何らかの方法により対象設備を選択する。ここで、対象設備とは、例えば、電柱等を言う。

設備画像生成部１１４は、パノラマ画像系列１３０から対象設備を切り出した設備画像系列１２５を生成する。設備モデル推定部１１５は、カメラ位置姿勢１２３が分かっている設備画像間の多視点ステレオマッチングにより、対象設備周辺の３Ｄ点群を生成し、設備モデル（設備モデルパラメータ１２６）を推定する。ここで、ステレオマッチングとは、２次元の画像データから３次元の情報を得る手法を言う。

図２を参照して、実施例１における設備認識システム１００の処理フローについて説明する。
まず、パノラマ画像系列１３０を入力する（ステップ２０１）。ここで、内部処理で使用する際には、設定パラメータ１３１を入力するようにしてもよい。

次に、パノラマ画像系列１３０から、各パノラマ画像を撮影したカメラの位置姿勢の大まかな位置関係を推定する（ステップ２０２）。
次に、対象設備を選択する（ステップ２０３）。
次に、パノラマ画像系列１３０から平面投影変換により対象設備を中心とした設備画像系列を生成する（ステップ２０４）。
次に、設備画像系列から、カメラ位置姿勢を推定しなおす（ステップ２０５）。ここで、設備画像のカメラ位置と元のパノラマ画像のカメラ位置は同じであり、姿勢は一定の変換関係がある。このため、後段のカメラ位置姿勢推定（Ｓ２０５）は省略してもよい。しかし、前段のカメラ位置姿勢推定（Ｓ２０２）は誤差が含まれるため、後段のカメラ位置姿勢推定（ステップ２０５）により精度向上が見込まれる。

最後に、カメラ位置姿勢が分かっている設備画像間でのステレオマッチングにより、対象設備周辺の３Ｄ点群を生成し、設備モデルを推定する（ステップ２０６）。

以上は一つの設備に関する処理であるが、対象設備を一つ一つ追加することで、設備間の位置関係を推定することが可能である。

図３を参照して、パノラマ画像系列１２１又は設備画像系列１２５を入力としたカメラ位置姿勢推定の処理フローを示す。
通常のＳｆＭによる３Ｄ復元と同様の処理である。

まず、画像系列の各画像について、一般的な方法で局所画像特徴を検出する（ステップ３０１）。
次に、画像系列の各画像ペアについて、特徴マッチングを行って、特徴の対応関係を求める（ステップ３０２）。特に言及はしないが、画像ペアのうちのカメラ位置が近いものを除外する等、一般的な視差誤差の低減策を講じてもよい。ここで、特徴点マッチングとは、異なる画像間で特徴の近い点を対応付けることである。

画像ペアに対する特徴の対応関係をまとめ、トラックを生成する（ステップ３０３）。トラックは、複数の画像に共通する特徴の対応関係を示したものである。
最後に、トラックから、特徴の３Ｄ座標と各カメラの位置姿勢を推定する（ステップ３０４）。

図４に、カメラ位置姿勢推定において、個々の特徴を採用するか否かの判定フローの一例を示す。
最初に、対象外物体かを判定する（ステップ４０１）。
判定の結果、対象外物体と判定された場合は、特徴を削除する（ステップ４０２）。
判定の結果、対象外物体ではないと判定された場合は、対象設備周辺かを判定する（ステップ４０３）。
判定の結果、対象設備周辺と判定された場合は、特徴を登録する（ステップ４０４）。
判定の結果、対象設備周辺でない判定された場合は、特徴密度が閾値より小さいかを判定する（ステップ４０１）。
判定の結果、特徴密度が閾値より小さいと判定された場合は特徴を登録する（ステップ４０４）。
判定の結果、特徴密度が閾値より小さくないと判定された場合は特徴を削除する（ステップ４０２）。

ここで、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）等により、対応関係から外れる特徴を除外しつつ、カメラ位置を推定する方法が存在する。しかしながら、誤対応を引き起こす可能性のある不要な特徴は事前に削除しておくことが望ましい。そこで、上述のように、個々の特徴を採用するか否かを判定する。

例えば、特徴が車両のような移動物体の場合、撮影時間の異なるカメラ画像間で対応が取れない可能性があるため削除する。一方、特徴が対象設備の場合には登録する。

ここで、車両や設備はＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）等の一般物体認識によって、画像から検出することが可能である（例えば、Ｊ． Ｒｅｄｍｏｎ，Ｓ．Ｄｉｖｖａｌａ，Ｒ．ＧｉｒｓｈｉｃｋａｎｄＡ．Ｆａｒｈａｄｉ，”Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ：Ｕｎｉｆｉｅｄ，Ｒｅａｌ－Ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ，” ２０１６ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），Ｌａｓ Ｖｅｇａｓ，ＮＶ，ＵＳＡ，２０１６，ｐｐ．７７９－７８８，ｄｏｉ：１０．１１０９／ＣＶＰＲ．２０１６．９１．参照）。

一方、樹木等のような濃淡変化の大きい領域は、局所画像特徴として検出されやすく誤対応の要因となりうる。そこで、特徴密度の高い領域の特徴をノイズとして除外し、特徴密度の低い領域の特徴を採用する。特徴密度は着目する特徴の近傍にある特徴点数として計算することが可能であり、近傍と見なす距離、密度の閾値はそれぞれ設定パラメータ１３１（図１参照）で規定される。なお、対象設備の特徴は局所画像特徴に限らず活用すべきである。例えば、一般物体認識によって検出された領域の最上部や最下部等を特徴として追加してもよい。

図５に、特徴密度に基づいて点群を分類する例を示す。
図５Ａは、入力画像の一例を示す図である。図５Ｂは、入力画像に対応する特徴抽出結果の点群を示す図である。図５Ｃは、濃度が低いと判断された特徴の点群を示す図である。図５Ｄは、濃度が高いと判断された特徴の点群を示す図である。

図６は、設備選択部１１３で用いる設備選択画面の一例を示す。
図６を用いて、ユーザに入力装置１４であるマウス等のポインタを介して設備を指示させる場合の一例を説明する。

従来のＳｆＭと同様の処理により、精度の粗い一次３Ｄ点群を生成する。図６はこの一次３Ｄ点群を表示装置１４０に３Ｄ表示した画面である。通常の３Ｄ表示と同様に、入力装置１４１であるマウス・キーボード等の操作により拡大・縮小やスクロール、回転等が可能である。

ユーザは、この一次３Ｄ点群を表示装置１４０に表示した画面上で、対象となる設備上の点をマウス等のポインタで指示する。内部では、通常の３Ｄ表示と同様に、画面上で指示した点６００から近傍検索により、３Ｄ点群の対応点の３Ｄ座標を求めることが可能である。例えば、この点６００を中心とした３Ｄ形状を設備領域６１０として設定する。３Ｄ形状の設備領域６１０は、直方体、円柱、球等が考えられ、対象設備の形状に依存して選択することが可能である。図６では、円柱を選択した場合の例を示している。

図７は、パノラマ画像のデータ形式の一例を示す。パノラマ画像のデータ形式として、正距円筒図法を用いる場合の例を示す。
図７において、（ａ）は直交座標系、（ｂ）は全方位を示す単位球、（ｃ）はパノラマ画像（正距円筒図法）を示す。（ｂ）の単位球上の点は経度緯度によって表現され、（ａ）の直交座標系とは図中に示した変換式により相互に変換が可能である。（ｃ）のパノラマ画像は球面上の点を円筒に投影した画像であり、（ｂ）の経度緯度とは図中に示した変換式により相互に変換が可能である。

パノラマ画像系列１２１から生成する設備画像系列１２５は、各３６０度カメラから設備の方向を見たときの平面投影画像である。３６０度カメラから任意の方向を見たときの平面投影画像は、球面上の点をカメラの光軸に垂直な平面に投影することで得られる。これは通常の透視投影変換と同様であるので、ここでは説明を省略する。

図８は、設備画像系列生成の画面構成例を示す。
図８Ａは、設備画像系列の一覧を表示した画面構成例を示す図である。図８Ｂは、カメラ配置のマップを表示した画面構成例を示す図である。図８Ｂは、対象設備領域と複数のカメラ１～５の配置を俯瞰表示したものであり、通常の３Ｄ表示と同様に、入力装置１４１であるマウス・キーボード等の操作により拡大・縮小やスクロール、回転等が可能である。

図８Ａは、対象設備からの距離が近い３６０度カメラ１～４による設備画像系列１２５を一覧表示したものである。図８Ａの一覧表示と図８Ｂのマップ表示は、ディスプレイ等の表示装置１４０に表示される。また、図８Ａの一覧表示と図８Ｂのマップ表示は、一つの画面上で上下または左右に分割配置し、図８Ａの設備画像を選択したら対応する図８Ｂのカメラの表示色が変わる等、相互に連携が取れるようにしてもよい。さらに、画角や設備からの距離等のパラメータをスライダ等でリアルタイムに調整できるようにしてもよい。

図９は、３Ｄ点群生成および設備モデル推定の処理フローを示す。
最初に、設備画像系列１２５から画像ペアリストを作成する（ステップ９０１）。オクルージョンを低減するため、設備と２つのカメラのなす角を求め、角度の大きい画像ペアを除外する等の対策を講じてもよい。

次に、画像ペアの各々について、ステレオマッチングにより、深度マップを生成する（ステップ９０２）。ここで、深度マップとは、３次元空間の奥行きを表現するため、グレースケールの濃淡を使い対象物までの距離（深度）を表現したものである。
次に、深度マップを点群に変換し、各画像ペアによる点群を統合する（ステップ９０３）。
最後に、点群と設備モデルの位置合せにより、位置やサイズ等の設備モデルパラメータを推定する（ステップ９０４）。

例えば、電柱の場合、設備モデルは円柱モデルによって表すことが可能である。円柱モデルのパラメータは、例えば、円柱底面の中心座標、中心軸の向き、半径、高さによって表される。円柱モデルは、ＲＡＮＳＡＣ等のアルゴリズムによってパラメータを推定することが可能である。

設備モデル推定部１１５は、設備の候補となる３Ｄ点群に基づき、懸垂曲線（又は懸垂曲線の２次曲線近似）によって表現される設備モデルを推定し、設備モデルのパラメータを出力する。設備モデル推定部１１５で行われるモデル推定は、例えば、ＲＡＮＳＡＣ等の一般的なモデル推定手法に基づく。

図１０は、電柱モデル推定を例にとった場合の改善策を示す。
前述の説明で、設備と２つのカメラのなす角を求め、角度の大きい画像ペアを除外することを述べた。ステレオマッチングでは、オーバーラップ率が高いことが要求されるためである。このような画像ペアを用いて、ステレオマッチングを用いた点群生成を行わずに、直接設備モデルパラメータを推定する方法を説明する。

図１０Ａは、設備画像に対してエッジ抽出を行った結果の例を示す図である。図１０Ｂは、電柱座標推定の例を示す図である。

図１０Ａに示すように、エッジ抽出の結果から画像の中心付近にある縦に長い平行線を抽出することで、電柱の輪郭線を抽出する。さらに、平行線の中心線を求めて、電柱の中心線を推定する。複数の設備画像について電柱中心線を求めた結果から、図１０Ｂに示すように、電柱中心のマップ座標である電柱座標（Ｘ，Ｙ）を推定する。

ここで求めた電柱中心のマップ座標を、設備モデル推定で活用する。電柱の直径は設備情報で分かっている場合には設定パラメータとすることが可能である。ここでは、平行線の間隔がこの設定パラメータの範囲にあるものを抽出するといった利用が考えられる。

図１１は、本発明による効果を示す。
図１１Ａは、本発明を適用しない場合の点群のパノラマ画像の３Ｄ表示を示す図である。図１１Ｂは、本発明を適用した場合の点群の設備画像の３Ｄ表示を示す図である。

このように、本発明では、特定の設備に着目することで、３Ｄ点群の位置推定精度を局所的に高めることにより、高精度に設備認識を行って設備（例えば、電柱）の３Ｄモデルを推定することができる。

なお、後段のカメラ位置姿勢推定（図２のステップ２０５）により推定結果の設備位置がずれてしまう可能性が考えられる。本発明は局所的には精度の高い点群を生成することが可能であるが、全体としてみた場合、設備間の位置関係を正確に求めることは期待できない。そこで、設備間の位置関係の推定には、前段のカメラ位置姿勢推定（図２のステップ２０２）の結果を用い、点群の中心座標や広がり方が一致するように配置するものとする。

図１２を参照して、実施例２の設備認識システム２００の構成について説明する。
実施例２の設備認識システム２００の構成が図１に示す実施例１の設備認識システム１００の構成と異なる点は、実施例２の設備認識システム２００においてＧＰＳデータ１３２が入力されている点である。その他の構成は、図１に示す実施例１の設備認識システム１００と同じなのでその説明は省略する。

実施例２の設備認識システム２００は、計測車両（例えば、自動車）に３６０度カメラとＧＰＳを搭載し、走行しながら一定の距離間隔で撮影することを想定している。入力部１１１には、ＧＰＳデータ１３２が入力される。そして、カメラ位置姿勢推定部１１２ではＧＰＳデータ１３２をカメラの初期配置として用いる。

図１３を参照して、実施例２の設備認識システム３００の構成について説明する。
実施例３の設備認識システム３００の構成が図１２に示す実施例２の設備認識システム２００の構成と異なる点は、実施例３の設備認識システム３００において設備データ１３３が入力されている点である。その他の構成は、図１２に示す実施例２の設備認識システム２００と同じなのでその説明は省略する。

実施例３の設備認識システム３００は、設備管理ＤＢに格納されている設備データ１３３を利用することを想定している。設備選択部１１３では設備データ１３３の位置を表示装置１４０にマップ表示した画面で設備を選択し、設備画像生成部１１４では設備データ１３３の位置を用いる。

設備管理ＤＢは、電柱等の事前に登録されている管理データを格納する。電柱の管理データには、例えば、管理番号、種別（型番、直径、高さ）、設置位置（住所、座標）等の情報が含まれる。

上記実施例によれば、特定の設備に着目することで、３Ｄ点群の位置推定精度を局所的に高めることにより、高精度に設備認識を行って設備の３Ｄモデルを推定することができる。

１００ 設備認識システム
１１０ 処理部
１１１ 入力部
１１２ カメラ位置姿勢推定部
１１３ 設備選択部
１１４ 設備画像生成部
１１５ 設備モデル推定部
１２０ メモリ
１４０ 表示装置
１４１ 入力装置

Claims (15)

1. ３６０度カメラによって撮影されたパノラマ画像のパノラマ画像系列を入力として受け付ける入力部と、
   前記パノラマ画像系列に基づいて、前記３６０度カメラのカメラ位置姿勢を推定するカメラ位置姿勢推定部と、
   前記パノラマ画像系列に基づいて、設備に関する設備画像の設備画像系列を生成する設備画像生成部と、
   前記設備画像系列と前記カメラ位置姿勢に基づいて、前記設備についての３次元設備点群を生成し、前記設備の設備モデルを推定する設備モデル推定部と、
   を有することを特徴とする設備認識システム。
2. 入力装置と表示装置と設備選択部を更に有し、
   前記カメラ位置姿勢推定部は、
   前記カメラ位置姿勢に基づいて、前記パノラマ画像系列から３次元パノラマ点群を生成して前記表示装置に表示させ、
   前記設備選択部は、
   前記表示装置に表示された前記３次元パノラマ点群に基づいて前記入力装置から指示された点の近傍に設備領域を設定し、
   前記設備画像生成部は、
   前記設備領域を用いて、前記設備画像系列を生成することを特徴とする請求項１に記載の設備認識システム。
3. 前記設備選択部は、
   前記設備領域を、前記設備の形状に対応した３次元形状に設定することを特徴とする請求項２に記載の設備認識システム。
4. 前記カメラ位置姿勢推定部は、
   前記パノラマ画像系列の特徴を検出し、
   特徴マッチングによりトラック情報を生成し、
   検出した前記特徴の特徴密度を算出し、
   前記特徴密度が所定の閾値より低い場合に前記特徴マッチングに用いて前記カメラ位置姿勢を推定することを特徴とする請求項１に記載の設備認識システム。
5. 前記カメラ位置姿勢推定部は、
   前記パノラマ画像系列から前記設備を検出し、
   前記設備の周辺にある前記特徴を用いて前記特徴マッチングを行うことを特徴とする請求項４に記載の設備認識システム。
6. 前記カメラ位置姿勢推定部は、
   前記パノラマ画像系列から対象外物体を検出し、
   前記対象外物体の特徴を削除して前記特徴マッチングを行うことを特徴とする請求項４に記載の設備認識システム。
7. 前記設備画像生成部は、
   前記カメラ位置姿勢に基づいて、前記設備の３次元座標から所定の距離に配置された前記３６０度カメラを複数選択し、
   選択された前記３６０度カメラの各々に対応する前記パノラマ画像から前記設備を中心とした前記設備画像を作成して前記設備画像系列を生成することを特徴とする請求項１に記載の設備認識システム。
8. 前記設備画像生成部は、
   画角をパラメータとした平面投影変換により、前記設備画像を作成することを特徴とする請求項７に記載の設備認識システム。
9. 前記設備モデル推定部は、
   前記設備画像系列から複数の画像ペアを生成し、
   複数の前記画像ペアの各々を画像ペア３次元点群に変換し、
   前記画像ペア３次元点群を統合して、前記３次元設備点群を生成することを特徴とする請求項１に記載の設備認識システム。
10. 前記設備モデル推定部は、
    前記画像ペアの各々について、前記設備と前記画像ペアとのなす角を求め、
    前記なす角が所定の閾値より大きい前記画像ペアを除外して、ステレオマッチングによって深度マップを生成して、前記画像ペア３次元点群に変換することを特徴とする請求項９に記載の設備認識システム。
11. 前記設備モデル推定部は、
    前記画像ペアの各々について、前記設備と前記画像ペアとのなす角を求め、
    前記なす角が所定の閾値より大きい前記画像ペアに対応する前記設備画像の各々に対して、エッジ抽出を実施して平行線を抽出して中心線を求め、
    前記画像ペアの間で対応する前記中心線に垂直な平面上で設備座標を推定し、
    前記設備モデル推定部は、
    前記設備座標を用いて、前記３次元設備点群を生成して前記設備のモデルを推定することを特徴とする請求項９に記載の設備認識システム。
12. 前記入力部は、
    前記パノラマ画像系列に対応する前記３６０度カメラのＧＰＳデータを入力し、
    前記カメラ位置姿勢推定部は、
    前記ＧＰＳデータを用いて、前記カメラ位置姿勢を推定することを特徴とする請求項１に記載の設備認識システム。
13. 前記入力部は、
    所定の設備データを更に入力し、
    前記カメラ位置姿勢推定部は、
    前記ＧＰＳデータと前記設備データを用いて、前記カメラ位置姿勢を推定することを特徴とする請求項１２に記載の設備認識システム。
14. 入力装置と表示装置と設備選択部を更に有し、
    前記表示装置は、
    前記設備データの位置を画面のマップ上に表示し、
    前記設備選択部は、
    前記表示装置の前記画面に表示されかつ前記入力装置から指示された前記設備データの位置を設定し、
    前記設備画像生成部は、
    前記設備データの位置を用いて、前記設備画像系列を生成することを特徴とする請求項１３に記載の設備認識システム。
15. ３６０度カメラによって撮影されたパノラマ画像のパノラマ画像系列を入力として受け付ける入力ステップと、
    前記パノラマ画像系列に基づいて、前記３６０度カメラのカメラ位置姿勢を推定するカメラ位置姿勢推定ステップと、
    前記パノラマ画像系列に基づいて、設備に関する設備画像の設備画像系列を生成する設備画像生成ステップと、
    前記設備画像系列と前記カメラ位置姿勢に基づいて、前記設備についての３次元設備点群を生成し、前記設備の設備モデルを推定する設備モデル推定ステップと、
    を有することを特徴とする設備認識方法。

Images