JP2020102127A - 埋設物可視化システム - Google Patents

Abstract

【課題】都市部など高層建物が林立する条件下において、測位精度を良好に維持することのできる埋設物可視化システムを提供する。【解決手段】撮像手段１６が撮像した複数の画像に基づいて、周囲の環境地図を作成する一方で、撮像手段１６の移動前後に作成された環境地図の差異に基づいて、実空間における撮像手段１６の移動後の位置および向きを推定する位置追跡手段２２と、埋設物の３次元位置情報を記憶する記憶手段２０と、位置追跡手段２２が推定した位置および向きに基づいて、埋設物の３次元位置情報を記憶手段２０から抽出するとともに、可視化表示用の画像を生成する画像生成手段２４と、画像生成手段２４が生成した画像と、撮像手段１６が撮像した実空間の画像とを合成することにより、埋設物を可視化表示する表示手段１４とを備えるようにする。【選択図】図１

Description

本発明は、例えば上下水道管やガス管などの地下埋設物を、タブレット端末などで可視化表示するようにした埋設物可視化システムに関するものである。

従来、上下水道管やガス管などの不可視の地下埋設物を、タブレット端末などで可視化表示（ＡＲ表示）するようにした埋設物可視化システムが知られている（例えば、特許文献１を参照）。ＡＲ表示（Augmented Reality 表示）とは、実在する風景に仮想的な視覚情報を重ねて表示することで、視界を仮想的に拡張するものである。上記の特許文献１の埋設物可視化システムは、ＧＮＳＳ（Global Navigation Satellite System）測位により自己位置および埋設物の位置をｃｍオーダーで取得し、タブレット端末のタッチパネルに、自己位置に対応する地図情報と埋設物情報とを重ね合わせ表示する。この埋設物可視化システムでは、ＧＮＳＳ測位に干渉測位方式であるＲＴＫ測位方式（Real Time Kinematic）を用いており、移動局であるタブレット端末のＧＮＳＳ観測情報と、基地局のＧＮＳＳ補正観測情報とに基づいて自己位置を算出することにより、高い測位精度を確保するようになっている。

一方、自己位置の推定と環境地図の作成を同時に実施するポジショントラッキングの方法として、例えばＳＬＡＭ（Simultaneous Localisation and Mapping）の手法が知られている。単眼カメラを用いたＳＬＡＭの基本的な原理は、非特許文献１に記載されており、カメラの撮影する動画像の複数フレームから、同一の特徴点を追跡することで、自己位置を推定するとともに３次元地図を作成する。このような手法は、例えば特許文献２に示すような位置推定技術の他、自動運転走行する車や屋内の床掃除のために自律移動する床掃除ロボットなどに使われている。

特開２０１７−８３４２３号公報 特表２０１６−５２８４７６号公報

Andrew J.Davison, "Real-Time Simultaneous Localization and Mapping with a Single Camera", Proceedings of the ９th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410

ところで、ＧＮＳＳ測位で自己位置を取得する際に、高い測位精度を確保するためには、一定数（例えば８基程度）以上のＧＮＳＳ衛星からの電波信号を直接受信する必要があるが、都市部など高層建物が林立する条件下では、以下の理由により測位誤差が大きくなり、測位精度が低下するおそれがあった。

（１）高層建物により電波が遮られて移動局であるタブレット端末に届かず、信号数が足りない。
（２）高層建物に電波が反射して届くマルチパス（反射波）による誤差が生じる（例えば、図６を参照）。
（３）建物に遮られず、マルチパスを生じにくい直上のＧＮＳＳ衛星の数が不十分である。なお、準天頂衛星「みちびき」の衛星数が増え、７基体制になるのは２０２３年以降の見込みである。

こうしたことから、都市部など高層建物が林立する条件下において、測位精度を良好に維持することのできる技術が求められていた。

本発明は、上記に鑑みてなされたものであって、都市部など高層建物が林立する条件下において、測位精度を良好に維持することのできる埋設物可視化システムを提供することを目的とする。

上記した課題を解決し、目的を達成するために、本発明に係る埋設物可視化システムは、撮像された実空間の画像と、この実空間において埋設されている不可視の埋設物の３次元位置情報に基づいて生成される画像とを合成して埋設物を可視化表示する埋設物可視化システムであって、実空間を撮像してその画像を取得する撮像手段と、撮像手段が撮像した複数の画像に基づいて、周囲の環境地図を作成する一方で、撮像手段が移動する前に作成された環境地図と、撮像手段が移動した後に作成された環境地図との差異に基づいて、実空間における撮像手段の移動後の位置および向きを推定する位置追跡手段と、位置追跡手段が推定した位置および向きと、作成した環境地図を記憶するとともに、埋設物の３次元位置情報を記憶する記憶手段と、位置追跡手段が推定した位置および向きに基づいて、埋設物の３次元位置情報を記憶手段から抽出するとともに、可視化表示用の画像を生成する画像生成手段と、画像生成手段が生成した画像と、撮像手段が撮像した実空間の画像とを合成することにより、埋設物を可視化表示する表示手段とを備えることを特徴とする。

また、本発明に係る他の埋設物可視化システムは、上述した発明において、撮像手段および表示手段は、携帯型のタブレット端末に内蔵されていることを特徴とする。

本発明に係る埋設物可視化システムによれば、撮像された実空間の画像と、この実空間において埋設されている不可視の埋設物の３次元位置情報に基づいて生成される画像とを合成して埋設物を可視化表示する埋設物可視化システムであって、実空間を撮像してその画像を取得する撮像手段と、撮像手段が撮像した複数の画像に基づいて、周囲の環境地図を作成する一方で、撮像手段が移動する前に作成された環境地図と、撮像手段が移動した後に作成された環境地図との差異に基づいて、実空間における撮像手段の移動後の位置および向きを推定する位置追跡手段と、位置追跡手段が推定した位置および向きと、作成した環境地図を記憶するとともに、埋設物の３次元位置情報を記憶する記憶手段と、位置追跡手段が推定した位置および向きに基づいて、埋設物の３次元位置情報を記憶手段から抽出するとともに、可視化表示用の画像を生成する画像生成手段と、画像生成手段が生成した画像と、撮像手段が撮像した実空間の画像とを合成することにより、埋設物を可視化表示する表示手段とを備えるので、ＧＮＳＳ測位によらずに自己位置を高精度に測位することができる。このため、都市部など高層建物が林立する条件下において、測位精度を良好に維持できる埋設物可視化システムを提供することができるという効果を奏する。

また、本発明に係る他の埋設物可視化システムによれば、撮像手段および表示手段は、携帯型のタブレット端末に内蔵されているので、利用者はタブレット端末を持って現地に行き、撮像手段で現地を撮像することで、そこに埋設されている不可視の埋設物を表示手段に可視化表示することができるという効果を奏する。

図１は、本発明に係る埋設物可視化システムの実施の形態を示す概略構成図である。 図２は、本実施の形態の位置追跡手段の処理内容（ポジショントラッキング）の説明図である。 図３は、タブレット端末で初期位置を指定する操作イメージを示す図である。 図４は、ポジショントラッキング状況を示す図である。 図５は、撮像した実空間の画像に埋設物画像を重ね合わせ表示した画面の一例を示す図である。 図６は、高層建物に電波が反射して届くマルチパスの説明図である。

以下に、本発明に係る埋設物可視化システムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

本実施の形態に係る埋設物可視化システムは、撮像された実空間の画像と、この実空間において埋設されている不可視の埋設物の３次元位置情報に基づいて生成される画像とを合成して埋設物を可視化表示するシステムである。

図１に示すように、本実施の形態に係る埋設物可視化システム１０は、携帯型のタブレット端末１２によって構成されている。このタブレット端末１２は、表面側に設けられたタッチパネル１４（表示手段）と、背面側に設けられたカメラ１６（撮像手段）と、内部に設けられたＣＰＵ１８と、メモリ２０（記憶手段）とを備えている。

ＣＰＵ１８は、メモリ２０に格納されているプログラムを展開することにより、オペレーティングシステムとして機能するとともに、本発明の位置追跡手段２２、画像生成手段２４として機能する。また、ＣＰＵ１８は、タッチパネル１４に入力された情報やカメラ１６で撮像した画像をメモリ２０に格納したり、タッチパネル１４に表示させる内容を制御する制御手段２６としても機能する。

カメラ１６は、実空間を撮像してその画像を取得するための単眼のカメラであり、タブレット端末１２の背面側に対して位置と向きが固定されている。

位置追跡手段２２は、カメラ１６が撮像した実空間の複数の画像に基づいて、周囲の環境地図を作成すると同時にカメラ１６の位置と向きを推定する。この位置追跡手段２２は、作成した環境地図と、推定した位置と向きに基づいてタブレット端末１２の位置を追跡する。具体的には、位置追跡手段２２は、タブレット端末１２（カメラ１６）が移動する前に作成した環境地図と、タブレット端末１２（カメラ１６）が移動した後に作成した環境地図との差異に基づいて、実空間におけるタブレット端末１２の移動後の位置と向きを推定する。これにより、タブレット端末１２の位置を追跡する。推定したタブレット端末１２の位置および向きの情報、作成した環境地図の情報は、メモリ２０に逐次記憶される。

この位置追跡手段２２による位置追跡（ポジショントラッキング）の手法としては、例えば上記の非特許文献１に記載のＳＬＡＭの手法を適用することができる。ＳＬＡＭの手法を適用したポジショントラッキングの概略手順については後述する。

メモリ２０は、位置追跡手段２２が推定した位置および向きの情報と、作成した環境地図の情報を記憶するとともに、あらかじめ準備された埋設物の３次元位置情報を記憶するものである。埋設物の３次元位置情報は、屋外での埋設物の３次元構造を例えばワールド座標などで表したものである。

画像生成手段２４は、位置追跡手段２２が推定した位置および向きに基づいて、埋設物の３次元位置情報をメモリ２０から抽出するとともに、可視化表示用の埋設物の画像を生成するものである。より具体的には、タッチパネル１４に可視化表示を実行する旨の操作ボタン等が入力されると、制御手段２６が、現在のタブレット端末１２の位置および向きの情報をメモリ２０から抽出し、この位置および向きに対応する埋設物の３次元位置情報をメモリ２０から抽出する。画像生成手段２４は、制御手段２６が抽出した情報に基づいて可視化表示用の埋設物の画像を生成する。

タッチパネル１４は、画像生成手段２４が生成した埋設物の画像と、抽出した位置および向きでカメラ１６が撮像した実空間の画像とを重ね合わせ合成することにより、埋設物を可視化表示するものである。

次に、ＳＬＡＭの手法を適用したポジショントラッキングの概略手順について説明する。
まず、カメラ１６のキャリブレーションを行い、カメラの内部パラメータ（焦点距離、レンズの歪等）を取得しておくものとする。また、カメラ１６の初期位置および向きは、実空間に設定したワールド座標系Ｘ，Ｙ，Ｚで既知であるものとする。

図２（１）に示すように、３次元の環境地図Ｍの初期化を行っておく。そして、カメラ１６で撮像される画像のキーフレームＦ１を設定し、特徴点Ｐ（例えば１０００個）を検出する。続いて、２枚目のキーフレームＦ２を設定し、特徴点Ｐを検出するとともに、キーフレームＦ１、Ｆ２の画像間の対応点（特徴点）を見つけることで対応関係を探索する。

次に、図２（２）に示すように、環境地図Ｍ上に特徴点Ｑを登録・更新する（マッピング処理）。図２（３）に示すように、常に新しい特徴点Ｑを見つけ、環境地図Ｍ上に登録・更新していく。

次に、図２（４）に示すように、移動後のカメラ１６で撮像される画像のキーフレームＦ３を設定する。登録済みの環境地図Ｍとの比較により、カメラ１６の位置および向きを推定する（ローカライゼーションまたはトラッキング処理）。この場合、それぞれの特徴点Ｐについて三角関数を用いて移動計算し、その結果に基づいて、カメラ１６の位置および向きを推定する。

次に、図２（５）に示すように、上記のマッピング処理とトラッキング処理を繰り返すことにより、常にカメラ１６の位置および向きを推定する。このようにしてカメラ１６（タブレット端末１２）の位置を追跡することができる。

上記構成の動作および作用について説明する。
図３に示すように、まず、利用者はタブレット端末１２のタッチパネル１４に表示した平面図上で、自分の初期位置を指定する。なお、受信環境がよければタブレット端末１２に内蔵の衛星測位機能（例えばＧＮＳＳ測位機能）を用いて測位した初期位置を指定してもよい。この初期位置は、必要に応じて補正することが望ましい。

次に、図４に示すように、利用者はタブレット端末１２に備わるカメラ１６を起動して位置追跡手段２２によるポジショントラッキングを開始する。

次に、所望の位置で埋設物を可視化表示する。この場合、利用者がタッチパネル１４に可視化表示を実行する旨の操作ボタン等を入力する。すると、タブレット端末１２の位置および向きに基づいて、埋設物の３次元位置情報が抽出され、この情報に基づいて可視化表示用の埋設物の画像が生成される。タッチパネル１４には、埋設物の画像と、カメラ１６が撮像した現場の画像とが重ね合わせ表示される。

図５は、タブレット端末１２のタッチパネル１４に表示された重ね合わせ表示と現場との関係を示している。この図に示したタブレット端末１２では、道路の地下に埋設された不可視の埋設物の画像が、地下の対応する位置に表示されている。この場合における重ね合わせ表示は、埋設物の画像と現場の画像とを領域分離している。

このように、本実施の形態では、ＧＮＳＳ衛星による測位を使わずに、ポジショントラッキングの手法を用いて自己位置の把握、追跡を行う。ＧＮＳＳ測位を用いないので、ビルなどによる電波遮蔽の影響を受けない。このため、埋設物可視化のための周辺環境を選ばない。また、ポジショントラッキングの精度は高く（ｃｍオーダー）、上記の従来のＲＴＫ測位方式によるＧＮＳＳ測位を採用した埋設物可視化システムと比べても遜色がない。また、ＲＴＫ測位方式では必要なアンテナ、受信器が不要となり、タブレット端末１２だけの所持で済むので、従来のシステムと比べてより汎用性がある。

したがって、本実施の形態によれば、ＧＮＳＳ測位によらずに自己位置を高精度に測位することができる。このため、都市部など高層建物が林立する条件下において、測位精度を良好に維持できる埋設物可視化システムを提供することができる。

また、カメラ１６（撮像手段）およびタッチパネル１４（表示手段）は、タブレット端末１２に内蔵されているので、利用者はタブレット端末１２を持って現地に行き、ポジショントラッキングの後、カメラ１６で現地を撮像することで、そこに埋設されている不可視の埋設物をタッチパネル１４に可視化表示することができる。

以上説明したように、本発明に係る埋設物可視化システムによれば、撮像された実空間の画像と、この実空間において埋設されている不可視の埋設物の３次元位置情報に基づいて生成される画像とを合成して埋設物を可視化表示する埋設物可視化システムであって、実空間を撮像してその画像を取得する撮像手段と、撮像手段が撮像した複数の画像に基づいて、周囲の環境地図を作成する一方で、撮像手段が移動する前に作成された環境地図と、撮像手段が移動した後に作成された環境地図との差異に基づいて、実空間における撮像手段の移動後の位置および向きを推定する位置追跡手段と、位置追跡手段が推定した位置および向きと、作成した環境地図を記憶するとともに、埋設物の３次元位置情報を記憶する記憶手段と、位置追跡手段が推定した位置および向きに基づいて、埋設物の３次元位置情報を記憶手段から抽出するとともに、可視化表示用の画像を生成する画像生成手段と、画像生成手段が生成した画像と、撮像手段が撮像した実空間の画像とを合成することにより、埋設物を可視化表示する表示手段とを備えるので、ＧＮＳＳ測位によらずに自己位置を高精度に測位することができる。このため、都市部など高層建物が林立する条件下において、測位精度を良好に維持できる埋設物可視化システムを提供することができる。

また、本発明に係る他の埋設物可視化システムによれば、撮像手段および表示手段は、携帯型のタブレット端末に内蔵されているので、利用者はタブレット端末を持って現地に行き、撮像手段で現地を撮像することで、そこに埋設されている不可視の埋設物を表示手段に可視化表示することができる。

以上のように、本発明に係る埋設物可視化システムは、上下水道管やガス管などの地下埋設物を、タブレット端末などで可視化表示するのに有用であり、特に、都市部など高層建物が林立する条件下において、自己位置の測位精度を良好に維持するのに適している。

１０ 埋設物可視化システム
１２ タブレット端末
１４ タッチパネル（表示手段）
１６ カメラ（撮像手段）
１８ ＣＰＵ
２０ メモリ（記憶手段）
２２ 位置追跡手段
２４ 画像生成手段
２６ 制御手段

Claims (2)

1. 撮像された実空間の画像と、この実空間において埋設されている不可視の埋設物の３次元位置情報に基づいて生成される画像とを合成して埋設物を可視化表示する埋設物可視化システムであって、
   実空間を撮像してその画像を取得する撮像手段と、
   撮像手段が撮像した複数の画像に基づいて、周囲の環境地図を作成する一方で、撮像手段が移動する前に作成された環境地図と、撮像手段が移動した後に作成された環境地図との差異に基づいて、実空間における撮像手段の移動後の位置および向きを推定する位置追跡手段と、
   位置追跡手段が推定した位置および向きと、作成した環境地図を記憶するとともに、埋設物の３次元位置情報を記憶する記憶手段と、
   位置追跡手段が推定した位置および向きに基づいて、埋設物の３次元位置情報を記憶手段から抽出するとともに、可視化表示用の画像を生成する画像生成手段と、
   画像生成手段が生成した画像と、撮像手段が撮像した実空間の画像とを合成することにより、埋設物を可視化表示する表示手段とを備えることを特徴とする埋設物可視化システム。
2. 撮像手段および表示手段は、携帯型のタブレット端末に内蔵されていることを特徴とする請求項１に記載の埋設物可視化システム。