JP2023079699A - データ取得装置 - Google Patents

Abstract

【課題】自動巡視の巡視対象を含む地図の生成に必要なデータを取得する。【解決手段】データ取得装置１は、移動体の周囲を撮影して撮影画像を出力する撮影部２０と、移動体の慣性情報を検出する慣性情報検出部３０と、移動体から、移動体の周囲の物体までの奥行き情報を検出する奥行情報検出部４０と、撮影部の撮影画像から巡視対象の撮影画像を検出する巡視対象検出部１２と、巡視対象の撮影画像、慣性情報及び奥行き情報に基づいて、巡視対象が設置される実環境を表す３次元地図における巡視対象を復元する巡視対象復元部１３とを備える。【選択図】 図１

Description

本発明は、データ取得装置に関する。

現在、発電所などの社会インフラや建設現場の点検を自動化する一環として、点検に必要なセンサーを搭載した移動体を利用する自動点検システムが検討されている。例えば、３６０度カメラ及びＧＰＳ機能が搭載された情報端末を利用して、多数の電柱や配電設備を巡視点検する技術が開示されている（特許文献１参照）。

特許文献１に記載の巡視点検システムでは、情報端末は、巡視中に３６０度カメラの画像とＧＰＳ機能とを利用して通過しようとする電柱の電柱番号を特定する。この情報端末は、その電柱に設置されている点検対象設備を画像から自動判別して異常感知センサーの検出結果に基づき異常の有無を判定する。また、この情報端末は、異常があると判定した場合に、その電柱の設備に対して収集入力された点検結果を記憶部に格納し、異常がないと判定した場合に、その電柱を通過した時点で異常なしの点検結果を記憶部に自動的に格納する。また、この情報端末は、巡視終了の指示を受けて、記憶部に格納されている点検結果と、３６０度カメラで撮影されて撮影時の位置情報と関連付けられた画像を管理サーバに送信する。

特開２０１９－３２６８４号公報

上述したように、従来、データベースに格納された点検対象設備の情報を基に、異常感知センサーにより異常の有無を判定する技術（例えば、特許文献１）が開示されているが、このデータベースの作成方法については言及されてない。

また、点検ロボットが自動点検を行うため、点検する場所の建物、点検対象の位置等が復元された地図が必要となる。特に、点検対象の位置は、点検に必要なセンサーを搭載した点検ロボット等の移動体の移動経路の決定に利用されるため、高精度に復元する必要がある。

なお、地図を生成するデータの取得方法として、予め設定された経路に従って取得する方法と、決められた範囲内で点検ロボットが走行しながら地図を生成し、地図を基にデータが取得されていない場所を認識して当該未認識場所のデータを取得する方法とがある。予め設定された経路に従ってデータを取得する方法は、俯瞰地図や建物の設計図などを利用して人が目視により設定した経路や、建物形状に沿った経路を走行してデータを取得する。この方法では、俯瞰地図や設計図などが実際の建物の位置と相違する場合、データが想定通りに取得できない問題が発生する。一方、決められた範囲内で点検ロボットが走行しながら地図を生成して、未認識場所のデータを取得する方法は、当該範囲の建物の大まかな形状を検出して地図を生成するため、巡視対象の正確な形状及び位置まで地図を復元することを保証できない問題がある。

本発明は、上記問題を解決するためになされたものであり、本発明の目的は、自動巡視の巡視対象を含む地図の生成に必要なデータを取得することである。

上記問題を解決するため、本発明のデータ取得装置は、移動体の周囲を撮影して撮影画像を出力する撮影部と、移動体の慣性情報を検出する慣性情報検出部と、移動体から、移動体の周囲の物体までの奥行き情報を検出する奥行情報検出部と、撮影部の撮影画像から巡視対象の撮影画像を検出する巡視対象検出部と、巡視対象の撮影画像、慣性情報及び奥行き情報に基づいて、巡視対象が設置される実環境を表す３次元地図における巡視対象を復元する巡視対象復元部を備える。

上記構成の本発明によれば、自動巡視の巡視対象を含む地図の生成に必要なデータを取得することができる。

本発明の第１実施形態に係るデータ取得装置の構成例を示すブロック図である。 本発明の第１実施形態に係るデータ取得装置のデータ取得部のハードウェア構成を示すブロック図である。 本発明の第１実施形態に係るデータ取得装置において生成される３次元地図を説明するための図である。 本発明の第１実施形態に係るデータ取得装置における巡視対象検出処理の手順を示すフローチャートである。 本発明の第１実施形態に係るデータ取得装置において検出された巡視対象の撮影画像の一例を示す図である。 本発明の第１実施形態に係るデータ取得装置における巡視対象復元処理の手順を示すフローチャートである。 本発明の第１実施形態に係るデータ取得装置における巡視対象の点群の抽出処理を説明するための図である。 本発明の第１実施形態に係るデータ取得装置において復元される巡視対象を示す図である。 本発明の第１実施形態に係るデータ取得装置において、復元された巡視対象の登録イメージを示す図である。 本発明の第１実施形態に係るデータ取得装置において、復元された巡視対象の登録データのイメージを示す図である。 本発明の第１実施形態に係るデータ取得装置において、復元された巡視対象の表示例を示す図である。 本発明の第１実施形態に係るデータ取得装置において、復元された巡視対象及び当該巡視対象の方向を表示する例を示す図である。 本発明の第２実施形態に係るデータ取得装置の構成例を示すブロック図である。 本発明の第２実施形態に係るデータ取得装置における復元完了検出処理の手順を示すフローチャートである。 本発明の第２実施形態に係るデータ取得装置における形状復元完了検出処理の例１の手順を示すフローチャートである。 本発明の第２実施形態に係るデータ取得装置における形状復元完了検出処理の例２の手順を示すフローチャートである。 本発明の第２実施形態に係るデータ取得装置における細部復元完了検出処理の手順を示すフローチャートである。 本発明の第２実施形態に係るデータ取得装置において、複数視点から復元された巡視対象のイメージを示す図である。 本発明の第３実施形態に係るデータ取得装置の外部端末に表示されるカメラの撮影画像の一例を示す図である。 本発明の第３実施形態に係るデータ取得装置における巡視対象検出処理の手順を示すフローチャートである。

＜第１実施形態＞
以下、本発明の第１実施形態に係るデータ取得装置について、図面を参照しながら具体的に説明する。なお、本発明は以下の例に限定されるものではない。また、以下の説明では、社会インフラ設備等にある計器を、巡視対象の一例として説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。

図１は、第１実施形態に係るデータ取得装置１の構成例を示すブロック図である。データ取得装置１は、移動ロボット、乗用車、人が持ち運び可能なデバイス等の移動体に搭載される。図１に示すように、データ取得装置１は、データ取得部１０と、撮影部２０と、慣性情報検出部３０と、奥行情報検出部４０と、外部端末５０とを備える。撮影部２０は、データ取得部１０の巡視対象検出部１２に接続される。慣性情報検出部３０及び奥行情報検出部４０は、データ取得部１０の巡視対象復元部１３に接続される。データ取得部１０の情報表示部１４は、外部端末５０に接続される。

撮影部２０は、例えば、カメラ等で構成され、撮影部２０が取り付けられた移動体、すなわち、データ取得装置１が設置された移動体の周囲を撮影する。以下では、データ取得装置１が設置された移動体を、単に移動体と称する。撮影部２０により撮像された画像は、データ取得部１０の巡視対象検出部１２により取得される。

慣性情報検出部３０は、例えば、ＩＭＵ（Inertial Measurement Unit）等で構成され、移動体の慣性情報の一例として、移動体の角速度及び角加速度を検出する。慣性情報検出部３０により検出された慣性情報（移動体の角速度及び角加速度）は、データ取得部１０の巡視対象復元部１３により取得される。

奥行情報検出部４０は、例えば、ＬｉＤＡＲ（Light Detection and Ranging）等で構成され、移動体から、移動体の周囲の物体までの奥行き情報を検出する。本実施形態では、移動体の周囲の物体の３次元点群情報(奥行き情報)を検出するＬｉＤＡＲを、奥行情報検出部４０として利用する例を説明する。３次元点群情報は、レーザー光を用いて距離センシングを行い、二次元又は三次元の空間イメージングを表現する情報である。奥行情報検出部４０により検出された巡視対象等の物体の３次元点群情報（奥行き情報）は、データ取得部１０の巡視対象復元部１３により取得される。

［データ取得部１０］
データ取得部１０は、図１に示すように、巡視対象記憶部１１と、巡視対象検出部１２と、巡視対象復元部１３と、情報表示部１４とを有する。

巡視対象記憶部１１は、巡視対象に関する各種データを記憶する。巡視対象記憶部１１は、予め登録された巡視対象の画像、例えば、社会インフラ設備内にある計器等の巡視点検対象の正面から撮影された画像を記憶する。また、巡視対象記憶部１１は、巡視対象復元部１３により過去に復元された巡視対象の撮影画像と、生成された３次元地図とが紐付けられたデータを記憶する（後述の図１０参照）。

巡視対象検出部１２は、撮影部２０の撮影画像から巡視対象の撮影画像を検出する巡視対象検出処理を行う。巡視対象検出部１２は、撮影部２０から撮影画像を取得し、撮影画像の中に、巡視対象の撮影画像が含まれているか否かを判定する。巡視対象検出部１２は、撮影画像に巡視対象の撮影画像が含まれていると判定した場合、撮影画像に写る巡視対象の位置及び領域を推定する。そして、巡視対象検出部１２は、巡視対象の撮影画像、推定した巡視対象の撮影画像の位置及び領域を巡視対象復元部１３に出力し、巡視対象の撮影画像及び巡視対象が写っている方向の情報を情報表示部１４に出力する。なお、巡視対象検出部１２における巡視対象検出処理について、後述の図４で詳述する。

巡視対象復元部１３は、巡視対象検出部１２からの巡視対象の撮影画像、慣性情報検出部３０からの慣性情報、奥行情報検出部４０からの奥行き情報に基づいて、巡視対象が設置される実環境を表す３次元地図における巡視対象を復元する巡視対象復元処理を行う。巡視対象復元処理において、巡視対象復元部１３は、慣性情報に基づいて巡視対象が設置される実環境を表す３次元地図を生成する。また、巡視対象復元部１３は、巡視対象の撮影画像及び奥行情報検出部４０からの奥行き情報（３次元点群情報）に基づいて、巡視対象の奥行き情報（３次元点群情報）を抽出し、抽出した巡視対象の３次元点群情報を利用して巡視対象を復元する。また、巡視対象復元部１３は、複数の巡視対象の撮影画像を利用して巡視対象を復元する。そして、巡視対象復元部１３は、復元した巡視対象の情報を情報表示部１４に出力する。なお、巡視対象復元部１３における巡視対象復元処理について、後述の図６で詳述する。

情報表示部１４は、データ取得装置１の使用者（ユーザー）に巡視対象の復元の成否を判定させるため、巡視対象復元部１３により復元された巡視対象を、ユーザーが使用する外部端末５０に表示させるように制御する。具体的には、情報表示部１４は、巡視対象検出部１２から入力した巡視対象画像及び巡視対象が写っている方向の情報、巡視対象復元部１３からの復元された巡視対象を外部端末５０に送信する。ユーザーは、外部端末５０に示される情報を基に巡視対象がある方向、巡視対象の復元が不十分な方向へデータ取得装置１を移動させる。また、ユーザーが、巡視対象の復元が完了したことを確認して、外部端末５０を利用して、巡視対象の復元の成否に関する情報を登録する場合、情報表示部１４は、外部端末５０から巡視対象の復元の成否に関する情報を受け付ける。そして、情報表示部１４は、復元された巡視対象を３次元地図に紐づけて巡視対象記憶部１１に保存する。

図１に示す外部端末５０は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-luminescence）ディスプレイなどの表示デバイス等からなる表示部、及び、タッチセンサー等からなる操作部を有する。なお、外部端末５０は、無線通信によりデータ取得部１０と接続される場合、無線通信機能を有する通信部を更に備える。表示部及び操作部は、例えばタッチパネルとして一体に形成される。外部端末５０は、ユーザーからの操作内容を表す操作信号を生成し、該操作信号をデータ取得部１０に供給する。また、外部端末５０は、情報表示部１４から受信した巡視対象の撮影画像、巡視対象が写っている方向の情報、復元された巡視対象を表示する（後述の図１１，１２参照）。なお、操作部をマウスやタブレットなどで構成し、表示部とは別体で構成することも可能である。

図２は、データ取得部１０のハードウェア構成を示す図である。データ取得部１０の機能は、マイクロコントローラー等の情報処理装置により実現される。データ取得部１０は、図２に示すように、ＣＰＵ（Central Processing Unit）１０ａと、ＲＯＭ（Read Only Memory）１０ｂと、ＲＡＭ（Random Access Memory）１０ｃと、記憶部１０ｄと、通信部１０ｅとを有する。

ＣＰＵ１０ａは、データ取得部１０内の各部の動作を制御する。具体的には、データ取得部１０は、巡視対象検出部１２における巡視対象検出処理、巡視対象復元部１３における巡視対象復元処理、情報表示部１４における外部端末５０とのデータ送受信処理を制御する。

ＲＯＭ１０ｂは、例えば、不揮発性メモリ等の記憶媒体で構成され、ＣＰＵ１０ａが実行及び参照するプログラムやデータ等を記憶する。

ＲＡＭ１０ｃは、例えば、揮発性メモリ等の記憶媒体で構成され、ＣＰＵ１０ａが行う各処理に必要な情報（データ）を一時的に記憶する。

記憶部１０ｄは、ＣＰＵ１０ａによって実行されるプログラムを格納したコンピューター読取可能な非一過性の記録媒体で構成され、例えばＨＤＤ（Hard Disk Drive）等の記憶装置で構成される。記憶部１０ｄは、ＣＰＵ１０ａが各部を制御するためのプログラム、ＯＳ（Operating System）、コントローラー等のプログラム、データを記憶する。また、記憶部１０ｄは、巡視対象記憶部１１に記憶される巡視対象の各種データを記憶する。なお、記憶部１０ｄに記憶されるプログラム、データの一部は、ＲＯＭ１０ｂに記憶されてもよい。また、記憶部１０ｄは、ＨＤＤに限定されず、例えば、ＳＳＤ（Solid State Drive）、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の記録媒体であってもよい。

通信部１０ｅは、例えば、ＮＩＣ（Network Interface Card）やモデム等で構成され、外部端末５０との接続を確立し、ＣＰＵ１０ａの制御により、外部端末５０との各種データの送受信を行う。

［３次元地図］
データ取得装置１における各種処理を説明する前に、まず、奥行情報検出部４０により取得される奥行き情報（３次元点群情報）に基づいて生成される３次元地図について説明する。図３は、本実施形態のデータ取得装置１の巡視対象復元部１３において生成される３次元地図を説明するための図である。図３（Ａ）は、想定される巡視対象（計器）の実環境の３次元地図を示す。図３（Ｂ）は、図３（Ａ）に示す実環境の３次元地図が復元された３次元地図を示す。

図３（Ａ）に示す実環境では、例えば、計器である巡視対象１００ａがあり、巡視対象１００ａの近くに、物体１０１ａ及び物体１０２ａがある。図３（Ａ）に示す実環境に移動した移動体に設置されたデータ取得装置１の奥行情報検出部４０は、巡視対象１００ａ、物体１０１ａ及び物体１０２ａの空間イメージを表現する奥行き情報（３次元点群情報）を取得する。図３（Ｂ）には、奥行情報検出部４０により取得された奥行き情報に基づいて生成された、図３（Ａ）に示す実環境の３次元地図であり、この３次元地図のサイズは、図３（Ａ）に示す実環境の地図と同じである。座標系１２０は、３次元地図上の点位置を指定するために設けられた座標系である。すなわち、３次元地図上の任意点の位置は、座標系１２０における座標（ｘ、ｙ、ｚ）で表せる。２点鎖線で描画されている巡視対象１００ｂ、物体１０１ｂ及び物体１０２ｂは、３次元点群により表現される、巡視対象１００ａ、物体１０１ａ及び物体１０２ａのそれぞれの３次元形状である。なお、図３（Ｂ）において、物体の形状を明らかに示すため、全ての３次元点群が表示されず、３次元点群の一部である点群１１０が例として示されている。

［巡視対象検出処理］
次に、データ取得部１０の巡視対象検出部１２における巡視対象検出処理について説明する。図４は、本実施形態のデータ取得装置１における巡視対象検出処理の手順を示すフローチャートである。以下に説明する処理は、予め決められた周期毎に、例えば５０ｍｓ毎に実行される。

まず、巡視対象検出部１２は、撮影部２０から撮影画像を取得する（ステップＳ１０１）。

次いで、巡視対象検出部１２は、取得した撮影画像から、巡視対象記憶部１１に予め記憶された巡視対象を検出する（ステップＳ１０２）。この処理では、巡視対象検出部１２は、例えば、テンプレートマッチングを利用して、撮影画像の中に写る巡視対象の撮影画像を検出して、撮影画像に写る巡視対象の位置を推定する。具体的には、巡視対象検出部１２は、撮影画像と、巡視対象記憶部１１に予め記憶された巡視対象の画像との類似度を計算し、類似度が所定閾値を満たす撮影画像の部分の位置を検出することで、巡視対象の撮影画像の検出及び巡視対象の撮影画像の位置推定を行う。なお、撮影画像と巡視対象の画像との類似度の計算方法としては、例えば、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross Correlation）、ＺＮＣＣ（Zero means Normalized Cross Correlation）等を利用可能である。

次いで、巡視対象検出部１２は、撮影画像の中に巡視対象が含まれているか否かを判定する（ステップＳ１０３）。この処理では、巡視対象検出部１２が、算出した撮影画像と巡視対象の画像との類似度が所定閾値を満たす撮影画像の部分を検出した場合には、巡視対象検出部１２は撮影画像の中に巡視対象が含まれていると判定し、ステップＳ１０３の処理はＹＥＳ判定となる。一方、巡視対象検出部１２が、算出した撮影画像と巡視対象の画像との類似度が所定閾値を満たす撮影画像の部分を検出できなかった場合には、巡視対象検出部１２は撮影画像の中に巡視対象が含まれていないと判定し、ステップＳ１０３の処理はＮＯ判定となる。

ステップＳ１０３の処理において、巡視対象検出部１２が撮影画像の中に巡視対象が含まれていないと判定した場合（ステップＳ１０３のＮＯ判定）、巡視対象検出部１２は、巡視対象検出処理を終了する。

一方、ステップＳ１０３の処理において、巡視対象検出部１２が撮影画像の中に巡視対象が含まれていると判定した場合（ステップＳ１０３のＹＥＳ判定）、巡視対象検出部１２は、ステップＳ１０４の処理を行う。この処理では、巡視対象検出部１２は、撮影画像及び検出された巡視対象の撮影画像に関する各種情報を巡視対象復元部１３に出力する。なお、巡視対象の撮影画像に関する各種情報は、巡視対象の撮影画像が撮影部２０の撮影画像における位置、巡視対象の撮影画像のサイズを含む。

ステップＳ１０３の処理がＮＯ判定である場合、又は、ステップＳ１０４の処理後、巡視対象検出部１２は、巡視対象検出処理を終了する。

図５は、巡視対象検出部１２により検出された巡視対象の撮影画像の一例を示す図である。画像２０１は、巡視対象記憶部１１に予め記憶された巡視対象の画像の一例である。画像２０２は、撮影部２０から取得された撮影画像の一例である。画像２０２の中に含まれる画像２０３は、巡視対象検出部１２により検出された巡視対象（画像２０１）の撮影画像に対応する。巡視対象検出部１２は、画像２０２の左上の頂点を原点とし、画像２０２の幅方向を「ｘ」軸とし、画像２０２の縦方向を「ｙ」軸として、巡視対象の撮影画像の位置（画像２０３の左上の頂点の座標）及びサイズ（横幅Ｗ、縦幅Ｈ）を推定する。

［巡視対象復元処理］
次に、データ取得部１０の巡視対象復元部１３における巡視対象復元処理について説明する。図６は、本実施形態のデータ取得装置１における巡視対象復元処理の手順を示すフローチャートである。以下に説明する処理は、予め決められた周期毎に実行される。なお、巡視対象復元処理の実行周期は、巡視対象検出部１２の巡視対象検出処理の実行周期と同様に設定されてもよいし、異なるように設定されてもよい。

まず、巡視対象復元部１３は、奥行情報検出部４０から奥行き情報（３次元点群情報）を取得する（ステップＳ２０１）。なお、奥行情報検出部４０から取得される奥行き情報は、例えば、図３（Ｂ）で説明した、巡視対象１００ｂ、物体１０１ｂ及び物体１０２ｂの点群情報として示される。

次いで、巡視対象復元部１３は、慣性情報検出部３０から慣性情報の一例として角速度及び角加速度を取得する（ステップＳ２０２）。また、この処理では、巡視対象復元部１３は、取得した角速度及び角加速度に基づいて、前回、巡視対象復元処理が行われた時の移動体の位置から、移動体の位置及び姿勢がどのように変化したかを示す相対移動量を推定する。なお、巡視対象復元部１３が慣性情報検出部３０から取得した角速度及び角加速度は、それぞれ、下記式（１）及び式（２）で表せる。そして、移動体の位置及び姿勢の変化量は、慣性情報検出部３０から取得した角速度及び角加速度に基づいて、下記式（３）及び式（４）で計算できる。

式（１）～式（４）において、ω’は慣性情報検出部３０から取得した角速度を表し、ωは慣性情報検出部３０内部のバイアス、雑音等の影響を除いた角速度を表す。ａ’は慣性情報検出部３０から取得した角加速度を表し、ａは慣性情報検出部３０内部のバイアス、雑音等の影響を除いた角加速度を表す。ｂは慣性情報検出部３０内部のバイアスを表し、ｎは白色ノイズを表し、ｇは世界座標での重力加速度を表す。Ｒ^Ｅは世界座標系から任意の座標系への変換を表し、ｖは速度を表し、ｐは位置を表し、ｒは姿勢を表し、I_３＊３は３×３の単位行列を表す。また、ｔは時刻を表し、上述した各種変量に「ｔ」が下付きされたのは、当該変量は時間変化であることを表す。また、変量ｂ及びｎに、ω又はａが上付きされたのは、当該変量が、角速度（ω）又は角加速度（ａ）のどちらに対応するものであることを表す。

式（３）に示すように、移動体の位置変化量（ｐ_Δｔ）は、角加速度（ａ’）及び速度（ｖ）から算出できる。式（４）に示すように、移動体の姿勢変化量（ｒ_Δｔ）は、角速度（ω’）から算出できる。また、移動体の速度変化量（ｖ_Δｔ）は、下記式（５）に示すように、角加速度（ａ’）から算出できる。

次いで、巡視対象復元部１３は、初回処理であるか否かを判定する（ステップＳ２０３）。この処理では、ステップＳ２０１の処理において、奥行情報検出部４０から初めて奥行き情報を取得する場合には、巡視対象復元部１３は初回処理であると判定し、ステップＳ２０３の処理はＹＥＳ判定となる。一方、ステップＳ２０１の処理において、奥行情報検出部４０から過去に奥行き情報を取得していた場合には、巡視対象復元部１３は初回処理でないと判定し、ステップＳ２０３の処理はＮＯ判定となる。

ステップＳ２０３の処理において、巡視対象復元部１３が初回処理であると判定した場合（ステップＳ２０３のＹＥＳ判定）、巡視対象復元部１３は、後述のステップＳ２０６の処理を行う。

一方、ステップＳ２０３の処理において、巡視対象復元部１３が初回処理でないと判定した場合（ステップＳ２０３のＮＯ判定）、巡視対象復元部１３は、ステップＳ２０１で新たに取得した点群と、前回処理で生成された３次元地図との照合を行う（ステップＳ２０４）。この処理では、巡視対象復元部１３は、新たに入力された点群の形状を前回処理で生成された３次元地図に含まれる形状と一致するように剛体変換を行うために必要となる後述の回転行列Ｍ及び並進ベクトルＮを推定する。

なお、剛体変換は、点群の形状を変形させず、回転、並進のみで点群を移動させる変換である。例えば、新たに取得した点群中の任意点位置ｐを、３次元地図に含まれる点群の点位置ｐ’への剛体変換は、下記式（６）に基づいて行われる。

式（６）において、Ｍは３×３の直行行列で表現される回転行列を表し、Ｎは並進ベクトルを表す。剛体変換の推定は、回転行列Ｍ及び並進ベクトルＮを推定することに相当する。点群同士のペアからＭ及びＮを推定するのは、例えば、ＩＣＰ（Iterative Closest Point）、ＮＤＴ（Normal Distribution Transform）等の公知手法を利用する。また、これらの手法を利用する際には、初期状態で大まかに点群が正解値に合っている必要がある。このため、初期位置としてステップＳ２０２で推定された相対移動量（移動体の位置及び姿勢の変化量）を利用する。

次いで、巡視対象復元部１３は、推定した回転行列Ｍ及び並進ベクトルＮを利用して式（６）に基づいて、新たに入力された点群の形状を前回処理で生成された３次元地図に含まれる形状と一致するように点群の剛体変換を行う（ステップＳ２０５）。

次いで、巡視対象復元部１３は、剛体変換された点群を３次元地図として登録する（ステップＳ２０６）。この処理では、初回処理の場合、巡視対象復元部１３は、新たに取得した点群を３次元地図として登録し、新たに取得した点群の原点及び座標系を地図の原点及び座標系として巡視対象記憶部１１に登録する。一方、初回処理でない場合、巡視対象復元部１３は、ステップＳ２０５において剛体変換された点群を前回処理で生成された３次元地図（巡視対象記憶部１１に保存されている３次元地図）に追加する。

次いで、巡視対象復元部１３は、巡視対象検出部１２において巡視対象が検出されたか否かを判断する（ステップＳ２０７）。この処理では、巡視対象検出部１２から撮影画像及び検出された巡視対象の撮影画像に関する各種情報が入力された場合には、巡視対象復元部１３は巡視対象が検出されたと判断し、ステップＳ２０７はＹＥＳ判定となる。一方、巡視対象検出部１２から撮影画像及び検出された巡視対象の撮影画像に関する各種情報が入力されていない場合には、巡視対象復元部１３は巡視対象が検出されていないと判断し、ステップＳ２０７はＮＯ判定となる。

ステップＳ２０７の処理において、巡視対象復元部１３が巡視対象が検出されていないと判断した場合、巡視対象復元部１３は、巡視対象復元処理を終了する。

一方、ステップＳ２０７の処理において、巡視対象復元部１３が巡視対象が検出されたと判断した場合、巡視対象復元部１３は、新たに取得した点群から巡視対象の点群を抽出する（ステップＳ２０８）。この処理では、巡視対象復元部１３は、新たに取得した点群を撮影画像に投影し、巡視対象の撮影画像、巡視対象の撮影画像の位置、巡視対象の撮影画像のサイズを含む巡視対象の撮影画像に関する各種情報に基づき、投影された点群から巡視対象の点群を抽出する。

具体的には、図７を用いて説明する。図７は、本実施形態に係るデータ取得装置１における巡視対象の点群の抽出処理を説明するための図である。図７（Ａ）は、撮影部２０の撮影画像及び巡視対象検出部１２により検出された巡視対象の撮影画像を示す。図７（Ｂ）は、奥行情報検出部４０により取得された点群３０１を示す。図７（Ｃ）は、図７（Ｂ）に示す点群３０１が図７（Ａ）に示す撮影画像（画像２０２）に投影されたイメージを示す。図７（Ｄ）は、抽出された巡視対象の点群（点群３０２）を示す。なお、図７（Ｂ）に示す点群３０１が、２次元の画像で表示されているが、実際には３次元点群である。

図７（Ａ）に示す画像２０２及び画像２０３は、それぞれ、撮影部２０から取得された撮影画像、及び、巡視対象検出部１２により検出された巡視対象の撮影画像であり、図５に示す画像２０２及び画像２０３と同じであるので、重複説明を省略する。巡視対象復元部１３は、下記式（７）～式（９）により、図７（Ｂ）に示す点群３０１を図７（Ａ）に示す画像２０２に投影する。式（７）は、奥行情報検出部４０により取得された点群３０１の座標系を、撮影部２０により取得された撮影画像の座標系へ変換する式である。式（８）及び式（９）は、式（７）により撮影部２０の撮影画像の座標系に変換された後の点群３０１を、理想的なピンホールモデルを利用し、撮影部２０の撮影画像である画像２０２に投影する式である。なお、ピンホールモデルは、３次元シーンの各点から出る光を画像平面上の２次元点へ投影するモデルである。

式（７）～式（９）において、ｐ^ｌは、奥行情報検出部４０の点群の座標系における点位置を表す。ｐ^ｃは、撮影部２０の撮影画像の座標系における点位置を表す。Ｍ^ｌｃは奥行情報検出部４０の点群の座標系から撮影部２０の撮影画像の座標系へ変換するための回転行列を表す。Ｎ^ｌｃは奥行情報検出部４０の点群の座標系から撮影部２０の撮影画像の座標系へ変換するための並進移動量を表す。また、ｘ_ｉおよびｙ_ｉは撮影部２０の撮影画像（画像２０２）上での座標を表し、ｘ_ｌ、ｙ_ｌ、ｚ_ｌは奥行情報検出部４０の３次元点群（点群３０１）での座標を表す。また、ｆ_ｘ、ｆ_ｙは撮影部２０の焦点距離を表し、ｃ_ｘ、ｃ_ｙは撮影部２０の撮影画像（画像２０２）の中心位置を表す。

上述した式（７）～式（９）を利用する投影により、図７（Ｂ）に示す点群３０１が、図７（Ｃ）に示すように撮影画像（画像２０２）に投影される。そして、巡視対象復元部１３は、巡視対象の撮影画像（画像２０３）が撮影画像（画像２０２）における位置、巡視対象の撮影画像のサイズ（図７（Ａ）に示すＷ，Ｈ）に基づいて、図７（Ｄ）に示すように、巡視対象の点群（点群３０２）を抽出する。

なお、図７では、巡視対象復元部１３が、ＬｉＤＡＲにより検出される３次元点群から巡視対象の点群を抽出する例を説明したが、本発明はこれに限定されない。奥行情報検出部４０が奥行き情報を検出する他の種類の装置で構成される場合、巡視対象復元部１３は、当該装置により検出される奥行き情報から巡視対象の奥行き情報を抽出する。抽出方法は、巡視対象の奥行き情報を抽出できる方法であれば、任意方法を適用可能である。

図６に戻って説明を続ける。
ステップＳ２０８の次に、巡視対象復元部１３は、巡視対象の復元を行う（ステップＳ２０９）。この処理では、巡視対象の復元は、巡視対象の奥行き情報（点群）のみを利用する復元と、異なる位置で撮影された複数の巡視対象の撮影画像を利用する復元との２つの方法がある。なお、巡視対象の点群のみを利用する復元は、奥行情報検出部４０の分解能の関係で対象の形状しか復元できない。異なる位置で撮影された複数の巡視対象の撮影画像を利用する復元は、ステレオ視により生成される色情報を含むので、点群のみを利用する復元に比べ、高密度な復元ができる。具体的には、図８を用いて説明する。

図８は、本実施形態に係るデータ取得装置１において、復元される巡視対象を示す図である。図８に示す画像４０１は、巡視対象の点群のみを利用して復元された巡視対象であり、画像４０２は、複数の巡視対象の撮影画像を利用して復元された巡視対象である。図８に示すように、巡視対象の点群のみ（図７（Ｄ）に示す点群３０２）を利用して復元された巡視対象（画像４０１）は、点群により表示される巡視対象の形状のみとなる。複数の巡視対象の撮影画像（図５に示す画像２０３）を利用して復元された巡視対象（画像４０２）は、巡視対象の形状だけでなく、巡視対象の細部（表示盤等）も見えるように高密度に復元される。

図６に戻って説明を続ける。
ステップＳ２０９の次に、巡視対象復元部１３は、復元した巡視対象を巡視対象記憶部１１に登録する（ステップＳ２１０）。この処理では、巡視対象復元部１３は、復元した巡視対象（図８）と、巡視対象が３次元地図上での位置と、巡視対象の撮影画像と、撮影画像が取得（検出）される際の位置姿勢情報とを紐付けて巡視対象記憶部１１に登録する。また、巡視対象復元部１３は、復元した巡視対象を情報表示部１４に出力する。

図９は、本実施形態に係るデータ取得装置１における復元された巡視対象の登録イメージを示す図である。図９に示す３次元地図は、図３（Ｂ）で説明した３次元地図と同じであるので、重複説明を省略する。図９に示す巡視対象１００ｂを囲む１点鎖線の枠５０１は、巡視対象の３次元地図上での位置を示す。復元された巡視対象（図８で説明した画像４０１、画像４０２）は、図９に示すように、巡視対象の３次元地図上での位置（枠５０１）と紐付けて登録される。なお、実際に巡視対象記憶部１１に登録されるデータについて、図１０を用いて説明する。

図１０は、本実施形態に係るデータ取得装置１における復元された巡視対象の登録データのイメージを示す図である。図１０に示す「画像ＩＤ」の欄には、巡視対象の種類ごとに付けられる唯一の識別番号（例えば、「１」、「２」）が格納される。すなわち、同じ種類の巡視対象には、同じ「画像ＩＤ」が用いられる。「地図上の位置姿勢」の欄には、巡視対象が３次元地図上での位置姿勢情報が格納される。なお、巡視対象が３次元地図上での位置姿勢情報（例えば、「１０，１０，３０，０，４５，９０」）は、ｘ,ｙ,ｚ,ｒｏｌｌ,ｐｉｔｃｈ,ｙａｗをこの順で表す情報とする。ここで、ｘ,ｙ,ｚで表す情報は、位置情報であり、ｒｏｌｌ,ｐｉｔｃｈ,ｙａｗで表す情報は、姿勢情報である。

「奥行き情報Ａ」の欄には、巡視対象の奥行き情報（点群）のみを利用して復元された巡視対象の保存先へのパス（「．／・・・」と略記する）が格納される。「復元完了Ａ」の欄には、巡視対象の奥行き情報（点群）のみを利用する巡視対象の復元（巡視対象の形状復元）が完了したか否かを示す情報が格納される。なお、巡視対象の奥行き情報のみを利用する巡視対象の復元が完了したか否かを示す情報としては、例えば、「Ｙ」が完了したことを示し、「Ｎ」が未完了であることを示す。「奥行き情報Ｂ」の欄には、複数の巡視対象の撮影画像（図５に示す画像２０３）を利用して復元された巡視対象の保存先へのパス（「．／・・・」と略記する）が格納される。「復元完了Ｂ」の欄には、複数の巡視対象の撮影画像を利用する巡視対象の復元（巡視対象の細部復元）が完了したか否かを示す情報が格納される。なお、複数の巡視対象の撮影画像を利用する巡視対象の復元が完了したか否かを示す情報としては、例えば、「Ｙ」が完了したことを示し、「Ｎ」が未完了であることを示す。

「撮影画像」の欄には、巡視対象の撮影画像（図５に示す画像２０３）の保存先へのパス（「．／・・・」と略記する）が格納される。「データ取得位置姿勢」の欄には、巡視対象を復元するための各種情報（撮影部２０、慣性情報検出部３０、奥行情報検出部４０等のセンサーの検出情報）の取得時（検出時）の位置情報及び姿勢情報のセット（例えば、「ｄ１」～「ｄｎ」）が格納される。なお、「ｄ１」～「ｄｎ」のセットごとに、ｘ,ｙ,ｚ,ｒｏｌｌ,ｐｉｔｃｈ,ｙａｗをこの順で表す位置情報及び姿勢情報が格納される。セットに含まれるデータの数（ｎ）は、点群情報の取得回数を表している。

上述の「画像ＩＤ」、「地図上の位置姿勢」、「奥行き情報Ａ」、「復元完了Ａ」、「奥行き情報Ｂ」、「復元完了Ｂ」、「撮影画像」及び「データ取得位置姿勢」の欄に格納される情報は互いに紐付けられた１セットの情報として、巡視対象毎に巡視対象記憶部１１に記憶される。

［巡視対象情報の表示例］
次に、情報表示部１４における巡視対象情報の表示例を説明する。情報表示部１４は、巡視対象検出部１２から巡視対象の撮影画像及び巡視対象が写っている方向の情報を入力し、巡視対象復元部１３から復元された巡視対象を入力する。また、情報表示部１４は、入力した巡視対象の撮影画像、復元された巡視対象、巡視対象が写っている方向の情報をユーザーが使用する外部端末５０に送信して表示させる。なお、巡視対象が写っている方向は、すなわち、巡視対象が移動体に対する方向である。

図１１は、外部端末５０に表示される巡視対象情報の表示例を示す図である。図１１（Ａ）～（Ｃ）は、それぞれ、巡視対象情報の表示例１～３を示す。図１１（Ａ）に示す画像６０１は、外部端末５０の表示画面を表す。画像６０１の左側部分にある画像６０２は、巡視対象の撮影画像であり、図５に示す画像２０３と同じである。また、画像６０１の右側部分にある画像６０３は、複数の巡視対象の撮影画像を利用して復元された巡視対象を表しており、図８に示す画像４０２と同じである。図１１（Ａ）に示す表示例１は、例えば、情報表示部１４が複数の巡視対象の撮影画像を利用して復元された巡視対象のみを入力した場合に適用可能である。一方、例えば、情報表示部１４が巡視対象の奥行き情報（点群）を利用して復元された巡視対象のみを入力した場合、画像６０３の代わりに、巡視対象の奥行き情報（点群）を利用して復元された巡視対象（例えば、図８に示す画像４０１）を表示してもよい。

図１１（Ｂ）に示す画像６０４は、画像６０３に重ねて表示され、巡視対象の奥行き情報（点群）を利用して復元された巡視対象の一部の画像である。すなわち、図１１（Ｂ）に示す表示例２では、巡視対象の奥行き情報（点群）を利用して復元された巡視対象と複数の巡視対象の撮影画像を利用して復元された巡視対象とが重ねて表示される。なお、図１１（Ｂ）に示す表示例２を適用するには、巡視対象復元部１３が巡視対象の奥行き情報（点群）及び複数の巡視対象の撮影画像のそれぞれを利用して巡視対象を復元する必要がある。そこで、情報表示部１４は、巡視対象の奥行き情報（点群）を利用して復元された巡視対象と、複数の巡視対象の撮影画像を利用して復元された巡視対象とを重ねて外部端末５０に表示させる。

図１１（Ｃ）に示す黒色の画像６０５は、画像６０３に重ねて表示される。なお、黒色の画像６０５は、巡視対象の復元されていない部分を表す。本発明は、これに限定されず、例えば、巡視対象の復元されていない部分を白色等の任意色の画像で表示してもよい。また、巡視対象の復元されていない部分（画像６０５の形状）の抽出は、巡視対象の撮影画像（画像６０２）を２値変換して外側の輪郭を抽出することで行われる。２値変換の方法はとしては、カラー画像をグレイスケール画像へ変換し、例えば、閾値以下の画素を黒、閾値以上の白とすることで変換できる。そして、２値変換された画像を基に値がゼロでない画素をなぞって、巡視対象の復元されていない部分の輪郭（形状）を抽出することができる。なお、２値変換の方法及び輪郭を抽出する方法は、上述の方法に限定されず、２値変換及び輪郭抽出可能の方法であれば、任意方法を適用可能である。

図１２は、図１１に示す表示仕様に加え、巡視対象が移動体に対する方向（以下、「巡視対象の方向」と略称する）を更に表示する例を示す。巡視対象の方向を外部端末５０の表示画面に表示させる場合、情報表示部１４は、巡視対象検出部１２から入力される巡視対象が写っている方向の情報に基づいて、外部端末５０において、復元された巡視対象が移動体に対する方向を表示させる。

図１２に示す領域７０１は、外部端末５０の表示画面の四辺に設けられた、巡視対象の方向の表示領域である。表示画面（画像６０１）の上端部にある領域７０１及び左端にある領域７０１のそれぞれには、アイコン７０２及びアイコン７０３のそれぞれが表示されている。２つのアイコンが表示されることは、画像６０２が示す巡視対象が２つあるとのことである。アイコン７０２が表示画面の上端部にある領域７０１の左側に表示されることは、２つの巡視対象中の１つが移動体の正面のやや左方向にあることを示す。また、アイコン７０３が表示画面の左端にある領域７０１の上側に表示されることは、２つの巡視対象中のもう１つが移動体の左前にあることを示す。

なお、図１２では、図１１（Ａ）に示す表示仕様に巡視対象の方向を更に表示する例を説明したが、本発明はこれに限定されず、巡視対象の方向を図１１（Ｂ）及び図１１（Ｃ）に示す表示仕様に更に表示してもよい。

［効果］
上述したように、データ取得装置１は、巡視対象を含む地図を復元するための撮影画像、角速度、角加速度及び奥行き情報等のデータを取得し、３次元地図の生成及び巡視対象の復元を行い、巡視対象に関する各種情報を３次元地図に紐付けて保存する。それゆえ、本発明のデータ取得装置１は、自動巡視の巡視対象を含む地図の生成に必要なデータを取得することができる。

＜第２実施形態＞
ここで、本発明の第２実施形態に係るデータ取得装置について、図面を参照しながら具体的に説明する。図１３は、本発明の第２実施形態に係るデータ取得装置の構成例を示すブロック図である。図１３に示すデータ取得装置２の構成は、図１に示すデータ取得装置１のデータ取得部１０が、更に復元完了検出部１５を備える構成である。図１３に示すように、データ取得部１０において、復元完了検出部１５は、巡視対象復元部１３と情報表示部１４との間に設置される。巡視対象復元部１３、復元完了検出部１５及び情報表示部１４は、この順で接続される。なお、データ取得装置２の復元完了検出部１５以外の各構成部は、図１に示すデータ取得装置１のこれらの構成部と同じであるので、重複説明を省略する。

復元完了検出部１５は、巡視対象復元部１３から復元された巡視対象（図８参照）を入力する。また、復元完了検出部１５は、後述の巡視対象の形状復元、後述の巡視対象の細部復元の成功を検出して巡視対象の復元完了の結果として情報表示部１４に出力する。

図１４は、復元完了検出部１５における復元完了検出処理の手順を示すフローチャートである。以下に説明する処理は、復元完了検出部１５が巡視対象復元部１３から復元された巡視対象を入力すると開始される。なお、ここで、ＬｉＤＡＲにより検出される３次元点群から抽出される巡視対象の点群を利用して復元完了検出処理を行う例を説明するが、本発明はこれに限定されない。奥行情報検出部４０が奥行き情報を検出する他の種類の装置で構成される場合、当該装置により検出される奥行き情報から抽出された巡視対象の奥行き情報を利用して復元完了検出処理を行ってもよい。

まず、復元完了検出部１５は、復元された巡視対象の点群を取得する（ステップＳ３０１）。

次いで、復元完了検出部１５は、サブルーチン処理である巡視対象の形状復元完了検出処理を呼び出して行う（ステップＳ３０２）。なお、巡視対象の形状復元完了検出処理について、後述の図１５及び後述の図１６で詳細する。

次いで、復元完了検出部１５は、サブルーチン処理である巡視対象の細部復元完了検出処理を呼び出して行う（ステップＳ３０３）。なお、巡視対象の細部復元完了検出処理について、後述の図１７で詳細する。

次いで、復元完了検出部１５は、形状復元完了検出処理及び細部復元完了検出処理の結果に基づいて、巡視対象の復元が完了したか否かを判定する（ステップＳ３０４）。この処理において、形状復元完了検出処理の結果及び細部復元完了検出処理の結果が復元完了でない場合、復元完了検出部１５が巡視対象の復元が完了していないと判定し、ステップＳ３０４の処理はＮＯ判定となる。形状復元完了検出処理の結果及び細部復元完了検出処理の結果のいずれかが復元完了である場合、復元完了検出部１５が巡視対象の復元が完了したと判定し、ステップＳ３０４の処理はＹＥＳ判定となる。

ステップＳ３０４の処理において、復元完了検出部１５が巡視対象の復元が完了していないと判定した場合（ステップＳ３０４のＮＯ判定）、復元完了検出部１５は、復元完了検出処理を終了する。

一方、ステップＳ３０４の処理において、復元完了検出部１５が巡視対象の復元が完了したと判定した場合（ステップＳ３０４のＹＥＳ判定）、ステップＳ３０５の処理を行う。ステップＳ３０５の処理では、復元完了検出部１５は、形状復元完了検出処理及び細部復元完了検出処理の結果を情報表示部１４に通知する。そして、情報表示部１４は、形状復元完了検出処理及び細部復元完了検出処理の結果を基に巡視対象記憶部１１に記憶されている巡視対象の登録データ（図１０参照）の「復元完了Ａ」及び／又は「復元完了Ｂ」の欄を更新する。なお、形状復元完了検出処理及び細部復元完了検出処理の結果が復元完了である場合（後述の形状復元完了フラグ及び細部復元完了フラグが「ＯＮ」である場合）、情報表示部１４は、「復元完了Ａ」及び「復元完了Ｂ」を「Ｙ」に更新する。また、形状復元完了検出処理の結果のみが復元完了である場合（後述の形状復元完了フラグのみが「ＯＮ」である場合）、情報表示部１４は、「復元完了Ａ」のみを「Ｙ」に更新する。また、細部復元完了検出処理の結果のみが復元完了である場合（後述の細部復元完了フラグのみが「ＯＮ」である場合）、情報表示部１４は、「復元完了Ｂ」のみを「Ｙ」に更新する。

ステップＳ３０４の処理がＮＯ判定である場合、又は、ステップＳ３０５の処理後、復元完了検出部１５は、復元完了検出処理を終了する。

［形状復元完了検出処理の例１］
図１５は、復元完了検出部１５における形状復元完了検出処理の例１の手順を示すフローチャートである。以下に説明する処理は、サブルーチン処理として、図１４に示すステップＳ３０２において呼び出されて実行される。なお、ここで、ＬｉＤＡＲにより検出される３次元点群から抽出される巡視対象の点群を利用して形状復元完了検出処理を行う例を説明するが、本発明はこれに限定されない。奥行情報検出部４０が奥行き情報を検出する他の種類の装置で構成される場合、当該装置により検出される奥行き情報から抽出された巡視対象の奥行き情報を利用して形状復元完了検出処理を行ってもよい。

まず、復元完了検出部１５は、復元された巡視対象の点群から、巡視対象の復元が完了したか否かを判定するためのメッシュを生成する（ステップＳ３１１）。この処理では、復元完了検出部１５は、復元された巡視対象の点群からサンプリングされた複数の点を頂点としてそれぞれのメッシュを生成する。なお、メッシュの生成方法は、公知の手法を利用しても良い。

次いで、復元完了検出部１５は、生成した各メッシュの面積を計算する（ステップＳ３１２）。なお、ステップＳ３１１で説明した巡視対象の点群に含まれる各点をメッシュの頂点としてメッシュを生成する際、点群のデータが取得できていない箇所には、頂点が存在しないため、生成されたメッシュの面積が、頂点があるメッシュの面積より大きい。すなわち、あるメッシュの面積が他のメッシュの面積より大きい場合、当該メッシュには、頂点がないので、点群が欠損している。

次いで、復元完了検出部１５は、各メッシュの面積に基づいて、巡視対象の形状復元が完了したか否かを判定する（ステップＳ３１３）。この処理では、ステップＳ３１２の処理において計算されたメッシュの面積が所定閾値以上の場合、復元完了検出部１５は巡視対象の形状復元が完了したと判定し、ステップＳ３１３の処理はＹＥＳ判定となる。ステップＳ３１２の処理において計算されたメッシュの面積が所定閾値未満の場合、復元完了検出部１５は巡視対象の形状復元が完了していないと判定し、ステップＳ３１３の処理はＮＯ判定となる。なお、所定閾値は、点群の欠損が判定できる値であれば、例えば、メッシュ面積の平均値の３倍の値等、任意に設定してもよい。

ステップＳ３１３の処理において、復元完了検出部１５が巡視対象の形状復元が完了していないと判定した場合（ステップＳ３１３のＮＯ判定）、復元完了検出部１５は、形状復元完了検出処理を終了する。

一方、ステップＳ３１３の処理において、復元完了検出部１５が巡視対象の形状復元が完了したと判定した場合（ステップＳ３１３のＹＥＳ判定）、復元完了検出部１５は、形状復元完了フラグを「ＯＮ」にする（ステップＳ３１４）。

ステップＳ３１３の処理がＮＯ判定である場合、又は、ステップＳ３１４の処理後、復元完了検出部１５は、形状復元完了検出処理を終了する。

［形状復元完了検出処理の例２］
形状復元完了検出処理は、図１５に示す方法に限定されず、例えば、図１６に示す方法でもよい。図１６は、復元完了検出部１５における形状復元完了検出処理の例２の手順を示すフローチャートである。以下に説明する処理は、図１５に示す方法と同様に、サブルーチン処理として、図１４に示すステップＳ３０２において呼び出されて実行される。ここで、ＬｉＤＡＲにより検出される３次元点群から抽出される巡視対象の点群を利用して形状復元完了検出処理を行う例を説明するが、本発明はこれに限定されない。奥行情報検出部４０が奥行き情報を検出する他の種類の装置で構成される場合、当該装置により検出される奥行き情報から抽出された巡視対象の奥行き情報を利用して形状復元完了検出処理を行ってもよい。

まず、復元完了検出部１５は、巡視対象の撮影画像（図５の画像２０３参照）から巡視対象の輪郭を抽出する（ステップＳ３２１）。なお、巡視対象の撮影画像から巡視対象の輪郭を抽出する方法は、図１１（Ｃ）で説明した巡視対象の撮影画像（画像６０２）を２値変換して外側の輪郭を抽出する方法と同じであるため、重複説明を省略する。

次いで、復元完了検出部１５は、復元された巡視対象の点群から巡視対象の輪郭を抽出する（ステップＳ３２２）。巡視対象の点群を基に巡視対象の輪郭を抽出する際、巡視対象を正面から見る視点へ変換する必要がある。巡視対象を正面から見る視点へ変換するためには、巡視対象の点群の取得時の位置姿勢に対する巡視対象の位置姿勢を推定する必要がある。この位置姿勢の推定は、まず、巡視対象の点群の取得時の位置姿勢から見る視点へ巡視対象の点群の位置姿勢を変換する。次に、位置姿勢が変換された巡視対象の点群に対して、ＲＡＮＳＡＣ（Random Sample Consensus）を利用して姿勢を推定する。次に、推定した姿勢を基に、復元した巡視対象の点群を正面から見る視点へ変換し、平面画像（２次元画像）へ投影して巡視対象の輪郭を抽出する。

次いで、復元完了検出部１５は、ステップＳ３２１で抽出した輪郭とステップＳ３２２で抽出した輪郭とを比較する（ステップＳ３２３）。この処理では、復元完了検出部１５は、Ｈｕモーメントを利用して輪郭の比較を行い、ステップＳ３２１及びステップＳ３２２のそれぞれで抽出された輪郭の形状に依存した特徴量を取得する。なお、Ｈｕモーメントは、画像処理によって得られる平行移動、大きさ、回転に対して不変な特徴量であり、形状の影響のみを受けるため、形状の比較に用いることができる。

次いで、復元完了検出部１５は、輪郭の比較結果に基づいて、巡視対象の撮影画像から抽出された巡視対象の輪郭と、巡視対象の点群から抽出された巡視対象の輪郭と一致するか否かを判定する（ステップＳ３２４）。この処理では、復元完了検出部１５は、ステップＳ３２３で取得した２つの輪郭の特徴量の差を計算する。そして、特徴量の差が所定値（例えば、０．１）以下である場合、復元完了検出部１５は２つの輪郭が一致すると判定し、ステップＳ３２４の処理はＹＥＳ判定となる。一方、特徴量の差が所定値（例えば、０．１）を超えた場合、復元完了検出部１５は２つの輪郭が一致しないと判定し、ステップＳ３２４の処理はＮＯ判定となる。

ステップＳ３２４の処理において、復元完了検出部１５が２つの輪郭が一致しないと判定した場合（ステップＳ３２４のＮＯ判定）、復元完了検出部１５は、形状復元完了検出処理を終了する。

一方、ステップＳ３２４の処理において、復元完了検出部１５が２つの輪郭が一致すると判定した場合（ステップＳ３２４のＹＥＳ判定）、復元完了検出部１５は、形状復元完了フラグを「ＯＮ」にする（ステップＳ３２５）。

ステップＳ３２４の処理がＮＯ判定である場合、又は、ステップＳ３２４の処理後、復元完了検出部１５は、形状復元完了検出処理を終了する。

［細部復元完了検出処理］
図１７は、復元完了検出部１５における細部復元完了検出処理の手順を示すフローチャートである。以下に説明する処理は、サブルーチン処理として、図１４に示すステップＳ３０３において呼び出されて実行される。なお、ここで、ＬｉＤＡＲにより検出される３次元点群から抽出される巡視対象の点群を利用して細部復元完了検出処理を行う例を説明するが、本発明はこれに限定されない。奥行情報検出部４０が奥行き情報を検出する他の種類の装置で構成される場合、当該装置により検出される奥行き情報から抽出された巡視対象の奥行き情報を利用して細部復元完了検出処理を行ってもよい。

まず、復元完了検出部１５は、複数の巡視対象の撮影画像を利用して復元された巡視対象（図１０の「奥行き情報Ｂ」）のオーバーラップ率を計算する（ステップＳ３３１）。この処理では、復元完了検出部１５は、奥行情報検出部４０から取得した３次元点群を基準として、最近傍の復元された巡視対象の点群を探索する。そして、復元完了検出部１５は、探索された最近傍点が所定範囲（例えば、０．０２ｍ）以内に存在した点群が、奥行情報検出部４０から取得した点群に対する割合を、オーバーラップ率として計算する。例えば、奥行情報検出部４０から取得した点群が１００点あり、最近傍点が所定範囲以内に存在した点群が６０点である場合、オーバーラップ率は６０％となる。

次いで、復元完了検出部１５は、計算したオーバーラップ率が閾値以上であるか否かを判定する（ステップＳ３３２）。この処理では、計算されたオーバーラップ率が、例えば９５％（閾値）以上の場合、復元完了検出部１５はオーバーラップ率が閾値以上であると判定し、ステップＳ３３２の処理はＹＥＳ判定となる。計算されたオーバーラップ率が、例えば９５％（閾値）未満である場合、復元完了検出部１５はオーバーラップ率が閾値未満であると判定し、ステップＳ３３２の処理はＮＯ判定となる。

ステップＳ３３２の処理において、復元完了検出部１５がオーバーラップ率が閾値未満であると判定した場合（ステップＳ３３２のＮＯ判定）、復元完了検出部１５は、細部復元完了検出処理を終了する。

一方、ステップＳ３３２の処理において、復元完了検出部１５がオーバーラップ率が閾値以上であると判定した場合（ステップＳ３３２のＹＥＳ判定）、復元完了検出部１５は、複数視点から復元された巡視対象（図８の画像４０２）の計器の値を読み取る（ステップＳ３３３）。この処理では、復元完了検出部１５は、例えば、巡視対象の正面、上、下、左、右等の複数視点から復元された計器（巡視対象）の値を読み取る。なお、実際に移動体が巡視する際には、必ずしも正面から巡視対象を撮影できるとは限らないので、巡視対象（計器）の値が正確に復元されたか否かを判断するには、複数視点から復元された巡視対象の値を読み取る必要がある。

図１８は、複数視点から復元された巡視対象のイメージを示す図である。画像８００は、復元された巡視対象のイメージを示す。画像８０１は、正面の視点から復元された巡視対象のイメージを示す。画像８０２は、上の視点から復元された巡視対象のイメージを示す。画像８０３は、右の視点から復元された巡視対象のイメージを示す。画像８０４は、下の視点から復元された巡視対象のイメージを示す。画像８０５は、左の視点から復元された巡視対象のイメージを示す。

図１７に戻し、次いで、復元完了検出部１５は、巡視対象の細部復元が成功するか否かを判定する（ステップＳ３３４）。この処理では、復元完了検出部１５は、ステップＳ３３３で読み取った巡視対象の値と、巡視対象検出部１２により検出された巡視対象の撮影画像（図５の画像２０３参照）に表示される値との誤差を算出する。算出された誤差が予め設定された許容範囲以内（例えば、５％未満）であれば、復元完了検出部１５は細部復元が成功であると判定し、ステップＳ３３４の処理はＹＥＳ判定となる。算出された誤差が予め設定された許容範囲以外（例えば、５％以上）であれば、復元完了検出部１５は細部復元が失敗であると判定し、ステップＳ３３４の処理はＮＯ判定となる。

ステップＳ３３４の処理において、復元完了検出部１５が細部復元が失敗であると判定した場合（ステップＳ３３４のＮＯ判定）、復元完了検出部１５は、細部復元完了検出処理を終了する。

一方、ステップＳ３３４の処理において、復元完了検出部１５が細部復元が成功であると判定した場合（ステップＳ３３４のＹＥＳ判定）、復元完了検出部１５は、細部復元完了フラグを「ＯＮ」にする（ステップＳ３３５）。

ステップＳ３３４の処理がＮＯ判定である場合、又は、ステップＳ３３５の処理後、復元完了検出部１５は、細部復元完了検出処理を終了する。

［効果］
上述したように、本実施形態のデータ取得装置２は、復元された巡視対象に対して、形状復元完了検出処理及び細部復元完了検出処理を行い、自動的に巡視対象の復元が完了したか否かを判定することができる。

＜第３実施形態＞
本実施形態のデータ取得装置は、図１に示すデータ取得装置１と同じ構成を有するので、図示及び構成の説明を省略する。本実施形態に係るデータ取得装置の情報表示部１４は、外部端末５０を介して指定された巡視対象を巡視対象記憶部１１に登録する機能を有する。また、巡視対象検出部１２は、２回目以降の各種センサーのデータを取得する場合、復元結果（図１０に示す復元された巡視対象の登録データ）が存在する巡視対象に対して、当該巡視対象の復元結果を読み出して利用する。すなわち、本実施形態に係る巡視対象検出部１２は、過去に復元されたと判定した巡視対象に対して、撮影画像から当該巡視対象の撮影画像の検出を行わず、当該巡視対象の過去に復元された当該巡視対象（復元結果）を巡視対象記憶部１１から読み出して巡視対象復元部１３に出力する。なお、本実施形態では、図１で説明した、巡視対象記憶部１１に記憶される復元された巡視対象の登録データ（図１０参照）は、外部のデータベース（ＤＢ：Database）にも保存されることを想定する。

まず、情報表示部１４の新たな巡視対象を登録する機能について説明する。情報表示部１４は、巡視対象検出部１２を介して撮影部２０の撮影画像を取得し、取得した撮影画像を外部端末５０に出力して表示させる。図１９は、外部端末５０に表示される撮影部２０の撮影画像の一例を示す図である。図１９に示すように、外部端末５０の表示画面９０１において、巡視対象の画像９０３が含まれる撮影画像９０２が表示されている。点線で描画されている矩形の枠９０４は、ユーザーが外部端末５０の操作部を利用して選択した巡視対象の画像領域を示す。ユーザーが、巡視対象の画像領域（枠９０４）を指定し、例えば、「登録」ボタン（不図示）の押下操作等により登録指示を出した場合、枠９０４により囲まれる画像が新たな巡視対象とし、当該画像の領域情報（座標及びサイズ）と共に情報表示部１４に送信され、情報表示部１４により、識別番号（図１０に示す「画像ＩＤ」）が付与されて登録される。

次に、２回目以降の各種センサーのデータを取得する場合、巡視対象検出部１２における巡視対象検出処理の手順について説明する。図２０は、本実施形態の巡視対象検出部１２における巡視対象検出処理の手順を示すフローチャートである。以下に説明する処理は、巡視対象検出部１２において、２回目以降の各種センサーのデータを取得する場合、図４に示す巡視対象検出処理の代わりに実行される。

まず、巡視対象検出部１２は、撮影部２０から撮影画像を取得する（ステップＳ４０１）。

次いで、巡視対象検出部１２は、取得した撮影画像から、巡視対象記憶部１１に記憶された巡視対象画像を検出する（ステップＳ４０２）。なお、この処理は、図４に示すステップＳ１０２の処理と同じであるので、詳細説明を省略する。

次いで、巡視対象検出部１２は、撮影画像の中に巡視対象が含まれているか否かを判定する（ステップＳ４０３）。なお、この処理は、図４に示すステップＳ１０３の処理と同じであるので、詳細説明を省略する。

ステップＳ４０３の処理において、巡視対象検出部１２が撮影画像の中に巡視対象が含まれていないと判定した場合（ステップＳ４０３のＮＯ判定）、巡視対象検出部１２は、巡視対象検出処理を終了する。

一方、ステップＳ４０３の処理において、巡視対象検出部１２が撮影画像の中に巡視対象が含まれていると判定した場合（ステップＳ４０３のＹＥＳ判定）、巡視対象検出部１２は、ステップＳ４０４の処理を行う。ステップＳ４０４の処理では、巡視対象検出部１２は、検出した巡視対象が３次元地図における位置姿勢を推定する。巡視対象が３次元地図における位置の推定では、巡視対象検出部１２は、まず、図６のステップＳ２０４で説明した手法を利用して、点群取得時の奥行情報検出部４０の位置を推定する。次に、巡視対象検出部１２は、図６のステップＳ２０８の処理と同じ処理を実施して、巡視対象の点群を抽出する。次に、巡視対象検出部１２は、抽出した巡視対象の点群の重心を算出することにより、巡視対象の地図中での位置を推定する。

次いで、巡視対象検出部１２は、検出した巡視対象に紐付ける画像ＩＤ、及び、ステップＳ４０４で推定した地図上の位置を基に、巡視対象記憶部１１及び外部ＤＢから復元結果（図１０参照）を検索する（ステップＳ４０５）。この処理では、巡視対象検出部１２は、検出した巡視対象に紐付ける画像ＩＤと同じ「画像ＩＤ」、推定した巡視対象の地図上の位置との差が閾値以下となる「地図上の位置姿勢」を含む復元結果を、巡視対象記憶部１１及び外部ＤＢから検索する。

次いで、巡視対象検出部１２は、巡視対象記憶部１１又は外部ＤＢにおいて、巡視対象の復元結果があるか否かを判定する（ステップＳ４０６）。この処理では、ステップＳ４０５の処理において復元結果が抽出された場合には、巡視対象検出部１２が検出された巡視対象の復元結果があると判定し、ステップＳ４０６の処理はＹＥＳ判定となる。ステップＳ４０５の処理において復元結果が抽出されなかった場合には、巡視対象検出部１２が検出された巡視対象の復元結果がないと判定し、ステップＳ４０６の処理はＮＯ判定となる。

ステップＳ４０６の処理において、巡視対象検出部１２が巡視対象の復元結果があると判定した場合（ステップＳ４０６のＹＥＳ判定）、巡視対象検出部１２は、ステップＳ４０７の処理を行う。ステップＳ４０７の処理では、外部ＤＢのみから巡視対象の復元結果が抽出された場合、巡視対象検出部１２は、外部ＤＢから巡視対象の復元結果を読み出して巡視対象記憶部１１へ書き込んで、そして、巡視対象の復元結果を巡視対象復元部１３に出力する。また、外部ＤＢ及び巡視対象記憶部１１から巡視対象の復元結果が抽出された場合、巡視対象検出部１２は、巡視対象記憶部１１から巡視対象の復元結果を読み出して巡視対象復元部１３に出力する。

一方、ステップＳ４０６の処理において、巡視対象検出部１２が巡視対象の復元結果がないと判定した場合（ステップＳ４０６のＮＯ判定）、巡視対象検出部１２は、巡視対象の撮影画像に関する各種情報を巡視対象復元部１３に出力する（ステップＳ４０８）。巡視対象の撮影画像に関する各種情報は、巡視対象の撮影画像、巡視対象の撮影画像が撮影画像における位置、巡視対象の撮影画像のサイズを含む。

［効果］
上述したように、本実施形態のデータ取得装置は、ユーザーが外部端末５０を利用して選択した、撮影画像に含まれる計器の画像を新たな巡視対象として巡視対象記憶部１１に登録することができる。また、本実施形態のデータ取得装置は、２回目以降に各種センサーのデータを取得する際、巡視対象記憶部１１及び外部ＤＢから、検出された巡視対象の復元結果を検索する。巡視対象の復元結果が検出された場合、本実施形態のデータ取得装置は、当該巡視対象の復元結果を読み出して利用するので、同じ巡視対象に対する重複の巡視対象検出処理を避けることができる。

＜各種変形例＞
以上、本発明の各種実施形態に係るデータ取得装置について説明したが、本発明は、これらに限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限り、その他種々の変形例の態様を取ることができる。

上記各種実施形態のデータ取得装置では、データ取得部１０の各構成部がすべて同一の情報処理装置上にある例を説明したが、本発明はこれに限定されない。例えば、巡視対象記憶部１１及び巡視対象復元部１３をクラウド上に配置し、巡視対象検出部１２及び情報表示部１４を移動体に搭載された情報処理装置上に配置する構成にしてもよい。この場合、巡視対象検出部１２及び情報表示部１４は、例えば、無線ネットワークを介して、巡視対象記憶部１１及び巡視対象復元部１３のそれぞれと各種データの送受信を行う。

上記各種実施形態のデータ取得装置では、情報表示部１４が、巡視対象の点群を利用して復元された巡視対象の画像と、複数の巡視対象の撮影画像を利用して復元された巡視対象の画像とを重ねて、外部端末５０に表示させる例を説明して。なお、本発明はこれに限定されず。例えば、情報表示部１４が、巡視対象の点群を利用して復元された巡視対象の画像と、複数の巡視対象の撮影画像を利用して復元された巡視対象の画像と切り換えて外部端末５０に表示されるように制御してもよい。

また、上述した各実施の形態は本発明を分かりやすく説明するために装置の構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ここで説明した実施の形態の構成の一部を他の実施の形態の構成に置き換えることは可能であり、さらにはある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１，２…データ取得装置、１０…データ取得部、１１…巡視対象記憶部、１２…巡視対象検出部、１３…巡視対象復元部、１４…情報表示部、１５…復元完了検出部、２０…撮影部、３０…慣性情報検出部、４０…奥行情報検出部、５０…外部端末

Claims (8)

1. 移動体の周囲を撮影して撮影画像を出力する撮影部と、
   前記移動体の慣性情報を検出する慣性情報検出部と、
   前記移動体から、前記移動体の周囲の物体までの奥行き情報を検出する奥行情報検出部と、
   前記撮影部の撮影画像から巡視対象の撮影画像を検出する巡視対象検出部と、
   前記巡視対象の撮影画像、前記慣性情報及び前記奥行き情報に基づいて、前記巡視対象が設置される実環境を表す３次元地図における前記巡視対象を復元する巡視対象復元部と、を備える
   データ取得装置。
2. 前記巡視対象復元部により復元された前記巡視対象を外部端末に表示させ、前記巡視対象の復元の成否に関する情報を受付ける情報表示部を備える
   請求項１に記載のデータ取得装置。
3. 前記巡視対象復元部は、前記巡視対象の撮影画像及び前記奥行き情報に基づいて、前記巡視対象の点群情報を抽出し、抽出された前記点群情報を利用して前記巡視対象を復元する
   請求項２に記載のデータ取得装置。
4. 前記巡視対象復元部は、複数の前記巡視対象の撮影画像を利用して前記巡視対象を復元する
   請求項３に記載のデータ取得装置。
5. 前記情報表示部は、前記巡視対象の奥行き情報を利用して復元された前記巡視対象と、複数の前記巡視対象の撮影画像を利用して復元された前記巡視対象とを重ねて前記外部端末に表示させる
   請求項４に記載のデータ取得装置。
6. 前記情報表示部は、前記外部端末において、復元された前記巡視対象が前記移動体に対する方向を更に表示させる
   請求項５に記載のデータ取得装置。
7. 前記巡視対象の形状復元、前記巡視対象の細部復元の成功を前記巡視対象の復元完了として検出した検出結果を前記情報表示部に出力する復元完了検出部を備える
   請求項２に記載のデータ取得装置。
8. 過去に復元された前記巡視対象を記憶する巡視対象記憶部を備え、
   前記巡視対象検出部は、過去に復元されたと判定した前記巡視対象に対して、前記撮影画像から当該巡視対象の撮影画像の検出を行わず、過去に復元された当該巡視対象を前記巡視対象記憶部から読み出して前記巡視対象復元部に出力する
   請求項２に記載のデータ取得装置。

Images