JP2019086419A - 環境取得システム - Google Patents

Abstract

【課題】準備作業が簡単で、外部環境の３次元データを機動的かつ柔軟に取得可能とする。【解決手段】環境取得システムは、ハウジング１１と、視覚センサ１２と、データ処理部１４と、を備える。視覚センサ１２は、ハウジング１１に収容され、ハウジング１１の外部の環境に関する環境情報を反復して取得可能である。データ処理部１４は、視覚センサ１２で取得した環境情報、又は、当該環境情報から得られた情報に基づいて、視覚センサ１２の位置及び姿勢の推定処理及び外部環境３次元データの生成処理を行う。ハウジング１１の姿勢が制御されず、かつ、ハウジング１１が地面から離れていて外部からの機械的拘束を受けない状態において、視覚センサ１２が前記環境情報を取得可能である。【選択図】図２

Description

本発明は、主として、環境取得システムの構成に関する。

従来から、ロボットにカメラやセンサを取り付けるとともに、カメラやセンサでロボットの位置情報等を取得する構成が知られている。特許文献１から特許文献３は、この種の構成を開示する。

特許文献１は、ロボットアームと、ロボットアームの先端やその近傍に取り付けたカメラと、撮像した画像データから得た作業対象等の位置情報に基づいて、ロボットアームの位置補正をするロボットコントローラーと、を備えるロボットシステムを開示する。この構成では、位置情報に基づいて、ロボットコントローラーがロボットアームの位置補正を行う。これにより、ロボットアームの保持等の動作精度を向上させている。

特許文献２は、移動台車と、移動台車側に取り付けたカメラと、所定位置に配置され、移動台車から固有の発光要求信号が送信された場合のみ反応して発光する複数の発光型のターゲットマーカーと、を備える移動体装置の位置同定システムを開示する。この構成では、全てのターゲットマーカーの設置位置と移動台車の発光要求信号とを予め関連付けておき、エリア内における少なくとも２つのターゲットマーカー位置をカメラで特定する。そして、カメラの向きと撮像画像中のマーカーの座標の位置に基づいて、自己位置を算出している。

特許文献３は、物体までの距離を３次元的に測距可能な３次元計測センサと、自己位置を計測可能な自己位置推定センサと、地図生成部を含む演算装置と、を備える自律移動ロボットを開示する。この構成では、移動環境内でロボットを動かして、３次元計測センサでロボットから周囲の物体までの距離を計測するとともに自己位置推定センサで移動環境をスキャンしている。そして、スキャンしたデータから環境地図のデータを生成している。

特開２０１７−１３２００２号公報 特開２００５−３４４５号公報 特開２０１６−１４９０９０号公報

しかし、特許文献１の構成は、ロボットアームの先端やその近傍等に、カメラを取り付けるためのスペースが必要になる。そのため、取付けスペースが不足している場合は、当該構成を使用することができない。

特許文献２の構成は、移動台車の位置を得るために、複数のマーカーを事前に用意して所定位置に配置することが必要である。従って、使用の準備に手間が掛かってしまい、利便性が高いとはいいがたい。

特許文献３の構成は、カメラやセンサを複数用いる。そのため、製造コストが高価になる。

本発明は以上の事情に鑑みてされたものであり、その目的は、準備作業が簡単で、外部環境の３次元データを機動的かつ柔軟に取得可能とすることにある。

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。

本発明の第１の観点によれば、以下の構成の環境取得システムが提供される。即ち、この環境取得システムは、ハウジングと、視覚センサと、データ処理部と、を備える。前記視覚センサは、前記ハウジングに収容され、前記ハウジングの外部の環境に関する環境情報を反復して取得可能である。前記データ処理部は、前記視覚センサで取得した環境情報、又は、当該環境情報から得られた情報に基づいて、前記視覚センサの位置及び姿勢の推定処理及び外部環境３次元データの生成処理を行う。前記ハウジングの姿勢が制御されず、かつ、前記ハウジングが地面から離れていて外部からの機械的拘束を受けない状態において、前記視覚センサが前記環境情報を取得可能である。

本発明の第２の観点によれば、以下の環境取得方法が提供される。即ち、この環境取得方法は、環境情報取得工程と、データ処理工程と、を含む。前記環境情報取得工程では、ハウジングと、視覚センサと、を備えるセンシング装置を用いて、前記ハウジングの姿勢が制御されず、かつ、前記ハウジングが地面から離れていて外部からの機械的拘束を受けない状態において、前記視覚センサに前記環境情報を取得させる。前記視覚センサは、前記ハウジングに収容され、前記ハウジングの外部の環境に関する環境情報を反復して取得可能である。前記データ処理工程では、前記環境情報取得工程で取得した環境情報、又は、当該環境情報から得られた情報に基づいて、前記視覚センサの位置及び姿勢の推定及び外部環境３次元データの生成を行う。

これにより、煩雑な準備作業をすることなく、外部環境３次元データを簡便に取得することができる。また、環境情報を極めて自由度の高い視点で取得できるので、死角による外部環境３次元データの欠落を抑制することができる。

本発明の環境取得システム及び環境取得方法によれば、準備作業が簡単で、外部環境の３次元データを機動的かつ柔軟に取得可能とすることができる。

本発明の一実施形態に係る環境取得システムの全体的な構成を示す外観図。 環境取得システムが備えるセンシング装置の断面図。 環境取得システムの電気的な構成を示すブロック図。 環境取得システムの使用例を示す図。 環境取得システムの他の使用例を示す図。

次に、図面を参照して本発明の実施の形態を説明する。図１は、環境取得システム１の全体的な構成を示す外観図である。図２は、環境取得システム１が備えるセンシング装置１０の断面図である。図３は、環境取得システム１の電気的構成を示すブロック図である。

環境取得システム１は、図１に示すように、センシング装置１０を備える。このセンシング装置１０は、各装置を収容するハウジング１１を備える。更に、センシング装置１０は、図２に示すように、ステレオカメラ（視覚センサ）１２と、距離画像データ生成装置１３と、ＳＬＡＭ処理装置（データ処理部）１４と、記憶部２０と、通信部２１と、を備える。

ハウジング１１は、中空の球状に形成されている。ハウジング１１の内部空間の中央部には、支持ケース２５が配置されている。この支持ケース２５は、複数の棒状の支持軸２６を介して、ハウジング１１の内壁に固定されている。支持ケース２５の内部には、ステレオカメラ１２、距離画像データ生成装置１３、ＳＬＡＭ処理装置１４、記憶部２０、及び通信部２１が配置されている。また、支持ケース２５の内部には、上記の各部に電力を供給するための図示しない充電式のバッテリーが配置されている。

ハウジング１１には、適宜の大きさの開口１１ａが形成されている。この開口１１ａを介して、内部に収容されているステレオカメラ１２が外部を撮像することができる。

図示しないが、ハウジング１１の表面には、衝撃を吸収可能な部材（例えば、ゴム等）が取り付けられることが好ましい。これにより、センシング装置１０が後述のように投擲された結果として外部の何かに衝突した場合でも、内部の装置に加わる衝撃を減らすことができるとともに、外部環境の損傷を防止することができる。ハウジング１１の全体が、振動を吸収可能な材料により構成されても良い。

ステレオカメラ１２は、互いに適宜の距離だけ離して配置された１対の撮像素子（イメージセンサ）を備える。それぞれの撮像素子は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃоｕｐｌｅｄ Ｄｅｖｉｃｅ）として構成することができる。２つの撮像素子は互いに同期して動作し、これにより、外部環境を同時に撮影した１対の画像データが生成される。本実施形態において、この１対の画像データ（ステレオ画像データ）が、環境情報に相当する。また、ステレオカメラ１２においては、ＣＣＤが取得した画像データを直接ＲＡＭに書き込んで保存する等の高速化が図られており、これにより、ステレオカメラ１２は、１秒間に５００フレーム以上、好ましくは１０００フレーム以上の画像データを生成することができる。

距離画像データ生成装置１３は、画像処理が可能なコンピュータとして構成され、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備える。距離画像データ生成装置１３は、ステレオカメラ１２により得られた１対の画像データに対して公知のステレオマッチング処理を行うことによって、それぞれの画像が対応する位置のズレ（視差）を求める。視差は、写ったものとの距離が近いほど、距離に反比例して大きくなる。距離画像データ生成装置１３は、この視差に基づいて、画像データの各画素に距離の情報を対応付けた距離画像データを生成する。

距離画像データの生成は、ステレオカメラ１２が画像データを生成する毎に、リアルタイムに行われる。従って、距離画像データをステレオカメラ１２と同様の頻度で得ることができる。距離画像データ生成装置１３は、生成した距離画像データを、ＳＬＡＭ処理装置１４に出力する。

ＳＬＡＭ処理装置１４は、距離画像データ生成装置１３と同様に、ＣＰＵ、ＲＯＭ及びＲＡＭ等を備えたコンピュータとして構成されている。ＳＬＡＭ処理装置１４は、距離画像データ生成装置１３から入力された距離画像データに対してＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理を行う。これにより、ステレオカメラ１２の位置及び姿勢の推定情報、及び、環境地図である外部環境３次元データを、同時に取得することができる。このようにカメラ画像を用いて行われるＳＬＡＭ処理は、Ｖｉｓｕａｌ−ＳＬＡＭと呼ばれている。ステレオカメラ１２の位置及び姿勢は、センシング装置１０の位置及び姿勢に対応している。

ＳＬＡＭ処理装置１４は、図３に示すように、特徴点処理部１５と、環境地図生成部１６と、自己位置推定部１７と、を備える。

特徴点処理部１５は、ＳＬＡＭ処理装置１４に順次入力される距離画像データの画像を解析することにより、適宜の特徴点を設定し、その動きを取得する。特徴点処理部１５は、特徴点とその動きの情報を、環境地図生成部１６及び自己位置推定部１７に出力する。

特徴点処理部１５は、特徴点抽出部１８と、特徴点追跡部１９と、を備える。

特徴点抽出部１８は、距離画像データに含まれている画像から、公知の手法によって複数の特徴点を抽出する。特徴点の抽出方法は様々に提案されており、例えば、Ｈａｒｒｉｓ、ＦＡＳＴ、ＳＩＦＴ、ＳＵＲＦ等の各種アルゴリズムを用いることができる。特徴点抽出部１８は、得られた特徴点の座標等の情報を特徴点追跡部１９に出力する。特徴点追跡部１９に出力される情報には、当該特徴点に関して記述された特徴量が含められても良い。

特徴点追跡部１９は、連続的に得られる複数の距離画像データの間で、画像に現れる特徴点を公知の手法によって追跡する。特徴点の追跡方法は様々に提案されており、例えば、Ｈｏｒｎ−Ｓｃｈｕｎｋ法、Ｌｕｃａｓ−Ｋａｎаｄｅ法等を用いることができる。この処理により、画像に相当する平面内での特徴点の動きをベクトルで表現したオプティカルフローを求めることができる。

環境地図生成部１６は、特徴点処理部１５から入力される特徴点のデータに基づいて、環境地図である３次元地図（外部環境３次元データ）を逐次生成する。自己位置推定部１７は、特徴点の追跡結果に基づいて、ステレオカメラ１２の位置及び姿勢を逐次取得する。

以下、具体的に説明する。地図を作成するための３次元地図座標系（ワールド座標系）が定められ、この座標系で表される３次元空間において、初期のステレオカメラ１２の位置及び姿勢が何らかの方法で与えられる。その後、環境地図生成部１６に、最初の距離画像データに基づく特徴点の情報が特徴点処理部１５から入力される。この特徴点の情報には、画像上での特徴点の位置を表す座標と、当該特徴点までの距離（距離画像データにおいて座標に関連付けられている距離）と、が含まれている。環境地図生成部１６は、ステレオカメラ１２の位置及び姿勢と、特徴点の画像上での座標と、当該座標に関連付けられた距離と、を用いて、当該特徴点の３次元地図座標系での位置を計算する。環境地図生成部１６は、得られた特徴点の位置の情報を、記憶部２０に出力して記憶させる。この処理は、３次元空間に３次元地図の一部として特徴点をプロットすることに相当する。

続いて、新しい距離画像データが得られ、以前に設定された特徴点の追跡結果と、今回新しく設定された特徴点と、が特徴点処理部１５から入力されたとする。自己位置推定部１７は、入力された特徴点の追跡結果（位置及び距離の変化）と、３次元地図座標系における当該特徴点の位置と、に基づいて、ステレオカメラ１２の位置及び姿勢の変化を推定する。これにより、３次元地図座標系におけるステレオカメラ１２の新しい位置及び姿勢を得ることができる。

次に、環境地図生成部１６は、更新されたステレオカメラ１２の位置及び姿勢を基準にして、新しく設定された特徴点の３次元地図座標系での位置を計算し、計算結果を記憶部２０に出力する。これにより、３次元空間に新しい特徴点を追加的にプロットすることができる。

このように、環境地図生成部１６による３次元地図データの更新処理と、自己位置推定部１７によるステレオカメラ１２の位置及び姿勢の更新処理とが、距離画像データが入力される毎にリアルタイムで交互に反復される。以上により、プロットされた点群としての３次元地図データを生成することができる。

記憶部２０は、環境地図生成部１６により生成された３次元地図データを記憶する。なお、記憶部２０は、自己位置推定部１７により計算されたステレオカメラ１２の位置及び姿勢の変化の履歴を併せて記憶しても良い。

通信部２１は、ハウジング１１の外部に配置されている外部装置５０との間で、例えば無線により通信を行うことができる。これにより、センシング装置１０の動作を外部からの指令に基づいて制御することができる。また、センシング装置１０は、記憶部２０に記憶された３次元地図データ等、センシング装置１０が収集した情報を外部に出力することができる。

次に、図４を参照して、環境取得システム１の使用例について説明する。図４の例では、環境取得システム１は、ロボットアーム３１を用いてワーク３２に対して作業を行う際の動作支援のために用いられる。

ロボットアーム３１の周囲がどのようになっているか等を示すデータを得るために、ユーザは、環境取得システム１のセンシング装置１０を手に持って、ロボットアーム３１とワーク３２の周辺に向けて適当に投げる。

センシング装置１０は、走行のためのタイヤ、飛行のためのプロペラ等の移動手段を特に有していない。従って、環境取得システム１を低コストで実現することができる。また、センシング装置１０を投げたときの挙動は、球技等で用いられるボールと実質的に変わらないので、ユーザにとって親しみ易い。ハウジング１１は球状であるので、壊れにくい構造とすることができ、この意味でもユーザにとって気軽に取り扱うことができる。

投げられたセンシング装置１０が床等に落下して静止するまでの過程で、ステレオカメラ１２による撮像、距離画像データ生成装置１３による距離画像データの生成、及び、ＳＬＡＭ処理装置１４による３次元地図データの作成が行われる。

上記の処理は、センシング装置１０が放物運動ないし自由落下をしている状態、言い換えれば、ハウジング１１の姿勢が制御されず、かつ、ハウジング１１が地面から離れていて外部からの機械的拘束を受けない状態で行われる。従って、極めて柔軟な視点を実現でき、例えばセンシング装置１０を上に放り投げれば、高所からの視点に基づく特徴点の位置を３次元地図データに含めることができる。従って、定点カメラで取得する場合に生じ易い死角の問題等を容易に回避して、３次元地図データの情報量を充実させることができる。ステレオカメラ１２は、１秒間に５００フレーム以上、好ましくは１０００フレーム以上の画像データを生成するように構成されているので、投擲に伴ってセンシング装置１０が高速で移動又は回転した場合でも、特徴点の追跡に失敗することは殆どない。

ユーザは、例えばセンシング装置１０にスピンを意図的に掛けつつ投げることもできる。これにより、ステレオカメラ１２の向きが様々に変化しながら放物線に沿って移動することになるので、センシング装置１０の周囲の広い範囲について３次元地図データを取得することができる。言い換えれば、１つのステレオカメラ１２で、あたかも複数のステレオカメラ１２を備えているような広い視野を実質的に得ることができる。従って、センシング装置１０の構成を簡素化でき、コストを低減することができる。

センシング装置１０を投げた後に拾って、また投げる作業を繰り返しても良い。様々な場所に多様な軌道で投げることによって、広範囲かつ高精度な３次元地図データを得ることができる。

センシング装置１０が生成して記憶部２０に記憶した３次元地図データは、通信部２１によって、図３に示す外部装置５０へ送信される。

外部装置５０が取得した３次元地図データは、ロボットアーム３１の動作指令のために適宜活用される。例えば、３次元地図データを用いて、ロボットアーム３１の先端のエンドエフェクタに対するワーク３２の相対位置及び姿勢等を求め、この情報に基づいてロボットアーム３１に指令を与える。これにより、何らかの理由でロボットアーム３１自体が備えるセンサの精度が良好でない場合であっても、ロボットアーム３１がワーク３２に対して適切に作業を行うことができる。あるいは、３次元地図データに基づいて、ロボットアーム３１の周囲の障害物の情報を生成することで、ロボットアーム３１が動作するときに周囲と干渉するのを防止することができる。

外部装置５０は、取得した３次元地図データを対象として３次元物体認識を行う。具体的に説明すると、外部装置５０は３次元データ探索部５１を備え、この３次元データ探索部５１は、事前に与えられた３次元モデルの形状と、当該３次元モデルの名称と、を対応付けて、例えばデータベースの形で記憶している。３次元データ探索部５１は、取得した３次元地図データから３次元モデルを、３次元マッチング等の公知の手法で探索し、見つかった３次元形状に対して、対応する名称を例えばラベルとして付与する。これにより、例えば、３次元地図データからワーク３２の３次元形状が見つかった場合に「ワーク」というラベルを付すことができる。

得られたラベルを、ユーザがロボットアーム３１に動作を指示するときに用いることで、指示の煩雑さを良好に回避することができる。併せて、ロボットアーム３１の挙動についても、抽象的に、例えば、「把持」、「搬送」というように指示することができる。以上により、数値等での指示によらず、「ワークを把持する」と指示するような簡単なユーザインタフェースで、ユーザが望む作業をロボットアーム３１に行わせることができる。

以上に説明したように、本実施形態における環境取得システム１は、ハウジング１１と、ステレオカメラ１２と、ＳＬＡＭ処理装置１４と、を備える。ステレオカメラ１２は、ハウジング１１に収容され、ハウジング１１の外部の環境に関するステレオ画像データを反復して取得可能である。ＳＬＡＭ処理装置１４は、ステレオカメラ１２で取得したステレオ画像データから得られた距離画像データに基づいて、ステレオカメラ１２の位置及び姿勢の推定処理及び３次元地図データの生成処理を行う。ハウジング１１の姿勢が制御されず、かつ、ハウジング１１が地面から離れていて外部からの機械的拘束を受けない状態において、ステレオカメラ１２がステレオ画像データを取得可能である。

これにより、固定的な設置スペースを事前に確保したり、装置の固定作業を事前に行ったりする必要がなく、３次元地図データを簡便に取得することができる。また、ハウジング１１を投げたり落下させたりしながら環境情報を取得することができるので、死角による３次元地図データの欠落を抑制することができる。

また、本実施形態の環境取得システム１では、ハウジング１１の自由落下状態においてステレオカメラ１２がステレオ画像データを取得可能である。

これにより、例えば、任意の場所に単純に投擲することによって、簡単に使用することができる。

また、本実施形態の環境取得システム１において、ハウジング１１の外形は球状である。

これにより、人の手等による投擲が容易である。また、球状であるので強度を確保できるとともに、容易に回転することから、広い範囲の３次元地図データを取得することができる。

また、本実施形態の環境取得システム１において、カメラにより、前記ステレオ画像データが取得されている。

カメラは、例えば後述のＬＩＤＡＲと比較して安価である。従って、コストを効果的に低減することができる。

また、本実施形態の環境取得システム１において、ＳＬＡＭ処理装置１４はハウジング１１に収容されている。ステレオカメラ１２によるステレオ画像データの取得、及びＳＬＡＭ処理装置１４による処理がリアルタイムで行われる。

これにより、リアルタイムで外部環境３次元データを取得するので、即時性が要求される場合に好適である。

また、本実施形態の環境取得システム１は、予め登録された３次元データを３次元地図データから探索する３次元データ探索部５１を備える。

これにより、例えば、ロボットの操作対象物を外部環境３次元データから検出することにより、ロボットの動作の教示に関するユーザインタフェースを簡単にすることができる。また、例えば、外部環境３次元データに現れている異常な状況を自動的に検出することができる。

また、本実施形態では、以下の環境情報取得工程及びデータ処理工程を含む方法により、外部環境の取得が行われている。前記環境情報取得工程では、上述のセンシング装置１０を用いて、ハウジング１１の姿勢が制御されず、かつ、ハウジング１１が地面から離れていて外部からの機械的拘束を受けない状態において、ステレオカメラ１２にステレオ画像データを取得させる。前記データ処理工程では、前記環境情報取得工程で取得したステレオ画像データから得られた距離画像データに基づいて、ステレオカメラ１２の位置及び姿勢の推定及び３次元地図データの生成を行う。

これにより、固定的な設置スペースを事前に確保したり、装置の固定作業を事前に行ったりする必要がなく、３次元地図データを簡便に取得することができる。また、ハウジング１１を投げたり落下させたりしながら環境情報を取得することができるので、死角による３次元地図データの欠落を抑制することができる。

以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。なお、同じ説明は省略する場合がある。

ＳＬＡＭ処理装置１４をセンシング装置１０ではなく外部装置５０に設け、外部装置５０が距離画像データをセンシング装置１０から無線通信により取得してＶｉｓｕａｌ−ＳＬＡＭ処理を行うように変更することもできる。更に、距離画像データ生成装置１３を外部装置５０に設けて、外部装置５０がステレオ画像データをセンシング装置１０から無線通信により取得して、距離画像データの生成処理及びＶｉｓｕａｌ−ＳＬＡＭ処理を行うように変更することもできる。

距離画像データ生成装置１３及びＳＬＡＭ処理装置１４等を外部装置５０に備える場合、センシング装置１０を軽量化できるので、取扱いが一層容易になる。また、センシング装置１０を、外部からの衝撃に対して壊れにくくすることができる。

一方で、上記の実施形態のように、ステレオカメラ１２、距離画像データ生成装置１３及びＳＬＡＭ処理装置１４を何れもセンシング装置１０側に設けると、ステレオ画像データ、距離画像データ等を高速で入出力できるので、リアルタイム処理が容易になる。言い換えれば、ステレオカメラ１２として上述のようにハイスピード型のカメラを用いた場合でも、距離画像データ生成装置１３及びＳＬＡＭ処理装置１４をリアルタイムで動作させて、３次元地図データを実時間処理で生成することができる。

環境取得システム１は、ステレオカメラ１２をハウジング１１に対して回転させる回転駆動部を備えてもよい。この回転駆動部は、例えば支持ケース２５を支持軸２６に対して回転させる電動モータとして構成することができる。ハウジング１１には、ステレオカメラ１２が回転しながら外部を撮像できるように、例えば、ステレオカメラ１２のレンズの回転軌跡に対向するように環状の透明部材を設けておく。

この場合、ステレオカメラ１２を強制的に回転させながらステレオ画像データを取得することができる。従って、センシング装置１０を投げてから床に着地して静止するまでの移動軌跡が短かったとしても、広い範囲の３次元地図データを取得することができる。

上記実施形態では、環境取得システム１は、ロボットアーム３１等とは分離した状態で用いられたが、当該環境取得システム１は、ロボットアーム３１等にハウジング１１を直接的に取り付けて使用することもできる。

ハウジング１１は、球状に代えて、例えば、立方体や直方体状に構成されてもよい。また、開口１１ａの形状は特に限定されず、例えば、長孔形状とすることができる。また、開口１１ａは透明窓に変更してもよい。ハウジング１１は、その全体が透明部材とされていてもよい。

視覚センサとして、ステレオカメラ１２に代えて、単眼カメラが用いられても良い。この場合、ＳＬＡＭ処理装置１４は、公知の単眼Ｖｉｓｕａｌ−ＳＬＡＭ処理を行えば良い。また、ステレオカメラ１２の代わりに、単眼カメラとジャイロセンサとを組み合わせた公知の構成を用いて、視差情報を取得してＳＬＡＭ技術に用いても良い。

単眼カメラを上記の回転駆動部によって強制的に回転させ、当該単眼カメラの回転方向と角速度を適宜の計測センサ（例えば、エンコーダ）によって逐次計測し、これによって視差情報を取得してＳＬＡＭ技術に用いても良い。

視覚センサとして、ステレオカメラ１２に代えて、３次元計測が可能な３次元ＬＩＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉоｎ ａｎｄ Ｒａｎｇｉｎｇ）を用いてもよい。この場合、ステレオカメラ１２を用いる場合と比較して、対象物の３次元的な位置をより正確に計測することができる。また、レーザーを使用することによって、明るさ等の外部の影響を抑制した走査を行うことができる。

３次元ＬＩＤＡＲを用いる場合、当該３次元ＬＩＤＡＲが出力する３次元点群データが、環境情報に相当する。距離画像データ生成装置１３は省略され、３次元点群データはＳＬＡＭ処理装置１４に入力される。ＳＬＡＭ処理装置１４においては特徴点処理部１５が省略されており、当該３次元点群データは、３次元地図データの一部として環境地図生成部１６へ出力される。次に３次元点群データが入力されると、当該点群がＩＣＰ等の公知のアルゴリズムによって追跡処理され、点群の動きの情報が自己位置推定部１７に出力される。自己位置推定部１７は、３次元の点群の動きに基づいて、３次元ＬＩＤＡＲの位置及び姿勢を推定する。以上により、ＳＬＡＭ処理を実現することができる。

自己位置推定部１７による自己位置の推定精度を向上させるために、センシング装置１０が、加速度及び角速度を測定可能なＩＭＵ（慣性計測ユニット）を備えても良い。

３次元データ探索部５１は、外部装置５０に代えて、センシング装置１０に設けられても良い。センシング装置１０側で３次元物体認識が行われることにより、認識結果を素早く（ほぼリアルタイムで）活用することが容易になる。

センシング装置１０は、現場で作業を行う作業者の装着物（例えば、ヘルメット等）に、適宜の固定治具を介して取り付けて使用することもできる。これにより、作業者は、自己の目だけではなく、ＳＬＡＭ処理で取得された現在位置の情報や３次元地図データ等も利用して作業することができる。また、作業者が作業のために移動した経路のトレーサビリティを確保することも容易になる。作業者の現在位置及び３次元地図データを監督者の表示装置にリアルタイムで送信し、監督者がそれを見て作業者に指示することも考えられる。取得された３次元地図データに対しては、上述の実施形態と同様に、３次元物体認識を行うことが好ましい。これにより、予め登録した対象物と異なる異物を発見したり、対象物の異常な状態（例えば、破損等）を発見したり、メンテナンス対象の位置を把握したりすることが容易になる。このようにして、作業効率を向上させることができる。

センシング装置１０は、図５に示すように、ドローン等の飛行体４０に複数セットして使用することもできる。飛行体４０はセンシング装置１０を、３次元地図データを取得したいエリアに向けて、空中から一斉に投擲する。これにより、それぞれのセンシング装置１０が３次元地図データを取得する。飛行体４０に取り付けられている外部装置５０は、各センシング装置１０から無線通信により収集した３次元地図データを１つに統合する。これにより、広い範囲の３次元地図データを短時間で得ることができる。

１ 環境取得システム
１０ センシング装置
１１ ハウジング
１２ ステレオカメラ（視覚センサ）
１４ ＳＬＡＭ処理装置（データ処理部）

Claims (9)

1. ハウジングと、
   前記ハウジングに収容され、前記ハウジングの外部の環境に関する環境情報を反復して取得可能な視覚センサと、
   前記視覚センサで取得した環境情報、又は、当該環境情報から得られた情報に基づいて、前記視覚センサの位置及び姿勢の推定処理及び外部環境３次元データの生成処理を行うデータ処理部と、
   を備え、
   前記ハウジングの姿勢が制御されず、かつ、前記ハウジングが地面から離れていて外部からの機械的拘束を受けない状態において、前記視覚センサが前記環境情報を取得可能であることを特徴とする環境取得システム。
2. 請求項１に記載の環境取得システムであって、
   前記ハウジングの自由落下状態において前記視覚センサが前記環境情報を取得可能であることを特徴とする環境取得システム。
3. 請求項１又は２に記載の環境取得システムであって、
   前記ハウジングの外形は球状であることを特徴とする環境取得システム。
4. 請求項１から３までの何れか一項に記載の環境取得システムであって、
   前記視覚センサはカメラであることを特徴とする環境取得システム。
5. 請求項１から４までの何れか一項に記載の環境取得システムであって、
   前記データ処理部は前記ハウジングに収容され、
   前記視覚センサによる前記環境情報の取得、及び前記データ処理部による処理がリアルタイムで行われることを特徴とする環境取得システム。
6. 請求項１から４までの何れか一項に記載の環境取得システムであって、
   前記データ処理部は前記ハウジングの外部に配置され、
   前記データ処理部は、前記視覚センサが取得した前記環境情報を通信により取得し、当該環境情報に対して処理を行うことを特徴とする環境取得システム。
7. 請求項１から６までの何れか一項に記載の環境取得システムであって、
   前記視覚センサを前記ハウジングに対して回転させる回転駆動部を備えることを特徴とする環境取得システム。
8. 請求項１から７までの何れか一項に記載の環境取得システムであって、
   予め登録された３次元データを前記外部環境３次元データから探索する３次元データ探索部を備えることを特徴とする環境取得システム。
9. ハウジングと、
   前記ハウジングに収容され、前記ハウジングの外部の環境に関する環境情報を反復して取得可能な視覚センサと、
   を備えるセンシング装置を用いて、前記ハウジングの姿勢が制御されず、かつ、前記ハウジングが地面から離れていて外部からの機械的拘束を受けない状態において、前記視覚センサに前記環境情報を取得させる環境情報取得工程と、
   前記環境情報取得工程で取得した環境情報、又は、当該環境情報から得られた情報に基づいて、前記視覚センサの位置及び姿勢の推定及び外部環境３次元データの生成を行うデータ処理工程と、
   を含むことを特徴とする環境取得方法。

Images