JP2022065749A - 移動体の制御システム - Google Patents

Abstract

【課題】移動体が自己位置を喪失した場合にオペレータへの負担が少なく、短時間で移動体の自己位置の復旧を行うことが可能な制御システムを提供する。【解決手段】移動体と、移動体位置推定手段と、移動制御手段と、オペレータ用端末装置と、を含み、移動体は周囲の環境情報を取得する環境情報取得手段を含み、移動体位置推定手段は環境情報と予め用意された地図情報とに基づいて、地図情報における移動体の現在位置を推定し、移動制御手段は移動体の現在位置及び地図情報に基づいて、地図情報上に設定された目的地に向けて移動手段を制御し、端末装置は、環境情報に暫定目的地を設定可能な入力手段を含み、移動体位置推定手段が位置の推定に失敗した時に、入力手段によって設定された暫定目的地を移動制御手段に提供し、移動制御手段は、環境情報に基づいて、当該環境情報に設定された暫定目的地に向けて移動手段を制御する。【選択図】図１

Description

本発明は、移動体の制御システムに関し、特に、移動体と、移動体と接続可能な遠隔オペレータ用端末装置を含むシステムであって、移動体の現在位置の推定に失敗した時（ロストした時）に利用可能な移動体の制御システムに関する。

所定の経路に沿って自律的に空間を移動する自律移動ロボットが開発されている。自律
移動ロボットは、レーザ距離センサ等の外界センサを用いて周囲の空間をセンシングし、センシング結果と、予め用意された地図とのマッチングを行い、自身の現在の位置および姿勢を推定（同定） する。自律移動ロボットは、自身の現在の位置および姿勢を制御しながら、当該経路に沿って移動することができる。しかし、センシング結果と、予め用意された地図とのマッチングに失敗すると、自律移動ロボットは自己位置を喪失（ロスト）してしまい目的地に移動することができなくなる。

従来から、搬送車の現在位置が三角測量の原理に基づいて特定できなくなった場合の復帰について知られていた（特許文献１）。特許文献１には、搬送システムとして、レーザスキャナ、反射体 、および、三角測量の原理に基づいて搬送車の現在位置を特定し、特定された現在位置を用いて指定経路に沿って目標作業位置へ搬送車を走行させることが開示されている。この走行中に、搬送車の現在位置が三角測量の原理に基づいて特定できなくなると、搬送システムは、施設内の環境を計測する計測センサからの情報と施設内の環境地図との照合に基づいて搬送車の現在位置を推定し、推定された現在位置を用いて復帰場所へ搬送車を走行させ、これにより、搬送車の現在位置が三角測量の原理に基づいて再び特定できるようになり、搬送システムは、特定された現在位置を用いて搬送車を再び走行させる方法が開示されている。

また、従来から、自律的に移動することが可能な移動体が認識する地図データを更新する方法は知られていた（特許文献２）。特許文献２には、移動体を移動させる駆動装置と、周囲の空間を繰り返しスキャンしてスキャンごとにセンサデータを出力する外界センサと、センサデータと予め用意された地図データとを照合して、照合結果に基づき移動体の位置および姿勢を示す位置情報を順次出力する位置推定装置と、位置推定装置から出力された位置情報を参照しながら駆動装置を制御して、移動体を移動させるコントローラを有し、位置推定装置は、センサデータと地図データとが一致した程度を示す信頼度を出力し、走行中に信頼度が予め定められた閾値未満になると、コントローラは、センサデータを利用して移動している空間の部分地図データを生成し、地図データの一部を部分地図データで更新する方法が開示されている。

また、従来から、ユーザの操作に基づき前記移動手段を駆動して自機を誘導する誘導手段が知られていた（特許文献３）。特許文献３には、自律移動装置は、自機の周囲に存在する物体の検出情報を取得する物体情報取得手段と、物体情報取得手段により取得された物体の検出情報のうち、所定の領域内における検出情報をマスクするマスク手段と、マスク手段によりマスク処理が施された検出情報から、自機周辺の局所地図を作成する局所地図作成手段と、自機を移動させる移動手段と、局所地図作成手段により作成された局所地図及び移動手段の移動量に基づいて、自己位置を推定する自己位置推定手段と、ユーザの操作に基づき移動手段を駆動して自機を誘導する誘導手段と、誘導手段による誘導中に、自己位置推定手段により推定された自己位置及び局所地図から、移動領域の環境地図を作成する環境地図作成手段を備える方法が開示されている。

特許６６８７３１３号公報 特開２０１９－１７５１３７号公報 特許６１３６４３５号公報

特許文献１では、自己位置喪失からの自己位置の復帰方法として、位置特定部が特定した搬送車の最後の位置を初期位置として、後進により最も近い復帰場所（三角測量の原理に基づいて自己位置を確実に特定できる予め設定された場所）に向けて搬送車を走行させている。また、最後の位置から位置推定誘導までの間に移動した場合には、走行輪の回転を検出するエンコーダなどのセンサからの情報と最後の位置とから、搬送車の現在位置を演算して、これを初期位置として用いて復帰場所まで走行させている。しかし、搬送車には、走行輪のスリップや振動などによって搬送車の位置や向きが不意に変わることがあり、位置特定部の初期位置に対して実際の搬送車の現在位置や向きが異なる事態が想定される。そのような場合には、現在位置の推定が誤っているため、復帰場所に到達できなくなるおそれがある。また、搬送車が自動で復帰位置まで戻る方法であるので、復帰場所までの間に新たな物品が配置されたり、あるいは一時的な障害物が発生したりしている場合には、移動体の走行を復帰させることはできない。

また、特許文献２では、センサデータと地図データとが一致した程度を示す信頼度を出力し、走行中に信頼度が予め定められた閾値未満になると、コントローラは、センサデータを利用して移動している空間の部分地図データを生成し、地図データの一部を部分地図データで更新する方法を開示しているが、移動体が自己位置を喪失した状態から自己位置を再度推定する方法については開示されていない。

また、特許文献３では、ユーザ（オペレータ）の操作に基づき移動手段を駆動して自機を誘導する誘導手段が開示されているが、移動領域の環境地図を作成する環境地図を作成する際にユーザが移動体を誘導するものであり、自己位置を喪失した時の復帰方法は開示されていない。さらに、特許文献３では、環境地図を作成する際に、ユーザが障害物として誤って登録されてしまうことを防止するため、ユーザが位置する所定の領域内をマスクしている。このように、特許文献３の誘導手段は、自律移動装置の近傍でユーザが視認しながら操作することを想定したものであり、予想外に発生する自己位置喪失のエラーに対処するためには、エラーが発生するたびに自律移動装置の近傍に行く必要があり、煩雑な物であった。

本発明は、前述した課題を解決することを目的とするものであり、特にオペレータへの負担が少なく、直感的に操作可能な移動体を目的地まで移動させる、又は移動体の自律移動を復帰させることが可能な移動体の制御システムを提供することを目的の一つとする。

上記課題を解決するため、本発明の移動体の制御システムは、移動手段を含む移動体と、移動体位置推定手段と、前記移動体の前記移動手段を制御する移動制御手段と、前記移動体とは離れて設けられたオペレータ用端末装置と、を含む移動体の制御システムであって、前記移動体は、周囲の環境情報を取得する環境情報取得手段を含み、前記環境情報取得手段によって取得した環境情報を前記移動体位置推定手段に提供可能であり、前記移動体位置推定手段は、前記移動体から提供された環境情報と、予め用意された前記移動体の移動範囲の少なくとも一部を含む地図情報とに基づいて、前記地図情報における移動体の現在位置を推定し、推定した移動体の現在位置を前記移動制御手段に提供可能であり、前記移動制御手段は、取得した前記移動体の現在位置及び前記地図情報に基づいて、前記地図情報上に設定された目的地に向けて前記移動手段を制御し、前記オペレータ用端末装置は、環境情報に暫定目的地を設定可能な入力手段を含み、前記移動体位置推定手段が前記移動体の現在位置の推定に失敗した時に、前記入力手段によって設定された暫定目的地を前記移動制御手段に提供可能であり、前記移動制御手段は、前記オペレータ用端末装置から暫定目的地が提供されると、環境情報に基づいて、当該環境情報に設定された暫定目的地に向けて前記移動手段を制御する。

さらに、上記移動体の制御システムにおいて、前記移動体は、前記移動体の周囲の画像情報を取得できる画像情報取得手段を含み、前記画像情報取得手段によって取得した画像情報を前記オペレータ用端末装置に提供可能であり、前記オペレータ用端末装置は、提供された画像情報を表示可能な画像表示手段を含み、前記入力手段は、前記画像表示手段に表示された画像情報に対して暫定目的地を設定可能であり、前記移動制御手段は、前記画像情報に設定された暫定目的地の座標に対応する前記環境情報の座標に向けて前記移動手段を制御してもよく、さらに、前記オペレータ用端末装置は、前記画像表示手段により、暫定目的地として設定可能な領域を視覚的に判別可能に表示する機能を有していてもよい。

さらに、上記移動体の制御システムにおいて、前記オペレータ用端末装置は、前記暫定目的地が前記移動体にとって移動不可能な位置と判断された場合は、暫定目的地の再設定をオペレータに要求してもよい。

さらに、上記移動体の制御システムにおいて、前記移動体位置推定手段は、前記暫定目的地において、前記移動体の現在位置の推定に失敗した場合、再度、前記オペレータ用端末装置に暫定目的地の設定を要求してもよい。

さらに、上記移動体の制御システムにおいて、前記移動体位置推定手段が、前記暫定目的地において、前記移動体の現在位置の推定に成功した場合、前記暫定目的地までの移動の際に取得した環境情報を前記地図情報に反映する機能を有することが好ましい。

本発明の移動体の制御システムによれば、周囲に新たな物品の配置、あるいは一時的な障害物が発生し移動体の現在位置の推定に失敗し、移動体が自律移動を中止した時においても、移動体の環境情報取得手段により周囲の最新の環境情報を取得し、オペレータ用端末装置に提供することにより、オペレータ用端末装置の入力手段によってオペレータが当該環境情報に暫定目的地を設定することができる。移動制御手段は、オペレータ用端末装置から暫定目的地が提供されると、環境情報に基づいて、当該環境情報に設定された暫定目的地に向けて前記移動手段を制御することにより、移動体を目的地又は移動体の現在位置の推定が可能な位置まで移動体を移動させて自律移動を復帰させることができる。オペレータは暫定目的地を設定するのみで、移動体の目的地までの移動又は自律移動の復帰が可能であるので、オペレータの負担は少なくて済む。また、周囲の環境情報に画像情報を組み合わせることにより、オペレータの暫定位置の設定がさらに容易に行うことが可能となる。さらに、移動体の自己喪失した時に取得した最新の環境情報を地図情報に反映することができれば、環境情報をいつも最新にしておくことができる効果もある。また、オペレータ用端末装置に最新の環境情報又は画像情報を表示することで、オペレータは移動体の周囲の現状を確認しつつ暫定目的地を設定することが可能となり、より適切な暫定目的地を設定することができる。

本発明の移動体の自己喪失から暫定目的地への制御のフローチャートの一例。 暫定目的地到着後のフローチャートの一例。 本発明の移動体の制御システムに必要な構成要素のブロック図。 本発明の移動体の制御システムを実現するハードウェアの一例。 （Ａ）は予め準備されている地図情報、（Ｂ）は移動体の移動状況を示す図。 （Ａ）は移動体が障害物を発見したことを示す図、（Ｂ）は移動体が本来とは別の位置を推定して自己位置を喪失したことを示す図。 （Ａ）は移動体が自己位置の喪失時に、取得した環境情報（周囲のＳＬＡＭ）を示す図、（Ｂ）は移動体が自己位置の喪失時に、取得した画像情報を示す図。 （Ａ）及び（Ｂ）は、移動体が環境情報を取得しながら暫定目的地に向かって移動する途中を示す図。 （Ａ）は移動体が、暫定目的地に到着した状態を示す図であり、（Ｂ）は移動体が暫定目的地までに取得した環境情報の総和を示す図。 （Ａ）は新たに取得した周囲の環境情報の総和を反映させた地図情報であり、（Ｂ）は、移動体が目的地に到着した状態を示す図。 環境情報によって更新後の地図情報を示す図。 端末装置の画像表示手段に表示された画像情報を示す図。 （Ａ）は移動体が３Ｄカメラを搭載している場合の座標の対応関係を示す図、（Ｂ）は画像情報の座標とカメラ座標との対応関係を示す図。 ２Ｄカメラの場合の環境情報の座標と画像情報の座標の対応を示す図。

図１は、移動体の現在位置を喪失してから、オペレータに指示された暫定目的地まで向かうフローチャートの一例である。本発明の移動体の制御システムに含まれる移動体は、通常運転時、移動体位置推定手段が、環境情報取得手段によって取得した周囲の環境情報と、予め用意された前記移動体の移動範囲の少なくとも一部を含む地図情報とに基づいて、地図情報における移動体の現在位置を推定し、移動制御手段が、推定した移動体の現在位置及び地図情報に基づいて、地図情報上に設定された目的地に向けて移動手段を制御して自律移動する。しかし、移動体は、移動体位置推定手段による移動体の位置推定に問題が生じた場合、例えば、移動体が参照している地図情報には存在しない予期せぬ障害物があった場合、移動体が経路から外れて移動した場合等、環境情報と地図情報とに基づく位置推定に失敗すると移動体の現在位置を推定できず、自己位置喪失状態となり、移動を停止する。図１のＳ１において、移動体が自己位置喪失状態となると、移動体は、Ｓ２において、移動体内にある環境情報取得手段によって取得した周囲の環境情報をオペレータ用端末装置（以下「端末装置」ともいう）に提供する。さらに、Ｓ３において、移動体は、移動体内にある画像情報取得手段により、周囲の画像情報を取得し、それを端末装置に提供し、Ｓ４において、取得した周囲の環境情報と周囲の画像情報間の座標を対応させてもよい。Ｓ５において、端末装置は、入力手段を操作可能として、オペレータに移動体の暫定目的地を設定させる。暫定目的地の設定は、入力手段によって環境情報上の座標を暫定目的地として直接指定してもよいし、端末装置の画像表示手段に画像情報を表示し、表示された画像情報上に移動体の暫定目的地を指示してもよい。Ｓ６において、端末装置は移動制御手段に暫定目的地を提供し、移動制御手段は、Ｓ７において、地図情報を環境情報に切り替え、提供された暫定目的地の座標を環境情報に設定し、Ｓ８において、環境情報を取得した位置から当該環境情報に設定された暫定目的地に向けて移動手段を制御して、暫定目的地まで移動体を移動させる。自己位置を喪失した移動体を暫定目的地に移動することを１回または複数回繰り返すことで、移動体位置推定手段が移動体の位置を推定することが可能な位置に移動させることが可能であり、通常の移動ルートに復帰させることができる。または、暫定目的地として地図情報における目的地を設定することにより、移動体を目的地まで移動させることができる。上記は環境情報に加えて画像情報も取得した場合のフローであるが、オペレータが環境情報上に暫定目的地の座標を指示するように構成してもよい。また、暫定目的地を設定することによる環境情報に基づく移動体の自律移動に加えて、オペレータが端末装置の操作手段によって手動で移動体を移動させることにより、地図情報における自律移動の復帰又は目的地への到達を実現してもよい。

図２は、暫定目的地に到達後のフローチャートである。Ｓ１１において、移動体が暫定目的地に到着すると、Ｓ１２において、移動体は環境情報取得手段によって周囲の環境情報を取得し、Ｓ１３において、移動体位置推定手段が、移動体の現在位置の推定処理を行う。移動体の現在位置を推定できなかった場合（Ｓ１３のＮｏ）、Ｓ１４において、再度、オペレータ用端末装置に暫定目的地の設定を要求し、Ｓ１５において、取得した暫定目的地に向けて移動する。再度暫定目的地に到着したら、Ｓ１１に戻る。移動体の現在位置を推定できた場合（Ｓ１３のＹｅｓ）、Ｓ１６において、暫定目的地までの移動の際に取得した環境情報を地図情報に反映する。図１のＳ１において、移動体の現在位置を推定できなかった問題が環境の変化（予期せぬ障害物等）であった場合は、暫定目的地までの移動の際に取得した環境情報を地図情報に反映させることにより、変化した環境を地図情報に含めることができ、次回以降は問題を回避できることが可能となる。さらに、Ｓ１７において、推定した現在位置（暫定目的地）が最終的な目的地であるか否かを判定し、最終的な目的地ではなかった場合（Ｓ１７のＮｏ）、Ｓ１８において、最終的な目的地に向けて自律移動を再開する。ここで、移動制御手段は、環境情報に基づいて暫定目的地まで移動していたが、環境情報から地図情報に切り替え、現在位置から地図情報における目的地に向けて移動を開始する。なお、推定した現在位置（暫定目的地）が最終的な目的地であった場合（Ｓ１７のＹｅｓ）、目的地までの移動を完了し、移動を終了する。

「地図情報」とは、移動体の移動範囲内の障害物等の配置が示されたものであり、事前に道路地図、地形図、建物の間取り図、建築図面などの既存の地図を取り込んで作成してもよいし、事前に移動体の移動範囲を環境情報取得手段を使用したＳＬＡＭ（Simultaneous Localization and Mapping）によって、自己位置推定と環境地図作成を同時に行って取得してもよいし、他の移動体又は他のコンピュータで作成された地図情報を使用してもよい。地図情報は、例えば、移動体の記憶手段に記憶されていてもよいし、端末装置の記憶手段に記憶されていてもよいし、記憶サーバに記憶されていてもよい。地図情報は、移動体の移動範囲の少なくとも一部を含むものであり、目的地までの経路を含むことが好ましく、移動中に環境情報取得手段によって取得した環境情報を地図情報に蓄積、更新してもよい。地図情報として、２次元又は３次元の地図を複数のセル（典型的には均等幅のグリッド、ボクセル等の格子であるが、これに限定されない）で分割し、各セルに対し、移動体の移動可能性に関連するコストが設定されていてもよい。

図３は、本発明を実現するための移動体の制御システム１に必要な構成要素のブロック図である。図３では、制御システム１は、移動手段２１、環境情報取得手段２２及び画像情報取得手段２３を含む移動体２と、画像表示手段３１、入力手段３２及び操作手段３３を含むオペレータ用端末装置３と、移動体位置推定手段４及び移動制御手段８と、を含んでいる。移動体２は、さらに図示しない記憶手段、通信手段を含んでいてもよい。オペレータ用端末装置３は、移動体２とは離れて設けられており、図示しない記憶手段、通信手段を含んでいてもよい。移動体位置推定手段４及び移動制御手段８は、移動体２に設けられてもよいし、端末装置３に設けられてもよいし、それらとは別のハードウェアにそれぞれ設けられてもよく、図示しない記憶手段、通信手段を含んでいてもよい。図３において、各要素を連結する線は情報を相互に又は一方に提供可能に接続されていることを意味し、両者が同一機器内部に実装されて内部バスによって接続されている場合も、別々の機器に実装されて有線又は無線のネットワークによって接続されている場合も含む。なお、移動体２内及び端末装置３内の各要素同士は相互に又は一方に提供可能に接続されている。

移動体２は、移動体を移動させる移動手段２１と、移動体２の周囲の環境情報を取得する環境情報取得手段２２とを少なくとも有している。移動体２は、さらに必要に応じて、移動体２の周囲環境の画像を取得する画像情報取得手段２３、移動体の走行時の環境情報と地図情報とに基づいて移動体の現在位置（自己位置）を推定する移動体位置推定手段４、移動体位置推定手段４で推定した移動体の現在位置を用いて目的地まで移動する移動制御手段８、各種情報（環境情報、画像情報、地図情報、プログラム、目的地座標等）が記録された記憶手段（図示せず）、外部ネットワークと通信可能な無線通信手段（図示せず）、地図情報に基づいて目的地までの移動体の経路を算出する経路算出手段（図示せず）等を有していてもよい。移動体２は、通常時は、地図上における移動体の位置を把握しつつ、オペレータによる操作を必要としない自律移動が可能である。移動体２は、地図上における移動体の位置を把握しつつ、予め設定された固定ルートを巡回してもよい。また、移動体２は、通常時はオペレータ、サーバ等から目的地が設定され、設定された目的地まで経路を算出して自律的に移動してもよい。また、移動体２は、常に環境情報を端末装置３に提供し、端末装置３において移動体の制御システムを使用可能な状態としてもよいが、周囲の障害物等に起因して移動体位置の推定に問題が生じた時のみ端末装置３に対してサポート信号及び環境情報を送信し、端末装置３において暫定目的地の設定処理を開始させてもよい。移動体２としては、例えば、無人搬送車、有人車両、移動式の産業用ロボット、モバイルロボット、移動式のサービスロボット、及び無人航空機（ドローンを含む）を含む。

移動手段２１は、移動体２を移動させるものであり、例えば、車輪、無限軌道、多足歩行装置、プロペラ等を含み、さらに、これらを駆動する駆動手段（モータ、エンジン等）を含む。移動制御手段８によって各移動手段２１の出力を制御することにより、移動体２を所定の方向に移動させることができる。

環境情報取得手段２２は、移動体２の周囲の環境情報を取得するセンサであり、少なくとも周囲の環境を検知することができる。環境情報取得手段２２は、障害物の存在と位置（相対的な位置又は絶対的な位置）を検出可能な手段であればよく、例えば、周囲に存在する障害物までの距離と方向を計測することにより周囲の環境情報を取得する。環境情報取得手段２２としては、例えば、レーザ光を使用したＬｉＤＡＲ（Light Detection and Ranging又はLaser Imaging Detection and Ranging）や測域センサ、複数のカメラを使用したステレオカメラ、パターンプロジェクションカメラ、電波（ミリ波）を使用したレーダ、磁気センサ等を含む。環境情報取得手段２２は、移動体２に設けられ、移動体２の周囲の少なくとも一部の環境情報を取得することができ、例えば、移動体２を中心とした所定の角度範囲内の環境情報を取得することができる。全周囲（３６０°）の環境情報を取得できることが好ましいが、少なくとも移動体の移動方向前方の環境情報を取得する。取得した環境情報の少なくとも一部は、端末装置３及び／又は移動体位置推定手段４に提供可能とされている。また、環境情報取得手段２２は、二次元（２Ｄ）の環境情報だけではなく三次元（３Ｄ）の環境情報を取得できることが好ましい。環境情報取得手段２２で取得される環境情報は、センサの種類によって異なるが、センサの測定点までの距離を含んでいる。例えば、ＬｉＤＡＲの場合は、マイクロパルスレーザ光で所定の角度範囲内を順次走査し、障害物によって反射して戻ってきた光を受光して、戻ってくるまでの時間を測定し、障害物までの距離及び方向を取得する。ここで測定点とは、照射したレーザ光が当たった障害物の位置であり、環境情報は測定点の点群である。ステレオカメラの場合は、複数のカメラで撮影した画像内に含まれる特定の被写体の一部（一画素又は数画素の領域）について、各画像内における位置の違い（視差）と、複数のカメラ間の間隔とから、特定の被写体の一部までの距離や形状を認識できる。ここで、各画素内における視差を求めた被写体の一部が測定点である。ステレオカメラでは、複数のカメラの画像が重なる範囲が所定の角度範囲となり、３Ｄの環境情報を取得することができる。複数のカメラを移動（回転）可能に設けてもよい。また、通常のカメラであっても、既知の大きさのマーカー（図形、文字、形状等）を障害物に付すことにより、画像情報におけるマーカーのドット数（大きさ）及び角度から障害物の存在と位置を検出できる。さらに、赤外線カメラ等の距離も検出可能なカメラを使用してもよい。環境情報取得手段２２としてカメラ（ステレオカメラを含む）を採用した場合は、画像情報取得手段２３として利用することもできる。

画像情報取得手段２３は、少なくとも移動体２の周囲の画像を取得するカメラであり、例えば、ＣＣＤカメラ、ＣＭＯＳセンサなどを使用することができる。画像情報取得手段２３は、少なくとも移動体２の移動方向前方の画像（静止画又は動画）を取得でき、環境情報取得手段２２の測定範囲の全部についての画像を取得できることが好ましく、画像情報取得手段２３の撮像方向を変更可能な可動部を含むことが好ましい。画像情報取得手段２３は、移動体の周囲の画像情報を取得し、端末装置３に提供する。提供された画像情報は、端末装置３の画像表示手段３１に表示されてオペレータに移動体２の周囲の状況を把握させるとともに、適切な暫定目的地を設定させたり、障害物を確認させたりすることができる。なお、画像情報取得手段２３で取得した画像情報を画像認識手段によって自動的に障害物を判定させて経路算出、移動体の位置推定等に利用してもよい。環境情報取得手段２２として高精細な３ＤのＬｉＤＡＲ等を使用すれば、測定点のパターンによって周囲の障害物を判定又は確認することも可能であり、環境情報取得手段２２で周囲の状況を把握できる場合は、画像情報取得手段２３を設けなくてもよい。また、環境情報取得手段２２としてカメラを使用すれば、それを画像情報取得手段２３としても使用可能である。画像情報取得手段２３は、移動体２に設けることが好ましいが、移動体２の外部、例えば、周囲の壁、天井、床等に設けてもよい。移動体２に画像情報取得手段２３を設けた場合、画像情報取得手段２３としては、例えば、周方向に回転可能な可動部にカメラを設置した構成としてもよい。画像情報取得手段２３の撮像方向は、環境情報取得手段２３の測定点の走査と連携させて測定点の画像を取得することが好ましい。撮像タイミングは、常に撮像してもよいし、所定のタイミングで撮像してもよい。常に撮像する場合は、画像情報のデータ量が膨大となり、移動体２に搭載される比較的小容量の記憶手段のデータ領域を圧迫する。また、取得した画像情報はネットワークを介して端末装置３に提供可能であるが、常に提供し続けると膨大なデータ量の画像情報が常に送受信されるため、通信回線が混雑するという課題が生じる。このため、少なくとも画像情報については、所定のタイミングに限定して端末装置３に提供することが好ましい。つまり、通常の動作時には画像情報は送信せず、移動体２の記憶手段に記憶しておき、周囲の障害物に起因して自己位置を喪失する等のオペレータの判断が必要となった際、又は端末装置３から画像を要求する信号を受信した際、画像情報を送信することが好ましい。なお、移動体の記憶手段の容量が少ない場合には、古い画像から自動的に削除するようにしてもよい。また、常に撮像せずに所定のタイミングで撮像する場合は、例えば、移動中の経路を遮る障害物等を環境情報取得手段２２によって検出したタイミングで画像情報を取得してもよい。移動体２の外部に画像情報取得手段２３を設ける場合は、例えば、監視カメラを画像情報取得手段２３として利用してもよい。

オペレータ用端末装置３は、移動体２とは離れて設けられており、環境情報に暫定目的地を設定可能な入力手段３２を少なくとも含み、必要に応じて環境情報、画像情報及び／又は移動体の移動範囲の少なくとも一部を含む地図情報を表示可能な画像表示手段３１と、移動体の移動を操作できる操作手段３３、移動体位置推定手段４、移動制御手段８を含んでいてもよく、さらに、図示しないが、各種情報（環境情報、画像情報、地図情報、プログラム、目的地座標等）が記録された記憶手段、外部ネットワークと通信可能な無線通信手段、環境情報取得手段２２から提供された環境情報から移動体近傍の地図情報を作成する地図作成手段、地図情報に基づいて目的地までの移動体の経路を算出する経路算出手段、各手段を制御する制御手段を含んでいてもよい。端末装置３には、環境情報取得手段２２が取得した環境情報の少なくとも一部が提供される。さらに画像情報取得手段２３が取得した画像情報の少なくとも一部が提供されてもよい。端末装置３は、人間（オペレータ）が操作する装置であり、入力手段３２によって環境情報に暫定目的地を設定させることができる。入力手段３２によって環境情報上の座標を入力して暫定目的地を設定してもよいし、画像表示手段３１に環境情報を表示して、入力手段３２によって環境情報上の座標を選択することにより暫定目的地を設定してもよいし、画像表示手段３１に画像情報を表示して、画像表示手段３１に表示された画像情報上の座標を選択することにより暫定目的地を設定してもよい。画像情報上の座標は、対応する環境情報上の座標に変換されて環境情報に対して暫定目的地が設定される。また、端末装置３は、オペレータに操作手段３３を操作させて移動体２をオペレータの自由に移動させてもよく、この場合に、画像取得手段２３からの画像情報を画像表示手段３１に表示してオペレータに移動先の状態を確認できるようにしてもよい。さらに、端末装置３は、入力手段３２を介して画像表示手段３１に表示された地図情報に移動体の目的地を設定可能であってもよく、オペレータに目的地を設定させ、移動体に環境情報取得手段による環境情報と地図情報とに基づいて目的地まで移動させてもよい。端末装置３としては、例えば、コンピュータ、ノートパソコン、携帯情報端末（スマートフォン、タブレット端末を含む）等を含み、一つのハードウェアで端末装置３を実現してもよいし、複数のハードウェアに手段を分散して端末装置３を実現してもよい。また、一台の端末装置３に複数台の移動体２を接続させてもよい。本発明においては、移動体２が自己位置を喪失した時などに限定して人間がサポートすればよく、一人で複数台の移動体をサポートすることが可能である。

画像表示手段３１は、様々な情報を表示する手段であり、例えば、液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイ、プロジェクタ等を含む。画像表示手段３１としてタッチパネル式のディスプレイを使用すれば、入力手段３２、操作手段３３としても使用できる。また、複数の移動体２に対応して、複数の画像表示手段３１を設けてもよいし、一つの画像表示手段３１に複数の移動体２の情報を同時に又は順次表示するようにしてもよい。画像表示手段３１には、少なくとも移動体２から取得した移動体の周囲の環境情報及び／又は画像情報が表示され、さらに、地図情報が表示されてもよい。また、その他の情報が表示されてもよく、例えば、移動体２からの暫定目的地の要求信号を受信したことをオペレータに伝えるメッセージを表示してもよい。環境情報及び画像情報は、別々に表示されていてもよいし、環境情報を選択することにより、選択した座標を含む画像情報が表示されてもよい。また、画像表示手段３１は、暫定目的地として設定可能な領域を視覚的に判別可能に表示する機能を有することが好ましい。例えば、暫定目的地として設定可能な領域に着色したり、暫定目的地として設定可能な領域における入力手段のカーソルの色や形状を変化させたりしてもよい。

入力手段３２は、環境情報に暫定目的地を設定可能な手段であり、例えば、キーボード、ポインティングデバイス（マウス、タッチパッド等）、タッチパネル（タッチスクリーンを含む）、コントローラ等を含む。入力手段３２による暫定目的地の設定は、例えば、キーボードで座標を入力してもよいし、ポインティングデバイスやタッチパネルで環境情報又は画像情報上の点を選択することにより、選択した座標を暫定目的地に選択してもよい。また、例えば、環境情報又は画像情報上に移動経路を描くことで経路の終点を暫定目的地として設定してもよい。入力手段３２は、環境情報及び／又は画像情報を拡大又は縮小操作可能であってもよい。さらに、入力手段３２は、地図情報における移動体２の現在位置を指定可能であってもよい。例えば、オペレータが環境情報及び／又は画像情報から移動体２の地図情報における現在位置が推定できた場合、入力手段３２によって地図情報における移動体の現在位置を指定すると、移動体２は、指定された位置を自己位置として自律移動を再開できる。

操作手段３３は、移動体の移動手段を制御して、移動体の移動を操作できるものであり、例えば、キーボード、ポインティングデバイス（マウス、タッチパッド等）、タッチパネル（タッチスクリーンを含む）、コントローラ等を含み、入力手段３２を兼用させてもよい。操作手段３３としては、移動体の移動方向に合わせたキー、ボタン又はスティック等を操作して移動体を操作した方向に移動するようにしてもよいし、画像表示手段３１に表示された環境情報、画像情報又は地図情報に目的地を設定することにより、移動体を操作してもよい。

移動体位置推定手段４は、地図情報における移動体２の位置を推定するものであり、位置推定プログラムを実行することによって実現され、例えば、ＣＰＵ（Central Processing Unit）及び作業用メモリなどによって、或いは集積回路（Integrated Circuit）によって実現される。移動体位置推定手段４は、移動体２に設けられてもよいし、端末装置３に設けられてもよいし、それらとは別のハードウェアに設けられてもよいが、即時性から移動体２に設けることが好ましい。移動体位置推定手段４としては、地図情報における移動体の位置が特定できればよく、特に手段を問うものではないが、環境情報取得手段２２で取得した環境情報と、予め用意された地図情報とを照合して、照合結果に基づき移動体の位置を算出してもよい。他の位置推定手段としては、ＧＰＳで特定した座標を地図情報の座標に変換したり、通信アンテナや基地局で特定した座標を地図情報の座標に変換したり、周囲の壁、天井、床に位置を示す記号を表記してそれを画像認識し、地図情報と対応させることで特定したりしてもよい。

移動制御手段８は、移動制御プログラムを実行することによって実現され、地図情報における目的地までの経路に沿って各移動手段２１の出力を制御して移動体２を所定の位置（目的地）へ移動させる。移動制御手段８は、移動体２に設けられてもよいし、端末装置３に設けられてもよいし、それらとは別のハードウェアに設けられてもよいが、即時性から移動体２に設けることが好ましい。移動制御手段８は、例えば移動手段２１として複数のモータが移動体２に設けられていた場合、各モータの回転角や回転速度を制御してもよいし、各モータに供給される電流値を制御してもよい。

図４は、本発明の移動体の制御システム１を実現するハードウェアの一例である。本実施形態における制御システム１は、自己位置を推定しつつ目的地まで自律して移動できる自律式の移動体２と、オペレータ用端末装置３と、移動体２及び端末装置３が接続されたネットワーク５と、を含み、必要に応じてネットワーク５を介して接続可能な記憶サーバ６及び管理サーバ７を含んでいてもよい。本実施形態の移動体の制御システム１は、自律式の移動体２において自己位置を喪失し、移動体２及び管理サーバ７では復帰できない場合等に、ネットワーク５を介してオペレータ用端末装置３と接続してオペレータのサポートによって設定された環境情報における暫定目的地に移動体２を移動させることができ、最終的に、地図情報における目的地に移動させたり、移動体の位置を認識させて自律移動に復帰させたりすることができる。また、移動体２が取得した情報を端末装置３に送り、端末装置３で移動体２の状況を確認したり、端末装置３で作成した情報を移動体２に送り、かかる情報を使用して移動体２を制御したりすることができる。

図５（Ａ）は、地図情報を示しており、移動体の移動範囲の間取りを示す地図情報４０であり、事前に建物の間取り図、建築図面などの既存の地図を取り込んで作成してもよいし、事前に移動体２の移動範囲内を移動させて環境情報取得手段２２を使用したＳＬＡＭ（Simultaneous Localization and Mapping）によって、自己位置推定と環境地図作成を同時に行って取得してもよいし、他の移動体又は他のコンピュータで作成された地図情報を使用してもよい。

図５（Ｂ）は、移動体２が環境情報取得手段２２でレーザ光により得た黒丸で示す各測定点２２ａと地図情報４０との対応位置関係を示す図である。星印は最終目的地４５を示している。移動体２は、この例では部屋の左下に位置している。移動体２は、移動手段２１として４つの車輪を有し、環境情報取得手段２２としてＬｉＤＡＲを有している。図５（Ｂ）に示すように、移動体２は、環境情報取得手段２２（ＬｉＤＡＲ）からマイクロパルスレーザ光を所定のステップ角度毎に順次照射し、周囲の環境をレーザ光で走査して環境情報を取得する。図５（Ｂ）では、全方位に走査しており、各レーザ光は、それぞれ周囲の環境（壁、障害物、扉）に照射され、黒丸で示す各測定点２２ａで反射光や散乱光（図示せず）を発生させ、戻ってきた反射光又は散乱光をＬｉＤＡＲの検出器で検出し、照射してから戻ってくるまでの時間を計測することにより各測定点までの距離及び方向を測定する。

図６（Ａ）は、新たな障害物５０が存在する環境において環境情報取得手段２２により取得した測定点を示すものであり、障害物５０によって地図情報上では測定点が２２ｂにあるべきものが、２２ｃにあることを示している。図６（Ｂ）は、測定点２２ｂが測定点２２ｃにあることで、期待した位置の測定点が得られないため、自己位置の推定に失敗し、別の位置を推定したことを示している。すなわち、地図情報と環境情報とが一致しておらず、移動体２が自己位置を喪失した状態を示している。

図７（Ａ）及び（Ｂ）は、移動体２が自己位置を喪失した位置において取得した周囲の環境情報及び画像情報を示す。図７（Ａ）は、環境情報取得手段２２のＬｉＤＡＲにより、障害物５０が増えた周囲の環境をレーザ光で走査して取得した測定点であり、周囲の環境情報を示している。図７（Ｂ）は、画像情報取得手段２３によって取得した周囲の画像情報であり、移動体２が自己位置を喪失した位置において、図７（Ａ）の点線で示す画角で撮影された画像情報である。環境情報又は画像情報は端末装置３の画像表示手段により表示され、オペレータは、端末装置３の入力手段３２により、環境情報又は画像情報上の一点を選択し、暫定目的地４４ａ、４４ｂを設定する。図７（Ａ）の環境情報に暫定目的地４４ａを直接設定してもよいし、図７（Ｂ）の画像情報上で暫定目的地４４ｂを設定し、設定された座標を図７（Ａ）の環境情報における対応する座標に変換して、環境情報における暫定目的地４４ａとして設定してもよい。

図８（Ａ）及び（Ｂ）は、移動体２が暫定目的地４４に向けて移動中の状態を示す図であり、移動中の各位置において取得した環境情報を示している。移動体は、移動中も継続的に環境情報を取得し、環境情報の取得位置を現在位置として、環境情報に設定された目的地に向けた移動を繰り返す。図９（Ａ）は、オペレータが指示した暫定目的地４４に移動体２が到達した時点の周囲の環境情報を示す図であり、図９（Ｂ）は、移動体２が自己位置を喪失した地点から暫定目的地４４までの移動中に新たに取得した周囲の環境情報の総和を示している。暫定目的地４４に到着した移動体２は、その位置において移動体位置推定手段４が移動体の位置を推定可能か判定する。移動体の現在位置推定に成功すれば、自律移動に復帰することができ、失敗すれば、再び端末装置３からの暫定目的地の設定を要求するか、端末装置３の操作手段３３による操作を待つ。移動体の現在位置推定に成功した場合は、暫定目的地４４までの移動で取得した環境情報を地図情報に反映させることが好ましい。

図１０（Ａ）は、暫定目的地４４において、移動体の現在位置推定に成功し、図９（Ｂ）の新たに取得した周囲の環境情報の総和を反映させた地図情報であり、図１０（Ｂ）は、地図情報に基づいて目的地４５まで移動した状態を示している。なお、図１０（Ｂ）の地図情報には、目的地４５までの移動で新たに取得した環境情報も反映させている。図１１は、障害物５０の追加が盛り込まれた更新された地図情報４１を示した図である。

図１２は、端末装置３の画像表示手段３１に表示された画像情報であり、暫定目的地として設定可能な領域（床面）を網掛けで表示し、暫定目的地として設定可能な領域が視覚的に判別できる。また、画像情報の壁面をカーソル５１で選択すると、「選択できません」という警告が表示され、「網掛けの領域を指定して下さい」という暫定目的地の再設定をオペレータに要求するメッセージが表示されている。なお、暫定目的地の再設定の要求は、画面に表示するだけではなく、音声でオペレータに要求してもよいし、その他の方法で伝えてもよい。

図１３（Ａ）は、移動体２に搭載された画像情報取得手段２３が３Ｄカメラの場合の座標系の対応関係を示す図であり、（Ｂ）は画像情報の座標とカメラ座標との対応関係を示す図である。地図情報における全ての空間は、ある一点（基準位置）を原点としたマップ座標系（Ｘ_map，Ｙ_map，Ｚ_map）の座標（ｘ，ｙ，ｚ）で表記できる。また、移動体２上における環境情報取得手段２１や画像情報取得手段２２の位置や向きは、移動体２のある一点を原点とした移動体座標系（Ｘ_footprint，Ｙ_footprint，Ｚ_footprint）の座標で表記できる。さらに、画像情報取得手段２２の撮像対象の空間は、画像情報取得手段２２のレンズを原点とし、レンズの法線をＺ軸とするカメラ座標系（Ｘ_camera，Ｙ_camera，Ｚ_camera）の座標で表記され、撮像されたＵ画素×Ｖ画素の画像情報における各画素には位置及び距離（深さ）の情報（ｕ，ｖ，ｄｅｐｔｈ）が含まれる。画像表示手段３１に表示された画像情報における点４４ｂが暫定目的地として選択された場合、点４４ｂの情報（ｕ，ｖ，ｄｅｐｔｈ）から、カメラ座標系における座標（ｘ_camera，ｙ_camera，ｚ_camera）が特定され、さらに移動体座標系における撮像時の画像情報取得手段２２の相対的な位置及び向き、並びにマップ座標系における移動体２の相対的な位置及び向きを変換することにより、地図情報における暫定目的地の座標（ｘ，ｙ，ｚ）が取得できる。また、カメラ座標系における座標（ｘ_camera，ｙ_camera，ｚ_camera）に対し、移動体２上における環境情報取得手段２１と画像情報取得手段２２との相対的な位置や向きを変換することにより、環境情報における暫定目的地４４ａの座標を取得できる。なお、地図が２Ｄの場合は、地図情報又は環境情報の高さ（ｚ）を無視すればよい。

図１４は、通常の２Ｄカメラの場合のマップ座標とカメラ座標の座標対応を示した図である。通常の２Ｄカメラの場合、画像情報の各画素をカメラ座標系上での一点に対応付けることはできず、その点の存在する方向だけが分かる。すなわち（ｋｘ，ｋｙ，ｚ）でｋが不明な状態である。地図が３Ｄの場合は、地図座標系での（ｘ，ｙ，ｚ）にまで変換した後に、それが地図上で障害物が存在する座標と一致するｋのうち、カメラ上に撮像されるのは光路上でカメラ原点に最も近い障害物であることから、最小の正の値を代入する。地図が２Ｄの場合は、地図座標系での（ｘ，ｙ，ｚ）にまで変換した後に、オペレータが指示するのは床面であることからｚがゼロになるｋを代入する。

１ 制御システム
２ 移動体
３ オペレータ用端末装置
４ 移動体位置推定手段
８ 移動制御手段

Claims (6)

1. 移動手段を含む移動体と、移動体位置推定手段と、前記移動体の前記移動手段を制御する移動制御手段と、前記移動体とは離れて設けられたオペレータ用端末装置と、を含む移動体の制御システムであって、
   前記移動体は、周囲の環境情報を取得する環境情報取得手段を含み、前記環境情報取得手段によって取得した環境情報を前記移動体位置推定手段に提供可能であり、
   前記移動体位置推定手段は、前記移動体から提供された環境情報と、予め用意された前記移動体の移動範囲の少なくとも一部を含む地図情報とに基づいて、前記地図情報における移動体の現在位置を推定し、推定した移動体の現在位置を前記移動制御手段に提供可能であり、
   前記移動制御手段は、取得した前記移動体の現在位置及び前記地図情報に基づいて、前記地図情報上に設定された目的地に向けて前記移動手段を制御し、
   前記オペレータ用端末装置は、環境情報に暫定目的地を設定可能な入力手段を含み、前記移動体位置推定手段が前記移動体の現在位置の推定に失敗した時に、前記入力手段によって設定された暫定目的地を前記移動制御手段に提供可能であり、
   前記移動制御手段は、前記オペレータ用端末装置から暫定目的地が提供されると、環境情報に基づいて、当該環境情報に設定された暫定目的地に向けて前記移動手段を制御する、移動体の制御システム。
2. 前記移動体は、前記移動体の周囲の画像情報を取得できる画像情報取得手段を含み、前記画像情報取得手段によって取得した画像情報を前記オペレータ用端末装置に提供可能であり、
   前記オペレータ用端末装置は、提供された画像情報を表示可能な画像表示手段を含み、
   前記入力手段は、前記画像表示手段に表示された画像情報に対して暫定目的地を設定可能であり、
   前記移動制御手段は、前記画像情報に設定された暫定目的地の座標に対応する前記環境情報の座標に向けて前記移動手段を制御する、請求項１に記載の移動体の制御システム。
3. 前記オペレータ用端末装置は、前記画像表示手段により、暫定目的地として設定可能な領域を視覚的に判別可能に表示する機能を有する、請求項２に記載の移動体の制御システム。
4. 前記オペレータ用端末装置は、前記暫定目的地が前記移動体にとって移動不可能な位置と判断された場合は、暫定目的地の再設定をオペレータに要求する、請求項１乃至３の何れか１項に記載の移動体の制御システム。
5. 前記移動体位置推定手段は、前記暫定目的地において、前記移動体の現在位置の推定に失敗した場合、再度、前記オペレータ用端末装置に暫定目的地の設定を要求する、請求項１乃至４の何れか１項に記載の移動体の制御システム。
6. 前記移動体位置推定手段が、前記暫定目的地において、前記移動体の現在位置の推定に成功した場合、前記暫定目的地までの移動の際に取得した環境情報を前記地図情報に反映する機能を有する、請求項１乃至５の何れか１項に記載の移動体の制御システム。
   

Images