JP2018049378A - ロボットシステムとその識別装置 - Google Patents

Abstract

【課題】 カメラによって撮影された複数の移動型ロボットを識別する。【解決手段】 ロボットシステムは、複数の移動型ロボットと、複数の移動型ロボットを撮影するカメラと、カメラによって撮影された複数の移動型ロボットをそれぞれ識別する識別装置を備える。識別装置は、複数の移動型ロボットと通信して、移動型ロボットの識別子と移動型ロボットの状態指標を、各々の移動型ロボットから取得する処理と、カメラによる撮影画像を処理して、撮影画像中の各々の移動型ロボットの状態指標を推定する処理と、推定された各々の移動型ロボットの状態指標を、識別子とともに取得された各々の移動型ロボットの状態指標と比較して、撮影画像中の各々の移動型ロボットの識別子を特定する処理を実行する。【選択図】図３

Description

本明細書が開示する技術は、ロボットシステムとその識別装置に関する。

特許文献１に、ロボットシステムが開示されている。このロボットシステムは、複数の移動型ロボットと、複数の移動型ロボットを撮影するカメラを備える。このロボットシステムでは、カメラによる撮影画像に基づいて、各々の移動型ロボットの位置が特定され、全ての移動型ロボットがそれぞれの目標位置へ移動するように、各々の移動型ロボットへ個別に制御指令が与えられる。

特開２０１２−１９４９４８号公報

ロボットシステムにおいて、移動型ロボットを監視及び／又は制御するために、カメラを利用することは有効である。しかしながら、複数の移動型ロボットの外観が互いに同一又は類似していると、カメラによって撮影された複数の移動型ロボットを、それぞれ識別できないことがある。この場合、各々の移動型ロボットに対して、適切な制御指令を与えることができない。

上記の実情を鑑み、本明細書は、カメラによって撮影された複数の移動型ロボットを識別するための技術を提供する。

本明細書が開示するロボットシステムは、複数の移動型ロボットと、複数の移動型ロボットを撮影するカメラと、カメラによって撮影された複数の移動型ロボットをそれぞれ識別する識別装置を備える。識別装置は、複数の移動型ロボットと通信して、移動型ロボットの識別子と移動型ロボットの状態指標を、各々の移動型ロボットから取得する処理と、カメラによる撮影画像を処理して、撮影画像中の各々の移動型ロボットの状態指標を推定する処理と、推定された各々の移動型ロボットの状態指標を、識別子とともに取得された各々の移動型ロボットの状態指標と比較して、撮影画像中の各々の移動型ロボットの識別子を特定する処理を実行する。

通常、各々の移動型ロボットの状態（例えば、姿勢、動作及び環境）は、それぞれ異なる。そこで、上記したロボットシステムでは、移動型ロボットの互いに異なる状態に着目することで、カメラによって撮影された移動型ロボットをそれぞれ識別する。具体的には、カメラによる撮影画像に基づいて、各々の移動型ロボットの状態を示す指標（状態指標）が推定される。また、移動型ロボットとの通信により、各々の移動型ロボットから状態指標が識別子とともに取得される。そして、撮影画像から推定された状態指標と、移動型ロボットから取得した状態指標を比較することによって、撮影画像中の各々の移動型ロボットの識別子が特定される。これにより、複数の移動型ロボットが同一又は類似する外観を有していても、カメラによって撮影された複数の移動型ロボットを、それぞれ識別することができる。

本明細書が開示する他のロボットシステムは、複数の移動型ロボットと、複数の移動型ロボットを撮影するカメラと、カメラによって撮影された複数の移動型ロボットをそれぞれ識別する識別装置を備える。識別装置は、複数の移動型ロボットと通信して、各々の移動型ロボットに互いに異なる動作指令を与える処理と、カメラによる撮影画像を処理して、撮影画像中の各々の移動型ロボットの動作を推定する処理と、推定された各々の移動型ロボットの動作を、各々の移動型ロボットに与えられた動作指令と比較して、撮影画像中の各々の移動型ロボットの識別子を特定する処理とを実行する。

上記したロボットシステムでは、各々の移動型ロボットに異なる動作指令を与え、それをカメラによる撮影画像から特定することで、カメラによって撮影された複数の移動型ロボットをそれぞれ識別する。具体的には、移動型ロボットとの通信により、各々の移動型ロボットに異なる動作指令が与えられる。また、カメラによる撮影画像に基づいて、各々の移動型ロボットの動作が推定される。そして、撮影画像から推定された移動型ロボットの動作を、移動型ロボットに与えた動作指令と比較することによって、撮影画像中の各々の移動型ロボットの識別子が特定される。これにより、複数の移動型ロボットが同一又は類似する外観を有していても、カメラによって撮影された複数の移動型ロボットを、それぞれ識別することができる。

ロボットシステム１０の構成を模式的に示す図。 移動型ロボット１２の構成を模式的に示すブロック図。 処理装置４６が実行する処理の流れを示すフローチャート。 カメラ４２による撮影画像４２ａの一例を示す図。 撮影画像４２ａから推定される動作指標の一例を示す図。 無線通信によって取得される動作指標の一例を示す図。 タッチパネル４４に表示される表示画面の一例を示す図。 処理装置４６が実行する他の一つの処理の流れを示すフローチャート。 処理装置４６が実行する他の一つの処理の流れを示すフローチャート。 処理装置４６が実行する他の一つの処理の流れを示すフローチャート。 時刻ｔ１でのカメラ４２による撮影画像４２ａの一例を示す図。 時刻ｔ２でのカメラ４２による撮影画像４２ａの一例を示す図。 撮影画像４２ａから推定される近接関係の一例を示す図。 無線通信によって取得される近接関係の一例を示す図。 ロボットシステム１０の一変形例であって、第１移動型ロボット１２ａのカメラ２６をさらに用いる例を示す。 ロボットシステム１０の一変形例であって、第１及び第３移動型ロボット１２ａ、１２ｃのカメラ２６をさらに用いる例を示す。 ロボットシステム１０の一変形例であって、第１移動型ロボット１２ａをマスタロボットとし、第２〜第４移動型ロボット１２ｂ〜１２ｄをスレーブロボットとした例を示す図。 ロボットシステム１０の一変形例であって、無線送電システムが採用された一例を示す図。 ロボットシステム１０の一変形例であって、無線送電システムが採用された一例を示す図。 ロボットシステム１０の一変形例であって、無線送電システムが採用された一例を示す図。

本技術の一実施形態において、前述した移動型ロボットの状態指標は、移動型ロボットの姿勢、動作又は環境に関する少なくとも一つの指標を含むとよい。ここで、移動型ロボットの姿勢に関する指標とは、例えば、移動型ロボットのロール角、ピッチ角、ヨー角といった姿勢角である。移動型ロボットの動作に関する指標とは、例えば、移動型ロボットの移動の方向、移動の速度、移動の加速度、回転の方向、回転の角速度、回転の角加速度、往復運動の振幅、往復運動の周期、往復運動の周波数、発光の有無、発光の色、発光の強度、発光の頻度である。移動型ロボットの環境に関する指標とは、例えば、移動型ロボットが位置する環境の明るさ、色合い、温度である。また、移動型ロボットの環境に関する指標とは、所定の距離内に近接する他の移動型ロボットであってもよい。なお、移動型ロボットの状態指標が、移動型ロボットが位置する環境の温度である場合、ロボットシステムのカメラは、赤外線カメラであるとよい。

本技術の一実施形態において、移動型ロボットは、前述した状態指標を検出するセンサを有するとよい。この場合、センサによって検出される状態指標は、カメラによる撮影画像から推定し得るものであるとよい。これにより、識別装置は、センサによって検出された状態指標と撮影画像から推定された状態指標との一致度を定量的に求めることができる。

センサは、加速度センサとジャイロセンサの少なくとも一つを含むとよい。これらのセンサによると、例えば移動型ロボットの姿勢や動作に関する指標を正確に検出することができる。また、加速度センサ又はジャイロセンサによって検出される指標は、カメラによる撮影画像からも正確に推定しやすく、認識の精度を高めることができる。

前記したセンサは、光センサと温度センサの少なくとも一方を含むとよい。これらのセンサによると、移動型ロボットの周辺照度や周辺温度といった、移動型ロボットの環境に関する指標を検出することができる。なお、移動型ロボットが温度センサを有する場合、カメラは赤外線カメラであるとよい。一つの実施形態では、光センサは、移動型ロボットに搭載されたカメラであってもよい。

各々の移動型ロボットは、所定の距離内に近接する他の移動型ロボットと通信して、当該近接する他の移動型ロボットの識別子を取得するとよい。この場合、識別装置は、状態指標として、近接する他の移動型ロボットの識別子を取得するとよい。これにより、移動型ロボット同士の近接関係を把握することができる。そして、把握した移動型ロボットの近接関係を、撮影画像から推定される移動型ロボット同士の近接関係と比較することで、各々の移動型ロボットの識別子を特定することができる。

図面を参照して、実施例１のロボットシステム１０について説明する。図１に示すように、ロボットシステム１０は、複数の移動型ロボット１２と、複数の移動型ロボット１２を統制するための統制装置４０を備える。一例ではあるが、本実施例における移動型ロボット１２は、マルチコプター（いわゆるドローン）であり、飛行による移動が可能な機械装置である。なお、移動型ロボット１２は、マルチコプターに限定されるものではなく、陸上、空中、水中の少なくとも一つを移動可能な各種の移動型ロボットであってよい。また、ロボットシステムに含まれる移動型ロボット１２の数も特に限定されない。本実施例のロボットシステム１０は、第１移動型ロボット１２ａ、第２移動型ロボット１２ｂ、第３移動型ロボット１２ｃ、第４移動型ロボット１２ｄを含む、四つの移動型ロボット１２を有する。以下では、第１〜第４移動型ロボット１２ａ〜１２ｄを特に区別する必要がない場合、単に移動型ロボット１２と称する。

図２を参照して、移動型ロボット１２の構成について説明する。図２に示すように、移動型ロボット１２は、複数のプロペラ１４と、複数のプロペラ１４をそれぞれ駆動する複数のモータ１６と、複数のモータ１６の動作を制御するコントローラ１８を備える。また、移動型ロボット１２は、加速度センサ２０とジャイロセンサ２２とＧＰＳ（Global Positioning System）センサ２４を備える。これらのセンサ２０、２２、２４はコントローラ１８に接続されており、それらの出力信号はコントローラ１８に入力される。コントローラ１８は、加速度センサ２０の出力信号に基づいて、移動型ロボット１２の加速度を知ることができる。また、コントローラ１８は、ジャイロセンサ２２の出力信号に基づいて、移動型ロボット１２の姿勢、回転の角速度、及び回転の角加速度を知ることができる。そして、コントローラ１８は、ＧＰＳセンサ２４の検出信号に基づいて、移動型ロボット１２の位置及び速度を知ることができる。コントローラ１８は、これらのセンサ２０、２２、２４による検出値（センサ値ともいう）に基づいて、複数のモータ１６をそれぞれ制御することにより、移動型ロボット１２の離陸、飛行、旋回、ホバリング、着陸といった各種の動作を実行する。

移動型ロボット１２はさらに、カメラ２６と発光器２８と通信装置３０を備える。カメラ２６と発光器２８と通信装置３０はコントローラ１８に接続されており、それらの動作はコントローラ１８によって制御される。コントローラ１８は、通信装置３０を介して統制装置４０と無線通信することができる。コントローラ１８は、統制装置４０と無線通信することにより、例えば目標位置や目標姿勢といった動作指令を統制装置４０から受信する。また、コントローラ１８は、統制装置４０と無線通信することにより、例えばカメラ２６による撮影画像（例えば静止画や動画）や、センサ２０、２２、２４による検出値を、統制装置４０へ送信することができる。ここで、各々の移動型ロボット１２には異なる識別子（ＩＤ）が割り当てられており、当該識別子がコントローラ１８に記憶されている。一例として、ここでは第１移動型ロボット１２ａの識別子を「００１」とし、第２移動型ロボット１２ｂの識別子を「００２」とし、第３移動型ロボット１２ｃの識別子を「００３」とし、第４移動型ロボット１２ｄの識別子を「００４」とする。コントローラ１８は、統制装置４０へ前述した各種の情報を送信するときに、移動型ロボット１２の識別子も併せて統制装置４０へ送信する。

図１に戻り、統制装置４０の構成について説明する。図１に示すように、統制装置４０は、カメラ４２と、タッチパネル４４と、処理装置４６を備える。カメラ４２とタッチパネル４４は、処理装置４６に接続されている。カメラ４２は、複数の移動型ロボット１２の動画像を撮影する。カメラ４２による撮影画像は、処理装置４６へ入力される。カメラ４２の位置、撮影方向及び撮影範囲は、固定されていてもよいし、それらの少なくとも一つが調整可能であってもよい。また、カメラ４２は、複数の移動型ロボット１２の全てを同時に撮影する必要はなく、一つ又はいくつかの移動型ロボット１２ずつ、順に撮影するものであってもよい。

タッチパネル４４は、統制装置４０におけるユーザインターフェースである。タッチパネル４４は、ユーザに対して各種の情報を表示する表示装置であり、かつ、ユーザによる指示や操作を受け付ける入力装置である。例えばタッチパネル４４は、統制装置４０のカメラ４２による撮影画像や、移動型ロボット１２のカメラ２６による撮影画像を表示することができる。また、タッチパネル４４は、ユーザによる統制装置４０や移動型ロボット１２への指示を受け付けることができる。なお、タッチパネル４４は、ユーザインターフェースの一例であり、様々に変更可能である。統制装置４０は、タッチパネル４４に代えて、表示装置と入力装置をそれぞれ備えてもよいし、表示装置と入力装置の少なくとも一方のみを備えてもよい。

処理装置４６は、各種の電子情報（例えばデータやプログラム）を記憶する記憶装置４８と、記憶装置４８に記憶された電子情報を用いて各種の処理を実行するプロセッサ５０と、各々の移動型ロボット１２と無線通信する通信装置５２を備える。処理装置４６は、一又は複数のコンピュータ装置を用いて構成することができる。ここでいうコンピュータ装置は、デスクトップ型又はラップトップ型のコンピュータ装置であってもよいし、スマートフォンやタブレットといった携帯情報端末（ＰＤＡ）であってもよい。処理装置４６は、カメラ４２によって撮影された移動型ロボット１２をそれぞれ識別する識別装置の一例である。本実施例の処理装置４６はさらに、複数の移動型ロボット１２をそれぞれ識別した結果を用いて、各々の移動型ロボット１２へ動作指令を与えることにより、複数の移動型ロボット１２の動作を効果的に統制することができる。

図３は、処理装置４６が実行する処理の流れを示すフローチャートである。図３のフローチャートを参照して、処理装置４６が複数の移動型ロボット１２をそれぞれ識別する手法について説明する。先ず、ステップＳ１２において、処理装置４６は統制装置４０のカメラ４２から撮影画像の取得を開始する。図４に示すように、カメラ４２による撮影画像４２ａには、一又は複数の移動型ロボット１２が撮影されている。ここで取得される撮影画像４２ａは、いわゆる動画であり、経時的に撮影された一連の画像である。次に、ステップＳ１４において、処理装置４６は、カメラ４２による撮影画像４２ａを画像処理することにより、撮影された移動型ロボット１２の状態指標をそれぞれ推定する。ここでいう状態指標とは、移動型ロボット１２の状態を示すものであり、例えば移動型ロボット１２の姿勢、動作又は環境に関する少なくとも一つの指標であって、カメラ４２による撮影画像４２ａから推測し得る指標を意味する。本実施例の処理装置４６は、状態指標の一例として、移動型ロボット１２の加速度及び角速度を推定することができる。なお、各々の移動型ロボット１２がホバリングをしている場合でも、各々の移動型ロボット１２は空中で完全に静止しておらず、例えば上下方向へ周期的に変動しており、その挙動には各々の移動型ロボット１２において個体差が生じる。

移動型ロボット１２の加速度及び角速度を推定するために、処理装置４６は、移動型ロボット１２の撮影画像４２ａ上の位置及び姿勢を、二以上の時刻について特定する。次いで、処理装置４６は、特定した二以上の時刻における位置及び姿勢の時間的な変化を計算する（即ち、時間微分を行う）ことにより、移動型ロボット１２の撮影画像４２ａ上の加速度及び角速度を計算する。そして、処理装置４６は、撮影画像４２ａ上の加速度及び角速度に基づいて、移動型ロボット１２の実空間における加速度及び角速度を推定する。この段階で、撮影された各々の移動型ロボット１２の識別子は未知である。従って、図４に示すように、処理装置４６は、撮影された各々の移動型ロボット１２に仮の識別子（ｔｅｍｐ−ＩＤ、例えばＲ１〜Ｒ４）を割り当てる。そして、図５に示すように、割り当てた仮の識別子Ｒ１〜Ｒ４に対応付けて、推定した加速度ａ１〜ａ４及び角速度ｂ１〜ｂ４をそれぞれ記憶する。このデータは、処理装置４６の内部メモリに記憶されてもよいし、処理装置４６に接続された記憶装置４８に記憶されてもよい。なお、撮影画像４２ａ上の加速度及び角速度に基づいて、移動型ロボット１２の実空間における加速度及び角速度を推定する場合は、カメラ４２と移動型ロボット１２との間の距離を考慮するとよい。この点に関して、カメラ４２と移動型ロボット１２との間の距離は、例えば撮影画像４２ａ上における移動型ロボット１２の大きさによって推定することができる。あるいは、統制装置４０が複数のカメラ４２を備えてもよく、ステレオカメラの原理により、複数のカメラ４２による撮影画像４２ａに基づいて、カメラ４２に対する移動型ロボット１２の相対位置を計算してもよい。

上記したステップＳ１２、Ｓ１４と並行して、ステップＳ１６では、処理装置４６が、複数の移動型ロボット１２と通信して、移動型ロボット１２の識別子と移動型ロボット１２の状態指標を、各々の移動型ロボット１２から取得する。移動型ロボット１２から取得する状態指標は、ステップＳ１４において推定する状態指標と同じものであり、本実施例では移動型ロボット１２の加速度及び角速度である。前述したように、移動型ロボット１２は、加速度センサ２０及びジャイロセンサ２２を有している。従って、処理装置４６は、加速度センサ２０及びジャイロセンサ２２の検出値を受信することにより、移動型ロボット１２の加速度及び角速度を取得することができる。図６に示すように、処理装置４６は、取得された状態指標（ここでは加速度ａ１と角速度ｄ１）を、移動型ロボット１２の識別子と対応付けて記憶する。このデータについても、処理装置４６の内部メモリに記憶されてもよいし、処理装置４６に接続された記憶装置４８に記憶されてもよい。

ステップＳ１８に示すように、上記したステップＳ１２〜Ｓ１６の処理は、所定時間に亘って継続的に行われる。それにより、移動型ロボット１２の推定された状態指標（ここでは加速度と角速度）と、移動型ロボット１２から取得された状態指標が、所定時間に亘って蓄積される。即ち、各々の移動型ロボット１２の状態指標について、推定値の時系列データと取得値の時系列データがそれぞれ作成される。

次に、ステップＳ２０では、処理装置４６が、推定値の時系列データと取得値の時系列データを互いに比較し、両者の一致度に基づいて、撮影画像４２ａ上の各々の移動型ロボット１２に、実際の識別子（００１〜００４）を割り当てる。即ち、カメラ４２によって撮影された一又は複数の移動型ロボット１２をそれぞれ識別する。具体的には、実際の識別子（００１〜００４）を割り当てたときの全ての組み合わせについて、推定値の時系列データと取得値の時系列データとの一致度をそれぞれ計算し、最も一致度が高い組み合わせを特定する。二つの時系列データの一致度を計算する方法については、特に限定されない。例えば、二つの時系列データの間の残余平方和の逆数を計算してもよい。あるいは、フーリエ変換によって各々の時系列データの周波数スペクトルを求め、二つの周波数スペクトルのパワースペクトルについて、残余平方和の逆数を計算してもよい。あるいは、フーリエ変換によって各々の時系列データの周波数スペクトルを求め、二つの周波数スペクトルの極大値リストについて、残余平方和の逆数を計算してもよい。いずれの場合でも、計算された逆数の値が大きいときほど、二つの時系列データの一致度が高いと判断することができる。

上記のように、処理装置４６は、カメラ４２によって観察された移動型ロボット１２の状態と、無線通信によって移動型ロボット１２から取得した状態とを照らし合わせることで、カメラ４２によって撮影された移動型ロボット１２の識別子をそれぞれ特定することができる。ここで、カメラ４２による撮影画像４２ａから推定された状態指標や、移動型ロボット１２から取得された状態指標には、ノイズが含まれることがある。そのことから、状態指標を推定又は取得する処理において、例えばローパスフィルタやハイパスフィルタによってノイズを除去する処理を行ってもよい。

次に、ステップＳ２２では、図７に示すように、特定された各々の移動型ロボット１２の識別子が、タッチパネル４４に表示される。これにより、例えばロボットシステム１０のユーザは、カメラ４２によって撮影された各々の移動型ロボット１２を正しく識別し、各々の移動型ロボット１２へ必要な動作指令を与えることができる。

次に、ステップＳ２４では、処理装置４６が、カメラ４２によって観察された移動型ロボット１２の実空間における位置をそれぞれ特定する。移動型ロボット１２の実空間における位置を特定する手法は特に限定されない。例えば、移動型ロボット１２の実空間における位置は、カメラ４２の実空間における位置及び向きと、カメラ４２による撮影画像４２ａ上の移動型ロボット１２の位置と、同じく撮影画像４２ａ上の移動型ロボット１２の大きさに基づいて、計算することができる。なお、撮影画像４２ａ上の移動型ロボット１２の位置は、カメラ４２から移動型ロボット１２に向かう方向に対応し、撮影画像４２ａ上の移動型ロボット１２の大きさは、カメラ４２から移動型ロボット１２までの距離に対応する。従って、カメラ４２の位置及び向きが既知であれば、撮影画像４２ａ上の移動型ロボット１２の位置及び大きさに基づいて、移動型ロボット１２の実空間における位置を計算することができる。計算された移動型ロボット１２の実空間における位置は、移動型ロボット１２の識別子とともに、タッチパネル４４に表示されるとよい。

以上のように、本実施例のロボットシステム１０では、外観では識別できない複数の移動型ロボット１２をそれぞれ識別することができる。さらに、複数の移動型ロボット１２が互いに近接しており、ＧＰＳでは区別できない各々の移動型ロボット１２の位置を特定することもできる。これにより、各々の移動型ロボット１２に対して適切な動作指令を与えることができ、複数の移動型ロボット１２を効率よく運用することができる。

上記した実施例では、移動型ロボット１２の状態指標として、加速度及び角速度を採用している。しかしながら、移動型ロボット１２の状態指標には、移動型ロボット１２の姿勢、動作又は環境に関する一又は複数の他の指標を採用してもよい。状態指標は、複数の移動型ロボット１２の間で互いに相違し得る指標であって、カメラ４２によって観察可能な指標であれば、特に限定されない。

図８は、処理装置４６が実行可能な他の一連の処理を示すフローチャートである。処理装置４６は、図８に示す一例の処理を実行することによっても、カメラ４２によって撮影された複数の移動型ロボット１２を、それぞれ識別することができる。

先ず、図８のステップＳ１１２において、処理装置４６は、各々の移動型ロボット１２へ、互いに異なる動作指令を送信する。この動作指令は、処理装置４６のプロセッサ５０によって生成され、処理装置４６の通信装置５２から各々の移動型ロボット１２の通信装置３０へ送信される。動作指令の内容は、特に限定されないが、例えば互いに異なる周波数での上下運動や、互いに異なる周波数での発光器２８の点滅動作とすることができる。以下の説明では、動作指令の一例として、互いに異なる周波数での上下運動を、各々の移動型ロボット１２へ与えるものとする。

次に、ステップＳ１１４において、処理装置４６は統制装置４０のカメラ４２から撮影画像４２ａの取得を開始する。前述したように、カメラ４２による撮影画像４２ａには、一又は複数の移動型ロボット１２が撮影されている（図４参照）。ここで取得される撮影画像４２ａは、いわゆる動画であり、経時的に撮影された一連の画像である。

次に、ステップＳ１１６において、処理装置４６は、カメラ４２による撮影画像４２ａを画像処理することにより、撮影された移動型ロボット１２の状態指標をそれぞれ推定する。ここでは、各々の移動型ロボット１２について、移動型ロボット１２の上下運動の周波数を推定する。即ち、このステップＳ１１６では、各々の移動型ロボット１２に与えられた動作指令に対応する状態指標を推定する。例えば、移動型ロボット１２への動作指令が発光器２８の点滅動作であるときは、カメラ４２による撮影画像４２ａを画像処理することにより、各々の移動型ロボット１２について、発光器２８の点滅周波数を推定する。

次に、ステップＳ１１８では、処理装置４６が、ステップＳ１１２の動作指令における周波数の指令値と、ステップＳ１１６で推定した周波数の推定値とを比較し、両者の一致度に基づいて、撮影画像４２ａ上の各々の移動型ロボット１２に、実際の識別子（００１〜００４）を割り当てる。具体的には、実際の識別子（００１〜００４）を割り当てたときの全ての組み合わせについて、指令値と推定値との一致度をそれぞれ計算し、最も一致度が高い組み合わせを特定する。一致度の算出方法は特に限定されないが、例えば、周波数の指令値と推定値との間の差（絶対値）の逆数を求め、当該逆数が大きいほど一致度が高いと判断してもよい。

次に、ステップＳ１２０では、特定された各々の移動型ロボット１２の識別子が、タッチパネル４４に表示される（図７参照）。そして、ステップＳ１２２では、処理装置４６が、カメラ４２によって観察された移動型ロボット１２の実空間における位置をそれぞれ特定する。これらのステップＳ１２０、Ｓ１２２の処理については、先に説明した図３に示すステップＳ２２、Ｓ２４の処理と同じである。

上記のように、処理装置４６は、カメラ４２によって観察された移動型ロボット１２の状態と、無線通信によって移動型ロボット１２へ与えた動作指令とを照らし合わせることで、カメラ４２によって撮影された移動型ロボット１２の識別子をそれぞれ特定することができる。各々の移動型ロボット１２へ特徴的な動作指令を与えることで、複数の移動型ロボット１２をより正しく識別することが可能となる。

図９は、処理装置４６が実行可能な他の一連の処理を示すフローチャートである。処理装置４６は、図９に示す一例の処理を実行することによっても、カメラ４２によって撮影された複数の移動型ロボット１２を、それぞれ識別することができる。

先ず、図９のステップＳ２１２において、処理装置４６は統制装置４０のカメラ４２から撮影画像４２ａの取得を開始する。前述したように、カメラ４２による撮影画像４２ａには、一又は複数の移動型ロボット１２が撮影されている（図４参照）。ここで取得される撮影画像４２ａは、いわゆる動画であり、経時的に撮影された一連の画像である。次に、ステップＳ２１４において、処理装置４６は、カメラ４２による撮影画像４２ａを画像処理することにより、撮影された移動型ロボット１２の周辺照度をそれぞれ推定する。移動型ロボット１２の周辺照度は、撮影画像４２ａにおける移動型ロボット１２の明るさに基づいて推定することができる。移動型ロボット１２の周辺照度は、移動型ロボット１２の環境に関する指標の一例であり、移動型ロボット１２の状態指標に含まれる指標である。

この段階で、撮影された各々の移動型ロボット１２の識別子は未知である。従って、処理装置４６は、撮影された各々の移動型ロボット１２に仮の識別子（ｔｅｍｐ−ＩＤ、例えばＲ１〜Ｒ４）を割り当てる（図４参照）。そして、割り当てた仮の識別子Ｒ１〜Ｒ４に対応付けて、推定した周辺照度をそれぞれ記憶する。このデータは、処理装置４６の内部メモリに記憶されてもよいし、処理装置４６に接続された記憶装置４８に記憶されてもよい。

上記したステップＳ２１２、Ｓ２１４と並行して、ステップＳ２１６では、処理装置４６が、複数の移動型ロボット１２と通信して、移動型ロボット１２の識別子と移動型ロボット１２で検出された周辺照度を、各々の移動型ロボット１２から取得する。前述したように、移動型ロボット１２はカメラ２６を有しており、カメラ２６による受光量に基づいて周辺照度を検出することができる。即ち、移動型ロボット１２のカメラ２６は、ここでは周辺照度を測定するセンサとして機能する。処理装置４６は、カメラ２６による周辺照度の検出値を受信することにより、移動型ロボット１２の周辺照度を取得することができる。処理装置４６は、取得された周辺照度の検出値を、移動型ロボット１２の識別子と対応付けて記憶する。このデータについても、処理装置４６の内部メモリに記憶されてもよいし、処理装置４６に接続された記憶装置４８に記憶されてもよい。

ステップＳ２１８に示すように、上記したステップＳ２１２〜Ｓ２１６の処理は、所定時間に亘って継続的に行われる。それにより、移動型ロボット１２の推定された周辺照度と、移動型ロボット１２から取得された周辺照度が、所定時間に亘って蓄積される。即ち、各々の移動型ロボット１２の状態指標（ここでは、環境に関する指標）について、推定値の時系列データと取得値の時系列データがそれぞれ作成される。

次に、ステップＳ２２０では、処理装置４６が、推定値の時系列データと取得値の時系列データを互いに比較し、両者の一致度に基づいて、撮影画像４２ａ上の各々の移動型ロボット１２に、実際の識別子（００１〜００４）を割り当てる。即ち、カメラ４２によって撮影された一又は複数の移動型ロボット１２をそれぞれ識別する。具体的には、実際の識別子（００１〜００４）を割り当てたときの全ての組み合わせについて、推定値の時系列データと取得値の時系列データとの一致度をそれぞれ計算し、最も一致度が高い組み合わせを特定する。二つの時系列データの一致度を計算する方法については、特に限定されないが、例えば、二つの時系列データの間の差の逆数を計算してもよい。計算された逆数の値が大きいときほど、二つの時系列データの一致度が高いと判断することができる。なお、周辺照度といった環境に関する指標の推定値には、比較的に大きな誤差が含まれることがあり、一致度の高い組み合わせ（即ち、識別子の割り当て）が特定されない場合もある。この場合、合理的な範囲内において、最も高い一致度が計算された組み合わせ（即ち、識別子の割り当て）を、解として採用してもよい。

次に、ステップＳ２２２では、特定された各々の移動型ロボット１２の識別子が、タッチパネル４４に表示される（図７参照）。そして、ステップＳ２２４では、処理装置４６が、カメラ４２によって観察された移動型ロボット１２の実空間における位置をそれぞれ特定する。これらのステップＳ２２２、Ｓ２２４の処理については、先に説明した図３に示すステップＳ２２、Ｓ２４の処理と同じである。

上記のように、処理装置４６は、カメラ４２による撮影画像４２ａから推定した移動型ロボット１２の周辺照度と、無線通信によって移動型ロボット１２から取得した周辺照度とを照らし合わせることで、カメラ４２によって撮影された移動型ロボット１２の識別子をそれぞれ特定することができる。これにより、例えば作業対象の近くに位置する移動型ロボット１２を特定し、その移動型ロボット１２へ適切に動作指令を与えることができる。

移動型ロボット１２の周辺照度に代えて、移動型ロボット１２の周辺温度を用いることにより、移動型ロボット１２の識別を行うこともできる。この場合、各々の移動型ロボット１２には、温度センサを設けるとよい。そして、統制装置４０のカメラ４２は、赤外線カメラを含むとよい。このような構成によると、赤外線カメラによる撮影画像を用いて、各々の移動型ロボット１２の周辺温度を推定することができるとともに、無線通信によって各々の移動型ロボット１２から温度センサのセンサ値（即ち、検出された周辺温度）を取得することができる。そして、推定された移動型ロボット１２の周辺温度と、移動型ロボット１２から取得された周辺温度とを照らし合わせることで、カメラ４２によって撮影された移動型ロボット１２の識別子をそれぞれ特定することができる。

図１０は、処理装置４６が実行可能な他の一連の処理を示すフローチャートである。処理装置４６は、図１０に示す一例の処理を実行することによっても、カメラ４２によって撮影された複数の移動型ロボット１２を、それぞれ識別することができる。なお、この処理では、移動型ロボット１２の通信装置３０が有する近距離無線機能を使用する。通信装置３０の近距離無線機能は、所定距離内に位置する他の移動型ロボット１２と通信する機能である。近距離無線機能を使用することにより、各々の移動型ロボット１２は、自己に対して所定距離内に近接する他の移動型ロボット１２を検出し、その識別子を取得することができる。

先ず、図１０のステップＳ３１２において、処理装置４６は統制装置４０のカメラ４２から撮影画像４２ａの取得を開始する。ここで取得される撮影画像４２ａは、いわゆる動画であり、経時的に撮影された一連の画像である。図１１は、時刻ｔ１における撮影画像４２ａの一例を示し、図１２は、その後の時刻ｔ２における撮影画像４２ａの一例を示す。次に、ステップＳ３１４において、処理装置４６は、カメラ４２による撮影画像４２ａを画像処理することにより、撮影された移動型ロボット１２の近接関係をそれぞれ推定する。具体的には、各々の移動型ロボット１２について、移動型ロボット１２に所定距離内に近接する他の移動型ロボット１２を推定する。移動型ロボット１２の近接関係は、移動型ロボット１２の環境に関する指標の一例であり、移動型ロボット１２の状態指標に含まれる指標である。

この段階で、撮影された各々の移動型ロボット１２の識別子は未知である。従って、処理装置４６は、撮影された各々の移動型ロボット１２に仮の識別子（ｔｅｍｐ−ＩＤ、例えばＲ１〜Ｒ４）を割り当てる（図１１、図１２参照）。そして、各々の移動型ロボット１２について、移動型ロボット１２に所定距離内に近接する他の移動型ロボット１２を、仮の識別子を用いて記述するデータを作成する。図１３に、そのデータの一例を示す。図１３に例示するデータでは、時刻ｔ１と時刻ｔ２において、移動型ロボット１２の近接関係が記述されている。移動型ロボット１２の近接関係は、少なくとも一つの時刻について推定されてもよく、あるいは、三以上の時刻について推定されてもよい。

上記したステップＳ３１２、Ｓ３１４と並行して、ステップＳ３１６では、処理装置４６が、複数の移動型ロボット１２と通信して、移動型ロボット１２の識別子と、移動型ロボット１２の近接関係を、各々の移動型ロボット１２から取得する。即ち、処理装置４６は、各々の移動型ロボット１２から、自己の識別子と、所定距離内に近接する他の移動型ロボット１２の識別子を取得する。図１４は、取得される近接関係の一例を示しており、ここでは、時刻ｔ１と時刻ｔ２における近接関係がそれぞれ取得されている。

ステップＳ３１８に示すように、上記したステップＳ３１２〜Ｓ３１６の処理は、所定時間に亘って継続的に行われるとよい。それにより、前述したように、時刻ｔ１、ｔ２といった複数の時刻について、近接関係の推定値と取得値を得ることができる。

次に、ステップＳ３２０では、処理装置４６が、近接関係の推定値（図１３参照）と取得値（図１４参照）を互いに比較し、両者の一致度に基づいて、撮影画像４２ａ上の各々の移動型ロボット１２に、実際の識別子（００１〜００４）を割り当てる。即ち、カメラ４２によって撮影された一又は複数の移動型ロボット１２をそれぞれ識別する。具体的には、実際の識別子（００１〜００４）を割り当てたときの全ての組み合わせについて、推定値の時系列データと取得値の時系列データとの一致度をそれぞれ計算し、最も一致度が高い組み合わせを特定する。図１１〜図１４に示す例では、仮の識別子がＲ１である移動型ロボット１２ｄの正規の識別子は００４と識別され、仮の識別子がＲ２である移動型ロボット１２ｂの正規の識別子は００２と識別され、仮の識別子がＲ３である移動型ロボット１２ａの正規の識別子は００１と識別され、仮の識別子がＲ４である移動型ロボット１２ｃの正規の識別子は００３と識別される。一致度を計算する方法については、特に限定されないが、例えば、各々の移動型ロボット１２に近接する他の移動型ロボット１２の数について、推定値と取得値との間の差（絶対値）の逆数を計算してもよい。計算された逆数の値が大きいときほど、推定値と取得値との一致度が高いと判断することができる。なお、単に近接するのか否かだけでなく、近接する方向や距離をさらに加味することも有効である、これにより、より正確な識別を行うことができる。

次に、ステップＳ３２２では、特定された各々の移動型ロボット１２の識別子が、タッチパネル４４に表示される（図７参照）。そして、ステップＳ３２４では、処理装置４６が、カメラ４２によって観察された移動型ロボット１２の実空間における位置をそれぞれ特定する。これらのステップＳ２２２、Ｓ２２４の処理については、先に説明した図３に示すステップＳ２２、Ｓ２４の処理と同じである。

上記のように、処理装置４６は、カメラ４２による撮影画像４２ａから推定した移動型ロボット１２の近接関係と、無線通信によって移動型ロボット１２から取得した近接関係とを照らし合わせることで、カメラ４２によって撮影された移動型ロボット１２の識別子をそれぞれ特定することができる。これにより、例えば作業対象の近くに位置する移動型ロボット１２を特定し、その移動型ロボット１２へ適切に動作指令を与えることができる。

図１５、図１６は、ロボットシステム１０の一変形例を模式的に示す。なお、図１５、図１６では、移動型ロボット１２及び統制装置４０が簡略化して図示されているが、それらの構成及び機能は前述したとおりである。これに加えて、図１５、図１６に示すロボットシステム１０では、統制装置４０のカメラ４２に加えて、又は代えて、移動型ロボット１２のカメラ２６を用いて、移動型ロボット１２の識別子をそれぞれ特定することができる。

例えば、図１５に示す例では、先ず、統制装置４０のカメラ４２によって、第１移動型ロボット１２ａが撮影される。統制装置４０は、カメラ４２による撮影画像４２ａを用いることで、第１移動型ロボット１２ａを識別するとともに、その位置を特定することができる。次いで、統制装置４０は、第１移動型ロボット１２に動作指令を与え、第１移動型ロボット１２のカメラ２６によって他の移動型ロボット１２ｂ〜１２ｄを撮影する。そして、統制装置４０は、第１移動型ロボット１２のカメラ２６による撮影画像を用いることで、他の移動型ロボット１２ｂ〜１２ｄを識別するとともに、それらの位置を特定することができる。なお、第１移動型ロボット１２のカメラ２６による撮影画像を用いて、他の移動型ロボット１２ｂ〜１２ｄを識別する処理は、第１移動型ロボット１２によって行われてもよい。即ち、第１移動型ロボット１２ａが、統制装置４０と同様の機能を有してもよい。

また、図１６に示すように、第１移動型ロボット１２のカメラ２６では、一部の移動型ロボット１２ｄが撮影できない場合もある。この場合は、既に識別済みである第３移動型ロボット１２ｃのカメラ２６を用いて、第４移動型ロボット１２ｄを撮影するとよい。このように、移動型ロボット１２に搭載されたカメラ２６を、統制装置４０のカメラ４２と同様に用いてもよい。それにより、例えば障害物１００が存在し、統制装置４０のカメラ４２では全ての移動型ロボット１２が撮影できないような場合でも、全ての移動型ロボット１２を撮影して、それらの識別子や位置を特定することができる。また、二以上のカメラ２６、４２によって同一の移動型ロボット１２を撮影することで、ステレオカメラの原理により、移動型ロボット１２の位置をより正確に特定することができる。

図１５、図１６に示す変形例において、各々の移動型ロボット１２をマスタロボットとスレーブロボットのいずれかに区別してもよい。一例として、第１移動型ロボット１２ａをマスタロボットとし、他の移動型ロボット１２ｂ、１２ｃ、１２ｄをスレーブロボットとすることができる。マスタロボットである第１移動型ロボット１２ａは、スレーブロボットである他の移動型ロボット１２ｂ、１２ｃ、１２ｄへ、動作指令を与えることができる。このような構成は、図１７に示すように、ロボットシステム１０が、多数の移動型ロボット１２を備える場合に有効である。図１７に示すロボットシステム１０では、複数の移動型ロボット１２ａがマスタロボットに指定されており、マスタロボットである各々の移動型ロボット１２ａに対して、複数の移動型ロボット１２ｂ〜１２ｄがスレーブロボットとして割り当てられている。この場合、統制装置４０は、マスタロボットである各々の移動型ロボット１２ａに、例えば「１メートルだけ前進する」といった、概略的な動作指令を与えることができる。この動作指令を受けて、各々の移動型ロボット１２ａは、スレーブロボットである各々の移動型ロボット１２ｂ〜１２ｄに、例えば具体的な移動量や移動方向を含む個別の動作指令を与える。このような構成によると、統制装置４０における処理の負担が軽減され、多数の移動型ロボット１２を混乱なく統制することができる。なお、スレーブロボットである各々の移動型ロボット１２ｂ〜１２ｄには、統制装置４０から直接的に動作指令が与えられてもよい。

図１８、図１９、図２０は、複数の移動型ロボット１２に、無線送電システムを採用した例を示す。無線送電システムを採用することにより、移動型ロボット１２のバッテリ（図示省略）を小型化することや、移動型ロボット１２の稼働時間を長くすることができる。図１８に示す例では、統制装置４０に送電装置７０が設けられており、各々の移動型ロボット１２に受電装置７２が設けられている。統制装置４０の送電装置７０は、電気を電磁波（例えばマイクロ波）に変換して、移動型ロボット１２の受電装置７２へ送信する。移動型ロボット１２の受電装置７２は、送電装置７０からの電磁波を受信して、それを電気に変換する。これにより、統制装置４０から各々の移動型ロボット１２へ電気が無線で送電される。

図１９、図２０に示すように、統制装置４０に加えて、一又は複数の移動型ロボット１２にも、送電装置７０が設けられてもよい。このような構成によると、一又は複数の移動型ロボット１２を経由して、統制装置４０から全ての移動型ロボット１２へ電気を送電することができる。例えば、図１９に示す例では、第１移動型ロボット１２ａに、送電装置７０が設けられている。このような構成によると、統制装置４０と第２〜第４移動型ロボット１２ｂ〜１２ｄの間に障害物１００が存在する場合でも、第１移動型ロボット１２ａを経由して、統制装置４０から第２〜第４移動型ロボット１２ｂ〜１２ｄへ電気を無線で送電することができる。図２０に示す例では、第１移動型ロボット１２ａに加えて、第２移動型ロボット１２ｂにも送電装置７０が設けられている。このような構成によると、第１移動型ロボット１２ａと第３及び第４移動型ロボット１２ｃ、１２ｄの間に障害物１００がさらに存在する場合でも、第２移動型ロボット１２ｂを経由して、第１移動型ロボット１２ａから第３及び第４移動型ロボット１２ｃ、１２ｄへ電気を無線で送電することができる。

以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

１０：ロボットシステム
１２、１２ａ、１２ｂ、１２ｃ、１２ｄ：移動型ロボット
２０：移動型ロボットの加速度センサ
２２：移動型ロボットのジャイロセンサ
２４：移動型ロボットのＧＰＳセンサ
２６：移動型ロボットのカメラ
２８：移動型ロボットの発光器
３０：移動型ロボットの通信装置
４０：統制装置
４２：統制装置のカメラ
４２ａ：統制装置のカメラによる撮影画像
４４：タッチパネル
４６：統制装置の処理装置
４８：処理装置の記憶装置
５０：処理装置のプロセッサ
５２：処理装置の通信装置
７０：送電装置
７２：受電装置
１００：障害物

Claims (9)

1. 複数の移動型ロボットと、
   前記複数の移動型ロボットを撮影するカメラと、
   前記カメラによって撮影された前記複数の移動型ロボットをそれぞれ識別する識別装置と、を備え、
   前記識別装置は、
   前記複数の移動型ロボットと通信して、前記移動型ロボットの識別子と前記移動型ロボットの状態指標を、各々の前記移動型ロボットから取得する処理と、
   前記カメラによる撮影画像を処理して、前記撮影画像中の各々の前記移動型ロボットの状態指標を推定する処理と、
   推定された各々の前記移動型ロボットの状態指標を、前記識別子とともに取得された各々の前記移動型ロボットの状態指標と比較して、前記撮影画像中の各々の前記移動型ロボットの識別子を特定する処理と、を実行する、
   ロボットシステム。
2. 前記移動型ロボットの状態指標は、前記移動型ロボットの姿勢、動作又は環境に関する少なくとも一つの指標を含む、請求項１に記載のロボットシステム。
3. 前記移動型ロボットは、前記状態指標を検出するセンサを有する、請求項１又は２に記載のロボットシステム。
4. 前記センサは、加速度センサとジャイロセンサの少なくとも一つを含む、請求項３に記載のロボットシステム。
5. 前記センサは、光センサと温度センサの少なくとも一方を含む、請求項３に記載のロボットシステム。
6. 各々の移動型ロボットは、所定の距離内に近接する他の移動型ロボットと通信して、当該近接する他の移動型ロボットの識別子を取得し、
   前記取得する処理では、前記状態指標として、前記近接する他の移動型ロボットの識別子が取得される、請求項１又は２に記載のロボットシステム。
7. 複数の移動型ロボットと、
   前記複数の移動型ロボットを撮影するカメラと、
   前記カメラによって撮影された前記複数の移動型ロボットをそれぞれ識別する識別装置と、を備え、
   前記識別装置は、
   前記複数の移動型ロボットと通信して、各々の前記移動型ロボットに互いに異なる動作指令を与える処理と、
   前記カメラによる撮影画像を処理して、前記撮影画像中の各々の前記移動型ロボットの動作を推定する処理と、
   推定された各々の前記移動型ロボットの動作を、各々の前記移動型ロボットに与えられた動作指令と比較して、前記撮影画像中の各々の前記移動型ロボットの識別子を特定する処理と、を実行する、
   ロボットシステム。
8. カメラによって撮影された複数の移動型ロボットをそれぞれ識別する識別装置であって、
   前記複数の移動型ロボットと通信して、前記移動型ロボットの識別子と前記移動型ロボットの状態指標を、各々の前記移動型ロボットから取得する処理と、
   前記カメラによる前記撮影画像を処理して、前記撮影画像中の各々の前記移動型ロボットの状態指標を推定する処理と、
   推定された各々の前記移動型ロボットの状態指標を、前記識別子とともに取得された各々の前記移動型ロボットの状態指標と比較して、前記撮影画像中の各々の前記移動型ロボットの識別子を特定する処理と、
   を実行する識別装置。
9. カメラによって撮影された複数の移動型ロボットをそれぞれ識別する識別装置であって、
   前記複数の移動型ロボットと通信して、各々の前記移動型ロボットに互いに異なる動作指令を与える処理と、
   前記カメラによる前記撮影画像を処理して、前記撮影画像中の各々の前記移動型ロボットの動作を推定する処理と、
   推定された各々の前記移動型ロボットの動作を、各々の前記移動型ロボットに与えられた動作指令と比較して、前記撮影画像中の各々の前記移動型ロボットの識別子を特定する処理と、
   を実行する識別装置。

Images