JP2004291186A - ロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置 - Google Patents
ロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置 Download PDFInfo
- Publication number
- JP2004291186A JP2004291186A JP2003089229A JP2003089229A JP2004291186A JP 2004291186 A JP2004291186 A JP 2004291186A JP 2003089229 A JP2003089229 A JP 2003089229A JP 2003089229 A JP2003089229 A JP 2003089229A JP 2004291186 A JP2004291186 A JP 2004291186A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- image
- monitoring
- work
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Manipulator (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】ロボットの視点から撮影した作業画像に加えて、他のロボットから見た監視画像を取得することによって、ロボットの作業環境等を把握することができるロボット制御システム等を提供する。
【解決手段】本発明は、制御装置２２を用いて第１のロボット１２を制御するためのロボット制御方法に関する。本発明は、第１のロボット１２が作業状況を示す作業画像を取得して第１の制御装置２２に送信する工程と、第２のロボット１４が第１のロボット１２を監視するための監視画像を取得して第１の制御装置２２に送信する工程と、制御装置２２が第１のロボット１２から送信された作業画像及び第２のロボット１４から送信された監視画像を表示する工程とを有する。
【選択図】 図１
【解決手段】本発明は、制御装置２２を用いて第１のロボット１２を制御するためのロボット制御方法に関する。本発明は、第１のロボット１２が作業状況を示す作業画像を取得して第１の制御装置２２に送信する工程と、第２のロボット１４が第１のロボット１２を監視するための監視画像を取得して第１の制御装置２２に送信する工程と、制御装置２２が第１のロボット１２から送信された作業画像及び第２のロボット１４から送信された監視画像を表示する工程とを有する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、ロボットを制御するためのロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置に関する。特に、ロボットに搭載されたカメラで撮影した画像に基づいて当該ロボットを遠隔制御するためのロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置に関する。
【０００２】
【従来の技術】
従来から、深海や宇宙空間等のように人間が直接作業することが困難な環境や、原子力発電所における原子炉の炉心近傍のように人間にとって危険な環境や、老人等の介護を行う環境等において、人間に変わって作業を行うロボットが広く知られている。
【０００３】
例えば、ロボットに搭載されたカメラで当該ロボットの視点からの画像（作業画像）を撮影し、当該作業画像を無線通信により制御装置に送信し、制御装置において表示された作業画像に基づいて遠隔操作者が当該ロボットの遠隔操作を行う技術が知られている（例えば、特許文献１参照）。
【０００４】
しかしながら、遠隔操作者は、上述の従来技術に示すように、ロボットに搭載されたカメラが撮影した画像（作業画像）のみから、当該ロボットの周囲の状況を把握することが困難であるという問題点があった。
【０００５】
一般的に、遠隔操作者が、ロボットの周囲の状況を客観的に判断するためには、当該ロボットの視点以外の点から当該ロボットの周囲を見た画像、すなわち、ロボットの周囲を俯瞰した画像が必要である。
【０００６】
かかる問題点を解決するために、ロボットが作業を行う作業場所に、予め作業場所を俯瞰するような画像を撮影するカメラを設けておく技術が考えられている。
【０００７】
例えば、作業場所に設置されているカメラが、作業中のロボットの画像（監視画像）を撮影し、遠隔操作者が、上述の作業画像及び当該監視画像の２種類の画像に基づいて、当該ロボットを遠隔操作する技術が知られている（例えば、特許文献２参照）。
【０００８】
かかる技術によれば、遠隔操作者は、ロボット自体に搭載されているカメラで撮影した作業画像と、外部からロボットを撮影した監視画像とを見ることができるので、より正確にロボットを制御して操縦することができると考えられている。
【０００９】
【特許文献１】
特開２００２−３２１１８０号公報
【００１０】
【特許文献２】
特開２００１−０６２７６６号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、かかる技術では、例えば、ロボットの作業場所が深海等である場合、上述の監視画像を撮影するためのカメラを予め設置することが困難であるという問題点があった。
【００１２】
そもそも、ロボットを遠隔制御する理由は、人間が行くことが困難な環境における作業を当該ロボットに実行させるためであることが多い。その結果、一般的に、当該ロボットの作業場所が、人間が行くことが困難な環境である場合が多く、作業中のロボットを撮影するためのカメラの設置が困難な場合も多いと考えられる。
【００１３】
また、上記カメラを設置することが容易な場所であっても、ロボットの作業場所に予めカメラを設置しておかなければならないので、ロボットによる作業を実行させる準備が繁雑となる可能性があるという問題点があった。
【００１４】
本発明は、以上の点に鑑みてなされたもので、ロボットの視点から撮影した作業画像に加えて、他のロボットから見た監視画像を取得することによって、作業場所におけるロボットの相対的な位置、ロボットの姿勢、及びロボットの作業環境等を把握することができるロボット制御システム、ロボット制御方法、これらに用いて好適なロボット及び制御装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明の第１の特徴は、制御装置を用いて第１のロボットを制御するためのロボット制御方法であって、前記第１のロボットが、作業状況を示す作業画像を取得して前記第１の制御装置に送信する工程と、第２のロボットが、前記第１のロボットを監視するための監視画像を取得して前記第１の制御装置に送信する工程と、前記制御装置が、前記第１のロボットから送信された前記作業画像及び前記第２のロボットから送信された前記監視画像を表示する工程とを有することを要旨とする。
【００１６】
かかる発明によれば、制御装置が、第１のロボットから送信された作業画像及び第２のロボットから送信された監視画像を表示するため、遠隔操作者は、人間が行くことが困難な作業場所を監視するためのカメラを設置することなく、第１のロボットの作業画像及び監視画像を見ることができ、第１のロボットの周囲の状況を客観的に把握して当該第１のロボットの遠隔操作を行うことができる。
【００１７】
本発明の第２の特徴は、第１のロボットと、第２のロボットと、該第１のロボットを制御する第１の制御装置と、該第２のロボットを制御する第２の制御装置とを具備するロボット制御システムであって、前記第１のロボットが、該第１のロボットの作業状況を示す第１の作業画像及び前記第２のロボットを監視するための第１の監視画像を取得するカメラと、取得した前記第１の作業画像を前記第１の制御装置に送信し、取得した前記第１の監視画像を前記第２の制御装置に送信する通信部とを具備し、前記第２のロボットが、該第２のロボットの作業状況を示す第２の作業画像及び前記第１のロボットを監視するための第２の監視画像を取得するカメラと、取得した前記第２の作業画像を前記第２の制御装置に送信し、取得した前記第２の監視画像を前記第２の制御装置に送信する通信部とを具備し、前記第１の制御装置が、前記第１のロボットから送信された前記第１の作業画像及び前記第２のロボットから送信された前記第２の監視画像を表示する表示部を具備し、前記第２の制御装置が、前記第２のロボットから送信された前記第２の作業画像及び前記第１のロボットから送信された前記第１の監視画像を表示する表示部を具備することを要旨とする。
【００１８】
また、かかる発明によれば、第１の制御装置が、第１のロボットから送信された第１の作業画像及び第２のロボットから送信された第２の監視画像を表示し、第２の制御装置が、第２のロボットから送信された第２の作業画像及び第１のロボットから送信された第１の監視画像を表示するため、人間が行くことが困難な作業場所を監視するためのカメラを設置することなく、第１の遠隔操作者は、第１のロボットの周囲の状況を客観的に把握して当該第１のロボットの遠隔操作を行うことができると共に、第２の遠隔操作者は、第２のロボットの周囲の状況を客観的に把握して当該第２のロボットの遠隔操作を行うことができる。
【００１９】
本発明の第３の特徴は、作業状況を示す作業画像及び他のロボットを監視するための監視画像を取得するカメラと、取得した前記作業画像を第１の制御装置に送信し、取得した前記監視画像を第２の制御装置に送信する通信部とを具備するロボットであることを要旨とする。
【００２０】
本発明の第３の特徴において、前記カメラが、前記作業画像を取得する作業用カメラと、前記監視画像を取得する監視用カメラとを具備し、前記他のロボットに設けられたマーカの画像領域の重心を検出し、該重心が前記監視画像のほぼ中心に位置するように前記監視用カメラを制御する監視用カメラ制御部を具備することが好ましい。
【００２１】
かかる発明によれば、監視用カメラ制御部が、他のロボットに設けられたマーカを追尾するため、当該他のロボットが移動する場合であっても、カメラは、当該他のロボットを監視するための監視画像を取得することができる。
【００２２】
また、本発明の第３の特徴において、前記カメラが、ほぼ３６０度のパノラマ状画像を取得し、前記パノラマ状画像から、所定の方位角範囲の画像を前記作業画像として抽出し、前記パノラマ状画像から、前記他のロボットに設けられたマーカの画像領域の重心を検出し、該重心を中心とした所定の方位角範囲の画像を前記監視画像として抽出することが好ましい。
【００２３】
かかる発明によれば、作業画像を取得するためのカメラと監視画像を取得するためのカメラを２台用意することなく、本発明を実現することができる。
【００２４】
また、本発明の第３の特徴において、前記通信部が、前記作業画像又は前記監視画像と共に、該ロボットを識別するためのロボット識別情報又は画像の種類を識別するための画像識別情報を送信することが好ましい。
【００２５】
かかる発明によれば、制御装置が、通信部によって送信されたロボット識別情報又は画像識別情報に基づいて、作業画像と監視画像とを容易に識別することができる。
【００２６】
本発明の第４の特徴は、前記第１のロボットの作業状況を示す作業画像を該第１のロボットから受信し、該第１のロボットを監視するための監視画像を第２のロボットから受信する画像受信部と、前記作業画像及び前記監視画像を表示する表示部とを具備する制御装置であることを要旨とする。
【００２７】
本発明の第４の特徴において、前記画像受信部が、前記ロボットを識別するためのロボット識別情報又は画像の種類を識別するための画像識別情報に基づいて、前記作業画像と前記監視画像とを判定することが好ましい。
【００２８】
また、本発明の第４の特徴において、前記第１のロボットには、前記第２のロボットを監視するための監視画像を取得する監視用カメラが設けられており、前記第２のロボットに設けられたマーカの画像領域の重心を検出し、該重心が前記監視画像のほぼ中心に位置するように前記第１のロボットに設けられた監視用カメラを制御することが好ましい。
【００２９】
【発明の実施の形態】
（本発明の第１の実施形態に係るロボット制御システムの構成）
本発明の第１の実施形態に係るロボット制御システムの構成について、図１乃至図６を参照して説明する。図１は、本実施形態に係るロボット制御システム１０の全体構成図である。
【００３０】
以下、本実施形態では、操作者ａ及び操作者ｂが、それぞれ、作業場所Ａ及び作業場所Ｂから、作業場所Ｃに存在する第１のロボット１２及び第２のロボット１４を遠隔操作する場合の例について説明する。ここで、作業場所Ｃは、作業場所Ａや作業場所Ｂから離れているものとする。
【００３１】
また、本実施形態では、作業場所Ｃにおいて、第１のロボット１２と第２のロボット１４とが協調して作業対象１に対して作業を実行しているものとする。
【００３２】
図１に示すように、本実施形態に係るロボット制御システム１０は、第１のロボット１２と、第２のロボット１４と、当該第１のロボット１２を遠隔操作するための第１の操作卓（第１の制御装置）２２と、当該第２のロボット１４を遠隔操作するための第２の操作卓（第２の制御装置）２４とを備えている。
【００３３】
第１のロボット１２は、作業場所Ｃに存在しており、無線通信によって基地局４０ｃを介してネットワーク３０に接続している。また、第２のロボット１４は、無線通信によって基地局４０ｄを介してネットワーク３０に接続している。また、本実施形態では、基地局４０ｃ、４０ｄは、作業場所Ｃに存在している。
【００３４】
第１の操作卓２２は、作業場所Ａに存在しており、ネットワーク３０を介して第１のロボット１２に操作指示を送信するものである。また、第１の操作卓２２は、無線通信によって基地局４０ａを介してネットワーク３０に接続している。
【００３５】
また、第１の操作卓２２は、第１のロボット１２から送信された第１のロボット１２の作業状況（作業の様子）を示す第１の作業画像と、第２のロボット１４から送信された第１のロボットを監視するための第２の監視画像とを表示する。
【００３６】
したがって、操作者ａは、第１の操作卓２２に表示された第１の作業画像及び第２の監視画像を見ながら、第１のロボット１２の遠隔操作（制御）を実行することができる。
【００３７】
第２の操作卓２４は、作業場所Ｂに存在しており、ネットワーク３０を介して第２のロボット１４に操作指示を送信するものである。また、第２の操作卓２４は、無線通信によって基地局４０ｂを介してネットワーク３０に接続している。
【００３８】
また、第２の操作卓２４は、第２のロボット１４から送信された第２のロボット１４の作業状況（作業の様子）を示す第２の作業画像と、第１のロボット１２から送信された第２のロボットを監視するための第１の監視画像とを表示する。
【００３９】
したがって、操作者ｂは、第２の操作卓２４に表示された第２の作業画像及び第１の監視画像を見ながら、第２のロボット１４の遠隔操作（制御）を実行することができる。
【００４０】
また、本実施形態では、ネットワーク３０として、例えば、電話網が使用されるものとする。したがって、本実施形態では、ロボット１２、１４又は操作卓２２、２４は、ネットワーク３０に設けられている基地局４０ａ乃至４０ｄを介して発呼することにより、互いに通信相手と接続することができる。
【００４１】
なお、本発明は、ネットワーク３０として、電話網を使用する代わりに、インターネット等の他のネットワークを用いてもよい。例えば、ネットワーク３０としてインターネットが使用される場合、基地局４０ａ乃至４０ｄは、インターネットへのアクセスポイントとなる。また、ネットワーク３０としてインターネットが使用される場合、インターネット上で従来から知られている種々のプロトコルを用いて、ロボット１２、１４と操作卓２２、２４との間でデータ通信が行われる。
【００４２】
本実施形態において特徴的なことは、第１のロボット１２及び第２のロボット１４が互いに相手を監視していることである。具体的には、第１のロボット１２及び第２のロボット１４は、互いに他のロボットの作業状況を撮影し、撮影した画像を当該他のロボットを制御するための操作卓２２、２４に送信する。このような動作によって、操作者ａ、ｂは、ロボットの作業状況を示す作業画像と共に、当該ロボットを俯瞰した監視画像を見ることができるので、より的確なロボット操作を行うことが可能となる。
【００４３】
図２は、第１のロボット１２の外観構成を示すものであり、図３は、第１のロボット１２の機能ブロックを示すものである。なお、第１のロボット１２及び第２のロボット１４は、同様の構成を具備するものであるため、以下、第１のロボット１２の構成について説明する。
【００４４】
図２に示すように、第１のロボット１２は、監視用カメラ５２と、作業用カメラ５４と、アンテナ５６と、腕部５８と、マーカ６０と、駆動輪６２とを具備している。
【００４５】
また、図３に示すように、第１のロボット１２は、バスＢＵＳを介して接続されている内部機能として、監視用カメラ制御部５２ａと、作業用カメラ制御部５４ａと、無線部５６ａと、腕部制御部５８ａと、移動機構制御部６２ａと、モータ６２ｂと、ＣＰＵ６４とを具備している。
【００４６】
監視用カメラ５２は、本発明の特徴的な構成の一つであって、第２のロボット１４を監視するための第１の監視画像（例えば、第２のロボット１４の外観を含む画像）を撮影するものである。また、監視用カメラ制御部５２ａは、第２のロボット１４を追尾するように監視用カメラ５２を制御するものである。
【００４７】
例えば、監視用カメラ制御部５２ａは、マーカ６０の色彩等を考慮して、監視用カメラ５２によって撮影された画像の中からマーカ６０の画像領域を抽出し、抽出した画像領域の重心を検出する。そして、監視用カメラ制御部５２ａは、当該重心が監視画像のほぼ中心に位置するように監視用カメラ５２を制御する（例えば、監視用カメラ５２の向きを動かす）。
【００４８】
監視用カメラ制御部５２ａは、監視カメラ５２に内蔵されている駆動モータを駆動することによって、当該監視カメラ５２の向きを調整することができる。
【００４９】
また、監視用カメラ制御部５２ａは、利用者によって入力された色彩情報や模様情報等に基づいて、追尾するマーカ６０を決定することができる。
【００５０】
また、監視用カメラ５２は、第２のロボット１４が画面から外れてしまう確率を少なくするため、いわゆる「広角レンズ」を用いたカメラであることがより望ましい。
【００５１】
本実施形態では、画像処理技術の一種であるコンピュータビジョンの技術によって、監視用カメラ制御部５２ａがマーカ６０を追尾する手法が採用されている。
【００５２】
また、本実施形態では、監視用カメラ制御部５２ａが、上述の重心の検出処理及び監視カメラ５２の駆動処理を行っているが、ＣＰＵ６４や第２の操作卓２４が、これらの処理を行うように構成されていてもよい。
【００５３】
例えば、監視用カメラ５２によって撮影された監視画像は、常にＣＰＵ６４を経由しているので、ＣＰＵ６４が、当該監視画像についての画像処理を行うことは十分に可能である。
【００５４】
なお、この場合、監視用カメラ５２の駆動処理は、ＣＰＵ６４が監視用カメラ制御部５２ａに指示することによって実行される。監視用カメラ制御部５２ａは、当該指示を受信すると、当該指示に基づき監視用カメラ５２の駆動モータを駆動し、監視用カメラ５２の向きを所望の方向に回転させる。
【００５５】
また、第２の操作卓２４によって上述の処理が行われる場合、第２の操作卓２４が、監視用カメラ５２の駆動の指示を第１のロボット１２に送信する。そして、第１のロボット１２の無線部５４は、受信した当該指示をＣＰＵ６４に送信する。ＣＰＵ６４は、受信した当該指示が監視用カメラ５２の駆動であると判断した場合には、監視用カメラ制御部５２ａに当該駆動を指示する。当該指示を受けた監視用カメラ制御部５２ａは、当該指示に基づき監視用カメラ５２の駆動モータを駆動し、監視用カメラ５２の向きを所望の方向に回転させる。
【００５６】
作業用カメラ５４は、第１のロボット１２の作業状況を示す第１の作業画像（例えば、第１のロボット１２の視点から見た画像）を撮影するものである。また、作業用カメラ制御部５４ａは、第１のロボット１２の作業状況を正確に撮影できるように作業用カメラ５４を制御するものである。
【００５７】
アンテナ５６は、基地局４０ａとの間で無線通信を行い、ネットワーク３０に接続するものである。無線部５６ａは、アンテナ５６を介して、作業用カメラ５４により取得した第１の作業画像を第１の操作卓２２に送信し、監視用カメラ５２により取得した第１の監視画像を第２の操作卓２４に送信する通信部を構成する。
【００５８】
腕部５８は、作業対象１に対して所定作業を行うためのものである。また、腕部制御部５８ａは、第１の操作卓２２から送信された操作指示に応じて腕部５８を制御するものである。
【００５９】
駆動輪６２は、第１のロボット１２を移動させるための車輪である。モータ６２ｂは、駆動輪６２を駆動するものである。また、移動機構制御部６２ａは、第１の操作卓２２から送信された操作指示に応じてモータ６２ｂを制御するものである。
【００６０】
ＣＰＵ６４は、監視用カメラ制御部５２ａと作業用カメラ制御部５４ａと無線部５６ａと腕部制御部５８ａと移動機構制御部６２ａとを制御するものである。
【００６１】
すなわち、各制御部５２ａ乃至６２ａは、ＣＰＵ６４による制御を外部に出力し、外部からの入力信号をＣＰＵ６４に提供するインターフェースである。
【００６２】
マーカ６０は、第２のロボット１４等の他のロボットから撮影の目標とされやすいように、所定の色彩（例えば、赤）や模様が付された球体である。このため、第２のロボット１４は、マーカ６０を目印として、第１のロボット１２の撮影を行うことが容易となる。
【００６３】
なお、本実施形態では、マーカ６０は、所定の色彩（例えば「赤」）や模様が付された球形の物体として説明されているが、追尾が行いやすい他の色彩や模様が付された他の形状のものであってもよい。
【００６４】
本実施形態において特徴的なことは、第２のロボット１４が撮影した第１のロボット１２の外観を表す監視画像を、第１の操作卓２２において表示することによって、操作者ａが、当該監視画像を第１のロボット１２の遠隔操作の参考とすることが可能となることである。この結果、操作者ａは、第１のロボット１２を外から見た場合の画像を参照することができ、より的確な操作を行うことが可能となる。
【００６５】
図４は、第１の操作卓２２の外観構成を示すものであり、図５は、第１の操作卓２２の機能ブロックを示すものである。なお、第１の操作卓２２及び第２の操作卓２４は、同様の構成を具備するものであるため、以下、第１の操作卓２２の構成について説明する。
【００６６】
図４に示すように、第１の操作卓２２は、作業用ディスプレイ７０と、監視用ディスプレイ７２と、アンテナ７６と、マスターアーム７８とを具備している。
【００６７】
また、図５に示すように、第１の操作卓２２は、バスＢＵＳを介して接続されている内部機能として、作業用ディスプレイ制御部７０ａと、監視用ディスプレイ制御部７２ａと、制御側無線部７４と、マスターアーム制御部７８ａと、ＣＰＵ６４とを具備している。
【００６８】
作業用ディスプレイ７０は、第１のロボット１２から送信された第１の作業画像を表示する表示部である。ここで、第１の作業画像は、第１のロボット１２の作業用カメラ５４によって撮影された画像である。また、作業用ディスプレイ制御部７０ａは、作業用ディスプレイ７０の表示を制御するものである。
【００６９】
監視用ディスプレイ７２は、第２のロボット１４から送信された第２の監視画像を表示する表示部である。ここで、第２の監視画像は、第２のロボット１４の監視用カメラ５２によって撮影された画像である。また、監視用ディスプレイ制御部７２ａは、作業用ディスプレイ７０の表示を制御するものである。
【００７０】
具体的には、作業用ディスプレイ制御部７０ａ及び監視用ディスプレイ制御部７２ａは、いわゆるビデオ回路やビデオカード等によって構成され、ＣＰＵ８０からの指示によって、それぞれ所定の画像を作業用ディスプレイ７０又は監視用ディスプレイ７２に表示する。
【００７１】
図６に、作業用ディスプレイ７０及び監視用ディスプレイ７２における表示の一例を示す。図６の例では、作業用ディスプレイ７０は、第１のロボット１２の腕部５８と作業対象物１とを含む第１の作業画像を表示している。一方、監視用ディスプレイ７２は、第２のロボット１４の監視用カメラ５２が撮影した第１のロボット１２の様子を示す第２の監視画像を表示している。
【００７２】
なお、本実施形態では、第１の操作卓は、第１の作業画像と第２の監視画像とを表示するディスプレイを別個に設けているが、１つのディスプレイ上に第１の作業画像と第２の監視画像とを表示するように構成されていてもよい。
【００７３】
制御側無線部７４は、アンテナ７６を介して、第１のロボット１２から第１の作業画像を受信し、第２のロボット１４から第２の監視画像を受信する画像受信部である。また、制御側無線部７４は、アンテナ７６を介して、ＣＰＵ８０からの指示に応じて、第１のロボット１２に対する操作指示を送信する。
【００７４】
マスターアーム７８は、第１のロボット１２の操縦装置である。具体的には、操作者ａが、作業用ディスプレイ７０や監視用ディスプレイ７２を参照しながら、マスターアーム７８を動かすことによって、第１のロボット１２を操縦する。
【００７５】
また、マスターアーム制御部７８ａは、マスターアーム７８を制御するものである。具体的には、マスターアーム制御部７８ａは、操作者ａによって操作されたマスターアーム７８の動きを検出し、当該動きのデータをＣＰＵ８０に伝送するインターフェースである。そして、ＣＰＵ８０は、当該動きのデータを、第１のロボット１２に対する操作指示に変換して、当該操作指示を当該制御側無線部７４を介して第１のロボット１２に送信する。
【００７６】
ＣＰＵ８０は、作業用ディスプレイ制御部７０ａと、監視用ディスプレイ制御部７２ａと、制御側無線部７４と、マスターアーム制御部７８ａとを制御するものである。
【００７７】
本実施形態において特徴的なことは、作業画像を表示する作業用ディスプレイ７０の他に、監視画像を表示する監視用ディスプレイ７２とが備えられていることである。このような構成によって、操作者ａは、作業画像と監視画像とを参照することによって、より的確にロボットの操作を行うことが可能となる。
【００７８】
（本実施形態に係るロボット制御システムの動作）
本実施形態に係るロボット制御システムの動作を、図７乃至図１１に示すフローチャートを参照して説明する。
【００７９】
第１に、図７を参照して、本実施形態に係るロボット制御システムにおいて、第１のロボット１２が、撮影した画像を、第１の操作卓２２及び第２の操作卓２４に対して送信する動作について説明する。
【００８０】
ステップ１００１において、第１のロボット１２の作業用カメラ５４は、第１のロボットの視点からの撮影を行い、作業用カメラ制御部５４ａは、当該撮影によって取得した第１のロボットの作業状況を示す第１の作業画像をＣＰＵ６４に供給する。
【００８１】
ステップ１００２において、ＣＰＵ６４は、無線部５６ａとアンテナ５６と基地局４０ｃとネットワーク３０と基地局４０ａとを介して、第１の作業画像を第１の操作卓２２に送信する。
【００８２】
一方、ステップ１００３において、第１のロボット１２の監視用カメラ５２は、第２のロボット１４を撮影して、監視用カメラ制御部５２ａは、当該撮影によって取得した第２のロボット１４を監視するための第１の監視画像をＣＰＵ６４に送信する。
【００８３】
ステップ１００４において、ＣＰＵ６４は、無線部５６ａとアンテナ５６と基地局４０ｃとネットワーク３０と基地局４０ａとを介して、第１の監視画像を第２の操作卓２４に送信する。
【００８４】
本実施形態において特徴的な事項は、監視用カメラ５２が、第２のロボット１４を撮影した第１の監視画像を、第１の操作卓２２に送信するのではなく、第２の操作卓２４に送信することである。このような構成によって、第２の操作卓２４は、第２のロボット１４を外部から観察した画像を得ることができる。
【００８５】
第２に、図８を参照して、本実施形態に係るロボット制御システムにおいて、第１のロボット１２が制御される動作について説明する。
【００８６】
ステップ１１０１において、第１のロボット１２の無線部５４は、第１の操作卓２２から、第１のロボット１２の腕部５８や駆動輪６２に対する操作指示を受信すると、当該操作指示をＣＰＵ６４に供給する。
【００８７】
ステップ１１０２において、ＣＰＵ６４は、当該操作指示を解釈する。そして、ＣＰＵ６４は、当該操作指示が、腕部５８の操作を指示するものであると判断した場合には、当該操作指示を腕部制御部５８ａに供給する。また、ＣＰＵ６４は、当該操作指示が、駆動輪６２の回転操作を指示するものであると判断した場合には、当該操作指示を移動機構制御部６２ａに供給する。
【００８８】
ステップ１１０３において、腕部制御部５８ａは、ＣＰＵ６４からの操作指示に基づいて腕部５８を動かす。また、移動機構制御部６２ａは、ＣＰＵ６４からの操作指示に基づいてモータ６２ｂを駆動することによって駆動輪６２を回転させる。
【００８９】
第３に、図９を参照して、本実施形態に係るロボット制御システムにおいて、第１のロボット１２の監視用カメラ５２が、第２のロボット１４に追尾する動作について説明する。
【００９０】
ステップ１２０１において、第１のロボット１２の監視用カメラ５２が、第２のロボット１４が存在する方向を向き、当該第２のロボット１４を含む監視画像を撮影している。
【００９１】
このような動作を実現するため、第１のロボット１２の監視用カメラ５２は、第２のロボット１４に設けられているマーカ６０を追尾することによって、常に第２のロボットを追尾している。
【００９２】
また、同様に、第２のロボット１４の監視用カメラ５２は、第１のロボット１２に設けられているマーカ６０を追尾することによって、常に第１のロボットを追尾している。
【００９３】
この結果、第１の操作卓２２において、操作者ａが、第１のロボット１４の外観を観察することができ、第２の操作卓２４において、操作者ｂが、第２のロボット１４の外観を観察することができる。
【００９４】
ステップ１２０２において、監視用カメラ制御部５２ａは、マーカ６０の色彩等を考慮して、監視用カメラ５２によって撮影された画像の中からマーカ６０の画像領域を抽出し、抽出した画像領域の重心を検出する。
【００９５】
ステップ１２０３において、監視用カメラ制御部５２ａは、当該重心が監視画像のほぼ中心に位置するように監視用カメラ５２を制御する（例えば、監視用カメラ５２の向きを動かす）。
【００９６】
本実施形態では、画像処理技術の一種であるコンピュータビジョンの技術によって、監視用カメラ制御部５２ａがマーカ６０を追尾する手法が採用されている。
【００９７】
第４に、図１０を参照して、本実施形態に係るロボット制御システムにおいて、第１の操作卓２２において画像を表示する動作について説明する。
【００９８】
ステップ１３０１において、第１の操作卓２２の制御側無線部７４は、アンテナ７６を介して画像を受信してＣＰＵ８０に供給する。
【００９９】
ここで、受信した画像には、ロボット識別情報や画像識別情報が付加されている。ロボット識別情報は、当該画像の送信元のロボット１２又は１４を識別するための情報であり、例えば、ネットワーク３０として電話網が用いられている場合、各ロボット１２、１４の無線部５６ａに割り当てられた電話番号であり、ネットワーク３０としてインターネットが用いられている場合、各ロボット１２、１４の無線部５６ａに割り当てられたＩＰアドレスである。また、画像識別情報は、当該画像が、作業画像であるか、又は監視画像であるかを識別するための情報である。かかる画像識別情報の付加処理は、ロボット１２、１４のＣＰＵ６４において実行されることが好ましい。
【０１００】
ステップ１３０２において、ＣＰＵ８０は、ロボット識別情報又は画像識別情報に基づいて、当該画像が、第１の作業画像であるか、又は第２の監視画像であるかについて判定する。
【０１０１】
当該画像が第１の作業画像であると判定された場合、ステップ１３０３において、ＣＰＵ８０は、当該画像を作業用ディスプレイ制御部７０ａに送信し、作業用ディスプレイ制御部７０ａが受信した画像をビデオ信号等に変換して作業用ディスプレイ７０上に表示する。
【０１０２】
一方、当該画像が第２の監視画像であると判定された場合、ステップ１３０４において、ＣＰＵ８０は、当該画像を監視用ディスプレイ制御部７２ａに送信し、監視用ディスプレイ制御部７２ａが受信した画像をビデオ信号等に変換して監視用ディスプレイ７２上に表示する。
【０１０３】
本実施形態において特徴的なことは、ロボット識別情報である電話番号やＩＰアドレスに基づき、画像の送信元を識別することによって、第１の操作卓２２において受信した画像が「作業画像」であるのか「監視画像」であるのかを判断していることである。
【０１０４】
第５に、図１１を参照して、本実施形態に係るロボット制御システムにおいて、操作者ａが、第１の操作卓２２を用いて第１のロボットを制御する動作について説明する。
【０１０５】
ステップ１４０１において、第１の操作卓２２の作業用ディスプレイ７０が、第１のロボット１２から送信された第１の作業画像を表示し、第１の操作卓２２の監視用ディスプレイ７２が、第２のロボット１４から送信された第２の監視画像を表示している。
【０１０６】
ステップ１４０２において、操作者ａは、第１の操作卓２２において表示されている第１の作業画像及び第２の監視画像を参照しながら、マスターアーム７８を操作する。
【０１０７】
ステップ１４０３において、マスターアーム制御部７８ａは、このマスターアーム７８の動きを検出してＣＰＵ８０に供給する。そして、ＣＰＵ８０は、供給されたマスターアーム７８の動きに基づいて操作指示を生成する。
【０１０８】
ステップ１４０４において、ＣＰＵ８０は、生成された操作指示を制御側無線部７４とアンテナ７６と基地局４０ａとネットワーク３０と基地局４０ｃ等を介して第１のロボット１２に送信する。かかる操作指示には、例えば、腕部５８の操作や駆動輪６２の回転操作等を含むロボットに対する全ての操作指示が含まれる。
【０１０９】
上述の第１の操作卓２２における動作は、第２の操作卓２４でも同様に行われるものであり、操作者ｂは、第２の操作卓２４上で、第２のロボットの作業状況を示す第２の作業画像と、第２のロボットを外部から見た様子を示す第１の監視画像とを見ることができるので、より的確なロボット操作を行うことが可能である。
【０１１０】
以上述べたように、本実施形態によれば、複数のロボットを用いて互いに監視のための画像を撮影したので、操作者は、より的確なロボット操作を実行することができる。
【０１１１】
なお、場所Ａと場所Ｂとは、必ずしも離れている場所でなく、同一の場所であってもよい。場所Ａと場所Ｂとが、同一の場所である場合には、第１の操作卓２２と第２の操作卓２４とが、別個の装置ではなく、同一筐体に収容されていてもよい。
【０１１２】
（本実施形態に係るロボット制御システムの作用・効果）
本実施形態に係るロボット制御システムによれば、第１の操作卓２２が、第１のロボット１２から送信された第１の作業画像及び第２のロボット１４から送信された第２の監視画像を表示するため、操作者ａは、人間が行くことが困難な作業場所を監視するためのカメラを設置することなく、第１のロボット１２の作業画像及び監視画像を見ることができ、第１のロボット１２の周囲の状況を客観的に把握して当該第１のロボット１２の遠隔操作を行うことができる。
【０１１３】
本実施形態に係るロボット制御システムによれば、第２のロボット１４の監視用カメラ制御部５２ａが、第１のロボット１２に設けられたマーカ６０を追尾するため、第１のロボット１２が移動する場合であっても、第２のロボット１４の監視用カメラ５２は、第１のロボット１２を監視するための第２の監視画像を取得することができる。
【０１１４】
（本発明の第２の実施形態に係るロボット制御システム）
図１２乃至図１５を参照して、本発明の第２の実施形態に係るロボット制御システムについて、上述の第１のロボット制御システムと異なる点を主に説明する。
【０１１５】
図１２に示すように、本実施形態に係るロボット制御システムは、監視用カメラ５２及び作業用カメラ５４の代わりに、両カメラの機能を具備する全方位カメラ９０を具備する点で、上述の第１のロボット制御システムと異なる。本実施形態に係るロボット制御システムの他の構成については、上述の第１のロボット制御システムの構成と基本的に同一である。
【０１１６】
第１のロボット１００の構成及び第２のロボットの構成１０２は、基本的に同一であるため、以下、第１のロボット１００の構成について説明する。
【０１１７】
図１３に示すように、第１のロボット１００は、全方向カメラ９０と、アンテナ５６と、腕部５８と、マーカ６０（図示せず）と、駆動輪６２とを具備している。
【０１１８】
また、図１３に示すように、第１のロボット１００は、バスＢＵＳを介して接続されている内部機能として、カメラ制御部９０ａと、無線部５６ａと、腕部制御部５８ａと、移動機構制御部６２ａと、モータ６２ｂと、ＣＰＵ６４とを具備している。
【０１１９】
全方位カメラ９０は、ほぼ３６０度周囲の画像を撮影することができるカメラである。したがって、全方位カメラ９０は、多くの場合、第１のロボット１００の視点から当該第１のロボット１００の作業状況を示す作業画像を撮影すると共に、第２のロボット１０２を監視するための監視画像を撮影することができる。
【０１２０】
また、全方位カメラ９０は、透明な筒に下向きの円錐状のミラーがはめ込まれており、当該ミラーと対向する向きに通常のカメラが設けられており、当該通常のカメラが当該円錐状のミラーを撮影する構成をとっている。したがって、全方位カメラ９０は、当該円錐状のミラーに写された周囲３６０度の画像を、ドーナツ状の画像として撮影することができる（図１５（１）参照）。
【０１２１】
カメラ制御部９０ａは、全方位カメラ９０によって撮影された画像に対して所定の処理を施すものである。
【０１２２】
例えば、カメラ制御部９０ａは、全方位カメラ９０によって撮影された周囲ほぼ３６０度のドーナッツ状画像を、ほぼ３６０度のパノラマ状画像に変換して、変換後のパノラマ状画像から、所定の方位角範囲（例えば、左右３０度の範囲）の画像を第１の作業画像として抽出する。ここで、全方位カメラ９０が左右に回転する場合には、所定の方位角もそれに応じて変化するように構成されている。
【０１２３】
また、カメラ制御部９０ａは、変換後のパノラマ状画像から、第２のロボット１０２のマーカ６０の色彩に対応する画像領域のみを抽出し、抽出した画像領域内で重心（例えば、輝度値の重心）を算出する。
【０１２４】
そして、カメラ制御部９０ａは、算出した重心を含む所定の方位角範囲（例えば、左右３０度乃至６０度程度）の画像を抽出することによって、第２のロボット１０２に係る第２の監視画像を作成する。
【０１２５】
また、カメラ制御部９０ａが、全方位カメラ９０によって撮影されたほぼ３６０度周囲の画像をＣＰＵ６４に送信するによって、ＣＰＵ６４が、上述の処理を行うように構成されていてもよい。
【０１２６】
また、カメラ制御部９０ａは、全方位カメラ９０がほぼ３６０度周囲の画像を撮影することができるため、当該全方位カメラ９０の駆動処理を行う必要はない。
【０１２７】
ここで、図１４及び図１５を参照して、本実施形態に係るロボット制御システムにおいて、第１の作業画像及び第２の監視画像を取得する動作について説明する。
【０１２８】
ステップ１５０１において、第１のロボット１００のカメラ制御部９０ａが、全方位カメラ９０によって撮影されたドーナッツ状画像１２０を取得する（図１５（１）参照）。ここで、カメラ制御部９０ａは、取得したドーナッツ状画像１２０をＣＰＵ６４に供給する。
【０１２９】
ステップ１５０２において、ＣＰＵ６４は、供給されたドーナツ状画像１２０を展開し、通常の３６０度のパノラマ状画像１２２に変換する（図１５（２）参照）。
【０１３０】
ステップ１５０３において、ＣＰＵ６４は、変換後のパノラマ状画像１２２から、所定の方位角範囲（例えば、左右３０度の範囲）の画像１２４を抽出する（図１５（３）参照）。ステップ１５０４において、ＣＰＵ６４は、抽出した所定の方位角範囲の画像を第１の作業画像１２４として無線部５４を介して第１の操作卓２２に送信する。
【０１３１】
一方、ＣＰＵ６４は、ステップ１５０５において、第２のロボット１０２のマーカ６０の色彩に対応する画像領域のみを抽出し、ステップ１５０６において、抽出した画像領域内で重心（例えば、輝度値の重心）を算出する。
【０１３２】
ステップ１５０７において、ＣＰＵ６４は、算出した重心を含む所定の方位角範囲（例えば、左右３０度乃至６０度程度）の画像を抽出する（図１５（３）参照）。ステップ１５０８において、ＣＰＵ６４は、抽出した所定の方位角範囲の画像を第２の監視画像１２６として無線部５４を介して第２の操作卓２４に送信する。
【０１３３】
（本発明の第３の実施形態に係るロボット制御システム）
図１６乃至図２２を参照して、本発明の第３の実施形態に係るロボット制御システムについて、上述の第１のロボット制御システムと異なる点を主に説明する。
【０１３４】
図１６に示すように、本実施形態に係るロボット制御システムは、第１のロボット２１２と第２のロボット２１４と第３のロボット２１６という３台のロボットが相互に監視するという点で、上述の第１のロボット制御システムと異なる。
【０１３５】
図１６に示すように、第１のロボット２１２と第２のロボット２１４と第３のロボット２１６とが、作業場所Ｃにおいて所定の作業を行っている。当該３台のロボットは、ネットワーク３０に基地局４０ｄを介して接続している。
【０１３６】
また、第１のロボット２１２を制御するための第１の操作卓２２０は、作業場所ａに位置しており、基地局４０ｅを介してネットワーク３０に接続している。また、第２のロボット２１４を制御するための第２の操作卓２２１は、作業場所ｂに位置しており、基地局４０ｆを介してネットワーク３０に接続している。また、第３のロボット２１６を制御するための第３の操作卓２２２は、作業場所ｄに位置しており、基地局４０ｇを介してネットワーク３０に接続している。
【０１３７】
図１７は、第１のロボット２１２の外観構成を示すものであり、図１８は、第１のロボット２１２の機能ブロックを示すものである。なお、第１のロボット２１２乃至第３のロボット２１６は、同様の構成を具備するものであるため、以下、第１のロボット２１２の構成について説明する。
【０１３８】
図１７に示すように、第１のロボット２１２は、第１の監視用カメラ２５２と、第２の監視用カメラ２５４と、作業用カメラ５４と、アンテナ５６と、腕部５８と、マーカ６０と、駆動輪６２とを具備している。
【０１３９】
また、図１８に示すように、第１のロボット２１２は、バスＢＵＳを介して接続されている内部機能として、第１の監視用カメラ制御部２５２ａと、第２の監視用カメラ制御部２５４ａと、作業用カメラ制御部５４ａと、無線部５６ａと、腕部制御部５８ａと、移動機構制御部６２ａと、モータ６２ｂと、ＣＰＵ６４とを具備している。
【０１４０】
第１の監視用カメラ２５２は、第２のロボット２１４を追尾しており、第２のロボット２１４に係る監視画像Ａ２を撮影するものである。また、第２の監視用カメラ２５４は、第３のロボット２１６を追尾しており、第３のロボット２１６に係る監視画像Ａ３を撮影するものである。
【０１４１】
本実施形態では、自己以外の他のロボットが２台存在している。したがって、各ロボットは、他の２台のロボットを撮影するために、２台の監視用カメラを具備している。
【０１４２】
なお、本実施形態では、ロボット毎に異なる色彩や模様を付したマーカ６０を設ける必要がある。例えば、第１のロボット２１２のマーカ６０には「赤」の色彩を付し、第２のロボット２１４のマーカ６０には「青」の色彩を付し、第３のロボット２１６のマーカ６０には「緑」の色彩を付す。このように色分けを行うことによって、監視用カメラ２５２は、各ロボットを効率的に識別することができる。すなわち、第１のロボットの監視用カメラ２５２は、「青」の色彩を追跡することによって第２のロボット２１４を効果的に追尾することができ、「緑」の色彩を追跡することによって第３のロボット２１６を効率的に追尾することができる。
【０１４３】
図１９は、第１の操作卓２２０の外観構成を示すものであり、図２０は、第１の操作卓２２０の機能ブロックを示すものである。なお、第１の操作卓２２０乃至第３の操作卓２２２は、同様の構成を具備するものであるため、以下、第１の操作卓２２０の構成について説明する。
【０１４４】
図１９に示すように、第１の操作卓２２０は、作業用ディスプレイ７０と、第１の監視用ディスプレイ２７２と、第２の監視用ディスプレイ２７４と、アンテナ７６と、マスターアーム７８とを具備している。
【０１４５】
また、図２０に示すように、第１の操作卓２２０は、バスＢＵＳを介して接続されている内部機能として、作業用ディスプレイ制御部７０ａと、第１の監視用ディスプレイ制御部２７２ａと、第１の監視用ディスプレイ制御部２７２ａと、制御側無線部７４と、マスターアーム制御部７８ａと、ＣＰＵ６４とを具備している。
【０１４６】
第１の監視用ディスプレイ２７２は、第２のロボット２１４によって撮影された第１のロボット２１２の監視画像Ｂ１を表示し、第２の監視用ディスプレイ２７４は、第３のロボット２１６によって撮影された第１のロボット２１２の監視画像Ｃ１を表示する。このような構成によって、操作者ａは、より的確に第１のロボット２１２の遠隔操作が可能となる。
【０１４７】
ここで、図２１及び図２２を参照して、本実施形態に係るロボット制御システムの動作について説明する。
【０１４８】
第１に、図２１を参照して、本実施形態に係るロボット制御システムにおいて、第１のロボット１２が、撮影した画像を、第１の操作卓２２０乃至第３の操作卓２２２に対して送信する動作について説明する。
【０１４９】
ステップ１６０１において、第１のロボット２１２の作業用カメラ制御部５４ａは、第１のロボット２１２の作業状況を示す作業画像をＣＰＵ６４に供給する。
【０１５０】
ステップ１６０２において、ＣＰＵ６４は、無線部５６ａとアンテナ５６と基地局４０ｃとネットワーク３０と基地局４０ａとを介して、作業画像を第１の操作卓２２０に送信する。
【０１５１】
また、ステップ１６０３において、第１のロボット２１２の第１の監視用カメラ２５２は、第２のロボット２１４を撮影して、第１の監視用カメラ制御部２５２ａは、当該撮影によって取得した第２のロボット２１４を監視するための監視画像Ａ２をＣＰＵ６４に送信する。
【０１５２】
ステップ１６０４において、ＣＰＵ６４は、無線部５６ａとアンテナ５６と基地局４０ｃとネットワーク３０と基地局４０ａとを介して、監視画像Ａ２を第２の操作卓２４に送信する。
【０１５３】
また、ステップ１６０５において、第１のロボット２１２の第２の監視用カメラ２５４は、第３のロボット２１６を撮影して、第２の監視用カメラ制御部２５４ａは、当該撮影によって取得した第３のロボット２１６を監視するための監視画像Ａ３をＣＰＵ６４に送信する。
【０１５４】
ステップ１６０６において、ＣＰＵ６４は、無線部５６ａとアンテナ５６と基地局４０ｃとネットワーク３０と基地局４０ａとを介して、監視画像Ａ３を第２の操作卓２４に送信する。
【０１５５】
第２に、図２２を参照して、本実施形態に係るロボット制御システムにおいて、第１の操作卓２２０において画像を表示する動作について説明する。
【０１５６】
ステップ１７０１において、第１の操作卓２２０の制御側無線部７４は、アンテナ７６を介して画像を受信してＣＰＵ８０に供給する。
【０１５７】
ステップ１７０２において、ＣＰＵ８０は、ロボット識別情報又は画像識別情報に基づいて、当該画像が、第１のロボット２１２によって撮影された作業画像であるか、第２のロボット２１４によって撮影された第１のロボット２１２を監視するための監視画像Ｂ１であるか、又は第３のロボット２１６によって撮影された第１のロボット２１２を監視するための監視画像Ｃ１であるかについて判定する。
【０１５８】
当該画像が作業画像であると判定された場合、ステップ１７０３において、ＣＰＵ８０は、当該画像を作業用ディスプレイ制御部７０ａに送信し、作業用ディスプレイ制御部７０ａが受信した画像をビデオ信号等に変換して作業用ディスプレイ７０上に表示する。
【０１５９】
また、当該画像が監視画像Ｂ１であると判定された場合、ステップ１７０４において、ＣＰＵ８０は、当該画像を第１の監視用ディスプレイ制御部２７２ａに送信し、第１の監視用ディスプレイ制御部２７２ａが受信した画像をビデオ信号等に変換して第１の監視用ディスプレイ２７２上に表示する。
【０１６０】
また、当該画像が監視画像Ｃ１であると判定された場合、ステップ１７０５において、ＣＰＵ８０は、当該画像を第２の監視用ディスプレイ制御部２７４ａに送信し、第２の監視用ディスプレイ制御部２７４ａが受信した画像をビデオ信号等に変換して第２の監視用ディスプレイ２７４上に表示する。
【０１６１】
以上のような動作によって、操作者ａは、第１のロボット２１２を外部から撮影した画像を、２種類見ながら、当該第１のロボット２１２の操作を実行することが可能である。
【０１６２】
（変更例１）
変更例１に係るロボット制御システムにおけるロボット２１２乃至２１６は、上述の第３の実施形態の場合と異なり、各ロボット２１２乃至２１６が、２台の監視用カメラ２５２及び２５４を備えている、すなわち、他のロボットを全て監視するのではなく、１台の監視用カメラ２５２のみを備えている。
【０１６３】
したがって、本変更例に係るロボット２１２乃至２１６は、自己以外の他の１台のロボットしか監視することができないため、以下のように監視の対象を循環的に設定することが好ましい。
【０１６４】
例えば、第１のロボット２１２の監視用カメラが、第２のロボット２１４を監視して、撮影した第２のロボット２１４の監視画像を、第２のロボットを制御するための第２の操作卓２２１に送信する。また、第２のロボット２１４の監視用カメラが、第３のロボット２１６を監視して、撮影した第３のロボット２１６の監視画像を、第３のロボット２１６を制御するための第３の操作卓２２２に送信する。そして、第３のロボット２１６の監視用カメラが、第１のロボット２１２を監視して、撮影した第１のロボット２１２の監視画像を、第１のロボット２１２を制御するための操作卓２２０に送信する。かかる循環の方向は逆でもよい。
【０１６５】
また、本変更例に係る各ロボットにおける監視対象は、全てのロボットが監視されるように設定されていれば、上述のように循環的に設定されていなくてもよい。
【０１６６】
本変更例によれば、上述の第１の実施形態で示した構成のロボットを用いつつ、上述の第３の実施形態４のように、３台以上のロボットの監視を行うことが可能である。
【０１６７】
（変更例２）
本変更例に係るロボット制御システムは、上述の第２の実施形態で説明した全方位カメラを、上述の第４の実施形態や変更例１に適用するものである。この場合、１台の全方位カメラに、作業用カメラ５４と第１の監視用カメラ２５２と第２の監視用カメラ２５４の役割を果たさせる必要がある。
【０１６８】
本変更例において、第１のロボット２１２のＣＰＵ６４は、以下のようにして、監視画像を取得する。
【０１６９】
例えば、ＣＰＵ６４は、「青」の色彩が付されたマーカ６０の画像領域を抽出して、抽出した画像領域の輝度値の重心を求める。そして、ＣＰＵ６４は、当該重心の位置を中心とした所定の方位角範囲の画像を抽出して、第２のロボット２１４を監視するための監視画像Ａ２を得ることができる。
【０１７０】
また、ＣＰＵ６４は、「緑」の色彩が付されたマーカ６０の画像領域を抽出して、抽出した画像領域の輝度値の重心を求める。そして、ＣＰＵ６４は、当該重心の位置を中心とした所定の方位角範囲の画像を抽出して、第３のロボット２１６を監視するための監視画像Ａ３を得ることができる。
【０１７１】
このように、本変更例のように、全方位カメラを用いる場合でも、各ロボットを識別するために、マーカ６０の色彩を、ロボット毎に異ならせることが好ましい。
【０１７２】
（変更例３）
上述の第１乃至３の実施形態及び変更例１及び２では、ネットワーク３０として電話網を使用したが、本発明は、これに限定されるものではない。
【０１７３】
本発明に係るロボット制御システムは、第１のロボット２１２と第２のロボット２１４と第３のロボット２１６と第１の操作卓２２０と第２の操作卓２２１と第３の操作卓２２２との間で通信が可能であれば、どのような通信路を用いてもかまわない。
【０１７４】
【発明の効果】
以上説明したように本発明によれば、ロボットの視点から撮影した作業画像に加えて、他のロボットから見た監視画像を取得することによって、作業場所におけるロボットの相対的な位置、ロボットの姿勢、及びロボットの作業環境等を把握することができるロボット制御システム、ロボット制御方法、これらに用いて好適なロボット及び制御装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るロボット制御システムの全体構成図である。
【図２】本発明の一実施形態に係るロボット制御システムにおけるロボットの外観図である。
【図３】本発明の一実施形態に係るロボット制御システムにおけるロボットの機能ブロック図である。
【図４】本発明の一実施形態に係るロボット制御システムにおける操作卓の外観図である。
【図５】本発明の一実施形態に係るロボット制御システムにおける操作卓の機能ブロック図である。
【図６】本発明の一実施形態に係るロボット制御システムにおける操作卓の画面表示を示す図である。
【図７】本発明の一実施形態に係るロボット制御システムにおいて、操作卓に対して画像を送信する動作を示すフローチャートである。
【図８】本発明の一実施形態に係るロボット制御システムにおいて、ロボットが制御される動作を示すフローチャートである。
【図９】本発明の一実施形態に係るロボット制御システムにおいて、ロボットに設けられた監視用カメラを制御する動作を示すフローチャートである。
【図１０】本発明の一実施形態に係るロボット制御システムにおいて、操作卓において画像を表示する動作を示すフローチャートである。
【図１１】本発明の一実施形態に係るロボット制御システムにおいて、操作者が操作卓を用いてロボットを制御する動作を示すフローチャートである。
【図１２】本発明の一実施形態に係るロボット制御システムにおけるロボットの外観図である。
【図１３】本発明の一実施形態に係るロボット制御システムにおけるロボットの機能ブロック図である。
【図１４】本発明の一実施形態に係るロボット制御システムにおいて、操作卓に対して画像を送信する動作を示すフローチャートである。
【図１５】本発明の一実施形態に係るロボット制御システムにおいて、操作卓に対して画像を送信する動作を説明するための図である。
【図１６】本発明の一実施形態に係るロボット制御システムの全体構成図である。
【図１７】本発明の一実施形態に係るロボット制御システムにおけるロボットの外観図である。
【図１８】本発明の一実施形態に係るロボット制御システムにおけるロボットの機能ブロック図である。
【図１９】本発明の一実施形態に係るロボット制御システムにおける操作卓の外観図である。
【図２０】本発明の一実施形態に係るロボット制御システムにおける操作卓の機能ブロック図である。
【図２１】本発明の一実施形態に係るロボット制御システムにおいて、操作卓に対して画像を送信する動作を説明するための図である。
【図２２】本発明の一実施形態に係るロボット制御システムにおいて、操作卓において画像を表示する動作を示すフローチャートである。
【符号の説明】
ａ、ｂ、ｄ…操作者
１…作業対象
１０…ロボット制御システム
１２、１００、２１２…第１のロボット
１４、１０２、２１４…第２のロボット
２２、２２０…第１の操作卓
２４、２２１…第２の操作卓
３０…ネットワーク
４０ａ、４０ｂ、４０ｃ、４０ｄ、４０ｅ、４０ｆ、４０ｇ…基地局
５２…監視用カメラ
５２ａ…監視用カメラ制御部
５４…作業用カメラ
５４ａ…作業用カメラ制御部
５６、７６…アンテナ
５６ａ…無線部
５８…腕部
５８ａ…腕部制御部
６０…マーカ
６２…駆動輪
６２ａ…移動機構制御部
６２ｂ…モータ
６４、８０…ＣＰＵ
７０…作業用ディスプレイ
７０ａ…作業用ディスプレイ制御部
７２…監視用ディスプレイ
７２ａ…監視用ディスプレイ制御部
７４…制御側無線部
７８…マスターアーム
７８ａ…マスターアーム制御部
９０…全方向カメラ
９０ａ…カメラ制御部
１２０…ドーナッツ状画像
１２２…パノラマ状画像
１２４…作業画像
１２６…監視画像
２１６…第３のロボット
２２２…第３の操作卓
２５２…第１の監視用カメラ
２５２ａ…第１の監視用カメラ制御部
２５４…第２の監視用カメラ
２５４ａ…第２の監視用カメラ制御部
２７２…第１の監視用ディスプレイ
２７２ａ…第１の監視用ディスプレイ制御部
２７４…第２の監視用ディスプレイ
２７４ａ…第２の監視用ディスプレイ制御部
【発明の属する技術分野】
本発明は、ロボットを制御するためのロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置に関する。特に、ロボットに搭載されたカメラで撮影した画像に基づいて当該ロボットを遠隔制御するためのロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置に関する。
【０００２】
【従来の技術】
従来から、深海や宇宙空間等のように人間が直接作業することが困難な環境や、原子力発電所における原子炉の炉心近傍のように人間にとって危険な環境や、老人等の介護を行う環境等において、人間に変わって作業を行うロボットが広く知られている。
【０００３】
例えば、ロボットに搭載されたカメラで当該ロボットの視点からの画像（作業画像）を撮影し、当該作業画像を無線通信により制御装置に送信し、制御装置において表示された作業画像に基づいて遠隔操作者が当該ロボットの遠隔操作を行う技術が知られている（例えば、特許文献１参照）。
【０００４】
しかしながら、遠隔操作者は、上述の従来技術に示すように、ロボットに搭載されたカメラが撮影した画像（作業画像）のみから、当該ロボットの周囲の状況を把握することが困難であるという問題点があった。
【０００５】
一般的に、遠隔操作者が、ロボットの周囲の状況を客観的に判断するためには、当該ロボットの視点以外の点から当該ロボットの周囲を見た画像、すなわち、ロボットの周囲を俯瞰した画像が必要である。
【０００６】
かかる問題点を解決するために、ロボットが作業を行う作業場所に、予め作業場所を俯瞰するような画像を撮影するカメラを設けておく技術が考えられている。
【０００７】
例えば、作業場所に設置されているカメラが、作業中のロボットの画像（監視画像）を撮影し、遠隔操作者が、上述の作業画像及び当該監視画像の２種類の画像に基づいて、当該ロボットを遠隔操作する技術が知られている（例えば、特許文献２参照）。
【０００８】
かかる技術によれば、遠隔操作者は、ロボット自体に搭載されているカメラで撮影した作業画像と、外部からロボットを撮影した監視画像とを見ることができるので、より正確にロボットを制御して操縦することができると考えられている。
【０００９】
【特許文献１】
特開２００２−３２１１８０号公報
【００１０】
【特許文献２】
特開２００１−０６２７６６号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、かかる技術では、例えば、ロボットの作業場所が深海等である場合、上述の監視画像を撮影するためのカメラを予め設置することが困難であるという問題点があった。
【００１２】
そもそも、ロボットを遠隔制御する理由は、人間が行くことが困難な環境における作業を当該ロボットに実行させるためであることが多い。その結果、一般的に、当該ロボットの作業場所が、人間が行くことが困難な環境である場合が多く、作業中のロボットを撮影するためのカメラの設置が困難な場合も多いと考えられる。
【００１３】
また、上記カメラを設置することが容易な場所であっても、ロボットの作業場所に予めカメラを設置しておかなければならないので、ロボットによる作業を実行させる準備が繁雑となる可能性があるという問題点があった。
【００１４】
本発明は、以上の点に鑑みてなされたもので、ロボットの視点から撮影した作業画像に加えて、他のロボットから見た監視画像を取得することによって、作業場所におけるロボットの相対的な位置、ロボットの姿勢、及びロボットの作業環境等を把握することができるロボット制御システム、ロボット制御方法、これらに用いて好適なロボット及び制御装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明の第１の特徴は、制御装置を用いて第１のロボットを制御するためのロボット制御方法であって、前記第１のロボットが、作業状況を示す作業画像を取得して前記第１の制御装置に送信する工程と、第２のロボットが、前記第１のロボットを監視するための監視画像を取得して前記第１の制御装置に送信する工程と、前記制御装置が、前記第１のロボットから送信された前記作業画像及び前記第２のロボットから送信された前記監視画像を表示する工程とを有することを要旨とする。
【００１６】
かかる発明によれば、制御装置が、第１のロボットから送信された作業画像及び第２のロボットから送信された監視画像を表示するため、遠隔操作者は、人間が行くことが困難な作業場所を監視するためのカメラを設置することなく、第１のロボットの作業画像及び監視画像を見ることができ、第１のロボットの周囲の状況を客観的に把握して当該第１のロボットの遠隔操作を行うことができる。
【００１７】
本発明の第２の特徴は、第１のロボットと、第２のロボットと、該第１のロボットを制御する第１の制御装置と、該第２のロボットを制御する第２の制御装置とを具備するロボット制御システムであって、前記第１のロボットが、該第１のロボットの作業状況を示す第１の作業画像及び前記第２のロボットを監視するための第１の監視画像を取得するカメラと、取得した前記第１の作業画像を前記第１の制御装置に送信し、取得した前記第１の監視画像を前記第２の制御装置に送信する通信部とを具備し、前記第２のロボットが、該第２のロボットの作業状況を示す第２の作業画像及び前記第１のロボットを監視するための第２の監視画像を取得するカメラと、取得した前記第２の作業画像を前記第２の制御装置に送信し、取得した前記第２の監視画像を前記第２の制御装置に送信する通信部とを具備し、前記第１の制御装置が、前記第１のロボットから送信された前記第１の作業画像及び前記第２のロボットから送信された前記第２の監視画像を表示する表示部を具備し、前記第２の制御装置が、前記第２のロボットから送信された前記第２の作業画像及び前記第１のロボットから送信された前記第１の監視画像を表示する表示部を具備することを要旨とする。
【００１８】
また、かかる発明によれば、第１の制御装置が、第１のロボットから送信された第１の作業画像及び第２のロボットから送信された第２の監視画像を表示し、第２の制御装置が、第２のロボットから送信された第２の作業画像及び第１のロボットから送信された第１の監視画像を表示するため、人間が行くことが困難な作業場所を監視するためのカメラを設置することなく、第１の遠隔操作者は、第１のロボットの周囲の状況を客観的に把握して当該第１のロボットの遠隔操作を行うことができると共に、第２の遠隔操作者は、第２のロボットの周囲の状況を客観的に把握して当該第２のロボットの遠隔操作を行うことができる。
【００１９】
本発明の第３の特徴は、作業状況を示す作業画像及び他のロボットを監視するための監視画像を取得するカメラと、取得した前記作業画像を第１の制御装置に送信し、取得した前記監視画像を第２の制御装置に送信する通信部とを具備するロボットであることを要旨とする。
【００２０】
本発明の第３の特徴において、前記カメラが、前記作業画像を取得する作業用カメラと、前記監視画像を取得する監視用カメラとを具備し、前記他のロボットに設けられたマーカの画像領域の重心を検出し、該重心が前記監視画像のほぼ中心に位置するように前記監視用カメラを制御する監視用カメラ制御部を具備することが好ましい。
【００２１】
かかる発明によれば、監視用カメラ制御部が、他のロボットに設けられたマーカを追尾するため、当該他のロボットが移動する場合であっても、カメラは、当該他のロボットを監視するための監視画像を取得することができる。
【００２２】
また、本発明の第３の特徴において、前記カメラが、ほぼ３６０度のパノラマ状画像を取得し、前記パノラマ状画像から、所定の方位角範囲の画像を前記作業画像として抽出し、前記パノラマ状画像から、前記他のロボットに設けられたマーカの画像領域の重心を検出し、該重心を中心とした所定の方位角範囲の画像を前記監視画像として抽出することが好ましい。
【００２３】
かかる発明によれば、作業画像を取得するためのカメラと監視画像を取得するためのカメラを２台用意することなく、本発明を実現することができる。
【００２４】
また、本発明の第３の特徴において、前記通信部が、前記作業画像又は前記監視画像と共に、該ロボットを識別するためのロボット識別情報又は画像の種類を識別するための画像識別情報を送信することが好ましい。
【００２５】
かかる発明によれば、制御装置が、通信部によって送信されたロボット識別情報又は画像識別情報に基づいて、作業画像と監視画像とを容易に識別することができる。
【００２６】
本発明の第４の特徴は、前記第１のロボットの作業状況を示す作業画像を該第１のロボットから受信し、該第１のロボットを監視するための監視画像を第２のロボットから受信する画像受信部と、前記作業画像及び前記監視画像を表示する表示部とを具備する制御装置であることを要旨とする。
【００２７】
本発明の第４の特徴において、前記画像受信部が、前記ロボットを識別するためのロボット識別情報又は画像の種類を識別するための画像識別情報に基づいて、前記作業画像と前記監視画像とを判定することが好ましい。
【００２８】
また、本発明の第４の特徴において、前記第１のロボットには、前記第２のロボットを監視するための監視画像を取得する監視用カメラが設けられており、前記第２のロボットに設けられたマーカの画像領域の重心を検出し、該重心が前記監視画像のほぼ中心に位置するように前記第１のロボットに設けられた監視用カメラを制御することが好ましい。
【００２９】
【発明の実施の形態】
（本発明の第１の実施形態に係るロボット制御システムの構成）
本発明の第１の実施形態に係るロボット制御システムの構成について、図１乃至図６を参照して説明する。図１は、本実施形態に係るロボット制御システム１０の全体構成図である。
【００３０】
以下、本実施形態では、操作者ａ及び操作者ｂが、それぞれ、作業場所Ａ及び作業場所Ｂから、作業場所Ｃに存在する第１のロボット１２及び第２のロボット１４を遠隔操作する場合の例について説明する。ここで、作業場所Ｃは、作業場所Ａや作業場所Ｂから離れているものとする。
【００３１】
また、本実施形態では、作業場所Ｃにおいて、第１のロボット１２と第２のロボット１４とが協調して作業対象１に対して作業を実行しているものとする。
【００３２】
図１に示すように、本実施形態に係るロボット制御システム１０は、第１のロボット１２と、第２のロボット１４と、当該第１のロボット１２を遠隔操作するための第１の操作卓（第１の制御装置）２２と、当該第２のロボット１４を遠隔操作するための第２の操作卓（第２の制御装置）２４とを備えている。
【００３３】
第１のロボット１２は、作業場所Ｃに存在しており、無線通信によって基地局４０ｃを介してネットワーク３０に接続している。また、第２のロボット１４は、無線通信によって基地局４０ｄを介してネットワーク３０に接続している。また、本実施形態では、基地局４０ｃ、４０ｄは、作業場所Ｃに存在している。
【００３４】
第１の操作卓２２は、作業場所Ａに存在しており、ネットワーク３０を介して第１のロボット１２に操作指示を送信するものである。また、第１の操作卓２２は、無線通信によって基地局４０ａを介してネットワーク３０に接続している。
【００３５】
また、第１の操作卓２２は、第１のロボット１２から送信された第１のロボット１２の作業状況（作業の様子）を示す第１の作業画像と、第２のロボット１４から送信された第１のロボットを監視するための第２の監視画像とを表示する。
【００３６】
したがって、操作者ａは、第１の操作卓２２に表示された第１の作業画像及び第２の監視画像を見ながら、第１のロボット１２の遠隔操作（制御）を実行することができる。
【００３７】
第２の操作卓２４は、作業場所Ｂに存在しており、ネットワーク３０を介して第２のロボット１４に操作指示を送信するものである。また、第２の操作卓２４は、無線通信によって基地局４０ｂを介してネットワーク３０に接続している。
【００３８】
また、第２の操作卓２４は、第２のロボット１４から送信された第２のロボット１４の作業状況（作業の様子）を示す第２の作業画像と、第１のロボット１２から送信された第２のロボットを監視するための第１の監視画像とを表示する。
【００３９】
したがって、操作者ｂは、第２の操作卓２４に表示された第２の作業画像及び第１の監視画像を見ながら、第２のロボット１４の遠隔操作（制御）を実行することができる。
【００４０】
また、本実施形態では、ネットワーク３０として、例えば、電話網が使用されるものとする。したがって、本実施形態では、ロボット１２、１４又は操作卓２２、２４は、ネットワーク３０に設けられている基地局４０ａ乃至４０ｄを介して発呼することにより、互いに通信相手と接続することができる。
【００４１】
なお、本発明は、ネットワーク３０として、電話網を使用する代わりに、インターネット等の他のネットワークを用いてもよい。例えば、ネットワーク３０としてインターネットが使用される場合、基地局４０ａ乃至４０ｄは、インターネットへのアクセスポイントとなる。また、ネットワーク３０としてインターネットが使用される場合、インターネット上で従来から知られている種々のプロトコルを用いて、ロボット１２、１４と操作卓２２、２４との間でデータ通信が行われる。
【００４２】
本実施形態において特徴的なことは、第１のロボット１２及び第２のロボット１４が互いに相手を監視していることである。具体的には、第１のロボット１２及び第２のロボット１４は、互いに他のロボットの作業状況を撮影し、撮影した画像を当該他のロボットを制御するための操作卓２２、２４に送信する。このような動作によって、操作者ａ、ｂは、ロボットの作業状況を示す作業画像と共に、当該ロボットを俯瞰した監視画像を見ることができるので、より的確なロボット操作を行うことが可能となる。
【００４３】
図２は、第１のロボット１２の外観構成を示すものであり、図３は、第１のロボット１２の機能ブロックを示すものである。なお、第１のロボット１２及び第２のロボット１４は、同様の構成を具備するものであるため、以下、第１のロボット１２の構成について説明する。
【００４４】
図２に示すように、第１のロボット１２は、監視用カメラ５２と、作業用カメラ５４と、アンテナ５６と、腕部５８と、マーカ６０と、駆動輪６２とを具備している。
【００４５】
また、図３に示すように、第１のロボット１２は、バスＢＵＳを介して接続されている内部機能として、監視用カメラ制御部５２ａと、作業用カメラ制御部５４ａと、無線部５６ａと、腕部制御部５８ａと、移動機構制御部６２ａと、モータ６２ｂと、ＣＰＵ６４とを具備している。
【００４６】
監視用カメラ５２は、本発明の特徴的な構成の一つであって、第２のロボット１４を監視するための第１の監視画像（例えば、第２のロボット１４の外観を含む画像）を撮影するものである。また、監視用カメラ制御部５２ａは、第２のロボット１４を追尾するように監視用カメラ５２を制御するものである。
【００４７】
例えば、監視用カメラ制御部５２ａは、マーカ６０の色彩等を考慮して、監視用カメラ５２によって撮影された画像の中からマーカ６０の画像領域を抽出し、抽出した画像領域の重心を検出する。そして、監視用カメラ制御部５２ａは、当該重心が監視画像のほぼ中心に位置するように監視用カメラ５２を制御する（例えば、監視用カメラ５２の向きを動かす）。
【００４８】
監視用カメラ制御部５２ａは、監視カメラ５２に内蔵されている駆動モータを駆動することによって、当該監視カメラ５２の向きを調整することができる。
【００４９】
また、監視用カメラ制御部５２ａは、利用者によって入力された色彩情報や模様情報等に基づいて、追尾するマーカ６０を決定することができる。
【００５０】
また、監視用カメラ５２は、第２のロボット１４が画面から外れてしまう確率を少なくするため、いわゆる「広角レンズ」を用いたカメラであることがより望ましい。
【００５１】
本実施形態では、画像処理技術の一種であるコンピュータビジョンの技術によって、監視用カメラ制御部５２ａがマーカ６０を追尾する手法が採用されている。
【００５２】
また、本実施形態では、監視用カメラ制御部５２ａが、上述の重心の検出処理及び監視カメラ５２の駆動処理を行っているが、ＣＰＵ６４や第２の操作卓２４が、これらの処理を行うように構成されていてもよい。
【００５３】
例えば、監視用カメラ５２によって撮影された監視画像は、常にＣＰＵ６４を経由しているので、ＣＰＵ６４が、当該監視画像についての画像処理を行うことは十分に可能である。
【００５４】
なお、この場合、監視用カメラ５２の駆動処理は、ＣＰＵ６４が監視用カメラ制御部５２ａに指示することによって実行される。監視用カメラ制御部５２ａは、当該指示を受信すると、当該指示に基づき監視用カメラ５２の駆動モータを駆動し、監視用カメラ５２の向きを所望の方向に回転させる。
【００５５】
また、第２の操作卓２４によって上述の処理が行われる場合、第２の操作卓２４が、監視用カメラ５２の駆動の指示を第１のロボット１２に送信する。そして、第１のロボット１２の無線部５４は、受信した当該指示をＣＰＵ６４に送信する。ＣＰＵ６４は、受信した当該指示が監視用カメラ５２の駆動であると判断した場合には、監視用カメラ制御部５２ａに当該駆動を指示する。当該指示を受けた監視用カメラ制御部５２ａは、当該指示に基づき監視用カメラ５２の駆動モータを駆動し、監視用カメラ５２の向きを所望の方向に回転させる。
【００５６】
作業用カメラ５４は、第１のロボット１２の作業状況を示す第１の作業画像（例えば、第１のロボット１２の視点から見た画像）を撮影するものである。また、作業用カメラ制御部５４ａは、第１のロボット１２の作業状況を正確に撮影できるように作業用カメラ５４を制御するものである。
【００５７】
アンテナ５６は、基地局４０ａとの間で無線通信を行い、ネットワーク３０に接続するものである。無線部５６ａは、アンテナ５６を介して、作業用カメラ５４により取得した第１の作業画像を第１の操作卓２２に送信し、監視用カメラ５２により取得した第１の監視画像を第２の操作卓２４に送信する通信部を構成する。
【００５８】
腕部５８は、作業対象１に対して所定作業を行うためのものである。また、腕部制御部５８ａは、第１の操作卓２２から送信された操作指示に応じて腕部５８を制御するものである。
【００５９】
駆動輪６２は、第１のロボット１２を移動させるための車輪である。モータ６２ｂは、駆動輪６２を駆動するものである。また、移動機構制御部６２ａは、第１の操作卓２２から送信された操作指示に応じてモータ６２ｂを制御するものである。
【００６０】
ＣＰＵ６４は、監視用カメラ制御部５２ａと作業用カメラ制御部５４ａと無線部５６ａと腕部制御部５８ａと移動機構制御部６２ａとを制御するものである。
【００６１】
すなわち、各制御部５２ａ乃至６２ａは、ＣＰＵ６４による制御を外部に出力し、外部からの入力信号をＣＰＵ６４に提供するインターフェースである。
【００６２】
マーカ６０は、第２のロボット１４等の他のロボットから撮影の目標とされやすいように、所定の色彩（例えば、赤）や模様が付された球体である。このため、第２のロボット１４は、マーカ６０を目印として、第１のロボット１２の撮影を行うことが容易となる。
【００６３】
なお、本実施形態では、マーカ６０は、所定の色彩（例えば「赤」）や模様が付された球形の物体として説明されているが、追尾が行いやすい他の色彩や模様が付された他の形状のものであってもよい。
【００６４】
本実施形態において特徴的なことは、第２のロボット１４が撮影した第１のロボット１２の外観を表す監視画像を、第１の操作卓２２において表示することによって、操作者ａが、当該監視画像を第１のロボット１２の遠隔操作の参考とすることが可能となることである。この結果、操作者ａは、第１のロボット１２を外から見た場合の画像を参照することができ、より的確な操作を行うことが可能となる。
【００６５】
図４は、第１の操作卓２２の外観構成を示すものであり、図５は、第１の操作卓２２の機能ブロックを示すものである。なお、第１の操作卓２２及び第２の操作卓２４は、同様の構成を具備するものであるため、以下、第１の操作卓２２の構成について説明する。
【００６６】
図４に示すように、第１の操作卓２２は、作業用ディスプレイ７０と、監視用ディスプレイ７２と、アンテナ７６と、マスターアーム７８とを具備している。
【００６７】
また、図５に示すように、第１の操作卓２２は、バスＢＵＳを介して接続されている内部機能として、作業用ディスプレイ制御部７０ａと、監視用ディスプレイ制御部７２ａと、制御側無線部７４と、マスターアーム制御部７８ａと、ＣＰＵ６４とを具備している。
【００６８】
作業用ディスプレイ７０は、第１のロボット１２から送信された第１の作業画像を表示する表示部である。ここで、第１の作業画像は、第１のロボット１２の作業用カメラ５４によって撮影された画像である。また、作業用ディスプレイ制御部７０ａは、作業用ディスプレイ７０の表示を制御するものである。
【００６９】
監視用ディスプレイ７２は、第２のロボット１４から送信された第２の監視画像を表示する表示部である。ここで、第２の監視画像は、第２のロボット１４の監視用カメラ５２によって撮影された画像である。また、監視用ディスプレイ制御部７２ａは、作業用ディスプレイ７０の表示を制御するものである。
【００７０】
具体的には、作業用ディスプレイ制御部７０ａ及び監視用ディスプレイ制御部７２ａは、いわゆるビデオ回路やビデオカード等によって構成され、ＣＰＵ８０からの指示によって、それぞれ所定の画像を作業用ディスプレイ７０又は監視用ディスプレイ７２に表示する。
【００７１】
図６に、作業用ディスプレイ７０及び監視用ディスプレイ７２における表示の一例を示す。図６の例では、作業用ディスプレイ７０は、第１のロボット１２の腕部５８と作業対象物１とを含む第１の作業画像を表示している。一方、監視用ディスプレイ７２は、第２のロボット１４の監視用カメラ５２が撮影した第１のロボット１２の様子を示す第２の監視画像を表示している。
【００７２】
なお、本実施形態では、第１の操作卓は、第１の作業画像と第２の監視画像とを表示するディスプレイを別個に設けているが、１つのディスプレイ上に第１の作業画像と第２の監視画像とを表示するように構成されていてもよい。
【００７３】
制御側無線部７４は、アンテナ７６を介して、第１のロボット１２から第１の作業画像を受信し、第２のロボット１４から第２の監視画像を受信する画像受信部である。また、制御側無線部７４は、アンテナ７６を介して、ＣＰＵ８０からの指示に応じて、第１のロボット１２に対する操作指示を送信する。
【００７４】
マスターアーム７８は、第１のロボット１２の操縦装置である。具体的には、操作者ａが、作業用ディスプレイ７０や監視用ディスプレイ７２を参照しながら、マスターアーム７８を動かすことによって、第１のロボット１２を操縦する。
【００７５】
また、マスターアーム制御部７８ａは、マスターアーム７８を制御するものである。具体的には、マスターアーム制御部７８ａは、操作者ａによって操作されたマスターアーム７８の動きを検出し、当該動きのデータをＣＰＵ８０に伝送するインターフェースである。そして、ＣＰＵ８０は、当該動きのデータを、第１のロボット１２に対する操作指示に変換して、当該操作指示を当該制御側無線部７４を介して第１のロボット１２に送信する。
【００７６】
ＣＰＵ８０は、作業用ディスプレイ制御部７０ａと、監視用ディスプレイ制御部７２ａと、制御側無線部７４と、マスターアーム制御部７８ａとを制御するものである。
【００７７】
本実施形態において特徴的なことは、作業画像を表示する作業用ディスプレイ７０の他に、監視画像を表示する監視用ディスプレイ７２とが備えられていることである。このような構成によって、操作者ａは、作業画像と監視画像とを参照することによって、より的確にロボットの操作を行うことが可能となる。
【００７８】
（本実施形態に係るロボット制御システムの動作）
本実施形態に係るロボット制御システムの動作を、図７乃至図１１に示すフローチャートを参照して説明する。
【００７９】
第１に、図７を参照して、本実施形態に係るロボット制御システムにおいて、第１のロボット１２が、撮影した画像を、第１の操作卓２２及び第２の操作卓２４に対して送信する動作について説明する。
【００８０】
ステップ１００１において、第１のロボット１２の作業用カメラ５４は、第１のロボットの視点からの撮影を行い、作業用カメラ制御部５４ａは、当該撮影によって取得した第１のロボットの作業状況を示す第１の作業画像をＣＰＵ６４に供給する。
【００８１】
ステップ１００２において、ＣＰＵ６４は、無線部５６ａとアンテナ５６と基地局４０ｃとネットワーク３０と基地局４０ａとを介して、第１の作業画像を第１の操作卓２２に送信する。
【００８２】
一方、ステップ１００３において、第１のロボット１２の監視用カメラ５２は、第２のロボット１４を撮影して、監視用カメラ制御部５２ａは、当該撮影によって取得した第２のロボット１４を監視するための第１の監視画像をＣＰＵ６４に送信する。
【００８３】
ステップ１００４において、ＣＰＵ６４は、無線部５６ａとアンテナ５６と基地局４０ｃとネットワーク３０と基地局４０ａとを介して、第１の監視画像を第２の操作卓２４に送信する。
【００８４】
本実施形態において特徴的な事項は、監視用カメラ５２が、第２のロボット１４を撮影した第１の監視画像を、第１の操作卓２２に送信するのではなく、第２の操作卓２４に送信することである。このような構成によって、第２の操作卓２４は、第２のロボット１４を外部から観察した画像を得ることができる。
【００８５】
第２に、図８を参照して、本実施形態に係るロボット制御システムにおいて、第１のロボット１２が制御される動作について説明する。
【００８６】
ステップ１１０１において、第１のロボット１２の無線部５４は、第１の操作卓２２から、第１のロボット１２の腕部５８や駆動輪６２に対する操作指示を受信すると、当該操作指示をＣＰＵ６４に供給する。
【００８７】
ステップ１１０２において、ＣＰＵ６４は、当該操作指示を解釈する。そして、ＣＰＵ６４は、当該操作指示が、腕部５８の操作を指示するものであると判断した場合には、当該操作指示を腕部制御部５８ａに供給する。また、ＣＰＵ６４は、当該操作指示が、駆動輪６２の回転操作を指示するものであると判断した場合には、当該操作指示を移動機構制御部６２ａに供給する。
【００８８】
ステップ１１０３において、腕部制御部５８ａは、ＣＰＵ６４からの操作指示に基づいて腕部５８を動かす。また、移動機構制御部６２ａは、ＣＰＵ６４からの操作指示に基づいてモータ６２ｂを駆動することによって駆動輪６２を回転させる。
【００８９】
第３に、図９を参照して、本実施形態に係るロボット制御システムにおいて、第１のロボット１２の監視用カメラ５２が、第２のロボット１４に追尾する動作について説明する。
【００９０】
ステップ１２０１において、第１のロボット１２の監視用カメラ５２が、第２のロボット１４が存在する方向を向き、当該第２のロボット１４を含む監視画像を撮影している。
【００９１】
このような動作を実現するため、第１のロボット１２の監視用カメラ５２は、第２のロボット１４に設けられているマーカ６０を追尾することによって、常に第２のロボットを追尾している。
【００９２】
また、同様に、第２のロボット１４の監視用カメラ５２は、第１のロボット１２に設けられているマーカ６０を追尾することによって、常に第１のロボットを追尾している。
【００９３】
この結果、第１の操作卓２２において、操作者ａが、第１のロボット１４の外観を観察することができ、第２の操作卓２４において、操作者ｂが、第２のロボット１４の外観を観察することができる。
【００９４】
ステップ１２０２において、監視用カメラ制御部５２ａは、マーカ６０の色彩等を考慮して、監視用カメラ５２によって撮影された画像の中からマーカ６０の画像領域を抽出し、抽出した画像領域の重心を検出する。
【００９５】
ステップ１２０３において、監視用カメラ制御部５２ａは、当該重心が監視画像のほぼ中心に位置するように監視用カメラ５２を制御する（例えば、監視用カメラ５２の向きを動かす）。
【００９６】
本実施形態では、画像処理技術の一種であるコンピュータビジョンの技術によって、監視用カメラ制御部５２ａがマーカ６０を追尾する手法が採用されている。
【００９７】
第４に、図１０を参照して、本実施形態に係るロボット制御システムにおいて、第１の操作卓２２において画像を表示する動作について説明する。
【００９８】
ステップ１３０１において、第１の操作卓２２の制御側無線部７４は、アンテナ７６を介して画像を受信してＣＰＵ８０に供給する。
【００９９】
ここで、受信した画像には、ロボット識別情報や画像識別情報が付加されている。ロボット識別情報は、当該画像の送信元のロボット１２又は１４を識別するための情報であり、例えば、ネットワーク３０として電話網が用いられている場合、各ロボット１２、１４の無線部５６ａに割り当てられた電話番号であり、ネットワーク３０としてインターネットが用いられている場合、各ロボット１２、１４の無線部５６ａに割り当てられたＩＰアドレスである。また、画像識別情報は、当該画像が、作業画像であるか、又は監視画像であるかを識別するための情報である。かかる画像識別情報の付加処理は、ロボット１２、１４のＣＰＵ６４において実行されることが好ましい。
【０１００】
ステップ１３０２において、ＣＰＵ８０は、ロボット識別情報又は画像識別情報に基づいて、当該画像が、第１の作業画像であるか、又は第２の監視画像であるかについて判定する。
【０１０１】
当該画像が第１の作業画像であると判定された場合、ステップ１３０３において、ＣＰＵ８０は、当該画像を作業用ディスプレイ制御部７０ａに送信し、作業用ディスプレイ制御部７０ａが受信した画像をビデオ信号等に変換して作業用ディスプレイ７０上に表示する。
【０１０２】
一方、当該画像が第２の監視画像であると判定された場合、ステップ１３０４において、ＣＰＵ８０は、当該画像を監視用ディスプレイ制御部７２ａに送信し、監視用ディスプレイ制御部７２ａが受信した画像をビデオ信号等に変換して監視用ディスプレイ７２上に表示する。
【０１０３】
本実施形態において特徴的なことは、ロボット識別情報である電話番号やＩＰアドレスに基づき、画像の送信元を識別することによって、第１の操作卓２２において受信した画像が「作業画像」であるのか「監視画像」であるのかを判断していることである。
【０１０４】
第５に、図１１を参照して、本実施形態に係るロボット制御システムにおいて、操作者ａが、第１の操作卓２２を用いて第１のロボットを制御する動作について説明する。
【０１０５】
ステップ１４０１において、第１の操作卓２２の作業用ディスプレイ７０が、第１のロボット１２から送信された第１の作業画像を表示し、第１の操作卓２２の監視用ディスプレイ７２が、第２のロボット１４から送信された第２の監視画像を表示している。
【０１０６】
ステップ１４０２において、操作者ａは、第１の操作卓２２において表示されている第１の作業画像及び第２の監視画像を参照しながら、マスターアーム７８を操作する。
【０１０７】
ステップ１４０３において、マスターアーム制御部７８ａは、このマスターアーム７８の動きを検出してＣＰＵ８０に供給する。そして、ＣＰＵ８０は、供給されたマスターアーム７８の動きに基づいて操作指示を生成する。
【０１０８】
ステップ１４０４において、ＣＰＵ８０は、生成された操作指示を制御側無線部７４とアンテナ７６と基地局４０ａとネットワーク３０と基地局４０ｃ等を介して第１のロボット１２に送信する。かかる操作指示には、例えば、腕部５８の操作や駆動輪６２の回転操作等を含むロボットに対する全ての操作指示が含まれる。
【０１０９】
上述の第１の操作卓２２における動作は、第２の操作卓２４でも同様に行われるものであり、操作者ｂは、第２の操作卓２４上で、第２のロボットの作業状況を示す第２の作業画像と、第２のロボットを外部から見た様子を示す第１の監視画像とを見ることができるので、より的確なロボット操作を行うことが可能である。
【０１１０】
以上述べたように、本実施形態によれば、複数のロボットを用いて互いに監視のための画像を撮影したので、操作者は、より的確なロボット操作を実行することができる。
【０１１１】
なお、場所Ａと場所Ｂとは、必ずしも離れている場所でなく、同一の場所であってもよい。場所Ａと場所Ｂとが、同一の場所である場合には、第１の操作卓２２と第２の操作卓２４とが、別個の装置ではなく、同一筐体に収容されていてもよい。
【０１１２】
（本実施形態に係るロボット制御システムの作用・効果）
本実施形態に係るロボット制御システムによれば、第１の操作卓２２が、第１のロボット１２から送信された第１の作業画像及び第２のロボット１４から送信された第２の監視画像を表示するため、操作者ａは、人間が行くことが困難な作業場所を監視するためのカメラを設置することなく、第１のロボット１２の作業画像及び監視画像を見ることができ、第１のロボット１２の周囲の状況を客観的に把握して当該第１のロボット１２の遠隔操作を行うことができる。
【０１１３】
本実施形態に係るロボット制御システムによれば、第２のロボット１４の監視用カメラ制御部５２ａが、第１のロボット１２に設けられたマーカ６０を追尾するため、第１のロボット１２が移動する場合であっても、第２のロボット１４の監視用カメラ５２は、第１のロボット１２を監視するための第２の監視画像を取得することができる。
【０１１４】
（本発明の第２の実施形態に係るロボット制御システム）
図１２乃至図１５を参照して、本発明の第２の実施形態に係るロボット制御システムについて、上述の第１のロボット制御システムと異なる点を主に説明する。
【０１１５】
図１２に示すように、本実施形態に係るロボット制御システムは、監視用カメラ５２及び作業用カメラ５４の代わりに、両カメラの機能を具備する全方位カメラ９０を具備する点で、上述の第１のロボット制御システムと異なる。本実施形態に係るロボット制御システムの他の構成については、上述の第１のロボット制御システムの構成と基本的に同一である。
【０１１６】
第１のロボット１００の構成及び第２のロボットの構成１０２は、基本的に同一であるため、以下、第１のロボット１００の構成について説明する。
【０１１７】
図１３に示すように、第１のロボット１００は、全方向カメラ９０と、アンテナ５６と、腕部５８と、マーカ６０（図示せず）と、駆動輪６２とを具備している。
【０１１８】
また、図１３に示すように、第１のロボット１００は、バスＢＵＳを介して接続されている内部機能として、カメラ制御部９０ａと、無線部５６ａと、腕部制御部５８ａと、移動機構制御部６２ａと、モータ６２ｂと、ＣＰＵ６４とを具備している。
【０１１９】
全方位カメラ９０は、ほぼ３６０度周囲の画像を撮影することができるカメラである。したがって、全方位カメラ９０は、多くの場合、第１のロボット１００の視点から当該第１のロボット１００の作業状況を示す作業画像を撮影すると共に、第２のロボット１０２を監視するための監視画像を撮影することができる。
【０１２０】
また、全方位カメラ９０は、透明な筒に下向きの円錐状のミラーがはめ込まれており、当該ミラーと対向する向きに通常のカメラが設けられており、当該通常のカメラが当該円錐状のミラーを撮影する構成をとっている。したがって、全方位カメラ９０は、当該円錐状のミラーに写された周囲３６０度の画像を、ドーナツ状の画像として撮影することができる（図１５（１）参照）。
【０１２１】
カメラ制御部９０ａは、全方位カメラ９０によって撮影された画像に対して所定の処理を施すものである。
【０１２２】
例えば、カメラ制御部９０ａは、全方位カメラ９０によって撮影された周囲ほぼ３６０度のドーナッツ状画像を、ほぼ３６０度のパノラマ状画像に変換して、変換後のパノラマ状画像から、所定の方位角範囲（例えば、左右３０度の範囲）の画像を第１の作業画像として抽出する。ここで、全方位カメラ９０が左右に回転する場合には、所定の方位角もそれに応じて変化するように構成されている。
【０１２３】
また、カメラ制御部９０ａは、変換後のパノラマ状画像から、第２のロボット１０２のマーカ６０の色彩に対応する画像領域のみを抽出し、抽出した画像領域内で重心（例えば、輝度値の重心）を算出する。
【０１２４】
そして、カメラ制御部９０ａは、算出した重心を含む所定の方位角範囲（例えば、左右３０度乃至６０度程度）の画像を抽出することによって、第２のロボット１０２に係る第２の監視画像を作成する。
【０１２５】
また、カメラ制御部９０ａが、全方位カメラ９０によって撮影されたほぼ３６０度周囲の画像をＣＰＵ６４に送信するによって、ＣＰＵ６４が、上述の処理を行うように構成されていてもよい。
【０１２６】
また、カメラ制御部９０ａは、全方位カメラ９０がほぼ３６０度周囲の画像を撮影することができるため、当該全方位カメラ９０の駆動処理を行う必要はない。
【０１２７】
ここで、図１４及び図１５を参照して、本実施形態に係るロボット制御システムにおいて、第１の作業画像及び第２の監視画像を取得する動作について説明する。
【０１２８】
ステップ１５０１において、第１のロボット１００のカメラ制御部９０ａが、全方位カメラ９０によって撮影されたドーナッツ状画像１２０を取得する（図１５（１）参照）。ここで、カメラ制御部９０ａは、取得したドーナッツ状画像１２０をＣＰＵ６４に供給する。
【０１２９】
ステップ１５０２において、ＣＰＵ６４は、供給されたドーナツ状画像１２０を展開し、通常の３６０度のパノラマ状画像１２２に変換する（図１５（２）参照）。
【０１３０】
ステップ１５０３において、ＣＰＵ６４は、変換後のパノラマ状画像１２２から、所定の方位角範囲（例えば、左右３０度の範囲）の画像１２４を抽出する（図１５（３）参照）。ステップ１５０４において、ＣＰＵ６４は、抽出した所定の方位角範囲の画像を第１の作業画像１２４として無線部５４を介して第１の操作卓２２に送信する。
【０１３１】
一方、ＣＰＵ６４は、ステップ１５０５において、第２のロボット１０２のマーカ６０の色彩に対応する画像領域のみを抽出し、ステップ１５０６において、抽出した画像領域内で重心（例えば、輝度値の重心）を算出する。
【０１３２】
ステップ１５０７において、ＣＰＵ６４は、算出した重心を含む所定の方位角範囲（例えば、左右３０度乃至６０度程度）の画像を抽出する（図１５（３）参照）。ステップ１５０８において、ＣＰＵ６４は、抽出した所定の方位角範囲の画像を第２の監視画像１２６として無線部５４を介して第２の操作卓２４に送信する。
【０１３３】
（本発明の第３の実施形態に係るロボット制御システム）
図１６乃至図２２を参照して、本発明の第３の実施形態に係るロボット制御システムについて、上述の第１のロボット制御システムと異なる点を主に説明する。
【０１３４】
図１６に示すように、本実施形態に係るロボット制御システムは、第１のロボット２１２と第２のロボット２１４と第３のロボット２１６という３台のロボットが相互に監視するという点で、上述の第１のロボット制御システムと異なる。
【０１３５】
図１６に示すように、第１のロボット２１２と第２のロボット２１４と第３のロボット２１６とが、作業場所Ｃにおいて所定の作業を行っている。当該３台のロボットは、ネットワーク３０に基地局４０ｄを介して接続している。
【０１３６】
また、第１のロボット２１２を制御するための第１の操作卓２２０は、作業場所ａに位置しており、基地局４０ｅを介してネットワーク３０に接続している。また、第２のロボット２１４を制御するための第２の操作卓２２１は、作業場所ｂに位置しており、基地局４０ｆを介してネットワーク３０に接続している。また、第３のロボット２１６を制御するための第３の操作卓２２２は、作業場所ｄに位置しており、基地局４０ｇを介してネットワーク３０に接続している。
【０１３７】
図１７は、第１のロボット２１２の外観構成を示すものであり、図１８は、第１のロボット２１２の機能ブロックを示すものである。なお、第１のロボット２１２乃至第３のロボット２１６は、同様の構成を具備するものであるため、以下、第１のロボット２１２の構成について説明する。
【０１３８】
図１７に示すように、第１のロボット２１２は、第１の監視用カメラ２５２と、第２の監視用カメラ２５４と、作業用カメラ５４と、アンテナ５６と、腕部５８と、マーカ６０と、駆動輪６２とを具備している。
【０１３９】
また、図１８に示すように、第１のロボット２１２は、バスＢＵＳを介して接続されている内部機能として、第１の監視用カメラ制御部２５２ａと、第２の監視用カメラ制御部２５４ａと、作業用カメラ制御部５４ａと、無線部５６ａと、腕部制御部５８ａと、移動機構制御部６２ａと、モータ６２ｂと、ＣＰＵ６４とを具備している。
【０１４０】
第１の監視用カメラ２５２は、第２のロボット２１４を追尾しており、第２のロボット２１４に係る監視画像Ａ２を撮影するものである。また、第２の監視用カメラ２５４は、第３のロボット２１６を追尾しており、第３のロボット２１６に係る監視画像Ａ３を撮影するものである。
【０１４１】
本実施形態では、自己以外の他のロボットが２台存在している。したがって、各ロボットは、他の２台のロボットを撮影するために、２台の監視用カメラを具備している。
【０１４２】
なお、本実施形態では、ロボット毎に異なる色彩や模様を付したマーカ６０を設ける必要がある。例えば、第１のロボット２１２のマーカ６０には「赤」の色彩を付し、第２のロボット２１４のマーカ６０には「青」の色彩を付し、第３のロボット２１６のマーカ６０には「緑」の色彩を付す。このように色分けを行うことによって、監視用カメラ２５２は、各ロボットを効率的に識別することができる。すなわち、第１のロボットの監視用カメラ２５２は、「青」の色彩を追跡することによって第２のロボット２１４を効果的に追尾することができ、「緑」の色彩を追跡することによって第３のロボット２１６を効率的に追尾することができる。
【０１４３】
図１９は、第１の操作卓２２０の外観構成を示すものであり、図２０は、第１の操作卓２２０の機能ブロックを示すものである。なお、第１の操作卓２２０乃至第３の操作卓２２２は、同様の構成を具備するものであるため、以下、第１の操作卓２２０の構成について説明する。
【０１４４】
図１９に示すように、第１の操作卓２２０は、作業用ディスプレイ７０と、第１の監視用ディスプレイ２７２と、第２の監視用ディスプレイ２７４と、アンテナ７６と、マスターアーム７８とを具備している。
【０１４５】
また、図２０に示すように、第１の操作卓２２０は、バスＢＵＳを介して接続されている内部機能として、作業用ディスプレイ制御部７０ａと、第１の監視用ディスプレイ制御部２７２ａと、第１の監視用ディスプレイ制御部２７２ａと、制御側無線部７４と、マスターアーム制御部７８ａと、ＣＰＵ６４とを具備している。
【０１４６】
第１の監視用ディスプレイ２７２は、第２のロボット２１４によって撮影された第１のロボット２１２の監視画像Ｂ１を表示し、第２の監視用ディスプレイ２７４は、第３のロボット２１６によって撮影された第１のロボット２１２の監視画像Ｃ１を表示する。このような構成によって、操作者ａは、より的確に第１のロボット２１２の遠隔操作が可能となる。
【０１４７】
ここで、図２１及び図２２を参照して、本実施形態に係るロボット制御システムの動作について説明する。
【０１４８】
第１に、図２１を参照して、本実施形態に係るロボット制御システムにおいて、第１のロボット１２が、撮影した画像を、第１の操作卓２２０乃至第３の操作卓２２２に対して送信する動作について説明する。
【０１４９】
ステップ１６０１において、第１のロボット２１２の作業用カメラ制御部５４ａは、第１のロボット２１２の作業状況を示す作業画像をＣＰＵ６４に供給する。
【０１５０】
ステップ１６０２において、ＣＰＵ６４は、無線部５６ａとアンテナ５６と基地局４０ｃとネットワーク３０と基地局４０ａとを介して、作業画像を第１の操作卓２２０に送信する。
【０１５１】
また、ステップ１６０３において、第１のロボット２１２の第１の監視用カメラ２５２は、第２のロボット２１４を撮影して、第１の監視用カメラ制御部２５２ａは、当該撮影によって取得した第２のロボット２１４を監視するための監視画像Ａ２をＣＰＵ６４に送信する。
【０１５２】
ステップ１６０４において、ＣＰＵ６４は、無線部５６ａとアンテナ５６と基地局４０ｃとネットワーク３０と基地局４０ａとを介して、監視画像Ａ２を第２の操作卓２４に送信する。
【０１５３】
また、ステップ１６０５において、第１のロボット２１２の第２の監視用カメラ２５４は、第３のロボット２１６を撮影して、第２の監視用カメラ制御部２５４ａは、当該撮影によって取得した第３のロボット２１６を監視するための監視画像Ａ３をＣＰＵ６４に送信する。
【０１５４】
ステップ１６０６において、ＣＰＵ６４は、無線部５６ａとアンテナ５６と基地局４０ｃとネットワーク３０と基地局４０ａとを介して、監視画像Ａ３を第２の操作卓２４に送信する。
【０１５５】
第２に、図２２を参照して、本実施形態に係るロボット制御システムにおいて、第１の操作卓２２０において画像を表示する動作について説明する。
【０１５６】
ステップ１７０１において、第１の操作卓２２０の制御側無線部７４は、アンテナ７６を介して画像を受信してＣＰＵ８０に供給する。
【０１５７】
ステップ１７０２において、ＣＰＵ８０は、ロボット識別情報又は画像識別情報に基づいて、当該画像が、第１のロボット２１２によって撮影された作業画像であるか、第２のロボット２１４によって撮影された第１のロボット２１２を監視するための監視画像Ｂ１であるか、又は第３のロボット２１６によって撮影された第１のロボット２１２を監視するための監視画像Ｃ１であるかについて判定する。
【０１５８】
当該画像が作業画像であると判定された場合、ステップ１７０３において、ＣＰＵ８０は、当該画像を作業用ディスプレイ制御部７０ａに送信し、作業用ディスプレイ制御部７０ａが受信した画像をビデオ信号等に変換して作業用ディスプレイ７０上に表示する。
【０１５９】
また、当該画像が監視画像Ｂ１であると判定された場合、ステップ１７０４において、ＣＰＵ８０は、当該画像を第１の監視用ディスプレイ制御部２７２ａに送信し、第１の監視用ディスプレイ制御部２７２ａが受信した画像をビデオ信号等に変換して第１の監視用ディスプレイ２７２上に表示する。
【０１６０】
また、当該画像が監視画像Ｃ１であると判定された場合、ステップ１７０５において、ＣＰＵ８０は、当該画像を第２の監視用ディスプレイ制御部２７４ａに送信し、第２の監視用ディスプレイ制御部２７４ａが受信した画像をビデオ信号等に変換して第２の監視用ディスプレイ２７４上に表示する。
【０１６１】
以上のような動作によって、操作者ａは、第１のロボット２１２を外部から撮影した画像を、２種類見ながら、当該第１のロボット２１２の操作を実行することが可能である。
【０１６２】
（変更例１）
変更例１に係るロボット制御システムにおけるロボット２１２乃至２１６は、上述の第３の実施形態の場合と異なり、各ロボット２１２乃至２１６が、２台の監視用カメラ２５２及び２５４を備えている、すなわち、他のロボットを全て監視するのではなく、１台の監視用カメラ２５２のみを備えている。
【０１６３】
したがって、本変更例に係るロボット２１２乃至２１６は、自己以外の他の１台のロボットしか監視することができないため、以下のように監視の対象を循環的に設定することが好ましい。
【０１６４】
例えば、第１のロボット２１２の監視用カメラが、第２のロボット２１４を監視して、撮影した第２のロボット２１４の監視画像を、第２のロボットを制御するための第２の操作卓２２１に送信する。また、第２のロボット２１４の監視用カメラが、第３のロボット２１６を監視して、撮影した第３のロボット２１６の監視画像を、第３のロボット２１６を制御するための第３の操作卓２２２に送信する。そして、第３のロボット２１６の監視用カメラが、第１のロボット２１２を監視して、撮影した第１のロボット２１２の監視画像を、第１のロボット２１２を制御するための操作卓２２０に送信する。かかる循環の方向は逆でもよい。
【０１６５】
また、本変更例に係る各ロボットにおける監視対象は、全てのロボットが監視されるように設定されていれば、上述のように循環的に設定されていなくてもよい。
【０１６６】
本変更例によれば、上述の第１の実施形態で示した構成のロボットを用いつつ、上述の第３の実施形態４のように、３台以上のロボットの監視を行うことが可能である。
【０１６７】
（変更例２）
本変更例に係るロボット制御システムは、上述の第２の実施形態で説明した全方位カメラを、上述の第４の実施形態や変更例１に適用するものである。この場合、１台の全方位カメラに、作業用カメラ５４と第１の監視用カメラ２５２と第２の監視用カメラ２５４の役割を果たさせる必要がある。
【０１６８】
本変更例において、第１のロボット２１２のＣＰＵ６４は、以下のようにして、監視画像を取得する。
【０１６９】
例えば、ＣＰＵ６４は、「青」の色彩が付されたマーカ６０の画像領域を抽出して、抽出した画像領域の輝度値の重心を求める。そして、ＣＰＵ６４は、当該重心の位置を中心とした所定の方位角範囲の画像を抽出して、第２のロボット２１４を監視するための監視画像Ａ２を得ることができる。
【０１７０】
また、ＣＰＵ６４は、「緑」の色彩が付されたマーカ６０の画像領域を抽出して、抽出した画像領域の輝度値の重心を求める。そして、ＣＰＵ６４は、当該重心の位置を中心とした所定の方位角範囲の画像を抽出して、第３のロボット２１６を監視するための監視画像Ａ３を得ることができる。
【０１７１】
このように、本変更例のように、全方位カメラを用いる場合でも、各ロボットを識別するために、マーカ６０の色彩を、ロボット毎に異ならせることが好ましい。
【０１７２】
（変更例３）
上述の第１乃至３の実施形態及び変更例１及び２では、ネットワーク３０として電話網を使用したが、本発明は、これに限定されるものではない。
【０１７３】
本発明に係るロボット制御システムは、第１のロボット２１２と第２のロボット２１４と第３のロボット２１６と第１の操作卓２２０と第２の操作卓２２１と第３の操作卓２２２との間で通信が可能であれば、どのような通信路を用いてもかまわない。
【０１７４】
【発明の効果】
以上説明したように本発明によれば、ロボットの視点から撮影した作業画像に加えて、他のロボットから見た監視画像を取得することによって、作業場所におけるロボットの相対的な位置、ロボットの姿勢、及びロボットの作業環境等を把握することができるロボット制御システム、ロボット制御方法、これらに用いて好適なロボット及び制御装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るロボット制御システムの全体構成図である。
【図２】本発明の一実施形態に係るロボット制御システムにおけるロボットの外観図である。
【図３】本発明の一実施形態に係るロボット制御システムにおけるロボットの機能ブロック図である。
【図４】本発明の一実施形態に係るロボット制御システムにおける操作卓の外観図である。
【図５】本発明の一実施形態に係るロボット制御システムにおける操作卓の機能ブロック図である。
【図６】本発明の一実施形態に係るロボット制御システムにおける操作卓の画面表示を示す図である。
【図７】本発明の一実施形態に係るロボット制御システムにおいて、操作卓に対して画像を送信する動作を示すフローチャートである。
【図８】本発明の一実施形態に係るロボット制御システムにおいて、ロボットが制御される動作を示すフローチャートである。
【図９】本発明の一実施形態に係るロボット制御システムにおいて、ロボットに設けられた監視用カメラを制御する動作を示すフローチャートである。
【図１０】本発明の一実施形態に係るロボット制御システムにおいて、操作卓において画像を表示する動作を示すフローチャートである。
【図１１】本発明の一実施形態に係るロボット制御システムにおいて、操作者が操作卓を用いてロボットを制御する動作を示すフローチャートである。
【図１２】本発明の一実施形態に係るロボット制御システムにおけるロボットの外観図である。
【図１３】本発明の一実施形態に係るロボット制御システムにおけるロボットの機能ブロック図である。
【図１４】本発明の一実施形態に係るロボット制御システムにおいて、操作卓に対して画像を送信する動作を示すフローチャートである。
【図１５】本発明の一実施形態に係るロボット制御システムにおいて、操作卓に対して画像を送信する動作を説明するための図である。
【図１６】本発明の一実施形態に係るロボット制御システムの全体構成図である。
【図１７】本発明の一実施形態に係るロボット制御システムにおけるロボットの外観図である。
【図１８】本発明の一実施形態に係るロボット制御システムにおけるロボットの機能ブロック図である。
【図１９】本発明の一実施形態に係るロボット制御システムにおける操作卓の外観図である。
【図２０】本発明の一実施形態に係るロボット制御システムにおける操作卓の機能ブロック図である。
【図２１】本発明の一実施形態に係るロボット制御システムにおいて、操作卓に対して画像を送信する動作を説明するための図である。
【図２２】本発明の一実施形態に係るロボット制御システムにおいて、操作卓において画像を表示する動作を示すフローチャートである。
【符号の説明】
ａ、ｂ、ｄ…操作者
１…作業対象
１０…ロボット制御システム
１２、１００、２１２…第１のロボット
１４、１０２、２１４…第２のロボット
２２、２２０…第１の操作卓
２４、２２１…第２の操作卓
３０…ネットワーク
４０ａ、４０ｂ、４０ｃ、４０ｄ、４０ｅ、４０ｆ、４０ｇ…基地局
５２…監視用カメラ
５２ａ…監視用カメラ制御部
５４…作業用カメラ
５４ａ…作業用カメラ制御部
５６、７６…アンテナ
５６ａ…無線部
５８…腕部
５８ａ…腕部制御部
６０…マーカ
６２…駆動輪
６２ａ…移動機構制御部
６２ｂ…モータ
６４、８０…ＣＰＵ
７０…作業用ディスプレイ
７０ａ…作業用ディスプレイ制御部
７２…監視用ディスプレイ
７２ａ…監視用ディスプレイ制御部
７４…制御側無線部
７８…マスターアーム
７８ａ…マスターアーム制御部
９０…全方向カメラ
９０ａ…カメラ制御部
１２０…ドーナッツ状画像
１２２…パノラマ状画像
１２４…作業画像
１２６…監視画像
２１６…第３のロボット
２２２…第３の操作卓
２５２…第１の監視用カメラ
２５２ａ…第１の監視用カメラ制御部
２５４…第２の監視用カメラ
２５４ａ…第２の監視用カメラ制御部
２７２…第１の監視用ディスプレイ
２７２ａ…第１の監視用ディスプレイ制御部
２７４…第２の監視用ディスプレイ
２７４ａ…第２の監視用ディスプレイ制御部
Claims (9)
- 制御装置を用いて第１のロボットを制御するためのロボット制御方法であって、
前記第１のロボットが、作業状況を示す作業画像を取得して前記第１の制御装置に送信する工程と、
第２のロボットが、前記第１のロボットを監視するための監視画像を取得して前記第１の制御装置に送信する工程と、
前記制御装置が、前記第１のロボットから送信された前記作業画像及び前記第２のロボットから送信された前記監視画像を表示する工程とを有することを特徴とするロボット制御方法。 - 第１のロボットと、第２のロボットと、該第１のロボットを制御する第１の制御装置と、該第２のロボットを制御する第２の制御装置とを具備するロボット制御システムであって、
前記第１のロボットは、
該第１のロボットの作業状況を示す第１の作業画像及び前記第２のロボットを監視するための第１の監視画像を取得するカメラと、
取得した前記第１の作業画像を前記第１の制御装置に送信し、取得した前記第１の監視画像を前記第２の制御装置に送信する通信部とを具備し、
前記第２のロボットは、
該第２のロボットの作業状況を示す第２の作業画像及び前記第１のロボットを監視するための第２の監視画像を取得するカメラと、
取得した前記第２の作業画像を前記第２の制御装置に送信し、取得した前記第２の監視画像を前記第２の制御装置に送信する通信部とを具備し、
前記第１の制御装置は、前記第１のロボットから送信された前記第１の作業画像及び前記第２のロボットから送信された前記第２の監視画像を表示する表示部を具備し、
前記第２の制御装置は、前記第２のロボットから送信された前記第２の作業画像及び前記第１のロボットから送信された前記第１の監視画像を表示する表示部を具備することを特徴とするロボット制御システム。 - 作業状況を示す作業画像及び他のロボットを監視するための監視画像を取得するカメラと、
取得した前記作業画像を第１の制御装置に送信し、取得した前記監視画像を第２の制御装置に送信する通信部とを具備することを特徴とするロボット。 - 前記カメラは、前記作業画像を取得する作業用カメラと、前記監視画像を取得する監視用カメラとを具備し、
前記他のロボットに設けられたマーカの画像領域の重心を検出し、該重心が前記監視画像のほぼ中心に位置するように前記監視用カメラを制御する監視用カメラ制御部を具備することを特徴とする請求項３に記載のロボット。 - 前記カメラは、
ほぼ３６０度のパノラマ状画像を取得し、
前記パノラマ状画像から、所定の方位角範囲の画像を前記作業画像として抽出し、
前記パノラマ状画像から、前記他のロボットに設けられたマーカの画像領域の重心を検出し、該重心を中心とした所定の方位角範囲の画像を前記監視画像として抽出することを特徴とする請求項３に記載のロボット。 - 前記通信部は、前記作業画像又は前記監視画像と共に、該ロボットを識別するためのロボット識別情報又は画像の種類を識別するための画像識別情報を送信することを特徴とする請求項３に記載のロボット。
- 前記第１のロボットの作業状況を示す作業画像を該第１のロボットから受信し、該第１のロボットを監視するための監視画像を第２のロボットから受信する画像受信部と、
前記作業画像及び前記監視画像を表示する表示部とを具備することを特徴とする制御装置。 - 前記画像受信部は、前記ロボットを識別するためのロボット識別情報又は画像の種類を識別するための画像識別情報に基づいて、前記作業画像と前記監視画像とを判定することを特徴とする請求項７に記載の制御装置。
- 前記第１のロボットには、前記第２のロボットを監視するための監視画像を取得する監視用カメラが設けられており、
前記第２のロボットに設けられたマーカの画像領域の重心を検出し、該重心が前記監視画像のほぼ中心に位置するように前記第１のロボットに設けられた監視用カメラを制御することを特徴とする請求項７に記載の制御装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003089229A JP2004291186A (ja) | 2003-03-27 | 2003-03-27 | ロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003089229A JP2004291186A (ja) | 2003-03-27 | 2003-03-27 | ロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004291186A true JP2004291186A (ja) | 2004-10-21 |
Family
ID=33403159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003089229A Pending JP2004291186A (ja) | 2003-03-27 | 2003-03-27 | ロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004291186A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008536112A (ja) * | 2005-03-30 | 2008-09-04 | ザ・トラスティーズ・オブ・ザ・ユニバーシティ・オブ・ペンシルバニア | 撮像デバイスの位置特定を行うシステムおよび方法 |
| JP2012171024A (ja) * | 2011-02-17 | 2012-09-10 | Japan Science & Technology Agency | ロボットシステム |
| JP2013114324A (ja) * | 2011-11-25 | 2013-06-10 | Chiba Inst Of Technology | 無人走行体の遠隔操縦システム |
| JP2013114322A (ja) * | 2011-11-25 | 2013-06-10 | Chiba Inst Of Technology | 無人走行体の遠隔操縦システム |
| WO2015194658A1 (ja) * | 2014-06-20 | 2015-12-23 | オムロン株式会社 | ロボット制御システム |
| WO2016059663A1 (ja) * | 2014-10-16 | 2016-04-21 | 日揮株式会社 | 医薬製造設備 |
| WO2016059662A1 (ja) * | 2014-10-16 | 2016-04-21 | 日揮株式会社 | 医薬製造設備 |
| JP2018118813A (ja) * | 2017-01-24 | 2018-08-02 | フジテック株式会社 | 昇降装置の保守確認システム |
| JP2019057085A (ja) * | 2017-09-20 | 2019-04-11 | 株式会社東芝 | 情報処理装置、情報処理方法、プログラムおよび通信システム |
| JP2020089937A (ja) * | 2018-12-05 | 2020-06-11 | 三菱電機株式会社 | ロボット遠隔操作装置 |
-
2003
- 2003-03-27 JP JP2003089229A patent/JP2004291186A/ja active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008536112A (ja) * | 2005-03-30 | 2008-09-04 | ザ・トラスティーズ・オブ・ザ・ユニバーシティ・オブ・ペンシルバニア | 撮像デバイスの位置特定を行うシステムおよび方法 |
| JP2012171024A (ja) * | 2011-02-17 | 2012-09-10 | Japan Science & Technology Agency | ロボットシステム |
| JP2013114324A (ja) * | 2011-11-25 | 2013-06-10 | Chiba Inst Of Technology | 無人走行体の遠隔操縦システム |
| JP2013114322A (ja) * | 2011-11-25 | 2013-06-10 | Chiba Inst Of Technology | 無人走行体の遠隔操縦システム |
| CN106457573A (zh) * | 2014-06-20 | 2017-02-22 | 欧姆龙株式会社 | 机器人控制系统 |
| WO2015194658A1 (ja) * | 2014-06-20 | 2015-12-23 | オムロン株式会社 | ロボット制御システム |
| JP2016007648A (ja) * | 2014-06-20 | 2016-01-18 | オムロン株式会社 | ロボット制御システム |
| US10286547B2 (en) | 2014-06-20 | 2019-05-14 | Omron Corporation | Robot control system |
| WO2016059663A1 (ja) * | 2014-10-16 | 2016-04-21 | 日揮株式会社 | 医薬製造設備 |
| WO2016059662A1 (ja) * | 2014-10-16 | 2016-04-21 | 日揮株式会社 | 医薬製造設備 |
| JP2018118813A (ja) * | 2017-01-24 | 2018-08-02 | フジテック株式会社 | 昇降装置の保守確認システム |
| JP2019057085A (ja) * | 2017-09-20 | 2019-04-11 | 株式会社東芝 | 情報処理装置、情報処理方法、プログラムおよび通信システム |
| JP2020089937A (ja) * | 2018-12-05 | 2020-06-11 | 三菱電機株式会社 | ロボット遠隔操作装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2012153805A1 (ja) | 監視システム及び監視方法 | |
| US10169880B2 (en) | Information processing apparatus, information processing method, and program | |
| JP5028568B2 (ja) | ロボット制御システム | |
| JP2019062308A (ja) | カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム | |
| JP2004291186A (ja) | ロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置 | |
| US11164390B2 (en) | Method and apparatus for displaying virtual reality image | |
| KR20170044451A (ko) | 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법 | |
| CN114554093B (zh) | 图像采集系统及目标跟踪方法 | |
| KR20120084159A (ko) | 전자발찌 착용자에 대한 영상 감시 시스템 및 방법 | |
| JP2019062293A (ja) | カメラ装置、カメラ装置制御システム、及びプログラム | |
| JP3912584B2 (ja) | 遠隔操作装置 | |
| JP2007303913A (ja) | 異物検知装置、それを用いたロボット装置、異物検知方法および異物検知プログラム | |
| TWI471825B (zh) | 天台安全監控系統及方法 | |
| JPH1034570A (ja) | ロボット遠隔制御システム | |
| KR20190091870A (ko) | 모션센서와 vr을 활용한 로봇 제어 시스템 | |
| JP6005496B2 (ja) | 遠隔監視装置および遠隔監視方法 | |
| CN111010543A (zh) | 机器人遥视视频监控方法、装置、电子设备及存储介质 | |
| US20230074477A1 (en) | System and method for object monitoring, localization, and controlling | |
| WO2006038650A1 (ja) | 監視装置 | |
| CN110692086A (zh) | 用于虚拟现实的对象检测 | |
| JP2021177597A (ja) | 撮像装置及び撮像システム | |
| WO2019093692A1 (ko) | 카메라를 포함하는 무인 비행 장치를 조종하는 방법 및 전자장치 | |
| JPH10291188A (ja) | 立体映像提示方法 | |
| KR20190109168A (ko) | 복합현실 표시장치를 이용한 멀티 유저 운영시스템 및 그 방법 | |
| WO2023162484A1 (ja) | 情報処理装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061218 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070403 |