JP2010198064A - ロボット制御システム及びロボット制御方法 - Google Patents

Abstract

【課題】ユーザが、室内の所望の場所のみの掃除を行わせる作業等（その内容を確定させるために場所の指定を必要とする作業）をロボットに容易に行わせることが可能な環境を実現できるロボット制御システムを提供する。
【解決手段】ロボット制御システムを、ディスプレイ２１上に、管理対象エリアの状況／様子を示す画像を表示するシステムであって、ディスプレイ２１に表示されている画像上にユーザによって描画された線分図形の形状及び位置から、ロボット２５に行わせるべき作業の内容を把握し、把握した内容の作業を行うようにロボット２５を制御するシステムとして構成しておく。
【選択図】図１

Description

本発明は、ロボットを制御するためのロボット制御システムとロボット制御方法とに、関する。

近年、掃除やモップがけを行えるロボット（例えば、特許文献１参照。）が、一般家庭で使用されるようになってきているが、そのような既存のロボットは、室内の一部のみの掃除等（場所の指定を必要とする作業）を行わせる場合、煩雑な操作をコントローラに対して行わなければならないものとなっている。

特開２００６−３３１４３４号公報

"Gestures without Libraries, Toolkits or Training: A $1 Recognizer for User interface Prototypes.", Proceedings of the 20th Annual ACM Symposium on User Interface Software and Technology, pp.159-168,2007.

そこで、本発明の課題は、室内の所望の部分のみの掃除を行わせる作業等（その内容を確定させるために場所の指定を必要とする作業）をロボットに行わせることが容易な環境を実現できるロボット制御システム及びロボット制御方法を提供することにある。

上記課題を解決するために、本発明の、ロボットを制御するためのロボット制御システムは、供給された画像データに基づく画像表示を行うディスプレイと、所定エリアの状況を示す画像データを周期的に生成する生成手段と、前記生成手段により生成された各画像データを前記ディスプレイに供給する供給手段と、所定規則を満たす形状の１個以上の線分図形がペン、指又はマウスにより前記ディスプレイ上に描かれるのを監視する監視手段と、前記監視手段により前記ディスプレイ上に描かれたことが検出された前記１個以上の線分図形の形状及び位置に基づき、前記１個以上の線分図形の描画者が前記所定エリア内で前記ロボットが行うべき作業として指定した、その内容を確定させるために場所の指定を必要とする作業の内容を把握し、把握した内容の作業を前記ロボットに行わせるロボット制御手段とを備える。

すなわち、本発明のロボット制御システムは、所定エリアの状況／様子を示す画像をディスプレイ上に表示し、そのディスプレイに表示されている画像上に、所定規則を満たす形状の１個以上の線分図形がペン等により描画された場合に、当該線分図形の形状及び位置に基づき、ロボットに行わせるべき“その内容を確定させるために場所の指定を必要とする作業”の内容を把握して、その把握結果に従ってロボットを制御する構成を有している。そして、ペン、指又はマウスにより、画像上に、場所を指定する部分を含む線分図形を描画することは容易に行えることである。従って、このロボット制御システムは、『室内の所望の部分のみの掃除を行わせる作業等（その内容を確定させるために場所の指定を必要とする作業）をロボットに行わせることが容易な環境を実現できるシステム』となっていると言うことが出来る。

本発明のロボット制御システムは、１種の作業を１台のロボットに行わせることしか出来ないシステムとして実現しても、２種以上の作業を１台又は複数台のロボットに行わせることが出来るシステムとして実現しても良いものである。また、どちらのタイプのロボット制御システムを実現する際にも、『監視手段によりディスプレイ上に描かれたことが検出された１個以上の線分図形の形状及び位置に基づき動作／機能するロボット制御手段』を採用しておくことが出来る。ただし、後者のタイプのロボット制御システムに、『監視手段によりディスプレイ上に描かれたことが検出された１個の線分図形の形状及び位置に基づき動作／機能するロボット制御手段』を採用した場合、比較的に複雑な形状の線分図形（場所を指定する部分と作業の種類を指定する部分とを含む線分図形）をユーザに描画させることが必要になる。このため、後者のタイプのロボット制御システムを製造する場合には、ロボット制御手段として、『監視手段によりディスプレイ上に描かれたことが検出された１個又は２個以上の線分図形の形状及び位置に基づき動作／機能する手段』を採用しておくことが望ましい。

また、本発明のロボット制御システムのロボット制御手段を、『前記監視手段によって前記ディスプレイ上に描かれたことが検出された前記１個以上の線分図形の形状及び位置と、前記生成手段により生成された画像データとに基づき、前記描画者が前記ロボットに行わせるべき前記所定エリア内での作業として指定した、その内容を確定させるために場所及び物体の指定を必要とする作業の内容を把握し、把握した内容の作業を前記ロボットに行わせる機能を有する手段』としておくことも出来る。換言すれば、本発明のロボット制御システムを、“その内容を確定させるために場所及び物体の指定を必要とする作業”をロボットに行わせることが出来るシステムとして構成しておくことも出来る。

また、『ユーザがペン、指又はマウスにより前記ディスプレイに対して所定の操作を行ったときに、前記ロボット制御手段による前記ロボットの制御動作を中止させる中止手段』を付加した形で、本発明のロボット制御システムを実現することも出来る。なお、そのような中止手段としては、『メニューの表示を指示する操作とメニューからメニュー項目を選択する操作とが行われたときに、ロボット制御手段によるロボットの制御動作を中止させる手段』、『所定形状の線分図形が描画されたときに、ロボット制御手段によるロボットの制御動作を中止させる手段』等を採用することが出来る。

また、ディスプレイに、ロボットに作業を行わせるエリア（所定エリア）を真上から見た画像が表示された方が、各種指示を出しやすい。このため、本発明のロボット制御システムを実現する際には、生成手段として、『前記所定エリアを真上から撮影することにより画像データを生成する手段』を採用しておくことが望ましい。

また、上記課題を解決するために、本発明のロボット制御方法では、所定エリアの状況を示す画像をディスプレイに表示させる画像表示ステップと、所定規則を満たす形状の線分図形がペン、指又はマウスにより前記ディスプレイ上に描かれるのを監視する監視ステップと、前記監視ステップによって前記ディスプレイ上に描かれたことが検出された前記１個以上の線分図形の形状及び位置に基づき、前記１個以上の線分図形の描画者が前記所定エリア内で前記ロボットが行うべき作業として指定した、その内容を確定させるために場所の指定を必要とする作業の内容を把握し、把握した内容の作業を前記ロボットに行わせるロボット制御ステップとにより、ロボットを制御する。

すなわち、本発明のロボット制御方法は、本発明のロボット制御システム（請求項１記載のもの）と同手順でロボットを制御するものとなっている。従って、このロボット制御方法によっても、室内の一部のみの掃除を行わせる作業等（その内容を確定させるために場所の指定を必要とする作業）をロボットに行わせることが容易な環境を実現できること
になる。

本発明のロボット制御システム、ロボット制御方法を用いておけば、室内の一部のみの掃除を行わせる作業等（その内容を確定させるために場所の指定を必要とする作業）をロボットに行わせることが容易な環境を実現することできる。

本発明の第１実施形態に係るロボット制御システムの構成図である。 第１実施形態に係る制御装置が実行する指示応答処理の流れ図である。 第１実施形態に係る制御装置が実行する指示応答処理の、図２に続く流れ図である。 移動指示操作、掃除指示操作及びメニュー表示指示操作の説明図である。 本発明の第２実施形態に係るロボット制御システムの構成図である。 休止指示操作、再開指示操作及び充電指示操作の説明図である。 第２実施形態に係る制御装置が実行する指示応答処理の流れ図である。 領域選択操作等として採用可能な描画操作の説明図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

《第１実施形態》
まず、図１を用いて、本発明の第１実施形態に係るロボット制御システムの構成を説明する。

本実施形態に係るロボット制御システムは、ロボット２５を制御するためのシステムであり、図示してあるように、１台以上（図では、４台）のカメラ１１とサーバ１２と制御装置２０とを備えている。

このロボット制御システムが制御するロボット２５は、市販されている掃除ロボット（本実施形態では、Roomba（iRobot Corporationの商標））を無線制御が可能なように改造したロボットである。

ロボット制御システムが備える各カメラ１１は、被写体の状況を示す画像データを出力可能な装置（ＰＣカメラ、Ｗｅｂカメラ等と称されている装置）である。各カメラ１１は、全てのカメラ１１からの画像データを合成することにより、ロボット２５に各種作業を行わせるエリア（以下、監視対象エリアと表記する）の状況を示す画像データを生成できる位置に、真下を向けた形で、固定されている。

サーバ１２は、監視対象エリア全域の現状を示す画像データを制御装置２０に供給するための装置である。このサーバ１２は、『周期的に、システムを構成している１台以上のカメラ１１からの画像データに基づき監視対象エリア全域の現状を示す画像データを生成して制御装置２０に無線送信する処理』を行わせるためのサーバ用プログラムを、通常のコンピュータにインストールしたものとなっている。

制御装置２０は、ディスプレイ２１を備えた、無線通信機能を有するコンピュータに、本システム用のものとして開発したロボット制御プログラムをインストールした装置である。この制御装置２０は、ディスプレイ２１として、いわゆるタッチパネルディスプレイを備えた装置となっている。

次に、本ロボット制御システムの機能（ロボット制御プログラム実行時における制御装置２０の動作）を、説明する。

サーバ１２にてサーバ用プログラムが実行されている状態で、制御装置２０にロボット制御プログラムを実行させると、制御装置２０は、サーバ１２からの画像データに基づく画像表示をディスプレイ２１に行わせるための処理を開始する。

また、制御装置２０は、図２及び図３に示した手順の指示応答処理も開始して、まず、ディスプレイ２１上（ディスプレイ２１に表示されている画像上）へのペン、指又はマウスによる図形（線分）の描画が開始されるのを監視している状態（ステップＳ１０１の処理／判断を繰り返している状態）となる。

そして、制御装置２０は、描画が開始された場合（ステップＳ１０１；ＹＥＳ）には、描画操作が完了するまで、描画座標を周期的に記憶する処理（ステップＳ１０２）を実行する。

ステップＳ１０２の処理が完了した場合（ユーザによる描画操作が完了した場合）、制御装置２０は、当該処理時に記憶した描画座標群と、ディスプレイ２１に供給されている画像データ（サーバ１２からの画像データ）とに基づき、今回の描画操作が、掃除指示操作、移動指示操作、メニュー表示指示操作、その他の操作のいずれであるかを判別する処理（ステップＳ１０３）を行う。

ここで、掃除指示操作、移動指示操作、メニュー表示指示操作とは、図４（ａ）〜図４（ｃ）に示したように線分を描画する操作のことである。すなわち、掃除指示操作、移動指示操作、メニュー表示指示操作とは、それぞれ、『ロボット２５上の一点から他点に至るように線分を描画する操作』（図４（ａ））、『ロボット２５が存在していない領域を囲むように線分を描画する操作』（図４（ｂ））、『ロボット２５を囲むように線分を描画する操作』（図４（ｃ））のことである。

なお、ステップＳ１０３の処理及び後述するステップＳ１１１の処理は、描画された線分の形状が、或る領域をほぼ囲むもの（全長に対する両端点間の距離の割合が所定置以下のもの）であれば、ユーザが行った描画操作が、掃除指示操作／メニュー表示指示操作であると判定するものとなっている。

制御装置２０は、今回の描画操作が、その他の操作（掃除指示操作、移動指示操作、メニュー表示指示操作以外の無効な操作）であった場合（ステップＳ１０４：その他）には、ステップＳ１０１以降の処理を再び開始する。

また、制御装置２０は、今回の描画操作が、移動指示操作であった場合（ステップＳ１０４；掃除／移動）には、移動用制御処理を開始（ステップＳ１０５）し、今回の描画操作が掃除指示操作であった場合（ステップＳ１０４；掃除／移動）には、掃除用制御処理を開始する（ステップＳ１０５）。

ここで、移動用制御処理とは、移動指示操作により描画された線分（図４（ａ）参照）上を当該線分の終点側の端点まで移動するように、ロボット２５を制御する処理のことである。また、掃除用制御処理とは、掃除指示操作により描画された線分（図４（ｂ）参照）内の領域の掃除を行うように、ロボット２５を制御する処理のことである。なお、これらの制御処理及び後述する充電用制御処理は、いずれも、サーバ１２からの画像データに基づき、ロボット２５の現在位置を監視（把握）しながら、ロボット２５を制御する（ロボット２５の進行方向を制御する）ものとなっている。

制御処理（移動用／掃除用／充電用制御処理）を開始した制御装置２０は、制御処理を実行しながら、制御処理が完了することと、メニュー表示指示操作がなされることとを監視している状態（図３のステップＳ１１１の処理／判断を繰り返している状態）となる。要するに、制御装置２０は、上記したステップＳ１０１〜Ｓ１０４の処理とほぼ同手順でメニュー表示指示操作がなされることを監視しながら、実行中の制御処理が完了することを監視している状態となる。

そして、制御装置２０は、制御処理が完了した場合（ステップＳ１１１；制御処理完）には、初期状態（ステップＳ１０１の処理を行っている状態）に戻る。

一方、制御処理が完了する前に、メニュー表示指示操作がなされた場合（ステップＳ１１１；メニュー表示指示操作）、制御装置２０は、ステップＳ１１２にて、メニュー表示処理を実行する。また、制御装置２０は、制御処理を行っていない状態で、メニュー表示指示操作がなされた場合（図２：ステップＳ１０４；メニュー表示）には、ステップＳ１０６にて、メニュー表示処理を実行する。

ステップＳ１０６及びステップＳ１１２で実行されるメニュー表示処理は、基本的には、“中止”、“休止”、“再開”、“充電”が選択肢として示されるメニューをディスプレイ２１上に表示し、いずれかの選択肢を選択する操作がなされた場合と、メニューを閉じる操作がなされた場合とに、メニューをディスプレイ２１上から消去して終了する処理である。

ただし、メニュー表示処理は、その実行開始時に制御処理が実行中でなかった場合には、“充電”のみを選択可能なメニューを表示する処理（他の選択肢がグレーアウト表示されたメニューを表示し、“充電”のみの選択を受け付ける処理）となっている。

また、メニュー表示処理は、その実行開始時に制御処理が実行中であった場合には、“中止”及び“休止”のみが選択可能なメニューを表示し、その実行開始時に制御処理が休止中であった場合には、“中止”及び“再開”のみが選択可能なメニューを表示する処理となっている。さらに、メニュー表示処理は、その実行中に制御処理が完了した場合には、表示中のメニューを、“充電”のみを選択可能なメニューに変更する処理となっている。

要するに、制御処理を実行していない状態で、メニュー表示指示操作がなされた場合（図２：ステップＳ１０４；メニュー表示）、制御装置２０は、メニュー表示処理（ステップＳ１０６）の開始時に、タッチスクリーン上に“充電”のみを選択可能なメニューを表示する。

そして、制御装置２０は、“充電”が選択されることなくメニュー表示処理を終了した場合（ステップＳ１０７；ＮＯ）、つまり、メニューが単に閉じられた場合には、ステップＳ１０１以降の処理を開始する。また、制御装置２０は、メニューから“充電”が選択されたためメニュー表示処理を終了した場合（ステップＳ１０７；ＹＥＳ）には、ロボット２５をバッテリステーションまで移動させるための充電用制御処理を開始（ステップＳ１０８）してから、図３のステップＳ１１１以降の処理を開始する。なお、バッテリステーションとは、そこまでロボット２５を移動させれば、ロボット２５への充電が開始されることになる機器のことである。

一方、制御処理を実行している状態で、メニュー表示指示操作がなされた場合（図３：ステップＳ１１１；メニュー表示指示操作）、制御装置２０は、ステップＳ１１２におけ
るメニュー表示処理の開始時に、タッチスクリーン上に“中止”及び“休止”のみが選択可能なメニューを表示する。

その後、制御装置２０は、制御処理が完了することを監視しながら、表示したメニューに対する操作（選択肢の選択操作、メニューを閉じるための操作）がなされることを監視している状態となる。

制御装置２０は、メニューに対する操作がなされる前に、制御処理が完了した場合には、表示中のメニューを、“充電”のみを選択可能なメニューに変更する（ステップＳ１１２）。そして、制御装置２０は、変更したメニューから“充電”が選択された場合（ステップＳ１１３；充電）には、ステップＳ１０８（図２）以降の処理を開始する。また、制御装置２０は、変更後のメニューが単に閉じられた場合（ステップＳ１１３；無し）には、メニューの表示中（メニュー表示処理の実行中）に、制御処理が完了している（ステップＳ１１５；ＹＥＳ）ので、ステップＳ１０１以降の処理を開始する。

制御装置２０は、“中止”及び“休止”のみが選択可能なメニュー（制御処理実行中に制御装置２０が表示するメニュー）から“中止”が選択された場合（ステップＳ１１３：中止）には、実行中の制御処理を中止（ステップＳ１１４）した後に、ステップＳ１０１以降の処理を開始する。また、制御装置２０は、当該メニューが単に閉じられた場合（ステップＳ１１３：無し）には、メニューの表示中に制御処理が完了していない（ステップＳ１１５；ＮＯ）ので、ステップＳ１１１以降の処理を開始する。

上記メニューから“休止”が選択された場合（ステップＳ１１３：休止）、制御装置２０は、実行中の制御処理を休止（中断）する（ステップＳ１１６）。その後、制御装置２０は、ステップＳ１１１にてメニュー表示指示操作が行われるのを監視している状態となる。

そして、制御装置２０は、メニュー表示指示操作が行われた場合（ステップＳ１１１；メニュー表示指示操作）には、制御処理が休止中であるため、“中止”及び“再開”のみが選択可能なメニューを表示する（ステップＳ１１２）。

制御装置２０は、当該メニューから“再開”が選択された場合（ステップＳ１１３；再開）には、制御処理を再開（ステップＳ１１６）してから、ステップＳ１１１にて、再開した制御処理が完了することと、メニュー表示指示操作が行われることとを監視している状態となる。また、制御装置２０は、当該メニューから“中止”が選択された場合（ステップＳ１１３；中止）には、制御処理を中止（ステップＳ１１４）してから、掃除指示操作等が行われるのを監視（待機）している状態（ステップＳ１０１〜Ｓ１０４のループ処理を実行している状態）となる。

以上、説明したように、本実施形態に係るロボット制御システムは、監視対象エリアの状況／様子を示す画像がディスプレイ２１に表示されるシステムであって、ユーザが、当該画像上にペン（又は指、マウス）で図４（ａ）、図４（ｂ）のような形状の線分図形（１本の線分からなる図形）を描画することにより、或る場所の掃除をロボット２５に行わせることや、ロボット２５を所望の位置まで移動させることが出来るシステムとなっている。従って、このロボット制御システムを用いておけば、ユーザが極めて容易かつ直感的にロボット２５を制御できる環境を実現できることになる。

《第２実施形態》
以下、本発明の第２実施形態に係るロボット制御システムの構成及び動作を、第１実施形態に係るロボット制御システムと異なっている点を中心に説明する。

図５に、本発明の第２実施形態に係るロボット制御システムの構成を示す。

本実施形態に係るロボット制御システムの、制御装置２０以外の各構成要素（カメラ１１、サーバ１２）は、第１実施形態に係るロボット制御システムの各構成要素と同じものである。

制御装置２０（以下、第２制御装置２０とも表記する）は、モップがけが行えるロボット２６（本実施形態では、Scooba（iRobot Corporationの商標））を無線制御が可能なように改造したもの）も制御できるように、かつ、ユーザが線分の描画操作でロボット２５、２６の制御処理の中止等を指示できるように、第１実施形態に係るロボット制御システムの制御装置２０（以下、第１制御装置２０とも表記する）を改良した（プログラミングし直した）装置である。

より具体的には、第２制御装置２０は、指示応答処理として、図７に示した手順の処理を実行するように、第１制御装置２０を改良した装置となっている。

すなわち、第２制御装置２０は、通常は、ステップＳ２０１にて、現状において有効な描画操作が行われることを待機（監視）している。

具体的には、このステップＳ２０１にて、第２制御装置２０は、まず、ディスプレイ２１上（ディスプレイ２１に表示されている画像上）へのペン（又は指、マウス）による描画が開始されるのを待機する待機処理を行う。

第２制御装置２０は、描画が開始された場合（待機処理が終了した場合）には、描画操作が完了するまで描画座標を周期的に記憶する処理を開始する。そして、当該処理を終えた第２制御装置２０は、当該処理時に記憶した描画座標群と、ディスプレイ２１に供給されている画像データとに基づき、今回の描画操作が、移動指示操作、ロボット選択操作、領域選択操作、休止指示操作、再開指示操作、充電指示操作、その他の操作のいずれであるかを判別する判別処理を行う。

ここで、移動指示操作、領域選択操作、ロボット選択操作とは、『ロボット２５又は２６上の一点から他点に至るように線分を描画する操作』（図４（ａ）参照）、『ロボット２５及び２６が存在していない領域を囲むように線分を描画する操作』（図４（ｂ）参照）、『ロボット２５又は２６を囲むように線分を描画する操作』（図４（ｃ）参照）のことである。

また、休止指示操作、再開指示操作、充電指示操作とは、それぞれ、図６（ａ）〜図６（ｃ）に示したように線分を描画する操作のことである。すなわち、休止指示操作とは、『その一部がロボット２５又は２６上に位置しているように、×状の図形（線分）を描画する操作』（図６（ｂ））のことであり、再開指示操作とは、『その一部がロボット２５又は２６上に位置しているように、三角形状の図形を描画する操作』のことである。また、充電指示操作とは、『その一部がロボット２５又は２６上に位置しているように、星形五角形（五亡星）状の図形を描画する操作』（図６（ｃ））のことである。

上記内容の判別処理を終えた第２制御装置２０は、当該判別処理による判別結果が、移動指示操作、ロボット選択操作又は充電指示操作であった場合には、指定ロボットに対する制御処理を行っているか否かを判断する。なお、指定ロボットとは、移動指示操作時に書かれた線分の始点位置に位置しているロボット２５又は２６や、ロボット選択操作時に書かれた円状の線分内に位置しているロボット２５又は２６、その上に図６（ａ）〜図６
（ｃ）の図形が描かれたロボット２５又は２６のことである。また、第２制御装置２０の、制御処理を行っているか否かを判断は、制御処理を休止している場合、制御処理を行っていないと判断するものとなっている。

そして、第２制御装置２０は、指定ロボットに対する制御処理を行っていなかった場合には、今回の描画操作が現状において有効なものであると判断して、ステップＳ２０１の処理を終了する。また、第２制御装置２０は、指定ロボットに対する制御処理を行っていた場合には、今回の描画操作が現状において無効なものであると判断して、ステップＳ２０１の処理（上記した待機処理で始まる一連の処理）を最初からやり直す。

判別処理による判別結果が休止指示操作であった場合、第２制御装置２０は、指定ロボットに対する制御処理を行っているか否かを判断する。そして、第２制御装置２０は、指定ロボットに対する制御処理を行っていた場合には、今回の描画操作が現状において有効なものであると判断して、ステップＳ２０１の処理を終了する。また、第２制御総理２０は、指定ロボットに対する制御処理を行っていた場合には、今回の描画操作が現状において無効なものであると判断して、ステップＳ２０１の処理を最初からやり直す。

判別処理による判別結果が再開指示操作であった場合、第２制御装置２０は、当該操作で指定されているロボットに対する制御処理を休止（中断）しているか否かを判断する。そして、第２制御装置２０は、当該ロボットに対する制御処理を休止している場合には、今回の描画操作が現状において有効なものであると判断して、ステップＳ２０１の処理を終了し、そうでなかった場合には、今回の描画操作が現状において無効なものであると判断して、ステップＳ２０１の処理を最初からやり直す。

判別処理による判別結果が領域選択操作であった場合、第２制御装置２０は、現在の制御対象ロボット（詳細は後述：ステップＳ２０３、Ｓ２０８参照）に対する制御処理を行っているか否かを判断する。そして、第２制御装置２０は、制御対象ロボットに対する制御処理を行っていなかった場合には、今回の描画操作が現状において有効なものであると判断して、ステップＳ２０１の処理を終了し、そうでなかった場合には、ステップＳ２０１の処理を最初からやり直す。

ステップＳ２０１の処理を終えた第２制御装置２０は、ユーザが行った描画操作が、ロボット選択操作であった場合（ステップＳ２０２；ロボット選択）には、当該ロボット選択操作により選択されたロボットが、制御対象ロボットとなったことを記憶する（ステップＳ２０３）。その後、第２制御装置２０は、ステップＳ２０１に戻って、有効な描画操作がなされるのを待機する。

また、第２制御装置２０は、描画操作が領域選択操作（図４（ｂ）参照）であった場合（ステップＳ２０２；領域選択）には、現在の制御対象ロボットが、ロボット２５（掃除を行えるロボット）であるか、ロボット２６（モップがけを行えるロボット）であるかを判断する（ステップＳ２０８）。

そして、第２制御装置２０は、現在の制御対象ロボットがロボット２６であった場合（ステップＳ２０８：モップがけ）には、領域選択操作により選択されている領域内のモップがけをロボット２５に行わせるための制御処理（図では、“モップがけロボットの制御処理”）を開始する（ステップＳ２０９）。また、第２制御装置２０は、現在の制御対象ロボットがロボット２５であった場合（ステップＳ２０８：掃除）には、領域選択操作により選択されている領域内の掃除をロボット２５に行わせるための制御処理（図では、“掃除ロボットの制御処理”）を開始する（ステップＳ２１０）。

第２制御装置２０は、ユーザの描画操作が充電指示操作（図６（ｃ））であった場合（ステップＳ２０２；充電）には、指定ロボットに対する充電用制御処理（ロボット２５又は２６をバッテリステーションまで移動させるための制御処理）を開始する（ステップＳ２０４）。また、第２制御装置２０は、描画操作が移動指示操作（図４（ａ））であった場合（ステップＳ２０２；移動）には、指定ロボットに対する移動用制御処理（移動指示操作により描画された線分上を当該線分の終点まで移動するように、ロボット２５又は２６を制御する処理）を開始する（ステップＳ２０７）。

ステップＳ２０４、Ｓ２０７、Ｓ２０９、Ｓ２１０のいずれかで、ロボット２５又は２６に対する制御処理を開始した第２制御装置２０は、制御処理を行いながら、ステップ２０１の処理を行っている状態となる。

そして、第２制御装置２０は、制御処理を行っていない方のロボットを機能させることがユーザによって指示された場合（移動指示操作等がなされた場合）には、ロボット２５、２６の双方を並行的に制御している状態となる。

また、第２制御装置２０は、休止指示操作（図６（ａ））がなされた場合（ステップＳ２０２；休止）には、指定ロボットに対する制御処理（指定ロボットに対して行っている制御処理）を休止（中断）する（ステップＳ２０５）。その後、制御装置２０は、ステップ２０１にて、制御処理を休止したロボットに対する再開指示操作等がなされるのを待機している状態となり、再開指示操作がなされた場合（ステップＳ２０２；再開）には、指定ロボットに対する制御処理を再開する（ステップＳ２０６）。

また、制御装置２０は、制御処理を休止しているロボットを動作させる必要がある操作がなされた場合には、当該ロボットに対する制御処理が中止されたものとして、当該ロボットに対する新たな制御処理を開始する。

以上、説明したように、本実施形態に係るロボット制御システムも、監視対象エリアの状況／様子を示す画像がディスプレイ２１に表示されるシステムであって、ユーザが、当該画像上にペン（又は指、マウス）で所定形状の図形（線分）を描画することにより、ロボット２５、２６を所望の位置まで移動させることや、或る場所の掃除をロボット２５に行わせることや、或る場所のモップがけをロボット２６に行わせることが出来るシステムとなっている。従って、このロボット制御システムも、ユーザが極めて容易かつ直感的にロボット２５、２６を制御できる環境を実現できるシステムとなっていることになる。

また、本実施形態に係るロボット制御システムは、図６（ａ）、図６（ｂ）のような図形の描画により、ロボット２５又は２６の動作を休止／再開させることが出来るシステムとなっている。従って、このロボット制御システムは、メニュー表示指示操作を行った後に、メニューから“休止”等を選択しなければならない第１実施形態に係るロボット制御システムよりも、ロボット２５又は２６の動作を休止／再開させることが容易に行えるシステムとなっていることにもなる。

《変形形態》
上記した各実施形態に係るロボット制御システムは、各種の変形を行うことが出来る。例えば、第１実施形態のロボット制御システムを、図形（線分）の描画により或る領域が指定された場合、当該領域内にロボット２５が存在しているか否かによらず、当該領域内の掃除をロボット２５に行わせるシステムに変形することが出来る。なお、第１実施形態のロボット制御システムを、そのようなシステムに変形する場合、ロボット２５の位置を調査する必要がなくなるので、ステップＳ１０３の処理を、ステップＳ１０２の処理時に記憶した描画座標群のみから、今回の描画操作が、掃除指示操作であるか否かを判別する
処理（画像データを参照しない処理）とすることが出来る。

各実施形態に係るロボット制御システムを、各種指示操作（描画操作）の内容が、上記したものとは異なるシステムに変形することが出来る。例えば、各実施形態に係るロボット制御システムを、図８に示したような形状の線分が描画されたときに、当該線分を内包する最小の凸多角形状領域を求め、求めた領域内の掃除（モップがけ）をロボット２５（２６）に行わせるシステムに変形することが出来る。

また、第２実施形態に係るロボット制御システムを、ユーザが、領域を図形描画により指定した後に実行すべき作業の種類（掃除を行うかモップがけを行うか）を図形描画により指定すると（或いは、実行すべき作業の種類を図形描画により指定した後に領域を図形描画により指定すると）、ロボット２５又は２６に対する制御を開始するシステムに変形することが出来る。

各実施形態に係るロボット制御システムを、より高機能なロボット（実行可能な作業の種類が多いロボット、物体を持ち上げて運べるロボット）を制御するシステムに変形することも出来る。また、ロボット制御システムを、マウスでのみ操作可能なシステムや、ペン又は指でのみ操作可能なシステムに変形することが出来る。さらに、ロボット制御システムの一部の構成（制御装置２０の、指示応答処理を実行する部分等）を、ロボットに搭載しても良いことや、ロボット制御システムを、カメラ１１の台数が１〜３台、或いは、５台以上のシステムに変形しても良いことなどは、当然のことである。

１１・・・カメラ
１２・・・サーバ
２０・・・制御装置
２１・・・ディスプレイ
２５、２６・・・ロボット

Claims (5)

1. ロボットを制御するためのロボット制御システムであって、
   供給された画像データに基づく画像表示を行うディスプレイと、
   所定エリアの状況を示す画像データを周期的に生成する生成手段と、
   前記生成手段により生成された各画像データを前記ディスプレイに供給する供給手段と、
   所定規則を満たす形状の１個以上の線分図形がペン、指又はマウスにより前記ディスプレイ上に描かれるのを監視する監視手段と、
   前記監視手段によって前記ディスプレイ上に描かれたことが検出された前記１個以上の線分図形の形状及び位置に基づき、前記１個以上の線分図形の描画者が前記所定エリア内で前記ロボットが行うべき作業として指定した、その内容を確定させるために場所の指定を必要とする作業の内容を把握し、把握した内容の作業を前記ロボットに行わせるロボット制御手段と
   を備えることを特徴とするロボット制御システム。
2. 前記ロボット制御手段が、
   前記監視手段によって前記ディスプレイ上に描かれたことが検出された前記１個以上の線分図形の形状及び位置と、前記生成手段により生成された画像データとに基づき、前記描画者が前記ロボットに行わせるべき前記所定エリア内での作業として指定した、その内容を確定させるために場所及び物体の指定を必要とする作業の内容を把握し、把握した内容の作業を前記ロボットに行わせる機能を有する手段である
   ことを特徴とする請求項１に記載のロボット制御システム。
3. ユーザがペン、指又はマウスにより前記ディスプレイに対して所定の操作を行ったときに、前記ロボット制御手段による前記ロボットの制御動作を中止させる中止手段を、さらに、備える
   ことを特徴とする請求項１又は請求項２に記載のロボット制御システム。
4. 前記生成手段が
   前記所定エリアを真上から撮影することにより画像データを生成する手段である
   ことを特徴とする請求項１乃至請求項３のいずれか一項に記載のロボット制御システム。
5. ロボットを制御するためのロボット制御方法であって、
   所定エリアの状況を示す画像をディスプレイに表示させる画像表示ステップと、
   所定規則を満たす形状の１個以上の線分図形がペン、指又はマウスにより前記ディスプレイ上に描かれるのを監視する監視ステップと、
   前記監視ステップによって前記ディスプレイ上に描かれたことが検出された前記１個以上の線分図形の形状及び前記ディスプレイ上での位置に基づき、前記１個以上の線分図形の描画者が前記所定エリア内で前記ロボットが行うべき作業として指定した、その内容を確定させるために場所の指定を必要とする作業の内容を把握し、把握した内容の作業を前記ロボットに行わせるロボット制御ステップと
   を含むことを特徴とするロボット制御方法。

Images