JP2023156710A - 遠隔操作システム、遠隔操作方法及びプログラム - Google Patents

Abstract

【課題】ロボットがシステムの想定外又は認識外の事態を踏まえて動作することが可能な遠隔操作システム、遠隔操作方法及びプログラムを提供する。
【解決手段】遠隔操作システム１は、操作端末３０を備える。操作端末３０は、ロボット１０を基準として所定範囲内に位置する監視端末２０から、ロボット１０の動作の指示を提案する指示提案情報を受信したことに応じて、指示提案情報及びロボット１０の位置に少なくとも基づいて表示画像を生成し、表示画像を表示し、動作についてロボット１０に指示するための指示情報の入力を操作者から受け付けたことに応じて、指示情報をロボット１０に送信する。
【選択図】図１

Description

本開示は遠隔操作システム、遠隔操作方法及びプログラムに関し、特にロボットを遠隔操作するための遠隔操作システム、遠隔操作方法及びプログラムに関する。

近年、操作者が適切に作業用のロボットを遠隔操作するための方法が提案されている。例えば特許文献１では、ロボットの遠隔操作システムにおいて、ロボットが作業場を撮影した撮像画像に基づいてロボットが作業対象とする対象物に対して必要な作業を特定し、当該作業の情報を操作者に送信するロボット制御システムが開示されている。

特開２０２１－１６００７２号公報

上述の特許文献１に記載のシステムでは、ロボットは、システムが想定若しくは認識できる範囲内の作業、例えばロボットの視野範囲内の作業や、操作者が遠隔地から画面越しに視認できる範囲の作業に限られる。したがってロボットは、システムの想定外・認識外の事態、特に操作者の想定外・認識外の事態を踏まえて動作することができない。

本開示の目的は、上述した課題に鑑み、ロボットが、システムの想定外又は認識外の事態を踏まえて動作することが可能な遠隔操作システム、遠隔操作方法及びプログラムを提供することにある。

本開示の一態様にかかる遠隔操作システムは、操作端末を備える。前記操作端末は、ロボットを基準として所定範囲内に位置する監視端末から、ロボットの動作の指示を提案する指示提案情報を受信したことに応じて、前記指示提案情報及び前記ロボットの位置に少なくとも基づいて表示画像を生成し、前記表示画像を表示し、動作についてロボットに指示するための指示情報の入力を操作者から受け付けたことに応じて、前記指示情報を前記ロボットに送信する。これによりシステムが想定できない又は認識できないような事態を、操作者が想定又は認識した上でロボットに対して動作を指示できる。

上記遠隔操作システムにおいて、前記操作端末は、前記表示画像に、前記指示提案情報が示す提案の採用可否に関する選択肢を重畳表示し、前記指示提案情報の採用可否の選択を受け付け、前記選択に応じた指示情報を前記ロボットに送信してよい。操作者は採用可否を選択すればよいため、迅速に指示を遂行できる。

また上記遠隔操作システムは、前記監視端末をさらに備えてよい。前記監視端末は、前記ロボットの周辺環境を示した画像に対して手書き入力画像の入力を監視者から受け付けたことに応じて、前記手書き入力画像に基づいて指示提案情報を生成し、前記指示提案情報を前記操作端末に送信してよい。これにより監視者が指示提案をリアルタイムで簡易に与えることができる。また提案する指示は、予め定められた内容に限定されないため、監視者は動的かつ柔軟な指示を提案できる。

また上記遠隔操作システムは、前記ロボットをさらに備えてよい。前記ロボットは、動作モードとして、前記操作端末から受信した指示情報に基づいて動作する通常モードと、前記ロボットが生成した動作計画又は前記監視端末から受信した指示情報に基づいて動作する介入モードとを有してよい。そして前記ロボットは、前記監視端末が前記指示提案情報を送信した後所定時間内に、前記操作端末から指示情報を受信しなかった場合、前記通常モードから前記介入モードに切り替えてよい。これにより、指示提案に操作者が気付いていない場合や操作者が決断に時間を要している場合にも、現場で柔軟に対応して危険を回避できる。

また上記遠隔操作システムにおいて、前記監視端末は、前記介入モードにおいて、監視者から指示情報の入力を受け付けたことに応じて、前記指示情報をロボットに送信してよい。これにより現場にいる監視者が柔軟に対応して危険を回避できる。

また上記遠隔操作システムにおいて、前記操作端末は、前記ロボットが前記介入モードに切り替わったことに応じて、前記表示画像にモード情報を重畳表示してよい。これにより、ロボットが介入モードに移行したことを操作者が即座に把握できる。

本開示の一態様にかかる遠隔操作方法は、ロボットを基準として所定範囲内に位置する監視端末から、ロボットの動作の指示を提案する指示提案情報を受信したことに応じて、前記指示提案情報及び前記ロボットの位置に少なくとも基づいて表示画像を生成し、表示画像を表示し、動作についてロボットに指示するための指示情報の入力を操作者から受け付けたことに応じて、前記指示情報を前記ロボットに送信する。これによりシステムが想定できない又は認識できないような事態を、操作者が想定又は認識した上でロボットに対して動作を指示できる。

本開示の一態様にかかるプログラムは、ロボットを基準として所定範囲内に位置する監視端末から、ロボットの動作の指示を提案する指示提案情報を受信したことに応じて、前記指示提案情報及び前記ロボットの位置に少なくとも基づいて表示画像を生成する生成機能と、表示画像を表示する表示機能と、動作についてロボットに指示するための指示情報の入力を操作者から受け付けたことに応じて、前記指示情報を前記ロボットに送信する送信機能とをコンピュータに実現させる。これによりシステムが想定できない又は認識できないような事態を、操作者が想定又は認識した上でロボットに対して動作を指示できる。

本開示により、ロボットがシステムの想定外又は認識外の事態を踏まえて動作することが可能な遠隔操作システム、遠隔操作方法及びプログラムを提供できる。

本実施形態にかかる遠隔操作システムの構成を示すブロック図である。 本実施形態にかかる遠隔操作システムの使用状況を示す図である。 本実施形態にかかるロボットの外観構成例を示す外観斜視図である。 本実施形態にかかるロボットの機能構成を示すブロック図である。 本実施形態にかかるロボットの動作の一例を示すフローチャートである。 本実施形態にかかるロボットの動作の一例を示すフローチャートである。 本実施形態にかかる監視端末の機能構成を示すブロック図である。 本実施形態にかかる監視端末の動作の一例を示すフローチャートである。 本実施形態にかかる手書き入力画像の一例を示す図である。 本実施形態にかかる操作端末の機能構成を示すブロック図である。 本実施形態にかかる操作端末の動作の一例を示すフローチャートである。 本実施形態にかかる表示部の表示の一例を示す図である。 本実施形態の第１変形例にかかるロボットの動作の一例を示すフローチャートである。 本実施形態の第２変形例にかかるロボットの動作の一例を示すフローチャートである。

以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。

＜実施形態１＞
まず本開示の実施形態１について説明する。図１は、本実施形態にかかる遠隔操作システム１の構成を示すブロック図である。遠隔操作システム１は、ロボットを遠隔で操作するためのコンピュータシステムである。

遠隔操作システム１は、ロボット１０と、監視端末２０と、操作端末３０とを備え、これらがネットワークＮを介して通信可能に構成される。

ネットワークＮは、有線又は無線のネットワークである。ネットワークＮは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット及びその他の回線の少なくとも１つ、又はこれらの組み合わせであってよい。

ロボット１０は、操作端末３０が遠隔で操作する対象である移動体の一例である。ロボット１０は、ネットワークＮを介して自己の位置情報や、自己に搭載されたセンサのセンシングデータを定期的に操作端末３０に送信している。そしてロボット１０は、ネットワークＮを介して操作端末３０からの指示を受け、当該指示に従って動作する。またロボット１０は、動作モードによっては自律的に動作できるように構成されている。

監視端末２０は、ロボット１０の周囲に位置する端末装置である。本実施形態では、監視端末２０は、ロボット１０の周囲に位置する監視者が携帯し、使用する端末装置である。尚、ロボット１０の周囲に位置するとは、ロボット１０を基準として所定範囲内に位置することであってよい。監視端末２０は、例えばタッチパネルを有するスマートフォンやタブレット端末である。

監視端末２０を使用する監視者は、ロボット１０とは異なる視野でロボットの周囲の状況を把握している。つまり監視者は、動的な環境変化やロボット１０がセンサ等では認識できない範囲の状況を把握できる。監視者は、ロボット１０の周囲の状況に応じて、監視端末２０を用いて、ロボット１０に指示すべき動作を操作端末３０に提案する。以下では、ロボット１０の動作の指示の提案にかかる情報を指示提案情報と称する。

操作端末３０は、操作者が使用し、ロボット１０を遠隔で操作するための指示を発する端末装置である。操作端末３０は、パーソナルコンピュータ、スマートフォン又はタブレット端末である。操作端末３０は、ロボット１０の位置情報やセンシングデータを受信し、位置情報やセンシングデータと地図情報とに基づいて、ロボット１０が認識できる範囲内の環境を表示部（不図示）に表示する。そして表示を閲覧した操作者は、操作端末３０を用いて、ロボット１０に対してロボット１０の動作に関して指示する。これにより操作者は、ロボット１０が認識できる範囲内の情報に基づいて、ロボット１０の動作を適切に指示できる。尚、以下では、動作についてロボットに指示するための情報を指示情報と称する。

また操作端末３０は、監視端末２０から指示提案情報を受信した場合は、その旨を表示部に視覚的に表示する。そして表示を閲覧した操作者は、操作端末３０を用いて、ロボット１０に対してロボット１０の動作に関する指示情報を送信する。これにより操作者は、ロボット１０が認識できない範囲の情報に基づいて、ロボット１０の動作を動的かつ柔軟に指示できる。

図２は、本実施形態にかかる遠隔操作システム１の使用状況を示す図である。例えばロボット１０は、商店街で通行人に店舗を紹介したり、通行人による荷物の運搬を支援したりするために用いられる。操作者はロボット１０の表示画面越しに、通行人と会話できるようになっている。

ロボット１０の周囲には監視者Ｇがおり、ロボット１０の周囲の状況を俯瞰しながら監視している。例えば監視者Ｇは、ロボット１０の視野範囲外である前方から複数の通行人が近付いていると認識した場合、監視端末２０に、ロボット１０が右に移動すべきであることを示す情報を手書きで入力する。手書きとは、タッチペン等で線を引くことであってもよいし、指示の内容を表すスタンプを監視者Ｇが指定した位置に配置させることであってもよい。

また例えば監視者Ｇは、ロボット１０がアームを動かすとアームが近くを通行する小さな子供に当たってしまうと予想される場合、監視端末２０に、ロボット１０のアーム動作を禁止すべきであることを示す情報を手書きで入力する。

入力を受け付けた監視端末２０は、入力された情報に応じた指示提案情報を操作端末３０に送信する。

図３は、本実施形態にかかるロボット１０の外観構成例を示す外観斜視図である。図３では、ロボット１０の一例として、把持機能を有するエンドエフェクタを備えるロボット１０の外観構成を示している。ロボット１０は、大きく分けて、台車部１１０と本体部１２０とによって構成される。台車部１１０は、ロボット１０の進行方向の移動に寄与する可動部である。台車部１１０は、円筒形状の筐体内に、それぞれが走行面に接地する２つの駆動輪１１１と１つのキャスター１１２とを支持している。２つの駆動輪１１１は、互いに回転軸芯が一致するように配設されている。それぞれの駆動輪１１１は、不図示のモータによって独立して回転駆動される。キャスター１１２は、従動輪であり、台車部１１０から鉛直方向に延びる旋回軸が車輪の回転軸から離れて車輪を軸支するように設けられており、台車部１１０の移動方向に倣うように追従する。

台車部１１０は、上面の周縁部にレーザスキャナ１３３を備える。レーザスキャナ１３３は、水平面内の一定の範囲をステップ角ごとにスキャンして、それぞれの方向に障害物が存在するか否かを出力する。さらに、レーザスキャナ１３３は、障害物が存在する場合には、その障害物までの距離を出力する。

本体部１２０は、ロボット１０の進行方向の移動とは異なる作用を及ぼす可動部を備える。具体的には、本体部１２０は、主に、台車部１１０の上面に搭載された胴部１２１、胴部１２１の上面に載置された頭部１２２、胴部１２１の側面に支持されたアーム１２３、及びアーム１２３の先端部に設置されたハンド１２４を備える。アーム１２３とハンド１２４は、不図示のモータを介して駆動され、把持対象物を把持する。胴部１２１は、不図示のモータの駆動力により、台車部１１０に対して鉛直軸周りに回転することができる。ハンド１２４の近傍には、ハンドカメラ１３５が配設されている。

頭部１２２は、主に、ステレオカメラ１３１及び表示部１４１を備える。ステレオカメラ１３１は、同じ画角を有する２つのカメラユニットが互いに離間して配置された構成を有し、それぞれのカメラユニットで撮像された撮像信号を出力する。

表示部１４１は、例えば液晶パネルであり、設定されたキャラクターの顔をアニメーションで表示したり、ロボット１０に関する情報をテキストやアイコンで表示したりする。

頭部１２２は、不図示のモータの駆動力により、胴部１２１に対して鉛直軸周りに回転することができる。そのため、ステレオカメラ１３１は、任意の方向を撮像することができ、また、表示部１４１は、任意の方向へ向けて表示内容を呈示することができる。

図４は、本実施形態にかかるロボット１０の機能構成を示すブロック図である。ロボット１０は、制御部１５０、台車駆動部１４５、上体駆動部１４６、表示部１４１、ステレオカメラ１３１、レーザスキャナ１３３、メモリ１８０、ハンドカメラ１３５及び通信部１９０を備える。尚、上体駆動部１４６、表示部１４１、ステレオカメラ１３１、レーザスキャナ１３３及びハンドカメラ１３５は省略されてもよい。

制御部１５０は、ＣＰＵ等のプロセッサであり、例えば胴部１２１に備えられたコントロールユニットに格納されている。制御部１５０は、メモリ１８０から読み出した制御プログラムを実行することによりロボット１０全体の制御と様々な演算処理とを実行する。

ここで制御部１５０は、動作モードに応じて異なる制御を実行する。本実施形態では、ロボット１０は動作モードとして第１モード及び第２モードを有する。第１モードは、操作端末３０が送信した指示情報に基づいて、制御部１５０が台車駆動部１４５や上体駆動部１４６を制御するモードである。第１モードは、通常モードとも称する。第２モードは、制御部１５０が、自己が生成した動作計画に基づいて台車駆動部１４５や上体駆動部１４６を制御するモードである。

例えば制御部１５０は、第１モードである場合は操作端末３０からの指示情報に従って、又は第２モードである場合はメモリ１８０に格納された最新の動作計画Ｐに従って、台車駆動部１４５へ駆動信号を送ることにより、駆動輪の回転制御を実行する。また、制御部１５０は、台車駆動部１４５からエンコーダ等のフィードバック信号を受け取って、台車部１１０の移動方向や移動速度を把握する。

台車駆動部１４５は、駆動輪１１１と、駆動輪１１１を駆動するための駆動回路やモータと、を含む。

上体駆動部１４６は、アーム１２３及びハンド１２４と、胴部１２１及び頭部１２２と、これらを駆動するための駆動回路やモータと、を含む。制御部１５０は、上体駆動部１４６へ駆動信号を送ることにより、延伸動作、把持動作やジェスチャーを実現する。また、制御部１５０は、上体駆動部１４６からエンコーダ等のフィードバック信号を受け取って、アーム１２３及びハンド１２４の位置や移動速度、胴部１２１及び頭部１２２の向きや回転速度を把握する。

表示部１４１は、制御部１５０が生成した画像信号を受信して表示する。

ステレオカメラ１３１は、制御部１５０からの要求に従って、ロボット１０が存在する周辺環境を撮像し、撮像信号を制御部１５０へ引き渡す。制御部１５０は、撮像信号を用いて画像処理を実行したり、予め定められたフォーマットに従って撮像信号を撮像画像に変換したりする。レーザスキャナ１３３は、制御部１５０からの要求に従って移動方向に障害物が存在するか否かを検出し、その検出結果である検出信号を制御部１５０へ引き渡す。

ハンドカメラ１３５は、例えば距離画像センサであり、把持対象物の距離、形状、方向等を認識するために用いられる。ハンドカメラ１３５は、対象空間から入射する光学像を光電変換するピクセルが二次元状に配列された撮像素子を含み、ピクセルごとに被写体までの距離を制御部１５０へ出力する。具体的には、ハンドカメラ１３５は、パターン光を対象空間に照射する照射ユニットを含み、その反射光を撮像素子で受光して、画像におけるパターンの歪みや大きさから各ピクセルが捉えた被写体までの距離を出力する。なお、制御部１５０は、より広い周辺環境の様子をステレオカメラ１３１で把握し、把持対象物近傍の様子をハンドカメラ１３５で把握する。

メモリ１８０は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ１８０は、ロボット１０を制御するための制御プログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。特に、メモリ１８０は、環境地図Ｍと、動作計画Ｐとを記憶している。

通信部１９０は、ネットワークＮとの通信インタフェースであり、例えば無線ＬＡＮユニットである。通信部１９０は、操作端末３０から送信される指示情報を受信して、制御部１５０に引き渡す。また通信部１９０は、制御部１５０の制御に従って、ＧＰＳ受信機（不図示）から取得したロボット１０の位置情報や各種検出結果を監視端末２０及び操作端末３０へ送信する。

図５～図６は、本実施形態にかかるロボット１０の動作の一例を示すフローチャートである。図５は、ロボット１０が第１モードに設定された場合の動作の一例を示す。

まず制御部１５０は、動作モードを第１モードに設定すると（Ｓ１０）、操作端末３０から指示情報を受信したか否かを判定する（Ｓ１１）。操作端末３０から指示情報を受信した場合（Ｓ１１でＹｅｓ）、制御部１５０は指示情報に基づいて台車駆動部１４５及び上体駆動部１４６を制御し、これによりロボット１０の台車部１１０及び本体部１２０を動作させる（Ｓ１２）。そして制御部１５０は、処理をＳ１３に進める。

一方、操作端末３０から指示情報を受信していない場合（Ｓ１１でＮｏ）、そのまま処理をＳ１３に進める。

Ｓ１３において制御部１５０は、動作を終了するか否かを判定する。動作を終了する場合としては、操作端末３０から動作終了の指示情報を受信した場合や、ロボット１０の電源が停止した場合が挙げられる。制御部１５０は、動作を終了すると判定するまで（Ｓ１３でＮｏ）、Ｓ１１～Ｓ１２に示す処理を繰り返す。

図６は、ロボット１０が第２モードに設定された場合の動作の一例を示す。

まず制御部１５０は、動作モードを第２モードに設定すると（Ｓ１４）、メモリ１８０に格納された環境地図Ｍと、自己の位置情報とに基づいて、動作計画Ｐを作成する（Ｓ１５）。制御部１５０は、作成した動作計画Ｐをメモリ１８０に格納する。そして制御部１５０は、動作計画Ｐに基づいて台車駆動部１４５及び上体駆動部１４６を制御し、これによりロボット１０の台車部１１０及び本体部１２０を動作させる（Ｓ１６）。

次に制御部１５０は、動作を終了するか否かを判定する（Ｓ１７）。制御部１５０は、動作を終了すると判定するまで（Ｓ１７でＮｏ）、Ｓ１５～Ｓ１６に示す処理を繰り返す。

図７は、本実施形態にかかる監視端末２０の機能構成を示すブロック図である。監視端末２０は、メモリ２００と、通信部２１０と、入力部２２０と、表示部２３０と、監視制御部２４０とを備える。

メモリ２００は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ２００は、監視端末２０を制御するための制御プログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。特にメモリ２００は、環境地図Ｍを記憶している。

通信部２１０は、ネットワークＮとの通信インタフェースである。通信部２１０は、ロボット１０からロボット１０の位置情報や各種検出結果を受信して、表示のために監視制御部２４０に引き渡す。通信部２１０は、操作端末３０からロボット１０宛の指示情報を受信して、表示のために監視制御部２４０に引き渡してよい。また通信部２１０は、監視制御部２４０と協働して、操作端末３０に指示提案情報を送信する。

入力部２２０は、表示部２３０に重畳して配置されたタッチパネルや、表示部２３０の周縁部に設けられた押しボタン等を含む。入力部２２０は、監視者がタッチパネルへのタッチによって、操作端末３０へ提案する指示の内容を指定するために入力した手書き入力画像を受け付けて、監視制御部２４０へ引き渡す。

表示部２３０は、例えば液晶パネルであり、ロボット１０の周辺環境を示した表示画像を表示する。ロボット１０の周辺環境とは、ロボット１０を基準として所定範囲内の環境であってよい。また表示部２３０は、入力された手書き入力画像を、当該表示画像に重畳表示する。

監視制御部２４０は、ＣＰＵ等のプロセッサであり、メモリ２００から読み出した制御プログラムを実行することにより監視端末２０全体の制御と様々な演算処理とを実行する。監視制御部２４０の具体的な制御については、図８において説明する。

図８は、本実施形態にかかる監視端末２０の動作の一例を示すフローチャートである。まず監視端末２０の監視制御部２４０は、通信部２１０を介してロボット１０からロボット１０の位置情報を受信する（Ｓ２０）。位置情報に加えて、監視制御部２４０は、通信部２１０を介してロボット１０から各種検出結果を受信してよい。また監視制御部２４０は、通信部２１０を介して操作端末３０からロボット１０宛の指示情報を受信してよい。

次に監視制御部２４０は、メモリ２００に格納されている環境地図Ｍとロボット１０の位置情報とに少なくとも基づいて、ロボット１０の周辺環境を示した表示画像を生成する（Ｓ２１）。尚、監視制御部２４０は、ロボット１０の各種検出結果を取得している場合は、表示画像の生成の基礎として各種検出結果をさらに用いてもよい。

次に監視制御部２４０は、表示部２３０に表示画像を表示させる（Ｓ２２）。次に監視制御部２４０は、監視者から手書き入力画像の入力を受け付けたかを判定する（Ｓ２３）。入力を受け付けた場合（Ｓ２３でＹｅｓ）、入力を受け付けたことに応じて、監視制御部２４０は手書き入力画像に基づいて指示提案情報を生成する（Ｓ２４）。

指示提案情報は、ロボット１０の台車、アーム１２３又はハンド１２４の移動方向、移動量若しくは軌跡、ロボット１０の可動禁止部位、又はロボット１０の移動先の位置情報を含む。本実施形態１では指示提案情報は、手書き入力画像と、環境地図Ｍ上の入力位置とを含む情報である。しかし監視制御部２４０が画像認識機能を有する場合は、指示提案情報は、手書き入力画像の認識結果と環境地図Ｍ上の入力位置とを含む情報であってもよい。あるいは表示部２３０に表示される表示画像が操作端末３０の表示部３３０に表示される表示画像と同期している場合は、指示提案情報は、手書き入力画像が重畳された表示画像そのものであってもよい。

監視制御部２４０は、通信部２１０を介して、操作端末３０に指示提案情報を送信する（Ｓ２５）。

次に監視制御部２４０は、一連の処理を終了するか否かを判定する（Ｓ２６）。一連の処理を終了する場合とは、ロボット１０の動作が終了する場合や、ロボット１０の動作モードが第２モードに切り替えられた場合が挙げられる。監視制御部２４０は、処理を終了すると判定するまで（Ｓ２６でＮｏ）、Ｓ２０～Ｓ２５に示す処理を繰り返す。

図９は、本実施形態にかかる手書き入力画像６００の一例を示す図である。監視端末２０の表示部２３０は、ロボット１０の周辺環境を示した表示画像５００を表示している。例えば表示画像５００は、所定の視野から見たロボット１０及びその周辺環境を示す画像領域を含んでよい。図９に示す表示画像５００は立体的であるが、表示画像５００は２次元の環境地図Ｍ上にロボット１０の位置が図示された２次元画像であってもよい。さらに表示画像には、周辺環境を示す画像領域上にロボット１０の移動経路５０１が含まれていてもよい。移動経路５０１は、指示情報に基づいて生成されてよい。また周辺環境を示す画像領域上には、ロボット１０の検出結果に基づいて推定される障害物５０２が含まれていてよい。このような表示画像５００は、監視制御部２４０がコンピュータグラフィックスにより生成してよい。

監視者は、表示された表示画像５００上に手書き入力画像６００を入力する。手書き入力画像の入力方法としては、タッチパネル上で、ユーザの指やタッチペン等を用いて、該当部分をタッチすることにより直接入力することが挙げられる。しかし手書き入力画像の入力方法はこれには限定されない。例えば手書き入力画像は、マウス等を用いて所定の図形を選択し、位置及び大きさを指定することで入力されてもよい。手書き入力画像は２次元の線又は図形で入力されてもよいし、３次元のオブジェクトとして入力されてもよい。

本図では、監視者は、ロボット１０を左に移動させることを提案するために、移動方向を示す左矢印の図形を手書き入力画像６００として入力している。尚、監視者は、移動経路５０１を上書きするように軌跡を描画してもよい。描画された軌跡は、監視者が提案する移動経路である。また監視者は、ロボット１０の移動場所をマーカで指定してもよい。

また監視者がロボット１０のアーム１２３やハンド１２４の動きを提案したい場合は、表示部２３０は可動領域や可動軸を３次元的に表示してよい。そして監視者は動かす方向及び移動量をマーカで指定してよい。また逆に、動かしてはいけない可動禁止領域を、監視者がマーカで指定できるようになっていてもよい。

このように監視者が直感的に手書き入力画像を入力できるようにすることで、指示提案をリアルタイムで簡易に与えることができる。また提案する指示は、予め定められた内容に限定されない。したがって監視者は動的かつ柔軟な指示を提案できる。

図１０は、本実施形態にかかる操作端末３０の機能構成を示すブロック図である。操作端末３０は、メモリ３００と、通信部３１０と、入力部３２０と、表示部３３０と、操作制御部３４０とを備える。

メモリ３００は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ３００は、操作端末３０を制御するための制御プログラムの他にも、制御や演算に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。特にメモリ３００は、環境地図Ｍを記憶している。

通信部３１０は、ネットワークＮとの通信インタフェースである。通信部３１０は、ロボット１０からロボット１０の位置情報や各種検出結果を受信して、操作制御部３４０に引き渡す。また通信部３１０は、監視端末２０から指示提案情報を受信して、操作制御部３４０に引き渡す。また通信部３１０は、操作制御部３４０と協働して、ロボット１０に指示情報を送信する。

入力部３２０は、マウス、キーボード、ジョイスティック、表示部３３０に重畳して配置されたタッチパネルや、表示部３３０の周縁部に設けられた押しボタン等を含む。入力部３２０は、操作者がマウスのクリック、コマンド入力、タッチパネルへのタッチ、又はジョイスティックのレバーを傾けることによって、ロボット１０への指示情報の入力を受け付け、操作制御部３４０へ引き渡す。

表示部３３０は、例えば液晶パネルであり、ロボット１０の周辺環境を示した表示画像を表示する。また表示部３３０は、指示提案情報を受信した場合は、受信した指示提案情報をさらに含む表示画像を表示する。また表示部３３０は、操作者から入力された指示情報を、当該表示画像に重畳表示する。

操作制御部３４０は、ＣＰＵ等のプロセッサであり、メモリ３００から読み出した制御プログラムを実行することにより操作端末３０全体の制御と様々な演算処理とを実行する。操作制御部３４０の具体的な制御については、図１１において説明する。

図１１は、本実施形態にかかる操作端末３０の動作の一例を示すフローチャートである。操作端末３０は、ロボット１０が第１モードに設定されている場合に動作してよい。

まず操作端末３０の操作制御部３４０は、通信部３１０を介して、ロボット１０の位置情報をロボット１０から受信する（Ｓ３０）。次に操作制御部３４０は、通信部３１０を介して、監視端末２０から指示提案情報を受信したかを判定する（Ｓ３１）。

操作制御部３４０は、監視端末２０から指示提案情報を受信していない場合（Ｓ３１でＮｏ）、メモリ３００に格納された環境地図Ｍ及びロボット１０の位置情報に基づいて、ロボット１０の周辺環境を示す表示画像を生成する（Ｓ３２）。上記表示画像の生成方法は、監視端末２０の表示部２３０に表示される表示画像の生成方法と一部又は全部において同様であってよい。操作制御部３４０は、処理をＳ３４に進める。

一方、操作制御部３４０は、監視端末２０から指示提案情報を受信した場合（Ｓ３１でＹｅｓ）、受信したことに応じて、環境地図Ｍ、指示提案情報及びロボット１０の位置情報に基づいて、表示画像を生成する（Ｓ３３）。上記表示画像は、ロボット１０の周辺環境に指示提案を視覚的に表示した画像である。操作制御部３４０は、処理をＳ３４に進める。

Ｓ３４において、操作制御部３４０はＳ３２又はＳ３３において生成した表示画像を表示部３３０に表示させる。

そして操作制御部３４０は、入力部３２０が、指示情報の入力を操作者から受け付けたかを判定する（Ｓ３５）。入力を受け付けた場合（Ｓ３５でＹｅｓ）、入力を受け付けたことに応じて、通信部３１０を介して指示情報をロボット１０に送信する（Ｓ３６）。そして操作制御部３４０は、処理をＳ３７に進める。一方、入力がなかった場合（Ｓ３５でＮｏ）、操作制御部３４０はそのまま処理をＳ３７に進める。

次に操作制御部３４０は、一連の処理を終了するか否かを判定する（Ｓ３７）。一連の処理を終了する場合とは、ロボット１０の動作が終了する場合や、ロボット１０の動作モードが第２モードに切り替えられた場合が挙げられる。操作制御部３４０は、処理を終了すると判定するまで（Ｓ３７でＮｏ）、Ｓ３０～Ｓ３６に示す処理を繰り返す。

図１２は、本実施形態にかかる表示部３３０の表示の一例を示す図である。操作端末３０の表示部３３０は、ロボット１０の周辺環境を示した表示画像５００を表示している。また表示部３３０は、ロボット１０のステレオカメラ１３１が撮影した撮影画像５１０を表示している。表示画像５００や撮影画像５１０により、操作者はロボット１０の周辺環境を把握できる。

また表示部３３０は、ロボット１０に動作の指示を与えるための操作部５２０，５３０を表示している。これにより操作者は、ロボット１０の動作方向及び移動量等を具体的に指定できる。

ここで操作端末３０が指示提案情報を受信した場合、表示部３３０は、指示提案情報として手書き入力画像６００を、表示画像５００に重畳表示する。尚、表示部３３０は、指示提案情報に台車部１１０やアーム１２３の軌道が含まれる場合は当該軌道を再生してよい。

そして表示部３３０は、指示提案情報が示す提案の採用可否に関する選択肢６１０を表示画像５００に重畳表示する。当該表示は、ポップアップ方式にしてもよい。

表示を閲覧した操作者は、指示提案情報が示す周辺環境を確認したり、指示提案情報が示す方向にロボット１０を少しずつ動作させるなどして、指示提案情報が示す方向への動作に関する安全性を確認する。

そして操作者は、「ＡＣＣＥＰＴ」又は「ＲＥＪＥＣＴ」の選択肢６１０を選択する。これにより入力部３２０は、指示提案情報の採用可否の選択を操作者から受け付ける。選択を受け付けたことに応じて、操作制御部３４０は、通信部３１０を介して、選択された選択肢に応じた指示情報をロボット１０に送信する。

このように指示提案が分かりやすい形で表示されることで、操作者は容易に提案内容を把握できる。指示提案情報が視覚的に表示されるため、操作者がロボット１０を介してロボット１０に対面する人物と会話している場合も、会話を妨害しない。また操作者は、監視端末２０が提案する動作をワンクリックで簡単に採用できる。したがって監視端末２０が提案する動作をロボット１０が迅速に遂行できる。

以上、実施形態について説明した。本実施形態によれば、ロボット１０とは異なる視野を有する監視者が監視端末２０を通じて、ロボットの視野からでは認識できない事態や、操作者が地図情報に基づいても認識できない事態、つまりシステムの想定外又は認識外の事態を把握した上で、指示を提案する。したがって操作者は、システムの想定外又は認識外の事態を踏まえてロボット１０に対して動作を指示できる。これによりロボットがシステムの想定外又は認識外の事態を踏まえて動作できる。

尚、実施形態は以下の変形を加えることも可能である。

＜本実施形態の第１変形例＞
第１変形例では、監視端末２０が指示提案したにも関わらず操作端末３０が応答しなかった場合に、ロボット１０は自律動作を実施する。具体的には、監視端末２０が指示提案情報を送信した後所定時間内に、操作端末３０が指示情報を送信しなかった場合、ロボット１０は、動作モードを第１モードから第２モードに切り替える。この場合、監視端末２０が指示提案情報を操作端末３０に送信する際に、ロボット１０にも送信してよい。尚、上述の場合に切り替えられた第２モードは、介入モードと称されてもよい。介入モードにおいては、操作端末３０が指示情報をロボット１０に送信しても、ロボット１０は指示情報に関わらず自律動作してよい。

図１３は、本実施形態の第１変形例にかかるロボット１０の動作の一例を示すフローチャートである。図１３に示すステップは、図５に示すステップに加えて、Ｓ４０～Ｓ４５を有する。

制御部１５０は、Ｓ１１において操作端末３０から指示情報を受信していないと判定した場合（Ｓ１１でＮｏ）、監視端末２０が指示提案情報を送信してから所定時間経過したかを判定する（Ｓ４０）。制御部１５０は、所定時間経過していない場合は（Ｓ４０でＮｏ）処理をＳ１１に戻す。一方、制御部１５０は、所定時間経過した場合は（Ｓ４０でＹｅｓ）、動作モードを第２モードに切り替える（Ｓ４１）。そして制御部１５０は、通信部１９０を介して操作端末３０に対して、第２モードに切り替えたことを通知する（Ｓ４２）。

第２モードに切り替わったことに応じて、制御部１５０は、図６のＳ１５～Ｓ１６と同様のＳ４３～Ｓ４４を実行し、自己が作成した動作計画に基づいて台車部１１０及び本体部１２０を動作させる。

そして制御部１５０は、第２モードへの切替から所定時間経過するまで（Ｓ４５でＮｏ）、Ｓ４３～Ｓ４４を繰り返し、所定時間経過した場合（Ｓ４５でＹｅｓ）、第２モードを解除して処理をＳ１３に進める。

このように指示提案に操作者が気付いていない場合や操作者が決断に時間を要している場合にも、現場で柔軟に対応して危険を回避できる。

尚、操作端末３０の表示部３３０は、ロボット１０が第２モードに切り替わったことに応じて、つまり切替通知を受けたことに応じて、表示画像にモード情報を重畳表示してよい。これによりロボット１０が第２モードに移行したことを操作者が即座に把握でき、操作者が適切な対応をとることができる。

＜本実施形態の第２変形例＞
第２変形例では、監視端末２０が指示提案したにも関わらず操作端末３０が応答しなかった場合に、ロボット１０が監視端末２０の指示に従って動作する第３モードに切り替える。具体的には、監視端末２０が指示提案情報を送信した後所定時間内に、操作端末３０が指示情報を送信しなかった場合、ロボット１０は、動作モードを第１モードから第３モードに切り替える。監視端末２０は、第３モードにおいて、監視者から、指示情報の入力を受け付けたことに応じて、指示情報をロボット１０に送信する。尚、上述の場合に切り替えられた第３モードは、介入モードと称されてもよい。介入モードにおいては、操作端末３０が指示情報をロボット１０に送信しても、ロボット１０は監視端末２０からの指示情報に基づいて動作してよい。

図１４は、本実施形態の第２変形例にかかるロボット１０の動作の一例を示すフローチャートである。図１４に示すステップは、図１３に示すＳ４３～Ｓ４５に代えてＳ５０～Ｓ５２を有する。

制御部１５０は、第３モードへ切り替えたことを操作端末３０に通知したことに応じて、監視端末２０から指示情報を受信したかを判定する（Ｓ５０）。監視端末２０から指示情報を受信した場合（Ｓ５０でＹｅｓ）、制御部１５０は、指示情報に基づいて台車部１１０及び本体部１２０を動作させ（Ｓ５１）、処理をＳ５２に進める。一方、監視端末２０から指示情報を受信していない場合（Ｓ５０でＮｏ）、処理をそのままＳ５２に進める。

そして制御部１５０は、第３モードへの切替から所定時間経過するまで（Ｓ５２でＮｏ）、Ｓ５０～Ｓ５１を繰り返し、所定時間経過した場合（Ｓ５２でＹｅｓ）、第３モードを解除して処理をＳ１３に進める。このように指示提案に操作者が気付いていない場合や操作者が決断に時間を要している場合には、現場にいる監視者の判断で柔軟に対応して危険を回避できる。

尚、操作端末３０の表示部３３０は、ロボット１０が第３モードに切り替わったことに応じて、つまり切替通知を受けたことに応じて、表示画像にモード情報を重畳表示してよい。これによりロボット１０が第３モードに移行したことを操作者が即座に把握でき、操作者が適切な対応をとることができる。

尚、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば本実施形態では操作端末３０が監視端末２０からの指示提案情報の採用可否を決定し、これに基づいてロボット１０に動作指示を与えていた。しかしロボット１０が、操作端末３０から指示情報を受信する前に監視端末２０から指示提案情報を受信した場合に指示提案情報に基づいて動作し、操作端末３０が後から当該指示提案情報による動作を追認してもよい。この場合、操作端末３０は、指示情報に追認したことを示す情報を含ませてロボット１０に送信する。

また本実施形態では、監視端末２０は監視者が携帯するものであったが、監視端末２０は監視者が携帯しておらず、ドローン等の移動体に設置されていてもよい。この場合、移動体の操縦者が監視者であってよい。また監視端末２０は、ロボット１０の移動圏内の複数の場所に設置されていてもよい。ロボット１０の周囲にある監視端末２０は、ロボット１０とは異なる角度からロボット１０の周辺環境を撮影し、画像認識により危険を予測した場合に指示提案情報を操作端末３０に送信してよい。

また本実施形態では、監視者は手書き入力画像を入力するとしたが手書きでなくてもよい。

また上記第１又は第２変形例では、監視端末２０が指示提案情報を送信した後所定時間内に、操作端末３０が指示情報を送信しなかった場合に、ロボット１０が第２モード又は第３モードに移行するとした。しかしロボット１０は、動作モードの切替要求を操作端末３０から受信した場合、第２モード又は第３モードに切り替えてよい。この場合は、操作端末３０の表示部３３０にヘルプマークが表示されており、操作端末３０は、操作者がヘルプマークを選択したことに応じて動作モードの切替要求をロボット１０に送信してよい。

１ 遠隔操作システム
１０ ロボット
２０ 監視端末
３０ 操作端末
１１０ 台車部
１１１ 駆動輪
１１２ キャスター
１２０ 本体部
１２１ 胴部
１２２ 頭部
１２３ アーム
１２４ ハンド
１３１ ステレオカメラ
１３３ レーザスキャナ
１３５ ハンドカメラ
１４１ 表示部
１４５ 台車駆動部
１４６ 上体駆動部
１５０ 制御部
１８０ メモリ
１９０ 通信部
２００ メモリ
２１０ 通信部
２２０ 入力部
２３０ 表示部
２４０ 監視制御部
３００ メモリ
３１０ 通信部
３２０ 入力部
３３０ 表示部
３４０ 操作制御部
５００ 表示画像
５０１ 移動経路
５０２ 障害物
５１０ 撮影画像
５２０ 操作部
５３０ 操作部
６００ 手書き入力画像
６１０ 選択肢
Ｇ 監視者
Ｍ 環境地図
Ｐ 動作計画

Claims (8)

1. ロボットを基準として所定範囲内に位置する監視端末から、ロボットの動作の指示を提案する指示提案情報を受信したことに応じて、前記指示提案情報及び前記ロボットの位置に少なくとも基づいて表示画像を生成し、
   前記表示画像を表示し、
   動作についてロボットに指示するための指示情報の入力を操作者から受け付けたことに応じて、前記指示情報を前記ロボットに送信する
   操作端末を備える遠隔操作システム。
2. 前記操作端末は、
   前記表示画像に、前記指示提案情報が示す提案の採用可否に関する選択肢を重畳表示し、
   前記指示提案情報の採用可否の選択を受け付け、
   前記選択に応じた指示情報を前記ロボットに送信する
   請求項１に記載の遠隔操作システム。
3. 前記監視端末をさらに備え、
   前記監視端末は、
   前記ロボットの周辺環境を示した画像に対して手書き入力画像の入力を監視者から受け付けたことに応じて、前記手書き入力画像に基づいて指示提案情報を生成し、
   前記指示提案情報を前記操作端末に送信する
   請求項１又は２に記載の遠隔操作システム。
4. 前記ロボットをさらに備え、
   前記ロボットは、
   動作モードとして、前記操作端末から受信した指示情報に基づいて動作する通常モードと、前記ロボットが生成した動作計画又は前記監視端末から受信した指示情報に基づいて動作する介入モードとを有し、
   前記監視端末が前記指示提案情報を送信した後所定時間内に、前記操作端末から指示情報を受信しなかった場合、前記通常モードから前記介入モードに切り替える
   請求項１又は２に記載の遠隔操作システム。
5. 前記監視端末をさらに備え、
   前記監視端末は、前記介入モードにおいて、監視者から指示情報の入力を受け付けたことに応じて、前記指示情報をロボットに送信する
   請求項４に記載の遠隔操作システム。
6. 前記操作端末は、前記ロボットが前記介入モードに切り替わったことに応じて、前記表示画像にモード情報を重畳表示する
   請求項４に記載の遠隔操作システム。
7. ロボットを基準として所定範囲内に位置する監視端末から、ロボットの動作の指示を提案する指示提案情報を受信したことに応じて、前記指示提案情報及び前記ロボットの位置に少なくとも基づいて表示画像を生成し、
   表示画像を表示し、
   動作についてロボットに指示するための指示情報の入力を操作者から受け付けたことに応じて、前記指示情報を前記ロボットに送信する
   遠隔操作方法。
8. ロボットを基準として所定範囲内に位置する監視端末から、ロボットの動作の指示を提案する指示提案情報を受信したことに応じて、前記指示提案情報及び前記ロボットの位置に少なくとも基づいて表示画像を生成する生成機能と、
   表示画像を表示する表示機能と、
   動作についてロボットに指示するための指示情報の入力を操作者から受け付けたことに応じて、前記指示情報を前記ロボットに送信する送信機能と
   をコンピュータに実現させるプログラム。

Images