JP2022164027A - サーバ、遠隔操作システム、遠隔操作方法、およびプログラム - Google Patents

Abstract

【課題】ロボットをより適切に動作させること。【解決手段】実施形態のサーバは、一以上のロボット装置および前記一以上のロボット装置のうち少なくとも一つを遠隔操作する一以上の操作端末とネットワークを介して通信する通信部と、前記操作端末によって入力された操作内容を取得する取得部と、前記取得部により取得された操作内容に基づいて前記操作端末の操作者の意図を推定する意図推定部と、前記意図推定部により推定された意図結果に基づいて前記ロボット装置の動作を制御する動作制御部と、を備える。【選択図】図２

Description

本発明は、サーバ、遠隔操作システム、遠隔操作方法、およびプログラムに関する。

従来、モニタ用端末または別の端末から送信されたデータにより、ロボットを遠隔操作して実験器具または実験装置を操作する技術が知られている（例えば、特許文献１参照）。

特開２００３－０９２７４９号公報

しかしながら、従来の技術では、端末装置から指示できる内容に制限があるため、特定の作業しかロボットに行わせることができず、ロボットを適切に動作させることができない場合があった。

本発明の態様は、このような事情を考慮してなされたものであり、ロボットをより適切に動作させることができるサーバ、遠隔操作システム、遠隔操作方法、およびプログラムを提供することを目的の一つとする。

この発明に係るサーバ、遠隔操作システム、遠隔操作方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係るサーバは、一以上のロボット装置および前記一以上のロボット装置のうち少なくとも一つを遠隔操作する一以上の操作端末とネットワークを介して通信する通信部と、前記操作端末によって入力された操作内容を取得する取得部と、前記取得部により取得された操作内容に基づいて前記操作端末の操作者の意図を推定する意図推定部と、前記意図推定部により推定された意図結果に基づいて前記ロボット装置の動作を制御する動作制御部と、を備える、サーバである。

（２）：上記（１）の態様において、前記取得部は、前記ロボット装置の動作に関するロボット制御情報と、前記ロボット装置に設けられたセンサにより検出されたセンサ情報とを取得し、前記取得部により取得された前記ロボット制御情報と前記センサ情報とに、それぞれ異なるアクセス権を設定し、設定されたアクセス権が確認されたときに前記ロボット制御情報と前記センサ情報の何れかを取得可能とする管理部を更に備えるものである。

（３）：上記（２）の態様において、前記管理部は、前記センサ情報のアクセス権の強度を、前記ロボット制御情報よりも大きくするものである。

（４）：上記（１）から（３）のうち何れか１つの態様において、前記動作制御部は、複数の操作端末から取得した操作内容に基づいて一つのロボット装置の動作を制御する場合に、前記操作端末を操作する操作者の優先度に基づいて、前記ロボット装置の動作制御情報を生成するものである。

（５）：上記（４）の態様において、前記動作制御部は、前記取得部により前記複数の操作端末から同一または類似の操作内容が取得された場合に、前記優先度の高い操作者からの操作内容を優先させて前記ロボット装置の動作を制御するものである。

（６）：上記（４）または（５）の態様において、前記意図推定部は、前記一つのロボット装置を操作する複数の操作端末のそれぞれの操作者の意図を推定し、前記意図推定部により推定された前記それぞれの操作者の意図推定結果を前記複数の前記操作端末のそれぞれに出力させる出力制御部を更に備えるものである。

（７）：本発明の他の態様は、上記（１）～（６）の何れかに記載されたサーバと、前記一以上のロボット装置と、前記一以上の操作端末と、を備える、遠隔操作システムである。

（８）：本発明の他の態様は、コンピュータが、一以上のロボット装置および前記一以上のロボット装置のうち少なくとも一つを遠隔操作する一以上の操作端末とネットワークを介して通信し、前記操作端末によって入力された操作内容を取得し、取得した操作内容に基づいて前記操作端末の操作者の意図を推定し、推定した意図結果に基づいて前記ロボット装置の動作を制御する、遠隔操作方法である。

（９）：本発明の他の態様は、コンピュータに、一以上のロボット装置および前記一以上のロボット装置のうち少なくとも一つを遠隔操作する一以上の操作端末とネットワークを介して通信させ、前記操作端末によって入力された操作内容を取得させ、取得された操作内容に基づいて前記操作端末の操作者の意図を推定させ、推定された意図結果に基づいて前記ロボット装置の動作を制御させる、プログラムである。

上記（１）～（９）の態様によれば、ロボットをより適切に動作させることができる。

上記（２）～（３）の態様によれば、データの機密性が守られる。したがって、例えば、アクセス権を持たない企業にセンサ情報を盗まれたり、改ざんされたりすることを防止することができ、システム全体のセキュリティを向上させることができる。また、アクセス権によって提供する情報を管理することで、様々な企業等に安心してサービスを利用させることができる。

上記（４）～（５）の態様によれば、複数の操作者によって操作された場合であっても、適切にロボットを操作させることができる。

上記（５）の態様によれば、複数の操作者に他の操作者によって操作されている状況を、より正確に把握することができる。したがって、より適切な操作内容を入力してロボット装置を動作させることができる。

実施形態に係る遠隔操作システム１の構成の一例を示す図である。 実施形態に係る管理サーバ１００の構成の一例を示す図である。 意図推定情報１７２Ｂの内容について説明するための図である。 企業別利用者情報１７４Ａの内容について説明するための図である。 企業別センサ情報１７４Ｂの内容について説明するための図である。 実施形態に係るロボット装置２００の構成の一例を示す図である。 実施形態に係る操作端末３００の構成の一例を示す図である。 本実施形態に係るロボット装置２００の遠隔操作について説明するための図である。 操作端末３００が表示する画像ＩＭ１０の一例を示す図である。 優先度に基づく作業が実行された場合に操作端末３００に表示される画像ＩＭ２０の一例を示す図である。 ロボット装置に実行される動作を操作者に問い合わせる画像ＩＭ３０の一例を示す図である。 ロボット装置２００のモニタ２１４に表示される画像ＩＭ４０の一例を示す図である。 実施形態における遠隔操作システム１によって実行される処理について説明するためのシーケンス図である。

以下、図面を参照し、本発明のサーバ、遠隔操作システム、遠隔操作方法、およびプログラムの実施形態について説明する。

［システム構成］
図１は、実施形態に係る遠隔操作システム１の構成の一例を示す図である。図１に示す遠隔操作システム１は、例えば、管理サーバ１００と、ロボット装置２００と、操作端末３００と、を備える。また、管理サーバ１００は、上記構成に加えて、ロボットメーカ端末４００と、通信企業端末５００とを備えていてもよい。管理サーバ１００は、ロボット装置２００、操作端末３００、ロボットメーカ端末４００、および通信企業端末５００と、ネットワークＮＷを介して通信可能に接続されている。ネットワークＮＷは、例えば、インターネット、セルラー網、Ｗｉ－Ｆｉ（登録商標）網、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、プロバイダ装置、無線基地局等を含む。遠隔操作システム１において、ロボット装置２００および操作端末３００は、それぞれが一以上備えていてもよい。図１の例では、ロボット装置２００Ａ、２００Ｂ、および２００Ｃが示されているが、ロボット装置の数や種類についてはこれに限定されない。また、図１の例では、複数の企業Ａ，Ｂごとに管理された操作端末３００Ａ－１～３００Ａ－ｎ（ｎは２以上の自然数）、３００Ｂ－１～３００Ｂ－ｎが示されているが、数等については、これに限定されない。以下、ロボット装置および操作端末のそれぞれを特に識別しない場合は、単に「ロボット装置２００」、「操作端末３００」と称して説明する。管理サーバ１００は、「サーバ」の一例である。

管理サーバ１００は、一以上の操作端末３００と、操作対象の一以上のロボット装置２００とを対応付けて管理する。この場合、管理サーバ１００は、操作端末３００ごとに１台のロボット装置２００を対応付けてもよく、複数の操作端末３００に１台のロボット装置２００を対応付けてもよく、１つの操作端末３００に複数のロボット装置２００を対応付けてもよい。また、管理サーバ１００は、操作端末３００から入力された操作内容を取得し、操作内容に対応する動作制御情報をロボット装置２００に送信することで、ロボット装置２００の遠隔操作を実行させる。また、管理サーバ１００は、ロボット装置２００によって取得した情報を操作端末３００に送信する。

ロボット装置２００は、ネットワークＮＷを介して管理サーバ１００から送信された制御情報に基づいて、所定の動作を実行する。ロボット装置２００は、例えば、車輪や台車、クローラー、クレーン等を駆動させることによって移動することができる移動機構を備える。図１の例において、ロボット装置２００Ａは、少なくともクレーンによって移動可能な両腕を備えるロボットである。ロボット装置２００Ｂは、下部に設けられた車輪によって移動可能な両腕を備えるロボットである。ロボット装置２００Ｃは、二足歩行動作よって移動可能な両腕を備えるロボットである。また、ロボット装置２００は、物体に対して、把持や移動、操作等の作業を実行するアーム部を備える。また、ロボット装置２００には、振動や温度、圧力、触覚センサ等の各種のセンサが複数設けられ、各センサによって検出されたデータを所定周期または要求を受け付けたタイミングで管理サーバ１００に送信する。また、ロボット装置２００は、周辺を撮像するカメラや、画像を表示するモニタ、音声を出力するスピーカ、周辺の音を取得するマイク等を備えていてもよい。

操作端末３００は、例えば、ロボット装置２００を利用する企業ごとに一以上設けられている。操作端末３００は、ロボット装置２００の操作内容を入力したり、ロボット装置２００により取得された情報を、操作者に通知する。操作端末３００は、１台または複数のロボット装置２００を操作可能である。また、操作端末３００は、ロボット装置２００の一部のパーツ（例えば、右手アームまたは左手アーム等）を操作してもよい。また、操作端末３００は、例えば、ＨＭＤ（ヘッドマウントディスプレイ）や操作装置、操作者の動きを検出する環境センサが設けられていてもよい。なお、操作端末３００は、企業内施設に設けられているものに限定されず、操作者の自宅に設けられた端末でもよく、駅やデパート、公共施設、ネットカフェ等に設置されたテレワークステーションに設けられた端末でもよい。

ロボットメーカ端末４００は、例えば、ロボット装置２００の製造業者や管理会社が利用する端末である。ロボットメーカ端末４００は、例えば、各ロボット装置２００に搭載されたソフトウェア（プログラム）のバージョンを更新したり、ロボット装置２００からのエラー情報を取得し、取得したエラー情報に基づいて、ロボット装置２００の遠隔操作や停止制御等を行う。

通信企業端末５００は、例えば、ネットワークＮＷ上の通信を管理する通信事業者等が利用する端末である。通信企業端末５００は、遠隔操作システム１に対し、遠隔操作のために通信されるデータ量を管理したり、通信の遅延等を管理し、システム内の通信環境のメンテナンス等を行う。また、通信企業端末５００は、ネットワークＮＷ上に障害が発生した場合の対応等を行ってもよい。

次に、管理サーバ１００、ロボット装置２００、および操作端末３００の機能について具体的に説明する。
［管理サーバ］
図２は、実施形態に係る管理サーバ１００の構成の一例を示す図である。管理サーバ１００は、例えば、通信部１１０と、通信制御部１２０と、取得部１３０と、管理部１４０と、制御部１５０と、記憶部１７０とを備える。通信制御部１２０と、取得部１３０と、管理部１４０と、制御部１５０とは、それぞれ、例えばＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。これらの構成要素の機能のうち一部または全部は、専用のＬＳＩによって実現されてもよい。プログラムは、予め管理サーバ１００が備えるＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体が、管理サーバ１００が備えるドライブ装置に装着されることで管理サーバ１００が備えるＨＤＤやフラッシュメモリにインストールされてもよい。管理サーバ１００は、クラウドコンピューティングシステムに組み込まれたサーバ装置や記憶装置に実現されてもよい。この場合、クラウドコンピューティングシステムにおける複数のサーバ装置や記憶装置によって、管理サーバ１００の機能が実現されてもよい。

通信部１１０は、通信制御部１２０の制御により、ネットワークＮＷを介して、一以上のロボット装置２００、一以上のロボット装置２００を遠隔操作する操作端末３００、その他の外部装置と通信する。通信制御部１２０は、通信部１１０における通信を制御する。

通信制御部１２０は、通信部１１０における通信を制御する。通信制御部１２０は、例えば、操作端末３００から入力されたロボット装置２００の操作内容を受信したり、操作内容に応じた動作制御情報を、ロボット装置２００に送信する。また、通信制御部１２０は、ロボット装置２００から送信されたセンサ等の検出結果やカメラ画像等の情報を受信したり、受信した情報に基づく提供情報を、操作端末に送信する。

取得部１３０は、ロボット装置２００または操作端末３００から各種情報を取得する。例えば、取得部１３０は、操作端末３００からロボット装置２００を操作するための操作情報を取得する。また、取得部１３０は、ロボット装置２００に設けられたセンサやカメラからの情報を取得する。また、取得部１３０は、ネットワークＮＷに接続された外部装置から情報を取得してもよい。

管理部１４０は、例えば、認証管理部１４２と、情報管理部１４４とを備える。認証管理部１４２は、ロボット装置２００を操作する操作者（システム利用者）の認証や利用権限等を管理する。また、認証管理部１４２は、認証結果に基づいて、操作端末３００が操作するロボット装置２００を対応付けて管理する。

情報管理部１４４は、利用者ごとに利用可能な情報を管理する。例えば、情報管理部１４４は、ロボットを制御するためのロボット制御情報や、ロボット装置２００に設けられたセンサから取得された情報（センサ情報）を記憶部に１７０に記憶させると共に、例えば、それぞれ異なるアクセス権を設定し、設定されたアクセス権が確認されたときに、対応する提供可能な権限を有する操作端末３００に情報を送信する。また、情報管理部１４４は、例えば、センサ情報のアクセス権の強度を、ロボット制御情報よりも大きくしてもよい。アクセス権の強度を大きくするとは、例えば、所定の認証が許可されないとアクセスできないような記憶領域に記憶させることや、データそのものを暗号化して管理したり、データを取得するためのパスワード等の認証条件の数や種類を多くすること等である。これにより、データの機密性が守られる。したがって、例えば、アクセス権を持たない企業にセンサ情報を盗まれたり、改ざんされたりすることを防止することができ、システム全体のセキュリティを向上させることができる。また、アクセス権によって提供する情報を管理することで、様々な企業等に安心して遠隔操作システム１を利用させることができる。

制御部１５０は、例えば、ロボット情報制御部１５１と、カスタマイズデータ制御部と、意図推定部１５３と、動作制御部１５４と、動作キャンセル部１５５と、出力制御部１５６とを備える。ロボット情報制御部１５１は、例えば、動作制御部１５４により生成されたロボット装置２００に対する動作制御情報に対して、実際にロボット装置２００がどのような操作を行ったのか等を管理する。また、ロボット情報制御部１５１は、記憶部１７０に記憶されたロボット制御情報１７２Ａに基づいて、ロボット装置２００に基本的な動作を実行させる。基本的な動作とは、例えば、ロボット装置２００を移動させたり、姿勢を変えたり、物体を持ったり置いたりする動作である。

カスタマイズデータ制御部１５２は、例えば、企業ごとに特定の動作（例えば、物を組み立てる作業や半田付け作業、ネジ止めしたり、料理における各種工程作業等）をロボット装置２００に実行させるためのカスタマイズデータを生成する。

意図推定部１５３は、操作端末３００により入力される操作内容の少なくとも一部の情報から操作者の意図を推定する。操作者の意図には、例えば、操作者がロボット装置２００に行わせたい行動（動作）の意図だけでなく、行動等を予測することや、ロボット装置２００の駆動をアシストさせることも含まれる。例えば、遠隔操作では通信等によって操作者が指示している感じとロボット装置２００の動作にズレが生じる。そのため、意図推定部１５３は、操作者からの操作内容をそのままロボット装置２００に実行させるのではなく、操作内容に基づいて操作者の意図を推定し、推定結果に基づいてロボット装置２００の動作制御情報を生成することで、ロボット装置２００の動きをより適切にアシストし、違和感の少ない遠隔操作を実現することができる。意図推定部１５３は、例えば、教師データを用いて学習させた学習モデル（意図推定情報１７２Ｂ）を参照し、操作内容に対応する意図を推定する。なお、学習の際には、例えば、操作内容を入力し、その操作内容に対する作業者等が設定した正解の意図情報を出力するための教師データを用いて学習を行う。

また、意図推定部１５３は、操作者から入力された操作内容およびロボット装置２００の実際の動作内容を示す履歴情報に基づいて、意図推定情報１７２Ｂを更新してもよい。これにより、より適切な意図推定を実現できる。

また、意図推定部１５３は、例えば、グラスプタクソノミー（ＧＲＡＳＰ Ｔａｘｏｎｏｍｙ）手法（例えば、参考文献１参照）によって、操作者の動作意図を推定してもよい。実施形態では、例えばグラスプタクソノミー手法によって操作者あるいはロボット装置２００の姿勢すなわち把持姿勢を分類することで操作者状態を分類して、操作者の動作意図を推定する。
参考文献１；Thomas Feix, Javier Romero,他,“The GRASP Taxonomy of Human GraspTypes” IEEE Transactions on Human-Machine Systems ( Volume: 46, Issue: 1, Feb.2016),IEEE,p66-77．

動作制御部１５４は、意図推定部１５３により推定された操作者の意図に基づいて対象のロボット装置２００を動作させるための動作制御情報を生成し、生成した動作制御情報を操作対象のロボット装置２００に送信し、ロボット装置２００の動作を制御する。また、動作制御部１５４は、操作者の意図に加えて（または代えて）、ロボット情報制御部１５１やカスタマイズデータ制御部１５２等により得られるロボット装置２００の動作に関する情報を取得し、取得した情報に基づいて、動作制御情報を生成してもよい。また、動作制御部１５４は、例えば、複数の操作者が、同時に２つのアームを操作する場合に、触覚等のセンサ情報等に基づいて、力の足し算や引き算等の合成処理を行い、協調して作業するための動作制御を行ってもよい。これにより、複数の操作者により１台のロボット装置２００が操作された場合であってもバランスの良い動作を実現することができる。

動作キャンセル部１５５は、動作制御部１５４によりロボット装置２００に実行させる動作のうち、操作者の意図と異なる動作を選択し、選択した動作の実行をキャンセルする。この場合、動作キャンセル部１５５は、操作者から入力された操作内容が、ロボット装置２００に動作させる内容であるか否かを操作者に問い合わせ、問い合わせ結果に基づいて、動作制御部１５４に動作制御情報を生成させたり、意図推定情報１７２Ｂを更新させたりする。

出力制御部１５６は、ロボット装置２００から取得した音声や画像に基づいて、操作端末３００を操作する操作者に提供する情報を生成する。提供する情報には、画像や音声が含まれる。また、出力制御部１５６は、認証管理部１４２による認証処理の結果に基づいて、センサ情報等を出力する。

記憶部１７０は、上記の各種記憶装置、或いはＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現されてもよい。記憶部１７０は、例えば、第１記憶部１７２と、第２記憶部１７４とを備える。第１記憶部１７２および第２記憶部１７４は、それぞれアクセス権の強度が異なる記憶領域である。第１記憶部１７２は、例えば、遠隔操作システム１の利用者の全てが使用できる情報が格納される。また、第２記憶部１７４は、例えば、予め設定されたアクセス権が確認された企業または利用者のみが取得可能な情報が格納される。また、第２記憶部１７４は、例えば、企業ごとに暗号化されたデータが格納され、企業ごとに割り当てられた鍵等による復号化を実行しないと閲覧できないような領域であってもよい。第１記憶部１７２および第２記憶部１７４によるアクセス権の設定については、認証管理部１４２で管理される。また、第１記憶部１７２および第２記憶部１７４は、それぞれ異なる記憶部でもよく、一方または双方が、データサーバ等の外部装置によって管理されてもよい。

例えば、第１記憶部１７２には、例えば、ロボット制御情報１７２Ａや意図推定情報１７２Ｂが格納される。ロボット制御情報１７２Ａとは、ロボット装置２００に所定の動作を実行させるための基本的な制御情報である。所定の動作とは、例えば、移動する、向きを変える、腕を動かす、物と持つ（把持する）、物を置くといった動作である。これらは、例えば、ロボット装置２００の種別ごとに設定されてもよい。

意図推定情報１７２Ｂは、例えば、意図推定部１５３により推定された意図推定結果に関する情報である。図３は、意図推定情報１７２Ｂの内容について説明するための図である。意図推定情報１７２Ｂは、例えば、操作端末３００から取得した操作内容に、推定意図に関する情報が対応付けられている。これらの情報は、操作者ごとに管理されてよく、複数の操作者の意図推定情報１７２Ｂを統合して、頻度の高い意図推定に関する情報のみが格納されてもよく、履歴情報等に基づいて更新されてもよい。

第２記憶部１７４は、所定のアクセス権が確認された利用者がアクセス可能な情報が格納される。第２記憶部１７４には、例えば、企業別利用者情報１７４Ａや、企業別センサ情報１７４Ｂ等が格納される。

図４は、企業別利用者情報１７４Ａの内容について説明するための図である。図４の例では、企業ごとの利用者情報が格納されており、それぞれの情報は、各企業のアクセス権が確認されないとアクセスできないように管理されている。企業別利用者情報１７４Ａは、例えば、遠隔操作システム１によるサービス利用時等に利用者を認証する認証情報に、氏名、権限、優先度、画像情報等の情報が対応付けられたものである。認証情報には、例えば、利用者を識別する識別情報である利用者ＩＤやパスワード等が含まれる。また、認証情報には、指紋情報や虹彩情報等の生体認証情報が含まれてもよい。権限には、例えば、利用者に割り当てられたアクセス権等の権限情報が含まれる。この権限情報に基づいて、ロボット装置２００により取得されたセンサ情報等を取得することができる。情報管理部１４４は、権限に格納された情報を参照することで、誰がどのデータにアクセス可能であるか、どのデータにアクセスできないのか等を管理することができる。優先度情報は、例えば、複数の操作者がロボット装置２００を遠隔操作している場合であって、それぞれの操作内容が同一または類似する場合の優先度が格納されている。画像情報とは、利用者を認識するための画像であり、例えば、利用者の顔画像や利用者に似せて作成されたアバター画像やイラスト画像等が含まれる。

図５は、企業別センサ情報１７４Ｂの内容について説明するための図である。図５の例では、企業ごとのセンサ情報が格納されており、それぞれの情報は、各企業のアクセス権が確認されないとアクセスできないように管理されている、企業別センサ情報１７４Ｂには、ロボット装置２００を識別する識別情報であるロボットＩＤに、日時、操作者ＩＤ、操作パーツ、センサ情報等が格納されている。操作者ＩＤには、操作した操作者の利用者ＩＤが格納される。操作パーツには、操作者が操作したロボットＩＤのパーツが格納される。これにより、１台のロボット装置２００が複数の操作者によって操作される場合であっても、それぞれの操作履歴を管理することができる。

［ロボット装置］
図６は、実施形態に係るロボット装置２００の構成の一例を示す図である。ロボット装置２００は、例えば、例えば、通信部２０２と、センサ２０４と、カメラ（撮像部の一例）２０６と、マイク２０８と、駆動部２１０と、モニタ２１４と、スピーカ２１６と、制御装置２４０と、記憶部２６０とを備える。駆動部２１０は、例えば、アーム部２１０Ａと、移動用駆動部２１０Ｂとを備える。制御装置２４０は、例えば、通信制御部２４２と、取得部２４４と、駆動制御部２４６と、出力制御部２４８とを備える。通信制御部２４２と、取得部２４４と、駆動制御部２４６と、出力制御部２４８とは、それぞれ、例えばＣＰＵ等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。これらの構成要素の機能のうち一部または全部は、専用のＬＳＩによって実現されてもよい。プログラムは、予めロボット装置２００が備えるＨＤＤやフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体が、ロボット装置２００が備えるドライブ装置に装着されることでロボット装置２００が備えるＨＤＤやフラッシュメモリにインストールされてもよい。

通信部２０２は、後述する。通信制御部２４２の制御により、ネットワークＮＷを介して、管理サーバ１００、その他の外部装置と通信する。また、通信部２０２は、他のロボット装置２００と通信してもよく、操作端末３００と通信を行ってもよい。

センサ２０４は、ロボット装置２００の位置を検出する位置センサ、速度を検出する速度センサ、ロボット装置２００の周辺またはアーム部２１０Ａの先端部等の特定の位置の温度を検出する温度センサ等を含む。位置センサは、例えば、ＧＰＳ（Global Positioning System）受信装置から情報を受信して、受信した情報に基づいて位置情報（経度・緯度情報）を求める。また、センサ２０４は、周囲の湿度を検出する湿度センサや、ロボット装置２００によって操作される物体の振動を検出する振動センサを含んでいてもよい。また、センサ２０４は、周辺の物体を検知する物体検知センサを含んでいてもよい。周辺の物体とは、例えば、他のロボット装置２００や人物、障害物等である。

カメラ２０６は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ２０６は、例えば、所定のタイミングでロボット装置２００の周辺を撮像する。カメラ２０６は、一台に限らず、複数台がロボット装置２００に設けられてもよい。例えば、カメラ２０６は、ロボット装置２００の頭部に設けられる。また、カメラ２０６は、アーム部２１０Ａの先端付近に設けられてもよい。これにより、作業対象の物体を近い距離で撮影することができるため、より細かい作業を行い易くすることができる。

マイク２０８には、ロボット装置２００の周辺の音が入力される。マイク２０８は、入力された音声に基づく情報を制御装置２４０に出力する。

アーム部２１０Ａは、対象物体を把持したり、対象物体に対して所定の作業を行う。アーム部２１０Ａは、例えば、多関節ロボットアームであり、例えば、アクチュエータ、ギア、人工筋等を備える。例えば、アーム部２１０Ａは、多関節ロボットアームの一端がロボット装置本体の右側付近に接続された第１アーム部と、他の多関節ロボットアームの一端がロボット装置本体の左側付近に接続された第２アーム部とを備える。また、アーム部２１０Ａには、第１アーム部および第２アーム部に加えて他のアーム部を備えていてもよい。以下、それぞれのアームを区別しない場合は、単に「アーム部２１０Ａ」と称する。アーム部の他端は、所定の物を把持可能な把持部が構成されている。アーム部２１０Ａは、制御装置２２０の制御に基づいて駆動する。また、アーム部は、人の腕の動きと同等の動きが可能である。

移動用駆動部２１０Ｂは、ロボット装置２００が床面や地面を移動するための駆動部である。移動用駆動部２１０Ｂは、例えば、２つの脚部であってもよいし、車輪、台車、クローラー等の移動機構が設けられていてもよい。例えば、移動用駆動部２１０Ｂが脚部の場合、脚部は、制御装置２２０の制御に基づいて、ロボット装置２００を歩行させるように動作する。また、移動用駆動部２１０Ｂは、クレーン等を駆動させることによって天井またはレールに沿って移動可能な構造であってもよい。これらの構成によりロボット装置２００は、所望の方向に移動することができる。なお、駆動部２１０は、アーム部２１０Ａまたは移動用駆動部２１０Ｂ以外にも腰や頭等の他の関節等を駆動させる機構が設けられてもよい。駆動部２１０は、駆動制御部２４６よる制御に基づいて駆動が実行される。

モニタ２１４は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）表示装置等である。モニタ２１４は、出力制御部２４８によって出力された情報を画像として表示する。モニタ２１４は、ロボット装置２００に複数設けられてよい。モニタ２１４は、例えば、頭部に設けられていてもよく、腹部や背面に設けられていてもよい。スピーカ２１６は、出力制御部２４８によって出力された情報を音声として出力する。

制御装置２４０は、例えば、通信制御部２４２と、取得部２４４と、駆動制御部２４６と、出力制御部２４８とを備える。通信制御部２４２と、取得部２４４と、駆動制御部２４６と、出力制御部２４８とは、例えば、ＣＰＵ等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリ等の記憶装置（非一過性記憶媒体）に格納さいてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

通信制御部２４２は、例えば、通信部２０２を介して無線通信によって、管理サーバ１００と通信し、情報の送受信を行う。また、通信制御部２４２は、通信部２０２を介して他のロボット装置２００と通信を行ってもよい。

取得部２４４は、ロボット装置２００に設けられたセンサ２０４の検出結果（センサ情報）を取得する。また、取得部２４４は、カメラ２０６により撮像された画像を取得する。また、取得部２４４は、マイク２０８から入力された音に基づく情報を取得する。

駆動制御部２４６は、管理サーバ１００から取得した動作制御情報に基づいて、アーム部２１０Ａおよび移動用駆動部２１０Ｂを動作させる。また、駆動制御部２４６は、動作制御情報に基づいて、ロボット装置２００の他のパーツ（例えば、頭、胴、腰等）を駆動させて、姿勢等を変更させる。また、駆動制御部２４６は、記憶部２６０に記憶された基本動作情報２６２およびカスタマイズ動作情報２６４に基づいて、ロボット装置２００を駆動させてもよい。基本動作情報２６２は、ロボット装置２００の種類等に応じて基本的な動作を実行させるための駆動制御情報である。カスタマイズ動作情報２６４とは、例えば、操作者ごとに予め登録された特定の動作をロボット装置２００に実行させるための駆動制御情報である。

出力制御部２４８は、管理サーバ１００から取得した情報に基づく画像をモニタ２１４に出力させる。また、出力制御部２４８は、管理サーバ１００から取得した情報に基づく音声や警告音等をスピーカ２１６に出力させる。

記憶部２６０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭ等により実現される。記憶部２６０には、例えば、基本動作情報２６２、カスタマイズ動作情報２６４、プログラム、その他の情報が格納されている。

［操作端末］
図７は、実施形態に係る操作端末３００の構成の一例を示す図である。操作端末３００は、例えば、通信部３１０と、ＨＭＤ３２０と、操作装置３３０と、環境センサ３４０と、制御装置３６０と、記憶部３８０とを備える。ＨＭＤ３２０と、操作装置３３０と、環境センサ３４０は、「ＨＭＩ（Human Machine Interface）」の一例である。

通信部３１０は、制御装置３６０による制御によりネットワークＮＷを介して管理サーバ１００と通信を行う。また、通信部３１０は、他の操作端末３００やロボット装置２００と通信を行ってもよい。

ＨＭＤ３２０は、例えば、画像表示部３２２と、視線検出部３２４と、センサ３２６と、スピーカ３２８と、制御部３２９とを備える。ＨＭＤ３２０は、制御装置３６０が管理サーバ１００から受信したロボット装置２００の状態画像や音声等を出力示したり、操作者の視線の動き等を検出する。

画像表示部３２２は、例えば、ＬＣＤや有機ＥＬディスプレイ等である。画像表示部は、制御部３２９の制御に応じて、後述する出力制御部３６８により出力された画像を表示する。

視線検出部３２４は、制御部３２９の制御によりＨＭＤ３２０を装着した操作者の視線を検出し、検出した視線情報（操作者センサ値）を制御装置３６０に出力する。視線情報とは、例えば、視線ベクトルを含む情報である。

センサ３２６は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。センサ３２６は、ＨＭＤ３２０を装着した操作者の頭部の傾き、頭部の回転を検出し、検出した頭部動作情報（操作者センサ値）を制御装置３６０に出力する。

スピーカ３２８は、出力制御部３６８により出力された音声や警告音等を出力する。

制御部３２９は、制御装置３６０からの制御情報に基づいて視線検出部３２４による視線検出の実行を制御したり、センサ３２６による検出を制御したり、画像表示部３２２への画像表示を制御したり、ＨＭＤ３２０を介した操作者からの情報の入力を受け付けたりする。

操作装置３３０は、例えば、センサ（操作者センサ）３３２と、制御部３３４と、フィードバック部３３６と、入力部３３８とを備える。操作装置３３０には、例えば、操作者の手に装着される触覚データグローブが含まれる。

センサ３３２は、例えば、加速度センサ、ジャイロスコープセンサ、磁力センサ等である。なお、センサ３３２は、複数のセンサを備える。センサ３３２は、例えば２つのセンサによって各指の動きをトラッキングする。センサ３３２は、例えば、制御部３３４の制御により、操作者の各指の方位や動き、手の動き等の操作者の腕部の姿勢や位置に関する情報である操作者腕部情報（操作者センサ値）を検出する。なお、操作者腕部情報（操作者センサ値）には、手先位置・姿勢情報、各指の角度情報、肘の位置・姿勢情報、各部の動きをトラッキングした情報等のヒトの腕部全般におよぶ情報が含まれる。

制御部３３４は、センサ３３２が検出した操作者腕部情報を、制御装置３６０に出力する。また、制御部３３４は、制御装置３６０から取得したフィードバック情報に基づいて、フィードバック部３３６を制御する。

フィードバック部３３６は、制御部３３４の制御に応じて、操作者にフィードバック情報をフィードバックする。フィードバック部３３６は、フィードバック情報に応じて、例えば、ロボット装置２００のアーム部２１０Ａに取り付けられている振動を与える手段（不図示）や空気圧を与える手段（不図示）や手の動きを拘束する手段（不図示）や温度を感じさせる手段（不図示）や堅さや柔らかさを感じさせる手段（不図示）、振動を感じさせる手段（不図示）等によって操作者に感覚をフィードバックする。

入力部３３８は、例えば、触覚データグローブ以外のキーボードやマウス、レバー、タッチパネル、マイク等の各入力装置である。入力部３３８は、各入力装置によってロボット装置２００に対する操作内容の入力を受け付ける。

環境センサ３４０は、例えば、操作者の動作を検出する。環境センサ３４０は、例えば、カメラ（撮像部の一例）３４２と、センサ３４４と、物体位置検出部３４６とを備える。カメラ３４２は、操作者を含む画像を撮像する。カメラ３４２は、例えば、ＲＧＢカメラである。カメラ３４２は、撮影した画像を物体位置検出部３４６に出力する。なお、環境センサ３４０において、カメラ３４２とセンサ３４４の位置関係が既知である。

センサ３４４は、例えば深度センサである。センサ３４４は、検出結果を物体位置検出部３４６に出力する。なお、カメラ３４２とセンサ３４４は、距離センサであってもよい。

物体位置検出部３４６は、カメラ３４２によって撮影された画像とセンサ３４４によって検出された検出結果とに基づいて、撮影された画像における対象物体の三次元位置と大きさ形状等を周知の手法で検出する。物体位置検出部３４６は、物体位置検出部３４６が記憶するパターンマッチングのモデル等を参照して、カメラ３４２が撮影した画像に対して画像処理（エッジ検出、二値化処理、特徴量抽出、画像強調処理、画像抽出、パターンマッチング処理等）を行って物体の位置を推定する。なお、物体位置検出部３４６は、撮影された画像から複数の物体が検出された場合、物体毎に位置を検出する。物体位置検出部３４６は、検出した物体位置情報を、制御装置３６０に送信する。なお、環境センサ３４０が送信するデータは、例えば位置情報を有する点群であってもよい。

制御装置３６０は、例えば、通信制御部３６２と、取得部３６４と、操作内容生成部３６６と、出力制御部３６８とを備える。通信制御部３６２と、取得部３６４と、操作内容生成部３６６と、出力制御部３６８とは、例えば、ＣＰＵ等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリ等の記憶装置（非一過性記憶媒体）に格納さいてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

通信制御部３６２は、例えば、通信部３１０を介して無線通信によって、管理サーバ１００と通信し、情報の送受信を行う。また、通信制御部３６２は、通信部３１０を介して他の操作端末３００と通信を行ってもよい。また、通信制御部３６２は、ＨＭＤ３２０や操作装置３３０、環境センサ３４０との通信を行う。

取得部３６４は、ＨＭＤ３２０、操作装置３３０、環境センサ３４０から得られた情報を取得する。操作内容生成部３６６は、取得部３６４により取得された情報に基づいて、ロボット装置２００に対する操作内容を生成する。例えば、操作内容生成部３６６は、ＨＭＤ３２０から取得された情報に基づいて視線情報や頭の向きに関する操作内容を生成する。また、操作内容生成部３６６は、操作装置３３０から取得された情報に基づいて、ロボット装置２００のアーム部２１０Ａの動作に関する操作内容を生成する。また、操作内容生成部３６６は、環境センサ３４０から取得された情報に基づいて、ロボット装置２００の姿勢や移動方向、移動量に関する操作内容を生成する。操作内容生成部３６６により生成された情報は、通信部３１０を介して、管理サーバ１００に送信される。

出力制御部３６８は、管理サーバ１００から取得した提供情報を、ＨＭＤ３２０や操作装置３３０に出力する。例えば、管理サーバ１００から取得した画像やＨＭＤ３２０の画像表示部３２２に出力させる。また、出力制御部３６８は、管理サーバ１００から取得した情報に基づく音声や警告音等をスピーカ３２８に出力させる。また、出力制御部３６８は、管理サーバ１００から取得した触覚に関する情報を操作者に伝えるためのフィードバック情報を操作装置３３０に出力させる。

記憶部３８０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭ等により実現される。記憶部３８０には、例えば、プログラム、その他の情報が格納されている。

［実施形態に係るロボット装置の遠隔操作について］
次に、実施形態に係る遠隔操作システム１によるロボット装置２００の遠隔操作について具体的に説明する。図８は、本実施形態に係るロボット装置２００の遠隔操作について説明するための図である。図８では、２人の操作者Ｕ１、Ｕ２の操作内容に基づいて、１台のロボット装置２００を操作する例を示している。操作者Ｕ１およびＵ２は、それぞれ、図８に示すように、ＨＭＤ３２０と操作装置３３０とを装着している。操作端末３００Ａ－１、３００Ａ－２は、同一の企業（例えば、企業Ａ）の端末であるが、異なる場所に設置されてもよい。

また、操作者Ｕ１とＵ２には、操作者の動作や周辺環境を測定する環境センサ３４０が設置されている。なお、環境センサ３４０と同様の構成は、例えば、ロボット装置２００に取り付けられていてもよい。また、操作装置３３０は、例えば、操作者の左手に装着される操作装置３３０ａと、右手に装着される操作装置３３０ｂとを含む。操作装置３３０ａ、３３０ｂのそれぞれから入力される操作内容は、ロボット装置２００の左手ＬＨおよび右手ＲＨの動作制御に用いられる。操作者の腕の位置や顔の向き等は、環境センサ３４０により検出される。それぞれの検出したデータは、ネットワークを介して管理サーバ１００に送信される。

管理サーバ１００は、操作端末３００Ａ－１、３００Ａ－２から得られる操作内容に基づいてそれぞれのユーザの意図を推定する。ここで、意図推定部１５３が推定する情報例について、具体的に説明する。意図推定部１５３は、取得した操作者からの操作内容に基づいて、操作者の動作意図を推定する。意図推定部１５３は、操作端末３００の操作者センサ値に基づいて、操作者の腕部の姿勢を分類することで、ロボット装置の把持部を含むアームの姿勢を分類する。また、意図推定部１５３は、分類結果に基づいて、操作者がロボット装置２００に行わせたい動作意図を推定する。意図推定部１５３は、例えば、時刻毎の手や指の動き、ロボット装置２００に行わせたい作業目的、作業内容、時刻毎の手や指の動き等を操作者の動作意図として推定する。作業目的は、例えば、物体の把持、物体の移動等である。作業内容は、例えば、物体を把持して持ち上げる、物体を把持して移動させる等である。

また、意図推定部１５３は、例えば、記憶部１７０に記憶された学習済みモデルや意図推定情報１７２Ｂに操作内容を入力して、操作者の動作意図を推定してもよい。実施形態では、把持姿勢の分類によって意図推定を行うことで、精度良く操作者の動作意図を推定することができる。なお、把持姿勢の分類には、他の手法を用いてもよい。

また、意図推定部１５３は、視線と腕部の動きを用いて統合的に推定してもよい。この場合、意図推定部１５３は、視線情報と、手の動き情報とテーブルＴＢ上の物体ＯＢの位置情報とを学習済みのモデルに入力して、操作者の動作意図を推定するようにしてもよい。

図８の例において、意図推定部１５３は、例えば、視線情報に基づいて把持させた物体を推定する。次に、意図推定部１５３は、推定した把持させたい物体に基づいて、操作者の手の姿勢を推定する。また、意図推定部１５３は、例えば、操作内容に基づいて、まず操作者の手の姿勢を推定し、次に推定した操作者の手の姿勢から、把持したい物体を推定してもよい。なお、操作者Ｕ１、Ｕ２から同じまたは類似の操作内容が入力された場合、優先度が高い操作者からの操作内容に基づいて、意図推定が行われる。また、操作者Ｕ１、Ｕ２ごとに異なる部位の操作が割り当てられている場合には、意図推定部１５３は、それぞれの操作内容に基づく意図を推定する。以下では、操作者Ｕ１が右手のアーム部２１０Ａを操作し、操作者Ｕ２が左手のアーム部２１０Ａを操作するものとして説明する。

例えば、図８に示すテーブルＴＢ上に物体ＯＢが置かれている場合、意図推定部１５３は、手の姿勢に基づいて、物体ＯＢを把持すると推定する。また、意図推定部１５３は、操作内容と、ロボット装置２００の状態情報とに基づいて、操作者が意図する手先の将来軌道を、事前に推定してもよい。なお、意図推定部１５３は、センサにより検出された検出結果、環境センサ３４０が撮影した画像を画像処理した結果等も用いて、把持したい物体と、物体の位置を推定するようにしてもよい。

また、操作者が操作する環境とロボット動作環境では座標系が異なるため、例えば、ロボット装置２００の起動時に、操作者の操作環境とロボット動作環境とのキャリブレーションを行ってもよい。また、把持の際、管理サーバ１００は、ロボット装置の把持力と、物体と把持部との摩擦力等に基づいて、把持時の把持位置の誤差を考慮して、把持位置を決定してもよい。

ロボット装置２００は、遠隔操作されていない場合は、制御装置２４０の制御に応じて動作が制御され、遠隔操作されている場合、管理サーバ１００が推定された意図等に基づいて生成した動作制御情報に応じて動作が制御される。

ロボット装置２００の制御装置２４０は、管理サーバ１００からの動作制御情報に基づいて駆動部２１０を制御する。また、ロボット装置２００は、センサ２０４により検出されたセンサ情報や、カメラ２０６で撮像された画像、マイク２０８により出力された音声等の情報を管理サーバ１００に出力する。管理サーバ１００は、取得したセンサ情報、画像、音声等に基づいて操作端末３００Ａ－１、３００Ａ－２に提供する提供情報を生成する。この場合、管理サーバ１００は、画像にセンサ情報の少なくとも一部を重畳した画像を生成してもよい。管理サーバ１００は、触覚により伝達させるための情報も含めた提供情報を生成する。また、ロボット装置２００は、複数の操作者により操作することが可能であるため、ロボット装置２００の各部位の操作者を特定するための情報をカメラ画像に重畳した画像を生成してもよい。操作端末３００は、管理サーバ１００から出力された画像を表示させる。

図９は、操作端末３００が表示する画像ＩＭ１０の一例を示す図である。なお、画像ＩＭ１０のレイアウトや表示内容等の表示態様については、図９の例に限定されるものではない。以降に説明する他の画像の表示態様についても同様とする。図９に示す画像ＩＭ１０には、カメラ２０６により撮像されたロボット装置２００のアーム部（左手ＬＨ、右手ＲＨ）を含む画像ＩＭ１０にセンサ情報表示領域Ａ１１と、操作者情報表示領域Ａ１２と、作業状況表示領域Ａ１３とが重畳して表示されている。また、図９の例では、ロボット装置２００の正面にあるテーブルＴＢ上に物体ＯＢ１が置かれている。また、ロボット装置２００の左手ＬＨは、物体ＯＢ２を把持した状態で持ち上げ、ロボット装置２００の右手ＲＨは、物体ＯＢ３を把持した状態で持ち上げているものとする。センサ情報表示領域Ａ１１、操作者情報表示領域Ａ１２、および作業状況表示領域Ａ１３は、実空間上の物体が遮蔽されることがないように、所定の透過率で表示されてよい。

図９の例において、センサ情報表示領域Ａ１１Ｌには、ロボット装置２００の左手に関するセンサ情報が表示されている。また、センサ情報表示領域Ａ１１Ｒには、ロボット装置２００の右手に関するセンサ情報（例えば、位置、圧力、温度等）が表示されている。また、図９の例において、操作者情報表示領域Ａ１２Ｌには、ロボット装置２００の左手の操作者に関する情報が表示されている。操作者情報表示領域Ａ１２Ｒには、ロボット装置２００の左手の操作者に関する情報が表示されている。これにより、例えば、ロボット装置２００を複数人で操作する場合に、ロボット装置２００の各パーツの操作者を他の操作者に正確に把握させることができる。また、自分が操作している部分のセンサ情報だけでなく、他の操作者の操作に関する情報を把握することができるため、より正確な処理を実行することができる。

作業状況表示領域Ａ１３には、それぞれの意図推定の結果等が表示される。図９の例では、操作者Ｕ１、Ｕ２のそれぞれの操作内容から推定された意図に関する情報が表示される。また、管理サーバ１００は、意図推定によって、それぞれの操作者が同一または類似の処理を行うことを推定した場合に、優先度情報に基づいて一方の意図を優先して実行する。また、この場合、他の操作者に、作業状況表示領域Ａ１３に表示させると共に、音声または表示態様を変化させることで警告等の提示を行ってもよい。図９の例では、操作者Ｕ１とＵ２が共に、把持した物体を物体ＯＢ１の上に置こうとしているため、警告情報が提示される。警告態様は、危険度合に応じて、異ならせてもよい。

この場合、動作制御部１５４は、例えば、操作者ごとの優先度を参照し、優先度の高い操作者の意図に基づいて動作をロボット装置２００に実行させる。また、管理サーバ１００は、優先度に基づいて処理が実行された場合に、操作端末３００の表示部に処理内容を含む画像を表示させる。

図１０は、優先度に基づく作業が実行された場合に操作端末３００に表示される画像ＩＭ２０の一例を示す図である。図１０の例では、図９に示す画像ＩＭ１０と比較すると、作業状況表示領域Ａ１３に表示される内容が異なっている。したがって、以下では、主に、作業状況表示領域Ａ１３について説明する。図１０の例において、作業状況表示領域Ａ１３には、優先度に基づいて操作者祖Ｕ２の指示が優先して実行されたことを示す情報が表示されている。これにより、操作者Ｕ１、Ｕ２は、それぞれの操作指示に対する意図推定結果と、実際の作業状況を、より正確に把握することができる。

また、意図推定部１５３は、推定した結果を記憶部に記憶し、次回以降の意図推定の際に利用してもよい。また、意図推定部１５３は、不明な動作を検出した場合に、その動作をロボット装置２００に実行させるかを操作者に問い合わせてもよい。

図１１は、ロボット装置に実行される動作を操作者に問い合わせる画像ＩＭ３０の一例を示す図である。画像ＩＭ３０は、例えば、動作問合せ情報表示領域Ａ３１と、スイッチ表示領域Ａ３２とが含まれる。動作問合せ情報表示領域Ａ３１には、操作装置３３０により入力された操作内容のうち、ロボット装置２００に実行させる必要があるか否かを問い合わせるための情報が表示される。例えば、頭を触る動作が検出されたが、この動作の意図が推定できなかった場合、意図推定部１５３は、図１１の動作問合せ情報表示領域Ａ３１に示すように、「頭を触る動作が検出されました。この動作をロボットに動作させますか？」等の文字情報を示す画像を操作端末３００に表示させる。

スイッチ表示領域Ａ３２には、例えば、アイコンＩＣ３１およびＩＣ３２が表示されている。アイコンＩＣ３１およびＩＣ３２は、例えばＧＵＩ（Graphical User Interface）スイッチである。アイコンＩＣ３１が選択された場合、管理サーバ１００は、指示された操作内容をロボット装置２００に実行させるための動作制御情報を生成する。また、アイコンＩＣ１２が選択された場合には、ＨＭＩ制御部１８０は、指示された操作内容をロボット装置２００に実行させない。また、管理サーバ１００は、今後同一の操作が入力された場合であってもロボット装置に入力させないような処理を実行してもよい。これにより、操作者の癖等によって無意識に実行される動作等をロボットに実行させることを抑制することができ、余計な動作を行わせないようにすることができる。

また、ロボット装置２００の周囲に存在する操作者は、ロボット装置２００が誰によって操作されているかが分からないため、不安に感じることがあり得る。そこで、管理サーバ１００は、ロボット装置２００の操作者に関する情報を、ロボット装置２００のモニタに表示させてもよい。この場合、ロボット装置２００が複数の操作者によって操作されている場合に、それぞれのパーツごとの操作者を提示してもよい。

図１２は、ロボット装置２００のモニタ２１４に表示される画像ＩＭ４０の一例を示す図である。画像ＩＭ４０には、例えば、操作者情報表示領域Ａ４１、Ａ４２の一方または双方が含まれる。操作者情報表示領域Ａ４１には、ロボット装置２００を操作する操作者に関する文字情報が表示される。また、操作者情報表示領域Ａ４１には、操作者が操作するロボット装置２００のパーツに関する情報が含まれてもよい。図１２の例において、操作者情報表示領域Ａ４１には、「このロボットは、操作者Ｕ２が右手を、操作者Ｕ１が左手を、それぞれ操作しています。」という文字情報が表示されている。また、操作者情報表示領域Ａ４２には、利用者ＤＢに登録されたアバター画像が表示されている。これにより、周囲の操作者は、ロボットを遠隔操作している人物や、担当しているパーツをより正確に認識することができる。

［処理シーケンス］
次に、実施形態における遠隔操作システムによって実行される処理について、シーケンス図を用いて説明する。図１３は、実施形態における遠隔操作システム１によって実行される処理について説明するためのシーケンス図である。図１３の例では、管理サーバ１００と、ロボット装置２００と、操作端末３００－１、３００－２を用いて説明するものとする。また、図１３では、２つの操作端末３００－１、３００－２によって、ロボット装置２００を操作する例について説明するものとする。

操作端末３００－１および操作端末３００－２は、ロボット装置２００を遠隔操作するために、それぞれ管理サーバ１００にアクセスする（ステップＳ１００、Ｓ１０２）。管理サーバ１００は、操作端末３００－１および３００－２から入力される認証情報等に基づいて遠隔操作システム１を利用可能であるか否かの認証処理を行う（ステップＳ１０４）。以下では、認証により利用が許可された場合について説明する。利用が許可された場合、管理サーバ１００の管理部は、操作端末３００－１および３００－２によって操作されるロボット装置２００を割り当て（ステップＳ１０６）、割り当てたロボット装置に対して起動制御の要求を行う（ステップＳ１０８）。

ロボット装置２００は、管理サーバ１００からの起動要求に基づいて機器を起動し（ステップＳ１１０）、ロボット装置２００のセンサの検出結果や、カメラにより撮像された画像等の管理サーバ１００に出力する（ステップＳ１１２）。

管理サーバ１００は、ロボット装置２００から送信された情報を取得し、取得した情報に基づいて、操作端末３００－１、３００－２に提供する情報（提供情報）を生成する（ステップＳ１１４）。そして、管理サーバ１００は、生成した提供情報を、操作端末３００－１、３００－２にそれぞれ送信する（ステップＳ１１６、Ｓ１１８）。

操作端末３００－１、３００－２のそれぞれは、管理サーバ１００から送信された提供情報を受信し、受信した情報をＨＭＤおよび操作装置等から出力して、情報を提供する（ステップＳ１２０、Ｓ１２２）。

次に、操作端末３００－１、３００－２は、ロボット装置２００に関する操作内容を管理サーバ１００に送信する（ステップＳ１２４、Ｓ１２６）。管理サーバ１００は、操作端末３００－１、３００－２のそれぞれから得られる操作内容に基づいて意図推定を行い（ステップＳ１２８）、それぞれの意図推定結果に基づく動作制御情報を生成し（ステップＳ１３０）、生成した動作制御情報をロボット装置２００に送信する（ステップＳ１３２）。

ロボット装置２００は、動作制御情報に基づいて動作を行い（ステップＳ１３４）、動作中または動作結果で、センサ等から得られる情報（センサ情報）やカメラ画像等を管理サーバ１００に送信する（ステップＳ１３６）。

管理サーバ１００は、受信した情報を記憶部１７０に記憶させ（ステップＳ１３８）、取得した情報を操作端末３００－１，３００－２に送信するための提供情報を生成し（ステップＳ１４０）、生成した提供情報を、操作端末３００－１、３００－２に送信する（ステップＳ１４２、Ｓ１４４）。操作端末３００－１、３００－２のそれぞれは、得られた情報出力して、操作者に情報提供を行う（ステップＳ１４６、Ｓ１４８）。以降、ステップＳ１２４～Ｓ１４８の処理が、ロボット装置２００への操作が完了するまで継続して行われる。

＜変形例＞
実施形態における管理サーバ１００、ロボット装置２００、および操作端末３００の処理の一部または全部は、ＡＩ（Artificial Intelligence）技術によって実現されてもよい。また、管理サーバ１００、ロボット装置２００、および操作端末３００に含まれる機能部または記憶部に記憶される情報のうち、一部または全部の機能部または情報は、他の装置に含まれてもよい。

また、上述の実施形態では、主に複数の操作者が１台のロボット装置２００を操作することについて説明したが、１人の操作者が複数のロボット装置２００を操作してもよい。この場合、複数のロボット装置２００のそれぞれで検出されたセンサ情報等がＨＭＤ３２０の画像表示部３２２に表示される。また、管理サーバ１００は、操作に関する履歴情報や意図推定情報等をロボットメーカ端末４００に送信してもよい。これにより、ロボットメーカ端末４００や商品の開発や、プログラムのアップデート等に利用することができる。この場合、ロボット装置２００のエコ運転（例えば、低電力運転や低負荷運転、低通信量運転）を行った企業、または、操作者若しくはテレワーク特性に適したロボット制御の方法を提供した企業等に対して、システム利用の割引や減額サービスを行ってもよい。これにより、利用者からの情報提供を推進することができるため、サービスの向上に役立てることができる。

また、上述の実施形態では、１台のロボット装置２００を複数の操作者で操作する場合に、それぞれの操作意図や作業状況を表示させる例を示したが、例えば、所定距離以内に存在する複数のロボット装置２００や、共同作業を行っているロボット装置間で、上述した意図推定結果や、作業状況、操作者に関する情報を提供してもよい。これにより、ロボット同士の意図推定機能を用いることで、人間同士で行うよりもより意識の共有が可能となる。また、周辺のロボット装置２００の状況まで取得することができるため、グループワーク等も円滑に行うことができる。

以上説明した実施形態は、例えば、サーバにおいて、一以上のロボット装置２００および一以上のロボット装置２００のうち少なくとも一つを遠隔操作する一以上の操作端末３００とネットワークＮＷを介して通信する通信部と、操作端末３００によって入力された操作内容を取得する取得部と、取得部により取得された操作内容に基づいて操作端末３００の操作者の意図を推定する意図推定部と、意図推定部により推定された意図結果に基づいてロボット装置２００の動作を制御する動作制御部と、を備えることにより、ロボットをより適切に動作させることができる。

また、上述した実施形態によれば、ロボットを遠隔操作することによってテレワークを行うにあたり、より汎用的に様々な装置を使用したり、それをチームで運用することができる。また、従来は遠隔操作を行うにしても限られた専用ロボットでの限られた作業しかできなかったが、本実施形態によれば、汎用性の高いロボットで誰もが簡単にテレワークを行うことが可能になる。

また、実施形態によれば、ロボットの情報とセンサの情報（企業の機密を含みうる情報）分けて管理することができ、機密対応可能なサーバを提供することができる。また、遠隔操作する操作者は同一サーバにアクセス可能であり、同一ロボット、あるいは別ロボットの操縦権やセンサ情報を共有することができる。例えば、同一ロボット装置を操作する場合には、複数の操作者が違う腕を操作することで、同一ロボットの同一腕を先輩と後輩が同時に操作し、触覚などのセンサ情報も共有した上で力の足し算、引き算ができる。また、別ロボット操縦の場合に、意図推定機能を共有し、他者の意図を開示することにより以心伝心が可能となる。また、意図推定機能を利用することで同じ方向に進んでしまったり、同じものを取ろうと思った時にぶつからないように警告を出すことができる。また、実施形態によれば、１人の操縦者が２台のロボットを操縦することが可能である。この場合、例えば大きい机を２台のロボットで運ぼうとした場合、予め一台のロボットを机の端に連れていき、別ロボットと同期処理をする。また、別ロボットをもう一端に連れていき、持ち上げる動作をしようとすると同期処理により一緒に持ち上げる。更に、実施形態では、人間同士で掛け声をかけて動作させるよりも正確な作業が可能となる。また、実施形態では、一人の操縦者が同じ作業をたくさんのロボットにさせる場合に、サポーティッドテレオペレーション機能によって、ロボット個体差と作業対象物の個体差を吸収することができる。

上記説明した実施形態は、以下のように表現することができる。
移動体と、前記移動体の利用者の携帯端末との通信を行うサーバのコンピュータが、
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
一以上のロボット装置および前記一以上のロボット装置のうち少なくとも一つを遠隔操作する一以上の操作端末とネットワークを介して通信し、
前記操作端末によって入力された操作内容を取得し、
取得した操作内容に基づいて前記操作端末の操作者の意図を推定し、
推定した意図結果に基づいて前記ロボット装置の動作を制御する、
ように構成されている、サーバ。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…遠隔操作システム、１００…管理サーバ、１１０，２０２、３１０…通信部、１２０…通信制御部、１３０…取得部、１４０…管理部、１５０…制御部、１７０…記憶部、２００…ロボット装置、２０４…センサ、２０６…カメラ、２０８…マイク、２１０…駆動部、２１４…モニタ、２１６…スピーカ、２４０…制御装置、２６０…記憶部、３００…操作端末、３２０…ＨＭＤ、３３０…操作装置、３４０…環境センサ、３６０…制御装置、３８０…記憶部

Claims (9)

1. 一以上のロボット装置および前記一以上のロボット装置のうち少なくとも一つを遠隔操作する一以上の操作端末とネットワークを介して通信する通信部と、
   前記操作端末によって入力された操作内容を取得する取得部と、
   前記取得部により取得された操作内容に基づいて前記操作端末の操作者の意図を推定する意図推定部と、
   前記意図推定部により推定された意図結果に基づいて前記ロボット装置の動作を制御する動作制御部と、
   を備える、サーバ。
2. 前記取得部は、前記ロボット装置の動作に関するロボット制御情報と、前記ロボット装置に設けられたセンサにより検出されたセンサ情報とを取得し、
   前記取得部により取得された前記ロボット制御情報と前記センサ情報とに、それぞれ異なるアクセス権を設定し、設定されたアクセス権が確認されたときに前記ロボット制御情報と前記センサ情報の何れかを取得可能とする管理部を更に備える、
   請求項１に記載のサーバ。
3. 前記管理部は、前記センサ情報のアクセス権の強度を、前記ロボット制御情報よりも大きくする、
   請求項２に記載のサーバ。
4. 前記動作制御部は、複数の操作端末から取得した操作内容に基づいて一つのロボット装置の動作を制御する場合に、前記操作端末を操作する操作者の優先度に基づいて、前記ロボット装置の動作制御情報を生成する、
   請求項１から３のうち何れか１項に記載のサーバ。
5. 前記動作制御部は、前記取得部により前記複数の操作端末から同一または類似の操作内容が取得された場合に、前記優先度の高い操作者からの操作内容を優先させて前記ロボット装置の動作を制御する、
   請求項４に記載のサーバ。
6. 前記意図推定部は、前記一つのロボット装置を操作する複数の操作端末のそれぞれの操作者の意図を推定し、
   前記意図推定部により推定された前記それぞれの操作者の意図推定結果を前記複数の前記操作端末のそれぞれに出力させる出力制御部を更に備える、
   請求項４または５に記載のサーバ。
7. 請求項１から請求項６の何れかに記載されたサーバと、
   前記一以上のロボット装置と、
   前記一以上の操作端末と、
   を備える、遠隔操作システム。
8. コンピュータが、
   一以上のロボット装置および前記一以上のロボット装置のうち少なくとも一つを遠隔操作する一以上の操作端末とネットワークを介して通信し、
   前記操作端末によって入力された操作内容を取得し、
   取得した操作内容に基づいて前記操作端末の操作者の意図を推定し、
   推定した意図結果に基づいて前記ロボット装置の動作を制御する、
   遠隔操作方法。
9. コンピュータに、
   一以上のロボット装置および前記一以上のロボット装置のうち少なくとも一つを遠隔操作する一以上の操作端末とネットワークを介して通信させ、
   前記操作端末によって入力された操作内容を取得させ、
   取得された操作内容に基づいて前記操作端末の操作者の意図を推定させ、
   推定された意図結果に基づいて前記ロボット装置の動作を制御させる、
   プログラム。

Images