JP2015093353A - 多機能情報端末遠隔操作型ロボット - Google Patents

Abstract

【課題】 あたかもそのユーザがその場所に存在してコミュニケーションをとっているような状況を作り出せれば便利である。【解決手段】 操作側情報処理端末と、制御側情報処理端末と、所定の方向を前方向として画定されているロボットとを備え、操作側情報処理端末が制御側情報処理端末とインターネットを介して通信可能に接続し、使用者が前記操作側情報処理端末を操作することにより前記ロボットを操作可能なロボット遠隔操作システムにより、解決する。【選択図】図１

Description

本発明は、遠隔操作型ロボットに関する。より特には、スマートフォンなどの多機能情報端末を使用した遠隔操作型ロボットに関する。

近年、様々なデバイスがインターネットに接続されている。そして中間に人手を介さなくともデバイス間で相互に情報を交換し、それによりデバイスにおける情報収集や管理、制御等が実現されている。これらの技術はＭ２Ｍと呼ばれ、スマートフォンやダブレットを進化させ、さらにカーナビゲーションシステムやテレビ等にまで影響を及ぼそうとしている。近い将来にはこの技術はロボットへも多大な影響を及ぼすと考えられている。

特許文献１では、ファイアーウォールを経由してインターネットに接続可能なロボットが開示されている。当該ロボットはインターネットＶＰＮシステムを有するスマートフォンを使用することで、ファイアーウォール外からロボットにアクセスして制御することが可能となっている。

特許文献２では、ヒューマン・ロボット・インターフェース装置としてのコンピュータやスマートフォン等により、ユーザがロボットを操作することが開示されている。ロボットにはカメラが搭載されており、それにより得られた二次元画像は、コンピュータやスマートフォン等のディスプレイに表示される。ロボットとヒューマン・ロボット・インターフェース装置との間は無線通信やローカルエリアネットワークに接続されている。

特開２０１３−１８３２８５号公報 特開２０１２−６６３７８号公報

互いの表情を確認しながら、必要に応じて動作を含ませることはコミュニケーションをとる上で重要なことである。しかしながら、いずれの特許文献においても、ロボットを見ることで、ユーザの意図する動作を確認できたとしても、ユーザの表情等を認識することは不可能であった。

本発明は上述の問題を解決するためになされたものであり、遠隔地にいるユーザがユーザの表情を伴いつつ自分の意図通りにロボットを操作することで、あたかもそのユーザがその場所に存在してコミュニケーションをとっているような状況を作り出せれば便利である。

操作側情報処理端末と、制御側情報処理端末と、所定の方向を前方向として画定されているロボットとを備え、使用者が前記操作側情報処理端末を操作することにより前記ロボットを操作可能なロボット遠隔操作システムであって、前記操作側情報処理端末は前記制御側情報処理端末とインターネットを介して通信可能に接続しており、前記制御側情報処理端末とロボットとは通信可能に接続しており、前記操作側情報処理端末は、操作側カメラを備え、前記制御側情報処理端末は、制御側ディスプレイを備え、前記ロボットは、前記制御側情報処理端末の前記制御側ディスプレイの法線が前記前方向と平行になるように前記制御側情報処理端末を保持する首台であって、前記制御側ディスプレイの法線が前記前方向に対して任意の角度となるように回動可能な首台を備え、前記制御側情報処理端末は、前記操作側情報処理端末の前記カメラにより撮影した前記操作側情報処理端末の使用者の顔の映像を前記制御側ディスプレイに表示し、前記制御側情報処理端末が前記首台に取り付けられている際に、前記制御側情報処理端末の前記制御側ディスプレイに表示された前記操作側情報処理端末の前記使用者の顔の映像が前記ロボットの顔となるような位置となるように設定されていることを特徴とするロボット遠隔操作システムにより、解決する。

本発明によれば、遠隔地にいるユーザがユーザの表情を伴いつつ自分の意図通りにロボットを操作することで、あたかもそのユーザがその場所に存在してコミュニケーションをとっているような状況を作り出すことが可能となる。

本発明によるロボット遠隔操作システムの概略図である。 ロボット遠隔操作システムの操作側情報処理端末の概略図である。 ロボット遠隔操作システムでの制御側情報処理端末とロボットの図である。 ロボットの首の動作の図である。

以下、本発明の好ましい実施の形態を添付の図面に基づいて詳細に説明する。なお、図において同一部材は同一記号で図示される。

本発明の実施例１について図１から図４を参照し説明する。図１は本発明によるロボット遠隔操作システムを示す。図２は本発明のロボット遠隔操作システムで使用される操作側情報処理端末２を示す。図３は本発明のロボット遠隔操作システムで使用されるロボットを示す。図４は、ロボットのうち、特に、首部分の動作の詳細を示した図である。

ロボット遠隔操作システム１は、操作側情報処理端末２と、制御側情報処理端末３、ロボット４と、を備える。操作側情報処理端末２はロボット操作を特別な機能としない標準的な多機能情報端末であって、たとえばいわゆるスマートフォンまたはパーソナルコンピュータとすることができる。また、制御側情報処理端末３もロボット操作を特別な機能としない標準的な多機能情報端末であって、たとえば、いわゆるスマートフォンや、タブレット式端末とすることができる。操作側情報処理端末２は、インターネット等のネットワーク４に無線または有線による通信で接続が可能である。制御側情報処理端末３は、インターネット等のネットワーク４に無線による通信で接続が可能である。したがって、操作側多機能情報端末２は制御側多機能情報端末３と通信可能に接続される。また、制御側情報処理端末３は、有線または無線による通信でロボットとの信号処理装置と接続が可能である。

操作側情報処理端末２は、操作側ディスプレイ２１と、操作側カメラ２２と、操作側マイク２３と、操作側スピーカ２４と、操作側ＣＰＵ２５と、操作側メモリ２６とを備えている。操作側メモリ２６は操作側ＣＰＵ２５に電気的に接続されている。操作側メモリ２６には、複数のコマンドが格納されている。

制御側情報処理端末３は、制御側ディスプレイ３１と、制御側カメラ３２と、制御側マイク３３と、スピーカ３４と、制御側ＣＰＵ３５と、制御側メモリ３６とを備えている。制御側メモリ３６は操作側ＣＰＵ３５に電気的に接続されている。操作側メモリ２６には、複数の動作パタンが格納されている。

ロボット４は、代表的には、首台４１と本体部４２ａ、腕部４２ｂ、脚部４２ｃを具備している。脚部４２ｃは、たとえば車輪であったり、また、腕部４２ｂや、脚部４２ｃを有していないなど、ロボット４の特徴により、その構成はさまざまである。本明細書では、代表的例として、ロボット４を、鉛直方向に直立する人型ロボット４として説明を行なう。首台４１は、本体部４２ａに、本体部４２ａの鉛直軸まわりに回動可能に取り付けられている。首台４１、腕部４２ｂおよび脚部４２ｃは、本体部４２ａに、それぞれ、駆動機構（不図示）を介して結合され、それぞれの駆動機構を動作させることにより、本体部４２ａに対して、腕部４２ｂと脚部４２ｃとが回動する。本体部４２ａは信号処理ユニット４３を有している。信号処理ユニット４３は、制御側情報処理端末３の制御側ＣＰＵ３５と、Bluetooth(登録商標)やWi-Fi(登録商標)などの無線手段により、またはコネクタ接続による配線などの有線手段により、通信可能に接続され、ロボット４の所要の構成を制御側情報処理端末３の制御側ＣＰＵ３５に送信可能である。

ロボット４では、所定の方向を「前方向Ｆ」として画定する。「前方向Ｆ」は、ロボット４の動作において基本となる方向であり、任意に定義できるが、代表的には、駆動装置を順方向に動作させることにより脚部４２ｃを動作する方向の前進動作など、動作方向のすべての基本となる方向として定義されるべきである。たとえば、鉛直方向に直立する人型ロボット４では、代表的には、静止状態（動作しない待機状態）において、本体部４２ａの胸の法線方向を前方向Ｆとする。この方向は、一般的に、歩行する方向にあたる「前方向Ｆ」と通常定義される。

ロボット４には、加速度センサ４４ａ，４４ｂ，４４ｃ，４４ｄが備えられている。ただし、センサの個数，種類および取り付け箇所は、ロボットに応じて任意に決定される。加速度センサ４４ａ，４４ｂ，４４ｃ，４４ｄは、首台４１、本体部４２ａ、腕部４２ｂ、脚部４２ｃの位置を測定する。

ロボット４は、人型ロボット４の形であるが顔の部分がなく、ロボット４の顔は制御側情報処理端末３の制御側ディスプレイ３２となる。そのため、首台４１は、制御側情報処理端末３の制御側ディスプレイ３２のディスプレイ面が「前方向Ｆ」を向くように取り付け可能となっている。すなわち、図４（ａ）に示すように、首台４１は、制御側情報処理端末３の制御側ディスプレイ３２のディスプレイ面の法線Ｎがロボット４の「前方向Ｆ」と平行になるように、制御側情報処理端末３を保持することができる。また、ディスプレイ面法線Ｎは、通常、首台４１が回動する回動軸と垂直方向になるように、制御側情報処理端末３を保持することができる。図４（ｂ）に示すように、首台４１は、制御側ディスプレイ３２の法線Ｎが「前方向Ｆ」に対して任意の角度となるように回動可能である。また、図４（ｃ）に示すように、首台４１は、ディスプレイ面法線Ｎが、上下方向を向くように「前方向Ｆ」に対して任意の角度となるように、回転可能に設定することができる。

操作側情報処理端末２の操作側ＣＰＵ２５と制御側情報処理端末３の制御側ＣＰＵ３５は、たとえば、共通のオペレーティングシステムで動作する。操作側情報処理端末２および制御側情報処理端末３では、それぞれにおいて、そのオペレーティングシステム上で動作する任意のアプリケーションソフトウェアで操作と制御が行なわれる。共通のオペレーティングシステムの環境で動作させることにより、異なるタイプの操作側情報処理端末２、異なるタイプの制御側情報処理端末３、異なるタイプのロボット４、異なるアプリケーションであっても、その動作は共通的に定義することができる。オペレーティングシステムにおいては、想定させる異なるタイプのロボット４におけるそれぞれの構成を標準的に定義しておく。たとえば、腕部４２ｂや脚部４２ｃの存在はもとより、腕部４２ｂまたは脚部４２ｃが存在しない、脚部４２ｃが車輪であるなどその種類、腕部４２ｂまたは脚部４２ｃにおける関節数とその自由度が標準として定義されていて、操作側情報処理端末２上で実行されるアプリケーションソフトウェアと制御側情報処理端末３のアプリケーションソフトウェアは、この定義に基づいて作られる。したがって、各アプリケーションソフトウェアは、実行段階において、それぞれが操作させようとする対象の構成がその定義のどの構成にあたるかを認識し、その構成に応じて、実行可能なコマンドおよび動作パタンを決定する。

一方、異なるオペレーティングシステムで動作させるようにすることもできる。この場合には、予め異なるオペレーティングシステム同士で上記の定義に対応するコマンドを理解できるように、オペレーティングシステムにおけるアプリケーション・プログラミング・インターフェースを組み込んでおく。これにより、異なるオペレーションシステムであっても、共通のオペレーティングシステムと同じく、上記のように動作させることが可能である。

コマンドは、実行コマンドと、感応コマンドとがある。ここで、実行コマンドとは、ロボットの腕の上下動を促すコマンド、足を前後に移動させるコマンドなど、カメラで撮影するなどというロボットの基本動作に対応したコマンドである。感応コマンドとは、たとえば、予め複数の実行コマンドを１つのコマンドとして定義づけたコマンドである。たとえば、「あいさつ」という感応コマンドでは、「ロボットの肩を下方より４５度方向まで上昇させる」、「ロボットの肘関節を９０度にする」、「ロボットの指をひらく」、「首を立てにふる」などという一連の動作を定義づけられている。すなわち、「挨拶」という感応コマンドにより、これらの動作が一連で進行するように定義付けられている。

また、動作パタンは、実行パタンと感応パタンとがある。実行パタンは、実行コマンドに対応して、ロボット４の各々の駆動機構を動作させてロボット各部を動作させるための駆動機構を動作させるパタンのコマンドである。また、感応パタンは、感応コマンドに対応して、感応コマンドに定義づけられた一連の動作に定義されたロボット４の各々の駆動機構を動作させてロボット各部を動作させるための駆動機構を動作させる動作パタンのコマンドである。

コマンドと動作パタンは、すなわち、実行コマンドおよびそれに対応する実行パタンと、感応コマンドおよびそれに対応する感応パタンとは、共通のオペレーティングシステムにより動作定義される範囲内で、様々な種類のロボット４の構成に対応してあらかじめ定義されているものである。

操作側情報処理端末２の操作側ＣＰＵ２５と制御側情報処理端末３の制御側ＣＰＵ３５は、共通のオペレーティングシステムで動作するので、異なるタイプの操作側情報処理端末２、異なるタイプの制御側情報処理端末３、異なるタイプのロボット４であっても、これらの実行コマンドと感応コマンドとを、対応する共通な、実行パタンと感応パタンとして、予め対応させておくことができる。

続いて、ロボット遠隔操作システムの動作について、説明する。まず、制御側情報処理端末３を制御側情報処理端末３の制御側ディスプレイ３２のディスプレイ面が前方向Ｆを向くように、首台４１に取り付ける。制御側情報処理端末３の制御側ＣＰＵ３５は、ロボット４の信号処理ユニット４３と通信を行なって、ロボット４の所要の構成（たとえば、腕４２ｂ、脚部４２ｂの構成）を認識する。認識した構成は制御側情報処理端末３の制御側ＣＰＵ３５に送信される。制御側情報処理端末３の制御側ＣＰＵ３５は、これによって、実行可能な実行パタンおよび感応パタンと、動作不可能な実行パタンおよび感応パタンとを区別し、実行可能な実行パタンおよび感応パタンを実行可能なものとして定義付ける。

操作側情報処理端末２を動作させ、制御側情報処理端末３と通信を行い、操作側情報処理端末２の操作側ＣＰＵ２５と制御側情報処理端末３の制御側ＣＰＵ３５との間で、実行可能な実行パタンと感応パタンに対応する実行可能な実行コマンドと感応コマンドとを、実行可能なものとして定義する。定義された実行可能な実行コマンドと感応コマンドとを、操作側情報処理端末２のディスプレイ２１に表示する。

操作側情報処理端末２の操作側カメラ２２で撮影されたロボット４を操作する操作側情報処理端末２によりロボット４を操作する使用者の顔の映像は、静止画像またはリアルタイムで撮影された映像の動画として、制御側ディスプレイ３１に表示される。これにより、ロボット４は顔がないが、制御側情報処理端末３の制御側ディスプレイ３１に表示される顔がロボット４の顔となるような位置に、制御側ディスプレイ３１が設定され、首台４１は制御側情報処理端末３を保持する。逆に、制御側カメラ３２で撮影されたロボット４に対面する人または物の映像は、操作側情報処理端末２の操作側ディスプレイ２１により表示される。

操作側情報処理端末２の操作側マイク２３で集音されたロボット４を操作する操作側情報処理端末２によりロボット４を操作する使用者の声の音声は、制御側情報処理端末３の制御側スピーカ３３で再生される。逆に、制御側情報処理端末３の制御側マイク３３で集音されたロボット４に対面する人または物の音声は、操作側情報処理端末２の操作側スピーカ３４で再生される。また、ロボット４には、スピーカ４５ａとマイク４５ｂとを配置することができる。

操作側情報処理端末２も制御側情報処理端末３も、ロボット４を制御するための特別な端末ではなく、いわゆるスマートフォンやタブレット端末という標準的な多機能情報処理端末であるので、制御側情報処理端末３では、ロボット４を制御するためにとっては、その端末のマイクおよびスピーカが配置されている位置が適正とはいえないことも多い。そこで、制御側情報処理端末３の制御側マイク３３で集音せずに、ロボットの前方向Ｆに指向性を持つようなマイク４５ｂとして、ロボット４の前方向Ｆの音を効率的に集めることができる。また、操作側情報処理端末２を操作するロボット４を操作する使用者の声の音声は、制御側情報処理端末３の制御側スピーカ３３ではなく、ロボット４のスピーカ４５ａで再生できるように設定する。これにより、ロボット４の前方向Ｆにむけて音を発するようにすることが好ましい。

操作側情報処理端末２の操作側ディスプレイ２１には、実行可能なものとして定義された実行コマンドと感応コマンドとは、たとえばアイコンのような形で表示される。たとえば、実行コマンドでは、図２に示すように、腕部４２ｂを前方または後方に移動できるように駆動機構を動作させるためアイコン２０９と、脚部４２ｃを前方または後方に移動できるように駆動機構を動作させるためアイコン２１０が表示される。また、制御側ディスプレイ３１に表示されるロボット４の使用者の顔が、ロボット４に対面している人や物の方向を向くように、また、アイコン２１１により、図４（ｂ）または図４（ｃ）に示すように、首台４１は、ディスプレイ面法線Ｎが、ロボット４の前方向Ｆに対して任意の角度となるように、また任意の上下方向を向くように、回転するような設定を行なうことができる。

操作側情報処理端末２の操作側ディスプレイ２１には、小さな副画面２１ａが表示されるようにしておく。小さな副画面２１ａには、加速度センサ４４ａ，４４ｂ，４４ｃ，４４ｄで測定した首台４１、本体部４２ａ、腕部４２ｂ、脚部４２ｃの位置を表示する。ここでは、操作側情報処理端末２のアプリケーションにおいて、オペレーションシステムで標準的に定義されるタイプのロボットの各構成に合わせた基準アニメーションを準備しておいて、アプリケーションソフトウェアにおいて、基準アニメーションを加速度センサ４４ａ，４４ｂ，４４ｃ，４４ｄで測定した首台４１、本体部４２ａ、腕部４２ｂ、脚部４２ｃの位置のデータに合わせて動作させるように表示する。

これらのアイコンで指示された実行コマンドが、制御側情報処理端末３で実行可能なものとして定義されている複数の実行パタンの１つに対応した場合、当該複数の実行コマンドの１つは、制御側情報処理端末３の制御側ＣＰＵ３５を介してロボット４の信号処理ユニット４３に送信され、ロボット４の駆動機構が駆動される。また、これらのアイコンで指示された感応コマンドが、制御側情報処理端末３で実行可能なものとして定義されている複数の感応パタンの１つに対応した場合、複数の感応パタンの１つは、制御側ＣＰＵを介して、操作側情報処理端末２に送信されるようにすればよい。ロボット４はこのように作動する。

物体と接触した際に、ロボット４の作動機構３５に備えられたセンサからの信号が発せられるようにすることもできる。これらにより、いわゆるスマートフォンのような多機能情報処理端末によるテレビ電話機能により、遠隔地にいるユーザがあたかもその場所に存在しているような状況を作り出す。

１ ロボット遠隔操作システム
２ 操作側情報処理端末
３ 制御側情報処理端末
４ ロボット

Claims (4)

1. 操作側情報処理端末と、制御側情報処理端末と、所定の方向を前方向として画定されているロボットとを備え、使用者が前記操作側情報処理端末を操作することにより前記ロボットを操作可能なロボット遠隔操作システムであって、
   前記操作側情報処理端末は前記制御側情報処理端末とインターネットを介して通信可能に接続しており、
   前記制御側情報処理端末とロボットとは通信可能に接続しており、
   前記操作側情報処理端末は、操作側カメラを備え、
   前記制御側情報処理端末は、制御側ディスプレイを備え、
   前記ロボットは、前記制御側情報処理端末の前記制御側ディスプレイの面の法線が前記前方向と平行になるように前記制御側情報処理端末を保持する首台であって、前記制御側ディスプレイの法線が前記前方向に対して任意の角度となるように回動可能な首台を備え、
   前記制御側情報処理端末は、前記操作側情報処理端末の前記カメラにより撮影した前記操作側情報処理端末の使用者の顔の映像を前記制御側ディスプレイに表示し、
   前記制御側情報処理端末が前記首台に取り付けられている際に、前記制御側情報処理端末の前記制御側ディスプレイに表示された前記操作側情報処理端末の前記使用者の顔の映像が前記ロボットの顔となるような位置となるように設定されていることを特徴とするロボット遠隔操作システム。
2. 請求項１に記載のロボット遠隔操作システムであって、
   前記操作側情報処理端末は、さらに操作側マイクを備え、
   前記制御側情報処理端末は、さらに、制御側スピーカを備え、
   前記制御側ディスプレイに表示される前記操作側情報処理端末の使用者の顔の映像はリアルタイムで撮影される動画であって、
   前記操作側情報処理端末の操作側マイクにより集音した前記操作側情報処理端末の使用者の声は、
   前記制御側情報処理端末は前記制御側スピーカで再生可能であるロボット遠隔操作システム。
3. 請求項１および２に記載のロボット遠隔操作システムであって、
   前記操作側情報処理端末は、操作側ディスプレイと、ロボットの動作が定義されたコマンドが格納されている操作側メモリとを備え、
   前記制御側情報処理端末は、前記コマンドに対応する動作パタンが格納されている制御側メモリを備え、
   前記制御側情報処理端末は、前記ロボットと通信して前記ロボットの構成を認識し、それに対応した実行可能な動作パタンを定義し、
   前記操作側情報処理端末は、前記制御側情報処理端末が、前記ロボットにおいて実行可能であると定義した動作パタンと対応する実行可能なコマンドを定義し、
   前記操作側情報処理端末は、前記実行可能なコマンドを前記操作側情報処理端末の前記操作側ディスプレイに表示し、
   前記前記操作側ディスプレイで表示された前記実行可能なコマンドのうち、前記使用者が前記操作側情報処理端末で一のコマンドを指示すると、前記操作側情報処理端末が前記制御側情報処理端末と通信を行って、前記一のコマンドに対応する動作パタンを指定して、その動作パタンに応じた動作をするように、前記制御側情報処理端末が前記ロボットの駆動装置を動作させるように指示を行うロボット遠隔操作システム。
4. 請求項１から３のいずれか一項に記載のロボット遠隔操作システムであって、
   前記ロボットの前記法線の方向に対して、所定の角度を任意に選択可能とするコマンド表示画面を前記操作側ディスプレイに表示させ、その所定の角度だけ前記前方向に対して前記制御側ディスプレイの前記法線を移動させるロボット遠隔操作システム。

Images