JP2010532109A - ネットワークファイアウォールを通じて動作するロボットシステム - Google Patents

Abstract

通信ネットワークを介して通信するロボット及び遠隔制御ステーションを含む遠隔制御ロボットシステムを提供する。ロボットとの通信は、通信ネットワークに結合されたファイアウォールにより制限される。通信サーバがロボットと遠隔制御ステーションとの間の通信を確立することにより、ステーションが、ファイアウォールを通じてロボットにコマンドを送信できるようになる。

Description

開示する主題は、一般に移動式双方向遠隔対話の分野に関する。

危険物の遠隔制御から手術実施の支援に至るまで様々な用途でロボットが使用されている。例えば、Ｗａｎｇ他に付与された米国特許第５，７６２，４５８号には、外科医がロボット制御された器具を使用することにより最小限侵襲医療を実施できるようになるシステムが開示されている。Ｗａｎｇのシステムにおけるロボットアームの１つは、カメラ付きの内視鏡を動かす。このカメラにより、外科医は患者の手術領域を見ることができるようになる。

危険廃棄物処理器及び爆弾探知器などの遠隔ロボットは、操作者に遠隔部を見ることができるようにするカメラを含むことができる。Ｔｒｅｖｉｒａｎｕｓ他に付与されたカナダ特許第２２８９６９７号には、カメラ及びモニタの両方を有する遠隔対話プラットフォームが開示されている。このプラットフォームは、カメラ及びモニタを傾動させ及び上昇させる機構を含む。Ｔｒｅｖｉｒａｎｕｓの特許にはまた、移動プラットフォームと、カメラ及びモニタを動かす異なる機構とを含む実施形態も開示されている。

本出願の譲受人であるＩｎＴｏｕｃｈ Ｔｅｃｈｎｏｌｏｇｉｅｓ社がＲＰ−７という商標で市場投入した移動ロボットが販売されている。ＩｎＴｏｕｃｈのロボットは、ユーザにより遠隔ステーションで制御される。この遠隔ステーションは、ユーザがロボットの動きを遠隔制御できるようにするジョイスティックを備えたパーソナルコンピュータであってもよい。ロボット及び遠隔ステーションの両方がカメラ、モニタ、スピーカ、及びマイクを有して、双方向ビデオ／オーディオ通信を可能にする。ロボットのカメラが遠隔ステーションの画面にビデオ映像を提供することにより、ユーザがロボットの周囲を見るとともに、これに応じてロボットを動かすことができるようになる。

通常、ＩｎＴｏｕｃｈのロボットシステムは、インターネットなどの広帯域ネットワークを利用して、遠隔ステーションとロボットとの間に通信チャネルを確立する。施設のローカルネットワークとインターネットとの間にファイアウォールを有する施設にロボットを設置することができる。ファイアウォールは、広帯域ネットワークを介したロボットへの遠隔アクセスを阻止することができる。ローカルエリアネットワークのファイアウォールにより保護された遠隔ロボットへのアクセスを可能にするシステムを提供することは望ましいことであろう。

米国特許第５，７６２，４５８号公報 カナダ特許第２２８９６９７号公報 米国特許第６，９２５，３５７号公報

通信ネットワークを介して通信を行うロボット及び遠隔制御ステーションを含む遠隔制御ロボットシステムを提供する。ロボットは、遠隔制御ステーションにより送信されるロボット制御コマンドに応答して動く。ファイアウォールにより、ロボットを通信ネットワークに結合することができる。通信サーバが、ロボットと遠隔制御ステーションとの間の通信を確立する。

ロボットシステムの説明図である。 通信サーバの電気システムの概略図である。 ロボットの電気システムの概略図である。 ロボットの電気システムのさらなる概略図である。 ロボットの説明図である。 遠隔ステーションのグラフィカルユーザインターフェイスである。 ロボット頭部の説明図である。

通信ネットワークを介して通信を行うロボット及び遠隔制御ステーションを含む遠隔制御ロボットシステムを開示する。ロボットとの通信は、通信ネットワークに結合されたファイアウォールにより制限される。通信サーバがロボットと遠隔制御ステーションとの間の通信を確立することにより、ステーションがファイアウォールを通じてロボットにコマンドを送信できるようになる。

参照番号により図面をさらに詳細に参照すると、図１は遠隔訪問の実施に使用できるロボットシステム１０を示している。ロボットシステム１０は、ロボット１２と、基地局１４と、遠隔制御ステーション１６とを含む。ネットワーク１８を介して遠隔制御ステーション１６を基地局１４に結合することができる。一例として、ネットワーク１８は、インターネットなどのパケット交換ネットワーク、又は公衆交換電話網（ＰＳＴＮ）などの回線交換ネットワーク、或いはその他の広帯域システムのいずれであってもよい。モデム（図示せず）又はその他の広帯域ネットワークインターフェイス装置により、基地局１４をネットワーク１８に結合することができる。一例として、基地局１４は無線ルータであってもよい。或いは、ロボット１２が、例えば衛星を通じてネットワークに直接接続することができる。

遠隔制御ステーション１６は、モニタ２４と、カメラ２６と、マイク２８と、スピーカ３０とを有するコンピュータ２２を含むことができる。コンピュータ２２はまた、ジョイスティック又はマウスなどの入力装置３２を含むこともできる。通常、制御ステーション１６は、ロボット１２から離れた場所に位置する。１つの遠隔制御ステーション１６しか図示していないが、システム１０は複数の遠隔ステーションを含むことができる。一般に、あらゆる数の遠隔ステーション１６又は他のロボット１２により、あらゆる数のロボット１２を制御することができる。例えば、１つの遠隔ステーション１６を複数のロボット１２に結合することができ、或いは１つのロボット１２を複数の遠隔ステーション１６又は複数のロボット１２に結合することができる。

個々のロボット１２は、ロボットハウジング３６に取り付けられた移動プラットフォーム３４を含む。ロボットハウジング３６にはまた、カメラ３８、モニタ４０、（少なくとも１つの）マイク４２、及び（少なくとも１つの）スピーカ４４も取り付けられる。マイク４２及びスピーカ３０は、ステレオ音声を作成することができる。ロボット１２はまた、基地局１４のアンテナ４８に無線結合されたアンテナ４６を有することもできる。システム１０により、遠隔制御ステーション１６におけるユーザが、入力装置３２の操作を通じてロボット１２を動かせるようになる。遠隔モニタ２４にロボットカメラ３８を結合することにより、遠隔ステーション１６におけるユーザが、患者などの対象物を見ることができるようになる。同様に遠隔カメラ２６にロボットモニタ４０を結合することにより、患者がユーザを見ることができるようになる。マイク２８及び４２、並びにスピーカ３０及び４４が、患者とユーザとの間の可聴通信を可能にする。

遠隔ステーションのコンピュータ２２は、Ｍｉｃｒｏｓｏｆｔ社のＯＳソフトウェア及びＷＩＮＤＯＷＳ ＸＰ、又はＬＩＮＵＸなどのその他のオペレーティングシステムを動作させることができる。遠隔コンピュータ２２はまた、ビデオドライバ、カメラドライバ、オーディオドライバ、及びジョイスティックドライバを動作させることもできる。ＭＰＥＧ ＣＯＤＥＣなどの圧縮ソフトウェアを使用してビデオ映像を送受信することができる。

システムのロボット側のファイアウォール５０及び／又はシステムの制御ステーション側のファイアウォール５１により、ロボット１２と制御ステーション１６との間の情報の流れを制限することができる。一例として、施設のローカルエリアネットワークとネットワーク１８との間の通信を制御する１又はそれ以上のファイアウォールを含む施設にロボット１２及び／又は制御ステーション１６を設置することができる。システム１０は、ロボット１２と遠隔制御ステーション１６との間の通信を確立できる通信サーバ５２を含む。

システムは、ロボット１２と遠隔制御ステーション１６との間の通信を確立するために以下の階層を有することができる。遠隔制御ステーション１６は、ロボット１２の内部ＩＰアドレスに１又はそれ以上のパケットを送信することにより、ロボット１２にアクセスを行うための最初の要求を送信することができる。個々のロボットは一意のＩＰアドレスを有することができる。ロボット１２が遠隔ステーション１６と同じネットワーク上に存在しない場合、この通信は行われなくなる。

ロボットにアクセスを行うための最初の試みがこの内部ＩＰアドレスでうまくいかない場合、遠隔制御ステーション１６はロボットの外部ＩＰアドレスに要求を送信することができる。この試みは、ＴＣＰプロトコル又はＵＤＰプロトコルのいずれかで行うことができる。この試みがうまくいかない場合、例えばファイアウォールがロボットへのアクセスを阻止した場合、遠隔制御ステーションは通信サーバ５２へクエリを送信することができ、その後、通信サーバ５２が遠隔ステーション１６とロボット１２との間の通信を確立することができる。

多くのファイアウォールは、ポートアドレス変換（「ＰＡＴ」）を使用して送信メッセージを擬装する。例えば、ロボットなどの装置が、９０００という送信元ポート番号のメッセージを送信した場合、ファイアウォール５０／５１は、この送信元ポート番号を４７５０１に変更することができる。その後ファイアウォール５０／５１は、受信メッセージが変換したポート（例えば４７５０１）にアドレス指定されていた場合にのみ、このメッセージの通過を許可する。また、ファイアウォール５０／５１は、ロボットが最近通信を行った送信元ポートからメッセージパケットが到来し、かつパケットの宛先ポートがこの送信元から最近受信したパケットの送信元ポートに一致した場合にのみ、この受信メッセージを許可することもできる。

個々のロボット１２は、サーバ５２の通信ポートと恒常的なリンクを確立することができる。或いは、個々のロボットが、サーバ５２を定期的にポーリングすることができる。いずれかの方法により、サーバは、ロボット及び制御ステーションの、並びにこれらの各々で開いているピアツーピアＵＤＰポートの最新のＩＰアドレスを把握する。遠隔制御ステーション１６からのクエリを受信すると、サーバ５２がロボット１２及び遠隔ステーションの両方に関するＩＰ情報及びポート情報の２つを転送することにより、遠隔ステーション１６及びロボット１２の両方が、ＰＡＴテーブルが引き起こす問題を回避してピアツーピアパケットを互いに同時に送信できるようになる。最新のＩＰアドレスは、ファイアウォール５０により提供されたＰＡＴアドレスであってもよい。遠隔制御ステーション１６からクエリを受信すると、サーバ５２が遠隔ステーション１６にＰＡＴアドレスを転送することにより、遠隔ステーション１６がロボット１２とピアツーピア通信を確立できるようになる。

これとは別に、或いはピアツーピア通信を確立できない場合、サーバ５２は、遠隔制御ステーション１６とロボット１２との間に通信ルートを設けることができる。例えば、パケットを通信サーバ５２に導き、その後、通信サーバ５２が最新のＩＰアドレスを使用してこのパケットをロボット１２へ再送信することができる。このモードでは、サーバ５２は、遠隔制御ステーション１６及びロボット１２の両方とＵＤＰ接続を確立することができる。サーバ５２は、ロボット１２及び遠隔ステーション１６に、ＵＤＰソケットを開き、指定されたサーバポートへＵＤＰパケットを送信するように指示する。

サーバ５２は、複数の制御ステーションと単一のロボットとの間、単一の制御ステーションと複数のロボットとの間、又は複数の制御ステーションと複数のロボットとの間の通信を可能にするための通信ルートを設ける。

図２は、通信サーバ５２の実施形態を示す図である。サーバは、１又はそれ以上のメモリ装置６２に接続された１又はそれ以上のプロセッサ６０を含むことができる。メモリ装置６２は、読み取り専用メモリ（ＲＯＭ）又はランダムアクセスメモリ（ＲＡＭ）などの揮発性及び不揮発性の両方のメモリを含むことができる。プロセッサ６０は、メモリ装置６２に記憶された命令及びデータに従ってソフトウェアプログラムを動作させることができる。

プロセッサ６０を、システムバス７２を介して通信ポート６４、大容量記憶装置６６、モニタ６８、及びキーボード７０に結合することができる。通信ポート６４は、データをＴＣＰ／ＩＰ又はＵＤＰフォーマットで送受信できるようにするイーサネットインターフェイスを含むことができる。システムバス７２は、ＰＣＩ又は別の従来のコンピュータバスであってもよい。大容量記憶装置６６は、磁気又は光学ドライブなどの１又はそれ以上のディスクドライブを含むことができる。

本発明の範囲を限定する意味ではないが、コンピュータ可読媒体という用語は、メモリ装置４２及び／又は大容量記憶装置４６を含むことができる。コンピュータ可読媒体は、コンピュータが読み取って解釈できるバイナリ形式のソフトウェアプログラムを含むことができる。メモリ装置６２及び／又は大容量記憶装置６６に加え、コンピュータ可読媒体はまた、ディスケット、コンパクトディスク、集積回路、カートリッジ、又はソフトウェアプログラムの遠隔通信さえも含むことができる。

サーバ５２は、ユーザが遠隔ステーションとロボットとの間の通信を制御できるようにするいくつかのグラフィカルユーザインターフェイスを含むことができる。サーバ５２は、指定した時間の間ロボットアクセスを制御することができる。例えば、サーバは、特定の遠隔ステーションがロボットを制御できる時間を２時間のアクセス時間に制限することができる。サーバは、システム操作者が、時間単位で分割可能なロボットアクセス料金又はその他の形の対価を課金できるようにする。

別の実施形態では、サーバ５２は、オペレーティングシステムを備えた完全なコンピュータではなく、ネットワーク機器であってもよい。或いは、実際にはサーバ５２は、各々が異なるＩＰアドレスに存在する物理的サーバ又はネットワーク装置の分散ネットワークであってもよく、この分散ネットワークでは特定のロボット１２及び遠隔ステーション１６を異なる物理的装置に接続することができ、これらの物理的装置は、これらの装置に接続されたシステムに関するデータを共有する。サーバ５２をデータルートとして使用する場合、（ａ）ロボット１２又は遠隔ステーション１６のいずれかに、１つの物理的装置から接断し、その他の装置が接続された同じ物理的装置に再接続するように指示するか、或いは（ｂ）必要に応じてサーバネットワーク内のデータを１つのサーバから別のサーバへ送信するかのどちらか一方を行うことができる。また、サーバ５２は、ロボット１２及び遠隔ステーション１６と通信する目的で、公衆インターネット上に存在する場合と同じ動作を行うのに十分なポート転送及び／又はパケット管理を行うルータ、ファイアウォール、又は同様の装置を有することができる。

図３及び図４は、ロボット１２の実施形態を示す図である。個々のロボット１２は、高レベル制御システム１５０及び低レベル制御システム１５２を含むことができる。高レベル制御システム１５０は、バス１５６に接続されたプロセッサ１５４を含むことができる。バス１５６は、入力／出力（Ｉ／Ｏ）ポート１５８によりカメラ３８に結合される。バス１５６には、シリアル出力ポート１６０及びＶＧＡドライバ１６２によりモニタ４０が結合される。モニタ４０は、患者がモニタ画面に触れることにより入力を行えるようにするタッチスクリーン機能を含むことができる。

デジタル／アナログ変換器１６４により、スピーカ４４がバス１５６に結合される。アナログ／デジタル変換器１６６により、マイク４２がバス１５６に結合される。高レベルコントローラ１５０はまた、ランダムアクセスメモリ（ＲＡＭ）装置１６８、不揮発性ＲＡＭ装置１７０、及び大容量記憶装置１７２を含むこともでき、これら全てがバス１５６に結合される。大容量記憶装置１７２は、遠隔制御ステーション１６のユーザがアクセスできる患者の医療ファイルを含むことができる。例えば、大容量記憶装置１７２は患者の画像を含むことができる。ユーザ、特に医療提供者は、古い画像を呼び出し、モニタ２４上で、カメラ３８が提供する患者の現在のビデオ映像と並べて比較することができる。ロボットのアンテナ４６を無線トランシーバ１７４に結合することができる。一例として、トランシーバ１７４は、ＩＥＥＥ８０２．１１ｂに基づいて情報を送受信することができる。

コントローラ１５４は、ＬＩＮＵＸ ＯＳオペレーティングシステムで動作することができる。コントローラ１５４はまた、遠隔制御ステーション１６と通信するためにビデオ、カメラ、及びオーディオドライバとともにＭＳ ＷＩＮＤＯＷＳを動作させることもできる。ＭＰＥＧ ＣＯＤＥＣ圧縮技術を使用してビデオ情報を送受信することができる。ソフトウェアは、ユーザが患者に、及び患者がユーザにｅメールを送信できるようにし、或いは患者がインターネットにアクセスできるようにすることができる。一般に、高レベルコントローラ１５０は、ロボット１２２と遠隔制御ステーション１６との間の通信を制御するように動作する。

遠隔制御ステーション１６は、高レベルコントローラ１５０と同様のコンピュータを含むことができる。コンピュータは、情報を作成、送信、受信、及び処理するためのプロセッサ、メモリ、Ｉ／Ｏ、ソフトウェア、ファームウェアなどを有することができる。

シリアルポート１７６及び１７８により、高レベルコントローラ１５０を低レベルコントローラ１５２にリンクすることができる。低レベルコントローラ１５２は、バス１８６によりＲＡＭ装置１８２及び不揮発性ＲＡＭ装置１８４に結合されたプロセッサ１８０を含む。個々のロボット１２は、複数のモータ１８８及びモータエンコーダ１９０を含む。モータ１８８は、移動プラットフォームを作動させるとともにモニタ及びカメラなどのロボットの他の部分を動かすことができる。エンコーダ１９０は、モータ１８８の出力に関するフィードバック情報を提供する。デジタル／アナログ変換器１９２及びドライバ増幅器１９４により、モータ１８８をバス１８６に結合することができる。デコーダ１９６により、エンコーダ１９０をバス１８６に結合することができる。個々のロボット１２はまた、いくつかの近接センサ１９８（図１も参照のこと）も有する。信号調整回路２００及びアナログ／デジタル変換器２０２により、センサ１９８をバス１８６に結合することができる。

低レベルコントローラ１５２は、ロボット１２を機械的に作動させるソフトウェアルーチンを実行する。例えば、低レベルコントローラ１５２は、移動プラットフォームを作動させてロボット１２を動かすための命令を与える。低レベルコントローラ１５２は、高レベルコントローラ１５０から動作命令を受信することができる。遠隔制御ステーション又は別のロボットから動作命令を動作コマンドの形で受信することができる。２つのコントローラを示しているが、個々のロボット１２は、高レベル機能及び低レベル機能を制御する１つのコントローラ、又は３つ以上のコントローラを有することができることを理解されたい。

（少なくとも１つの）バッテリー２０４により、個々のロボット１２の様々な電気装置に給電することができる。バッテリー再充電器ステーション２０６（図１も参照のこと）により、バッテリー２０４を再充電することができる。低レベルコントローラ１５２は、バッテリー２０４の電力レベルを感知するバッテリー制御回路２０８を含むことができる。低レベルコントローラ１５２は、電力がいつしきい値よりも下がったかを感知し、その後高レベルコントローラ１５０へメッセージを送信することができる。

図５は、ロボット１２の実施形態を示す図である。ロボット１２は、ロボットハウジング２５０に取り付けられたホロノミックプラットフォーム２５０を含むことができる。ホロノミックプラットフォーム２５０は、ロボット１２のあらゆる方向への動きを可能にする３つの自由度を与える。

ロボット１２は、カメラ３８及びモニタ４０を支持する柱脚組立体２５４を有することができる。柱脚組立体２５４は、矢印で示すようにカメラ３８及びモニタ４０を共に回転及び傾動できるように２つの自由度を有することができる。

カメラ３８及びモニタ４０は、閉ループ制御システムに従うものであってもよい。プラットフォーム２５０は、軸Ｘ_p、Ｙ_p、及びＺ_pを有することができるプラットフォーム基準座標系内に位置する。一例として、ｙ軸Ｙ_pがプラットフォーム２５０の前端から延びることができる。カメラ３８は、軸Ｘ_c、Ｙ_c、及びＺ_cを有することができるカメラ基準座標系に固定される。ｙ軸Ｙ_cがカメラレンズから垂直に延びることができる。ロボットの初期化時に、カメラ座標系のｙ軸Ｙ_cを、プラットフォーム座標系のｙ軸Ｙ_pと整合させることができる。（図１に示す）ジョイスティック３２を前方へ傾動することにより、プラットフォーム２５０のプラットフォーム座標系におけるｙ軸Ｙ_p方向の対応する動きを引き起こすことができる。

ロボットは、カメラ座標系、プラットフォーム座標系、又は他の何らかの系にマッピングされた軸Ｘ_d、Ｙ_d、及びＺ_dを有することができる駆動ベクトルを有することができる。一例として、ｙ軸Ｙ_pが前方へ動く方向に延びることができる。マッピングは、１又はそれ以上の座標系に関して入力コマンドを方向性に変換する処理を含む。ロボットコントローラは、特定のマッピング体系に従って入力コマンドをプラットフォームの動きに変換するいくつかのアルゴリズムを実行することができる。例えば、駆動ベクトルをカメラ座標系にマッピングした場合、コントローラは、入力コマンドの駆動ベクトルをカメラ座標系に関して計算する。プラットフォームのマッピング体系では、入力した駆動ベクトルをプラットフォーム座標系に関して計算する。さらに別の体系では、（地面に対する座標系などの）カメラ又はプラットフォーム座標系とは無関係のワールド座標系などの別の座標系に関して駆動ベクトルを計算することができる。全ての動きがユーザの見る映像に関連するものとなり、直感的に使用できるシステムが実現するため、駆動ベクトルをカメラ座標系にマッピングすることは望ましいであろう。

ジョイスティック３２をねじることにより、矢印４で示すようにカメラ３８を回転させることができる。例えば、ジョイスティック３２を＋４５度ねじった場合、カメラは＋４５度旋回することになる。ｙ軸Ｙ_cがカメラに固定されているので、カメラ３８を回転させることによってもカメラ座標系のｙ軸Ｙ_cが動く。この動きは駆動方向と異なっていてもよい。遠隔ステーションのコンピュータは、プラットフォーム座標系のｙ軸Ｙ_pをカメラ座標系のｙ軸Ｙ_cと再び整合させるようにプラットフォーム２５０を自動的に回転させるコマンドを生成するためのプログラムを動作させることができる。上記の例では、プラットフォーム２５０は＋４５度回転する。このアプローチにより、プラットフォーム２５０がカメラ３８と整合したままで保たれ、ロボットのあらゆるその後の動きが、カメラが提供する映像に対して直感的なものになる。例えば、ジョイスティックを前方へ傾動させることにより、遠隔ステーションのモニタを通じて見たとおりにロボットの前方への動きが誘発されるようになる。この駆動体系では、プラットフォームを頭部と整合させなくてもよい。コンピュータは、最初の時間的な遅延又はある程度の距離の有無に関わらず、プラットフォーム座標系をある時間又は移動距離にわたって動かし、頭部座標系と整合させるための軌道計画を生成することができる。

ジョイスティック３２の傾動の動きをロボットの対応する方向の動きにマッピングできるようにシステムを構成することができる。例えば、ジョイスティックを＋４５度傾動させることにより、ロボットを、カメラ座標枠のｙ軸Ｙ_cに対して＋４５度の方向へ動かすことができる。或いは、ロボットが前方へ動く前に、カメラを＋４５度パンし、プラットフォームを＋４５度回転させることができる。自動パン及びプラットフォームの回転により、カメラが提供する映像によって示されるようにロボットが前方へ動く。ロボットは、ロボットが動いている間にユーザがカメラをパンすべくジョイスティックをねじることにより、カメラが示す方向に動きが向かないようにできるモードを有することができる。これにより、ユーザがロボットを動かしながら視覚的にパンできるようになる。ジョイスティックは、ユーザが手を放した時にスティックの位置が自動的に戻るばね復帰を有することができる。これにより、動く方向にカメラが整合される。

一般に、ロボットは、カメラとプラットフォームと駆動方向との間にいくつかの異なるマッピング体系、及び相対的な、依存した、又は独立した動きを有することができる。カメラとプラットフォームとの間の相対的な動きは、カメラを基準にしたマッピング体系、プラットフォームを基準にしたマッピング体系、又は他の何らかの体系において生じることができる。

自動プラットフォーム回転コマンドは遠隔ステーションのコンピュータにより生成されると説明したが、ロボットがプラットフォーム２５０及び／又はカメラ３８の再配向に必要なコマンド及び信号を決定できると理解されたい。ロボット１２は、カメラの位置を追跡するとともに低レベルコントローラ１８０にフィードバックを提供する電位差計（図示せず）を含むことができる。低レベルコントローラ１８０は、プラットフォームを自動的に回転させてｙ軸Ｙ_cとＹ_pとを整合させ、或いは別様にカメラの動きを補償することができる。モードボタン（図示せず）により、操作者はシステムを追跡モード又は通常モードのいずれかの状態に置くことができるようになる。追跡モードでは、ロボットはカメラ座標系に関して動き、カメラをパンした場合でも動きが画面に対して直感的となる。通常モードでは、ロボットはプラットフォーム座標系内で動く。

このシステムは、本譲受人である米国カリフォルニア州サンタバーバラのＩｎＴｏｕｃｈ−Ｈｅａｌｔｈ社がＲＰ−７という名前で提供するロボットシステムと同じか或いは同様のものであってもよい。このシステムはまた、２００５年８月２日に公表された米国特許第６，９２５，３５７号に開示されるシステムと同じか或いは同様のものであってもよく、該特許は引用により本明細書に組み入れられる。

図６は、遠隔ステーション１６で表示することができるディスプレイユーザインターフェイス（「ＤＵＩ」）３００を示す図である。ＤＵＩ３００は、ロボットのカメラが提供するビデオ映像を表示するロボット視野３０２を含むことができる。ＤＵＩ３００はまた、遠隔ステーション１６のカメラが提供するビデオ映像を表示するステーション視野３０４を含むこともできる。ＤＵＩ３００は、遠隔ステーション１６のコンピュータ２２が記憶及び動作するアプリケーションプログラムの一部であってもよい。ディスプレイユーザインターフェイス及びこのインターフェイスが提供する様々な特徴及び機能は、ＲＰ−７システムが提供するＤＵＩと同じか或いは同様のものであってもよい。

動作時には、１人又はそれ以上の患者をモニタ及び／又は援助する住居又は施設内にロボット１２を配置することができる。施設は、病院又は居宅介護施設であってもよい。一例として、医療提供者が患者をモニタ及び／又は援助できる住居内にロボット１２を配置することができる。同様に、友人又は家族のメンバーが患者と通信することができる。ロボット及び遠隔制御ステーションの両方のカメラ及びモニタにより、患者と（少なくとも１つの）遠隔ステーションにいる人物との間の遠隔対話が可能になる。

遠隔ステーション１６で入力装置３２を操作することにより、住居又は施設越しにロボット１２を操縦することができる。何人かの異なるユーザがロボット１０を制御することができる。この制御に対応するために、ロボットは仲介システムを有することができる。この仲介システムをロボット１２のオペレーティングシステムに統合することができる。例えば、高レベルコントローラ１５０のオペレーティングシステムに仲介技術を組み込むことができる。

一例として、ロボット自体、ローカルユーザ、介護者、医師、家族、又はサービス提供者を含む分類にユーザを分けることができる。ロボット１２は、ロボットの動作と矛盾する入力コマンドを無効にすることができる。例えば、ロボットが壁に突き当たった場合、システムは、壁の方向へ続く全ての追加コマンドを無視することができる。ローカルユーザとは、ロボットと物理的に共に存在する人物のことである。ロボットは、ローカル操作を可能にする入力装置を有していてもよい。例えば、ロボットは、可聴コマンドを受け取って解釈する音声認識システムを組み込むことができる。

介護者とは、患者を遠隔的にモニタするいずれかの人物のことである。医師とは、ロボットを遠隔的に制御するとともにロボットのメモリに含まれる医療ファイルにアクセスすることもできる医療専門家のことである。家族及びサービスユーザは、ロボットに遠隔でアクセスする。サービスユーザは、ソフトウェアをアップグレードしたり、或いは動作パラメータを設定したりしてシステムを補修することができる。

ロボット１２は、占有モード又は共有モードという２つの異なるモードの一方で動作することができる。占有モードは、１人のユーザのみがロボットのアクセス制御権を有する。占有モードは、各々の種類のユーザに割り当てられた優先度を有することができる。一例として、優先度は、ローカル、医師、介護者、家族、そして保守ユーザの順序であってもよい。共有モードでは、２人又はそれ以上のユーザがロボットへのアクセス権を共有することができる。例えば、介護者がロボットへのアクセス権を有することができ、その後介護者が共有モードに入って、医師がロボットにアクセスできるようにすることもできる。介護者及び医師の両方が、患者と同時遠隔対話を行うことができる。

システム１０を医師の監督用に使用することもでき、この場合、遠隔ステーションにいる医師が、ロボットの近くに存在する医師に指示及びフィードバックを与える。例えば、遠隔地にいる医師が患者を見るとともに、患者の場所にいる医師の診断を支援することができる。同様に、遠隔地の医師が、ロボットの場所における医療処置の実施を支援することができる。

仲介体系は、通知、タイムアウト、待機、及びコールバックという４つの機構のうちの１つを有することができる。通知機構は、現在のユーザ又は要求しているユーザのいずれかに、別のユーザがロボットへのアクセス権を有している旨、又はアクセスを望んでいる旨を通知することができる。タイムアウト機構は、特定の種類のユーザに、ロボットへのアクセスを完了するための所定の時間を与える。待機機構は、ロボットにアクセスするための順序付けられた順番待ちリストである。コールバック機構は、ロボットにアクセスできる旨をユーザに通知する。一例として、家族ユーザが、ロボットを使用できる旨のｅメールメッセージを受信することができる。表I及びIIは、これらの機構が、様々なユーザからのアクセス要求をいかにして解決するかを示すものである。

ステーション１６とロボット１２との間で送信される情報は暗号化することができる。また、ユーザが、システム１０に進入するためにパスワードを入力しなければならないようにすることができる。その後、ステーション１６により、選択されたロボットに電子鍵が与えられる。ロボット１２は鍵を確認し、ステーション１６に別の鍵を戻す。これらの鍵を使用して、セッションにおいて送信される情報を暗号化する。

ロボット１２及び遠隔ステーション１６は、広帯域ネットワーク１８を介してコマンドを送信する。これらのコマンドは、ユーザが様々な方法で生成することができる。例えば、ジョイスティック３２（図１を参照）を動かすことにより、ロボットを動かすコマンドを生成することができる。表IIIは、遠隔ステーションで生成され、ネットワークを介してロボットへ送信される制御コマンドのリストを示すものである。

表IVは、ロボットにより生成され、ネットワークを介して遠隔ステーションへ送信される報告コマンドのリストを示すものである。

ロボットの高レベルコントローラ１５０のプロセッサ１５４は、ある時間間隔内にロボット１２がロボット制御コマンドを受信したか否かを判定するプログラムを動作させることができる。例えば、ロボット１２が２秒以内に制御コマンドを受信しなかった場合、プロセッサ１５４は、低レベルコントローラにロボット１２を停止する命令を与える。ソフトウェアの実施形態について説明したが、ハードウェア、又はハードウェアとソフトウェアとの組み合わせで制御コマンド監視機能を実現できることを理解されたい。ハードウェアは、制御コマンドを受信し、ロボットを停止するためのコマンド又は信号を生成又は終了する度にリセットされるタイマを含むことができる。

遠隔ステーションのコンピュータ２２は、ロボットカメラが提供するビデオ映像の受信をモニタすることができる。遠隔ステーションが、ある時間間隔内に更新済みのビデオ映像を受信又は送信しなかった場合、コンピュータ２２は「停止」コマンドを生成し、ロボットへ送信することができる。「停止」コマンドはロボットを停止させる。一例として、遠隔制御ステーションが２秒以内に新しいビデオ映像を受信しなかった場合、コンピュータ２２は「停止」コマンドを生成することができる。ソフトウェアの実施形態について説明したが、ハードウェア、又はハードウェアとソフトウェアとの組み合わせでビデオ映像モニタ機能を実現できることを理解されたい。ハードウェアは、新しいビデオ映像を受信し、ロボット「停止」コマンドを生成するためのコマンド又は信号を生成又は終了する度にリセットされるタイマを含むことができる。

ロボットはまた、内部安全障害機能を有することもできる。例えば、ロボットは、ロボットコントローラと、プラットフォームのモータを動作させるために使用するロボットサーボとの間の通信をモニタすることができる。ロボットのモニタは、ロボットコントローラとモータサーボとの間の通信の欠如を検出した場合、プラットフォームのモータへの給電を停止するようにリレーを切り替えることができる。

遠隔ステーションはまた、入力装置３２に安全機能を有することもできる。例えば、ある時間間隔（例えば１０秒）の間ジョイスティックからの入力がなかった場合、ユーザが別の時間間隔（例えば２秒）の間ボタンを押下することにより入力装置を再び作動させない限り、コンピュータ２２はその後の入力を中継することができない。

図７は、カメラ３８及びモニタ４０を旋回及び回転させることができるロボット頭部３５０として、ロボットの別の実施形態を示す図である。ロボット頭部３５０はロボット１２と同様のものであってもよいが、プラットフォーム２５０を有していない。ロボット頭部３５０は、旋回軸４を中心にカメラ３８及びモニタ４０を旋回させ、回転軸５を中心にカメラ３８及びモニタ４０を回転させるためのアクチュエータ３５２及びリンク機構３５４を有することができる。旋回軸は回転軸と交差することができる。旋回及び回転の両方を行うロボット頭部３５０を有することにより、広い観察領域が得られる。ロボット頭部３５０は、移動ロボット１２とともに、或いはこれの代わりにシステム内に存在することができる。このロボット頭部は、特に医師の監督にとって有用である。この頭部を、救急処置室又は診療室などの医療施設に設置することができる。遠隔地にいる医師が、ロボットの場所にいる患者の診断及び医療処置を支援することができる。医師は、遠隔制御ステーションからの制御コマンドにより頭部を動かして患者を見ることができる。移動ロボット１２を使用して医師の監督を行うこともできる。

特定の例示的な実施形態について説明するとともに添付図面に示したが、このような実施形態は、幅広い本発明を例示するものにすぎず、本発明を限定するものではないこと、及び当業者には様々な他の修正が浮かぶと思われるため、図示及び説明した特定の構造及び構成に本発明を限定すべきではないことを理解されたい。

１２ ロボット； １４ 基地局； １６ 遠隔制御ステーション；
１８ ネットワーク； ２２ コンピュータ； ２４、４０ モニタ；
２６、３８ カメラ； ２８、４２ マイク； ３０、４４ スピーカ；
３２ 入力装置； ３４ 移動プラットフォーム； ３６ ロボットハウジング；
４８、４６ アンテナ； ５０、５１ ファイアウォール； ５２ 通信サーバ。

Claims (24)

1. ファイアウォールにより通信ネットワークに結合された遠隔制御ロボットシステムであって、
   ロボット制御コマンドを送信する遠隔制御ステーションと、
   前記ファイアウォールにより前記通信ネットワークに結合された移動ロボットと、
   前記ファイアウォールを通じて前記遠隔制御ステーションと前記ロボットとの間に通信を確立する通信サーバと、
   を備えることを特徴とするシステム。
2. 前記通信サーバは、前記遠隔制御ステーション及び前記ロボットに、互いに情報を送信し合うように指示する、
   ことを特徴とする請求項１に記載のシステム。
3. 前記ロボットは、前記通信サーバを定期的にポーリングする、
   ことを特徴とする請求項１に記載のシステム。
4. 前記通信サーバは、指定した時間の間、前記遠隔制御ステーションと前記ロボットとの間の通信を可能にする、
   ことを特徴とする請求項１に記載のシステム。
5. 前記遠隔制御ステーション及び前記ロボットはＵＤＰパケットで通信を行う、
   ことを特徴とする請求項１に記載のシステム。
6. 前記ロボット制御コマンドは、前記遠隔制御ステーションから前記通信サーバへ送信され、その後該通信サーバから前記ロボットへ再送信される、
   ことを特徴とする請求項１に記載のシステム。
7. 前記ロボットは、少なくとも２つの自由度で共に動くカメラ及びモニタを含む、
   ことを特徴とする請求項１に記載のシステム。
8. 前記ロボットは閉ループ制御体系に従って動く、
   ことを特徴とする請求項１に記載のシステム。
9. 通信ネットワークに結合された遠隔制御ロボットシステムであって、
   ロボット制御コマンドを送信する遠隔制御ステーションと、
   モニタ及びカメラを含み、前記ロボット制御コマンドに応答して動くロボットと、
   指定した時間の間、前記遠隔制御ステーションと前記ロボットとの間の通信を確立する通信サーバと、
   を備えることを特徴とするシステム。
10. 前記通信サーバは、前記遠隔制御ステーション及び前記ロボットに、前記通信サーバの少なくとも１つの指定ポートに情報を送信するように指示する、
    ことを特徴とする請求項９に記載のシステム。
11. 前記ロボットは、前記通信サーバを定期的にポーリングする、
    ことを特徴とする請求項９に記載のシステム。
12. 前記遠隔制御ステーション及び前記ロボットはＵＤＰパケットで通信を行う、
    ことを特徴とする請求項９に記載のシステム。
13. 前記ロボット制御コマンドは、前記遠隔制御ステーションから前記通信サーバへ送信され、その後該通信サーバから前記ロボットへ再送信される、
    ことを特徴とする請求項９に記載のシステム。
14. 前記ロボットは、少なくとも２つの自由度で共に動くカメラ及びモニタを含む、
    ことを特徴とする請求項９に記載のシステム。
15. 前記ロボットは閉ループ制御体系に従って動く、
    ことを特徴とする請求項９に記載のシステム。
16. カメラ及びモニタを有し、ファイアウォールにより通信ネットワークに結合されたロボットを遠隔的に制御する方法であって、
    前記ファイアウォールを通じて前記ロボットと遠隔制御ステーションとの間に通信を確立するステップと、
    前記遠隔制御ステーションから前記ロボットへロボット制御コマンドを送信するステップと、
    前記ロボット制御コマンドに従って前記ロボットを動かすステップと、
    を含むことを特徴とする方法。
17. 前記ロボットは、該ロボットと前記遠隔制御ステーションとの間に前記通信を確立する通信サーバを定期的にポーリングする、
    ことを特徴とする請求項１６に記載の方法。
18. 前記遠隔制御ステーションと前記ロボットとの間の前記通信は、指定した時間に制限される、
    ことを特徴とする請求項１６に記載の方法。
19. 前記ロボット制御コマンドは、前記遠隔制御ステーションから通信サーバへ送信され、その後該通信サーバから前記ロボットへ再送信される、
    ことを特徴とする請求項１６に記載の方法。
20. 医師の監督のための方法であって、
    カメラ及びモニタを有するロボット及び遠隔制御ステーションを通じて患者を検査するステップと、
    前記遠隔ステーションにおける医師から前記ロボットへ監督メッセージを送信するステップと、
    を含むことを特徴とする方法。
21. 前記医師は、前記遠隔制御ステーションから送信されるロボットコマンドで前記ロボットを動かす、
    ことを特徴とする請求項２０に記載の方法。
22. 前記ロボットは、ある面を横切って動く、
    ことを特徴とする請求項２０に記載の方法。
23. 遠隔制御ステーションにより通信ネットワークを介して制御されるロボットへの通信と、ファイアウォールにより制御される該ロボットと該通信ネットワークとの通信とを制御するための通信サーバであって、遠隔制御ステーションとロボット間の通信を確立する少なくとも１つのプロセッサ及びソフトウェアを含む、
    ことを特徴とする通信サーバ。
24. 複数の遠隔制御ステーション及び複数の移動ロボットをさらに含み、前記通信サーバが、前記遠隔ステーションを前記移動ロボットにリンクさせる、
    ことを特徴とする請求項１に記載のシステム。

Images