JP2012523890A - ソフトウェアモジュール方式、プロジェクタ、及びレーザポインタを備えたテレプレゼンスロボットシステム - Google Patents

Abstract

各々が少なくとも１つの固有のロボット機能を有する少なくとも２つの異なるロボットのうちの１つにアクセスする遠隔制御ステーションが提供される。遠隔制御ステーションは、アクセスされるロボットのロボット機能を識別する情報を受け取る。遠隔ステーションは、アクセスされるロボットのロボット機能に対応する少なくとも１つのフィールドを含むディスプレイユーザインタフェースを表示する。ロボットは、レーザポインタ及び／又はプロジェクタを有することができる。
【選択図】 図１

Description

開示されている主題は、一般に、ロボット工学の分野に関する。

危険物の遠隔制御から外科手術の支援に及ぶ様々な用途においてロボットが使用されている。例えば、Ｗａｎｇ他の米国特許第５，７６２、４５８号では、外科医がロボット制御計器を使用して低侵襲的な医療処置を実施できるシステムを開示している。Ｗａｎｇのシステムにおけるロボットアームの１つは、カメラを有する内視鏡を移動させる。カメラにより、外科医が患者の手術部位を見ることができるようになる。
本出願の譲受人であるＩｎＴｏｕｃｈ Ｔｅｃｈｎｏｌｏｇｉｅｓ．，Ｉｎｃによって商標ＲＰ−７で導入されたモバイル・テレプレゼンスロボットが販売されている。ＩｎＴｏｕｃｈのロボットは、遠隔ステーションにおいてユーザにより制御される。遠隔ステーションは、ユーザがロボットの移動を遠隔で制御できるジョイスティックを用いたパーソナルコンピュータとすることができる。ロボット及び遠隔ステーションの両方がカメラ、モニタ、スピーカ、及びマイクロフォンを有し、双方向のビデオ／オーディオ通信を可能にする。ロボットカメラは、ユーザがロボットの周囲を見て、これに応じてロボットを移動させることができるように、遠隔ステーションにてビデオイメージを提供する。

米国特許第５，７６２、４５８号明細書

遠隔制御ステーションは、少なくとも２つのロボットのうちの１つにアクセスし、該ロボットは、少なくとも１つの固有のロボット機構を有する。遠隔制御ステーションは、アクセスしたロボットのロボット機構を識別する情報を受け取る。遠隔制御ステーションは、ロボット機構に対応する少なくとも１つのフィールドを含むディスプレイユーザインタフェースを表示する。

ロボットシステムの図である。 ロボットの電気系統の概略図である。 ロボットの側面図である。 テレプレゼンスシステムの図である。 システムのロボットフェースの拡大図である。 ロボットフェースの後方図である。 テレプレゼンスシステムの代替の実施形態の図である。 図７に示す実施形態のロボットフェースの後面図である。 複数の遠隔ステーションがロボットに結合されるロボットシステムの概略図である。 ユーザインタフェースの図である。 ユーザインタフェースのメッセージポップアップの図である。 グラフィックメッセージの図である。 グラフィックメッセージの図である。 グラフィックメッセージの図である。 ポップダウンメニューを備えた図１０に示すユーザインタフェースの図である。 観察者遠隔制御ステーションのユーザインタフェースを示す図である。 マイクロフォン音量制御機能を示す、図１０に類似した図である。 セッション中のシステムの帯域幅要件を示すダイアログボックスの図である。 移動ロボットのユーザインタフェースの図である。 プロジェクタを有する移動ロボットのユーザインタフェースの図である。 レーザポインタを有するロボットのユーザインタフェースの図である。

遠隔制御ステーションは、各々が少なくとも１つの固有のロボット機構を有する少なくとも２つの異なるロボットのうちの１つにアクセスする。遠隔制御ステーションは、アクセスしたロボットのロボット機構を識別する情報を受け取る。遠隔制御ステーションは、ロボット機構に対応する少なくとも１つのフィールドを含むディスプレイユーザインタフェースを表示する。ロボットは、レーザポインタ及び／又はプロジェクタを有することができる。

参照番号により図面をより詳細に参照すると、図１は、ロボットシステム１０の１つの実施形態を示している。ロボットシステム１０は、ロボット１２、ベースステーション１４、及び複数の遠隔制御ステーション１６を含む。各遠隔制御ステーション１６は、ネットワーク１８を介してベースステーション１４に結合することができる。例えば、ネットワーク１８は、インターネットなどのパケット交換網、又は公衆交換電話網（ＰＳＴＮ）などの回線交換ネットワーク又は他のブロードバンド・システムの何れかとすることができる。ベースステーション１４は、モデム２０又は他のブロードバンドネットワークインターフェイスデバイスによりネットワーク１８に結合することができる。

各遠隔制御ステーション１６は、モニタ２４、カメラ２６、マイクロフォン２８、及びスピーカ３０を有するコンピュータ２２を含むことができる。コンピュータ２２はまた、ジョイスティック又はマウスなどの入力デバイス３２を含むことができる。各制御ステーション１６は通常、ロボット１２から遠隔の場所に位置付けられる。ロボット１２は１つしか図示されていないが、システム１０は複数のロボット１２を有することができる点は理解されたい。一般に、あらゆる数のロボット１２をあらゆる数の遠隔ステーションが制御することができる。例えば、１つの遠隔ステーション１６は複数のロボット１２に結合することができ、又は、１つのロボット１２を複数の遠隔ステーション１６に結合することもできる。

ロボット１２は、ロボットハウジング３６に取り付けられた移動プラットフォーム３４を含む。ロボットハウジング３６には、カメラ３８、モニタ４０、マイクロフォン４２、及びスピーカ４４も取り付けられる。マイクロフォン４２及びスピーカ３０は、ステレオ音声を生成することができる。ロボット１２はまた、ベースステーション１４のアンテナ４６に無線結合されるアンテナ４４を有することができる。システム１０により、遠隔制御ステーション１６にいるユーザは、入力デバイス３２を介してロボット１２を移動させることができる。ロボットカメラ３８は、遠隔ステーション１６にいるユーザが患者を見ることができるように遠隔モニタ２４に結合されている。同様に、ロボットモニタ４０は、患者がユーザを見ることができるように遠隔カメラ２６に結合されている。マイクロフォン２８、４２及びスピーカ３０、４４により、患者とユーザとの間で音声通信が可能になる。

各遠隔ステーション・コンピュータ２２は、Ｍｉｃｒｏｓｏｆｔ ＯＳソフトウェア及びＷＩＮＤＯＷＳ（登録商標） ＸＰ又はＬＩＮＵＸなどの他のオペレーティングシステムを動作させることができる。更に、遠隔コンピュータ２２はまた、ビデオドライバ、カメラドライバ、オーディオドライバ、ジョイスティックドライバを作動させることができる。ビデオイメージは、ＭＰＥＧ ＣＯＤＥＣなどの圧縮ソフトウェアを使用して送受信することができる。

図２は、ロボット１２の一実施形態を示している。ロボット１２は、高水準制御システム５０と低水準制御システム５２を含むことができる。高水準制御システム５０は、バス５６に接続されたプロセッサ５４を含むことができる。バスは、入出力（Ｉ／Ｏ）ポート５８によりカメラ３８に結合され、シリアル出力ポート６０とＶＧＡドライバ６２によりモニタ４０に結合されている。モニタ４０は、患者がモニタ画面にタッチすることにより入力できるタッチスクリーン機能を含むことができる。

スピーカ４４は、デジタルアナログコンバータ６４によりバス５６に結合される。マイクロフォン４２は、アナログデジタルコンバータ６６によりバス５６に結合される。高水準コントローラ５０はまた、ランダムアクセスメモリ（ＲＡＭ）デバイス６８、不揮発性ＲＡＭデバイス７０、及び大容量記憶デバイス７２を含むことができ、これらはすべてバス６２に結合されている。大容量記憶デバイス７２には、遠隔制御ステーション１６にいるユーザがアクセスできる患者の医療ファイルを収めることができる。例えば、大容量記憶デバイス７２は、患者の画像を収容することができる。ユーザ、特に、医療サービス提供者は、以前の画像を呼び出して、カメラ３８により提供された患者の現在のビデオイメージとモニタ２４上で並べて比較することができる。ロボットアンテナ４４は、無線トランシーバ７４に結合することができる。一例として、トランシーバ７４は、ＩＥＥＥ８０２．１１ｂに従って情報を送受信することができる。

コントローラ５４は、ＬＩＮＵＸ ＯＳオペレーティングシステムで動作することができる。コントローラ５４はまた、ビデオドライバ、カメラドライバ、オーディオドライバと共にＭＳ ＷＩＮＤＯＷＳ上を動作させ、遠隔制御ステーション１６と通信することができる。ビデオ情報は、ＭＰＥＧ ＣＯＤＥＣ圧縮手法を使用して送受信することができる。ソフトウェアにより、ユーザはロボット側の誰かに電子メールを送信することができ、その逆もまた可能であり、或いは、ロボット側の誰かは、インターネットにアクセスすることもできる。一般に、高水準コントローラ５０は、ロボット１２と遠隔制御ステーション１６との間の通信を制御するよう作動する。

高水準コントローラ５０は、シリアルポート７６により低水準コントローラ５２にリンクすることができる。低水準コントローラ５２は、ロボット１２を機械的に作動させるソフトウェア・ルーチンを実行する。例えば、低水準コントローラ５２は、移動プラットフォームを作動させてロボット１２を移動させる命令を与える。低水準コントローラ５２は、高水準コントローラ５０から移動命令を受け取ることができる。移動命令は、遠隔制御ステーションから移動コマンドとして受け取ることができる。２つのコントローラが図示されているが、ロボット１２は高水準機能と低水準機能を制御する１つのコントローラを有することができる点は理解されたい。

図３は、ロボット１２の１つの実施形態を示す。ロボット１２は、ロボットハウジング１１２に取り付けられたホロノームプラットフォーム１１０を含むことができる。ホロノームプラットフォーム１１０は、ロボット１２があらゆる方向に移動可能な３自由度を提供する。

ロボット１２は、カメラ３８及びモニタ４０を支持するヘッド１１４を有することができる。ヘッド１１４は、カメラ２６及びモニタ２４が矢印で示すような旋回及び枢動できるように２自由度を有することができる。

図１及び３に示すように、プロジェクタ１１６は、ロボット１２に内蔵することができる。プロジェクタ１１６は、遠隔制御ステーション１６又は外部サーバのような別のソースから送信されるイメージを投影することができる。内蔵型プロジェクタを記載しているが、プロジェクタ１１６は、ロボットの補助ポートにプラグ接続される外部装置であってもよい。プロジェクタ１１６は、イメージをスクリーン１１８上に投影し、ロボット側で見ているひとが投影イメージを見ることができるようにすることができる。その結果として、遠隔制御ステーションにいるユーザは、プロジェクタ１１６により投影される情報をロボットに送信することができる。例えば、情報は、ロボットプロジェクタ１１６により表示され、遠隔ステーションのユーザが遠隔会議を行うことを可能にするパワーポイントプレゼンテーションとすることができる。

参照符号によりより詳細に図面を参照すると、図４、５、及び６は、代替のテレプレゼンスシステム２００を示す。システム２００は、ブーム２００、ロボットフェース２０４、及び遠隔ステーション２０６を含む。遠隔ステーション２０６は、ネットワーク２０８を介してロボットフェース２０４に結合することができる。

遠隔ステーション２０６は、モニタ２１２、カメラ２１４、マイクロフォン２１６、及びスピーカ２１８を有するコンピュータ２１０を含むことができる。コンピュータ２１０はまた、ジョイスティック又はマウスなどの入力デバイス２２０を含むことができる。遠隔制御ステーション２０６は通常、ロボットフェース２０４から遠隔にある場所に位置付けられる。遠隔ステーション２０６は１つしか図示されていないが、システム１０は、複数の遠隔ステーション２０６を含むことができる。一般に、あらゆる数のロボットフェース２０４をあらゆる数の遠隔ステーション２０６又は他のロボットフェース２０４に結合することができる。例えば、１つの遠隔ステーション１６は複数のロボットフェース２０４に結合することができ、又は、１つのロボットフェース２０４を複数の遠隔ステーション２０６に、或いは複数のロボットフェース２０４に結合することもできる。システムは、ロボットフェース２０４と複数の遠隔ステーション２０６との間のアクセスを制御するアービトレータ（図示せず）を含むことができる。

ブーム２０２は、医療施設の天井２２２から延びることができる。ブーム２０２は、少なくとも２自由度を提供する連接ジョイント２２４及び２２６を含み、ユーザが、手術室（「ＯＲ）テーブルのような医療テーブルに対してロボットフェース２０４を移動させることができる。

ブーム２０２は、ロボットフェース２０４をそれぞれパン及びチルトすることを可能にする追加のジョイント２３０及び２３２を有することができる。ジョイント２３０及び２３２は、遠隔制御ステーション２０６において入力デバイス２２０の操作によって遠隔作動することができる、アクチュエータ２３４及び２３６をそれぞれ含むことができる。

各ロボットフェース２０４は、カメラ２３８、モニタ２４０、マイクロフォン２４２、及びスピーカ２４４を含む。ロボットカメラ２３８は、遠隔ステーション２０６にいるユーザがテーブル２２８上の患者を見ることができるように遠隔モニタ２１２に結合されている。同様に、ロボットモニタ２４０は、手術する場所にいるスタッフが遠隔ステーション２０６のユーザを見ることができるように、遠隔カメラ２１４に結合されている。マイクロフォン２１６、２４２及びスピーカ２１８、２４４により、システムオペレータと手術する場所にいるスタッフとの間で音声通信が可能になる。

ロボットフェース２０４は、レーザを放出する内蔵レーザポインタ２４６を有することができる。レーザポインタ２４６は、遠隔制御ステーション２０６によりオンにされ、制御することができる。レーザポインタ２４６は、ポインタに追加の自由度を提供するアクチュエータ２５０を含むことができる。レーザポインタ２４６はまた、図１及び３に示す移動ロボット内に一体化することができる。

システム２００は、外科専門医などのシステムユーザが遠隔ステーション及びロボットフェース２０４を通じてテーブル２２８上の患者を見て、遠隔医療相談を提供できるようにする。手術場所にいるスタッフは、システムを通じて質問及び回答をシステムオペレータに返信することができる。ロボットカメラ２３８により、専門医が患者を見て医療相談を向上させることが可能になる。ロボットモニタ２４０は、専門医を表示し、手術場所にいる面前の印象を提供することができる。ブーム２０２により、スタッフがロボットフェース２０４を手術野の内外に移動させることが可能になる。遠隔ユーザは、ロボットフェースを移動させ、手術場所においてロボットカメラが患者及びひいては医者に向うようにし、遠隔ユーザが患者を観察して医者に対する相談を可能にすることができる。

ロボットフェース２０４は、現在は医療施設に存在するブーム上に後付けすることができる。例えば、一部の最新の医療施設は、ブームに取り付けられるモニタを含む。既存のモニタは、ロボットフェース１４と置き換えることができ、次いで、遠隔ステーション１６に結合される。

図７及び８は、ロボットフェース２０４が取付機構２５４を用いてテーブル２２８に取り付けられる、システム２００’の代替の実施形態を示す。ロボットフェース２０４は、レーザポインタ有することができ、或いは有さない場合がある。取付機構２５２は、テーブル２２８のレール２５６に押し付けられるクランプ２５４のペアを含むことができる。取付機構２５２は、ユーザがロボットフェース２０４の高さを調整できるようにハウジング２６０に対して滑動するスリーブ２５８を有することができる。フェース位置は、ノブ２６２の回転によりロックすることができる。

取付機構２５４は、ロボットフェース２０４のパン及びチルトをそれぞれ可能にするジョイント２６４及び２６６を備えたネック部２６２を含むことができる。ジョイント２６４及び２６６は、遠隔ステーション２０６において入力デバイス２２０を通じて作動できるアクチュエータ２６８及び２７０をそれぞれ手動で作動させるか、又は含むことができる。

取付機構２５２は、ユーザがテーブル２２８との間でロボットフェース２０４を保持することを可能にするハンドル２７２を含むことができる。取付機構２５２は、特に手術室にブームが存在しないときに、手術場所においてロボットフェース２０４を容易に利用可能にする。

図示され説明される種々のロボットシステムは、商標ＲＰ−７でＳａｎｔａ Ｂａｒｂａｒａ所在の譲受人であるＩｎＴｏｕｃｈ Ｔｅｃｈｎｏｌｏｇｉｅｓ．，Ｉｎｃによって提供されるロボットシステムと同じ又は同様の特定の構成要素及びソフトウェアを有することができ、米国特許第６，９２５，３５７号で記載されるシステムを具現化する。

作動時には、ロボット１２は、第１の又はそれ以上の患者が監視され及び／又は支援されることになる自宅、公共又は商業的不動産、或いは施設に置くことができる。施設は、病院又は養護施設とすることができる。例証として、ロボット１２は、医療供給者が患者を監視又は支援することができる自宅に置くことができる。同様に、友人又は家族が患者と連絡することができる。ロボットと遠隔ステーションの両方にあるカメラ及びモニタは、患者と遠隔制御ステーションにいる人との間のテレビ会議を可能にする。

ロボット１２は、遠隔制御ステーション１６にある入力デバイスを操作することにより、自宅、不動産、又は施設を通じて操作することができる。

ロボット１０は、多数の異なるユーザにより制御することができる。これに対応するために、ロボットは、アービトレーションシステムを有することができる。アービトレーションシステムは、ロボット１２のオペレーティングシステムに統合することができる。例えば、アービトレーション手法は、高水準コントローラ５０のオペレーティングシステムに組み込むことができる。

例証として、ユーザは、ロボット自体、ローカルユーザ、介護者、医者、家族、又はサービス提供者を含む分類に分けることができる。ロボット１２は、ロボット動作と競合する入力コマンドを無効にすることができる。例えば、ロボットが壁に衝突した場合には、システムは、壁の方向に進み続ける追加コマンドを全て無視することができる。ローカルユーザは、ロボットと共に物理的に存在する人である。ロボットは、ローカルオペレーションを可能にする入力デバイスを有することができる。例えば、ロボットは、可聴コマンドを受け取って解釈する音声認識システムを組み込むことができる。

介護者は、患者を遠隔で監視する人である。医者は、ロボットを遠隔で制御し、またロボットのメモリ内に入っている医療ファイルにアクセスできる医療専門家である。家族及びサービスユーザは、ロボットに遠隔でアクセスする。サービスユーザは、ソフトウェアのアップグレード、又は操作パラメータの設定などによって、システムを保守整備することができる。

ロボット１２と遠隔制御ステーション１６との間で、メッセージパケットを送信することができる。パケットは、コマンド及びフィードバックを提供する。各パケットは複数のフィールドを有することができる。例証として、パケットは、ＩＤフィールド、前進速度フィールド、角速度フィールド、停止フィールド、バンパーフィールド、センサレンジフィールド、コンフィギュレーション・フィールド、テキストフィールド、及びデバッグフィールドを含むことができる。

遠隔ユーザの識別は、遠隔制御ステーション１６からロボット１２に送信される情報のＩＤフィールド内に設定することができる。例えば、ユーザは、遠隔制御ステーション１６により実行されるアプリケーション・ソフトウェア内のセットアップテーブルにユーザＩＤを入力することができる。次いで、ユーザＩＤは、ロボットに送信される各メッセージと共に送信される。

ロボット１２は、排他モードと共有モードの２つの異なるモードのうちの１つで動作することができる。排他モードでは１人のユーザのみがロボットの制御にアクセスできる。排他モードは、各タイプのユーザに優先度を割り当てることができる。例証として、優先度は、ローカル、医者、介護者、家族、及びサービスユーザの順とすることができる。共有モードでは、２人又はそれ以上のユーザがロボットへのアクセスを共有することができる。例えば、介護者がロボットにアクセスすることができ、次に、介護者が共有モードに入り、医者もロボットにアクセス可能にすることができる。介護者及び医者は両者とも患者と同時テレビ会議を行うことができる。

アービトレーション方式は、通知、タイムアウト、キュー、及びコールバックの４つの機構のうちの１つを有することができる。通知機構は、他のユーザがロボットへのアクセス権を有していること、又はアクセスを望んでいることを現在のユーザ又は要求側ユーザに知らせることができる。タイムアウト機構は、特定のタイプのユーザに対してロボットへのアクセスを終了するまでの所定時間を与える。キュー機構は、ロボットにアクセスするための順番待ちリストである。コールバック機構は、ロボットにアクセスできることをユーザに知らせる。例証として、家族ユーザは、ロボットを自由に使用できることを電子メールメッセージで受け取ることができる。表１及び２は、これらの機構が種々のユーザからのアクセス要求をどのように解決するかを示している。

ステーション１６とロボット１２との間で送信される情報は、暗号化することができる。加えて、ユーザは、システム１０に入るためにパスワードを入力しなければならない。次いで、選択されたロボットには、ステーション１６により電子鍵が与えられる。ロボット１２は、その鍵の妥当性を確認し、別の鍵をステーション１６に返す。これらの鍵は、セッションにおいて送信される情報を暗号化するのに使用される。

図９は、ネットワーク１８を介して異なるロボット１２、２００、及び２００’にアクセスできる複数の遠隔制御ステーション１６Ａ、１６Ｂ、及び１６Ｃを備えたシステムを示している。システムは、セッションモードに設定することができ、ここでは、マスター遠隔ステーション１６Ａがロボット１２、２００、及び２００’の移動を制御し、ロボットカメラ及びスピーカそれぞれからビデオ及びオーディオ情報を受け取る。観察者ステーション１６Ｂ及び１６Ｃもまた、ロボット１２、２００、及び２００’とステーション１６Ａとの間で送信されるオーディオ及び視覚情報を受け取ることができる。このモードにより、ステーション１６Ａにいる教師又はマスターがロボットを移動させている間、ステーション１６Ｂ及び１６Ｃにいる複数のユーザがロボットの使用を観察することが可能になる。

セッション中、マスター遠隔ステーション１６Ａは、ロボット１２、２００、及び２００’から受け取ったオーディオ／視覚情報を観察者ステーション１６Ｂ及び１６Ｃに再送することができる。これは、ロボットから受け取ったデータパケットのＩＤフィールド内のＩＤを変更し、次いで該パケットを観察ステーションに再送することにより行うことができる。或いは、マスター遠隔ステーション１６Ａは、オーディオ及び視覚情報をマスター１６Ａ、並びに観察者１６Ｂ及び１６Ｃ遠隔ステーションに送信するようロボットに指示することができる。各遠隔ステーション１６Ａ、１６Ｂ、及び１６Ｃは、ロボットが各ステーションに情報を送ることを可能にするＩＰアドレスのような固有ネットワーク識別子を有することは理解される。パケットは、ロボットからパケットを受け取ることになる遠隔ステーションのステーションＩＤを収容するＢＲＯＡＤＣＡＳＴフィールドを含むことができる。ＢＲＯＡＤＣＡＳＴフィールドは、マスターステーション１６Ａが満たすことができる。

セッションモードは、ロボットによるトレーニングを可能にする。例えば、マスター遠隔ステーション１６Ａは、患者と視覚及びオーディオ接触を保ちながらロボットを移動させる医師によって作動させることができる。観察者遠隔ステーション１６Ｂ及び１６Ｃは、患者に与えるケアの提供に関する教育トレーニングを見学し且つ受けるインターンのような人を配置することができる。医療関係者の指示を説明したが、本システムは、トレーニング区域から離れた何らかのユーザのグループを訓練するのに用いることができる。例えば、システムは、デパート職員を訓練すること、又は不動産物件の見込み客が物件を遠隔で見ることを可能にすることに用いることができる。

図１０は、マスター遠隔ステーション１６Ａにて表示されるディスプレイユーザインタフェース（「ＤＵＩ」）３００を示している。ＤＵＩ３００は、ロボットのカメラにより取り込まれたビデオイメージを表示するロボットビューフィールド３０２を含むことができる。ＤＵＩ３００はまた、マスター遠隔ステーション１６Ａのカメラにより提供されるビデオイメージを表示するステーションビューフィールド３０４を含むことができる。ＤＵＩ３００は、遠隔ステーション１６Ａのコンピュータ２２により格納され作動されるアプリケーションプログラムの一部とすることができる。

ＤＵＩ３００は、ステーションをロボットに接続するのに選択することができる「接続」ボタン３０６を含むことができる。接続ボタン３０６の選択は、ユーザが所望のロボットを選択できるようにするプルダウンスクリーンなどの表示を生じさせることができる。システム設定及び選択肢をボタン３０８及び３１０をそれぞれ通じて選択することができる。

選択肢の１つは、マルチキャストを許容することである。図１１は、他の遠隔ステーションのマルチキャストセッションへの参加を許可するために「チェック」することができる「マルチキャスト有効」ボックス３１４を備えたメニュー３１２を示している。

観察ステーションにいるユーザは、同じロボットとの接続を試みることができる。ロボットが既に使用中である場合、スクリーンは、図１２Ａに示すようなメッセージボックス３１６を表示することができる。メッセージボックス３１６は、ユーザが観察者としてセッションに参加するのを要求することができる「ＯＫ」ボタン３１８を含むことができる。現在ロボットに接続されているユーザが、マルチキャスト機能が有効にされていない場合、図１２Ｂに図示するように、この事実を示すメッセージ３２０を表示することができる。ユーザがＯＫボタン３１８を選択すると、マスターユーザは、図１２Ｃに示すメッセージを受け取ることができる。メッセージは、「承認」ボタン３２４と「否認」ボタン３２６を含み、マスターユーザがセッションの観察要求をそれぞれ承認又は否認することができる。観察者が承認されたときには、観察者は、ロボットからオーディオ／ビデオフィードを受けることができる。

承認されたユーザは、図１０に示すマスター制御背得テーションＤＵＩ３００の観察者ビューフィールド３２８に表示される。フィールド３２８は、観察者遠隔制御ステーションのカメラによって取り込まれたユーザのビデオイメージを提供することができる。各ビデオイメージはまた、観察者名のキャプションを含むことができる。フィールドは、マスターユーザが観察者のビデオイメージをスクロールダウンすることを可能にするスクロールダウンタブ３３０を含む。

マスターユーザは、何れかの観察者ビデオイメージを右クリックし、図１３に示すプルダウンメニュー３３２を表示することができる。プルダウンメニュー３２８により、マスターユーザは、選択された観察者についての種々の選択肢を選択できるようになる。プルダウンメニュー３３２は、観察者がロボットに音声信号を提供できるように選択可能な「Ａｌｌｏｗ Ｔｈｅ Ｒｏｂｏｔ Ｔｏ Ｈｅａｒ Ｔｈｉｓ Ｕｓｅｒ」機能３３４を含む。システムは、ロボット、マスターユーザ、及び１人の観察者間の同時の３ウェイ音声信号を可能にすることができる。マスター及び観察者ステーションの両方は、「Ｐｕｓｈ Ｔｏ Ｔａｌｋ」アイコン３３６を含む。１人よりも多い観察者が存在する場合、「Ｐｕｓｈ Ｔｏ Ｔａｌｋ」アイコン３３６が有効にされ、観察者は、トランシーバボタンに類似して、会話するためにはアイコン３３２を連続的に選択しなければならない。ロボットへの音声通信を可能にするためにアイコン３３６が選択された後、スペースバーもプッシュすることができる。Ｐｕｓｈ Ｔｏ Ｔａｌｋが選択されると、観察者のビデオイメージ内にアイコン３３８を表示し、どの観察者がロボットに音声入力を提供しているかを示すことができる。マスターステーション及び観察者ステーションはまた、「Ｌｏｃａｌ Ｔａｌｋ」アイコン３４０を有することができる。Ｌｏｃａｌ Ｔａｌｋアイコンを選択することによって、遠隔ステーション間のテキスト通信が可能となり、各インタフェース内でのテキストチャットダイアログボックスがポップアップし、マスター及び観察者がテキストメッセージを交換できるようになる。テキストチャットダイアログボックスを表示する前に、Ｌｏｃａｌ Ｔａｌｋを開始するユーザに対して、現在のセッション参加者を全てリストしたポップアップダイアログボックス（図示せず）を表示し、ユーザが、Ｌｏｃａｌ Ｔａｌｋの一部であるこれらの参加者だけを選択可能にすることができる。ローカルチャットに参加しているこれらの他の遠隔スレ−ションだけに参加者のオーディオ出力を制限するよう選択できる「Ｌｉｍｉｔ Ｖｏｉｃｅ」ボックス（図示せず）が存在することができる。

マスターユーザのビデオイメージではなく観察者のビデオイメージがロボットのモニタに提供されるように、「Ａｌｌｏｗ Ｒｏｂｏｔ Ｔｏ Ｓｅｅ Ｔｈｉｓ Ｕｓｅｒ」機能３４２を選択することができる。当該観察者のイメージがロボットに提供されるときに、観察者のビデオイメージをステーションビューフィールド３０４に表示することができる。観察者がロボットからそれぞれビデオ及びオーディオフィードを受け取るように、「Ａｌｌｏｗ Ｔｈｅ Ｒｏｂｏｔ Ｔｏ Ｈｅａｒ Ｔｈｉｓ Ｕｓｅｒ」３３４及び「Ａｌｌｏｗ Ｔｈｉｓ Ｕｓｅｒ Ｔｏ Ｈｅａｒ Ｒｏｂｏｔ Ａｕｄｉｏ」機能３４２を選択することができる。

「Ｈｅａｄ Ｃｏｎｔｒｏｌ」機能３４８により、選択された観察者がロボットヘッドを制御してロボットカメラを移動させることが可能になる。「Ｄｒｉｖｉｎｇ」機能３５０により、観察者がロボットを駆動することが可能になる。Ｄｒｉｖｉｎｇ機能が選択されると、位置センサデータ、バッテリパワー、その他のようなロボットデータは、選択された観察者の遠隔ステーションに提供される。「Ｃａｍｅｒａ ＆ Ａｕｘ Ｃｏｎｔｒｏｌ」機能３５２により、観察者は、ズーム、明るさ、その他などのロボットカメラの機能が制御可能になる。マスターは、これらの機能が観察者に伝達されたときには、ヘッド、駆動、及びカメラ制御をもはや有していない

メニュー３３２は、ロボットにより提供されるイメージに観察者が注釈を付けることを可能にする「Ｔｅｌｅｓｔｒａｔｉｏｎ」機能３５４を含む。例えば、イメージは、文書又はＸ線とすることができる。観察者は、例えば、Ｘ線の円及び区域に対してイメージに注釈を付け、ロボット側の患者との連絡を助けることができる。マスター又はあらゆる観察者は、「Ｌｉｖｅ Ｃｕｒｓｏｒ」アイコン３５６を選択することによってカーソル機能を有効にすることができる。アイコン３５６を選択することによって、ユーザは、ロボットビデオイメージ上に重畳されるカーソル３５８を移動させることが可能になる。カーソル３５８は、セッションにおける全ての遠隔ステーションのイメージフィールド３０２上に提供される。マスター及び観察者は、各々、ユーザが異なるカーソルを識別できるように異なる色を指定することができる。カーソル色３６０は、マスター又は観察者のビデオイメージ内に表示することができる。

ロボットは、聴診器（Ｓｔｅｔｈｏｓｃｏｐｅ）のような医療機器に接続することができる。プルダウンメニュー３３２の「Ｓｔｅｔｈｏｓｃｏｐｅ」機能３６２により、観察者は、聴診器からの機器入力を受け取ることが可能になる。メニュー３３２は、「Ｇｉｖｅ Ｔｈｉｓ Ｕｓｅｒ Ｍａｓｔｅｒ Ｃｏｎｔｒｏｌ」機能３６４を有することができ、これにより選択された観察者がマスターユーザになることができる。マスターはまた、「Ｄｉｓｃｏｎｎｅｃｔ Ｔｈｉｓ Ｕｓｅｒ」を選択することにより観察者を接続解除することができる。

図１４は、観察者用のユーザインタフェース３７０を示している。インタフェース３７０は、マスターＤＵＩ３００と類似しているが、特定のロボットコントロールが存在しない。

再度図１０を参照すると、ロボットビューフィールド３０２及びステーションビューフィールド３０４の両方は、ビデオ及びオーディオ表示を変えるためのグラフィックと関連付けることができる。例えば、各フィールドは、カメラのズーム及び明るさをそれぞれ変えるためのグラフィックスライダーバー３８０及び３８２を有することができる。グラフィックカメラアイコン３８４の１つを選択することによって、ロボット又は遠隔ステーションにおいて静止画像を撮ることができる。静止画像は、カメラアイコン３８４が選択された時点での対応するフィールド３０２又は３０４で示されるイメージとすることができる。ビデオの取り込み及び再生は、グラフィックアイコン３８６を通じて行うことができる。グラフィックＬＩＶＥボタン３８８を選択することによって、静止画像の撮影、ビデオの取り込み、又はスライドショーのレビュー後にリアルタイムビデオへの復帰を再開することができる。

ローカルコントロールは、ローカルステーションスピーカ３９０及びマイクロフォン３９２用のスライドバーを含むことができる。また、ユーザの声の音量に伴って変化するマイクロフォンメータアイコン３９４も表示される。ロボットの音量は、ユーザの入力音量とは異なる場合がある。遠隔コントロールはまた、ロボットにおけるユーザのオーディオ音量を表すマイクロフォンメータアイコン３９６を含む。ロボットは、ロボット側にいるユーザがロボットスピーカの音量を変えることができるように、ローカル音量コントロールを有することができる。通常、メータアイコン３９４及び３９６は、基本的に同じ値を示すことになる。ロボット音量は、例えば、ロボットローカル音量がロボット側で調整される場合、ユーザの入力音量とは異なる場合がある。図１５に示すように、これが生じる場合、音量スライドバー３９２が有効にされ、ユーザがマイクロフォンを変更するのを可能にすることができる。ＤＵＩはまた、ロボットスピーカ音量を中央位置に自動的にリセットするよう選択できる「Ｒｅｓｅｔ」ボタン３９８を表示することができる。

図１０を参照すると、ロボットビューフィールド３０２は、「Ｖｉｄｅｏ Ｍｕｔｅ Ｔｏ Ｒｏｂｏｔ」機能４００を含むことができ、選択されると、全ての遠隔ステーションからロボットへのオーディオ及びビデオ送信が阻止される。フィールド３０２はまた、「Ｍａｓｔｅｒ／Ｒｏｂｏｔ Ｐｒｉｖａｃｙ」機能４０２を有することができ、観察者ステーションがロボット及びマスター制御ステーションの両方からのロボットビデオ及びオーディオを受け取るのを阻止することができる。

マスターユーザはまた、観察者ステーションへのビデオフィードを制御することによって、システムの帯域幅を制御できるようにすることができる。図１６は、セッションの種々の参加者の帯域幅使用量と、参加者間のパケット損失及びジッタのようなネットワーク健全性パラメータを表示するだいダイアログボックス４１０を示している。マスターユーザが特定の観察者のビデオを削除できるように、観察者ステーションに隣接して「Ｄｒｏｐ Ｖｉｄ」ボタン４１２を配置することができる。

システムは、多数の用途に応用することができる。例えば、集中治療室専門医は、緊急救命室の患者を診断するために、ロボットを用いてリモートプレゼンスを開始することができる。患者の検査時に、医師は、患者評価には神経専門医による対診が必要であることに気付く場合がある。集中治療室専門医は、電話で神経科医を呼び出し、セッションに参加するよう依頼する。電話依頼を受け取ると、神経科医は、ラップトップ型パソコンを開き、インタフェース中のロボットリストから該当のロボットを選び、「Ｃｏｎｎｅｃｔ」をクリックする。神経科医は、図７Ａのメッセージを見て「ＯＫ」をクリックし、次いで、図７Ｂのメッセージを見る。また、神経科医は、図７Ｃのメッセージを見て「Ａｃｃｅｐｔ」をクリックする。この時点で神経科医は、ロボットビデオを受け取り、ロボット側の音声及び集中治療室専門医の声の両方を聴くことができる。

集中治療室専門医は、Ｌｉｖｅ Ｃｕｒｓｏｒを用いて患者の顔及び壁上のＥＥＧデータをポイントする。神経科医は、ロボットの正面で患者の隣に立っている看護師が提供できるバックグラウンド情報と、並びにマスター制御ステーション上の集中治療室専門医によって提供されるＩＣＵ固有情報とを取得する。次いで、神経科医は、患者の病状に関する音声評価を提供することができる。次に、集中治療室専門医は、フィールド２８８において神経科医のサムネールイメージ上で右クリックし、神経科医がロボット上で見聞きできるようにプルダウンメニュー内の適切な機能をクリックする。その結果、神経科医は、患者及び家族の両方に病状について知らせることができる。

別の応用では、外科医がロボットにログオンし、病院内の患者の病室を回診することができる。他の場所にある病院からの研修医は、上述のような手法でセッションに参加する。外科医は、質問をすることができる研修医に対してその行っている内容を説明し、これにより患者を回診するための最善の方法を学ぶことができる。

別の応用では、病院ＣＥＯは、ロボットに接続することができ、病院がスタッフに加えるようとしている３人の医者候補者に電話する。これらの医者は各々、上記で検討したようにセッションに参加する。次いで、ＣＥＯは、ジョイスティックを用いて病院中をロボットで走らせてバーチャルツアーを実施し、観察者の医師と設備について議論する。

更に別の応用では、ＭＲＩ製造会社の販売ＶＰは、病院の研究機関内のロボットに接続することができ、次いで、セッションに参加させるため別の病院のＣＯＯに電話する。参加すると、販売ＶＰは、ＭＲＩ研究室にロボットを走らせて、ＭＲＩ機械の周りを移動さえ、その機能について説明する。現場のＭＲＩ検査技師は、販売ＶＰの方向の特定のコントロールを作動させる。販売ＶＰは、ＣＯＯに対して、ＭＲＩ機械の購入に関する種々の恩恵を説明する。

本システムは、遠隔ステーションによって表示されるＤＵＩがロボットの実施形態、ロボット機構及び／又はロボットに取り付けられた装置に対応するように実施することができる。例えば、移動ロボットへのアクセス時には、ＤＵＩは、移動ロボットに関連するグラフィックを表示することになる。これらの同じグラフィックは、遠隔ステーションが図４から８に示すような非移動ロボットにアクセスするときには表示されない。ロボットが無線通信を有し及び／又はバッテリ上で動作している場合、ＤＵＩは、無線信号強度インジケータ及びバッテリレベルをそれぞれ表示することになる。無線通信を有しておらず、又はバッテリ上で動作していないロボットでは、ＤＵＩはこの情報を表示しない。

遠隔制御ステーションソフトウェアプラットフォームは、ロボット機構に対するサブクラスを組み込む。例えば、サブクラスは、移動プラットフォーム、無線ロボット接続部、バッテリ駆動ロボット、レーザポインタ、プロジェクタなどの接続される装置、又は医療機器の識別情報を含むことができる。ソフトウェアは、各サブクラスのソフトウェアオブジェクトを含むことができる。ロボットは、遠隔制御ステーションに特定のサブクラスを提供する。これは、遠隔制御ステーションがロボットにアクセスする前、アクセス途中、又はアクセス後とすることができる。特定のロボットのサブクラスはまた、サーバによって提供されてもよい。接続時には、遠隔制御ステーションソフトウェアがレポートされたサブクラス全てについてのオブジェクトのインスタンスを作成し初期設定をする。次に、ソフトウェアは、各オブジェクトについての特定の機能及び選択された機能を判定する反復作業を実施することができる。

図１７は、図１及び３において開示され図示されたロボットと類似した移動ロボットに接続される遠隔ステーションのＤＵＩ４００の１つの実施形態であるが、但しプロジェクタが存在しない。ロボットは移動可能であるので、ＤＵＩは、ロボットプラットフォーム及びロボットのセンサにより検出される何らかのセンサデータを描いたグラフィックアイコン４０２を含む。フラフィックアイコン４０２は、ロボットにより提供されるサブクラスに相当するソフトウェアオブジェクトにより作成される。

図１８は、図１に示す内蔵型プロジェクタを含む移動ロボットに接続される遠隔ステーションのＤＵＩ４１０の１つの実施形態である。ＤＵＩは、ロボットプロジェクタにより投影されるイメージ用のプロジェクタフィールド４１２を含む。プロジェクタフィールド４１２は、該フィールド４１２を作成するオブジェクトに対応するサブクラスをロボットが有するので含められる。プロジェクタフィールド４１２は、選択されると投影イメージを提供するＬＩＶＥグラフィックボタン４１４と、イメージの投影を中断するよう選択できるＯＦＦボタン４１６とを含むことができる。ＤＵＩ４１０は、ＳＨＡＲＥグラフィカルボタンが選択されたときに（図示せず）、ロボットモニタ上へのイメージの表示か、又はプロジェクタによるイメージの投影かをユーザが選択できるポップが現れるように適合させることができる。後者が選択された場合、イメージは、ロボットプロジェクタにより投影され、プロジェクタフィールド４１２に示される。次いで、モードボタン４１８がＭＥＤＩＡに変更される。

図１９は、図４〜８に示すロボットのようなレーザポインタを含む非移動ロボットに接続されるＤＵＩ４２０の１つの実施形態である。ロボットが移動可能ではないので、プラットフォームグラフィックは図示されていない（図１７のフィールド４０２と比べて）。同様に、ロボットは、プロジェクタを有していないので、プロジェクタフィールドは表示されない（図１８と比較して）。ＤＵＩ４２０は、グラフィックカーソルサークル４２２と、レーザポインタをアクティブ及び非アクティブにするのに用いることができるグラフィックボタン４２４を含む。サークル４２２及び４２４は、遠隔ステーションがレーザポインタを用いてロボットにアクセスしたときだけ表示される。レーザポインタを有効にすると、カーソル４２２が消える。マウスの移動のようなユーザ入力は、システムによってレーザポインタの移動に変換される。ユーザへの視覚フィードバックは、ロボットカメラによって記録されＤＵＩ４２０上の表示として遠隔ステーションに伝送されるレーザである。

ユーザ入力コマンドをロボット移動に変換するのに使用される座標変換を再配置し、レーザポインタとカメラとの間の位置の差違と、レーザが３次元空間に投影されるという事実とを考慮することができる。本システムは、カメラの焦点距離を利用してコマンドを再配置することができる。代替的に、光学的認識を利用して、コマンドを再配置し、レーザ及び／又はロボットヘッドを移動させることができる。サーボルーチンを実装し、レーザが画面上のグラフィックカーソルと同じ位置にポイントするようにレーザポインタを繰り返し移動させることができる。

本システムは、レーザスクロール機能を有することができ、ここではレーザが常にロボットカメラの視野内にあるようにロボットヘッドが自動的に移動する。本システムは、光学的認識を利用して、レーザの端部がロボットカメラの視野内にあるかどうかを判定することができる。加えて、ヘッドは、レーザポインタを移動させるアクチュエータの範囲外にあるレーザの移動をユーザが命令しようとした場合には、自動的に移動することができる。

レーザを用いて、別の装置を始動及び／又は作動させることができる。例えば、ＯＲ機械は、光学入力センサパネルを有することができる。ユーザは、レーザをパネル上に配向し、装置を制御することができる。本システムは、レーザポインタが移動してボックス又はサークルを連続的作成するようにプログラムすることができる。連続的に作成されるボックス又はサークルは、遠隔ステーションの視野（例えば、ユーザが見ているもの）をロボット側の人に示すことができる。レーザポインタは、ラスタスキャン手法で移動し、画面上などの表面にイメージを投影することができる。例えば、イメージは、画像又は文書とすることができる。レーザポインタは、イメージのような情報を投影するのに用いることができる。また、レーザポインタは、ある範囲の物体を見つけるのに利用することができる。例えば、レーザは、３次元物体全体をスキャンすることができる。ロボットカメラによって取り込まれた結果として得られるイメージは、解析し、障害物を避けるようロボットを誘導するのに利用することができる。

レーザポインタは、種々のテレプレゼンス応用でユーザを支援する援助として利用することができる。例えば、レーザポインタは、退縮、切開、縫合、及び／又はトロカールを行うことになる解剖学的部位をポイントするために手術場所で使用することができる。ヘッドは、患者及び医者に向かうように前後に移動することができる。レーザポインタの移動は、ヘッドの移動とは別個にすることができる。レーザポインタを説明したが、本システムは、切断及び／又は切除などの作業を実施できる医療又は工業用レーザを含むことができる。

本システムはまた、ユーザが通常カーソルモード、ライブカーソルモード、及びレーザポインタモードを選択できるようにするグラフィックボタンを提供することができる。通常カーソルモードでは、ユーザは、カーソルを用いてズーム、テレストレーション、その他を行うことができる。ライブカーソルモードでは、ユーザは、ゲスト及び／又はロボットモニタに表示されるロボットイメージの一部分にポイントすることができる。レーザポインタモードでは、ロボットは、レーザポインタの移動と協働して移動する。

特定の例示的な実施形態を説明し添付図面において図示してきたが、このような実施形態は、広義の本発明に関する単なる例証にすぎず限定ではないこと、及び本発明は、他の種々の変形形態を当業者が想起できることから、図示され説明された特定の構成及び配置に限定されるものではないことは理解されたい。

１２ ロボット
１６ 遠隔制御ステーション
１８ ネットワーク
２２ コンピュータ
２４ モニタ
２６ カメラ
２８ マイクロフォン
３０ スピーカ
３２ 入力デバイス
３４ 移動プラットフォーム
３６ ロボットハウジング
４６ アンテナ

Claims (31)

1. 少なくとも、２つの異なるロボットにアクセスできる遠隔ステーションであって、この遠隔ステーションはそれぞれが少なくとも１つ固有のロボット機能を有する少なくとも２つの異なるロボットの１つにアクセスする遠隔制御ステーションを具備し、前記遠隔制御ステーションは、前記アクセスされるロボットのロボット機能を識別する情報を受け取り、前記ロボット機能に対応する少なくとも１つのフィールドを含むディスプレイユーザインタフェースを表示する、遠隔ステーション。
2. 前記ロボット機能は移動プラットフォームを含み、前記ディスプレイユーザインタフェースは、ロボットプラットフォームに対応するフィールドを表示する、請求項１に記載の遠隔ステーション。
3. 前記ロボット機能はプロジェクタを含み、前記ディスプレイユーザインタフェースは、プロジェクタフィールドを表示する、請求項１に記載の遠隔ステーション。
4. 前記ロボット機能はレーザポインタを含み、前記ディスプレイユーザインタフェースは、前記レーザポインタに対応するグラフィックを表示する、請求項１に記載の遠隔ステーション。
5. 前記遠隔制御ステーションは、前記ロボット機能に関連する少なくとも１つのオブジェクトを備えたソフトウェアを含み、前記遠隔ステーションは、前記アクセスされるロボットのロボット機能に対応する少なくとも１つのオブジェクトのインスタンスを作成し、該オブジェクトを開始する、請求項１に記載の遠隔ステーション。
6. 各々が少なくとも１つの固有のロボット機能を有する複数のロボットと、
   前記ロボットのうちの１つにアクセスする遠隔制御ステーションと、
   を備えたロボットシステムであって、前記遠隔ステーションは、前記アクセスされるロボットのロボット機能を識別する情報を受け取り、前記ロボット機能に対応する少なくとも１つのフィールドを含むディスプレイユーザインタフェースを表示する、ロボットシステム。
7. 前記ロボット機能は移動プラットフォームを含み、前記ディスプレイユーザインタフェースが、ロボットプラットフォームに対応するフィールドを表示する、請求項６に記載のロボットシステム。
8. 前記ロボット機能がプロジェクタを含み、前記ディスプレイユーザインタフェースが、プロジェクタフィールドを表示する、請求項６に記載のロボットシステム。
9. 前記ロボット機能はレーザポインタを含み、前記ディスプレイユーザインタフェースは、前記レーザポインタに対応するグラフィックを表示する、請求項６に記載のロボットシステム。
10. 前記遠隔制御ステーションは、前記ロボット機能に関連する少なくとも１つのオブジェクトを備えたソフトウェアを含み、前記遠隔ステーションは、前記アクセスされるロボットのロボット機能に対応する少なくとも１つのオブジェクトのインスタンスを作成し、該オブジェクトを開始する、請求項６に記載のロボットシステム。
11. ロボットシステム用のディスプレイユーザインタフェースを作成する方法であって、
    各々が少なくとも１つの固有のロボット機能を有する複数のロボットのうちの１つに遠隔制御ステーションからアクセスする段階と、
    前記アクセスされたロボットのロボット機能に関する情報を前記遠隔制御ステーションに送信する段階と、
    前記遠隔制御ステーションにおいて、前記ロボット機能に対応する少なくとも１つのフィールドを含むディスプレイユーザインタフェースを表示する段階と、
    を含む方法。
12. 前記ロボット機能は移動プラットフォームを含み、前記ディスプレイユーザインタフェースは、ロボットプラットフォームに対応するフィールドを表示する、請求項１１に記載の方法。
13. 前記ロボット機能はプロジェクタを含み、前記ディスプレイユーザインタフェースは、プロジェクタフィールドを表示する、請求項１１に記載の方法。
14. 前記ロボット機能がレーザポインタを含み、前記ディスプレイユーザインタフェースは、前記レーザポインタに対応するグラフィックを表示する、請求項１１に記載の方法。
15. 前記遠隔制御ステーションは、前記ロボット機能に関連する少なくとも１つのオブジェクトを備えたソフトウェアを含み、前記遠隔ステーションは、前記アクセスされるロボットのロボット機能に対応する少なくとも１つのオブジェクトのインスタンスを作成し、該オブジェクトを開始する、請求項１１に記載の方法。
16. モニタと、カメラと、レーザを放出するレーザポインタとを含むロボットと、
    前記ロボットを制御し且つユーザ入力デバイスを有する遠隔制御ステーションと、
    を備え、前記遠隔制御ステーションは、前記レーザポインタが作動したときに消失するコンピュータカーソルを表示するモニタを含み、前記レーザポインタの移動は前記入力デバイスによって制御される、ロボットシステム。
17. 前記グラフィックカーソルは、前記レーザポインタが作動したときに消失するスポットである、請求項１６に記載のロボットシステム。
18. 前記ロボットは、前記レーザが常に前記ロボットカメラの視野内にあるように自動的に移動する、請求項１６に記載のロボットシステム。
19. 前記ロボットモニタ、前記カメラ、及び前記レーザポインタが第１のアクチュエータ組立体によって移動され、前記レーザポインタは、追加の第２のアクチュエータ組立体によって移動され、前記第１のアクチュエータ組立体は、前記グラフィックカーソルの移動が前記第２のアクチュエータ組立体の範囲を超えた場合に前記レーザポインタを移動させるよう作動する、請求項１６に記載のロボットシステム。
20. ロボットを遠隔移動させる方法であって、
    モニタと、カメラと、レーザを放出するレーザポインタとを含むロボットを提供する段階と、
    前記ロボットを制御し且つユーザ入力デバイスを有し、コンピュータカーソルを表示するモニタを含む遠隔制御ステーションを提供する段階と、
    前記レーザポインタを作動させて、前記グラフィックカーソルを除去する段階と、
    前記入力デバイスによって前記レーザポインタを移動させる段階と、
    を含む方法。
21. 前記レーザは常に前記ロボットカメラの視野内にあるように前記ロボットを自動的に移動させる段階を更に含む、請求項２０に記載の方法。
22. 前記ロボットモニタ、前記カメラ、及び前記レーザポインタは第１のアクチュエータ組立体によって移動され、前記レーザポインタは、追加の第２のアクチュエータ組立体によって移動され、前記第１のアクチュエータ組立体は、前記グラフィックカーソルの移動が前記第２のアクチュエータ組立体の範囲を超えた場合に前記レーザポインタを移動させるよう作動する、請求項２０に記載の方法。
23. モニタと、カメラと、レーザを放出するレーザポインタとを含み、前記ロボットモニタ、前記カメラ、及び前記レーザポインタは第１のアクチュエータ組立体によって移動され、前記レーザポインタは、追加の第２のアクチュエータ組立体によって移動されるロボットと、
    前記ロボットを制御する遠隔制御ステーションと、
    を備え、前記遠隔制御ステーションの制御は、前記グラフィックカーソルの移動が前記第２のアクチュエータ組立体の範囲を超えた場合に前記レーザポインタを移動させるよう前記第１のアクチュエータ組立体を作動させることを含む、ロボットシステム。
24. ロボットを遠隔移動させる方法であって、
    モニタと、カメラと、レーザを放出するレーザポインタとを含み、前記ロボットモニタ、前記カメラ、及び前記レーザポインタが第１のアクチュエータ組立体によって移動され、前記レーザポインタは、追加の第２のアクチュエータ組立体によって移動されるロボットを提供する段階と、
    前記ロボットを制御し、前記レーザの移動を可能にする遠隔制御ステーションを提供する段階と、
    前記レーザの移動は前記第２のアクチュエータ組立体の範囲を超えた場合に前記レーザポインタを移動させるよう前記第１のアクチュエータ組立体を作動させる段階と、
    を含む、ロボットを遠隔移動させる方法。
25. モニタと、カメラと、レーザを放出するレーザポインタとを含むロボットと、
    前記ロボットを制御する遠隔制御ステーションと、
    を備え、前記遠隔制御ステーションが、前記ロボットに情報を提供し、前記レータポインタがラスタスキャン方式で前記情報を投影する、ロボットシステム。
26. ロボットを遠隔移動させる方法であって、
    モニタと、カメラと、レーザを放出するレーザポインタとを含むロボットを提供する段階と、
    遠隔制御ステーションからの情報を前記ロボットに送信する段階と、
    前記レーザをラスタスキャン方式で移動させて前記情報を表示する段階と、
    を含む方法。
27. モニタと、カメラと、スキャン情報を取得するために３次元物体上にスキャンされるレーザを放出するレーザポインタとを含むロボットと、
    前記スキャン情報を利用して前記ロボットを制御する遠隔制御ステーションと、
    を備えるロボットシステム。
28. ロボットを遠隔移動させる方法であって、
    モニタと、カメラと、レーザを放出するレーザポインタとを含むロボットを提供する段階と、
    前記レーザを用いて３次元物体をスキャンし、スキャン情報を生成する段階と、
    前記スキャン情報を遠隔制御ステーションに送信する段階と、
    前記スキャン情報を利用して前記ロボットの移動を制御する段階と、
    を含む方法。
29. ロボットを通じて手術場所にて指示を遠隔的に提供する方法であって、
    モニタと、カメラと、レーザを放出するレーザポインタとを含むロボットを手術場所に提供する段階と、
    前記モニタ及びカメラを移動させて患者及び医者に向ける段階と、
    前記レーザを患者の少なくとも１つの解剖学的部位に配向し、少なくとも１つの切開及び少なくとも１つの縫合の部位を示す段階と、
    を含む方法。
30. ロボットを通じて情報を遠隔的に投影する方法であって、
    モニタと、カメラと、プロジェクタとを含むロボットを提供する段階と、
    遠隔制御ステーションからの少なくとも１つのコマンドによって前記ロボットを移動させる段階と、
    前記遠隔制御ステーションからの情報を前記ロボットに送信する段階と、
    前記ロボットのプロジェクタを用いて前記情報を投影する段階と、
    を含む。
31. ロボットを通じて手術場所にて指示を遠隔的に提供する方法であって、
    モニタと、カメラと、レーザを放出するレーザポインタとを含むロボットを手術場所に提供する段階と、
    前記モニタ及びカメラを移動させて患者及び医者に向ける段階と、
    前記レーザを患者の少なくとも１つの解剖学的部位に配向し、少なくとも１つのトロカールの部位を示す段階と、
    を含み、前記レーザは、前記モニタ及びカメラの移動とは別個の移動によって配向される、ことを特徴とする方法。

Images