JP2001062766A - ２足歩行ロボットの遠隔制御用ユーザインターフェイスシステム - Google Patents

Abstract

(57)【要約】 【課題】２足歩行ロボットの遠隔制御用ユーザインター
フェイスシステムにおいて、操作者が時系列的にとりた
い行動とメニューの項目が合致するようにして、操作者
にとって使いやすい環境を提供する。 【解決手段】ビデオカメラを搭載した２足歩行ロボット
と、ロボットとは離れた箇所に設置されたディスプレイ
の間で映像を通信することにより、２足歩行ロボットを
遠隔地から制御するための操作者用ユーザインターフェ
イスシステムにおいて、操作者の認知行動モデルに基づ
く操作メニューを有する。操作メニューは、２足歩行ロ
ボットに対する移動制御、作業制御それぞれについて、
状況把握、行動計画、行動実行の３つの局面に対応した
モジュールを有する。操作メニューは、２足歩行ロボッ
トに搭載された複数のカメラからの実写映像等と同時に
表示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は２足歩行ロボットの
遠隔制御用ユーザインターフェイスシステムに関するも
のである。

【０００２】

【従来の技術】従来、特開平１１−１０５６７号公報や
特開平１０−２９１１８４号公報には、二足歩行型ロボ
ットの遠隔制御システムが開示されているが、歩行を中
心とした記載となっている。また、特開平８−２５７９
４８号公報や特開平５−２２８８５５号公報には、二足
歩行型ではないが、ロボットの遠隔制御システムが開示
されている。従来のロボットの遠隔制御用ユーザインタ
ーフェイスは、ディスプレイ上にロボット搭載カメラの
捉えた実写映像を映し出すと共に、操作メニューが提示
される形式のものであった。しかしながら、そこでの操
作メニューは、操作者の認知行動モデルを考慮して設計
されたものではない。

【０００３】

【発明が解決しようとする課題】従来の技術では、上述
のように、操作メニューが操作者の認知行動モデルに基
づいて設計されたものではないので、操作者が時系列的
にとりたい行動とメニューの項目が合致せず、操作者に
とって使いづらい、という問題があった。

【０００４】本発明は上述のような点に鑑みてなされた
ものであり、その目的とするところは、操作者が時系列
的にとりたい行動とメニューの項目が合致するように、
操作者の認知行動モデルに基づいて操作メニューを設計
することにより、操作者にとって使いやすい２足歩行ロ
ボットの遠隔制御用ユーザインターフェイスシステムを
提供することにある。

【０００５】

【課題を解決するための手段】請求項１の発明によれ
ば、上記の問題点を解決するために、ビデオカメラを搭
載した２足歩行ロボットと、ロボットとは離れた箇所に
設置されたディスプレイの間で映像を通信することによ
り、２足歩行ロボットを遠隔地から制御するための操作
者用ユーザインターフェイスシステムにおいて、操作者
の認知行動モデルに基づく操作メニューを有することを
特徴とするものである。具体的には、操作者の認知行動
特性として、ロボットの稼動環境を把握する“状況把
握”、ロボットを制御する操作を計画する“操作計
画”、さらにはその計画を実行する“操作実行・監視”
といった３つの行動に対して、それぞれ対応する３つの
モジュールから構成され、それらを明示的に操作者に提
示するユーザインターフェイスを提供することにより、
操作者は現在行うべき行動を直ちに理解できるので、結
果として操作し易い環境を提供できるものである。

【０００６】請求項２の発明によれば、２足歩行ロボッ
トに対する移動制御、作業制御それぞれに対応した操作
メニューを有し、請求項３の発明によれば、２足歩行ロ
ボットを制御する際の状況把握、行動計画、行動実行の
３つの局面に対応した操作メニューを有することを特徴
とするものである。さらに具体的には、請求項４の発明
のように、移動制御の操作メニューが、移動環境の状況
把握、移動計画、移動実行の３つのモジュールから構成
され、請求項５の発明のように、作業制御の操作メニュ
ーが、作業環境の状況把握、作業計画、作業実行の３つ
のモジュールから構成されることを特徴とするものであ
る。

【０００７】また、請求項６の発明によれば、２足歩行
ロボットに搭載された複数のカメラからの実写映像と、
ロボット自身ならびにロボットの移動・作業環境のモデ
ルをＣＧで生成した映像が同時に表示されるディスプレ
イに、操作メニューが表示されることを特徴とするもの
である。また、請求項７の発明によれば、２足歩行ロボ
ットに搭載された複数のカメラからの実写映像を表示す
るディスプレイとして、複数のディスプレイから構成さ
れる多面体型ディスプレイを用いることを特徴とするも
のである。また、請求項８の発明によれば、２足歩行ロ
ボットに搭載されたカメラからの実写映像を表示するデ
ィスプレイとして、頭部搭載型ディスプレイを用いるこ
とを特徴とするものである。

【０００８】さらに、請求項９の発明によれば、ロボッ
ト搭載カメラとは別に第三者の視点を提供するように設
置されたカメラからの映像、又はこのカメラに相当する
視点から移動・作業環境モデルを描画したＣＧを表示す
ることを特徴とするものである。また、請求項１０の発
明によれば、２足歩行ロボットに搭載された複数のカメ
ラは、左眼、右眼に相当する２つのカメラ群から構成さ
れ、カメラからの映像を表示するディスプレイとしては
ロボット取得映像を立体で観察可能とする両眼立体視デ
ィスプレイを用いたことを特徴とするものである。

【０００９】

【発明の実施の形態】図１は本発明の２足歩行ロボット
の遠隔制御用ユーザインターフェイスのシステム構成を
示している。本システムは、複数台のカメラ１１，１
２，１３（以下、マルチカメラ１０と称する）を搭載
し、周囲の移動環境の映像を広視野で取得できる２足歩
行ロボット５０（図２参照）と、この２足歩行ロボット
５０を操作するためにロボット５０からは遠隔の地に設
置されて、操作者の周囲に配置される複数のディスプレ
イ２１，２２，２３から構成される映像提示装置（以
下、多面体型ディスプレイ２０と称する）を備えるコッ
クピット６０（図３参照）と、マルチカメラ１０からの
実写映像を取り込むと共に、後述の移動・作業環境モデ
ル４０に基づくＣＧ画像を描画して多面体型ディスプレ
イ２０に表示させるための複数の実写画像取込・ＣＧ描
画用計算機３１，３２，３３とから構成されている。

【００１０】２足歩行ロボット５０は、図２に示すよう
に、頭部などにマルチカメラ１０を搭載し、ロボット周
囲の移動環境の映像を広視野で取得する。一方、このロ
ボット５０とは遠隔の地に設置されたコックピット６０
は、図３に示すように、この２足歩行ロボット５０を操
作するためのシステムであり、操作者の周囲に多面体型
ディスプレイ２０が設置されている。コックピット６０
に設置された多面体型ディスプレイ２０は、上記２足歩
行ロボット５０に搭載されたマルチカメラ１０で取得し
た映像を、有線あるいは無線で受信し、映像を提示す
る。これによってコックピット６０にいる操作者は、あ
たかも自身がロボット５０の存在する場所に居るかのよ
うに、遠隔地の映像を観察可能となる。

【００１１】また、コックピット６０にいる操作者は、
ＨＭＤ（Ｈｅａｄ ＭｏｕｎｔｅｄＤｉｓｐｌａｙ）８
０を装着していても良い。その場合、２足歩行ロボット
５０に搭載された複数のカメラは、左眼、右眼に相当す
る２つのカメラ群から構成され、カメラからの映像を表
示するディスプレイとしては、ロボット取得映像を立体
で観察可能とする両眼立体視ディスプレイを用いること
が好ましい。また、多面体型ディスプレイ２０に左眼、
右眼に相当する映像を交互に高速度で切り替えながら表
示し、この表示に同期して左眼、右眼を交互に遮光する
液晶シャッタ眼鏡を操作者が装着するようにしても良
い。

【００１２】上述のコックピット６０からロボット５０
を操作する際には、図４に示すユーザーインターフェイ
スが操作者に提供される。このインターフェイスでは、
まずロボットの移動・作業環境（図５）が既知の場合、
それらの地形データなどを、データべースなどに予め蓄
積しておく。そして、図１の実写画像取込・ＣＧ描画用
計算機３１，３２，３３で、このデータべースに基づい
て移動・作業環環のＣＧ映像を生成するとともに、上記
ロボット搭載のマルチカメラ１０で取得した映像を計算
機内部に取り込む。そして、多面体型ディスプレイ２０
に映像を提示する際には、図４に示すように、この取得
映像とＣＧ映像とを重ね合わせる、あるいは多面体型デ
ィスプレイ２０の一部に提示することにより、ロボット
搭載マルチカメラ１０の取得映像のみでは把握できない
ような不可視情報を操作者に提示し、より利便性の高い
ユーザインターフェイスを提供する。

【００１３】操作者に提示するＣＧ画像としては、ロボ
ットの視点からだけでなく、図４の左下（表示エリアａ
−３）に示すように、鳥瞰図的な視点などの第三の視点
から見た画像を提示し、この第三の視点（ビュー）を操
作者が自由に設定できるようにすることで、不可視情報
が容易に把握できるようになっている。

【００１４】また、図４の右下（表示エリアｃ−３）に
示すように、ロボットの移動・作業環境を観察するため
に環境中に設置された複数の環境設置カメラ９１〜９４
からの実写映像をそのまま、あるいは、これをＣＧ画像
に変換して、多面体型ディスプレイ２０の一部に表示す
ることにより、様々な視点から見たロボット５０の状況
を容易に把握できるようになっている。なお、図４の中
央（表示エリアｂ−２，ｂ−３）には、複数のディスプ
レイにまたがって、実写映像が表示されている。

【００１５】本発明のユーザインターフェイスでは、図
６に示すように、ロボットの移動モードと作業モードの
それぞれにおいて、操作者が把握・計画・実行の３段階
に分けて行動する、という認知行動モデルにもとづい
て、操作メニューが用意されている。

【００１６】まず、移動モードでは、ロボットの移動環
境を把握する“状況把握”の段階として、（ａ）ＣＧモ
デルで移動環境をチェックする段階、（ｂ）その場での
旋回を行うことにより実写映像で移動環境をチェックす
る段階を用意している。次に、ロボットの移動経路を計
画する“操作計画”の段階として、（ａ）移動目標地点
を指示する段階、（ｂ）移動プランの簡易自動生成の段
階、（ｃ）移動プランの事前シミュレーションの段階を
用意している。さらには、その移動計画を実行する“操
作実行・監視”の段階として、（ａ）実行状況確認、
（ｂ）リアルタイム予測表示、（ｃ）実行結果登録／再
生、（ｄ）緊急停止の段階を用意している。

【００１７】次に、作業モードでは、ロボットの作業環
境を把握する“状況把握”の段階として、（ａ）ＣＧモ
デルで作業環境をチェックする段階、（ｂ）その場での
旋回を行うことにより実写映像で作業環境をチェックす
る段階を用意している。次に、ロボットの作業を計画す
る“操作計画”の段階として、（ａ）ロボットのアーム
及びハンド軌道の事前シミュレーション、環境との干渉
チェックの段階を用意している。さらには、その作業計
画を実行する“操作実行・監視”の段階として、（ａ）
実行状況確認、（ｂ）リアルタイム目標軌道表示、
（ｃ）実行結果登録／再生、（ｄ）緊急停止の段階を用
意している。

【００１８】これらの操作メニューは、図７に示すよう
に、２足歩行ロボットに搭載された複数のカメラからの
実写映像と、ロボット自身ならびにロボットの移動・作
業環境のモデルをＣＧで生成した映像が同時に表示され
るディスプレイ２０に重ねて表示される。図６に図示さ
れた例では、メニューバー２０１から移動モードを選択
した場合の表示例であり、表示されたプルダウンメニュ
ー２０２から、移動モードについての把握・計画・実行
の３段階の操作メニューを選択できるようになってい
る。同様に、メニューバー２０１から作業モードを選択
した場合には、作業モードについての把握・計画・実行
の３段階の操作メニューを選択できるようになってい
る。

【００１９】このように、本発明のユーザインターフェ
イスでは、操作者が把握・計画・実行の３段階に分けて
行動する、という認知行動モデルに基づいて、移動・作
業それぞれの局面に対して、図６、図７に示すように、
そのメニュー形式が認知行動モデルと合致するように構
成されている。これによって操作者は、各時点で自分が
とるべき行動が、メニュー形式から直ちに把握できるの
で、戸惑うことなくロボットを遠隔制御でき、従来の技
術で問題となっていた、認知行動モデルとメニュー形式
との齟齬に起因するインターフェイスの使いにくさが解
消される。

【００２０】

【発明の効果】本発明は、ビデオカメラを搭載した２足
歩行ロボットと、ロボットとは離れた箇所に設置された
ディスプレイの間で映像を通信することにより、２足歩
行ロボットを遠隔地から制御するための操作者用ユーザ
インターフェイスシステムにおいて、操作者の認知行動
モデルに基づく操作メニューを有するものであるから、
操作者が時系列的にとりたい行動とメニューの項目が合
致することになり、操作者は現在行うべき行動を直ちに
理解でき、結果として操作し易い環境を提供できるとい
う効果がある。

【図面の簡単な説明】

【図１】本発明のユーザインターフェイスのシステム構
成を示すブロック図である。

【図２】本発明の操作対象となるマルチカメラ搭載二足
歩行ロボットの外観を示す斜視図である。

【図３】本発明のユーザインターフェイスにおけるコッ
クピットの概略構成図である。

【図４】本発明のユーザインターフェイスに用いる多面
体型ディスプレイの表示例を示す説明図である。

【図５】本発明の操作対象となるロボットの移動環境を
示す斜視図である。

【図６】本発明における操作メニューの状態遷移図であ
る。

【図７】本発明における操作メニューの表示例を示す説
明図である。

【符号の説明】

１０ マルチカメラ ２０ 多面体型ディスプレイ ５０ 二足歩行ロボット ６０ コックピット

Claims (10)

【特許請求の範囲】
1. 【請求項１】 ビデオカメラを搭載した２足歩行ロボ
   ットと、ロボットとは離れた箇所に設置されたディスプ
   レイの間で映像を通信することにより、２足歩行ロボッ
   トを遠隔地から制御するための操作者用ユーザインター
   フェイスシステムにおいて、操作者の認知行動モデルに
   基づく操作メニューを有することを特徴とする２足歩行
   ロボットの遠隔制御用ユーザインターフェイスシステ
   ム。
2. 【請求項２】 ２足歩行ロボットに対する移動制御、
   作業制御それぞれに対応した操作メニューを有すること
   を特徴とする請求項１記載の２足歩行ロボットの遠隔制
   御用ユーザインターフェイスシステム。
3. 【請求項３】 ２足歩行ロボットを制御する際の状況
   把握、行動計画、行動実行の３つの局面に対応した操作
   メニューを有することを特徴とする請求項１又は２記載
   の２足歩行ロボットの遠隔制御用ユーザインターフェイ
   スシステム。
4. 【請求項４】 移動制御の操作メニューが、移動環境
   の状況把握、移動計画、移動実行の３つのモジュールか
   ら構成されることを特徴とする請求項１乃至３のいずれ
   かに記載の２足歩行ロボットの遠隔制御用ユーザインタ
   ーフェイスシステム。
5. 【請求項５】 作業制御の操作メニューが、作業環境
   の状況把握、作業計画、作業実行の３つのモジュールか
   ら構成されることを特徴とする請求項１乃至４のいずれ
   かに記載の２足歩行ロボットの遠隔制御用ユーザインタ
   ーフェイスシステム。
6. 【請求項６】 ２足歩行ロボットに搭載された複数の
   カメラからの実写映像と、ロボット自身ならびにロボッ
   トの移動・作業環境のモデルをコンピュータグラフィッ
   クスで生成した映像が同時に表示されるディスプレイ
   に、操作メニューが表示されることを特徴とする請求項
   １乃至５のいずれかに記載の２足歩行ロボットの遠隔制
   御用ユーザインターフェイスシステム。
7. 【請求項７】 ２足歩行ロボットに搭載された複数の
   カメラからの実写映像を表示するディスプレイとして、
   複数のディスプレイから構成される多面体型ディスプレ
   イを用いることを特徴とする請求項１乃至６のいずれか
   に記載の２足歩行ロボットの遠隔制御用ユーザインター
   フェイスシステム。
8. 【請求項８】 ２足歩行ロボットに搭載されたカメラ
   からの実写映像を表示するディスプレイとして、頭部搭
   載型ディスプレイを用いることを特徴とする請求項１乃
   至６のいずれかに記載の２足歩行ロボットの遠隔制御用
   ユーザインターフェイスシステム。
9. 【請求項９】 ロボット搭載カメラとは別に第三者の
   視点を提供するように設置されたカメラからの映像、又
   はこのカメラに相当する視点から移動・作業環境モデル
   を描画したコンピュータグラフィックスの映像を表示す
   ることを特徴とする請求項１乃至６のいずれかに記載の
   ２足歩行ロボットの遠隔制御用ユーザインターフェイス
   システム。
10. 【請求項１０】 ２足歩行ロボットに搭載された複数
    のカメラは、左眼、右眼に相当する２つのカメラ群から
    構成され、カメラからの映像を表示するディスプレイと
    してロボット取得映像を立体で観察可能とする両眼立体
    視ディスプレイを用いたことを特徴とする請求項１乃至
    ６のいずれかに記載の２足歩行ロボットの遠隔制御用ユ
    ーザインターフェイスシステム。