JP2020031413A - 表示装置、移動体、移動体制御システム、これらの製造方法、および映像の表示方法 - Google Patents

Abstract

【課題】 操作者に直感的な映像の情報を提供すること。【解決手段】 対象に関する情報を含む第１の映像とともに、前記対象とは空間的あるいは時間的に異なる変化をする要素を含む第２の映像と、を表示可能な表示装置であって、前記要素の変化もしくは変化率のスケールは、前記第１もしくは第２の映像の表示スケールとは独立であるとともに、前記第１の映像を生成する視点の存在する空間における該視点の変位に関する情報のスケールと所定の関係を有することを特徴とする。【選択図】図５

Description

本発明は、表示装置、移動体、および移動体制御システムに関し、とくに操作者が遠隔にて操作する移動体の制御システムに関する。

近年、遠隔操作が可能なロボット（移動体）が広く用いられるようになってきている。遠隔操作ロボットは、人間の立ち入ることのできない災害現場で活用されている。また遠隔操作ロボットは、自律ロボットには手に負えない作業に、人間の能力を援用する目的で活用されている。

操作者は、表示装置を通じて、カメラ（撮像装置）で取得された外界の映像を観察することで、遠隔操作ロボットの動作に関する視覚フィードバック情報をうける。操作者は、この情報によって、遠隔操作ロボットの位置や速度を推定する。この推定に習熟すると、操作者は、遠隔操作ロボットを自分の意図の通りに操作できるようになる。

しかしながら、遠隔操作ロボットに固定されたカメラの視点で生成される映像は、幾何学的に歪んでいたり、３次元情報が欠落したり、表示倍率が未知であったりする。あるいは、視点が操作者と異なったり、光学的なゴーストが発生したり、通信遅延が生じたりする。

したがって、操作者が、映像から遠隔操作ロボットの位置や速度を推定するのは困難である。遠隔操作ロボットの移動範囲は近年ますます広範囲におよんでいる。したがって、操作者は、上記の推定を繰り返さなければならない。

このため、推定にかかる負荷、推定を誤る確率が増え、遠隔操作ロボットの操作精度の低下につながる課題があった。また、遠隔操作ロボットの操作に高度なスキルが求められ、操作の習熟が困難である課題があった。この課題に対して、操作者への情報提示に関する発明が開示されている。

特許文献１には、自動車の運転手に対しパターンの流れを提示する構成が開示されている。パターンの流れは、その表示位置において車窓から見える外界の風景の流れと等価となるように、かつ、運転手の周辺視野に提示される。これにより、操作者である運転手は、風景を注視していても、周辺視野で車速が視認できる。

特許文献２では、ロボットに２つの光源を設ける構成が開示されている。ロボットと、対象との距離が変わると、光源から対象に投影される２つのスポットの重なり具合が変わることを利用して、操作者にロボットと対象の距離の情報を付加的に与えられる。

特開２０１０−１７３４９２号公報 特開２０１３−９４９４４号公報

特許文献１の開示を遠隔操作ロボットの操作のための映像の表示に適用すると、映像から見える風景と等価なパターンの流れを表示することになる。このため、提示される視覚情報は、前述した映像の有する種々の性質を反映してしまう。したがって、特許文献１の開示は、風景の映像化の過程で生じる情報の欠落を補うことができない課題があった。さらには、この情報がかえって操作を妨げてしまう課題があった。

特許文献２の開示では、直感的な距離情報が得られない課題があった。すなわち操作者は、実際の距離と、スポットの重なり具合と、の対応関係に習熟する必要があった。また、周囲の環境次第で、距離と、スポットの重なり具合と、の対応関係が変わってしまう場合があった。そのため、その対応関係に習熟しなければならない課題があった。

以上の課題を鑑みて本発明は、操作者に直感的な映像の情報を提供することである。

本発明の表示装置は、対象に関する情報を含む第１の映像とともに、前記対象とは空間的あるいは時間的に異なる変化をする要素を含む第２の映像と、を表示可能であって、前記要素の変化もしくは変化率のスケールは、前記第１もしくは第２の映像の表示スケールとは独立であるとともに、前記第１の映像を生成する視点の存在する空間における該視点の変位に関する情報のスケールと所定の関係を有することを特徴とする。

別の観点では、本発明の所定の関係は、表示装置の観察者のパラメーターの決定手段により特定されることを特徴とする。

別の観点では、本発明の要素は、前記視点の変位の情報を表現する形状、模様、色彩のうちの少なくともひとつを含み、前記表現は、前記形状、前記模様、前記色彩、あるいは前記形状、模様、色彩のうちの少なくともひとつの位置、動き、速度のうち少なくともひとつを変化させることを特徴とする。

別の観点では、本発明の第２の映像は透過され、前記第１の映像に重畳されることを特徴とする。

別の観点では、本発明の表示面は、該表示面の中心を含む第１の領域と、前記中心を含まない第２の領域と、を有し、前記第２の映像は、前記第２の領域のうち少なくとも一部の領域に表示されることを特徴とする。

別の観点では、本発明の移動体制御システムは、撮像装置を備えた移動体と、該移動体の操作装置と、該移動体の操作者に該移動体に関する映像を表示する請求項１乃至２０のいずれか一項に記載の表示装置と、前記映像を制御する表示制御部と、を有し、前記撮像装置は、前記移動体の存在する空間における第１の方向の前記第１の映像を撮像し、前記第２の映像は、前記第１の方向と交差する第２の方向の情報を含むことを特徴とする。

別の観点では、本発明は、撮像装置を備えた移動体であって、前記撮像装置は、該移動体の操作者が観察可能な該移動体の存在する空間の対象に関する第１の映像を撮像し、前記第１の映像とともに前記移動体の操作者が観察可能な第２の映像は、前記第１の映像上で変位する前記対象とは空間的あるいは時間的に異なる変化をする要素を含み、前記要素の変化もしくは変化率のスケールは、前記第１もしくは第２の映像の表示スケールとは独立であるとともに、前記移動体の存在する空間における該移動体の変位に関する情報のスケールとは所定の関係を有することを特徴とする。

また、本発明の製造方法は、操作者による操作が可能な操作対象と、前記操作対象の操作の目標を示すターゲットと、表示装置と、を用意する工程と、前記操作者が前記操作対象の少なくとも一部の動作過程を目視できないように、かつ、前記表示装置の表示する映像を目視可能に構成されたマスクと、を用意する工程と、前記操作者が前記表示装置からの映像に基づいて前記操作対象を前記ターゲットに向けて変位させ、到達させた位置と前記ターゲットとの誤差を計測する工程と、前記誤差を用いて、前記表示装置に表示される映像に含まれる要素の変化あるいは変化率を特定する工程と、を含むことを特徴とする。

また、本発明の映像の表示方法は、操作者による操作が可能な操作対象と、前記操作対象の操作の目標を示すターゲットと、表示装置と、を用意する工程と、前記操作者が前記操作対象の少なくとも一部の動作過程を目視できないように、かつ、前記表示装置の表示する映像を目視可能に構成されたマスクと、を用意する工程と、前記操作者が前記表示装置からの映像に基づいて前記操作対象を前記ターゲットに向けて変位させ、到達させた位置と前記ターゲットとの誤差を計測する工程と、前記誤差を用いて、前記表示装置に表示される映像に含まれる要素の変化あるいは変化率を特定する工程と、を含むことを特徴とする。

本発明によれば、操作者に直感的な映像の情報を提供することができる。

実施例１に係る移動体制御システムの概念図 表示面および表示例の概念図 本発明の原理の説明図 速度情報取得のメカニズムの説明図 床面から得られる正規速度情報の説明図 表示制御部の処理の流れを示すフローチャート 所定の比率を設定するための方法の一例の説明図 実施例２に係る移動ロボット２１の構成の説明図 表示制御部の処理の流れを示すフローチャート 生成する速度映像の要素の例の説明図 シンボル要素により構成された速度映像の説明図 速度情報を表現する要素の配置の説明図 実施例３に係る移動体制御システムおよび表示装置の説明図 表示制御部の処理の流れを示すフローチャート 移動体としての移動者の仮想空間内でＶＲ体験の説明図 表示装置の拡大図 表示装置のその他の例を示す説明図 表示装置のその他の例を示す説明図

本発明の一つの実施形態である表示装置は、第１および第２の映像を表示可能である。第１の映像と第２の映像とは異なる映像である。ただし、後述するように、第１の映像と第２の映像は、第１の映像を生成する視点を介して所定の関係を有する映像である。観察者は、本発明の表示装置を用いて、自身が存在する空間と異なる空間において何らかのタスクを行うことができる。

第１の映像は、タスクの目的となる対象に関する映像である。対象には、観察対象や、操作対象を含む。たとえば、タスクが遠隔地での移動であれば、対象は移動の目標となる何らかの物体、ランドマーク、風景等である。たとえば、タスクが物体の把持（マニピュレーション）であれば、対象は被把持物体、ワーク等である。対象は、同一タスク内でも時々刻々と変更され得る。

視点は、対象が存在する空間（実空間）での視点である。この視点は、本発明の表示装置を用いた観察者の存在する空間での視点に変えて用いられる。この視点に基づき、第１の映像が生成される。本発明にかかる表示装置では、対象と視点との相対的な移動により、観察者に第１の映像での視点の変更（移動）があったことを知覚させることができる。

たとえば、本発明の表示装置が遠隔操作ロボットの操作に用いられる場合、タスクに関する第１の映像が、遠隔操作ロボットが有する撮像装置等から操作者に提示される。このときの操作者の視点は、遠隔にある遠隔操作ロボットの視点と実質的に同一に知覚される。すなわち、第１の映像の視点は、遠隔操作ロボットの有する撮像装置の視点である。遠隔操作ロボットの視点の変更は、遠隔操作ロボットの移動に伴って生じる対象との相対的変位にて、観察者に知覚させることができる。

ここで本発明において実質的とは、公差ばらつき、取付・調整誤差、予め定めた許容範囲、観察者が同一と知覚する範囲（心理学上の主観的等価値の範囲）のばらつき、等に起因して、発生が十分に想定されるばらつきを含む概念である。好ましくは、実質的とは、基準（同一の位置・姿勢等）から３０％以内であることが望ましい。人間の特性から、主観的等価値の範囲のばらつきは大きいためである。より好ましくは、１０％以内であることが望ましい。

たとえば、観察者が仮想空間を歩き回る用途では、タスクに関する第１の映像は、仮想空間における観察者のエージェントの視点等から観察者に提示される。このときの観察者の視点は、エージェントの視点と実質的に同一に知覚される。すなわち、第１の映像の視点は、エージェント座標系で定められる点である。エージェントの視点の変更は、対象である何らかのＣＧと仮想視点との相対的変位にて、観察者に知覚させることができる。

たとえば、観察者が遠隔空間にて他者とコミュニケーションを図る用途では、タスクを行う空間に関する第１の映像は、観察者のアバターの視点等から観察者に提示される。このときの観察者の視点は、アバターの視点と実質的に同一に知覚される。すなわち、第１の映像の視点は、アバターの有する撮像装置の視点である。アバターの視点の変更は、対象である遠隔地の何らかの物体や対話の相手等と遠隔視点との相対的な変位にて、観察者に知覚させることができる。

これにより、本発明の表示装置を用いると、操作者（観察者）は、第１の映像を生成する視点と、第１の映像上に表示される対象との相対変位から、自己の第１の映像空間における位置、変位を知覚することができる。これにより、操作者は、あたかも第１の映像を生成する視点の存在する空間内で移動している感覚を得ることができる。

本発明の表示装置の第２の映像は、第１の映像上で変位する対象の変化とは区別される必要があるので、これらと空間的、あるいは時間的に異なる変化をする要素に関する。第２の映像は、より好ましくは、第１の映像よりも通信や表示や表示にかかる計算等の負荷が小さく、遅延が小さいように構成されていることが望ましい。

要素とは、第１の映像における視点の変位の情報を表現する形状、模様、色彩のうちの少なくともひとつを有するものである。第１の映像に表示される種々の対象の変化と区別がつけば、これに限られない。より好ましくは、要素には、シンボル、パターン、テクスチャー、グラデーション、ハッチングパターン、ランダムドットパターンの少なくとも一つを用いることが望ましい。

要素は、その形状、模様、色彩、あるいは形状、模様、色彩のうちの少なくともひとつの位置、動き、速度、表現のうち少なくともひとつを変化させることで、第１の映像とは区別された情報を表現し、操作者に伝達する。

要素の時間的あるいは空間的な変化は、第１の映像上の対象の空間的な変化と区別される必要がある。本発明の一つの形態では、要素の位置の変化を表現する変位である。本発明の別の形態では、要素のサイズの拡大あるいは縮小である。本発明の別の形態では、要素の色彩の変更である。本発明の別の形態では、表現の変化、すなわちたとえば要素の点滅、これに伴う仮現運動（アニメーション）の生成である。第１の映像上の対象の空間的な変化と区別可能な変化であれば、これらの形態に限られない。

第２の映像が要素の変化や変化率によって表現するのは、操作者の視点に変わる遠隔空間あるいは仮想空間の視点の変位に関する情報であって、そのスケール（縮尺）には視点の存在する空間のスケールを用いる。第２の映像の要素の変化や変化率のスケールは、第１あるいは第２の映像の表示スケールとは独立している。

言い換えれば、第２の映像の要素の変化や変化率は、視点の存在する空間のスケール（たとえば距離）を変数とする関数で表現できる。一方、第２の映像の要素の変化や変化率のスケールは、第１あるいは第２の映像の表示スケールに関しては（たとえば表示装置が画素を有していればその画素単位で）正規化されている。

第１の映像上の対象の変位の情報のスケールは、視点の存在する空間における視点の変位の空間的・時間的スケールとは異なる。これは、第１の映像生成の過程で、第１の視点の存在する空間の３次元情報が、２次元情報に変更されるとともに、表示倍率等、対象の大きさ感に関わる情報が変更されるためである。あるいは、第１の映像生成の過程で、第１の映像は通信遅延や表示遅延や計算遅延を含むためである。

このため、視点の変位のスケールが第１もしくは第２の映像の表示スケールに依存していると、操作者は正しい（視点の存在する空間における）スケールにて変位の情報を知覚できない。言い換えれば、正しい情報が保証されない。もし、第１もしくは第２の映像の表示スケールが拡大されたり縮小されたりするのに伴って、第２の映像上の要素の変化や変化率のスケールが変更されると、操作者は正しいスケールにて変位の情報を取得できない。

より好ましくは、第１の映像の表示スケールが、この映像を生成する視点の存在する空間における視点の変位に関する情報のスケールと実質的に等倍であることが望ましい。仮にそうであっても、その対象周辺の映像上での表示スケールは、映像生成の過程で歪む。したがって、第２の映像の要素の変化もしくは変化率のスケールは、第１の映像の表示スケールではなく、第１の映像の視点の存在する空間のスケールを用いて特定される必要がある。そうすると、操作者は正しいスケールにて視点の変位の情報を得られる。

したがって、第２の映像の要素の変化もしくは変化率のスケールは、第１もしくは第２の映像の表示スケールとは独立であるとともに、視点の存在する空間における該視点の変位に関する情報のスケールとは所定の関係を有する。

視点の変位に関する情報は、第１の映像において操作者（観察者）の実空間での視点に変えて用いられる遠隔あるいは仮想視点の移動の情報を有するものである。本発明の別の形態では、視点の変位に関する情報は、視点の速度の情報である。

なお視点の存在する空間とは、視点が遠隔の実空間を撮像していれば実空間、視点が仮想的なものであれば仮想空間を表す。仮想空間も、要素の変化もしくは変化率のスケールが参照すべき（操作者に知覚されるべき）真のスケールをもっているという意味で、以下、実空間と表現する場合がある。

たとえば、第１の映像が縮小されて表示されている場合、第１の映像上の対象の変位は、実空間の視点の変位のスケールとは当然異なる。この場合に本発明では、第２の映像の要素は、映像上の変位スケールではなく、実空間の変位スケールによって変化する。この実空間の変位スケールを有しているのが、第１の映像を生成する視点の変位に関する情報である。

視点の変位に関する情報は、視点の存在する空間スケールでの速度の情報として用いることができれば良く、たとえば、加速度、加加速度（躍度）、変位時間、等の情報であっても構わない。

第２の映像を構成する要素の変化あるいは変化率は、第２の映像が視点の変位に関する情報の絶対値を表現していない。ただし変化がない場合は除く。すなわち、視点の変位をそのまま表現するか、もしくは視点の変位の変化率を表現することを示している。

これにより、従来、操作者は、たとえば移動体の速度の情報を絶対値で提示されていたところ、本発明によれば、速度の情報を体感として、身体情報として、オプティック・フロー（光の流れ）の情報のまま、直感的に知覚できる。

視点の変位に関する情報が変位であれば、第２の映像は、その変化率である速度の情報を要素の変化で表現することで、操作者に直感的な速度の情報を伝達する。視点の変位に関する情報が速度であれば、第２の映像は、それを要素の変化で表現することで、操作者に直感的な速度の情報を伝達する。より好ましくは、変位の方向は、第１の映像のオプティック・フローの方向と実質的に同一であることが望ましい。オプティック・フローに関しては後述する。

所定の関係は、第１の映像を生成する視点の存在する空間スケールでの視点の変位と、第２の映像の要素の変化あるいは変化率との関係を規定する。

本発明の一つの形態では、所定の関係は、第１の映像を生成する視点の存在する空間スケールに対して所定の比率を用いて特定される。また所定の比率は視点の存在する空間のスケールでの速度に対して実質的に等倍の場合もあるし、変化する（異なる）場合もある。所定の関係は、たとえば非線形の関係、離散的な関係となる場合もある。さらに、操作者の特性に合わせて経時的に変化しても構わない。

本発明の一つの形態では、所定の関係は、操作者のパラメーターを特定する手段により特定される。この手段は、本発明にかかる表示装置の製造時に基本パラメーターを特定するものであってもよい。この手段は、ユーザー（操作者あるいは観察者）が、自ら設定もしくは調整可能なものであってもよい。

操作者のパラメーターの決定手段とは、操作者の特性をたとえば実験的な手段、あるいは統計的な手段により特定するものである。操作者の特性は、操作者がたとえば遠隔操作ロボット、仮想エージェント、アバター等の操作対象の運動の純粋な予測に基づき特定される。操作者による操作対象の動きの知覚、予測に関するパラメーターを取得すれば、本発明は実施可能である。

たとえば、操作者のパラメーターの決定手段を以下に説明する。この手段では、操作者の予測に関するパラメーターを取得できる。

決定手段は、操作者による操作が可能な操作対象と、操作対象の操作の目標位置あるいは目標運動等を示すターゲットと、表示部材と、を備える。

決定手段は、操作者がターゲットおよび操作対象の少なくとも一部の動作（運動）過程を目視できないように、かつ、表示部材の表示する映像を目視可能にするマスクを備える。マスクは、任意のタイミングで一時的に操作対象の動作を隠してもよいし、本発明の表示装置の製造時にのみ隠すようにしてもよい。前者は、たとえば本発明の表示装置において電子的に第１の映像のみ隠すように構成してもよいし、ソフト的にマスク映像を表示してもよいし、撮像装置の絞りによってもよいし、別体のマスクを用いてもよい。表示部材として、本発明の表示装置そのものを用い、本手段で調整してゆくこともできる。

決定手段は、操作者が表示部材からの映像に基づいて操作対象を前記ターゲットに向けて変位させるタスクを計測する。たとえば、到達位置と前記ターゲットとの誤差を計測する。この計測の計測部としては、本発明の表示装置を含むシステムの撮像装置や、本発明の表示装置外部の撮像装置や、その他の計測装置を用いて実施することができる。

決定手段は、取得された誤差を用いて、所定の関係を特定する。この特定には、複数の取得結果を用いた統計的な手法や、数学的な手法や、その他の手法を用いることができる。完全に統計あるいは数学的な手法によらなくても、決定手段に予め記録された経験則に基づく調整が一部含まれていても構わない。その経験則には、別の実験や個人的な好みや能力、心理的な法則等に基づくものが含まれるが、いずれも本発明の表示装置（その内部の制御部）で数値的に表現され、反復可能な形態で用いられる。

決定手段は、上記の様々な手段により表示部材に表示される映像の少なくとも一部の変化を特定して、その結果を本発明の表示装置に記録する。以上により、操作者の純粋な予測にかかわるパラメーターが決定できる。

より好ましくは、第２の映像の要素は、所定の関係により規定された変化もしくは変化率で表示されるとともに、透過され、第１の映像に重畳させることが好ましい。あるいは、第１、第２の映像の表示領域は分割され、すなわち各々一部の領域に表示され、第１の映像は本発明の表示装置の表示面の中心を含む領域に表示されることが望ましい。

本発明の別の実施形態は、撮像装置を備えた移動体と、移動体の操作装置と、操作者に移動体に関する映像を表示する表示装置と、前記映像を制御する表示制御部と、を有する移動体制御システムである。撮像装置は、移動体の外界における第１の方向の第１の映像を撮像し、第２の映像は、前記第１の方向と交差する第２の方向の情報を含むことを特徴とする。

本発明の別の実施形態は、撮像装置を備えた移動体である。撮像装置は、移動体の操作者が観察可能な移動体の外界における第１の映像を撮像し、第１の映像とともに移動体の操作者が観察可能な第２の映像は、第１の映像上で変位する対象とは空間的あるいは時間的に異なる変化をする要素を含む。また、移動体の変位に関する情報と、要素の変化もしくは変化率と、は所定の関係を有することを特徴とする。

本発明の別の実施形態は、表示装置の製造方法である。製造方法は、以下の工程を含む。すなわち、はじめの工程では操作者による操作が可能な操作対象と、前記操作対象の操作の目標を示すターゲットと、表示装置を用意する。次の工程では、操作者がターゲットおよび操作対象の少なくとも一部の動作過程を目視できないように、かつ、表示装置の表示する映像を目視可能に構成されたマスクと、を用意する。次の工程では、操作者が表示装置からの映像に基づいて操作対象をターゲットに向けて変位させ、到達位置とターゲットとの誤差を計測する。次の工程では、誤差を用いて、表示装置に表示される映像の少なくとも一部の変化を特定する。

本発明の別の実施形態は、映像の表示方法である。表示方法は、以下の工程を含む。すなわち、はじめの工程では操作者による操作が可能な操作対象と、前記操作対象の操作の目標を示すターゲットと、表示装置を用意する。次の工程では、操作者がターゲットおよび操作対象の少なくとも一部の動作過程を目視できないように、かつ、表示装置の表示する映像を目視可能に構成されたマスクと、を用意する。次の工程では、操作者が表示装置からの映像に基づいて操作対象をターゲットに向けて変位させ、到達位置とターゲットとの誤差を計測する。次の工程では、誤差を用いて、表示装置に表示される映像の少なくとも一部の変化を特定する。

（第１の実施例）
以下、本発明に係る第１の実施例について、添付の図面を参照しながら詳細に説明する。図１は、本発明の第１の実施例に係る移動体制御システムの概念図である。

（システム）
移動体制御システム１００は、移動ロボット（移動体）１１、ホストコンピュータ（外部処理装置）１２、ヘッドマウントディスプレイ（表示装置）１３、コントローラ（操作装置）１４と、を含む。

（移動体）
本実施例で説明する操作（観察）対象としての移動ロボット１１は、車輪である移動機構１１３を用いて平面上を移動する。本実施例で例示するような移動機構とは異なる機構や方式を用いても、本発明は実施可能である。また、本発明に係る移動ロボットが、移動以外の機能を備えていてもよい。たとえば、マニピュレータ等を有し、操作者によって操作可能に構成されていてもよい。あるいは、自動で掃除を行う、等の付加的な機能を有していてもよい。

（視線カメラ）
移動ロボット１１は、視線カメラ（撮像装置）１１０を２つ有する。視線カメラ１１０は、それぞれの位置、角度、アライメント等を調整された状態で取り付けられる。

視線カメラ１１０は、移動ロボット１１の外界において、方向Ｆ（第１の方向）の外界の映像（第１の映像）をステレオにて撮像する。方向Ｆは、移動ロボット１１の前進方向にあたる。すなわち、視線カメラ１１０の各光軸ＯＡが前進方向を向く。なお、本実施例においてはステレオ映像を取得する例を説明するが、視線カメラ１１０は単数であっても、２つ以上あっても本発明は実施可能である。

（速度カメラ）
移動ロボット１１は、速度カメラ１１１をさらに有する。本実施例において速度カメラ１１１は、移動ロボット１１の側面に取り付けられる。速度カメラ１１１の光軸（不図示）の向きは、鉛直下向きの方向（第２の方向、移動ロボット１１の自重が床面Ｇに力を加える方向、第１の方向と直交する方向）Ｕの向きである。すなわち、速度カメラ１１１は、移動ロボット１１の走行する面（床面Ｇ）の映像を、その面の法線方向から撮像する。

速度カメラ１１１は、生成された視線映像の視点に対して相対的に変位する対象の実空間での変位に関する情報（変位の変化率である速度の情報）に対して、所定の関係（所定の比率）で変化（変位）する映像（第２の映像）を撮像する。なお、実空間の変位（の速度）は、視線映像上における前記対象の変位（の速度）とは異なる。詳細は後述する。

（カメラの取り付け方向）
本実施例においては、速度カメラ１１１が鉛直下向きに取り付けられた（固定された）例を説明する。しかし後述のように、方向Ｆと交差する向きであれば本発明の効果を得られる。

あるいは、視線カメラ１１０と速度カメラ１１１との光軸が平行となる向きであっても本発明の効果を得ることができる。すなわち、速度カメラ１１１の画角が大きく、視線カメラ１１０の方向Ｆと交差する方向の映像が撮像できればよい。より好ましくは、速度映像は、操作者（観察者）から見た速度映像の鉛直上側が、視線カメラ１１０の進行方向Ｆと一致して取得されるように、速度カメラ１１１が構成されていることが望ましい。このようにすることで、速度映像からは視線映像と実質的に同一の向きのオプティック・フローを得ることができる。

より好ましくは、方向Ｆと速度カメラ１１１の撮像方向とは、その交差角のうち小さい方の角の角度が８０度から１１０度の範囲にあればよい。さらに好ましくは、この角度が取り付け等の誤差を含み実質的に９０度になるように取り付けられることが望ましい。

視線カメラ１１０が可動の場合は、視線カメラ１１０の基準位置がこの関係を満たしていればよい。交差角が視線カメラ１１０の動作によって変動し、視線カメラ１１０と速度カメラ１１１との光軸が平行となる向きとなっても構わない。

（操作方法）
操作者Ｏは、ヘッドマウントディスプレイ１３を頭部に装着する。操作者Ｏは、ヘッドマウントディスプレイ１３を介して視線カメラ１１０からの映像を観察する。

映像信号は、ホストコンピュータ１２から、ヘッドマウントディスプレイ１３に送信される。本実施例ではヘッドマウントディスプレイ１３とホストコンピュータ１２の通信を有線にて行うが、無線等、その他の方式を利用しても構わない。

操作者Ｏは、コントローラ１４を把持する。操作者Ｏは、コントローラ１４の操作により、ホストコンピュータ１２を介して移動ロボット１１に所望の操作信号を送信する。これにより、操作者Ｏは、移動ロボット１１を操作できる。本実施例では、コントローラ１４とホストコンピュータ１２とは無線接続されているが、構成はこれに限られない。

（通信方法）
移動ロボット１１は、通信装置（ゲートウェイ）１１２を備える。本実施例では移動ロボット１１の外部に通信装置１１２が構成された例を説明する。しかしながら、通信装置が移動ロボット１１の内部に（一体的に）設けられる構成でも本発明は実施可能である。

通信装置１１２は、視線カメラ１１０および速度カメラ１１１から移動ロボット１１の情報を取得し、ホストコンピュータ１２に送信する。また、通信装置１１２は、ホストコンピュータ１２から、操作者Ｏの無線方式の操作信号を受け取り、移動ロボット１１に送信する。なお、通信装置１１２は、コントローラ１４から直接信号を受け取っても構わない。

移動ロボット１１の移動の制御は、操作信号に基づいて、通信装置１１２あるいは移動ロボット１１の備える駆動制御部（不図示）で実行される。本実施例では駆動制御部（不図示）は移動ロボット１１の内部に構成されているが、駆動制御部としての機能をホストコンピュータ１２に持たせても、通信装置１１２にもたせても構わない。

（表示制御部）
ホストコンピュータ１２は、表示制御部１２０を有する。表示制御部１２０は、ヘッドマウントディスプレイ１３に表示される映像に関する処理を実行する。なお、移動ロボット１１やヘッドマウントディスプレイ１３が表示制御部１２０を（一体的に）有する構成でも構わない。

（表示装置）
図２は、図１のヘッドマウントディスプレイ１３にから操作者Ｏに映像を表示可能な表示面１３０を示した概念図である。また図２は、表示面１３０に表示される外界の風景映像の一例を示す。

本実施例における図１のヘッドマウントディスプレイ１３は、両眼立体視に対応している。本実施例では、図１の操作者Ｏの左目および右目のそれぞれに映像を提示する表示面が設けられており、図１の２台の視線カメラ１１０のそれぞれに対応する映像が表示されている。図２で示す表示面１３０は、左右に２つ設けられたうちの１つである。

この構成により、図１の操作者Ｏは視差のある映像を観察できる。なお、１つの表示面を２つの領域に分割して、両眼立体視の映像を提示する方式でも構わない。また、本実施例では２台の視線カメラ１１０を構成した例で説明するが、これを１台として、ホストコンピュータ１２等の処理装置にて適切な視差を有する映像を生成しても構わない。

（視線映像）
以下、図２に示すような操作者が視認する外界の風景の映像を、視線映像と称する。操作者は、視線映像からの視覚フィードバックの情報をもとに、遠隔操作を行う。

表示面１３０には、中心近傍に対象物１４０が表示されている。対象物１４０の周辺には、非対象物１４１が表示されている。

対象物１４０は、タスク遂行に際して重要な情報をもつ。一般に操作者は、移動ロボット１１を、表示面１３０の中心領域に対象物１４０を表示させるように適切に操作して、タスクに必要な所望の視覚フィードバックの情報を得る。非対象物１４１は、タスクの対象である対象物１４０に対して、背景に該当する。

（速度映像の原理）
以下、視線映像とは異なる付加的な映像を、速度映像と称する。速度映像に含まれる要素は、図１の移動ロボット１１の移動に伴う視線カメラ１１０の視点の移動に対して、視線映像上で相対的に変位する対象物１４０の速度の情報と、空間的あるいは時間的に異なる変化をする。本実施例では、速度映像は、速度カメラ１１１が撮像する映像である。詳細は後述する。

本発明において空間的とは、要素の変化が２次元あるいは３次元的な変化を含むことを表現している。たとえば、対象物１４０の変位とは異なる変位をすること、すなわち、異なる速度や加速度での変位や、異なる形状あるいはサイズへの変化（拡大や縮小）を含んでいる。本実施例では、速度映像の要素は、その位置が表示面１３０上で平面的に変化することで、変位を表現する。

また、本実施例において時間的とは、要素の表現の変化が時間的（経時的）であることを含んでいる。時間的という表現は、たとえば、点滅、変色、これに伴う仮現運動の生成等を含んでいる。

以下、図３を参照しながら本発明の速度映像の原理について詳細に説明する。図３は、本発明の原理の説明図である。

（状況）
図３（ａ）は、視線カメラ１１０の視点（座標系Ｒの原点）が、移動ロボット（不図示）の移動に伴って、観察対象としてのオブジェクトＴに速度１[ｍ／ｓ]で近づいている状況を示している。以下、この状況を用いて本発明の原理について述べる。

視線カメラ１１０は、対象物であるオブジェクトＴを撮影している。図３（ｂ）は視線カメラ１１０が取得（生成）した映像を示す。オブジェクトＴは操作者（不図示）の注目対象であるから、表示面１３０のほぼ中央部に表示される。

図３（ａ）および図３（ｂ）を用いて、視線カメラ１１０の視点に原点が固定された座標系Ｒをもとに、表示面１３０におけるオブジェクトＴおよびその周囲の映像の変位について説明する。

なお本実施例では、視線カメラ１１０の視点は、視線カメラ１１０の有する光学系（レンズ群）の主点とし、これを用いて説明する。

視線カメラ１１０が、座標系ＲのＸ方向正の向きに移動する場合、座標系Ｒに対して、オブジェクトＴはＸ方向負の向きに相対的に移動する。すなわち、オブジェクトＴは視線カメラ１１０の視点に近づいてくるように相対的に変位する。変位するオブジェクトＴの相対速度は、視線カメラ１１０の移動速度と等しくなる。このとき、表示面１３０では、オブジェクトＴが拡大される（図３（ｄ）の破線で示されるオブジェクトＴ‘も参照のこと）。

（オプティック・フロー）
視線映像からは、オプティック・フロー（オプティカル・フロー、光学的流動）が得られる。オプティック・フローは、映像から得られる光配列の流動の情報を含む。図３（ｂ）においてオプティック・フローを概念的に矢印ＯＦで示す。

本実施例では、オプティック・フローＯＦは、中央近傍（オブジェクトＴ近傍）からその外側に向かって、映像が空間的に変化（変位あるいは拡大）していくように操作者（不図示）に観察される。

通常、人間の肉眼で得られる実空間の風景のオプティック・フローは、このような映像化された風景から得られるオプティック・フローとは異なる。この一因は、映像が平面的な情報で人間に与えられるためである。また、前述した映像化の過程での情報の欠損に起因するためである。

オプティック・フローの差異は、映像を介して観察する空間の歪みや、距離感、変位量、速度、位置、パース等の狂いを生じ、ときに観察者に違和感を及ぼす。

（例示した状況でのオプティック・フロー）
視線カメラ１１０とオブジェクトＴとの距離が近づくほど、視線映像上の（表示面１３０上の）オブジェクトＴのサイズは大きくなる。

同様に、視線カメラ１１０に対して手前側の位置に生じるオプティック・フローＯＦの流れ（変位量）は、奥側（オブジェクトＴ側）の位置に生じる流れよりも大きくなる。逆に、カメラに対して奥側の位置であるほど、オプティック・フローＯＦの流れは小さくなる。

オプティック・フローＯＦの流れの大きさは、オプティック・フローＯＦの起点である視線カメラ１１０と、実空間上での任意の対象との距離に依存する。しかしながら、オプティック・フローＯＦは、その大きさにかかわらず同一の時間スケールの中で生じる。

したがって、オプティック・フローＯＦの速度（変位の単位時間あたりの変化率）も、同様に、視線カメラ１１０に対して手前で大きく、奥で小さくなる。

オプティック・フローや速度の情報は、移動ロボット１１の位置、速度の推定に利用される重要な情報のひとつである。操作者（不図示）は、速度の情報を、自己（図１の移動ロボット１１）の位置の推定を正確にするために用いることができる。操作者（不図示）は、視線映像から様々な速度の情報（運動の情報）を、視覚にて取得することになる。

（幾何関係）
図３（ｃ）は、図３（ｂ）のオプティック・フローＯＦの速度情報の大きさを推定するための幾何関係の説明図である。

図３（ａ）に示した視線カメラ１１０は、その内部に撮像素子１１００、撮像レンズ群１１０１を保持している。なお、撮像レンズ群１１０１は図３（ｃ）に示したように１枚の構成に限られない。図３（ｃ）の撮像レンズ１１０１は、複数枚のレンズで構成されるレンズ群である場合、そのレンズ群を１枚のレンズとみなして（近似して）示したものである。

また、撮像レンズ１１０１と撮像素子１１００の間隔は変動する場合がある。図３（ｃ）では、これらの間隔が、ある基準状態にあることを示す。

撮像レンズ１１０１の内部に示した座標系Ｒの原点は、撮像レンズ１１０１の主点を示す。

いま、実空間でのオブジェクトＴの高さを１[ｍ]、オブジェクトＴの根本にあたる位置をＴ０、オブジェクトＴから撮像素子１１００の側に１[ｍ]の位置をＴ１とする。Ｔ０とＴ１の距離は、視線カメラ１１０がオブジェクトＴに向かって速度１[ｍ/ｓ]で移動した際の、座標系ＲにおけるオブジェクトＴの（相対）速度ベクトルＶの大きさに当たる。

また、座標系Ｒの原点から、オブジェクトＴの移動前の位置Ｔ０までの距離は３[ｍ]、撮像レンズ１１０１と撮像素子１１００の間隔は０。１[ｍ]とする。

以上の状況では、速度ベクトルＶの大きさは、撮像素子１１００上に０。０１５[ｍ]で投影される。また、オブジェクトＴの大きさは０。０３[ｍ]で投影される。

（オプティック・フローの大きさ推定）
図３（ｄ）は、図３（ａ）の視線カメラ１１０が取得したオブジェクトＴの映像サイズが１[ｍ]となるように拡大した図である。

オブジェクトＴと同様の倍率で速度ベクトルＶを拡大すると、その大きさは約０。４６[ｍ]になる。これは、１[ｓ]後にはオブジェクトＴがオブジェクトＴ‘の位置に０。４６[ｍ]変化（変位および拡大）することを示す。つまり、位置の変化の単位時間あたりの変化率であるオブジェクトＴのオプティック・フローは速度０。４６[ｍ/ｓ]である。

したがって、操作者（不図示）がオブジェクトＴを注視していたとき、オプティック・フローは、実空間での視線カメラ１１０の速度１[ｍ/ｓ]とは当然異なる。通常、実空間では、人間は様々な奥行き情報を知覚できるから、このことに違和感を覚えない。

（視線映像による実空間推定）
しかし、移動ロボット１１の制御においては、操作者Ｏは、表示面１３０上に表示された平面的な映像を用いる。つまり、操作者（不図示）は、奥行き情報が欠損した表示面１３０の平面的な視線映像から、移動ロボット１１の速度、変位量、位置等を推定しなければならない。すなわち、上述の例では、表示面１３０のオブジェクトＴのオプティック・フロー０。４６[ｍ/ｓ]から、移動ロボット１１の変位量１[ｍ/ｓ]を推定しなければならない。

さらに前述のように、映像からは、奥行き情報の欠損以外にも様々な影響が生じている。したがって、映像から得られるオブジェクトＴのオプティック・フロー０。４６[ｍ/ｓ]は、実空間で得られるものと異なる量や性質を示している場合がある。

したがって、視線映像からの種々の推定は困難であり、違和感がある。

しかし人間は、奥行き情報が大幅に失われた平面的な視線映像からでも、高精度な速度（移動量、位置）の推定が可能になるメカニズムを有している。たとえば複数の平面的な奥行き情報手がかり（陰影、空気透視、絵画的手がかり、遮蔽、遠近法、運動視差、等）を柔軟に用いることができる。またたとえば、視覚フィードバックのメカニズムを用いることができる。

しかしながら、推定能力の習得には労力がかかる。本発明は、この習得にかかる労力を減じようとすることも目的としている。

なお、本実施例のように両眼立体視の原理を用いて奥行き情報を付加して、推定の精度を上げることができる。しかしながら、本発明を用いれば更に、推定の精度を向上させることできる。

（速度映像を生成する構成）
図４は、本発明における速度情報（運動情報）取得のメカニズムの説明図である。

いま、再び以下のように座標系Ｒを説明する。すなわち、移動ロボット１１（視線カメラ１１０の視点）に固定された座標系Ｒにおいて、Ｘ軸の正の方向を移動ロボット１１の前進方向と定める。また、Ｙ軸の正の方向を移動ロボット１１の左折方向と定める。Ｚ軸の正の方向を移動ロボット１１の床面Ｇ（移動面）から、移動ロボット１１に作用する力（自重に対する抗力Ｎ）の方向と定める。

前述したように、本実施例における速度カメラ１１１は、座標系ＲにおけるＸ軸正の方向に対して実質的に９０度で交差しており、座標系ＲにおけるＺ軸負の方向（鉛直下向き）を向いて取り付けられている。すなわち、移動ロボット１１の移動機構１１３が接触する床面Ｇを、座標系ＲにおけるＺ軸負の方向に向かって撮像できる。

（床面のオプティック・フロー）
速度カメラ１１１が取得する映像は、床面Ｇのオプティック・フローを含む。このオプティック・フローの流れの単位時間あたりの大きさ（速度）は、速度カメラ１１１と床面Ｇとの相対速度に等しい。すなわち、速度カメラ１１１が取得する床面Ｇの速度映像に含まれる速度情報は、移動ロボット１１の並進速度情報と等しい。

以下、速度カメラ１１１が生成する速度情報を、移動ロボット１１の速度情報と等しいという意味で、正規速度情報ＯＦＧと称する。本実施例では、速度情報として正規速度情報ＯＦＧを用いる構成を説明する。

なお、速度情報は、正規速度情報ＯＦＧを用いて、所定の比率により変換された速度情報も含む。本実施例は、正規速度情報ＯＦＧを実質的に等倍となる比率で用いることに該当する。

床面Ｇには、一般にパターンやグラデーション等の要素が含まれる。図５（ａ）（ｂ）は、床面Ｇから得られる正規速度情報ＯＦＧを説明する図である。図５（ｂ）の矢印ＯＦＧは、正規速度情報ＯＦＧの流れる方向と大きさを示す。

正規速度情報ＯＦＧの流れる方向は、移動ロボット１１の進行方向と逆方向である。すなわち、座標系ＲにおけるＸ軸負の方向である。実際の正規速度情報ＯＦＧは、床面ＧからのパターンＧＰの流れで表現される。

図５（ａ）には、パターンＧＰを模式的に示している。実際には、床面Ｇの模様、輝度の変化、移動体の陰影等がパターンを形成することになる。言い換えると、床面Ｇの模様に依存せず、床面Ｇは何らかのパターン等の要素を有しているので、床面Ｇからは何らかの正規速度情報ＯＦＧの情報を得られる。たとえばマット等を敷設して、パターン要素を直接床面Ｇに設けても本発明は実施可能である。

（オプティック・フローの付加）
本実施例では、速度カメラ１１１から生成される正規速度情報ＯＦＧの情報を速度映像として、操作者（不図示）の観察する視線カメラ１１０の映像に付加する。この際、付加される速度の情報は、正規速度情報ＯＦＧと、移動ロボット１１の実空間での速度とが、所定の関係を有するように構成されている。本実施例では、付加される速度の情報が、移動ロボット１１の実空間での速度と実質的に等倍の比率となるように所定の関係を特定する。

所定の関係を実質的に等倍とするために、本実施例では、速度カメラ１１１の撮像画角が、図１のヘッドマウントディスプレイ１３に表示される映像の画角（表示画角）と等しくなるように構成する。すなわち、光学系（視線カメラ１１０、図１のヘッドマウントディスプレイ１３等が有する光学部品、その制御部品、それらの設定等）が所定の要件を満たすように公知の方法で構成する。

一般に、撮像画角と表示画角とが等しければ、操作者（不図示）は実空間スケールのオブジェクトＴと、映像上のオブジェクトＴとの大きさを、実質的に同等に認知できる。なお、映像上の対象の大きさの認知のされ方は、様々な要因によって左右される。大きさを完全に一致させるには、操作者の映像観察位置や、視線カメラ１１０とオブジェクトＴとの距離、撮像光軸と表示光軸の一致、像高比、等を統制する必要があるが、説明は省略する。

図５（ｂ）は、操作者Ｏが観察する視線映像に速度映像を付加した状態を示す。本実施例において、操作者は図５（ｂ）の映像を、図１のヘッドマウントディスプレイ１３を介して観察する。

また、本実施例の速度映像は、その透過率を操作され、速度カメラ１１１の生成した映像が半透明となるように構成されている。半透明の速度映像は、視線カメラ１１０の映像に重畳される。この付加の処理は、図１のホストコンピュータ１２に設けられた表示制御部１２０にて実行される。

ここで半透明とは、透過率が５０％である場合に限られない。透過率は、経時的に変調されても構わない。また、速度映像の付加の方式は重畳に限られず、速度情報をトリミングして視線映像に組み込む等他の形態でも構わない。速度映像の付加については、後の実施例２の説明で述べる。

（制御方法）
図６は、表示制御部１２０が、視線映像に速度映像を付加（重畳）する制御方法としての処理方法の流れを示すフローチャートである。表示制御部１２０は、コンピュータ・プログラムとしての制御プログラムにしたがって、本処理を実行する。

表示制御部１２０は、図１の移動ロボット１１（の視線カメラ１１０、ホストコンピュータ１２、コントローラ１４、等）の起動に応じて、その処理を開始する。

ステップ１５１において、表示制御部１２０は、視線カメラ１１０からの視線映像を取得し、ステップ１５２に進む。たとえば、ステップ１５１において、撮像画角が表示画角と異なる場合には、視線映像から表示画角に対応する範囲をトリミングする処理を含んでも構わない。

ステップ１５２において、表示制御部１２０は、速度カメラ１１１からの速度映像を取得し、ステップ１５３に進む。

ステップ１５３において、表示制御部１２０は、予め設定された透過率となるように、速度映像の透過性を調整する。たとえば、視線カメラ１１０の周囲の環境から得られる情報を加味して、透過率を調整する処理が含まれても構わない。たとえば、周囲の環境が明るいときは、速度映像の透過率を下げて視認性を向上させ、正規速度情報ＯＦＧを強調する方が効果的な場合もある。そののち、表示制御部１２０はステップ１５４に進む。

ステップ１５４において、表示制御部１２０は、視線映像と、透過率を調整された速度映像とを、視線カメラ１１０および速度カメラ１１１を同期させ、重畳させる。同期の方法は、たとえば、視線カメラ１１０と速度カメラ１１１との時間情報を、ホストコンピュータ１２の時間情報と動悸させる方法を用いてもよい。そののち、表示制御部１２０はステップ１５５に進む。

ステップ１５５において、表示制御部１２０は、速度映像に視線映像が重畳された合成映像を、ヘッドマウントディスプレイ１３に送信する。このとき、通信制御部（不図示）を介しても構わない。そののち、表示制御部１２０はステップ１５６に進む。

ステップ１５６において、表示制御部１２０は、移動ロボット１１あるいはヘッドマウントディスプレイ１３、の電源がＯＦＦされていないかを判断する。ＯＦＦされていない場合には、上記の処理を繰り返す。

（効果）
本実施例は、操作者Ｏが、床面Ｇからの正規速度情報ＯＦＧを、視線映像とともに、直接的に視認できる作用を奏する。したがって、視線映像に含まれる対象の距離感やサイズ感、パース感、等に狂いが生じていたとしても、速度情報を速度映像から補い、移動ロボット１１の位置、変位量、速度等の推定に用いることができる。

したがって、移動ロボット１１の位置、変位量、速度等の推定の精度を向上させることができる効果を奏する。

仮に、視線映像に数字や文字や記号で表現される速度の値の表示があっても、値と映像の変化との対応関係を習得しなければ、移動ロボット１１に関する推定できない。

具体的には、たとえば自動車の速度メーター等の従来の速度の値を表示する方法は、実空間の速度が１[m/s]であっても、映像上の速度は必ずしも１[m/s]ではない。このため、数値で表現された速度と、映像上の速度と、実際の速度との対応関係を習熟しなければならない。

また、数値での速度の表示は、ある時刻での速度の値のみを示すものである。本発明の速度映像は、ある時間的な区間での対象の位置の変化率を、その要素の変化によって表現するものである。この観点でも、本発明は、速度メーター等の従来の速度の表示の方法とは異なり、前述の効果を奏するものである。

すなわち本発明では、実空間である移動ロボットが作業する環境の映像に、移動ロボットの速度の情報を、実空間と一致、あるいは所定の関係により特定されたスケールで提示する。

したがって、視線映像上で観察される速度の情報は、奥行き等の情報の大部分が損なわれているため、速度の推定が困難であるところ、本発明は、その情報を実空間のスケールの方法にて補充する効果を奏する。つまり、速度を直感的に提示する効果を奏する。これにより、操作難易度の軽減・操作の効率化に寄与する。

すなわち、映像上のスケールと実空間のスケールとの差異に関しする習熟の敷居を低下させ、容易に移動ロボットを操作できる。

（その他の実施形態）
（カメラの取り付け）
本実施例では、速度カメラ１１１が、移動ロボット１１の前進方向（視線カメラ１１０の撮影方向）に対して実質的に直交して、鉛直下向きに取り付けられた例を説明した。

この構成により、視線カメラ１１０と床面Ｇとの距離は、移動ロボット１１の移動に際して、実質的に一定に保たれる。視線カメラ１１０と床面Ｇとの距離は、車輪１１３によって規定される。したがって、大きさの変動の少ない、また、明るさ等の変動の少ない、安定した正規速度情報ＯＦＧを取得できる。

しかしながら、速度カメラ１１１の取り付け姿勢はこれに限られず、たとえば、壁面や天面からも、正規速度情報ＯＦＧを検出できる。

すなわち、図４の座標系ＲにおけるＹ軸正、あるいは負の方向、Ｚ軸正の方向を向くように、速度カメラ１１１を取り付けることができる。たとえば、移動ロボット１１が狭い空間を走行するケースでは、光源が、床面Ｇに当たりにくい状況が推測される。そうすると、パターンの変位に含まれる正規速度情報ＯＦＧが取得しにくい場合がある。しかしながら、本例のように速度カメラ１１１を配置すれば、環境光を良好に採取できる。したがって、明るさ等の変動の少ない、安定した正規速度情報ＯＦＧを生成することができる。

また、正規速度情報ＯＦＧとは若干異なる速度情報を与えることで、作業によい影響をもたらすとされる報告もある。すなわち、本発明では、正規速度情報ＯＦＧに対して、等倍以外の所定の関係で、正規速度情報ＯＦＧとは異なる速度の情報を有する速度映像が生成されるように構成できる。

たとえば、時間遅れが発生する系においては、あえて、実空間よりも小さいスケールで映像上のオプティック・フローを与えると、操作情報と遠隔操作ロボットの動作との時空間的な整合性が取れる場合もある。また、このような構成は、操作者に疑似触覚（Ｐｓｕｅｄｏ−ｈａｐｔｉｃｓ）という新たな情報を与える、という報告もなされている。

このように、所定の関係（比率）として、実質的に等倍以外の関係を用いることで、本発明にさらなる効果を付加できる。所定の関係は、たとえば、速度カメラ１１１の取り付け角度によって変更できる。あるいは、所定の関係が、表示制御部１２０によって変更されても構わない。所定の関係については、以下でさらに説明する。

また、本実施例では、床面Ｇから並進方向の速度の情報に関して安定した正規速度情報ＯＦＧを得られるが、回転（曲がる）方向の速度の情報については、並進方向に比べて不自然となる。すなわち、正規速度情報ＯＦＧのベクトルが時々刻々と回転していく。

この場合、図４の座標系ＲにおけるＹ軸正、あるいは負の方向を向くように速度カメラ１１１を取り付けることで、並進と回転で乖離の少ない正規速度情報ＯＦＧを取得できる。

（カメラ駆動）
また、本実施例では、速度カメラ１１０が、移動ロボット１１の進行方向に対して、移動ロボット１１の側面に固定された例を説明した。もちろん、速度カメラ１１１の固定位置はこれに限られない。

速度カメラ１１１（および視線カメラ１１０）は、移動ロボット１１に位置・姿勢を変更可能に保持されることもできる。たとえば、操作者Ｏが移動ロボット１１を操作する際に、操作者Ｏの視線の向き（角度）と対応するよう（実質的に一致するよう）、速度カメラ１１１を回転可能に保持することができる。この回転は、駆動制御部（不図示）や表示制御部１２０やホストコンピュータ１２等で駆動の制御をしてもよい。

このように構成することで、所定の関係が操作者Ｏの姿勢（視線）に合わせて変更できる。したがって、操作者Ｏは、姿勢の変化に応じて適切な速度情報を取得できる。

（カメラ画角）
また、広画角のカメラ（たとえば３６０度撮影可能なもの）が知られており、これを本発明の視線カメラ１１０、あるいは速度カメラ１１１として構成することができる。視線カメラ１１０としてこれを用いることで、視線カメラ１１０は正規速度情報ＯＦＧの検出部を兼ねることができる。

すなわち、正規速度情報ＯＦＧを得るために、視線カメラ１１０とは別に速度カメラ１１１を設ける必要がなくなる。このことは、小型化・軽量化・部品点数の削減の観点で有利である。

（所定の関係）
本実施例では速度映像に表示される要素（パターン）の変化率の情報（変化速度の情報）と、視線映像の生成視点（視線カメラ１１０の主点）の変位に関する情報（速度情報）との所定の関係が、実質的に等倍の比率となるように構成した。

いま、操作者Ｏが操作者Ｏの位置から、ヘッドマウントディスプレイ１３を介して、視線映像を観察する際の肉眼の視点を現実視点とする。また、映像を取得している速度カメラ１１１（あるいは視線カメラ１１０）の位置から、仮想的に床面Ｇを観察する際の視点を、操作者Ｏの仮想視点とする。

本実施例で説明した設定の場合、操作者Ｏの仮想視点は、移動ロボット１１の側面にて、鉛直下方向を向いている状況となる。この状態で取得できる速度情報は、確かに、移動ロボット１１の速度とほぼ１：１で対応する正規速度情報ＯＦＧであるものの、この状態に起因して違和感が生じる場合もある。

つまり、現実視点（視線）と、速度カメラ１１１の仮想視点（視線）とが異なることに起因して、操作者Ｏに違和感がもたらされる場合がある。前述のように、正規速度情報ＯＦＧとは若干異なる速度情報を与えることで、作業によい影響をもたらすとされる報告もある。

そこで、所定の関係を変え、速度映像に含まれる要素の速度情報を変更することで、本発明のさらなる効果を得ることができる。

（所定の関係の決定手段）
本発明の所定の関係は、操作者のパラメーターを取得する手段により特定される。所定の関係を、たとえば、以下の方法で特定（あるいは評価）することができる。

本実施例では、操作者のパラメーターを取得する手段を表示装置とは独立に構成し、表示装置に搭載する速度映像の初期設定を行う例を説明する。

しかしながら、操作者のパラメーターを取得する制御装置（不図示）を表示装置に含めるように構成してもよい。すなわち、操作者がこの表示装置を用いて移動ロボットを操作する際に、制御装置が操作者のパラメーターを測定・変更し、速度変調をするように構成しても、本発明は実施可能である。操作者自身が、表示装置に構成された操作者のパラメーターを取得する手段を操作し、表示装置の初期設定を行っても構わない。

図７は、所定の関係を特定する手段の一例の説明図である。所定の関係は、その他の手法によっても決定可能である。しかし、本発明の所定の関係は、例示する方法によって得られる値と対応付けることができる（導出可能である）設定値を含む。

本方法のはじめの工程では、操作者Ｏによる操作が可能な操作対象１６を用意する。操作対象は、図１の移動ロボット１１と異なる構成でも、同じ構成でもよい。適切に運動が設定された、シミュレータ上の仮想の移動体でも構わない。より好ましくは、所定の関係を特定すべき移動体と、同じ構成、同じ機構を有することが望ましい。また、操作可能であれば、遠隔通信による操作でなくても、有線による通信操作や、マニピュレータを用いた操作でも構わない。

望ましくは、操作者Ｏが、コントローラ１４等を介して、なるべく操作対象１６からの視覚以外の情報を得られないように構成されていることが好ましい。たとえば、操作に際して抵抗感が大きかったり、抵抗感が可変であったりすると、触覚情報や力覚情報が得られる。これらの体性感覚に起因する情報は、遠隔操作の精度に影響を及ぼすと考えられるためである。

次の工程では、本方法のターゲットとしてのオブジェクトＴ、マスクＭ、表示部材１７を用意する。

本方法においては、オブジェクトＴと操作対象１６との位置の誤差を計測して用いる。操作対象１６には、操作対象１６のある時点での位置を明示するマーカＭＫを取り付けておくことが好ましい。

オブジェクトＴは、マスクＭ上に配置される。また、オブジェクトＴの位置は、操作者Ｏから目視可能である。マスクＭは、操作者Ｏに、操作対象１６の動作過程の少なくとも一部を目視させないことを目的に配置される。本実施例では、操作者Ｏに操作対象１６の動作序盤を目視させ、動作終盤（オブジェクトＴの近傍）での動作を不可視とする。

より望ましくは、操作対象１６の動作序盤の運動は、表示部材１７の一領域や、ヘッドマウントディスプレイ（不図示）等を介して、映像（視線映像）として視認させることが好ましい。

また、目的に応じて、それ以外の視覚情報の提示をしても構わない。マスクＭ、オブジェクトＴおよび操作対象１６は、オブジェクトＴが視認でき、操作対象１６の動作過程の少なくとも一部を視覚的に遮蔽できていれば、どのように配置されても構わない。

マスクＭの天面（法線方向が、座標系Ｒ２におけるＺ軸正の方向と一致する面）には、表示部材１７を配置する。表示部材１７の表示面１７０は、マスクＭとオブジェクトＴとに挟まれている。表示部材１７が、マスクＭの役割を兼ねることもできる。

表示部材１７は、本実施例のようにフラットパネルディスプレイでもよいし、本発明の表示装置を用いることもできる。より好ましくは、実施例１で説明した構成により近い環境での本方法の実施のために、図１のヘッドマウントディスプレイ１３を用いることが好ましい。

このように構成することで、表示部材１７の表示面１７０からの情報は、マスクＭＫに妨げられない。

次の工程では、操作者Ｏは、操作対象１６をコントローラ１４にて操作する。このとき、操作者Ｏは、ターゲットとしてのオブジェクトＴに向けて、操作対象１６を変位させる。言い換えれば、操作者Ｏは、操作対象１６を用いて遠隔のオブジェクトＴに対して、遠隔からの到達運動を行う。

その際、操作者Ｏには表示部材１７から刺激映像Ｓが与えられる。刺激映像Ｓは、擬似的な速度情報にあたる。刺激映像Ｓについては後述する。操作者Ｏは、この刺激映像Ｓからの擬似的な速度情報をもとに、操作対象１６の操作を実行する。

操作の終了後、オブジェクトＴと、マーカＭＫとの位置の誤差（到達位置誤差）を計測する。本発明では、以上の方法により取得された誤差の情報をもちいて、所定の関係を決定できる。所定の関係の決定の例については後述する。

（刺激映像）
擬似的な速度情報である刺激映像Ｓとしては、パターン要素を用いる。本方法では、ハッチングのような直線シンボルを並べたパターンという意味で、ハッチングパターンを用いる。

速度情報が、変位量（位置の変化）や変形量（形状の変化）、模様の変化、色彩の変化（グラデーションの変化）、動きの変化、により操作者Ｏに与えられれば、パターン要素に限られない。刺激映像Ｓとしては、以下の実施例２の説明において速度映像の例として述べる、種々の映像を用いることもできる。

また、刺激映像Ｓのパラメーターとしては、刺激の変化の速度、加速度、加加速度（躍度）、軌道、形状、色彩、輝度、コントラスト、等を設定できる。また、刺激の提示の範囲、変位の距離、配置、等もパラメーターとなる。これ以外のパラメーターを設定しても、本発明の効果を得ることができる。

ハッチングパターンは、複数水準の速度情報を持つように、複数用意する。望ましくは、正規速度情報ＯＦＧを含むことが好ましい。その他のパラメーターを変更されたハッチングパターンを含むこともできる。

操作者Ｏは、ランダムに与えられる複数水準の速度情報を目視しつつ、ターゲットとしてのオブジェクトＴに向けて、操作対象１６を変位させる。到達位置誤差は、各試行それぞれについて取得（測定）される。

（所定の関係の特定）
所定の関係は、最も単純には、到達位置誤差が最小となる刺激映像Ｓを特定して、これを図１のヘッドマウントディスプレイ１３やその他の表示装置の表示面１３０にて再現されるように決定する。再現には、表示画角等の情報を考慮する。

もしくは、特定された刺激映像Ｓから速度の情報を取り出し、それを再現するように、図１の表示制御部１２０の設定を行う。もしくは、速度カメラ１１１の取り付け姿勢を変更する。

視線映像の視点の速度と、速度映像の要素の速度との所定の関係は、単純には、以下のように特定できる。すなわち、視線映像の視点の速度は、得られた刺激映像Ｓの速度情報の値を含む何らかの関数によりほぼ（近似的に）関係付けられる。たとえば、得られた刺激映像Ｓの速度情報の値を含む比例関数、２次関数、高次関数、べき乗関数等で関係づけられる。

あるいは、所定の関係が関数で表現されない非線形な関係として特定される場合もある。たとえば、移動ロボット１１の実空間での速度の各水準に対して、速度映像の要素の速度がそれぞれ特定され、これらの水準間を（線形）補間すると、移動ロボット１１の速度の変化と、速度映像の要素の速度の関係は非線形な関係となる。

あるいは、上記の方法にて得られたデータを統計的に解析し、移動ロボットの運動に反映させることもできる。たとえば、複数の操作者から複数のデータを取得して、このデータにあう統計的モデルを構築する。たとえば、単純線形モデル等を設定して、モデルをデータの状態に応じて適切にリンクさせ、探索的に（解析的に）最適なモデルを構築することができる。

またあるいは、前述の方法で得られたデータを事前の情報として用い、移動ロボットが運動する中で、事前の情報を逐次更新する手法をとっても構わない。たとえば、ベイズ推定の枠組みを用いることができる。

つまり、所定の関係を反映した速度映像としては、刺激映像Ｓをそのまま再現することもできるし、これに限らず、目的に応じて最適の刺激の形態を決定できる。なお所定の関係は、関数で規定される関係に限られず、たとえば離散的な値をケースに応じて設定する方式でも構わない。

また、前述の方法は、本発明の表示装置の製造方法にも適用できる。すなわち、本発明の表示装置は、この方法を用いて特定された誤差を用いて、表示される映像の少なくとも一部の変化を特定する（速度映像の変化率を設定する）工程を含むことにより製造できる。この工程および前述した工程は、同型あるいは類似型の表示装置につき、一度実施すれば本発明の効果を得ることができる。

また、移動ロボットが動作する個々の状況や、操作者個人の特性（個人差）に応じて、速度映像を調整するための映像の調整方法（表示方法）として本方法を用いることができる。

（その他）
速度映像に表示される要素には、実空間上での視点の変位に対して何ら所定の関係も有さない、単なる文字、記号、数字等の情報は含まない。すなわち、本発明は、自動車の速度メーター等のような絶対的な速度表示機能を企図したものとは異なる。なお、視線映像に速度表示機能を設けることは妨げない。

（第２の実施例）
以下、図８から１２を参照しながら本発明の第２の実施例について詳説する。図８は第２の実施例における移動体制御システム２００の構成の説明図である。なお、第１の実施例と同一の構成には同一の符号を付し、説明は省略する。

（移動体の構成）
第２の実施例における移動ロボット２１は、速度カメラに変えて、速度センサ（検出部）２１１が備えられる点で、第１の実施例と異なる。またホストコンピュータ２２は、表示制御部２２０を有している。

本実施例では速度センサ２１１として、ジャイロセンサを用いる。速度センサ２１１として、光学式のセンサを用いても、磁気センサを用いても、その他電気、音波、機構的なセンサを用いても本発明は実施可能である。

あるいは、移動ロボット２１の駆動情報から、速度情報を取得、あるいは算出しても本発明は実施可能である。あるいは、加速度センサ、位置センサ、角度センサ等、間接的に速度情報を算出しても本発明は実施可能である。

あるいは、予め移動ロボット２１の速度のモードを数種類に限定しておき、予めそれらに対応した速度情報を生成するようにデータテーブルを構成する等しても、本発明は実施可能である。この場合は、速度センサを構成しなくても本発明は実施可能である。

（制御方法）
図９は、表示制御部２２０が、視線カメラ１１０の映像と速度センサ２１１の情報を合成する制御方法としての処理方法の流れを示すフローチャートである。表示制御部２２０は、コンピュータ・プログラムとしての制御プログラムにしたがって、本処理を実行する。

表示制御部２２０は、移動ロボット２１の起動に応じて、その処理を開始する。

ステップ１５１において、表示制御部２２０は、視線カメラ１１０からの視線映像を取得し、ステップ２５２に進む。

ステップ２５２において、表示制御部２２０は、速度センサ２１１からの速度に関する情報を取得し、ステップ２５３に進む。直接速度に関する情報を取得しない場合は、取得した情報から速度を算出したり、データテーブルを参照したりして、速度の情報を取得しても構わない。そののち、ステップ２５３に進む。

ステップ２５３において、表示制御部２２０は、ステップ２５２で取得された速度情報に基づいて、速度映像を生成する。本実施例では、速度映像として、速度センサ２１１からの速度情報（変位量）に対して所定の関係の速度（変位の変化率）を有する要素を含む映像を生成する。

要素として、たとえば、パターン情報を用いると、速度の情報以外の情報（たとえば、方向の情報、数値的な情報、背景の情報、等）を排することが容易になる。

なお、映像を生成するのではなく、予め速度の数値（パラメータ）のみ変更可能である映像を記憶しておき、表示する速度の情報のみを反映させるような構成でも本発明は実施可能である。そののち、ステップ１５４に進む。

ステップ１５４以下における表示制御部２２０の実行する処理は、第１の実施例における表示制御部１２０の実行する処理と同様である。

（効果）
以上のように構成することで、小型の移動ロボットが構成可能でありながら、直感的に速度情報が取得可能なものを提供することができる。

また、速度映像の通信負荷が小さくなり、映像遅延が小さくなる。

更には、移動ロボット２１の移動速度に応じて、提示する速度情報を変調させる、通信量を削減して復元する、等、より複雑な速度情報の提示が可能となる。

（その他の実施形態）
（映像の構成）
本実施例では、速度の情報から、柔軟に正規速度情報ＯＦＧに対して所定の関係での変調を加えた要素を含む、速度映像を生成する事ができる。図１０は、生成する速度映像の要素の例である。いずれの例においても、これらの要素は、たとえば実施例１で説明した方法等で特定された速度情報にしたがって、空間的に変化（変位、拡大等）、あるいは時間的に変化する。

図１０（ａ）は、テクスチャー要素の例である。テクスチャー要素は、実施例１のように外界（床面）から直接、速度映像を生成する場合の表現に近い表現となる。

図１０（ｂ）（ｃ）は、パターン要素の例である。図１０（ｂ）は、ドットパターンの例である。操作者の注意の分散を妨げないように、その密度を柔軟に変えることができる。また、ランダムドットパターン（不図示）は心理的実験の刺激としてよく用いられる。図１０（ｃ）は、ハッチングパターンである。

図１０（ｄ）は、グラデーション要素の例である。これらの要素は、カラーでもモノクロでも構わない。

このように、速度映像に含まれる要素は、対象の変位の速度を表現する形状、模様、色彩等の少なくとも１つ含んでいる。また、形状、模様、色彩、あるいは対象の変位の速度を表現する形状、模様、色彩の位置、動き、速度等が変化するように構成されていれば、本発明の効果を得ることができる。

（シンボル）
速度映像の要素には、シンボルを用いても構わない。なお前述のように、自動車の速度メーターに代表される速度の値の表示は、対象の変位の情報を反映していない文字等の情報、単なるインジケーターは本発明に含まれない。

ただし、文字、記号、数字等がシンボルとして用いられ、これらが本発明で特定される所定の関係に従って、時間的あるいは空間的に変化（変位、拡大、形状の変更、点滅、変色等）するような場合はこの限りではない。

図１１は、実施例２にかかる表示面２３０に表示される映像であって、視線映像に、シンボル（矢印形状）２８の要素により構成された速度映像を合成した合成映像の例を示す。要素（シンボル２８）は、実施例１のように透過させなくても構わない。また、本実施例では要素の形状は矢印形状であるが、形状はこれに限られない。

図１１（ａ）は、ある時点での移動状態におけるシンボル２８の状態を模式的に示す。図１１（ｂ）から（ｅ）は、操作の対象が進行方向の前方（オブジェクトＴに近づく方向）に移動している状態のシンボル２８の状態を模式的に示す。

なお、本実施例ではシンボル２８には２次元平面図形を用いるが、パース感（奥行き感）のある３次元立体をシンボルとして用いてもよい。あるいはシンボルを３次元的に配置しても構わない。このようにすることで、シンボルに注意を割かせやすくなり、たとえば速度超過等の警告のような用途に好適である。

図１１（ｂ）では、シンボル２８の大きさ（サイズ）が空間的に変化して、拡大している。この拡大の速度（変化率）が、対象の速度情報に対して所定の関係になるように構成されている。すなわち、図１１（ａ）から図１１（ｂ）で示される状態にかけて、対象が加速したことを示す。

この例の場合は、速度一定であればシンボル２８が変化しないので、後述するその他の方法や、前述したパターン等の情報と組み合わせて用いることが好ましい。

図１１（ｃ）では、シンボル２８の位置が、映像上で上方に空間的に変化している。この変位の速度が、対象の速度情報に対して所定の関係になるように構成されている。シンボル２８が表示面２３０から外に変位した場合、再び初期位置に戻るように構成するのが好ましい。シンボル２８がオブジェクトＴを遮るような位置に変位しないように、制御をするのも好ましい。

図１１（ｄ）では、複数のシンボル２８を点滅させ、操作者（不図示）に仮現運動（アニメーション）を知覚させるように構成している。表示制御部（不図示）が点滅の間隔や点滅のパターン、点滅の位置等を制御することで、対象の速度情報に対して所定の関係になるようにシンボル２８の仮現運動が生じる。

この例では、シンボル２８の形状を有する光源（たとえばＬＥＤ）を所定の位置に構成して、その点滅を時間的に制御すればよいから、構成が容易である。この例は、以下の実施例３で詳細に説明する。

図１１（ｅ）は、オプティック・フローを模したシンボル２８を配置し、変位の方向を表示した例である。この例は、前述した３次元的な配置の一例である。

（要素を配置する領域）
要素を配置する領域も、本実施例の限りではない。図１２は、速度情報を表現する要素の配置の説明図である。

図１２（ａ）は、パターン要素を、表示面２３０の中心を含む中心領域（第１の領域）に対して、中心領域の外の領域である周辺領域（第２の領域）に表示した例である。表示面２３０の中心は、図１２（ａ）においてオブジェクトＴが配置されている箇所にあたる。

この例のように構成することで、操作者の周辺視野の特性を活かすことができる。すなわち、周辺視野は、観察対象（本実施例ではパターン要素）の速度変化を知覚しやすいという利点を活かすことができる。

一方で、背景Ｂはタスクにあまり重要な視線情報を含まない。したがって、速度映像を合成しても問題は少ないという利点もある。もちろん、パターン要素を半透明化して、周辺領域に重畳しても本発明は実施可能である。

加えて、移動ロボット（不図示）を用いたタスクに必要な情報は、一般に中心領域に入る。より詳しくは、そのように操作者が移動ロボット１１を操作する場合が多い。したがって、中心領域にパターン要素等の情報を重畳しないことにより、タスクが効率化できる。さらに、本例の構成では、中心視野では精密な情報を得られるという利点を活かせる。

近年、人間の有する有効視野領域（Ｕｓｅｆｕｌ Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ：ＵＦＯＶ）の活用が注目されている。操作者Ｏが表示面２３０の中心を注視している場合、有効視野領域は中心領域の内部にあたり、表示面２３０の中心を含む領域である。有効視野領域のサイズの精密な測定法は、未だ明らかにされていないが、有効視野領域のサイズ（面積）は周辺視野に対して小さい。

図１２（ｂ）は、有効視野領域に視線映像を提示する例である。この例では、中心領域の面積が、周辺領域よりも小さい。たとえば、有効視野領域の面積と、表示面２３０の面積との実質的な比を１：３となるように構成することができる。表示面２３０のレイアウトをこのように構成することで、なるべく速度映像を多く操作者に提示できる。なおかつ、有効視野領域における効率的なタスク遂行を妨げない。

本実施例では、図８のヘッドマウントディスプレイ１３が、操作者Ｏの左右の目にそれぞれ対応した映像を見せられるよう、左右に独立した表示面２３０を備えた例で説明した。図１２（ｃ）は、表示面２３０のうち図８の操作者Ｏの左目に提示される表示面の例である。

本実施例のヘッドマウントディスプレイ１３を用いる操作者は、両眼立体視の原理により、左右の表示面の映像を融像して、立体映像を観察する。図１２（ｃ）ではこのような両眼視を考慮して、両眼視状態における周辺視野に当たる領域において、パターン要素を表示している。

すなわち、左右に２つの表示面を並べ、その中心を含む領域を中心領域、中心領域の外の領域を周辺領域とすれば、片方の表示面は図１２（ｃ）に示されるレイアウトとできる。この例では、周辺領域における背景Ｂをぼかす処理等を加えると更に自然な観察が可能になる。

また、図１２（ｄ）に示したように、表示面２３０の一部の領域にパターン要素を配置すれば、タスクに直接関わる視線情報への影響をより少なくすることができる。両眼立体視の原理を用いる場合には、融像の観点から、各表示面の外側（操作者からみて側頭部の側）の領域の一部を活用するのがより好ましい。

（速度情報の変調）
速度映像の要素の表示の割合が、中心領域から周辺領域になるにつれ、高くなるように構成してもよい。速度映像の表示の割合は、たとえば速度映像の透過率の設定で規定されるものを含む。すなわち、中心領域で透過率が高く、周辺領域で透過率が低くなるように構成できる。その他、速度映像の表示の割合は、表示される要素の密度や、要素の色彩の彩度、グラデーションの勾配等も含む。

また、本実施例の速度映像は、様々な大きさの表示面に表示される可能性がある。すなわち、速度映像の表示倍率が変わる場合がある。表示装置毎に適した倍率に合わせて、速度映像の要素のサイズが、要素の空間的変化と実空間での変位の速度との所定の関係が保たれるように変更されるよう、表示制御部を構成するのが好ましい。

また、操作者Ｏが移動しながら表示面を観察する場合、操作者Ｏの移動の速度を考慮して、要素の速度を操作者Ｏの速度と、操作対象の速度の相対速度にするように表示制御部を構成できる。

操作対象の特性に応じて、要素の速度プロファイルがベル型の波形となるように、速度映像を生成してもよい。一般にベル型速度プロファイルは人間の動きをよく近似すると言われている。この例では、操作対象が生物を模した形状である場合等に、より、直感的な速度情報を提示できる。

さらには、操作中に経時的に、速度情報の変調を行っても本発明は実施可能である。経時的な変調とは、たとえば、以下の構成も含まれる。すなわち、最適な速度映像が、移動ロボットの速度レベルに対して大きく異なる場合は、速度映像と実空間速度との所定の関係が、移動ロボットの速度に応じて離散的に変化させる必要がある。

また、操作者が移動ロボットの操作に十分習熟した場合には、速度映像の相対的な重要度が低下する。このため、たとえば、合計操作時間に応じて速度映像の透過率を上げたり、合計操作回数に応じて速度映像の重畳面積を減らしたり、設定に応じて速度映像を非表示としたりすることができる。

（要素のオプティック・フローの方向）
正規速度情報ＯＦＧの方向は、図１１（ｅ）で示したように、あるいは実施例１で示したように、移動ロボット１１の進行方向とは逆向きでもよい。あるいは、図１１（ｂ）、図１１（ｃ）、図１１（ｄ）において図１１（ａ）との関係で示したように、移動ロボット１１の進行方向と一致していてもよい。更には、たとえばシンボル２８の拡大・縮小の変化率で移動ロボット１１の正規速度情報ＯＦＧを表現する場合のように、正規速度情報ＯＦＧの方向はいずれの方向でも構わない。

（合成処理）
速度映像は、半透明化処理によって視線映像に重畳されても構わないし、タスクの対象となるオブジェクトＴを切り出して、速度映像に合成する処理を行っても構わない。逆に、速度映像を切り出して視線映像に合成してもよいし、図１２（ｄ）の例のように速度映像を視線映像の一部の領域にそのまま表示するような表示でも構わない。

また、表示領域を分ける場合にひとつのディスプレイ上で領域を分割する必要はない。すなわち、視線映像と速度映像のそれぞれにディスプレイを用意し、視線映像ディスプレイの周囲に速度映像ディスプレイを配置するような構成でも本発明の効果を得ることができる。

また、視線映像と速度映像の表示方式を異なるものにすることもできる。たとえば、視線映像をディスプレイ、速度映像を光源装置（プロジェクター等）で投影することができる。あるいは、速度映像を、光学的に表示する（ホログラム等の）方式でも本発明は実施できる。

速度映像の表示箇所は、ディスプレイ外でも、操作者が視覚によってその情報を取得できる箇所であれば、本発明は実施することができる。たとえば、ディスプレイに対して直交する面、あるいは交差する面に速度映像を表示（投影）すると、より床面あるいは天面、壁面のオプティック・フローであることを強調できる。

この場合、ディスプレイに係る映像の生成・通信の負荷を減らしたり、奥行き感をもってより効果的に速度映像を提示したりすることができる。

（第３の実施例）
以下、本発明の第３の実施例に係る移動体制御システム３００について、添付の図を参照しながら詳細に説明する。実施例１あるいは２と同一の構成には同一の符号を付し、説明は省略する。

（構成）
図１３は、第３の実施例に係る移動体制御システムおよび表示装置の説明図である。本実施例において移動体は、ホストコンピュータ３２によって生成された仮想空間における仮想移動体（エージェント）である点が、第１および第２の実施例と異なる。また、表示装置としてフラットパネルを備えたディスプレイ３３を用いる。

（仮想環境）
ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）等のいわゆるＸＲ技術が知られている。近年、ＸＲ技術を活用したサービス、すなわちコンピュータ・グラフィックス（ＣＧ）により構築する仮想環境を活用したサービスが普及してきている。

本実施例では、操作者Ｏは、仮想空間ＶＥにおいて仮想の（ＣＧの）移動体である仮想移動体（不図示）を操る。これにより、操作者Ｏはあたかも仮想空間ＶＥ内部で仮想移動体を操作している感覚を得ることができる。

さらに、本実施例における視線映像は、操作者Ｏの１人称視点に対応する。したがって、視線映像には仮想移動体の映像は含まれない。このように構成することで、操作者Ｏは、あたかも仮想空間ＶＥ内部で自らが歩き回っているような没入感を得ることができる。

本実施例は、仮想空間ＶＥとして美術館を想定した例である。したがって操作者Ｏは、仮想の美術館で絵画を鑑賞する体験をすることができる。たとえば、仮想の美術館として実在する美術館をＣＧで再構成したものを用いれば、あたかも実際に美術館に行ったような体験をすることができる。仮想空間ＶＥとして実際のモデルが存在しない美術館を構築しても、その他の施設等を構築しても、現実空間と一部合成しても（ＭＲ、ＡＲ）本発明は実施可能である。

（速度映像）
本実施例における速度映像は、点滅するシンボル３８で構成されている。シンボル３８の点滅は、表示制御部３２０を含むホストコンピュータ３２により制御される。

シンボル３８の点滅のパターンやタイミングは、予め設定された仮想移動体の動作の設定に基づき決定される。すなわち、シンボル３８の仮現運動の空間的な変化の変化率は、仮想移動体の一人称視点の変位（速度）に関する情報に関して特定される。仮現運動の向きは、操作者Ｏの進行方向でも、操作者Ｏの進行方向とは逆向き（オプティック・フローの方向）でも本発明は実施可能である。

これを、仮想移動体の並進移動を例にとって説明する。仮想移動体が並進方向に移動すると、ホストコンピュータ３２（の有する表示制御部３２０あるいはＣＧ制御部（不図示））によって、並進移動に応じた３次元的な仮想環境が計算される。

この計算は、仮想移動体の一人称視点における仮想環境の見え方に関するものである。すなわち、予め構築された仮想環境の座標系（ワールド座標系）の位置および姿勢を、仮想移動体の視点を原点とする座標系（エージェント座標系）の位置および姿勢に変換する計算を含む。

仮想環境を構成するＣＧは予めホストコンピュータ３２に保存されている。ＣＧは、計算結果に応じて逐次描き換えられる。

したがって、操作者Ｏが仮想環境の視線映像から得る、仮想移動体の並進速度の情報（オプティック・フロー）は、各実施例で説明したように、仮想移動体に予め設定された並進速度の情報とは異なる。

そこで、ホストコンピュータ３２は、予め設定された並進速度の情報を、所定の関係に基づいて変調して、シンボル３８の点滅のタイミングの制御に用いる。所定の関係は、実施例１で説明した方法で同様に定まる。

（制御方法）
図１４は、ホストコンピュータ３２が実行する仮想空間ＶＥの視線映像の生成（更新）方法、およびシンボル３８の制御方法としての処理方法の流れを示すフローチャートである。ホストコンピュータ３２は、コンピュータ・プログラムとしての制御プログラムにしたがって、本処理を実行する。

ステップ３５１において、ホストコンピュータ３２は、操作者Ｏのコントローラ１４の操作情報を取得し、仮想環境における視線映像を生成するステップ３５２と、速度映像を生成するステップ３６２に進む。

（視線映像の生成）
ステップ３５２において、ホストコンピュータ３２は、操作情報から現在の仮想移動体の位置、姿勢（視点）を算出する。すなわち、エージェント座標系のワールド座標系における位置および姿勢を算出する。その後、ステップ３５３に進む。

ステップ３５３において、ホストコンピュータ３２は、算出したエージェント座標系における仮想環境を構成する各ＣＧの位置、姿勢を算出する。すなわち、ワールド座標系の情報を、仮想移動体座標系の情報に変換する。その後、ステップ３５４に進む。

ステップ３５４においてホストコンピュータ３２は、エージェント座標系の情報に基づいてＣＧを描き変える。その後、ステップ３５５に進む。

（速度情報の生成）
一方、ステップ３６２において、ホストコンピュータ３２は、操作情報と、予め設定された仮想移動体の視点の変位に関する情報（速度の情報）と、から、図１３のシンボル３８の点滅タイミングを決定し、速度映像を生成する。その後、ステップ３５５に進む。

（合成）
ステップ３５５において、ホストコンピュータ３２は、ＣＧと速度映像を同期、合成し、ステップ３５６に進む。

ステップ３５６において、ホストコンピュータ３２は、合成映像をディスプレイ３３に送信する。

ホストコンピュータ３２は、電源がＯＦＦされるまで、上記のステップを繰り返し逐次的に実行する。

（効果）
本実施例によれば、直感的な移動体の操作が、仮想環境における仮想移動体の操作においても可能である。

（第４の実施例）
以下、本発明の第４の実施例に係る表示装置であるヘッドマウントディスプレイ４００について、添付の図を参照しながら詳細に説明する。実施例１、２あるいは３と同一の構成には同一の符号を付し、説明は省略する。

（移動体）
図１５は、移動体としての移動者Ｏ４が、仮想空間ＶＥ内を移動し、ＶＲ（あるいはＭＲ）体験をしている際の説明図である。

ＶＲ用のヘッドマウントディスプレイは、没入感向上のために現実空間を目視できない構成が多くなってきている。本実施例では、移動者Ｏ４は、ヘッドマウントディスプレイ４００の表示面４３０から得られる仮想の（ＣＧの）視線映像を用いて、仮想空間ＶＥ内を歩き回る。

（速度映像）
本実施例における速度映像４０１は、仮想空間ＶＥ内の床面に相当する部分に重畳されたドットパターンである。このように構成することで、ドットパターンが仮想空間ＶＥ内での体験に及ぼす、注意の分散等の影響を小さくできる。

図１６は、ヘッドマウントディスプレイ４００の表示面４３０周辺の拡大図を示している。また、表示面４３０には、速度映像のみを示している。このように、本実施例では、速度映像を表示面４３０の床側の領域に提示している。これにより、視線映像における床面の領域と速度映像とを重ねやすくなる。

速度映像を提示する領域は、表示面４３０の固定の領域ではなく、表示面４３０に映る床面の領域を算出して、変更するようにホストコンピュータ（不図示）等を構成することもできる。

速度映像は、床面に限らず、実空間の天面や壁面の領域と一致する可能性が高い領域に提示しても構わない。

ヘッドマウントディスプレイ４００は、ジャイロセンサ（不図示）を有している。ジャイロセンサは、移動者Ｏ４の視点に近しい頭部における変位に関する情報（速度の情報、実施例１から３における正規速度情報ＯＦＧ）を取得できる。

速度映像４０１は、移動者Ｏ４の速度の情報と所定の関係にある速度で、移動者Ｏ４の進行方向とは逆向きに流動するように構成されている。また、床面が視野から外れる場合は、仮想空間ＶＥ内のその他の領域に速度情報４０１が表示（移動）されるように構成されている。たとえば、表示面４３０の四隅に速度情報を表示するように構成できる。

（実施例４の所定の関係）
ＶＲ用の視線映像は情報量が大きく、通信遅延も大きい。したがって、仮想空間ＶＥ内のＣＧの描き換えが、移動者Ｏ４の移動速度よりも遅くなる場合が考えられる。そうすると、移動者Ｏ４が転倒する等の可能性がある。

そこで本実施例では、移動者Ｏ４が、実空間での実際の速度よりも速い速度で移動している、と感じられるように、所定の関係を設定する。すなわち、移動者Ｏ４が、一定の速度で移動している場合には、速度情報４０１が、移動者Ｏ４の速度の情報よりも所定の比率で大きくなるように設定する。

また、移動者Ｏ４が加速している際には、速度情報４０１が、その加加速度（躍度）が最小になるように、かつ、加速度が移動者Ｏ４の速度に関する情報（加速度）よりも大きくなるように設定する。

また、移動者Ｏ４が減速している際には、速度情報４０１が、その加加速度が最小になるように、かつ、加速度が移動者Ｏ４の加速度よりも小さくなるように設定する。

これにより、移動者Ｏ４により安全で快適なＶＲ体験を提供することができる。逆に、設定によっては、仮想空間ＶＥが、実空間よりも大きく感じられるような体験を構成することもできる。

（その他の実施例）
図１７および図１８は、本発明のその他の実施形態を示した説明図である。図１７（ａ）および（ｂ）は、複数のディスプレイ（表示装置）を用いる例である。図１７（ａ）は正面から見たディスプレイ５００およびディスプレイ５０１を示す。

ディスプレイ５００は、オブジェクトＴを含む視線映像とともに、速度映像５０を表示している。視線映像からは移動ロボット１１の一部が視認できる。本実施例の速度映像５０は、グラデーションを用いている。また速度映像５０は、実空間上のあたかも壁面であるように、オブジェクトＴの周辺を取り囲むような領域に、３次元的な表現で表示されている。これにより、操作者（不図示）は、より効果的に速度映像５０を視認できる。

ディスプレイ５００の下部には、ディスプレイ５０１が構成されている。ディスプレイ５０１は、速度映像５１を表示している。ディスプレイ５０１は、ディスプレイ５００の補助的な役割で配置されている。

速度映像５１は、多数のシンボルが下方向に変位して（流れて）いくように構成されている。操作者は、必要に応じて注視するディスプレイを選択できる。ディスプレイ５００においては、速度映像５０を表示しないこともできる。

図１７（ｂ）に示したディスプレイ５０２は、オブジェクトＴ、風景を含む視線映像とともに、速度映像５２を表示している。本実施例の速度映像５２は、大きさの違うシンボルを並べ、シンボルが表示面の手前側の方向に拡大しながら変位するように構成されている。速度映像５２は、実空間上のあたかも天面であるように知覚される。また、速度映像５２が表示される領域は、ディスプレイ５０２の表示面の中でも重要度の低い（オブジェクトＴが写りにくい）領域である。

ディスプレイ５０２と交差する面には、ディスプレイ５０２の手前側（操作者側）にディスプレイ５０３が構成されている。ディスプレイ５０３は、速度映像５３を表示している。本実施例の速度映像５３は、テクスチャーを用いて、地面を模している。

本構成では、操作者は、視野の下部（眼窩部よりも下部）という、より自然な（床面に平行な）領域にて、速度映像５３を知覚できる。

図１８は、ヘッドマウントディスプレイ５０４の一部である。その表示面５３０には、オブジェクトＴや風景を含む視線映像が表示されている。ヘッドマウントディスプレイ５０４は、遮光フード（アイカップ）５４を有している。

遮光フード５４は、外界からの光の入射を遮り、視線映像の観察時のゴーストの発生や、没入感の向上に寄与している。また、遮光フード５４は、装着者の顔面に当接し、ヘッドマウントディスプレイ５０４の装着感を高めている。

遮光フードには、速度映像５５および速度映像５６が表示されている。本実施例では、ヘッドマウントディスプレイ５０４内部の光源（不図示）から、速度映像５５および速度映像５６を構成するハッチングパターンを投影するように構成している。なお、その光路が装着者の視野を横切らないように投影する構成である。

速度映像５５および速度映像５６は、表示面５３０と交差する面に配置されている。これらの交差角の設定に応じて、速度映像５５および速度映像５６の表示する要素と、視点の実空間における移動速度との所定の関係は変更される。

このようにすることで、視線映像の視野角を遮らずに、ヘッドマウントディスプレイ５０４の操作者に速度映像を自然に提示することができる。また、ディスプレイを削減でき、ヘッドマウントディスプレイ５０４の軽量化に寄与できる。

（表示領域の制御手段）
実施例４では、速度映像４０１を視線映像の床面と対応する領域に表示した。表示領域を測定する測定手段と、制御手段とを有する構成とすれば、本発明のさらなる効果を得ることができる。

制御手段は、測定結果から表示領域を導出し、その領域に合わせて速度映像の形状を変更し、その領域に速度映像を位置合わせし、その領域に速度映像を重畳するように構成される。位置合わせの方法としては、自然特徴点を検出するものでも、マーカ等を判別するものでも構わない。

この場合、速度映像を過剰に操作者の意識に上らせずに、操作者に知覚させることができる。これにより、操作者が所望のタスクにさらに集中できる効果を奏する。

（操作者のパラメーターを取得する手段の構成）
実施例１では、操作者のパラメーターを取得する手段を説明した。実施例１のように、表示装置の初期設定にのみこの手段を用いてもよいが、本発明の表示装置にこの手段を構成する例を説明する。

表示装置は、視線映像を表示する第１の領域と、速度映像を表示する第２の領域を有する。操作者のパラメーターを取得する手段としての制御装置は、第２の領域に予め記憶部に保持した刺激映像を表示する。望ましくは、様々なパラメーターを有する複数の刺激映像を保持していることが好ましい。

制御装置は、第１の領域に移動ロボット等の被操作体を表示する。この表示は、視線カメラからの視線映像をそのまま用いても、その他の取得装置を用いても構わない。

操作者は、所定の順番で表示される刺激映像のそれぞれに対し、所定の距離だけ、被操作体を移動させる試行を行う。視線カメラ等の取得装置は、試行結果を取得する。制御装置は、取得された結果に基づき、所定の関係を変調させる。この変調は、試行毎に行われても、全試行が完了してから行われてもよい。より早くパラメーターの特定を完了するには、前者のほうが好ましく、本例では前者を説明する。

制御装置は、所定の関係を特定するのに十分な試行結果が得られるまで、上記の工程を繰り返す。また、刺激映像を提示する所定の順番を、試行の結果に応じて入れ替える。この工程により、効率的なパラメーターの同定が可能になる。同定されたパラメーターおよび所定の関係は、試行を行った操作者を特定できる状態で、記憶部に保存される。

制御装置は、所定の関係の特定後、表示装置に所定の関係の特定（設定）が完了した旨を表示する。第２の領域には、新たに特定された所定の関係を用いた速度映像が表示される。

これにより、操作者の個人特性に合わせた速度情報を提示できる効果を奏する。また、移動ロボットの操作に習熟する等、操作者の経時的な特性の変化に合わせて、所定の関係を変調できる。

（視線映像の時間制御）
視線映像の通信遅延等に起因して、視線映像は、視線映像の視点（視線カメラ）の変位に対して時間遅れを有する。時間遅れは、状況により変動する。時間遅れが変動すると、速度映像の効果が小さくなる。

視線映像の時間遅れの変動の影響を軽減するために、視線映像上の対象の変位を、視線映像の視点の変位に対して所定の時間遅れとする制御装置を構成すると、本発明のさらなる効果を得ることができる。

制御装置の記憶部には、予め所定の時間遅れが設定されている。所定の時間遅れは、状況に応じて設定される。たとえば、人間が多い環境で移動ロボットを操作する用途では、安全性、即応性を重視して最大通信遅延時間よりも大きく、なるべく小さい時間遅れを設定することが好ましい。

制御装置は、一定時間において、所定の時間遅れと視線映像の表示遅延との差分を検出する。制御装置は、その次の一定時間において、その差分を用いて、視線映像の表示を遅らせる。視線映像の表示遅延は、視線カメラおよび制御装置の生成する命令の時刻を、制御装置により検出することで取得することができる。

これにより、速度映像の効果が安定するさらなる効果を得ることができる。なお、所定の時間遅れもつ視線映像を生成できれば、本例とは異なる構成・方法でも本発明は実施可能である。

また、所定の時間遅れを経時的に変調することでも、さらなる効果が得られる。たとえば、人間には、移動ロボットが物理的に作用すべき対象がある場合に、移動ロボットと対象との衝突を避けようとする心理がはたらく場合がある。この場合に、移動ロボットは、本来到達すべき位置よりも手前で停止させられる傾向がある。

これに対して、移動ロボットの停止の指令を出すタイミングに限って、時間遅れを大きくすることで、より対象に対して適切な位置で停止できる場合もある。このように、経時的に時間遅れを変調して、さらなる効果を得ることができる。

（効果）
以上、実施例１から４で説明したように、本発明を用いれば、操作対象と視線映像の視点の相対的な変位の情報から、操作対象の位置や速度を推定するのに直感的な情報を得ることができる。特に、対象の実空間における速度の情報を直感的に得ることができるから、操作対象に関する指定制度が好悪樹する効果を奏する。

また、タスクや状況や個人差、対象の操作結果等に応じて、提示する速度情報の提示の態様を柔軟に調整・決定できる。これにより、操作者の予測と操作対象の運動との乖離が小さくなる効果が得られる。さらに、操作者の予測と操作対象１６の運動とを意図的に乖離させ、操作者にとってよい運動結果を生じさせることもできる。また、操作対象の動作に応じて、経時的に本発明の効果を向上させていくこともできる。

また、本発明を用いると速度情報を単純なパターンやシンボルで簡易に提示できる。また、視線映像の観察を妨げず、少ない視線移動にて、明瞭な、速度情報を利用することができる。また、視線映像からの注意の分散を抑えつつ、高い感度で操作者に速度映像を知覚させることができる。また、速度映像の表示箇所に応じて、複数の速度情報を提示することもできる。

また、本発明を用いると視線映像から得られる速度情報と、重複のない速度情報を得ることができる。また、進行方向に関して明瞭な速度得ることができる。また、操作対象の動作に対して変動の少ない速度情報を得ることができる。また、専用のカメラを構成しなくても、簡易に速度情報を提示することができる。また、仮想環境における移動体においても同様の効果を得ることができる。

（第５の実施例）
以下、本発明の第５の実施例に係る移動体制御システムについて、添付の図を参照しながら詳細に説明する。実施例１乃至４と同一の構成には同一の符号を付し、説明は省略する。

図１９に本実施例に係る移動体制御システムの説明図を示す。本実施例に係る移動体制御システムは、６個のディスプレイ（表示面）を含むディスプレイ群（表示装置）６００と、円筒状の移動ロボット６０１と、これらの制御装置１２と、を有する。移動ロボット６０１は、６個のカメラを含むカメラ群６０３を有する。

（ディスプレイの構成）
図２０は、本実施例に係るディスプレイ群６００の構成の説明図である。図２０では、ディスプレイ群６００を鉛直上方向（Ｚ軸正の方向）から見た図である。

ディスプレイ６００１（および６００２（不図示））は、操作者Ｏに対して座標系ＲのＸＺ平面からの情報を提示するように構成されている。

線対称形状を有する各ディスプレイの線対称軸を用いて配置を説明する。ディスプレイの水平方向（Ｘ軸方向）の線対称軸６００１Ａを基準とすると、線対称軸６００１Ａは操作者Ｏに対向するＸＺ平面に平行に構成される。さらに、本実施例では、ディスプレイ６００１およびディスプレイ６００２は各々の線対称軸周りに回転できる。

線対称軸６００１Ａの両端の領域には、ディスプレイ６００３およびディスプレイ６００４が構成される。各ディスプレイの水平方向の線対称軸６００３Ａおよび線対称軸６００４Ａは、線対称軸６００１Ａと直交する線６００１Ｎに対して以下の角度で交差することが望ましい。すなわち、交差角度θ１が、９０度以上１３５度以下であることが望ましい。更に好ましくは、交差角度θ１が、９０度以上１２０度以下であることが望ましい。角度θ１がこれらの範囲に調整可能でも構わない。

ディスプレイ６００３およびディスプレイ６００４の表示面の法線（不図示、表示面からの映像光の主光線の進行する向き）は、操作者Ｏの左右方向（Ｘ軸方向）から操作者Ｏに向かうように構成される。これにより操作者Ｏは、ディスプレイ６００５およびディスプレイ６００６から左右方向からの映像を視認できる。

さらに線対称軸６００１Ａの両端の領域には、ディスプレイ６００５およびディスプレイ６００６が構成されている。各ディスプレイの水平方向の線対称軸６００５Ａおよび線対称軸６００６Ａは、線対称軸６００１Ａと直交する線６００１Ｎに対して以下の角度で交差することが望ましい。すなわち、交差角度θ２が、９０度以上１３５度以下であることが望ましい。更に好ましくは、交差角度θ２が、９０度以上１２０度以下であることが望ましい。角度θ２がこれらの範囲に調整可能でも構わない。

さらに、ディスプレイ６００５およびディスプレイ６００６は各ディスプレイの水平方向の線対称軸周りに各々若干回転して構成される。

ディスプレイ６００５およびディスプレイ６００６の表示面の法線は、操作者Ｏの鉛直下方向（Ｚ軸負の方向）から操作者Ｏに向かうように構成される。これにより操作者Ｏは、ディスプレイ６００５およびディスプレイ６００６から鉛直下方向からの映像を視認できる。

ディスプレイ６００３およびディスプレイ６００４の表示面の法線が、鉛直上方向から操作者Ｏに向かうように構成されていても本発明の効果を得られる。このように構成すれば、操作者Ｏは、ディスプレイ６００３およびディスプレイ６００４から鉛直上方向（座標系ＲのＺ軸正の向き）からの映像を視認できる。

（閉空間）
以上の各ディスプレイの法線は、各ディスプレイに囲まれる閉空間Ｃを通る。この領域に操作者Ｏが位置すれば、操作者Ｏは、各ディスプレイの映像を観察できる。

なお、閉空間Ｃは操作者Ｏが出入り可能なように少なくとも１方向が開いており、完全な密閉空間ではない。図２０では、座標系ＲのＹ軸負の方向にはディスプレイが構成されず、開いている。また、操作者Ｏの鉛直方向上下には前述のようにディスプレイが構成されるものの、コントローラ（不図示）の操作等のために一部開いている。

なお、閉空間Ｃは操作者Ｏが出入り可能であれば、密閉空間としても構わない。また、本実施例ではＹ軸方向の一方とＸ軸方向の両方を各ディスプレイで覆い閉空間Ｃを構成した。このように、少なくとも直交座標系である座標系Ｒの２本の軸方向それぞれ１箇所ずつを覆うことが好ましい。例えば、Ｙ軸方向の一方と、Ｚ軸方向の１方向を覆う構成としても本発明は実施できる。

操作者Ｏは、閉空間Ｃにおいて、中心視野にてディスプレイ６００１およびディスプレイ６００２（図１９参照のこと）を観察しているとき、周辺視野にてその他のディスプレイを観察できる。

（ディスプレイの表示内容）
ディスプレイ群６００は、移動ロボット６０１が取得するオブジェクト（目標物）Ｔに関する第１の映像を、ディスプレイ６００１および６００２に表示する。これらの映像は、図１９に示す第１のカメラ群６０３１から取得される。

ディスプレイ６００２は、操作者Ｏが移動ロボット６０１を遠隔操作するのに主に用いる情報を表示している。すなわちディスプレイ６００２は、最もオブジェクトＴに関する情報量の多い映像を表示している。

ディスプレイ６００１は、オブジェクトＴに対する補助的な情報を表示可能である。例えば、オブジェクトＴまでの距離等を補助的に表示できる。

その他のディスプレイには、第２の映像を表示する。第２の映像は、図１９に示す第２のカメラ群６０３２から取得される。

本実施例の第２の映像は、オブジェクトＴに関する情報を含まないように構成されている。言い換えれば、第２のカメラ群６０３２は、第１のカメラ群６０３１の主光線と直交する（交差する）方向の映像を取得している。なお、第１の映像との区別が以下のようにつけば、オブジェクトＴの像をその一部に含んでも構わない。

第２の映像は、移動ロボット６０１を本実施例にかかるディスプレイ群６００に対して図１９で示す操作者Ｏの位置（閉空間Ｃ内）に置いたときに、移動ロボット６０１からみた各ディスプレイの方向と実質的に等価な方向の映像である。本実施例では、閉空間Ｃに移動ロボット６０１を置いたとき、各ディスプレイの法線（ディスプレイからの光線が進む方向）とは逆向きに、各カメラの光軸が向くように、カメラ群６０３が構成されている。

（要素）
したがって、本実施例に係る第２の映像は、オブジェクトＴを含まない映像となる。また、第１の映像とは明確に区別可能な、風景の像を要素として含む映像となる。

本実施例では、床面（不図示）から得られるパターンの映像が、映像を操作者Ｏに向けて鉛直下方向から表示するディスプレイ６００３およびディスプレイ６００４に表示される。前述したように、床面はオプティック・フローを生じ得るパターンの情報を含む。

さらに、閉空間Ｃにおいてディスプレイ６００１を注視している際に操作者Ｏが知覚する映像は、ディスプレイ６００３およびディスプレイ６００４の配置により、幾何学的に歪む。この歪みにより、第２の映像がいっそうパターンの流動として知覚されやすくなる。

あるいは、移動ロボット６０１の側面や天面のパターンの映像が、それぞれ対応する方向からのディスプレイに表示される。床面と同様に、側面や天面もオプティック・フローを生じ得るパターンの情報を含む。

すなわち、本実施例に係る第２の映像は、第１の映像上のオブジェクトＴとは空間的、あるいは時間的に異なる変化をする要素を含む映像である。

（スケールの独立）
さらに、本実施例に係る第２の映像のスケール（表示倍率）は、第１の映像のスケールよりも所定の倍率で拡大されている。すなわち、第２の映像の要素は、第１の映像の表示スケールとは独立のスケールで表示される。

すなわち第２の映像の要素は、第１の映像を生成する視点（第１のカメラ群６０３１の視点）の変位に対して、所定の変位速度であるように、表示倍率を決定する。

本実施例では、視点の変位速度よりも、要素の変位速度が速くなるように、表示倍率を拡大している。すなわち、本実施例では第１の映像を生成する視点（第１のカメラ群６０３１の視点）の変位のスケール（移動ロボット６０１の移動速度）に対して、第２の映像の変位のスケール（オプティック・フローの流動速度）は、相対的に異なる。

別の観点では、本実施例では、第１の映像の倍率と、第２の映像の倍率とは互いに異なる。

スケールを第１の映像と独立させ、移動ロボット６０１の移動の速度スケールに対応させるために、本実施例では第２の映像の表示倍率を拡大した。しかしながら、その他の方法によっても本発明の効果を得ることができる。例えば、第２の映像を取得する第２のカメラ群６０３２の撮像倍率（レンズ等の光学素子の光学倍率）を、第１のカメラ群６０３と異ならせてもよい。あるいは、第２の映像の表示あるいは撮像画角を変更（トリミング）させてもよい。

また、第２の映像の倍率を縮小させても構わない。倍率は、ディスプレイ６００２の表示倍率等に基づいて決める。あるいは、前述した所定の関係の決定手段を用いることが好ましい。

すなわち、第２の映像に含まれる種々の要素の表示スケール（第２の映像の倍率）は、第１の映像の表示スケール（第１の映像の表示倍率）とは、互いに異なることになる。

あるいは、各実施例で説明したように要素としてのパターンを画像処理により明示することで本発明の更なる効果を得ることができる。

（効果）
第２の映像により操作者Ｏは、映像上での対象の移動から、周辺視野において、移動ロボット６０１の移動に関する情報を、パターンの流動として知覚できる。

さらに、移動ロボット６０１の移動の速度よりも変位速度の速い第２の映像を周辺視野にて観察することで、遠隔においても移動ロボット６０１の移動感をより得られる。これにより、操作者Ｏの移動ロボット６０１に関する位置（奥行き位置）の知覚を変調できる。変位速度が遅い第２の映像の観察によっても、位置の知覚を変調できる。

さらに、操作者Ｏは、タスクに主に用いディスプレイ６００１（あるいはディスプレイ６００２）の視野の減少なくタスクを遂行できる。

さらに、操作者Ｏは、自らの首を各ディスプレイに向けて回転させることで、首の運動に対する時間遅れなく、移動ロボット６０１の周囲の情報を自然に取得できる。すなわち、第２の映像を、周囲の状況の確認のための映像としても用いられる。

（第６の実施例）
以下、本発明の第６の実施例に係る移動体制御システムについて、添付の図を参照しながら詳細に説明する。実施例１乃至５と同一の構成には同一の符号を付し、説明は省略する。

図２１に示す本実施例に係る移動体制御システムは、ディスプレイ７００、移動ロボット７０１を含む。

移動ロボット７０１は、進行方向Ｆに関し、タスクに関係するオブジェクトＴを含むことのできる第１の映像を取得する第１のカメラ７０１１を有する。移動ロボット７０１はさらに、鉛直下向きの方向Ｕに関し、床面Ｇを含む第２の映像を取得する第２のカメラ７０１２を有する。

本実施例のディスプレイ７００の表示面は、３つの領域に分割されている。表示面の中央領域を含む第１の領域７００１は、第１の映像を表示する。表示面の中央領域を含まない第２の領域７００２、および第３の領域７００３は、第２の映像を表示する。

本実施例に係る第２の映像は複数生成され（複製され）、第２の領域７００２および第３の領域７００３において格子状に配列されている。すなわち、第２の映像そのものが、単位格子として各領域に敷き詰められ、パターンを構成している。例えば、第３の領域に示した単位格子７００３Ｍは、それ単独で第２の映像を表示している。これに隣接する単位格子も、同じく第２の映像を表示している。言い換えれば、全ての単位格子が、それぞれ第２の映像を表示している。

本実施例において第２の映像は、倍率を縮小することにより単位格子のサイズに変更されている。したがって、第１のカメラ７０１１の移動の速度に対して遅い速度のオプティック・フローとなる。なお、映像をトリミングすることによって単位格子を構成する等しても本発明は実施できる。

したがって、本実施例では、第２の映像そのものが要素となり、第１の映像と明確に区別され、空間的あるいは時間的に異なる変化をする。例えば、第２の映像の一部に何らかの物体が映り込めば、この物体がディスプレイ７００上では単位格子の数だけ増えて表示されるので、操作者Ｏにはパターンとして知覚される。

すなわち、第２の映像に含まれる種々の要素の表示スケール（第２の映像の倍率）は、第１の映像の表示スケール（第１の映像の表示倍率）と互いに異なることになる。

さらに、第２の映像は、図２１に示すように消失点に向けて透視投影変換されている。言い換えれば、パターンに奥行きを付与する画像表現を行っている。透視投影変換は、画像処理に関する公知の方法を用いることができる。本実施例では、表示制御部（不図示）が本処理を実行する。これにより、パターンが立体的に知覚される。

（効果）
本実施例では、単位要素が第２の映像で構成されているため、第２の映像の変化がパターンとして、操作者Ｏに増幅されて知覚されることになる。すなわち、操作者Ｏに、移動体の位置や動作に関する情報をより明確に知覚させることができる。

以上説明した実施例以外の形態でも、本発明の趣旨の範囲内で、種々の構成の変更が可能である。

１１、２１、６０１、７０１・・・移動ロボット
１３、４００、５０４・・・ヘッドマウントディスプレイ
３３、５００、５０１、５０２、５０３、７００・・・ディスプレイ
６００・・・ディスプレイ群
１３０、２３０、４３０、５３０・・・表示面
Ｇ・・・・床面
２８、３８・・・シンボル
ＯＦＧ・・正規速度情報

実施例１に係る移動体制御システムの概念図 表示面および表示例の概念図 本発明の原理の説明図 速度情報取得のメカニズムの説明図 床面から得られる正規速度情報の説明図 表示制御部の処理の流れを示すフローチャート 所定の比率を設定するための方法の一例の説明図 実施例２に係る移動ロボット２１の構成の説明図 表示制御部の処理の流れを示すフローチャート 生成する速度映像の要素の例の説明図 シンボル要素により構成された速度映像の説明図 速度情報を表現する要素の配置の説明図 実施例３に係る移動体制御システムおよび表示装置の説明図 表示制御部の処理の流れを示すフローチャート 移動体としての移動者の仮想空間内でＶＲ体験の説明図 表示装置の拡大図 表示装置のその他の例を示す説明図 表示装置のその他の例を示す説明図 実施例５に係る移動体制御システムの説明図 移動体制御システムのディスプレイ群の構成の説明図 実施例６に係る移動体制御システムの説明図

Claims (37)

1. 対象に関する情報を含む第１の映像とともに、前記対象とは空間的あるいは時間的に異なる変化をする要素を含む第２の映像と、を表示可能であって、
   前記要素の変化もしくは変化率のスケールは、前記第１もしくは第２の映像の表示スケールとは独立であるとともに、前記第１の映像を生成する視点の存在する空間における該視点の変位に関する情報のスケールと所定の関係を有する
   ことを特徴とする表示装置。
2. 前記第１の映像の表示スケールは、前記視点の変位に関する情報のスケールと実質的に等倍である
   ことを特徴とする請求項１に記載の表示装置。
3. 前記視点の変位に関する情報は、該視点の速度の情報である
   ことを特徴とする請求項１または２に記載の表示装置。
4. 前記要素の時間的あるいは空間的な変化は、位置の変化を表現する変位である
   ことを特徴とする請求項１乃至３のいずれか一項に記載の表示装置。
5. 前記要素の変位の方向は、前記第１の映像のオプティック・フローの方向と実質的に同一である
   ことを特徴とする請求項４に記載の表示装置。
6. 前記要素の時間的あるいは空間的な変化は、前記要素の表現の変化を含む
   ことを特徴とする請求項１乃至５のいずれか一項に記載の表示装置。
7. 前記所定の関係は、所定の比率を用いて特定される
   ことを特徴とする請求項１乃至６のいずれか一項に記載の表示装置。
8. 前記所定の比率は、前記視点の存在する空間のスケールでの該視点の速度に対して実質的に等倍である
   ことを特徴とする請求項７に記載の表示装置。
9. 前記所定の関係は、前記表示装置の観察者のパラメーターの決定手段により特定される
   ことを特徴とする請求項１乃至８のいずれか一項に記載の表示装置。
10. 前記決定手段は、
    操作者による操作が可能な操作対象と、操作対象の操作の目標を示すターゲットと、表示部材と、
    前記操作者が前記ターゲットおよび前記操作対象の少なくとも一部の動作過程を目視できないように、かつ、前記表示部材の表示する映像を目視可能にするマスクと、
    前記表示部材の観察者が該表示部材からの映像に基づいて前記操作対象を前記ターゲットに向けて変位させる試行を計測する計測部と、を備え、
    前記計測の結果を用いて前記所定の関係を特定する
    ことを特徴とする請求項９に記載の表示装置。
11. 前記所定の関係は前記視点の存在する空間のスケールでの該視点の速度に対して変化する
    ことを特徴とする請求項１乃至１０のいずれか一項に記載の表示装置。
12. 前記要素は、前記視点の変位の情報を表現する形状、模様、色彩のうちの少なくともひとつを有し、
    前記表現は、前記形状、前記模様、前記色彩、あるいは前記形状、前記模様、前記色彩のうちの少なくともひとつの位置、動き、速度、表現のうち少なくともひとつを変化させる
    ことを特徴とする請求項１乃至１１のいずれか一項に記載の表示装置。
13. 前記要素は、シンボル、パターン、テクスチャー、グラデーション、ハッチングパターン、ランダムドットパターン、のうち少なくともひとつを含む
    ことを特徴とする請求項１２に記載の表示装置。
14. 前記第２の映像は透過され、前記第１の映像に重畳される
    ことを特徴とする請求項１乃至１３のいずれか一項に記載の表示装置。
15. 前記表示装置の表示面は、該表示面の中心を含む第１の領域と、前記中心を含まない第２の領域と、を有し、
    前記第２の映像は、前記第２の領域のうち少なくとも一部の領域に表示される
    ことを特徴とする請求項１乃至１４のいずれか一項に記載の表示装置。
16. 前記第２の領域の面積は、前記第１の領域の面積よりも大きい
    ことを特徴とする請求項１５に記載の表示装置。
17. 前記第１の映像に対する前記第２の映像の表示の割合は、前記第１の領域よりも前記第２の領域において高い
    ことを特徴とする請求項１５または１６に記載の表示装置。
18. 前記要素は、前記所定の関係を有さない文字、記号、数字の情報を含まない
    ことを特徴とする請求項１乃至１７のいずれか一項に記載の表示装置。
19. 前記対象の変位は、前記視点の変位に対して所定の時間遅れを含むよう構成されている
    ことを特徴とする請求項１乃至１８のいずれか一項に記載の表示装置。
20. 前記第２の映像は、前記第１の映像よりも遅延が小さいように構成されている
    ことを特徴とする請求項１乃至１９のいずれか一項に記載の表示装置。
21. 前記第２の映像は複数生成され、格子状に配列される
    ことを特徴とする請求項１乃至２０のいずれか一項に記載の表示装置。
22. 前記第２の映像は透視投影変換されている
    ことを特徴とする請求項１乃至２１のいずれか一項に記載の表示装置。
23. 前記表示装置は複数の表示面を有し、
    前記複数の表示面は、該複数の表示面のうち前記第１の映像を表示する表示面の線対称軸に直交する直交線を基準としたとき、前記複数の表示面のうち前記第２の映像を表示する表示面の線対称軸が前記直交線に９０度以上１３５度以下の角度で交差するように閉空間を形成するとともに、
    前記複数の表示面の各法線は、前記閉空間を通過するように構成されている
    ことを特徴とする請求項１乃至２２のいずれか一項に記載の表示装置。
24. 前記複数の表示面の線対称軸が前記直交線に９０度以上１２０度以下の角度で交差するように閉空間を形成する
    ことを特徴とする請求項２３に記載の表示装置。
25. 前記複数の表示面の少なくとも１面の法線は、鉛直方向を向いている
    ことを特徴とする請求項２３または２４に記載の表示装置。
26. 前記複数の表示面は、該複数の表示面のうち前記第１の映像を表示する表示面に配された３本の座標軸を有する直交座標系の少なくとも２本の前記座標軸方向のそれぞれ１箇所ずつを覆うように構成される
    ことを特徴とする請求項２３乃至２５のいずれか一項に記載の表示装置。
27. 対象に関する情報を含む第１の映像とともに、前記第１の映像上の対象とは空間的あるいは時間的に異なる変化をする要素を含む第２の映像と、を表示可能であって、
    前記要素の変化もしくは変化率のスケールは、前記第１もしくは第２の映像の表示スケールとは独立であるとともに、前記第１の映像を生成する視点の存在する空間における該視点の変位に関する情報のスケールと所定の関係を有する
    ことを特徴とする表示装置。
28. 目標物に関する情報を含む第１の映像とともに、前記第１の映像上の目標物とは空間的あるいは時間的に異なる変化をする要素を含む第２の映像と、を表示可能であって、
    前記要素の表示スケールと、前記第１の映像の表示スケールと、は互いに異なる
    ことを特徴とする表示装置。
29. 前記第１の映像の倍率と、第２の映像の倍率と、は互いに異なる
    ことを特徴とする請求項２８に記載の表示装置。
30. 撮像装置を備えた移動体と、該移動体の操作装置と、該移動体の操作者に該移動体に関する映像を表示する請求項１乃至２９のいずれか一項に記載の表示装置と、前記映像を制御する表示制御部と、を有し、
    前記撮像装置は、前記移動体の存在する空間における第１の方向の前記第１の映像を撮像し、
    前記第２の映像は、前記第１の方向と交差する第２の方向の情報を含む
    ことを特徴とする移動体制御システム。
31. 前記要素の時間的あるいは空間的な変化は、位置の変化を表現する変位であり、前記移動体の変位に関する情報のうち、該移動体の速度の情報のスケールに対して所定の関係となるように構成されている
    ことを特徴とする請求項３０に記載の移動体制御システム。
32. 前記移動体に固定の座標系の第１の軸の正の方向を前記移動体の前進方向、第２の軸の正の方向を前記移動体の左折方向、第３の軸の正の方向を前記移動体の移動する面から該移動体に作用する力の方向と定めた場合に、
    前記第２の映像は、前記第２の軸あるいは前記第３の軸の方向の映像である
    ことを特徴とする請求項３０または３１に記載の移動体制御システム。
33. 前記第２の映像は、該第２の映像の上側が前記第１の軸の正の方向と一致するように取得されるように構成されている
    ことを特徴とする請求項３２に記載の移動体制御システム。
34. 前記移動体制御システムは、前記第２の方向の情報を取得可能な検出部を有し、
    前記表示制御部は、前記検出部の取得した前記第２の方向の速度に関する情報を用いて、前記第２の映像を生成する
    ことを特徴とする請求項３０乃至３３のいずれか一項に記載の移動体制御システム。
35. 撮像装置を備えた移動体であって、
    前記撮像装置は、該移動体の操作者が観察可能な該移動体の存在する空間の対象に関する第１の映像を撮像し、
    前記第１の映像とともに前記移動体の操作者が観察可能な第２の映像は、前記第１の映像上で変位する前記対象とは空間的あるいは時間的に異なる変化をする要素を含み、
    前記要素の変化もしくは変化率のスケールは、前記第１もしくは第２の映像の表示スケールとは独立であるとともに、前記移動体の存在する空間における該移動体の変位に関する情報のスケールとは所定の関係を有する
    ことを特徴とする移動体。
36. 操作者による操作が可能な操作対象と、前記操作対象の操作の目標を示すターゲットと、表示装置と、を用意する工程と、
    前記操作者が前記操作対象の少なくとも一部の動作過程を目視できないように、かつ、前記表示装置の表示する映像を目視可能に構成されたマスクと、を用意する工程と、
    前記操作者が前記表示装置からの映像に基づいて前記操作対象を前記ターゲットに向けて変位させ、到達させた位置と前記ターゲットとの誤差を計測する工程と、
    前記誤差を用いて、前記表示装置に表示される映像に含まれる要素の変化あるいは変化率を特定する工程と、を含む
    ことを特徴とする表示装置の製造方法。
37. 操作者による操作が可能な操作対象と、前記操作対象の操作の目標を示すターゲットと、表示装置と、を用意する工程と、
    前記操作者が前記操作対象の少なくとも一部の動作過程を目視できないように、かつ、前記表示装置の表示する映像を目視可能に構成されたマスクと、を用意する工程と、
    前記操作者が前記表示装置からの映像に基づいて前記操作対象を前記ターゲットに向けて変位させ、到達させた位置と前記ターゲットとの誤差を計測する工程と、
    前記誤差を用いて、前記表示装置に表示される映像に含まれる要素の変化あるいは変化率を特定する工程と、を含む
    ことを特徴とすることを特徴とする映像の表示方法。