JP2010128935A - 遠隔操作システムおよび遠隔操作装置 - Google Patents

Abstract

【課題】不慣れな操作者でも移動体を容易に遠隔操作できる遠隔操作システムおよび遠隔操作装置を提供する。
【解決手段】遠隔操作システム１０に含まれる遠隔操作装置１４のＣＰＵ４４は、移動体１２からの過去情報および最新の移動体情報に基づいて過去情報を選択し仮想視点Ｖを決定する。ＣＰＵ４４は、グローバル座標系ＧＣに、選択された過去情報に基づいて３次元環境画像Ｋと仮想視点Ｖとを生成し、最新の移動体情報と移動体モデルＭに関するデータとに基づいて移動体モデルＭを生成し、最新の移動体情報と操舵ユニット５２からの入力量とに基づいて第１補助モデルＭ１と第２補助モデルＭ２とを生成する。そして、ＣＰＵ４４は、３次元環境画像Ｋと移動体モデルＭと第１補助モデルＭ１と第２補助モデルＭ２とを仮想視点Ｖから切り出し中心点Ｑ方向に透視投影して合成画像を生成し、当該合成画像をモニタ３６に表示する。
【選択図】図３

Description

この発明は遠隔操作システムおよび遠隔操作装置に関し、より特定的には、移動体を遠隔操作するための遠隔操作システムおよび遠隔操作装置に関する。

一般に、自動車等の移動体を当該移動体から離れた位置の遠隔操作装置によって遠隔操作する遠隔操作システムが知られている。従来、このような遠隔操作システムにおいて移動体の遠隔操作を容易にするための技術が種々提案されている。その一例として特許文献１には、移動体に設けられるカメラが過去に撮影した環境画像に移動体画像を合成して遠隔操作装置のモニタに表示する技術が開示されている。操作者は、モニタに表示される画像を確認しながら遠隔操作装置の入力機器を用いて移動体を遠隔操作する。
特開２００５−２０８８５７号公報

しかし、特許文献１のように遠隔操作する場合、モニタには実際の移動体の挙動が遅れて表示されるために入力機器への適切な入力量をモニタの画像から把握するためには慣れが必要であり、不慣れな操作者では移動体を思い通りに遠隔操作することが困難であった。特に移動体を右左折させる場合は、操作者が不慣れであれば向きの修正のために入力機器への急な入力（急操作）を繰り返し、移動体を蛇行させるおそれがあった。

それゆえに、この発明の主たる目的は、不慣れな操作者でも移動体を容易に遠隔操作することができる、遠隔操作システムおよび遠隔操作装置を提供することである。

上述の目的を達成するために、請求項１に記載の遠隔操作システムは、移動体と前記移動体を遠隔操作する遠隔操作装置とを備える遠隔操作システムであって、前記移動体は、前記移動体の周囲の環境画像を撮像する撮像手段と、前記移動体および前記撮像手段に関する情報を検出する情報検出手段とを備え、前記遠隔操作装置は、操作者が前記移動体を操舵するための入力手段と、前記情報検出手段の検出結果に基づいて仮想視点を決定する決定手段と、前記撮像手段によって前記仮想視点から撮像された前記環境画像と当該環境画像の撮像時における前記情報検出手段の検出結果とに基づいて、前記環境画像を３次元で表す３次元環境画像と前記仮想視点とを仮想空間に生成する第１生成手段と、前記仮想視点からの前記環境画像の撮像後における前記情報検出手段の検出結果と前記移動体を表す移動体モデルに関するデータとに基づいて、前記移動体モデルを前記仮想空間に生成する第２生成手段と、前記仮想視点からの前記環境画像の撮像後における前記情報検出手段の検出結果と前記入力手段からの入力量とに基づいて、前記入力手段からの入力量の指標となる補助モデルを前記仮想空間に生成する第３生成手段と、前記仮想視点から見た前記３次元環境画像と前記移動体モデルと前記補助モデルとを透視投影して合成画像を生成する第４生成手段と、前記合成画像を表示する表示手段とを備える。

請求項２に記載の遠隔操作システムは、請求項１に記載の遠隔操作システムにおいて、前記補助モデルは、前記移動体モデルの進行方向に直交しかつ前記移動体モデルに対して横方向に延びる第１補助モデルを含むことを特徴とする。

請求項３に記載の遠隔操作システムは、請求項１に記載の遠隔操作システムにおいて、前記補助モデルは、前記移動体モデルの移動経路を表す第２補助モデルを含むことを特徴とする。

請求項４に記載の遠隔操作装置は、移動体の周囲の環境画像を撮像する撮像手段と、前記移動体および前記撮像手段に関する情報を検出する情報検出手段とを備える前記移動体、を遠隔操作する遠隔操作装置であって、操作者が前記移動体を操舵するための入力手段と、前記情報検出手段の検出結果に基づいて仮想視点を決定する決定手段と、前記撮像手段によって前記仮想視点から撮像された前記環境画像と当該環境画像の撮像時における前記情報検出手段の検出結果とに基づいて、前記環境画像を３次元で表す３次元環境画像と前記仮想視点とを仮想空間に生成する第１生成手段と、前記仮想視点からの前記環境画像の撮像後における前記情報検出手段の検出結果と前記移動体を表す移動体モデルに関するデータとに基づいて、前記移動体モデルを前記仮想空間に生成する第２生成手段と、前記仮想視点からの前記環境画像の撮像後における前記情報検出手段の検出結果と前記入力手段からの入力量とに基づいて、前記入力手段からの入力量の指標となる補助モデルを前記仮想空間に生成する第３生成手段と、前記仮想視点から見た前記３次元環境画像と前記移動体モデルと前記補助モデルとを透視投影して合成画像を生成する第４生成手段と、前記合成画像を表示する表示手段とを備える。

請求項１に記載の遠隔操作システムでは、情報検出手段の検出結果に基づいて仮想視点が決定され、撮像手段によって仮想視点から撮像された環境画像と当該環境画像の撮像時における情報検出手段の検出結果とに基づいて、３次元環境画像と仮想視点とが仮想空間に生成される。また、仮想視点からの環境画像の撮像後における情報検出手段の検出結果と移動体モデルに関するデータとに基づいて、移動体モデルが仮想空間に生成される。さらに、仮想視点からの環境画像の撮像後における情報検出手段の検出結果と入力手段からの入力量とに基づいて、入力手段からの入力量の指標となる補助モデルが仮想空間に生成される。そして、仮想視点から見た３次元環境画像と移動体モデルと補助モデルとを透視投影して合成画像が生成され、合成画像が表示手段に表示される。合成画像に表れる補助モデルは、入力手段からの入力量に応じて遠隔操作装置で生成されるので、現在の入力手段からの入力量に略対応するものになる。合成画像においてこのような補助モデルと道の路肩等との位置関係を確認することによって、操作者は移動体モデルひいては移動体を適切な向きで移動させるために必要な入力手段への入力量を容易に把握できる。したがって、不慣れな操作者でも、移動体を容易に遠隔操作することができ、移動体を迅速に目的地に移動させることができる。請求項４に記載の遠隔操作装置においても同様である。

請求項２に記載の遠隔操作システムでは、移動体モデルの進行方向に直交しかつ移動体モデルに対して横方向に延びる第１補助モデルが、補助モデルに含まれる。操作者は、合成画像において道の路肩等と第１補助モデルとの交わり方を確認することによって入力手段への適切な入力量を容易に把握できる。第１補助モデルは、道が急激に曲がっている場合に特に有効である。この場合は道の路肩等に対して第１補助モデルが略直交するように入力手段への入力量を調節することによって、不慣れな操作者でも移動体を容易に安定して遠隔操作することができる。

請求項３に記載の遠隔操作システムでは、移動体モデルの移動経路に沿って延びる第２補助モデルが、補助モデルに含まれる。操作者は、合成画像において道の路肩等と第２補助モデルとの隙間を確認することによって入力手段への適切な入力量を容易に把握できる。第２補助モデルは、道が緩やかに曲がっている場合に特に有効である。この場合は道の路肩等と第２補助モデルとの間隔が一定になるように入力手段への入力量を調節することによって、不慣れな操作者でも移動体を容易に安定して遠隔操作することができる。

この発明によれば、不慣れな操作者でも移動体を容易に遠隔操作することができる、遠隔操作システムおよび遠隔操作装置が得られる。

以下、図面を参照してこの発明の実施の形態について説明する。
図１はこの発明の一実施形態の遠隔操作システム１０を示すブロック図である。図２は移動体１２を示す左側面図である。

図１を参照して、遠隔操作システム１０は、移動体１２と移動体１２を遠隔操作するための遠隔操作装置１４とを含む。
図２をも参照して、移動体１２は、たとえば荒地走行用の４輪バギー車であり農作業や測量等に用いられ、マイクロコンピュータ（以下、マイコンという）１６、速度検出器１８、カメラ２０、測位ユニット２２、姿勢センサ２４、方位センサ２６、ハードディスクドライブ（ハードディスクを含む：以下、ＨＤＤという）２８、駆動部３０および通信機器３２を含む。

速度検出器１８は、左側の前輪３０ａの回転軸近傍に記載に取り付けられ、当該回転軸の回転数に基づいて移動体１２の速度を検出する。
カメラ２０は、移動体１２の前面中央部やや上寄りに設けられ、移動体１２の前方の環境画像を撮像する。カメラ２０はレンズ２０ａを有するデジタルＣＣＤカメラである。レンズ２０ａは広角であることが望ましく、この実施形態では画角が１８０°の全周魚眼レンズが用いられる。これによってカメラ２０は広角な画像を撮像できる。ここで、レンズ２０ａの中心点をカメラ２０の視点Ａとし、視点Ａの位置をカメラ２０の位置とする。

測位ユニット２２は移動体１２の位置を検出するために移動体１２の位置を示す基準点Ｂに設けられる。この実施形態では、基準点Ｂは、視点Ａから水平方向真後ろに引いた直線と２つの後輪３０ｂの中間点を通る垂線との交点に設定される。測位ユニット２２は、ＧＰＳ（Global Positioning System）衛星からの信号を受信することによって基準点Ｂの位置を検出する。

姿勢センサ２４は、たとえば３Ｄジャイロセンサまたは傾斜センサであり、移動体１２の左右の傾き（ロール角）および移動体１２の前後の傾き（ピッチ角）を検出する。
方位センサ２６は移動体１２の前方の向き（方位角）を検出する。

記憶手段であるＨＤＤ２８は、マイコン１６の指示に従って、プログラム、制御用データ、テキストデータおよび画像データ等を、ハードディスクに対して書き込みまた読み出すためのデバイスであり、各種センサによる検出結果、カメラ２０によって撮像された環境画像のデータおよび各種プログラム等を記憶（格納）する。

駆動部３０は、２つの前輪３０ａおよび２つの後輪３０ｂのほか、移動体１２のステアリング機構を動かすためのステアリングモータ、スロットルを動かすためのスロットルモータ、ブレーキレバーを動かすためのブレーキモータ等を含む。

通信機器３２は、移動体１２と遠隔操作装置１４とを通信回線Ｔを介して通信するために用いられる。通信回線Ｔは無線および有線のいずれであってもよく、たとえば無線ＬＡＮや携帯電話回線によるデータ通信が行われる。通信回線Ｔの通信速度は、たとえば２５０ｋｂｐｓ程度である。

マイコン１６は、ＣＰＵ、ＲＡＭ、ＲＯＭおよびクロック等を含み、移動体１２の動作を制御する。マイコン１６は、たとえば０．０２秒毎に測位ユニット２２、姿勢センサ２４および方位センサ２６の検出結果を取得する。これと同時に、マイコン１６は、速度検出器１８の検出結果に基づいてマイコン１６が起動してからの移動体１２の累積移動距離を算出する。移動体１２の位置、姿勢、向きおよび累積移動距離は、これらを取得したときのデータ取得時刻と合わせて「移動体情報」としてＨＤＤ２８に記憶されかつ通信機器３２から遠隔操作装置１４に送信される。また、マイコン１６は、たとえば３秒毎に、カメラ２０から環境画像の画像データを取得するとともに、当該環境画像の撮像時におけるカメラ情報（カメラ２０の位置、姿勢および向きからなる）を取得する。これらの画像データおよびカメラ情報は、当該環境画像の撮像時における移動体１２の累積移動距離および撮像時刻とともに、「過去情報」としてＨＤＤ２８に記憶されかつ通信機器３２から遠隔操作装置１４に送信される。

この実施形態では、カメラ２０は移動体１２に固定されており、カメラ２０の位置を示す視点Ａと移動体１２の位置を示す基準点Ｂとの距離は一定である。したがって、移動体１２の位置からカメラ２０の位置までの前後、左右および上下方向（ここでは前後方向のみ）の距離分だけ、移動体１２の位置からシフトさせた座標位置を、カメラ２０の位置として取得することができる。また、カメラ２０と移動体１２とは姿勢および向きが同じであるので、移動体１２の姿勢および向きをそのままカメラ２０の姿勢および向きとすることができる。したがって、環境画像の撮像時におけるカメラ情報は、その時刻における移動体情報に基づいて得ることができる。
マイコン１６によって駆動部３０も制御される。

図１に戻って、遠隔操作装置１４について説明する。
遠隔操作装置１４は、たとえばパーソナルコンピュータからなるコントロールユニット３４、操作者による移動体１２の操作を支援するための画像等を表示するためのたとえば液晶モニタからなるモニタ３６、操作者が移動体１２を操作するための入力機器３８、および通信回線Ｔを介して移動体１２の通信機器３２と通信するための通信機器４０を含む。

コントロールユニット３４は、バス４２で相互に接続されたＣＰＵ４４ならびに記憶手段であるＲＯＭ４６、ＲＡＭ４８およびＨＤＤ５０を含む。
ＣＰＵ４４は、記憶手段であるＲＯＭ４６やＨＤＤ５０等に記憶された各種のプログラムを実行し、各構成要素に指示を与え、遠隔操作装置１４の動作を制御する。

ＨＤＤ５０は、ＣＰＵ４４の指示に従って、プログラム、制御用データ、テキストデータ、画像データ等を、ハードディスクに対して書き込みまた読み出すためのデバイスである。ＨＤＤ５０は、図３に示す動作を実行するための画像処理プログラム、移動体モデルＭに関するデータ、操作部５２ａ（後述）のハンドルの舵角と２つの前輪３０ａの舵角との対応関係を示すテーブルデータ、および移動体１２から送信されてきた過去情報等を記憶（格納）する。

ＲＯＭ４６は、起動用プログラム等を記憶している。起動用プログラムは、コントロールユニット３４の電源投入時にＣＰＵ４４によって実行される。これによって、ＨＤＤ５０に記録されているオペレーティングシステム（ＯＳ）等のプログラムがＲＡＭ４８にロードされ、各種の処理や制御が実行可能となる。

ＲＡＭ４８には、図３に示す動作を実行するための画像処理プログラム等が展開され、このプログラムによる処理結果、処理のための一時データおよび表示用データ（画像データやテキストデータ等）等を保持する。ＲＡＭ４８はＣＰＵ４４の作業領域として使用される。ＲＡＭ４８上に展開された表示用データは、モニタ３６に伝達される。モニタ３６は、ＲＡＭ４８からの表示用データに対応する表示内容（画像やテキスト等）を表示する。

入力機器３８は、移動体１２の左右２つの前輪３０ａを操舵するための操舵ユニット５２を含む。操舵ユニット５２は、操作者によって操作されるハンドル（ステアリングホイール）を有する操作部５２ａ、および操作部５２ａにおけるハンドルの舵角（切り角）を検出する舵角センサ５２ｂを含む。移動体１２には、舵角センサ５２ｂの検出結果すなわち操舵ユニット５２からの入力量に基づいて２つの前輪３０ａの操舵に関する指令が送信される。これによって、移動体１２のステアリング機構が駆動され、２つの前輪３０ａの舵角が変更される。移動体１２のステアリング機構としては、２つの前輪３０ａにおいて外輪の舵角よりも内輪の舵角が大きくなるアッカーマン機構が用いられる。
また、入力機器３８は、スロットル操作およびブレーキ操作等のためのユニットを含み、これらへの操作入力に基づく指令が遠隔操作装置１４から移動体１２に送信される。

この実施形態では、カメラ２０が撮像手段に相当する。情報検出手段は、速度検出器１８、測位ユニット２２、姿勢センサ２４および方位センサ２６を含む。操舵ユニット５２が入力手段に相当する。遠隔操作装置１４のＣＰＵ４４は、決定手段および第１〜第４生成手段としても機能する。モニタ３６が表示手段に相当する。

ついで、図３を参照して、遠隔操作システム１０の遠隔操作装置１４における画像処理動作の一例について説明する。遠隔操作装置１４では、走行している移動体１２を後方から見た様子をモニタ３６に表示するための画像処理が行われる。

まず、遠隔操作装置１４のＣＰＵ４４によって、移動体１２からの過去情報が受信されたか否かが判断され（ステップＳ１）、過去情報が受信されれば当該過去情報がＨＤＤ５０に記憶され（ステップＳ３）、ステップＳ５に進む。一方、ステップＳ１において過去情報が受信されなければ直接ステップＳ５に進む。ステップＳ５では、ＣＰＵ４４によって、現時点での最新の移動体情報が受信されたか否かが判断される。移動体１２からの当該移動体情報が受信されていなければステップＳ１に戻り、一方、当該移動体情報が受信されれば、ＣＰＵ４４によって、当該移動体情報に基づいてＨＤＤ５０に記憶された過去情報の中から過去情報が選択され仮想視点Ｖが決定される（ステップＳ７）。仮想視点Ｖとは、現在の移動体１２の位置の背後に設定される視点をいい、この実施形態では、現時点までの環境画像撮像時の撮像手段の位置（カメラ２０の視点Ａの位置）の中から選択される。

ここで、過去情報（主に環境画像および仮想視点）の選択方法について図４を参照して説明する。
図４は過去情報の選択方法を説明するための図解図である。図４において、横軸は移動体１２の累積移動距離である。白抜き丸で示されたＦ１，Ｆ２およびＦ３は、過去情報に含まれる累積移動距離を示し、矢印方向に移るほど累積移動距離が大きくなる。累積移動距離がＦ１，Ｆ２およびＦ３であるときに撮像された環境画像およびカメラ２０の視点Ａの位置はそれぞれ、過去情報に含まれＨＤＤ５０に記憶されている。Ｎは現在の移動体１２の位置での累積移動距離であり、図４（ｂ）には図４（ａ）よりも時間的に後の状態が示されている。

この実施形態では、移動体１２の現在位置から所定距離Ｇだけ（たとえば６ｍ）手前の地点に最も近い位置で得られた過去情報が選択され、この過去情報に含まれる環境画像の撮影ポイントが仮想視点Ｖとされる。すなわち、ステップＳ７では、ＣＰＵ４４によって、ステップＳ５で取得した移動体情報に含まれる累積移動距離Ｎから所定距離Ｇを差し引いた距離が求められ、その距離に最も近い累積移動距離を含む過去情報が選択される。
具体的には次のようにして選択される。
図４に示す距離Ｄ１およびＤ２は、数１によって求められる。

図４（ａ）の時点では、Ｄ１＜Ｄ２であるので、累積移動距離Ｆ１を含む過去情報が選択される。すなわち、累積移動距離がＦ１であるときに撮像された環境画像が選択され、累積移動距離がＦ１であるときのカメラ２０の視点Ａの位置が仮想視点Ｖとして決定される。図４（ａ）よりも現在の累積移動距離Ｎが大きくなった図４（ｂ）の時点では、Ｄ１＞Ｄ２であるので、累積移動距離Ｆ２を含む過去情報が選択される。すなわち、累積移動距離がＦ２であるときに撮像された環境画像が選択され、累積移動距離がＦ２であるときのカメラ２０の視点Ａの位置が仮想視点Ｖとして決定される。

図３に戻って、その後、ＣＰＵ４４によって、ステップＳ７において選択された過去情報に基づいて、環境画像Ｉに基づく３次元環境画像Ｋと仮想視点Ｖとが、仮想空間としてのグローバル座標系ＧＣに生成される（ステップＳ９）。
この処理について図５から図７を参照して説明する。

図５はカメラ２０によって撮像される環境画像Ｉが表されるｙ軸とｚ軸とからなる２次元直交座標系Ｃ１を示す図解図である。環境画像Ｉは、レンズ２０ａ前方の全風景を含む２次元の魚眼画像（円形画像）である。環境画像Ｉの中心点はカメラ２０の視点Ａ（図２参照）に対応している。カメラ撮影中心方向（図６に示す座標系Ｃ２におけるｘ軸方向）は、図５の紙面に直交する方向である。

図６は、２次元の環境画像Ｉを３次元変換した３次元環境画像Ｋが表示される３次元直交座標系Ｃ２を示す図解図である。座標系Ｃ２では、原点Ｏはカメラ２０の視点Ａであり、ｘ軸方向はカメラ撮影中心方向、ｙ軸方向はｘ軸方向が水平方向の１方向であるときにｘ軸方向に直交する水平方向の他の方向、ｚ軸方向はｘ軸方向が水平方向の１方向であるときの鉛直方向である。

図７は、仮想空間としてのグローバル座標系ＧＣを示す図解図である。グローバル座標系ＧＣは、Ｘ軸、Ｙ軸およびＺ軸からなる３次元直交座標系である。グローバル座標系ＧＣの原点Ｏは、移動体１２のマイコン１６が起動したときのカメラ２０の視点Ａの位置である。Ｘ軸方向が南北方向、Ｙ軸方向が東西方向、Ｚ軸方向が鉛直方向である。

図５に示す平面形状の環境画像Ｉは、図６に示す立体形状（ここでは半球状）の３次元環境画像Ｋに変換されて図７に示すグローバル座標系ＧＣに生成される。座標系Ｃ２における３次元環境画像Ｋの座標Ｐ（ｘ，ｙ，ｚ）は、座標系Ｃ１における環境画像Ｉの座標Ｐ（ｐｙ，ｐｚ）に基づいて数２によって求められる。Ｐ（ｘ，ｙ，ｚ）は、図６に示す半球面（３次元環境画像Ｋ）上の点である。

ここで、φは原点Ｏからｙ軸プラス方向の線分と線分ＯＰとのなす角度であり、その範囲は０≦φ＜２πである。φは（ｐｙ，ｐｚ）とｔａｎの逆関数（ａｒｃｔａｎ）とを用いて求めることができる。また、θは、図６に示すように、原点Ｏと点Ｐとを結ぶ線分ＰＯとｘ軸とのなす角度である。３次元環境画像Ｋの形状は、レンズ２０ａの特性によって決定される。このことからθは、環境画像Ｉの座標Ｐ（ｐｙ，ｐｚ）に基づいて所定の数式を用いて算出することやＨＤＤ５０に記憶されているテーブルデータから取得することによって得られる。θは０≦θ≦π／２である。さらに、Ｊは、図６に示すように、原点Ｏから点Ｐまでの距離（３次元環境画像Ｋの半径）であり、任意の値に設定される。この実施形態では、Ｊがたとえば１０ｍに設定される。

具体的には、次のようにして座標系Ｃ２における３次元環境画像Ｋの座標Ｐ（ｘ，ｙ，ｚ）が求められる。
まず、環境画像Ｉが座標系Ｃ１に配置される。環境画像Ｉは、その中心点が座標系Ｃ１の原点Ｏに一致するように配置される。そして、環境画像Ｉを複数（たとえば縦１６×横１６＝２５６：図５では図面の簡略化のため縦６×横６＝３６とする）の正方形状の画像片ＩＰに分割し、座標系Ｃ１における各画像片ＩＰの頂点の座標Ｐ（ｐｙ，ｐｚ）が取得される。つづいて、取得した座標Ｐ（ｐｙ，ｐｚ）に基づいて座標系Ｃ２における座標Ｐ（ｘ，ｙ，ｚ）が数２によって求められる。

このようにして画像片ＩＰの４頂点についてそれぞれ座標系Ｃ２における座標Ｐ（ｘ，ｙ，ｚ）を求める。そして、座標系Ｃ２における画像片ＩＰの４頂点の座標Ｐ（ｘ，ｙ，ｚ）がそれぞれ、仮想視点Ｖからの撮影時の過去情報に含まれるカメラ２０の姿勢（ロール角ｒ、ピッチ角ｐ）および向き（方位角ｙ）とカメラ２０の位置（ｘ_c，ｙ_c，ｚ_c）とを用いて、グローバル座標系ＧＣにおける座標（ｘ_G，ｙ_G，ｚ_G）に変換される。このような座標変換は、一般に軸周りの回転と平行移動とによって行うことができ、数３によって行われる。

ここで、ロール角ｒ、ピッチ角ｐおよび方位角ｙはそれぞれ、オイラー角と呼ばれ、グローバル座標系ＧＣにおける座標系Ｃ２のｘ軸周りの回転角、ｙ軸周りの回転角およびｚ軸周りの回転角であり、各軸右ねじが進む方向が正である。ロールおよびピッチの原点はグローバル座標系ＧＣの鉛直上方向であり、方位の原点はグローバル座標系ＧＣの真北方向である。

このようにしてグローバル座標系ＧＣにおける画像片ＩＰの４頂点の座標がそれぞれ求められる。すなわちグローバル座標系ＧＣにおける画像片ＩＰの位置が特定される。そして、当該特定された位置に画像片ＩＰが生成（配置）される。この処理を全ての画像片ＩＰについて行うことによって、図７に示すように、グローバル座標系ＧＣの３次元空間に環境画像Ｉを３次元で表す３次元環境画像Ｋが生成される。また、３次元環境画像Ｋの生成とともに、座標系Ｃ２の原点Ｏに位置する仮想視点Ｖがグローバル座標系ＧＣにおけるカメラ２０の位置（ｘ_c，ｙ_c，ｚ_c）に生成される。

このようなステップＳ９の処理には、一般的に使用できるグラフィックライブラリを用いることができる。この実施形態では、グラフィックライブラリとしてシリコングラフィック社が提供しているOpenGL（登録商標）が用いられる。ステップＳ９の処理は、OpenGL（登録商標）によって提供される関数{glTexcoord2D(px,py)およびglVertex3D(x,y,z)：px,pyは図５に示す座標系Ｃ１での座標値であり、x,y,zは図７に示す座標系ＧＣでの座標値である}を用いて一連の動作として行われる。

なお、実際の３次元環境画像Ｋは、平面形状の画像片ＩＰを繋ぎ合わせることによって、多面体（ここでは２５６面体）のドーム形状になる。図６および図７には、図面の簡略化のために半球状の３次元環境画像Ｋが示されている。

図３に戻って、ステップＳ９の後、ＣＰＵ４４によって、移動体モデルＭ、第１補助モデルＭ１、第２補助モデルＭ２、基準点Ｂ、および切り出し中心点Ｑがグローバル座標系ＧＣに生成される（ステップＳ１１）。ＣＰＵ４４は、ステップＳ５において受信された最新の移動体情報およびＨＤＤ５０に記憶された移動体モデルＭに関するデータに基づいて、移動体１２を表す移動体モデルＭ、移動体１２の位置を示す基準点Ｂ、および投影画像を切り出すときの中心となる切り出し中心点Ｑをグローバル座標系ＧＣに生成する。また、ＣＰＵ４４は、ステップＳ５において受信された最新の移動体情報および舵角センサ５２ｂの検出結果（操舵ユニット５２からの入力量）に基づいて、操舵ユニット５２からの入力量の指標となる第１補助モデルＭ１および第２補助モデルＭ２をグローバル座標系ＧＣに生成する。
これらの処理について図８から図１０を参照して説明する。

まず、図８を参照して移動体モデルＭの生成方法について説明する。図８は、移動体モデルの生成方法を説明するための図解図である。説明を簡単にするために、図８に示す移動体モデルを立方体形状とする。
図８に示すように、移動体モデルは点群とそれらのうちの対応する２点間を結ぶ直線とによって移動体の形状のイメージを表現できる。移動体モデルは、その中心が原点Ｏに位置し、その前方がｘ軸方向を向きかつその上方がｚ軸方向を向くように３次元直交座標系Ｃ３に配置される。移動体モデルの各頂点には座標値が付与され、たとえば移動体モデルを示す立方体の各辺の長さを２とすると、頂点Ｓ１は（１，１，１）、頂点Ｓ２は（１，−１，１）として表すことができる。
そして、立方体の各頂点が、数４によってグローバル座標系ＧＣに座標変換される。

ここで、（ｘ_m，ｙ_m，ｚ_m）は移動体情報から得られるグローバル座標系ＧＣでの移動体１２の現在の位置である。（ｘ_b，ｙ_b，ｚ_b）は座標系Ｃ３における移動体モデルを構成する点の座標値（座標変換対象となる座標値）である。（ｘ_a，ｙ_a，ｚ_a）は（ｘ_b，ｙ_b，ｚ_b）をグローバル座標系ＧＣに座標変換した後の座標値である。ｒ，ｐおよびｙはそれぞれ、移動体情報から得られるグローバル座標系ＧＣでの移動体１２の現在のロール角、ピッチ角および方位角であり、この実施形態では、カメラ２０のロール角ｒ、ピッチ角ｐおよび方位角ｙと同値である。

そして、グローバル座標系ＧＣに座標変換された各頂点を直線で結ぶことによって、立方体の移動体モデルがグローバル座標系ＧＣに生成される。すなわち移動体モデル全体がグローバル座標系の画像に変換される。

実際の移動体モデルＭは、点群とそれらのうちの対応する２点間を結ぶ直線とによって移動体１２のモデルを形成する。また、実際の移動体モデルＭは、その基準点Ｂが原点Ｏに位置し、その前方がｘ軸方向を向きかつその上方がｚ軸方向を向くように座標系Ｃ３に配置される。移動体モデルＭに関するデータとしては、少なくとも点群の各点について座標系Ｃ３における座標値を付与しておく。ステップＳ９と同様に数４を用いて点群の各点を座標変換しかつ対応する２点を直線で結ぶことによって、グローバル座標系ＧＣに移動体モデルＭを生成できる（図７参照）。

このようにして移動体モデルＭが仮想空間としてのグローバル座標系ＧＣに生成される。また、移動体１２の位置を示す基準点Ｂと投影画像を切り出すときの中心となる切り出し中心点Ｑとについても同様にグローバル座標系ＧＣに生成される。この実施形態では、切り出し中心点Ｑが移動体モデルＭの前方正面に所定距離だけ離れた位置に設定される。具体的には、たとえば基準点Ｂから６ｍ前方の位置に切り出し中心点Ｑが設定される。

なお、移動体モデルが直線を含まず点群だけで表現される場合には、点群の全ての点の座標値を数４によってグローバル座標系ＧＣに座標変換すればよい。

また、移動体モデルＭの前輪および後輪を表す点群の座標値は入力機器３８からの入力量に応じて変更される。これによって、移動体モデルＭの前輪が左または右に傾いている様子等を表現できる。

ついで、図９を参照して、第１補助モデルＭ１の生成方法について説明する。
図９は、第１補助モデルＭ１の生成方法を説明するための図解図である。図９には、座標系Ｃ３をｚ軸のプラス側（図８参照）から見た状態が示されている。また、図９には、操作部５２ａのハンドルが左に切られた状態（左折時の状態）が示されている。説明を簡単にするために、まず座標系Ｃ３におけるｘ軸座標値およびｙ軸座標値について考える。

図９に示すように、第１補助モデルＭ１は、移動体モデルＭの左側の点ＥＬと移動体モデルＭの右側の点ＥＲとを結ぶことによって直線状のイメージとして表現される。この実施形態では、左折時に点ＥＬが移動体モデルＭの旋回中心点Ｒに設定される。一般に、移動体１２のような４輪車両では、左右の後輪および操舵輪である左右の前輪の回転軸の延長線が交わる点が旋回中心点となる。移動体モデルＭの後輪の回転軸の延長線はｙ軸に一致し、ｙ軸上で左右の前輪の回転軸の延長線が交わる点が旋回中心点Ｒとなる。このことから、旋回中心点Ｒは（０，ｒ）で表される。旋回中心点Ｒのｙ軸座標値ｒは数５によって求められる。

ここで、Ｌは、左側の前輪の中心点ＦＬと右側の前輪の中心点ＦＲとの中間点ＦＭと、基準点Ｂとの距離である。すなわちＬは移動体１２のホイルベース（前後の車軸間距離）である。また、Ｗは中心点ＦＬと中心点ＦＲとの距離である。すなわちＷは左右の前輪の中心点間の距離である。中心点ＦＬ，ＦＲおよび中間点ＦＭの座標値、ならびにＬおよびＷの値は、予めＨＤＤ５０に記憶されている。αＬは左側の前輪の舵角である。図９から中心点ＦＬと旋回中心点Ｒとを結ぶ直線とｙ軸とがなす角度もαＬとなることがわかる。ＣＰＵ４４は、操舵ユニット５２からの入力量に基づいてＨＤＤ５０のテーブルデータから舵角αＬを取得する。このように数５によって旋回中心点Ｒひいては点ＥＬ（第１補助モデルＭ１の一方の端点）のｙ軸座標値ｒが求められる。

また、点ＥＲ（第１補助モデルＭ１の他方の端点）は、点ＥＬと中間点ＦＭとを結ぶ直線の延長線上かつ点ＥＬから中間点ＦＭまでの距離分だけ中間点ＦＭから離れた位置に設定される。したがって、点ＥＲは（２Ｌ，−ｒ）で表すことができる。

右左折時（ここでは左折時）において予測される移動体モデルＭの進行方向は、旋回中心点Ｒと中間点ＦＭとを結ぶ直線に直交する方向である。したがって、点ＥＬと点ＥＲとを結ぶ直線によって表現される第１補助モデルＭ１は、移動体モデルＭの進行方向に直交しかつ移動体モデルＭに対して横方向に延びる。

なお、舵角αＬに代えて右側の前輪の舵角αＲを用いて旋回中心点Ｒ（点ＥＬ）のｙ軸座標値ｒを求めてもよい。この場合は、数５において、αＬに代えてαＲを用いるとともにＷ／２を加算することに代えてＷ／２を減算すればよい。
また、右折時には点ＥＲを旋回中心点Ｒに設定して点ＥＲのｙ軸座標値ｒを求め、点ＥＬの座標値を（２Ｌ，ｒ）とすればよい。

一方、操作部５２ａのハンドルの舵角が０°の場合すなわち移動体モデルＭが直進する場合、点ＥＬは（Ｌ，ｒ）で表され、点ＥＬは（Ｌ，−ｒ）で表される。この場合のｙ軸座標値ｒには予めＨＤＤ５０に記憶されている固定値が用いられる。図９には、この場合の点ＥＬおよび点ＥＲが白抜きの丸で示され、これらを結ぶ直線が一点鎖線で示されている。この場合も、第１補助モデルＭ１は、移動体モデルＭの進行方向に直交しかつ移動体モデルＭに対して横方向に延びるイメージになる。

ここで、座標系Ｃ３における点ＥＬおよび点ＥＲのｚ軸座標値は、予めＨＤＤ５０に記憶されている固定値を用いればよい。この実施形態では、基準点Ｂの高さと前輪３０ａの下端の高さとの差Ｈｚ（図２参照）に対応するように点ＥＬおよび点ＥＲのｚ軸座標値がそれぞれ設定される。したがって、この実施形態では、第１補助モデルＭ１が移動体モデルＭの下方を通る直線として表現される。

このようにして得られる点ＥＬと点ＥＲとを上述と同様に数４を用いて座標変換しかつこれらを直線で結ぶことによって、グローバル座標系ＧＣに第１補助モデルＭ１が生成される。

ついで、図１０および図１１を参照して、第２補助モデルＭ２の生成方法について説明する。
図１０および図１１は、第２補助モデルＭ２の生成方法を説明するための図解図である。図１０および図１１には、座標系Ｃ３をｚ軸のプラス側（図８参照）から見た状態が示されている。また、図１０には左折時の状態が示され、図１１には直進時の状態が示されている。上述の第１補助モデルＭ１と同様に、まず座標系Ｃ３におけるｘ軸座標値およびｙ軸座標値について考える。

図１０に示すように、第２補助モデルＭ２は移動体モデルＭの移動経路を表す点群ＧＬおよび点群ＧＲを含む。点群ＧＬは点ＰＬ１〜ＰＬ８によって構成され、点群ＧＲは点ＰＲ１〜ＰＲ８によって構成される。

右左折時（ここでは左折時）において中心点ＦＬは、旋回中心点Ｒを中心とする半径ｒ１の円周上を移動することになる。点群ＧＬを構成する点ＰＬ１〜ＰＬ８は、中心点ＦＬの移動経路を表すように、当該円周上に所定間隔ＩＮを有して中心点ＦＬ側から順に配列される。このような点ＰＬ１〜ＰＬ８の座標値は数６によって求められる。

ここで、ｎは中心点ＦＬから見て何番目の点ＰＬであるのかを示す整数（ここでは１〜８）である。また、中心点ＦＬの旋回半径であるｒ１は、上述の数５によって求められるｒを用いて、Ｌ²＋（ｒ−Ｗ／２）²の平方根で求められる。θＬは、中心点ＦＬと旋回中心点Ｒとを結ぶ直線と、点ＰＬ１と旋回中心点Ｒとを結ぶ直線とがなす角度であり、ＩＮ／ｒ１［ｒａｄ］で求められる。所定間隔ＩＮは、予めＨＤＤ５０に記憶されている固定値であり、たとえば０．５ｍである。なお、右左折時の所定間隔ＩＮは、点ＰＬｎと点ＰＬｎ＋１とを結ぶ円弧の長さである。

また、右左折時（ここでは左折時）において中心点ＦＲは、旋回中心点Ｒを中心とする半径ｒ２の円周上を移動することになる。点群ＧＲを構成する点ＰＲ１〜ＰＲ８は、中心点ＦＲの移動経路を表すように、当該円周上に所定間隔ＩＮを有して中心点ＦＲ側から順に配列される。このような点ＰＲ１〜ＰＲ８の座標値は数７によって求められる。

ここで、ｎは中心点ＦＲから見て何番目の点ＰＲであるのかを示す整数（ここでは１〜８）である。また、中心点ＦＲの旋回半径であるｒ２は、上述の数５によって求められるｒを用いて、Ｌ²＋（ｒ＋Ｗ／２）²の平方根で求められる。また、θＲは、中心点ＦＲと旋回中心点Ｒとを結ぶ直線と、点ＰＲ１と旋回中心点Ｒとを結ぶ直線とがなす角度であり、ＩＮ／ｒ２［ｒａｄ］で求められる。

一方、図１１に示すように、操作部５２ａのハンドルの切り角が０°の場合すなわち移動体モデルＭが直進する場合、中心点ＦＬおよび中心点ＦＲは、ｘ軸と平行な直線上を移動することになる。この場合の点ＰＬ１〜ＰＬ８の座標値は数８によって求められる。

なお、直進時の所定間隔ＩＮは、点ＰＬｎと点ＰＬｎ＋１とを結ぶ直線の長さである。
同様に、この場合の点ＰＲ１〜ＰＲ８の座標値は数９によって求められる。

このように、移動体モデルＭが右左折する場合は数６および数７によって点ＰＬ１〜ＰＬ８および点ＰＲ１〜ＰＲ８の座標値が求められる。移動体モデルＭが直進する場合は数８および数９によって点ＰＬ１〜ＰＬ８および点ＰＲ１〜ＰＲ８の座標値が求められる。

なお、上述の第１補助モデルＭ１と同様に、座標系Ｃ３における点ＰＬ１〜ＰＬ８および点ＰＲ１〜点ＰＲ８のｚ軸座標値は、予めＨＤＤ５０に記憶されている。この実施形態では、点ＰＬ１〜ＰＬ８および点ＰＲ１〜ＰＲ８のｚ軸座標値が上述の点ＥＬ（ＥＲ）のｚ軸座標値と同値に設定される。したがって、この実施形態では、第２補助モデルＭ２が移動体モデルＭの下方から前方に配列される点群として表現される。

このようにして得られる点ＰＬ１〜ＰＬ８と点ＰＲ１〜ＰＲ８とを上述と同様に数４を用いて座標変換することによって、グローバル座標系ＧＣに第２補助モデルＭ２が生成される。

図３に戻って、ステップＳ１１の後、操作者へ提供する表示画像の中で移動体モデルＭの大きさが略一定となるように、ＣＰＵ４４によって仮想視点Ｖからの画角が算出される（ステップＳ１３）。ここでは、モニタ３６の画面（たとえば、縦７６８ピクセル×横１０２４ピクセルの画面）に、所定サイズ（たとえば縦４８０ピクセル×横８００ピクセル）の表示画像が表示されるものとする。表示画像のサイズ（たとえば縦４８０ピクセル×横８００ピクセル）に関する情報、および表示画像の縦横比（たとえば縦：横＝３：５）に関する情報は、予めＨＤＤ５０に記憶されている。

図１２は、グローバル座標系ＧＣに生成された移動体モデルＭを横方向から見た状態を示す図解図である。
図１２において、ｄは仮想視点Ｖから移動体１２の基準点Ｂ（現在の移動体１２の位置）までの距離、βは仮想視点Ｖからの縦画角、ｈは移動体モデルＭの高さ、Ｈは仮想視点Ｖから縦画角βで切り出したときの距離ｄの位置（基準点Ｂを通る縦面）での切り出し幅である。距離ｄは仮想視点Ｖの位置と基準点Ｂの位置とから得ることができる。

図１２を参照して、縦画角βの算出方法について説明する。
モニタ３６に移動体モデルＭが表示されるとき、移動体モデルＭの縦サイズを表示画像の縦サイズの一定値ｋ（０＜ｋ＜１）倍の大きさにするには、ｋ＝ｈ／Ｈの関係が成立すればよい。たとえばｋ＝ｈ／Ｈ＝０．３３である。
また、図１２より、ｄ＊ｔａｎ（β／２）＝Ｈ／２が成立する。
これらの２つの数式より、縦画角βは数１０によって求められる。

図１２（ｂ）には、図１２（ａ）の状態から移動体１２が移動し、仮想視点Ｖから移動体１２の基準点Ｂまでの距離ｄが長くなった状態が示されている。Ｈ，ｈおよびｋは固定値であるが、ｄが大きくなるので、数５より、図１２（ｂ）の縦画角βは図１２（ａ）のそれより小さくなる。

このように縦画角βを設定することによって、表示画像中での移動体モデルＭの縦サイズを略一定に保つことができ、縦画角βを固定する場合とは異なり、移動体モデルＭが表示画像中ひいてはモニタ３６の画面内で小さくなっていくことを防止できる。

図１２（ｂ）に示す仮想視点Ｖと基準点Ｂとを結ぶ線が、３次元直交座標系Ｃ２のｘ−ｙ平面上にある場合、仮想視点Ｖからの横画角γは図１３に示すようになる。
図１３は、グローバル座標系ＧＣに生成された３次元環境画像Ｋと移動体モデルＭと第１補助モデルＭ１と第２補助モデルＭ２とを３次元直交座標系Ｃ２のｚ軸方向のプラス側（図７参照）から見た状態を示す図解図である。図１３では、３次元環境画像Ｋは、仮想視点Ｖにて撮影された画角１８０°の半球状の広角画像である。

縦画角βと同様に、横画角γは、表示画像の横サイズに対する移動体モデルＭの横サイズの倍率を設定しておくことによって算出できる。また、横画角γは、算出した縦画角βと表示画像の予め設定された縦横比（たとえば縦：横＝３：５）とに基づいて算出することもできる。

なお、投影画像の切り出し範囲は、縦画角βに基づく切り出し縦幅および横画角γに基づく切り出し横幅のいずれか一方と、表示画像の縦横比（たとえば縦：横＝３：５）とに基づいて決定できる。この実施形態では、縦画角βと表示画像の縦横比とに基づいて投影画像の切り出し範囲が決定される。このことから、ステップＳ１３では横画角γを求める処理を行っていない。

図３に戻って、その後、ＣＰＵ４４によって合成画像が生成される（ステップＳ１５）。
合成画像の生成には、一般的に使用できる３次元グラフィックライブラリを用いることができる。この実施形態では、OpenGL（登録商標）とそれをマイクロソフト社のWindows（登録商標）で使用するためにフリーで提供されているgluLookAt関数およびgluPerspective関数を使用した。gluLookAt関数への引数として、グローバル座標系ＧＣでの仮想視点Ｖの位置と切り出し中心点Ｑの位置とを与え、gluPerspective関数への引数として縦画角βと表示画像の縦横比（たとえば縦：横＝３：５）とを与える。これによって、グローバル座標系ＧＣに生成された３次元環境画像Ｋと移動体モデルＭと第１補助モデルＭ１と第２補助モデルＭ２とを含んで透視投影した合成画像を描画できる。

このようにして得られた合成画像は、３次元環境画像Ｋと移動体モデルＭと第１補助モデルＭ１と第２補助モデルＭ２とを仮想視点Ｖから切り出し中心点Ｑに向かって透視投影して得られる投影画像を、得られた縦画角βと表示画像の縦横比とに基づく切り出し範囲に応じて切り出したものになる。

その後、合成画像をモニタ３６に所定サイズ（たとえば縦４８０ピクセル×横８００ピクセル）で表示できるように、ＣＰＵ４４によって合成画像の大きさが変換され表示画像が得られる（ステップＳ１７）。そして、得られた表示画像（大きさが変換された合成画像）がモニタ３６に表示され、操作者に提示される（ステップＳ１９）。

図１３に示すように移動体モデルＭが仮想視点Ｖを背にして前進する場合には、仮想視点Ｖと切り出し中心点Ｑとを結ぶ線上に基準点Ｂが位置する。したがって、この場合には、基準点Ｂを中心位置とした表示画像が提示されることになる。

しかし、移動体モデルＭが曲がるときには、切り出し中心点Ｑと移動体モデルＭとの位置関係から、移動体モデルＭの進行方向側の画像がより広く操作者に提示される。たとえば移動体モデルＭが左に曲がるときには、図１４に示すように仮想視点Ｖと切り出し中心点Ｑとを結ぶ線を中心線として切り出し範囲が決定される。

したがって、仮想視点Ｖに対する移動体モデルＭの向きが変化していくと、それに伴って移動体モデルＭの進行方向側の画像が徐々に広く提示されていき、操作者に違和感のない画像を提示でき、操作者は移動体１２の進行方向の環境を認識しやすくなり移動体１２をより容易に遠隔操作することができる。

このようなステップＳ１からＳ１９の処理が０．１秒程度のインターバルで繰り返される。

遠隔操作装置１４ひいては遠隔操作システム１０によれば、現在の操作部５２ａのハンドルの切り角（操舵ユニット５２からの入力量）に応じて第１補助モデルＭ１および第２補助モデルＭ２を生成できる。そして、操作者は、表示画像（大きさが変換された合成画像）においてこのような第１補助モデルＭ１と第２補助モデルＭ２と道の路肩等との位置関係を確認することによって、移動体モデルＭひいては移動体１２を適切な向きで移動させるために必要なハンドルの切り角を容易に把握できる。したがって、不慣れな操作者でも、移動体１２を容易に遠隔操作することができ、移動体１２を迅速に目的地に移動させることができる。

操作者は、表示画像において道の路肩等と第１補助モデルＭ１との交わり方を確認することによってハンドルの適切な切り角を容易に把握できる。第１補助モデルＭ１は、図１５に示すように道が急激に曲がっている場合（道の曲率が大きい場合）に特に有効である。すなわち移動体１２の進行方向が右または左に９０°以上変更されるような場合に特に有効である。この場合は道の路肩に対して第１補助モデルＭ１が略直交するようにハンドルの切り角を調節することによって、不慣れな操作者でも移動体１２を容易に安定して遠隔操作することができる。

また、操作者は、表示画像において道の路肩等と第２補助モデルＭ２との隙間を確認することによってハンドルの適切な切り角を容易に把握できる。第２補助モデルＭ２は、図１６に示すように道が緩やかに曲がっている場合（道の曲率が小さい場合）に特に有効である。この場合は道の路肩（図１６では路面上のサイドライン）と第２補助モデルＭ２との間隔が一定になるようにハンドルの切り角を調節することによって、不慣れな操作者でも移動体１２を容易に安定して遠隔操作することができる。

なお、上述の実施形態では過去情報は距離に基づいて選択されたが、これに限定されない。過去情報は時刻に基づいて上記距離の場合と同様の方法で選択されてもよい。すなわち、過去情報に含まれる撮像時刻と現在時刻から５秒前の時刻とを比較し、当該５秒前の時刻に最も近い撮像時刻に撮影された過去情報を採用するようにしてもよい。また、通信機器３２から遠隔操作装置１４に送信されてきた過去情報の中から操作者が任意に選択するようにしてもよい。

移動体１２に関する情報とカメラ２０に関する情報とは別々の検出手段によって検出されてもよい。移動体１２および／またはカメラ２０の位置、姿勢および方位は、既存の３次元自己位置推定手法によって求められてもよい。

上述の実施形態では、左折時における点ＥＬを旋回中心点Ｒに設定しかつ右折時における点ＥＲを旋回中心点Ｒに設定する場合について説明したが、これに限定されない。点ＥＬおよび点ＥＲの座標値は、点ＥＬと点ＥＲとを結ぶ直線が旋回中心点Ｒと中間点ＦＭとを結ぶ直線に重なる限り任意に設定できる。すなわち第１補助モデルＭ１の長さは任意に設定できる。

上述の実施形態では、第２補助モデルＭ２の点群ＧＬと点群ＧＲとをそれぞれ８個の点で構成する場合について説明したが、点群ＧＬと点群ＧＲとを構成する点の数は任意に設定できる。

座標系Ｃ３における点ＥＬ、点ＥＲ、点ＰＬ１〜ＰＬ８および点ＰＲ１〜ＰＲ８のｚ軸座標値は上述の実施形態に限定されず、任意に設定できる。たとえば、これらのｚ軸座標値を中心点ＦＬおよび中心点ＦＲのｚ軸座標値と同値に設定してもよい。つまり、第１補助モデルＭ１および第２補助モデルＭ２の高さを移動体モデルＭの前輪の中心と同じ高さに設定してもよい。

上述の実施形態では、第１補助モデルＭ１および第２補助モデルＭ２をグローバル座標系ＣＧに生成する場合について説明したが、これらのうちいずれか一方のみを生成するようにしてもよい。操舵ユニット５２からの入力量に基づいて、直進時には第１補助モデルＭ１を生成し、右左折時には第２補助モデルＭ２を生成するといったように、生成する補助モデルを切り替えてもよい。

上述の実施形態では、撮像手段として画角１８０°のカメラを用いる場合について説明したが、撮像手段はこれに限定されない。撮像手段の画角は大きいほど好ましく、撮像手段としてたとえば画角２７０°程度のカメラを用いれば、右左折時に表示画像中に環境画像の画像端が表れることを防止できる。

この発明における移動体は、上述の４輪バギー車に限定されない。移動体の他の例としては、ショベルカー等の建設機械、および船舶等が挙げられる。

この発明の一実施形態の遠隔操作システムを示すブロック図である。 移動体の一例を示す左側面図である。 図１の遠隔操作システムの遠隔操作装置における画像処理動作の一例を示すフロー図である。 過去情報の選択方法を説明するための図解図である。 環境画像が表される２次元直交座標系を示す図解図である。 ３次元環境画像が表示される３次元直交座標系を示す図解図である。 仮想空間としてのグローバル座標系を示す図解図である。 移動体モデルの生成方法を説明するための図解図である。 第１補助モデルの生成方法を説明するための図解図である。 左折時における第２補助モデルの生成方法を説明するための図解図である。 直進時における第２補助モデルの生成方法を説明するための図解図である。 この発明の実施形態における縦画角を示す図解図である。 グローバル座標系に生成された３次元環境画像と移動体モデルと第１補助モデルと第２補助モデルとを上から見た状態を示す図解図である。 この発明の実施形態において移動体モデルが左折する場合を示す図解図である。 この発明の実施形態において表示される合成画像の一例を示す図解図である。 この発明の実施形態において表示される合成画像の他の例示す図解図である。

符号の説明

１０ 遠隔操作システム
１２ 移動体
１４ 遠隔操作装置
１６ マイクロコンピュータ
１８ 速度検出器
２０ カメラ
２０ａ レンズ
２２ 測位ユニット
２４ 姿勢センサ
２６ 方位センサ
２８，５０ ハードディスクドライブ
３２，４０ 通信機器
３４ コントロールユニット
３６ モニタ
３８ 入力機器
４４ ＣＰＵ
４６ ＲＯＭ
４８ ＲＡＭ
５２ 操舵ユニット
５２ａ 操作部
５２ｂ 舵角センサ
Ｃ１ ２次元直交座標系
Ｃ２，Ｃ３ ３次元直交座標系
ＧＣ グローバル座標系
Ｉ 環境画像
Ｋ ３次元環境画像
Ｍ 移動体モデル
Ｍ１ 第１補助モデル
Ｍ２ 第２補助モデル
Ｖ 仮想視点

Claims (4)

1. 移動体と前記移動体を遠隔操作する遠隔操作装置とを備える遠隔操作システムであって、
   前記移動体は、
   前記移動体の周囲の環境画像を撮像する撮像手段と、
   前記移動体および前記撮像手段に関する情報を検出する情報検出手段とを備え、
   前記遠隔操作装置は、
   操作者が前記移動体を操舵するための入力手段と、
   前記情報検出手段の検出結果に基づいて仮想視点を決定する決定手段と、
   前記撮像手段によって前記仮想視点から撮像された前記環境画像と当該環境画像の撮像時における前記情報検出手段の検出結果とに基づいて、前記環境画像を３次元で表す３次元環境画像と前記仮想視点とを仮想空間に生成する第１生成手段と、
   前記仮想視点からの前記環境画像の撮像後における前記情報検出手段の検出結果と前記移動体を表す移動体モデルに関するデータとに基づいて、前記移動体モデルを前記仮想空間に生成する第２生成手段と、
   前記仮想視点からの前記環境画像の撮像後における前記情報検出手段の検出結果と前記入力手段からの入力量とに基づいて、前記入力手段からの入力量の指標となる補助モデルを前記仮想空間に生成する第３生成手段と、
   前記仮想視点から見た前記３次元環境画像と前記移動体モデルと前記補助モデルとを透視投影して合成画像を生成する第４生成手段と、
   前記合成画像を表示する表示手段とを備える、遠隔操作システム。
2. 前記補助モデルは、前記移動体モデルの進行方向に直交しかつ前記移動体モデルに対して横方向に延びる第１補助モデルを含む、請求項１に記載の遠隔操作システム。
3. 前記補助モデルは、前記移動体モデルの移動経路を表す第２補助モデルを含む、請求項１に記載の遠隔操作システム。
4. 移動体の周囲の環境画像を撮像する撮像手段と、前記移動体および前記撮像手段に関する情報を検出する情報検出手段とを備える前記移動体、を遠隔操作する遠隔操作装置であって、
   操作者が前記移動体を操舵するための入力手段と、
   前記情報検出手段の検出結果に基づいて仮想視点を決定する決定手段と、
   前記撮像手段によって前記仮想視点から撮像された前記環境画像と当該環境画像の撮像時における前記情報検出手段の検出結果とに基づいて、前記環境画像を３次元で表す３次元環境画像と前記仮想視点とを仮想空間に生成する第１生成手段と、
   前記仮想視点からの前記環境画像の撮像後における前記情報検出手段の検出結果と前記移動体を表す移動体モデルに関するデータとに基づいて、前記移動体モデルを前記仮想空間に生成する第２生成手段と、
   前記仮想視点からの前記環境画像の撮像後における前記情報検出手段の検出結果と前記入力手段からの入力量とに基づいて、前記入力手段からの入力量の指標となる補助モデルを前記仮想空間に生成する第３生成手段と、
   前記仮想視点から見た前記３次元環境画像と前記移動体モデルと前記補助モデルとを透視投影して合成画像を生成する第４生成手段と、
   前記合成画像を表示する表示手段とを備える、遠隔操作装置。