JP2022053421A - 遠隔操作のための表示システム、表示方法およびプログラム - Google Patents

Abstract

【課題】 作業機械やそれを操作するコントローラの種類によらず、遠方の現場の状況および手元のコントローラの状態をヘッドマウントディスプレイに表示すること。【解決手段】 右目用カメラと左目用カメラからなり作業機械に装着されるステレオカメラと、前記作業機械を操作するための操作手段を撮影する手元用カメラと、前記ステレオカメラの撮影画像と前記手元用カメラの撮影画像を合成して右目用画像および左目用画像を生成する画像合成部と、前記画像合成部によって生成された前記右目用画像および左目用画像を表示する頭部装着型表示装置とを備える。【選択図】 図３

Description

本発明は、現地の作業機械を遠隔操作するための表示システムに係り、特に作業機械に取り付けたステレオカメラの映像を操作者の装着する頭部装着型表示装置に三次元画像として表示する表示システム、表示方法およびプログラムに関する。

従来、遠隔操作によって遠方の作業機械を操作する技術が提案されている。例えば、
特許文献１では、遠隔操作対象のショベルに取り付けられた撮像装置を通じて操作者が見たいところをより直感的な方法で見られるようにするため、作業機械であるショベルに撮像装置を取り付け、撮影した画像を操作者の装着するヘッドマウントディスプレイに表示し、操作者は手元の遠隔操作装置によってショベルを遠隔操作するシステムが提案されている。このシステムでは、ウェアラブルセンサが操作者の頭部の所定の動きを検出した場合に、その所の定動きに応じて、遠方の撮像装置を切り替えたり、撮像装置を載せた雲台を回転させて、所望の画像をヘッドマウントディスプレイに表示させる。

また、特許文献２では、遠方の作業機械に設けた複数のカメラ部によって生成した右目用および左目用のパノラマ画像を、操作者の視線の動きに応じて切り取り、切り取った画像を操作者のヘッドマウントディスプレイに送信して表示するシステムが提案されている。

特開２０１５－２２６０９４号公報 特許第６６１２８６５号公報

上記の特許文献１，２の技術は、いずれも操作者がヘッドマウントディスプレイに表示された現場の映像を見ながら、手元のコントローラ（遠隔操作装置）を操作して作業機械を動かすものであるが、ヘッドマウントディスプレイを装着することによって手元のコントローラを視認することができない。この問題に対しては、例えばコントローラにタッチセンサを設けて指の動きを検知し、これによりコントローラ上の操作者の手指の位置をヘッドマウントディスプレイに表示させることもできるが、作業機械の種類によって異なるコントローラを用いる場合が多く、都度コントローラ映像の表示プログラムを開発するにはコストがかかる。

本発明はかかる従来の事情に対処してなされたものであり、作業機械やそれを操作するコントローラの種類によらず、遠方の現場の状況および手元のコントローラの状態をヘッドマウントディスプレイに表示することができる遠隔操作のための表示システム、表示方法およびプログラムを提供することを目的とする。

上記目的を達成するため、本発明の表示システムは、作業機械の遠隔操作のための表示システムであって、
右目用カメラと左目用カメラを有し、前記作業機械に設けられるステレオカメラと、
前記作業機械を操作するための操作手段を撮影する手元用カメラと、
前記ステレオカメラの撮影画像と前記手元用カメラの撮影画像を合成して右目用画像および左目用画像を生成する画像合成部と、
前記画像合成部によって生成された前記右目用画像および左目用画像を表示する頭部装着型表示装置と、
を備えたことを特徴とする。

また、本発明の表示システムは、さらに、前記ステレオカメラによって撮影された基準マーカの画像に基づいて前記右目用カメラ又は前記左目用カメラの３次元座標軸における補正値を演算するキャリブレーション部を備えたことを特徴とする。

前記キャリブレーション部は、基準マーカの画像サイズが前記右目用カメラと前記左目用カメラで同一になるように倍率を調整し、該倍率をもとに３次元座標における奥行き方向の補正値を算出するのが好ましい。ここで、補正値は、倍率自体も含む趣旨である。

なお、複数の前記作業機械の夫々に備えられた前記ステレオカメラから送られてくる撮影画像から一のステレオカメラの撮影画像を選択する切替部を備え、前記画像合成部は、当該切替部によって選択された撮影画像を用いて前記右目用画像および前記左目用画像を生成して前記頭部装着型表示装置へ表示することにより、複数の作業機械を遠隔操作することが可能となる。

また、複数の頭部装着型表示装置を備え、夫々の前記頭部装着型表示装置に前記画像合成部によって生成された右目用画像および左目用画像を表示することによって、複数人の操作者によって、現場の状況を監視することが可能となる。

また、本発明に係る表示方法は、頭部装着型表示装置と操作手段とを用いて作業機械を遠隔操作のための表示方法であって、
右目カメラおよび左目カメラを有するステレオカメラの映像を取得する段階と、
前記ステレオカメラの正面に置かれた基準マーカの撮影画像を取得する段階と、
前記撮影画像中、前記基準マーカの右および左側に夫々位置する画像パターンを指定する段階と、
前記基準マーカおよび前記画像パターンを用いて、前記ステレオカメラからの映像を補正して、右目用画像および左目用画像を生成する段階と、
手元の操作手段を撮影する段階と、
当該右目用画像および左目用画像の夫々に前記手元の操作手段の撮影画像を合成する段階と、
合成された前記右目用画像および左目用画像を前記頭部装着型表示装置に表示出力する段階と、
を含むことを特徴とする。

また、本発明に係るプログラムは、作業機械の遠隔操作のための表示システム上で動作するプログラムであって、
右目カメラおよび左目カメラを有するステレオカメラの映像を取得するステップと、
ステレオカメラの正面に置かれた基準マーカの撮影画像を取得するステップと、
前記撮影画像中の基準マーカおよび該基準マーカの右および左側に夫々位置する画像パターンに基づいて補正値を演算するステップと、
当該補正値を用いて、前記ステレオカメラからの映像を補正して、右目用画像および左目用画像を生成するステップと、
手元の操作手段の撮影画像を取得するステップと、
当該右目用画像および左目用画像の夫々に前記操作手段の撮影画像を合成するステップと、
合成された前記右目用画像および左目用画像を頭部装着型表示装置に表示出力するステップと、
をコンピュータに実行させることを特徴とする。

特に、ステレオカメラで撮影した映像の補正値は、次のステップを実行することによって算出することを特徴としている。

右目カメラおよび左目カメラを有するステレオカメラの正面におかれた基準マーカを撮影するステップ、撮影画像中の右目カメラおよび左目カメラの夫々の正面位置に画像パターンを検出するステップ、右目用カメラおよび左目用カメラで撮影した前記基準マーカのサイズが同じになるように画像サイズを拡大又は縮小して補正倍率を取得するステップ、基準マーカの大きさが同一状況で前記画像パターンを探索して、当該画像パターンに基づいて水平方向および垂直方向の移動量を決定するステップ、前記移動量と左右のカメラの視差距離に基づいて、水平方向および垂直方向の補正値を右目カメラおよび左目カメラごとに算出するステップ。そして、算出した補正値を用いてステレオカメラで撮影した映像を補正して、右目用画像および左目用画像を生成する。

以上の如く、本発明によれば、作業機械やそれを操作するコントローラの種類によらず、遠方の現場の状況および手元のコントローラの状態をヘッドマウントディスプレイに表示することが可能となる。また、遠隔地において作業機械に取り付けたステレオカメラの右目用カメラと左目用カメラ間のキャリブレーションを精度よくかつ効率よく行うことができるので、様々な作業機械の遠隔制御に本システムを適用することが可能となる。

本発明の実施の形態による全体構成の概要説明図である。 本発明の実施の形態による表示システム１の構成図である。 通信回線２を介して通信接続される表示システム１の機能ブロック図である。 図３のキャリブレーション部の処理手順（ステップ１）の説明図である。 図３のキャリブレーション部の処理手順（ステップ２）の説明図である。 図３のキャリブレーション部の処理手順（ステップ３）の説明図である。 図３のキャリブレーション部の処理手順（ステップ４）の説明図である。 本発明の他の実施例１の説明図である。 本発明の他の実施例２の説明図である。 本発明の他の実施例３の説明図である。

以下に本発明に係る表示システムの第１の実施の形態を図面を参照しながら説明する。
図１は本実施の形態による全体構成の概要説明図である。なお、本実施の形態では、作業機械としてバックホウを例に説明する。

遠隔操作される遠方のバックホウ３の運転席近傍にはステレオカメラ１０が取り付けられる。この取り付け位置は運転者の視線位置付近が好ましいが、これに限定されず取り付けやすい位置でよい。

ステレオカメラ１０で撮影した映像は、通信回線２を経由して事務所の監視装置２０に送られる。ちなみに監視装置２０は、汎用のコンピュータ（以下、「ＰＣ」という。）で実現することができる。

事務所の操作者は、コントローラ４によってバックホウ３を遠隔操作する。このコントローラ４は、操作者の手元を写すための手元用カメラ５によって撮影され、その撮影画像はＰＣ２０に取り込まれる。ＰＣ２０は、また操作者の装着するヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）６と繋がり、ステレオカメラ１０で撮影した映像と手元用カメラ５で撮影した映像を合成してＨＭＤ６に表示する。

図２は、本実施の形態による表示システム１の構成図である。表示システム１は、遠方のステレオカメラ１０、事務所側の手元用カメラ５、ＰＣ２０、及びＨＭＤ６で構成される。

本実施の形態の特徴は、図２に示すようにステレオカメラ１０で撮影した右目映像と左目映像の倍率や位置の調整を行い、調整後の画像と手元用カメラ５で撮影したコントローラの画像とを合成してＨＭＤ６に表示出力する所謂監視機能にある。コントローラ４によってバックホウ３を遠隔操作する所謂制御機能は、任意の汎用技術を用いることができるため説明を割愛する。

図２に示すように、ＨＭＤ６の表示画面６０には、ステレオカメラ１０で撮影した現場の映像６０ａと、手元用カメラ５で撮影したコントローラ４の映像６０ｂが合成されて表示される。

次に、図３を用いて本実施の形態による表示システム１の構成及び動作を詳述する。
図３は、通信回線２を介して通信接続される表示システム１の機能ブロック図である。
遠隔地において、バックホウ３に装着されるステレオカメラ１０は、右目用カメラ１０ａと左目用カメラ１０ｂからなる。なおステレオカメラの広角度合いにより、複数のステレオカメラ１０をバックホウ３に取り付けてパノラマ映像を生成することができる。すなわち、魚眼レンズを備え、広い視野角を有するステレオカメラをバックホウ３の前方側のみに取り付けてシステムを構成してもよいし、より狭い視野角のステレオカメラを用いる場合は、運転席の前方側、右側、左側の３箇所に装着して、操作者の視線を検知して逐次適切なステレオカメラに切り替えたり、各ステレオカメラからの映像を繋ぎ合わせてパノラマ映像を生成するようにしてもよい。

コントローラ４を撮影する手元用カメラ５は、図３に示すように、右目用カメラ５ａと左目用カメラ５ｂからなるステレオカメラを用いることができる。なお手元用カメラ５としてＨＭＤ６が備えるカメラを利用することもできる。

ステレオカメラ１０の映像および手元用カメラ５の映像は、それぞれＰＣ２０に取り込まれる。ＰＣ２０は、ステレオカメラ１０から送られてくる映像データを受信する遠隔映像受信部２１、映像データにおいて右目用映像と左目用映像との間の倍率調整や表示位置の調整を行うキャリブレーション部２２、手元用カメラ５で撮影した映像データを入力する手元映像受信部２３、手元用カメラ５がステレオカメラの場合に、右目用映像と左目用映像との間の調整を行うキャリブレーション部２４、調整後の映像データをもとに、ステレオカメラ１０からの映像と、手元用カメラ５の映像とを右目用および左目用映像として夫々リアルタイムで合成する画像合成部３０、および合成した映像を記憶する映像記録部４０を備える。

バックホウ３の運転席において、ステレオカメラ１０を前用、右用、左用の３箇所に取り付ける場合、画像合成部３０は、前用右目画像生成部３１ａ，前用左目画像生成部３１ｂ、右用右目画像生成部３２ａ，右用左目画像生成部３２ｂ、および、左用右目画像生成部３３ａ，左用左目画像生成部３３ｂを備える。すなわち、夫々のステレオカメラ１０ごとに右目画像と、左目画像を生成する。なお、ステレオカメラ１０が例えば前用の一箇所のみに取り付けられる場合は、各画像生成部３２ａ，３２ｂ，３３ａ，３３ｂは不要である。画像合成部３０は、また手元用右目画像生成部３４ａ，手元用左目画像生成部３４ｂを備える。

画像合成部３０は、さらに右目画像についてステレオカメラ１０からの画像と手元用カメラ５からの映像を合成する右目画像合成部３５ａと左目画像についてステレオカメラ１０からの画像と手元用カメラ５からの映像を合成する左目画像合成部３５ｂとを有する。

右目画像合成部３５ａで生成された右目画像は、ＨＭＤ１０の右目用表示装置に表示出力され、左目画像合成部３５ｂで生成された左目画像は、ＨＭＤ１０の左目用表示装置に表示出力される。右目画像合成部３５ａ，左目画像合成部３５ｂで生成された画像は、映像記録部４０に保存される。

以下、本実施の形態の表示システム１の特徴の一つであるキャリブレーション部２２の処理手順について説明する。

（ステップ１）基準マーカの設置（図４）
まず作業現場において、図４（ａ）に示すように、ステレオカメラ１０の画面中央位置にする場所に基準マーカ８０を置く。この基準マーカは例えば特定の形状あるいはデザインを施したパネルで形成することができる。そして、運転席に備えたステレオカメラ１０を構成する左右２台のカメラ１０ａ，１０ｂで基準マーカ８０を撮影する。また、図４（ｂ）に示すそれぞれのカメラ撮像画像の中心線延長線上（垂直方向）および基準マーカの水平線上（水平方向）の交点（Ｍｌ,Ｍｒ）付近に存在する任意のオブジェクトを画像パターン８１ａ，８１ｂとして設定する。この画像パターン８１ａ，８１ｂは撮影画像中において人間系で指定することもできるが、コンピュータソフトウェアによって予め登録した条件（色、形など）を満たす形態を自動認識するようにしても良い。

（ステップ２）画像サイズの調整（図５）
通常、図５（ａ）のカメラの位置関係で基準マーカ８０を撮影すると、図５（ｂ）に示すように基準マーカ８０に近い方のカメラで撮影した画像中の基準マーカのサイズの方がより大きくなる。

そこで、キャリブレーション部２２は、それぞれカメラ１０ａ，１０ｂで撮影した基準マーカ８０のサイズが同じになるように画像サイズを拡大縮小する。例えば、一方のカメラの画像を基準としてその画像中の基準マーカ８０のサイズ（直径、縦又は横の比率など）が所定の誤差範囲に入るように他方のカメラの倍率を拡大又は縮小させる。この拡大率をＺ方向（奥行き方向）の補正値とする。図５（ｃ）の例では右カメラの撮影画像中の基準マーカ８０のサイズが左カメラのそれと同じになるように右カメラの撮影画像を拡大する。

なお、夫々の倍率から基準マーカ８０までの距離を算出することによってＺ方向（奥行き方向）の補正値を距離で持たせるようにしても良い。具体的には倍率変更時の基準マーカのサイズの比率と距離の比率が等しいとして、基準倍率のときの画像中の基準マーカのサイズとそのときの距離と、倍率変更時の撮影画像中の基準マーカのサイズとから求めることができる。このときの距離の補正値すなわち、倍率変更時のときの距離と基準倍率のときの距離との差が奥行き方向（Ｚ軸方向）の補正値となる。

（ステップ３）画像パターンの探索（図６）
次に、左右のカメラ画像において基準マーカ８０の大きさが同一となる状況で画像パターン８１ａ，８１ｂを再度探索する。このときの画像パターンは、ステップ１で探索した画像パターンと同一である必要はない。ここで、撮影画像中、水平方向にＸ軸、垂直方向にＹ軸をとり、夫々のカメラ１０ａ，１０ｂの撮影画像中の基準マーカ８０が夫々中心線上に来るように移動量（Ｘ，Ｙ）を決定する。例えば、撮影画像中における中心線（垂直方向）の位置を座標Ｘ＝０とした場合、移動後の基準マーカ８０のＸ座標はゼロになる。また、基準マーカ８０のＹ座標も、右カメラと左カメラで統一する必要があるが、例えば、移動前の画像である図６（ｂ）に示す左カメラ及び右カメラの両撮影画像中における基準マーカ８０のＹ座標の平均値としてもよいし、どちらかの撮影画像の基準マーカ８０の位置に統一するようにしてもよい。

以上の手順により、右カメラ撮影画像においては、移動量（Ｘｌ，Ｙｌ）を求め、右カメラ撮影画像においては、移動量（Ｘｒ，Ｙｒ）を求める。移動後の基準マーカおよび画像パターンを図６（ｃ）に示す。

（ステップ４）補正値の算出（図７）
次に、図７（ｂ）の状態（図６（ｃ）の状態）に対して、左右カメラ１０ａ，１０ｂの間隔、すなわちカメラの視差距離の半分を上記ステップ３で求めた移動量に加減算して、最終的にＸ軸、Ｙ軸方向の補正値を算定する。右カメラのＸ，Ｙ補正値は、（Ｘｒ－視差距離／２，Ｙｒ）、左カメラのＸ，Ｙ補正値は、（Ｘｌ＋視差距離／２，Ｙｌ）を得る。

すなわち、図６（ｂ）に示すように移動量は誤差を含んでいるため、Ｘ座標についてはステップ３の移動量から視差距離の半分の値（本実施の形態では４ｃｍと仮定）を差し引くことにより正味の誤差が算出されるのである。そしてこのＸ方向、Ｙ方向の誤差をそれぞれ補正値として記憶する。

キャリブレーション部２２は、上記のステップ１～ステップ４の処理によって決定した、補正倍率、およびＸ軸、Ｙ軸方向の補正値をＰＣ２０の記憶部に保存する。ＰＣ２０の前用右目画像生成部３１ａおよび、前用左目画像生成部３１ｂは、この補正値を用いて、ステレオカメラ１０から送られてくる映像データを補正して、補正後の右目用画像および左目用画像を生成する。この補正値を用いて、ステレオカメラ１０の撮影画像を補正することにより、ステレオカメラ１０が作業機械に多少傾いて取り付けられても、ＨＭＤ６において基準マーカの位置を正面に表示することができるように較正することができる。

手元用カメラ５についても、ステレオカメラを用いる場合は、上記と同様の処理によって補正値を演算することができる。この場合、コントローラを基準マーカとすることができる。なお、手元用カメラ５についてステレオカメラを用いない場合は、単体のカメラで撮影した画像を、遠方に設置したステレオカメラ１０の視差距離をもとに左右にずらして、手元用右目画像と手元用左目画像を生成するようにしてもよい。この場合は、キャリブレーション部２４は不要となる。なお、手元用カメラ５の視差距離を記憶しておき、操作者の要求に応じてその視差距離を調整可能にしてもよい。このようにすれば、操作者にあった奥行き位置にコントローラの映像を表示することができる。

以上、バックホウ３の前方にステレオカメラ１０を取り付けた場合について、そのキャリブレーション処理を中心に説明した。
バックホウ３の右側および左側にステレオカメラ１０を取り付けた場合についても上記と同様のキャリブレーション処理を行い、それぞれ補正画像を生成する。なお、この場合、どのカメラの画像を用いて、ＨＭＤ６に表示するかについては、ＨＭＤ６の内蔵する角度センサによって決定することができる。

本実施の形態によれば、作業機械やそれを操作するコントローラの種類によらず、遠方の現場の状況および手元のコントローラの状態をＨＭＤに表示して遠隔操作をすることが可能となる。特に、視線を大きく動かすことなく、操作内容に応じた作業機械の動作や現場の状況を略同じ視界で認識することができるので操作者の負担や疲労を軽減することができる。

また、遠隔地において作業機械に取り付けたステレオカメラの右目用カメラと左目用カメラ間のキャリブレーションを精度よくかつ効率よく行うことができるので、バックホウに限らず、例えばブルドーザやクレーン車など様々な作業機械の遠隔制御に本システムを適用することが可能となる。

上記の実施形態は次のように種々変形して実現することができる。
（他の実施例１）
図８に示すように、作業機械３の運転席にステレオカメラ１０を設けると共に、３６０度カメラを設ける。この場合、ＨＭＤ６の表示画面には、３６０度カメラから切り取った画像６０ｃにステレオカメラ１０で撮影した画像６０ａをはめ込むと共に、手元用カメラ５で撮影した画像をはめ込むようにする。
これにより、現場の映像を全てステレオ画像で記録する必要がなく、映像記録部４０の容量を削減することができる。

（他の実施例２）
図９に示すように、ＰＣ２０に切替部７０を設け、複数の遠隔地からそれぞれ送られてくるステレオ映像を切り替えるようにする、この場合、予め遠隔地ごとにキャリブレーション処理を行い、その補正値をＰＣ２０の記憶部に保存しておく。そして切り替えた先の遠隔地に対応する補正値を用いて、受信した映像から右目画像、左目画像を生成して映像記録部４０に保存すると共に、ＨＭＤ６に表示する。
これにより、効率のよく遠隔操作を行うことができる。

（他の実施例３）
図１０に示すように、ＰＣ２０から複数のＨＭＤ６に映像出力を行い、複数人で監視する。これにより、コントローラ４を操作する操作者以外の者も、コントローラの操作状況を見ながら、遠隔地の作業機械の動作を監視できるので、より安全な作業が可能となる。

以上、本実施の形態によれば、作業機械やそれを操作するコントローラの種類によらず、遠方の現場の状況および手元のコントローラの状態をヘッドマウントディスプレイに表示することが可能となる。また、遠隔地において作業機械に取り付けたステレオカメラの右目用カメラと左目用カメラ間のキャリブレーションを精度よくかつ効率よく行うことができるので、様々な作業機械の遠隔制御に本システムを適用することが可能となる。

１ 表示システム
２ 通信回線
３ バックホウ（作業機械）
４ コントローラ
５ 手元用カメラ
５ａ 右目用カメラ
５ｂ 左目用カメラ
１０ ステレオカメラ
１０ａ 右目用カメラ
１０ｂ 左目用カメラ
１１ ３６０度カメラ
２０ 監視装置
２１ 遠隔映像受信部
２２ キャリブレーション部
２３ 手元映像受信部
２４ キャリブレーション部
３０ 画像合成部
３１ａ 前用右目画像生成部
３１ｂ 前用左目画像生成部
３２ａ 右用右目画像生成部
３２ｂ 右用左目画像生成部
３３ａ 左用右目画像生成部
３３ｂ 左用左目画像生成部
３４ａ 手元用右目画像生成部
３４ｂ 手元用左目画像生成部
３５ａ 右目画像合成部
３５ｂ 左目画像合成部
４０ 映像記録部
６０ 表示画面
６０ａ ステレオカメラの映像
６０ｂ 手元用カメラの映像
７０ 切替部
８０ 基準マーカ
８１ａ 右カメラ用画像パターン
８１ｂ 左カメラ用画像パターン

Claims (8)

1. 作業機械の遠隔操作のための表示システムであって、
   右目用カメラと左目用カメラを有し、前記作業機械に設けられるステレオカメラと、
   前記作業機械を操作するための操作手段を撮影する手元用カメラと、
   前記ステレオカメラの撮影画像と前記手元用カメラの撮影画像を合成して右目用画像および左目用画像を生成する画像合成部と、
   前記画像合成部によって生成された前記右目用画像および左目用画像を表示する頭部装着型表示装置と、
   を備えたことを特徴とする表示システム。
2. 前記ステレオカメラによって撮影された基準マーカの画像に基づいて前記右目用カメラ又は前記左目用カメラの３次元座標軸における補正値を演算するキャリブレーション部を備えたことを特徴とする請求項１に記載の表示システム。
3. 前記キャリブレーション部は、基準マーカの画像サイズが前記右目用カメラと前記左目用カメラで同一になるように倍率を調整し、該倍率をもとに３次元座標における奥行き方向の補正値を算出することを特徴とする請求項２に記載の表示システム。
4. 前記画像合成部で生成された前記右目用画像および左目用画像を記録する記憶部を備えたことを特徴とする請求項１乃至３のいずれか一項に記載の表示システム。
5. 複数の前記作業機械の夫々に備えられた前記ステレオカメラから送られてくる撮影画像から一のステレオカメラの撮影画像を選択する切替部を備え、
   前記画像合成部は、当該切替部によって選択された撮影画像を用いて前記右目用画像および前記左目用画像を生成して前記頭部装着型表示装置へ表示することを特徴とする請求項１乃至４のいずれか一項に記載の表示システム。
6. 前記頭部装着型表示装置を複数備え、
   夫々の前記頭部装着型表示装置に前記画像合成部によって生成された前記右目用画像および左目用画像を表示することを特徴とする請求項１乃至５のいずれか一項に記載の表示システム。
7. 頭部装着型表示装置と操作手段とを用いて作業機械を遠隔操作のための表示方法であって、
   右目カメラおよび左目カメラを有するステレオカメラの映像を取得する段階と、
   ステレオカメラの正面に置かれた基準マーカの撮影画像を取得する段階と、
   前記撮影画像中、前記基準マーカの右および左側に夫々位置する画像パターンを指定する段階と、
   前記基準マーカおよび前記画像パターンを用いて、前記ステレオカメラからの映像を補正して、右目用画像および左目用画像を生成する段階と、
   手元の操作手段を撮影する段階と、
   当該右目用画像および左目用画像の夫々に前記手元の操作手段の撮影画像を合成する段階と、
   合成された前記右目用画像および左目用画像を前記頭部装着型表示装置に表示出力する段階と、
   を含むことを特徴とする。
8. 作業機械の遠隔操作のための表示システム上で動作するプログラムであって、
   右目カメラおよび左目カメラを有するステレオカメラの映像を取得するステップと、
   ステレオカメラの正面に置かれた基準マーカの撮影画像を取得するステップと、
   前記撮影画像中の基準マーカおよび該基準マーカの右および左側に夫々位置する画像パターンに基づいて補正値を演算するステップと、
   当該補正値を用いて、前記ステレオカメラからの映像を補正して、右目用画像および左目用画像を生成するステップと、
   手元の操作手段の撮影画像を取得するステップと、
   当該右目用画像および左目用画像の夫々に前記操作手段の撮影画像を合成するステップと、
   合成された前記右目用画像および左目用画像を頭部装着型表示装置に表示出力するステップと、
   を含むコンピュータ実行可能なプログラム。

Images