JP2021046719A - ショベルの遠隔操作システム - Google Patents

Abstract

【課題】より臨場感のある画像を提示できるショベルの遠隔操作システムを提供すること。【解決手段】下部走行体１と、下部走行体１に旋回可能に搭載される上部旋回体３と、上部旋回体３に取り付けられた撮像装置Ｃ１と、を有するショベル１００の遠隔操作システムＳＹＳは、撮像装置Ｃ１が撮像した画像に基づいて周囲画像を生成するコントローラ３０と、ショベル１００の外部に設置された操作装置２６と、周囲画像が表示される表示装置Ｄ１としてのヘッドマウントディスプレイと、を有する。ヘッドマウントディスプレイに表示される周囲画像は、ヘッドマウントディスプレイの向きの変化に応じて変化する。【選択図】図６

Description

本開示は、ショベルの遠隔操作システムに関する。

従来、作業機械の遠隔操作を支援する画像システムが知られている（特許文献１参照。）。この画像システムでは、遠隔操作室にいる操作者の顔面の方位及び仰角の変化に応じて撮影方位及び仰角が変化する左右一対の撮像機が作業機械に取り付けられている。そして、左右一対の撮像機が撮像した画像は、遠隔操作室にいる操作者が着用しているゴーグルに取り付けられた左右一対の小型液晶パネルに表示される。この構成により、画像システムは、立体画像を表示できる。

特開平８−２２７３１９号公報

しかしながら、特許文献１に記載の構成は、左右一対の撮像機が撮像した画像をそのまま左右一対の小型液晶パネルに表示するのみであるため、臨場感のある画像を提示できないおそれがある。

そこで、より臨場感のある画像を提示できるショベルの遠隔操作システムが望まれる。

本発明の実施形態に係るショベルの遠隔操作システムは、下部走行体と、前記下部走行体に旋回可能に搭載される上部旋回体と、前記上部旋回体に取り付けられた撮像装置と、を有するショベルの遠隔操作システムであって、前記撮像装置が撮像した画像に基づいて周囲画像を生成する演算装置と、ショベルの外部に設置された操作装置と、前記周囲画像が表示されるヘッドマウントディスプレイと、を有し、前記ヘッドマウントディスプレイに表示される前記周囲画像は、前記ヘッドマウントディスプレイの向きの変化に応じて変化する。

上述の手段により、より臨場感のある画像を提示できるショベルの遠隔操作システムが提供される。

ショベルの側面図である。 図１のショベルに搭載される駆動系の構成例を示す図である。 図１のショベルに搭載される電気系の構成例を示す図である。 遠隔操作室に関する座標系とショベルに関する座標系との関係を示す図である。 表示装置の斜視図である。 遠隔操作システムの構成例を示す機能ブロック図である。 表示装置に表示される画像の構成例を示す図である。 遠隔操作システムの別の構成例を示す機能ブロック図である。

次に、添付図面を参照しながら、本発明の限定的でない例示の実施形態について説明する。

図１は、本発明の実施形態に係る掘削機としてのショベル１００を示している。ショベル１００の下部走行体１には、旋回機構２を介して上部旋回体３が旋回可能に搭載されている。上部旋回体３にはブーム４が取り付けられている。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられている。

ブーム４、アーム５、及びバケット６は、アタッチメントの一例である掘削アタッチメントを構成している。ブーム４はブームシリンダ７により駆動され、アーム５はアームシリンダ８により駆動され、バケット６はバケットシリンダ９により駆動される。

ブーム４にはブーム角度センサＳ１が取り付けられ、アーム５にはアーム角度センサＳ２が取り付けられ、バケットリンクにはバケット角度センサＳ３が取り付けられている。上部旋回体３には、旋回角速度センサＳ４が取り付けられている。

ブーム角度センサＳ１は、姿勢検出センサの１つであり、ブーム４の回動角度を検出するように構成されている。本実施形態では、ブーム角度センサＳ１は、ブームシリンダ７のストローク量を検出するストロークセンサであり、ブームシリンダ７のストローク量に基づいて上部旋回体３とブーム４とを連結するブームフートピン回りのブーム４の回動角度を導き出す。

アーム角度センサＳ２は、姿勢検出センサの１つであり、アーム５の回動角度を検出するように構成されている。本実施形態では、アーム角度センサＳ２は、アームシリンダ８のストローク量を検出するストロークセンサであり、アームシリンダ８のストローク量に基づいてブーム４とアーム５とを連結する連結ピン回りのアーム５の回動角度を導き出す。

バケット角度センサＳ３は、姿勢検出センサの１つであり、バケット６の回動角度を検出するように構成されている。本実施形態では、バケット角度センサＳ３は、バケットシリンダ９のストローク量を検出するストロークセンサであり、バケットシリンダ９のストローク量に基づいてアーム５とバケット６とを連結する連結ピン回りのバケット６の回動角度を導き出す。

なお、ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３のそれぞれは、ロータリエンコーダ、加速度センサ、ポテンショメータ（可変抵抗器）、傾斜センサ、又は、慣性計測装置等であってもよい。慣性計測装置は、例えば、加速度センサとジャイロセンサとの組み合わせで構成される。

旋回角速度センサＳ４は、上部旋回体３の旋回角速度を検出するように構成されている。本実施形態では、旋回角速度センサＳ４は、ジャイロセンサである。旋回角速度センサＳ４は、旋回角速度に基づいて旋回角度を算出するように構成されていてもよい。旋回角速度センサＳ４は、他のセンサで構成されていてもよい。

上部旋回体３には、運転室としてのキャビン１０、エンジン１１、測位装置１８、撮像装置Ｃ１、及び通信装置Ｔ１等が搭載されている。また、キャビン１０内には、コントローラ３０が搭載されている。キャビン１０内には、運転席及び操作装置等が設置されている。ショベル１００は、無人ショベルであってもよい。この場合、キャビン１０は省略されてもよい。

エンジン１１は、ショベル１００の駆動源である。本実施形態では、エンジン１１は、ディーゼルエンジンである。エンジン１１の出力軸は、メインポンプ１４及びパイロットポンプ１５のそれぞれの入力軸に連結されている。

測位装置１８は、ショベル１００の位置を測定するように構成されている。本実施形態では、測位装置１８は、ＧＮＳＳコンパスであり、上部旋回体３の位置及び向きを測定できるように構成されている。

撮像装置Ｃ１は、ショベル１００の周囲を撮像するように構成されている。本実施形態では、撮像装置Ｃ１は、上部旋回体３の上面後端に取り付けられた後カメラＣ１Ｂ、キャビン１０の上面前端に取り付けられた前カメラＣ１Ｆ、上部旋回体３の上面左端に取り付けられた左カメラＣ１Ｌ、及び、上部旋回体３の上面右端に取り付けられた右カメラＣ１Ｒを含む。

通信装置Ｔ１は、ショベル１００の外部にある機器との通信を制御するように構成されている。

コントローラ３０は、各種演算を実行する演算装置である。本実施形態では、コントローラ３０は、ＣＰＵ及びメモリ３０ａを含むマイクロコンピュータで構成されている。そして、コントローラ３０の各種機能は、ＣＰＵがメモリ３０ａに格納されたプログラムを実行することで実現される。

図２は、図１のショベル１００の駆動系の構成例を示すブロック図である。図２において、機械的動力ラインは二重線、作動油ラインは太実線、パイロットラインは破線、電気制御ラインは点線でそれぞれ示されている。

ショベル１００の駆動系は、エンジン１１、レギュレータ１３、メインポンプ１４、パイロットポンプ１５、コントロールバルブユニット１７、コントローラ３０、及び電磁弁ユニット４５等で構成されている。エンジン１１は、エンジンコントロールユニット７４により駆動制御される。

メインポンプ１４は、作動油ライン１６を介して作動油をコントロールバルブユニット１７に供給する。本実施形態では、メインポンプ１４は、斜板式可変容量型油圧ポンプである。

レギュレータ１３は、メインポンプ１４の吐出量を制御するように構成されている。本実施形態では、レギュレータ１３は、メインポンプ１４の吐出圧又はコントローラ３０からの制御信号等に応じてメインポンプ１４の斜板傾転角を調節する。メインポンプ１４は、レギュレータ１３により吐出量が制御される。

パイロットポンプ１５は、パイロットライン２５を介して各種油圧制御機器に作動油を供給するように構成されている。本実施形態では、パイロットポンプ１５は、固定容量型油圧ポンプである。但し、パイロットポンプ１５は、省略されてもよい。この場合、パイロットポンプ１５が担っていた機能は、メインポンプ１４によって実現されてもよい。すなわち、メインポンプ１４は、コントロールバルブユニット１７に作動油を供給する機能とは別に、絞り等により作動油の圧力を低下させた後でコントロールバルブユニット１７等に作動油を供給する機能を備えていてもよい。

コントロールバルブユニット１７は、ショベルにおける油圧システムを制御する油圧制御装置であり、複数の油圧アクチュエータに対応する複数の制御弁を含む。本実施形態では、コントロールバルブユニット１７は、１又は複数の油圧アクチュエータに対し、メインポンプ１４から吐出される作動油を選択的に供給できるように構成されている。油圧アクチュエータは、例えば、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、左側走行用油圧モータ１Ｌ、右側走行用油圧モータ１Ｒ、及び旋回用油圧モータ２Ａを含む。

コントローラ３０は、通信装置Ｔ１を通じて受信する操作信号に基づき、電磁弁ユニット４５を制御するように構成されている。本実施形態では、操作信号は、遠隔操作室から送信されてくる。

電磁弁ユニット４５は、パイロットポンプ１５とコントロールバルブユニット１７内の各制御弁のパイロットポートとを繋ぐ各パイロットライン２５に配置された複数の電磁弁を含む。

本実施形態では、コントローラ３０は、複数の電磁弁のそれぞれの開口面積を個別に制御することで、各制御弁のパイロットポートに作用するパイロット圧を制御することができる。そのため、コントローラ３０は、各油圧アクチュエータに流入する作動油の流量、及び、各油圧アクチュエータから流出する作動油の流量を制御することができ、ひいては、各油圧アクチュエータの動きを制御することができる。

このようにして、コントローラ３０は、遠隔操作室等の外部からの操作信号に応じ、ブーム４の上げ下げ、アーム５の開閉、バケット６の開閉、上部旋回体３の旋回、及び下部走行体１の走行等を実現できる。

図３は、図１のショベルに搭載される電気系の構成例を示す図である。エンジン１１は、図３に示すように、エンジンコントロールユニット７４に接続されている。エンジンコントロールユニット７４からは、エンジン１１の状態を示す各種データがコントローラ３０に送信される。コントローラ３０は、エンジン１１の状態を示す各種データをメモリ３０ａに蓄積できるように構成されている。

バッテリ７０は、ショベル１００に搭載されている各種電気負荷に電力を供給するように構成されている。オルタネータ１１ａ（発電機）、スタータ１１ｂ、コントローラ３０、及び電装品７２等は、バッテリ７０に蓄えられた電力で動作できるように構成されている。スタータ１１ｂは、バッテリ７０に蓄えられた電力で駆動され、エンジン１１を始動させるように構成されている。また、バッテリ７０は、オルタネータ１１ａで発電した電力で充電されるように構成されている。

水温センサ１１ｃは、エンジン冷却水の温度に関するデータをコントローラ３０に送信する。レギュレータ１３は、斜板傾転角に関するデータをコントローラ３０に送信する。吐出圧センサ１４ｂは、メインポンプ１４の吐出圧に関するデータをコントローラ３０に送信する。測位装置１８は、ショベル１００の位置に関するデータをコントローラ３０に送信する。

メインポンプ１４が吸入する作動油が貯蔵された作動油タンクとメインポンプ１４との間の管路１４−１には、油温センサ１４ｃが設けられている。油温センサ１４ｃは、管路１４−１を流れる作動油の温度に関するデータをコントローラ３０に送信する。

尿素水タンク５０に設けられた尿素水残量センサ５０ａは、尿素水の残量に関するデータをコントローラ３０に送信する。燃料タンク５５に設けられた燃料残量センサ５５ａは、燃料の残量に関するデータをコントローラ３０に送信する。

通信装置Ｔ１は、無線通信を介し、遠隔操作室ＲＣに設置された通信装置Ｔ２との間で情報を送受信するように構成されている。

遠隔操作室ＲＣには、遠隔コントローラ４０、室内撮像装置Ｃ２、及び通信装置Ｔ２等が設置されている。また、遠隔操作室ＲＣには、ショベル１００を遠隔操作する操作者ＯＰが座る運転席ＤＳが配置されている。

遠隔コントローラ４０は、各種演算を実行する演算装置である。本実施形態では、遠隔コントローラ４０は、コントローラ３０と同様、ＣＰＵ及びメモリを含むマイクロコンピュータで構成されている。そして、遠隔コントローラ４０の各種機能は、ＣＰＵがメモリに格納されたプログラムを実行することで実現される。

室内撮像装置Ｃ２は、遠隔操作室ＲＣ内を撮像するように構成されている。本実施形態では、室内撮像装置Ｃ２は、遠隔操作室ＲＣの内部に設置されたカメラであり、運転席ＤＳの周囲に配置された操作装置２６を撮像するように構成されている。また、室内撮像装置Ｃ２は、運転席ＤＳに着座する操作者ＯＰを撮像するように構成されている。なお、操作装置２６を撮像するカメラと、操作者ＯＰを撮像するカメラとは、別々に設置されていてもよい。

通信装置Ｔ２は、ショベル１００に取り付けられた通信装置Ｔ１との無線通信を制御するように構成されている。

本実施形態では、運転席ＤＳは、通常のショベルのキャビン内に設置される運転席と同様の構造を有する。具体的には、運転席ＤＳの左側には左コンソールボックスが配置され、運転席ＤＳの右側には右コンソールボックスが配置されている。左コンソールボックスの上面前端には左操作レバーが配置され、右コンソールボックスの上面前端には右操作レバーが配置されている。また、運転席ＤＳの前方には、走行レバー及び走行ペダルが配置されている。更に、右コンソールボックスの上面中央部には、エンジン回転数調整ダイヤル７５が配置されている。左操作レバー、右操作レバー、走行レバー、走行ペダル、及びエンジン回転数調整ダイヤル７５のそれぞれは、操作装置２６を構成している。

エンジン回転数調整ダイヤル７５は、エンジン１１の回転数を調整するためのダイヤルであり、例えばエンジン回転数を４段階で切り換えできるように構成されている。

具体的には、エンジン回転数調整ダイヤル７５はＳＰモード、Ｈモード、Ａモード、及びアイドリングモードの４段階でエンジン回転数の切り換えができるように構成されている。エンジン回転数調整ダイヤル７５は、エンジン回転数の設定状態に関するデータをコントローラ３０に送信する。

ＳＰモードは、操作者ＯＰが作業量を優先させたい場合に選択される回転数モードであり、最も高いエンジン回転数を利用する。Ｈモードは、操作者ＯＰが作業量と燃費を両立させたい場合に選択される回転数モードであり、二番目に高いエンジン回転数を利用する。Ａモードは、操作者ＯＰが燃費を優先させながら低騒音でショベルを稼働させたい場合に選択される回転数モードであり、三番目に高いエンジン回転数を利用する。アイドリングモードは、操作者ＯＰがエンジンをアイドリング状態にしたい場合に選択される回転数モードであり、最も低いエンジン回転数を利用する。そして、エンジン１１は、エンジン回転数調整ダイヤル７５で設定された回転数モードのエンジン回転数で一定に回転数制御される。

操作装置２６には、操作装置２６の操作内容を検出するための操作センサ２９が設置されている。操作センサ２９は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサ２９は、検出した操作装置２６の操作内容に関する情報を遠隔コントローラ４０に出力する。遠隔コントローラ４０は、受信した情報に基づいて操作信号を生成し、生成した操作信号をショベル１００に送信する。操作センサ２９は、操作信号を生成するように構成されていてもよい。この場合、操作センサ２９は、遠隔コントローラ４０を経由せずに、操作信号を通信装置Ｔ２に出力してもよい。

表示装置Ｄ１は、操作者ＯＰが着用可能な表示装置である。運転席ＤＳに着座する操作者ＯＰは、表示装置Ｄ１を着用している。本実施形態では、表示装置Ｄ１は、ヘッドマウントディスプレイであり、無線通信によって、遠隔コントローラ４０との間で情報を送受信できるように構成されている。但し、表示装置Ｄ１は、遠隔コントローラ４０に有線接続されていてもよい。また、表示装置Ｄ１は、透過型ヘッドマウントディスプレイであってもよく、非透過型ヘッドマウントディスプレイであってもよい。また、表示装置Ｄ１は、片眼型ヘッドマウントディスプレイであってもよく、両眼型ヘッドマウントディスプレイであってもよい。

表示装置Ｄ１は、遠隔操作室ＲＣにいる操作者ＯＰがショベル１００の周囲を視認できるようにする画像を表示するように構成されている。すなわち、表示装置Ｄ１は、表示装置Ｄ１を着用する操作者が、遠隔操作室ＲＣにいるにもかかわらず、あたかもショベル１００のキャビン１０内にいるかのように、ショベル１００の周囲の状況を確認することができるように、画像を表示する。表示装置Ｄ１は、操作者が見たい方向に顔を向けることで、見たい方向の画像を見ることができるように、画像を表示してもよい。

また、表示装置Ｄ１にはスピーカが搭載されている。スピーカは、ショベル１００に取り付けられている１又は複数の集音装置で集音された音を出力できるように構成されている。

次に、図４を参照し、遠隔操作室ＲＣにおける基準点Ｒ１を原点とする第１座標系と、ショベル１００における基準点Ｒ２を原点とする第２座標系との関係について説明する。なお、以下の説明では、第１座標系は、操作室座標系と称され、第２座標系は、ショベル座標系と称される。図４は、操作室座標系とショベル座標系との関係を示す図である。

操作室座標系は、遠隔操作室ＲＣにおける基準点Ｒ１を原点とする３次元ＵＶＷ直交座標系であり、運転席ＤＳの前後方向に平行に伸びるＵ軸、運転席ＤＳの左右方向に平行に伸びるＶ軸、及び、Ｕ軸とＶ軸に直交するＷ軸を有する。

ショベル座標系は、上部旋回体３上の基準点Ｒ２を原点とする３次元ＸＹＺ直交座標系であり、上部旋回体３の前後方向に平行に伸びるＸ軸、上部旋回体３の左右方向に平行に伸びるＹ軸、及び、Ｘ軸とＹ軸に直交するＺ軸を有する。図４では、基準点Ｒ２は旋回軸上の点であり、ＸＹ平面は水平面であり、Ｚ軸は鉛直軸である。Ｘ軸は、操作室座標系のＵ軸に対応し、Ｙ軸は、操作室座標系のＶ軸に対応し、Ｚ軸は、操作室座標系のＷ軸に対応している。

本実施形態では、操作室座標系における各三次元座標は、ショベル座標系における三次元座標の１つに予め対応付けられている。そのため、遠隔操作室ＲＣにおける操作者ＯＰの目の位置である操作者視点Ｅ１の三次元座標が決まれば、ショベル１００における仮想操作者の目の位置である仮想操作者視点Ｅ１'の三次元座標は一意に決まる。なお、操作者ＯＰの目の位置は、例えば、操作者ＯＰの左目の位置と右目の位置の中間点である。

図５は、表示装置Ｄ１を着用した操作者ＯＰを示している。図５に示す表示装置Ｄ１は、非透過型ヘッドマウントディスプレイである。非透過型ヘッドマウントディスプレイを着用している場合、操作者ＯＰは、非透過型ヘッドマウントディスプレイによって視界が遮られるため、自身の周囲を見ることができない。すなわち、操作者ＯＰは、自身の手元及び足下を見ることができず、運転席ＤＳの近傍に配置されたスイッチ等、遠隔操作室ＲＣに設置された操作装置２６を見ることもできない。なお、操作者ＯＰは、作業現場ではなく、遠隔操作室ＲＣにいるため、ヘルメットを着用する必要がない。

通常、キャビン１０内でショベル１００を操作する操作者は、バケット６を中心視野で捉えながら掘削作業を行っているときに、視線を動かさずともキャビン１０内の左右のコンソールボックスの上面前端に配置された操作レバーを周辺視野で捉えることができる。

しかしながら、図５に示すような非透過型ヘッドマウントディスプレイを着用している場合、操作者ＯＰは、遠隔操作室ＲＣ内の運転席ＤＳの近傍に配置された操作レバーを周辺視野で捉えることができない。非透過型ヘッドマウントディスプレイを着用している場合には、操作者ＯＰは、上述のように視界が遮られるためである。したがって、操作者ＯＰは、操作レバーがどの程度傾けられているかを把握できない。そこで、ショベル１００の遠隔操作システムは、以下に示すように、操作装置２６の図形を表示装置Ｄ１で表示させ、操作者ＯＰが周辺視野でその図形を捉えることができるようにする。

次に、図６を参照し、ショベル１００の遠隔操作システムの構成例について説明する。図６は、遠隔操作システムＳＹＳの構成例を示す機能ブロック図である。

遠隔操作システムＳＹＳは、主に、ショベル１００に搭載されているコントローラ３０、電磁弁ユニット４５、撮像装置Ｃ１、及び通信装置Ｔ１と、遠隔操作室ＲＣに設置されている操作センサ２９、遠隔コントローラ４０、室内撮像装置Ｃ２、表示装置Ｄ１、及び通信装置Ｔ２と、で構成されている。

コントローラ３０は、機能要素として、画像生成部３１、ショベル状態特定部３２、及びアクチュエータ駆動部３３を有する。

画像生成部３１は、表示装置Ｄ１で表示される画像を含む周囲画像を生成するように構成されている。周囲画像は、仮にキャビン１０内に操作者がいたならば操作者が見ることができたショベル１００の周囲の様子を表す画像である。本実施形態では、周囲画像は、撮像装置Ｃ１が撮像した画像に基づいて生成される。具体的には、画像生成部３１は、後カメラＣ１Ｂ、前カメラＣ１Ｆ、左カメラＣ１Ｌ、及び右カメラＣ１Ｒのそれぞれが撮像した画像に基づき、周囲画像としての第１仮想視点画像を生成する。第１仮想視点画像の仮想視点である第１仮想視点は、仮にキャビン１０内の運転席に操作者が着座していたときの操作者の目の位置に対応する仮想操作者視点Ｅ１'（図４参照。）である。但し、仮想操作者視点Ｅ１'は、キャビン１０の外にあってもよい。

本実施形態では、第１仮想視点である仮想操作者視点Ｅ１'の座標は、遠隔操作室ＲＣの運転席ＤＳに操作者ＯＰが着座したときの操作者ＯＰの目の位置である操作者視点Ｅ１（図４参照。）に基づいて導き出される。なお、操作者視点Ｅ１の座標は、遠隔コントローラ４０から送信されてくる。画像生成部３１は、操作室座標系における操作者視点Ｅ１の座標を、ショベル座標系における座標に変換することで、仮想操作者視点Ｅ１'の座標を導き出すことができる。

また、本実施形態では、第１仮想視点画像は、第１仮想視点を取り囲む仮想的な円筒状の仮想投影面の内周面に投影された画像に相当する。仮想投影面は、第１仮想視点を取り囲む仮想的な球の内面であってもよく、第１仮想視点を取り囲む仮想的な直方体又は立方体の内面であってもよい。このように生成された第１仮想視点画像を見ることで、操作者ＯＰは、ショベル１００の周囲の状況を立体的に把握することができる。すなわち、操作者ＯＰは、第１仮想視点画像を見ることで、例えば、ショベル１００の前方に位置するダンプトラックの荷台の奥行き、地面にある盛り土の高さ、又は、地面にある穴の深さ等をより正確に把握できる。

表示装置Ｄ１で表示される第１仮想視点画像由来の画像は、画像生成部３１が生成する第１仮想視点画像の一部である。具体的には、第１仮想視点画像の全領域に占める、表示装置Ｄ１で表示される画像の領域は、遠隔操作室ＲＣの運転席ＤＳに着座している操作者ＯＰの視線の向きに基づいて決定される。なお、操作者ＯＰの視線の向きに関する情報は、遠隔コントローラ４０から送信されてくる。

このように、画像生成部３１は、撮像装置Ｃ１が出力する画像と、遠隔コントローラ４０から送信されてくる操作者視点Ｅ１の座標とに基づいて周囲画像としての第１仮想視点画像を生成する。そして、画像生成部３１は、遠隔コントローラ４０から送信されてくる操作者ＯＰの視線の向きに関する情報に基づき、生成した第１仮想視点画像の一部を部分周囲画像として切り出し、切り出した部分周囲画像を遠隔操作室ＲＣにある表示装置Ｄ１に向けて送信する。

ショベル状態特定部３２は、ショベル１００の状態を特定するように構成されている。本実施形態では、ショベル１００の状態は、ショベル１００の位置と向きを含む。ショベル１００の位置は、例えば、ショベル１００における基準点Ｒ２の緯度、経度、及び高度である。ショベル状態特定部３２は、測位装置１８の出力に基づいてショベルの位置及び向きを特定する。

アクチュエータ駆動部３３は、ショベル１００に搭載されているアクチュエータを駆動するように構成されている。本実施形態では、アクチュエータ駆動部３３は、遠隔コントローラ４０から送信されてくる操作信号に基づき、電磁弁ユニット４５に含まれる複数の電磁弁のそれぞれに対する作動信号を生成して出力する。

作動信号を受けた各電磁弁は、コントロールバルブユニット１７における対応する制御弁のパイロットポートに作用するパイロット圧を増減させる。その結果、各制御弁に対応する油圧アクチュエータは、制御弁のストローク量に応じた速度で動作する。

遠隔コントローラ４０は、機能要素として、操作者状態特定部４１、画像合成部４２、及び操作信号生成部４３を有する。

操作者状態特定部４１は、遠隔操作室ＲＣにいる操作者ＯＰの状態を特定するように構成されている。操作者ＯＰの状態は、操作者ＯＰの目の位置と視線の向きを含む。操作者状態特定部４１は、室内撮像装置Ｃ２の出力に基づいて操作者ＯＰの目の位置及び視線の向きを特定する。具体的には、操作者状態特定部４１は、室内撮像装置Ｃ２が撮像した画像に各種画像処理を施し、操作室座標系における操作者ＯＰの目の位置の座標を操作者視点Ｅ１（図４参照。）の座標として特定する。また、操作者状態特定部４１は、室内撮像装置Ｃ２が撮像した画像に各種画像処理を施し、操作室座標系における操作者ＯＰの視線の向きを特定する。

操作者状態特定部４１は、遠隔操作室ＲＣに設置されたＬＩＤＡＲ、又は、表示装置Ｄ１に取り付けられた慣性計測装置等、室内撮像装置Ｃ２以外の他の装置の出力に基づいて操作者視点Ｅ１の座標及び操作者ＯＰの視線の向きを導き出してもよい。この場合、慣性計測装置は、測位装置を含んでいてもよい。

そして、操作者状態特定部４１は、通信装置Ｔ２を通じ、操作者視点Ｅ１の座標及び操作者ＯＰの視線の向きに関する情報をショベル１００に向けて送信する。

画像合成部４２は、コントローラ３０から送信されてくる部分周囲画像と、別の画像とを合成して合成画像を生成するように構成されている。本実施形態では、別の画像は、室内撮像装置Ｃ２が撮像した操作装置２６の画像である。操作装置２６の画像は、操作装置２６の状態を表すコンピュータグラフィックス等の図形であってもよい。また、別の画像は、キャビン１０の内部を表す画像又は図形を含んでいてもよい。

具体的には、画像合成部４２は、室内撮像装置Ｃ２が撮像した画像に基づいて第２仮想視点画像を生成する。第２仮想視点画像の仮想視点である第２仮想視点は、操作者視点Ｅ１である。

本実施形態では、第２仮想視点画像は、第１仮想視点画像と同様に、第２仮想視点を取り囲む仮想的な円筒状の仮想投影面の内周面に投影された画像である。仮想投影面は、第２仮想視点を取り囲む仮想的な球の内面であってもよく、第２仮想視点を取り囲む仮想的な直方体又は立方体の内面であってもよい。

表示装置Ｄ１で表示される第２仮想視点画像由来の画像は、画像合成部４２が生成する第２仮想視点画像の一部である。具体的には、第２仮想視点画像の全領域に占める、表示装置Ｄ１で表示される画像の領域は、遠隔操作室ＲＣの運転席ＤＳに着座している操作者ＯＰの視線の向きに基づいて決定される。

このように、画像合成部４２は、室内撮像装置Ｃ２が出力する画像と、操作者視点Ｅ１の座標とに基づいて第２仮想視点画像を生成する。そして、画像合成部４２は、操作者ＯＰの視線の向きに関する情報に基づき、生成した第２仮想視点画像の一部を切り出す。

その上で、画像合成部４２は、切り出した画像と、コントローラ３０から送信されてくる部分周囲画像とを合成する。

別の画像は、設計面情報ＤＩに基づいて生成される画像である設計面画像であってもよい。本実施形態では、画像合成部４２は、遠隔コントローラ４０を構成している不揮発性記憶装置に予め記憶されている設計面情報ＤＩに基づいて設計面の位置を表すコンピュータグラフィックス等の図形を、設計面画像として、部分周囲画像に重畳表示させる。設計面は、ショベル１００を用いた掘削作業が完了したときの地面である。操作者は、設計面を見ることで、掘削作業が完了する前であっても、掘削作業が完了したときのショベル１００の周囲の状態を把握できる。この場合、画像合成部４２は、ショベル状態特定部３２が特定したショベルの位置及び向きに基づき、部分周囲画像における、設計面画像を重畳表示すべき位置を決定する。

操作信号生成部４３は、操作信号を生成するように構成されている。本実施形態では、操作信号生成部４３は、操作センサ２９の出力に基づいて操作信号を生成するように構成されている。

上述のような構成により、遠隔操作システムＳＹＳは、遠隔操作室ＲＣにいる操作者ＯＰが、遠隔地にあるショベル１００を遠隔操作できるようにする。その際に、遠隔操作システムＳＹＳは、ショベル１００に取り付けられた撮像装置Ｃ１が撮像した画像に基づいて生成される周囲画像を操作者ＯＰがリアルタイムに視認できるようにする。具体的には、遠隔操作システムＳＹＳは、操作者ＯＰが着用している表示装置Ｄ１としてのヘッドマウントディスプレイに、主に撮像装置Ｃ１が撮像した画像に基づいて生成された周囲画像の一部を表示させることができる。表示装置Ｄ１で表示された画像を見た操作者ＯＰは、あたかもキャビン１０内でショベル１００を操作しているかのような臨場感を得ることができる。或いは、仮想操作者視点Ｅ１'がキャビン１０の外にある場合、例えば、キャビン１０より数メートル前方の位置にある場合には、操作者ＯＰは、あたかもキャビン１０の外においてバケット６のすぐ近くでショベル１００を遠隔操作しているかのような臨場感を得ることができる。

また、遠隔操作システムＳＹＳは、遠隔操作室ＲＣに設置されている室内撮像装置Ｃ２が撮像した画像に基づき、操作者ＯＰの目の位置及び顔（視線）の向きを特定できるように構成されている。そして、遠隔操作システムＳＹＳは、操作者ＯＰの目の位置及び顔（視線）の向きの変化に応じ、表示装置Ｄ１に表示される画像の内容を変化させるように構成されている。具体的には、遠隔操作システムＳＹＳは、操作者ＯＰの目の位置及び顔（視線）の向きの変化に応じ、第１視点変換画像及び第２視点変換画像のそれぞれのどの領域を表示させるかを決定するように構成されている。そのため、操作者ＯＰは、見たい方向に顔を向けるだけで、見たい方向の画像を見ることができる。

また、遠隔操作システムＳＹＳは、遠隔操作室ＲＣに設置されている操作装置２６の状態を表す図形又は画像を、周囲画像の一部である部分周囲画像とともに表示装置Ｄ１に表示させることができる。なお、遠隔操作システムＳＹＳは、操作装置２６の状態を表す図形又は画像を、操作装置２６の実際の設置位置に対応する画像部分に表示させている。そのため、操作者ＯＰは、表示装置Ｄ１として非透過型ヘッドマウントディスプレイを着用している場合であっても、実際には不可視である操作装置２６の状態を認識できる。また、操作者ＯＰは、操作装置２６から手を離した場合であっても、操作装置２６を容易に握り直すことができる。

次に、図７を参照し、表示装置Ｄ１に表示される画像について説明する。図７は、表示装置Ｄ１に表示される画像の２つの構成例を示す。具体的には、図７（Ａ）は、キャビン１０の内部を表す図形と第１仮想視点画像（厳密には、第１仮想視点画像の一部である部分周囲画像）とを合成して得られた画像の例を示す。図７（Ｂ）は、第１仮想視点画像（厳密には、第１仮想視点画像の一部である部分周囲画像）と第２仮想視点画像（厳密には、第２仮想視点画像の一部）とを合成して得られた画像の例を示す。

図７（Ａ）に示す画像では、キャビン１０の内部を表す図形は、左ピラーの図形Ｇ１、右ピラーの図形Ｇ２、左操作レバーの図形Ｇ３Ｌ、右操作レバーの図形Ｇ３Ｒ、左走行レバーの図形Ｇ４Ｌ、及び右走行レバーの図形Ｇ４Ｒを含む。キャビン１０の内部を表す図形は、エンジン回転数調整ダイヤル７５の図形を含んでいてもよい。

左操作レバーの図形Ｇ３Ｌは、操作センサ２９の出力の変化に応じて変化するように構成されている。すなわち、左操作レバーの図形Ｇ３Ｌは、遠隔操作室ＲＣにおける操作者ＯＰによって操作される左操作レバーの実際の操作量（操作角度）の大きさを表すことができるように表示される。左操作レバーの図形Ｇ３Ｌは、室内撮像装置Ｃ２が撮像した操作装置２６の画像の変化に応じて変化するように構成されていてもよい。右操作レバーの図形Ｇ３Ｒ、左走行レバーの図形Ｇ４Ｌ、及び右走行レバーの図形Ｇ４Ｒについても同様である。

図７（Ａ）に示す左操作レバーの図形Ｇ３Ｌは、実際の左操作レバーがアーム閉じ方向（前方向）に倒されていることを表している。また、図７（Ａ）に示す右操作レバーの図形Ｇ３Ｒは、実際の右操作レバーがブーム下げ方向（前方向）に倒されていることを表している。なお、図７（Ａ）に示す画像は、左操作レバー及び右操作レバーのそれぞれが操作されていないときの状態を破線で表している。

また、図７（Ａ）に示す画像では、第１仮想視点画像は、ブーム４の画像Ｇ７、アーム５の画像Ｇ８、及びバケット６の画像Ｇ９を含む。

また、図７（Ａ）に示す画像は、操作者ＯＰが顔（視線）の向きを変えると、顔（視線）の向きの変化に応じて変化するように構成されている。

図７（Ａ）に示す画像を見た操作者ＯＰは、あたかもキャビン１０内でショベル１００を操作しているかのような臨場感を得ることができる。

また、左操作レバーの図形Ｇ３Ｌが表示されているため、操作者ＯＰは、左操作レバーがどの程度傾けられているかを容易に把握できる。同様に、右操作レバーの図形Ｇ３Ｒが表示されているため、操作者ＯＰは、右操作レバーがどの程度傾けられているかを容易に把握できる。

また、左走行レバーの図形Ｇ４Ｌが表示されているため、操作者ＯＰは、左操作レバーを握っていた手を、左走行レバーに移動させる場合であっても、表示装置Ｄ１としての非透過型ヘッドマウントディスプレイを頭から取り外す必要はない。左走行レバーの図形Ｇ４Ｌは、遠隔操作室ＲＣ内に設置された左走行レバーの実際の位置に対応する画像部分に表示されているためである。同様に、左操作レバーの図形Ｇ３Ｌが表示されているため、操作者ＯＰは、左走行レバーを握っていた手を、左操作レバーに移動させる場合であっても、表示装置Ｄ１を頭から取り外す必要はない。左操作レバーの図形Ｇ３Ｌは、遠隔操作室ＲＣ内に設置された左操作レバーの実際の位置に対応する画像部分に表示されているためである。右操作レバーの図形Ｇ３Ｒ及び右走行レバーの図形Ｇ４Ｒについても同様である。

なお、キャビン１０の内部を表す図形の表示は省略されてもよい。キャビン１０の外側にある空間部分に対応する画像部分ができるだけ広い範囲にわたって表示されるようにするためである。

また、キャビン１０の内部を表す図形は、左操作レバーの図形Ｇ３Ｌ、右操作レバーの図形Ｇ３Ｒ、左走行レバーの図形Ｇ４Ｌ、及び右走行レバーの図形Ｇ４Ｒで構成されていてもよい。この場合、左操作レバーの図形Ｇ３Ｌ、右操作レバーの図形Ｇ３Ｒ、左走行レバーの図形Ｇ４Ｌ、及び右走行レバーの図形Ｇ４Ｒは、所定の条件が満たされた場合にのみ表示されるように構成されていてもよい。所定の条件は、例えば、遠隔操作室ＲＣに設置された左操作レバー、右操作レバー、左走行レバー、及び右走行レバーの全てが非操作状態となっていることである。上述のような操作レバーと走行レバーとの間の手の移動が容易に行われるようにするためである。

また、キャビン１０の内部を表す図形は、左操作レバーの図形Ｇ３Ｌ及び右操作レバーの図形Ｇ３Ｒで構成されていてもよい。この場合においても、左操作レバーの図形Ｇ３Ｌ及び右操作レバーの図形Ｇ３Ｒは、所定の条件が満たされた場合にのみ表示されるように構成されていてもよい。

また、キャビン１０の内部を表す図形は、操作者ＯＰの腕（手の部分を含む。）の図形を含んでいてもよい。この場合、操作者ＯＰの腕の図形は、操作者ＯＰの実際の腕の状態の変化に応じて変化するように表示されてもよい。操作者ＯＰの実際の腕の状態は、例えば、室内撮像装置Ｃ２が撮像した画像に基づいて特定されてもよい。

図７（Ｂ）に示す画像は、第１仮想視点画像と第２仮想視点画像とを合成して生成されている。図７（Ｂ）に示す画像では、第２仮想視点画像は、遠隔操作室ＲＣに設置された左操作レバーの画像Ｇ３ＬＧ、及び、遠隔操作室ＲＣに設置された右操作レバーの画像Ｇ３ＲＧを含む。

図７（Ｂ）に示す画像では、左操作レバーの画像Ｇ３ＬＧは、左操作レバーを左手で握っている操作者ＯＰの左腕の一部の画像を含み、右操作レバーの画像Ｇ３ＲＧは、右操作レバーを右手で握っている操作者ＯＰの右腕の一部の画像を含んでいる。

左操作レバーの画像Ｇ３ＬＧは、室内撮像装置Ｃ２が撮像した画像に基づいて生成されるため、遠隔操作室ＲＣにおける操作者ＯＰによって操作される左操作レバーの実際の操作の内容がそのまま表示される。右操作レバーの画像Ｇ３ＲＧについても同様である。

図７（Ｂ）に示す画像を見た操作者ＯＰは、あたかも掘削地点のすぐ近くでショベル１００を操作しているかのような臨場感を得ることができる。

また、左操作レバーの画像Ｇ３ＬＧが表示されているため、操作者ＯＰは、左操作レバーがどの程度傾けられているかを容易に把握できる。同様に、右操作レバーの画像Ｇ３ＲＧが表示されているため、操作者ＯＰは、右操作レバーがどの程度傾けられているかを容易に把握できる。

図７（Ｂ）に示す画像に関する仮想操作者視点Ｅ１'の三次元座標は、図７（Ａ）に示す画像に関する仮想操作者視点Ｅ１'の三次元座標よりもバケット６に近い位置にあるが、バケット６に更に近い位置にあってもよい。この場合、図７（Ｂ）に示す画像は、図７（Ａ）に示す画像のうちのバケット６の周辺の画像部分を拡大したものであってもよい。

その場合であっても、すなわち、仮想操作者視点Ｅ１'がキャビン１０の外にある場合であっても、遠隔操作システムＳＹＳは、左操作レバーの画像Ｇ３ＬＧ及び右操作レバーの画像Ｇ３ＲＧを、図７（Ｂ）に示す画像における適切な位置に表示させてもよい。仮想操作者視点Ｅ１'から見た左操作レバーの画像Ｇ３ＬＧ及び右操作レバーの画像Ｇ３ＲＧのそれぞれの適切な位置は、例えば、遠隔操作室ＲＣにおける操作者ＯＰの目の位置である操作者視点Ｅ１から見た遠隔操作室ＲＣにおける左操作レバー及び右操作レバーのそれぞれの位置に対応する位置である。

この構成により、仮想操作者視点Ｅ１'がキャビン１０の外にある場合であっても、操作者ＯＰは、左操作レバー及び右操作レバーのそれぞれがどの程度傾けられているのかを容易に把握できる。

また、図７（Ｂ）に示す画像では、キャビン１０の内部を表す図形が表示されない。そのため、操作者ＯＰは、キャビン１０内にいたとしたら左ピラー及び右ピラー等によって遮られて見ることができなかった空間部分に対応する画像部分をも見ることができる。但し、遠隔操作システムＳＹＳは、図７（Ｂ）に示す画像における適切な位置に、左ピラーの図形Ｇ１及び右ピラーの図形Ｇ２を表示させてもよい。この場合、操作者ＯＰは、例えば、表示装置Ｄ１に表示されている画像における左ピラーの図形Ｇ１と右ピラーの図形Ｇ２との間の間隔の大きさを把握することで、実際のバケット６とキャビン１０との間の位置関係をより正確に認識することができる。

また、左操作レバーの画像Ｇ３ＬＧ及び右操作レバーの画像Ｇ３ＲＧの表示は省略されてもよい。キャビン１０の外側にある空間部分に対応する画像部分ができるだけ広い範囲にわたって表示されるようにするためである。

また、左操作レバーの画像Ｇ３ＬＧ及び右操作レバーの画像Ｇ３ＲＧは、所定の条件が満たされた場合にのみ表示されるように構成されていてもよい。所定の条件は、例えば、遠隔操作室ＲＣに設置された左操作レバー及び右操作レバーが非操作状態となっていることである。上述のような操作レバーと走行レバーとの間の手の移動が容易に行われるようにするためである。

次に、図８を参照し、ショベル１００の遠隔操作システムの別の構成例について説明する。図８は、遠隔操作システムＳＹＳの別の構成例である遠隔操作システムＳＹＳ１を示す機能ブロック図である。

遠隔操作システムＳＹＳ１は、コントローラ３０から送信されてくる画像が、遠隔コントローラ４０を経由せずに、そのまま表示装置Ｄ１で表示される点、及び、表示装置Ｄ１に取り付けられている慣性計測装置Ｄ２の出力に基づいて操作者ＯＰの目の位置及び顔（視線）の向きを特定する点において、遠隔操作システムＳＹＳと異なるが、その他の点で遠隔操作システムＳＹＳと共通している。

この構成により、遠隔操作システムＳＹＳ１は、遠隔操作システムＳＹＳと同様に、遠隔操作室ＲＣにいる操作者ＯＰが、遠隔地にあるショベル１００を遠隔操作できるようにする。その際に、遠隔操作システムＳＹＳ１は、ショベル１００に取り付けられた撮像装置Ｃ１が撮像した画像に基づいて生成される周囲画像を操作者ＯＰがリアルタイムに視認できるようにする。具体的には、遠隔操作システムＳＹＳ１は、操作者ＯＰが着用している表示装置Ｄ１としてのヘッドマウントディスプレイに、主に撮像装置Ｃ１が撮像した画像に基づいて生成された周囲画像の一部を表示させることができる。表示装置Ｄ１で表示された画像を見た操作者ＯＰは、あたかもキャビン１０内でショベル１００を操作しているかのような臨場感を得ることができる。

また、遠隔操作システムＳＹＳ１は、表示装置Ｄ１に取り付けられている慣性計測装置Ｄ２の出力に基づき、操作者ＯＰの目の位置及び顔（視線）の向きを特定できるように構成されている。慣性計測装置Ｄ２は、測位装置を含んでいてもよい。そして、遠隔操作システムＳＹＳ１は、操作者ＯＰの目の位置及び顔（視線）の向きの変化に応じ、表示装置Ｄ１に表示される画像の内容を変化させるように構成されている。そのため、操作者ＯＰは、見たい方向に顔を向けるだけで、見たい方向の画像を見ることができる。但し、遠隔操作システムＳＹＳ１は、遠隔操作システムＳＹＳと同様に、遠隔操作室ＲＣに設置されている室内撮像装置Ｃ２が撮像した画像に基づいて操作者ＯＰの目の位置及び顔（視線）の向きを特定するように構成されていてもよい。

上述のように、本発明の実施形態に係るショベル１００は、下部走行体１と、下部走行体１に旋回可能に搭載される上部旋回体３と、上部旋回体３に取り付けられた撮像装置Ｃ１と、を有する。

そして、ショベル１００の遠隔操作システムＳＹＳ及びＳＹＳ１は、撮像装置Ｃ１が撮像した画像に基づいて周囲画像を生成する演算装置としてのコントローラ３０と、ショベル１００の外部に設置された操作装置２６と、周囲画像が表示される表示装置Ｄ１としてのヘッドマウントディスプレイと、を有する。ヘッドマウントディスプレイに表示される周囲画像は、ヘッドマウントディスプレイの向きの変化に応じて変化するように構成されている。

この構成により、遠隔操作システムＳＹＳ及びＳＹＳ１は、遠隔操作室ＲＣにいる操作者ＯＰに対し、従来よりも臨場感のある画像を提示できる。

ショベル１００の遠隔操作システムＳＹＳは、ショベル１００の外部に設置された操作装置２６の状態を表す画像と、撮像装置Ｃ１が撮像した画像とを合成して合成画像を生成する演算装置としての遠隔コントローラ４０を有していてもよい。例えば、遠隔コントローラ４０は、図７（Ｂ）に示すように、操作装置２６の状態を表す画像である左操作レバーの画像Ｇ３ＬＧ及び右操作レバーの画像Ｇ３ＲＧと、コントローラ３０から送られている、ブーム４の画像Ｇ７、アーム５の画像Ｇ８、及びバケット６の画像Ｇ９を含む部分周囲画像とを合成して合成画像を生成してもよい。

この構成により、遠隔操作システムＳＹＳは、操作装置２６の状態を操作者ＯＰにリアルタイムで提示できるため、操作装置２６をどの程度の操作量で操作しているかを認識できないといった状況が発生するのを防止できる。そのため、操作者ＯＰは、ショベル１００の遠隔操作がし易くなる。したがって、遠隔操作システムＳＹＳは、ショベル１００の遠隔操作の円滑化、及び、ショベル１００の操作性の向上を実現できる。

なお、表示装置Ｄ１として非透過型ヘッドマウントディスプレイを操作者ＯＰが着用している場合等、操作者ＯＰが操作装置２６を肉眼で見ることができない状況において、操作装置２６の状態を表す画像を表示装置Ｄ１に表示させる機能は、ショベルシミュレータ等で利用されてもよい。上述のような操作レバーと走行レバーとの間の手の移動は、ショベルシミュレータでも行われるためである。

遠隔操作システムＳＹＳは、操作装置２６を撮像する、撮像装置Ｃ１とは別の撮像装置である室内撮像装置Ｃ２を有し、室内撮像装置Ｃ２が撮像した画像に基づき、操作装置２６の状態を表す画像を生成するように構成されていてもよい。或いは、遠隔操作システムＳＹＳは、操作装置２６の操作内容を検出する操作センサ２９を有し、操作センサ２９の出力に基づき、操作装置２６の状態を表す画像を生成するように構成されていてもよい。

この構成により、遠隔操作システムＳＹＳは、操作装置２６の状態を表す画像を、部分周囲画像とともに、表示装置Ｄ１としての非透過型ヘッドマウントディスプレイに表示させることができる。そのため、操作者ＯＰは、非透過型ヘッドマウントディスプレイを着用している場合であっても、操作装置２６がどのように操作されているかを視認しながら、ショベル１００を遠隔操作することができる。

表示装置Ｄ１としてのヘッドマウントディスプレイに表示される、周囲画像のうちの表示対象部分は、ヘッドマウントディスプレイの位置及び向きの変化に応じて変化するように構成されていてもよい。例えば、コントローラ３０が生成した周囲画像のうちで表示装置Ｄ１での表示に用いられる領域の位置及びサイズは、操作者ＯＰの目の位置及び顔（視線）の向きの変化に応じて変化するように構成されていてもよい。

この構成により、遠隔操作室ＲＣにいる操作者ＯＰは、頭の位置を変えるだけで、或いは、顔の向きを変えるだけで、ヘッドマウントディスプレイに表示されている画像の内容を変化させることができる。そのため、操作者ＯＰは、例えば、キャビン１０内の運転席に座ってキャビン１０の内側からショベル１００の周囲を見ているときのように、見たい方向に顔を向けるだけで見たい部分を見ることができる。

以上、本発明の好ましい実施形態について詳説した。しかしながら、本発明は、上述した実施形態に制限されることはない。上述した実施形態は、本発明の範囲を逸脱することなしに、種々の変形又は置換等が適用され得る。また、別々に説明された特徴は、技術的な矛盾が生じない限り、組み合わせが可能である。

例えば、上述の実施形態では、ショベル１００に取り付けられている撮像装置Ｃ１は、ショベル１００に搭載されているコントローラ３０に接続されている。しかしながら、撮像装置Ｃ１は、通信装置Ｔ１に直接接続されていてもよい。すなわち、撮像装置Ｃ１が撮像した画像は、コントローラ３０を経由せずに、遠隔操作室ＲＣにおける表示装置Ｄ１に向けて送信されてもよい。この場合、遠隔操作室ＲＣに設置された遠隔コントローラ４０は、撮像装置Ｃ１から送信されてくる画像に基づいて周囲画像を生成するように構成されていてもよい。

また、上述の遠隔操作システムＳＹＳでは、遠隔操作室ＲＣに設置されている室内撮像装置Ｃ２は、遠隔コントローラ４０に接続されている。しかしながら、室内撮像装置Ｃ２は、通信装置Ｔ２に直接接続されていてもよい。すなわち、室内撮像装置Ｃ２が撮像した画像は、遠隔コントローラ４０を経由せずに、ショベル１００に向けて送信されてもよい。この場合、ショベル１００に設置されたコントローラ３０は、室内撮像装置Ｃ２から送信されてくる画像に基づいて第２仮想視点画像を生成するように構成されていてもよい。そして、コントローラ３０は、撮像装置Ｃ１が撮像した画像に基づいて生成される第１仮想視点画像と第２仮想視点画像とを合成して合成画像を生成し、その合成画像を遠隔操作室ＲＣにおける表示装置Ｄ１に向けて送信してもよい。この場合、コントローラ３０は、メモリ３０ａに予め記憶されている設計面情報ＤＩに基づいて生成される画像と第１仮想視点画像とを合成してもよい。

また、上述の実施形態では、撮像装置Ｃ１は、複数台の単眼カメラで構成されているが、１又は複数台の半天球カメラ又は全天球カメラで構成されていてもよい。また、撮像装置Ｃ１は、キャビン１０内に設置されたカメラを含んでいてもよい。

１・・・下部走行体 １Ｌ・・・左側走行用油圧モータ １Ｒ・・・右側走行用油圧モータ ２・・・旋回機構 ２Ａ・・・旋回用油圧モータ ３・・・上部旋回体 ４・・・ブーム ５・・・アーム ６・・・バケット ７・・・ブームシリンダ ８・・・アームシリンダ ９・・・バケットシリンダ １０・・・キャビン １１・・・エンジン １１ａ・・・オルタネータ １１ｂ・・・スタータ １１ｃ・・・水温センサ １３・・・レギュレータ １４・・・メインポンプ １４ｂ・・・吐出圧センサ １４ｃ・・・油温センサ １５・・・パイロットポンプ １６・・・作動油ライン １７・・・コントロールバルブユニット １８・・・測位装置 ２５・・・パイロットライン ２６・・・操作装置 ２９・・・操作センサ ３０・・・コントローラ ３１・・・画像生成部 ３２・・・ショベル状態特定部 ３３・・・アクチュエータ駆動部 ４０・・・遠隔コントローラ ４１・・・操作者状態特定部 ４２・・・画像合成部 ４３・・・操作信号生成部 ４５・・・電磁弁ユニット ５０・・・尿素水タンク ５０ａ・・・尿素水残量センサ ５５・・・燃料タンク ５５ａ・・・燃料残量センサ ７０・・・バッテリ ７２・・・電装品 ７４・・・エンジンコントロールユニット ７５・・・エンジン回転数調整ダイヤル Ｃ１・・・撮像装置 Ｃ１Ｂ・・・後カメラ Ｃ１Ｆ・・・前カメラ Ｃ１Ｌ・・・左カメラ Ｃ１Ｒ・・・右カメラ Ｃ２・・・室内撮像装置 Ｄ１・・・表示装置 Ｄ２・・・慣性計測装置 ＤＳ・・・運転席 ＯＰ・・・操作者 ＲＣ・・・遠隔操作室 Ｓ１・・・ブーム角度センサ Ｓ２・・・アーム角度センサ Ｓ３・・・バケット角度センサ Ｓ４・・・旋回角速度センサ Ｔ１、Ｔ２・・・通信装置

Claims (5)

1. 下部走行体と、前記下部走行体に旋回可能に搭載される上部旋回体と、前記上部旋回体に取り付けられた撮像装置と、を有するショベルの遠隔操作システムであって、
   前記撮像装置が撮像した画像に基づいて周囲画像を生成する演算装置と、
   ショベルの外部に設置された操作装置と、
   前記周囲画像が表示されるヘッドマウントディスプレイと、を有し、
   前記ヘッドマウントディスプレイに表示される前記周囲画像は、前記ヘッドマウントディスプレイの向きの変化に応じて変化する、
   ショベルの遠隔操作システム。
2. 下部走行体と、前記下部走行体に旋回可能に搭載される上部旋回体と、前記上部旋回体に取り付けられた撮像装置と、を有するショベルの遠隔操作システムであって、
   ショベルの外部に設置された操作装置の状態を表す画像と、前記撮像装置が撮像した画像とを合成して合成画像を生成する演算装置を有する、
   ショベルの遠隔操作システム。
3. 前記操作装置を撮像する別の撮像装置を有し、
   前記別の撮像装置が撮像した画像に基づき、前記操作装置の状態を表す画像を生成する、
   請求項１又は２に記載のショベルの遠隔操作システム。
4. 前記操作装置の操作内容を検出するセンサを有し、
   前記センサの出力に基づき、前記操作装置の状態を表す画像を生成する、
   請求項１又は２に記載のショベルの遠隔操作システム。
5. 前記ヘッドマウントディスプレイに表示される、前記周囲画像のうちの表示対象部分は、前記ヘッドマウントディスプレイの位置及び向きの変化に応じて変化する、
   請求項１に記載のショベルの遠隔操作システム。

Images