次に、添付図面を参照しながら、本発明の限定的でない例示の実施形態について説明する。
図1は、本発明の実施形態に係る掘削機としてのショベル100を示している。ショベル100の下部走行体1には、旋回機構2を介して上部旋回体3が旋回可能に搭載されている。上部旋回体3にはブーム4が取り付けられている。ブーム4の先端にはアーム5が取り付けられ、アーム5の先端にはエンドアタッチメントとしてのバケット6が取り付けられている。
ブーム4、アーム5、及びバケット6は、アタッチメントの一例である掘削アタッチメントを構成している。ブーム4はブームシリンダ7により駆動され、アーム5はアームシリンダ8により駆動され、バケット6はバケットシリンダ9により駆動される。
ブーム4にはブーム角度センサS1が取り付けられ、アーム5にはアーム角度センサS2が取り付けられ、バケットリンクにはバケット角度センサS3が取り付けられている。上部旋回体3には、旋回角速度センサS4が取り付けられている。
ブーム角度センサS1は、姿勢検出センサの1つであり、ブーム4の回動角度を検出するように構成されている。本実施形態では、ブーム角度センサS1は、ブームシリンダ7のストローク量を検出するストロークセンサであり、ブームシリンダ7のストローク量に基づいて上部旋回体3とブーム4とを連結するブームフートピン回りのブーム4の回動角度を導き出す。
アーム角度センサS2は、姿勢検出センサの1つであり、アーム5の回動角度を検出するように構成されている。本実施形態では、アーム角度センサS2は、アームシリンダ8のストローク量を検出するストロークセンサであり、アームシリンダ8のストローク量に基づいてブーム4とアーム5とを連結する連結ピン回りのアーム5の回動角度を導き出す。
バケット角度センサS3は、姿勢検出センサの1つであり、バケット6の回動角度を検出するように構成されている。本実施形態では、バケット角度センサS3は、バケットシリンダ9のストローク量を検出するストロークセンサであり、バケットシリンダ9のストローク量に基づいてアーム5とバケット6とを連結する連結ピン回りのバケット6の回動角度を導き出す。
なお、ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3のそれぞれは、ロータリエンコーダ、加速度センサ、ポテンショメータ(可変抵抗器)、傾斜センサ、又は、慣性計測装置等であってもよい。慣性計測装置は、例えば、加速度センサとジャイロセンサとの組み合わせで構成されていてもよい。
旋回角速度センサS4は、上部旋回体3の旋回角速度を検出するように構成されている。本実施形態では、旋回角速度センサS4は、ジャイロセンサである。旋回角速度センサS4は、旋回角速度に基づいて旋回角度を算出するように構成されていてもよい。旋回角速度センサS4は、ロータリエンコーダ等の他のセンサで構成されていてもよい。
上部旋回体3には、運転室としてのキャビン10、エンジン11、測位装置18、集音装置A1、撮像装置C1、及び通信装置T1等が搭載されている。また、キャビン10内には、コントローラ30が搭載されている。また、キャビン10内には、運転席及び操作装置等が設置されている。但し、ショベル100は、キャビン10が省略された無人ショベルであってもよい。
エンジン11は、ショベル100の駆動源である。本実施形態では、エンジン11は、ディーゼルエンジンである。エンジン11の出力軸は、メインポンプ14及びパイロットポンプ15のそれぞれの入力軸に連結されている。
測位装置18は、ショベル100の位置を測定するように構成されている。本実施形態では、測位装置18は、GNSSコンパスであり、上部旋回体3の位置及び向きを測定できるように構成されている。
集音装置A1は、ショベル100の周囲で発生する音を集めるように構成されている。本実施形態では、集音装置A1は、上部旋回体3に取り付けられたマイクである。
撮像装置C1は、ショベル100の周囲を撮像するように構成されている。本実施形態では、撮像装置C1は、上部旋回体3の上面後端に取り付けられた後カメラC1B、キャビン10の上面前端に取り付けられた前カメラC1F、上部旋回体3の上面左端に取り付けられた左カメラC1L、及び、上部旋回体3の上面右端に取り付けられた右カメラC1Rを含む。撮像装置C1は、キャビン10内の所定位置に設置された全天球カメラであってもよい。所定位置は、例えば、キャビン10内に設置された運転席に着座する操作者の目の位置に対応する位置である。
通信装置T1は、ショベル100の外部にある機器との通信を制御するように構成されている。本実施形態では、通信装置T1は、無線通信網を介し、通信装置T1とショベル100の外部にある機器との間の無線通信を制御するように構成されている。
コントローラ30は、各種演算を実行する演算装置である。本実施形態では、コントローラ30は、CPU及びメモリ30aを含むマイクロコンピュータで構成されている。そして、コントローラ30の各種機能は、CPUがメモリ30aに格納されたプログラムを実行することで実現される。
図2は、図1のショベル100の駆動系の構成例を示すブロック図である。図2において、機械的動力伝達ラインは二重線、作動油ラインは太実線、パイロットラインは破線、電気制御ラインは点線でそれぞれ示されている。
ショベル100の駆動系は、エンジン11、レギュレータ13、メインポンプ14、パイロットポンプ15、コントロールバルブユニット17、コントローラ30、及び電磁弁ユニット45等で構成されている。エンジン11は、エンジンコントロールユニット74により駆動制御される。
メインポンプ14は、作動油ライン16を介して作動油をコントロールバルブユニット17に供給する。本実施形態では、メインポンプ14は、斜板式可変容量型油圧ポンプである。
レギュレータ13は、メインポンプ14の吐出量を制御するように構成されている。本実施形態では、レギュレータ13は、メインポンプ14の吐出圧又はコントローラ30からの制御信号等に応じてメインポンプ14の斜板傾転角を調節するように構成されている。メインポンプ14は、レギュレータ13により1回転当たり吐出量(押し退け容積)が制御される。
パイロットポンプ15は、パイロットライン25を介して各種油圧制御機器に作動油を供給するように構成されている。本実施形態では、パイロットポンプ15は、固定容量型油圧ポンプである。但し、パイロットポンプ15は、省略されてもよい。この場合、パイロットポンプ15が担っていた機能は、メインポンプ14によって実現されてもよい。すなわち、メインポンプ14は、コントロールバルブユニット17に作動油を供給する機能とは別に、絞り等を介して電磁弁ユニット45等に作動油を供給する機能を備えていてもよい。
コントロールバルブユニット17は、メインポンプ14から受け入れた作動油を1又は複数の油圧アクチュエータに選択的に供給できるように構成されている。本実施形態では、コントロールバルブユニット17は、複数の油圧アクチュエータに対応する複数の制御弁を含む。そして、コントロールバルブユニット17は、1又は複数の油圧アクチュエータに対し、メインポンプ14から吐出される作動油を選択的に供給できるように構成されている。油圧アクチュエータは、例えば、ブームシリンダ7、アームシリンダ8、バケットシリンダ9、左側走行用油圧モータ1L、右側走行用油圧モータ1R、及び旋回用油圧モータ2Aを含む。
コントローラ30は、通信装置T1を通じて受信する操作信号に基づき、電磁弁ユニット45を制御するように構成されている。本実施形態では、操作信号は、遠隔操作室から送信されてくる。操作信号は、キャビン10内に設けられた操作装置によって生成されてもよい。
電磁弁ユニット45は、パイロットポンプ15とコントロールバルブユニット17内の各制御弁のパイロットポートとを繋ぐ各パイロットライン25に配置された複数の電磁弁を含む。
本実施形態では、コントローラ30は、複数の電磁弁のそれぞれの開口面積を個別に制御することで、各制御弁のパイロットポートに作用するパイロット圧を制御することができる。そのため、コントローラ30は、各油圧アクチュエータに流入する作動油の流量、及び、各油圧アクチュエータから流出する作動油の流量を制御することができ、ひいては、各油圧アクチュエータの動きを制御することができる。
このようにして、コントローラ30は、遠隔操作室等の外部からの操作信号に応じ、ブーム4の上げ下げ、アーム5の開閉、バケット6の開閉、上部旋回体3の旋回、及び下部走行体1の走行等を実現できる。
図3は、図1のショベルに搭載される電気系の構成例を示す図である。エンジン11は、図3に示すように、エンジンコントロールユニット74に接続されている。エンジンコントロールユニット74からは、エンジン11の状態を示す各種データがコントローラ30に送信される。コントローラ30は、エンジン11の状態を示す各種データをメモリ30aに蓄積できるように構成されている。
バッテリ70は、ショベル100に搭載されている各種電気負荷に電力を供給するように構成されている。オルタネータ11a(発電機)、スタータ11b、コントローラ30、及び電装品72等は、バッテリ70に蓄えられた電力で動作するように構成されている。スタータ11bは、バッテリ70に蓄えられた電力で駆動され、エンジン11を始動させるように構成されている。また、バッテリ70は、オルタネータ11aが発電した電力で充電されるように構成されている。
水温センサ11cは、エンジン冷却水の温度に関するデータをコントローラ30に送信する。レギュレータ13は、斜板傾転角に関するデータをコントローラ30に送信する。吐出圧センサ14bは、メインポンプ14の吐出圧に関するデータをコントローラ30に送信する。測位装置18は、ショベル100の位置に関するデータをコントローラ30に送信する。
メインポンプ14が吸入する作動油が貯蔵された作動油タンクとメインポンプ14との間の管路14−1には、油温センサ14cが設けられている。油温センサ14cは、管路14−1を流れる作動油の温度に関するデータをコントローラ30に送信する。
尿素水タンク21に設けられた尿素水残量センサ21aは、尿素水の残量に関するデータをコントローラ30に送信する。燃料タンク22に設けられた燃料残量センサ22aは、燃料の残量に関するデータをコントローラ30に送信する。
通信装置T1は、無線通信を介し、遠隔操作室RCに設置された通信装置T2との間で情報を送受信するように構成されている。本実施形態では、通信装置T1と通信装置T2とは、第5世代移動通信回線(5G回線)、LTE回線、又は衛星回線等を介して情報を送受信するように構成されている。
遠隔操作室RCには、遠隔コントローラ40、音出力装置A2、室内撮像装置C2、表示装置D1、及び通信装置T2等が設置されている。また、遠隔操作室RCには、ショベル100を遠隔操作する操作者OPが座る運転席DSが設置されている。
遠隔コントローラ40は、各種演算を実行する演算装置である。本実施形態では、遠隔コントローラ40は、コントローラ30と同様、CPU及びメモリを含むマイクロコンピュータで構成されている。そして、遠隔コントローラ40の各種機能は、CPUがメモリに格納されたプログラムを実行することで実現される。
音出力装置A2は、音を出力するように構成されている。本実施形態では、音出力装置A2は、スピーカであり、ショベル100に取り付けられている集音装置A1が集めた音を再生するように構成されている。
室内撮像装置C2は、遠隔操作室RC内を撮像するように構成されている。本実施形態では、室内撮像装置C2は、遠隔操作室RCの内部に設置されたカメラであり、運転席DSに着座する操作者OPを撮像するように構成されている。
通信装置T2は、ショベル100に取り付けられた通信装置T1との無線通信を制御するように構成されている。
本実施形態では、運転席DSは、通常のショベルのキャビン内に設置される運転席と同様の構造を有する。具体的には、運転席DSの左側には左コンソールボックスが配置され、運転席DSの右側には右コンソールボックスが配置されている。そして、左コンソールボックスの上面前端には左操作レバーが配置され、右コンソールボックスの上面前端には右操作レバーが配置されている。また、運転席DSの前方には、走行レバー及び走行ペダルが配置されている。更に、右コンソールボックスの上面中央部には、エンジン回転数調整ダイヤル75が配置されている。左操作レバー、右操作レバー、走行レバー、走行ペダル、及びエンジン回転数調整ダイヤル75のそれぞれは、操作装置26を構成している。
エンジン回転数調整ダイヤル75は、エンジン11の回転数を調整するためのダイヤルであり、例えばエンジン回転数を4段階で切り換えできるように構成されている。
具体的には、エンジン回転数調整ダイヤル75はSPモード、Hモード、Aモード、及びアイドリングモードの4段階でエンジン回転数の切り換えができるように構成されている。エンジン回転数調整ダイヤル75は、エンジン回転数の設定に関するデータをコントローラ30に送信する。
SPモードは、操作者OPが作業量を優先させたい場合に選択される回転数モードであり、最も高いエンジン回転数を利用する。Hモードは、操作者OPが作業量と燃費を両立させたい場合に選択される回転数モードであり、二番目に高いエンジン回転数を利用する。Aモードは、操作者OPが燃費を優先させながら低騒音でショベルを稼働させたい場合に選択される回転数モードであり、三番目に高いエンジン回転数を利用する。アイドリングモードは、操作者OPがエンジンをアイドリング状態にしたい場合に選択される回転数モードであり、最も低いエンジン回転数を利用する。そして、エンジン11は、エンジン回転数調整ダイヤル75を介して選択された回転数モードのエンジン回転数で一定に回転数制御される。
操作装置26には、操作装置26の操作内容を検出するための操作センサ29が設置されている。操作センサ29は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサ29は、圧力センサ、電流センサ、電圧センサ、又は距離センサ等の他のセンサで構成されていてもよい。操作センサ29は、検出した操作装置26の操作内容に関する情報を遠隔コントローラ40に対して出力する。遠隔コントローラ40は、受信した情報に基づいて操作信号を生成し、生成した操作信号をショベル100に向けて送信する。操作センサ29は、操作信号を生成するように構成されていてもよい。この場合、操作センサ29は、遠隔コントローラ40を経由せずに、操作信号を通信装置T2に出力してもよい。
表示装置D1は、ショベル100の周囲の状況に関する情報を表示するように構成されている。本実施形態では、表示装置D1は、縦3段、横3列の9つのモニタで構成されるマルチディスプレイであり、ショベル100の前方、左方、及び右方の空間の様子を表示できるように構成されている。各モニタは、液晶モニタ又は有機ELモニタ等である。但し、表示装置D1は、1又は複数の曲面モニタで構成されていてもよく、プロジェクタで構成されていてもよい。
表示装置D1は、操作者OPが着用可能な表示装置であってもよい。例えば、表示装置D1は、ヘッドマウントディスプレイであり、無線通信によって、遠隔コントローラ40との間で情報を送受信できるように構成されていてもよい。ヘッドマウントディスプレイは、遠隔コントローラ40に有線接続されていてもよい。ヘッドマウントディスプレイは、透過型ヘッドマウントディスプレイであってもよく、非透過型ヘッドマウントディスプレイであってもよい。ヘッドマウントディスプレイは、片眼型ヘッドマウントディスプレイであってもよく、両眼型ヘッドマウントディスプレイであってもよい。
表示装置D1は、遠隔操作室RCにいる操作者OPがショベル100の周囲を視認できるようにする画像を表示するように構成されている。すなわち、表示装置D1は、操作者が遠隔操作室RCにいるにもかかわらず、あたかもショベル100のキャビン10内にいるかのように、ショベル100の周囲の状況を確認することができるように、画像を表示する。
次に、図4を参照し、遠隔操作室RCにおける基準点R1を原点とする第1座標系と、ショベル100における基準点R2を原点とする第2座標系との関係について説明する。なお、以下の説明では、第1座標系は、操作室座標系と称され、第2座標系は、ショベル座標系と称される。図4は、操作室座標系とショベル座標系との関係を示す図である。
操作室座標系は、遠隔操作室RCにおける基準点R1を原点とする3次元UVW直交座標系であり、運転席DSの前後方向に平行に伸びるU軸、運転席DSの左右方向に平行に伸びるV軸、及び、U軸とV軸に直交するW軸を有する。
ショベル座標系は、上部旋回体3上の基準点R2を原点とする3次元XYZ直交座標系であり、上部旋回体3の前後方向に平行に伸びるX軸、上部旋回体3の左右方向に平行に伸びるY軸、及び、X軸とY軸に直交するZ軸を有する。図4の例では、基準点R2は旋回軸上の点であり、XY平面は水平面であり、Z軸は鉛直軸である。すなわち、図4の例では、ショベル100が位置する仮想平面である接地面は水平面である。そして、X軸は、操作室座標系のU軸に対応し、Y軸は、操作室座標系のV軸に対応し、Z軸は、操作室座標系のW軸に対応している。
本実施形態では、操作室座標系における各三次元座標は、ショベル座標系における三次元座標の1つに予め対応付けられている。そのため、遠隔操作室RCにおける操作者OPの目の位置である操作者視点E1の三次元座標が決まれば、ショベル100における仮想操作者の目の位置である仮想操作者視点E1'の三次元座標は一意に決まる。なお、操作者OPの目の位置は、例えば、操作者OPの左目の位置と右目の位置の中間点である。但し、操作者OPの目の位置は、予め設定された位置であってもよい。すなわち、操作者視点E1及び仮想操作者視点E1'は固定点であってもよい。
次に、図5及び図6を参照し、表示装置D1に表示される、ショベル100の周囲の状況に関する情報について説明する。図5は、表示装置D1に表示される画像がカバーする範囲ZNを示す。図5に示す例では、範囲ZNは、撮像装置C1の撮像範囲に含まれる。本実施形態では、撮像装置C1の撮像範囲は、ショベル100の全周囲にわたる範囲であり、表示装置D1にはその一部が抜き出されて表示される。具体的には、図5(A)は、ショベル100の側面図であり、仮想操作者視点E1'を含むXZ平面に平行な仮想平面PL2(図5(B)参照。)における範囲ZNの断面を示す。図5(B)は、ショベル100の上面図であり、仮想操作者視点E1'を含むXY平面に平行な仮想平面PL1(図5(A)参照。)における範囲ZNの断面を示す。図6は、表示装置D1の構成例を示す図である。
図5に示す例では、範囲ZNは、図5(A)に示すように、範囲ZNの上限を表す境界線L1と仮想平面PL1との間に形成される角度が所定角度α1となり、且つ、範囲ZNの下限を表す境界線L2と仮想平面PL1との間に形成される角度が所定角度α2となるように設定されている。
また、図5に示す例では、範囲ZNは、図5(B)に示すように、範囲ZNの左限を表す境界線L3と仮想平面PL2との間に形成される角度が所定角度β1となり、且つ、範囲ZNの右限を表す境界線L4と仮想平面PL2との間に形成される角度が所定角度β2となるように設定されている。
本実施形態では、表示装置D1は、図6に示すように、縦3段、横3列の9つのモニタで構成されるマルチディスプレイである。具体的には、表示装置D1は、中央モニタD1a、上モニタD1b、下モニタD1c、左モニタD1d、右モニタD1e、左上モニタD1f、右上モニタD1g、左下モニタD1h、及び右下モニタD1iを含む。
中央モニタD1aは、中央範囲ZNa(図5(A)及び図5(B)参照。)で表される空間の状況を捉えた画像を表示するように構成されている。上モニタD1bは、上範囲ZNb(図5(A)参照。)で表される空間の状況を捉えた画像を表示するように構成されている。下モニタD1cは、下範囲ZNc(図5(A)参照。)で表される空間の状況を捉えた画像を表示するように構成されている。左モニタD1dは、左範囲ZNd(図5(B)参照。)で表される空間の状況を捉えた画像を表示するように構成されている。右モニタD1eは、右範囲ZNe(図5(B)参照。)で表される空間の状況を捉えた画像を表示するように構成されている。左上モニタD1f、右上モニタD1g、左下モニタD1h、及び右下モニタD1iについても同様である。
但し、表示装置D1は、例えば、縦2段、横3列の6つのモニタで構成されるマルチディスプレイであってもよい。この場合、範囲ZNは、6つのモニタのそれぞれに対応する6つの範囲に分割されてもよい。或いは、表示装置D1は、中央モニタ、上モニタ、左モニタ、下モニタ、及び右モニタの5つのモニタで構成されるマルチディスプレイであってもよい。この場合、左上範囲、右上範囲、左下範囲、及び右下範囲のそれぞれの状況を捉えた画像の表示は省略されてもよい。或いは、表示装置D1は、複数のモニタが他の任意の配列態様で配列されたマルチディスプレイであってもよい。
上述の実施形態では、表示装置D1は、操作者OPの前方、左前方、及び右前方に設置されているが、操作者OPを取り囲むように角筒状又は円筒状に設置されていてもよい。すなわち、表示装置D1は、操作者OPの後方に設置されたモニタを含んでいてもよい。或いは、表示装置D1は、操作者OPを取り囲むように半球状に設置されていてもよい。すなわち、表示装置D1は、操作者OPの真上に設置されたモニタを含んでいてもよい。
次に、図7及び図8を参照し、ショベル100の施工支援システムSYSの構成例について説明する。図7は、施工支援システムSYSの構成例を示す概略図である。図8は、施工支援システムSYSの構成例を示す機能ブロック図である。
施工支援システムSYSは、主に、ショベル100に搭載されている測位装置18、コントローラ30、電磁弁ユニット45、集音装置A1、撮像装置C1、及び通信装置T1と、遠隔操作室RCに設置されている操作センサ29、遠隔コントローラ40、音出力装置A2、室内撮像装置C2、表示装置D1、及び通信装置T2と、情報センタ200に設置されている管理装置としてのコントローラ50及び通信装置T3とで構成されている。
図7に示す例では、施工支援システムSYSは、ショベル100aと、ショベル100bと、ショベル100aに関する遠隔操作室RCaと、ショベル100bに関する遠隔操作室RCbと、作業現場に設置された撮像装置C3と、情報センタ200とで構成されている。
最初に、ショベル100aに搭載されているコントローラ30が有する機能について説明する。コントローラ30は、図8に示すように、機能ブロックとして、画像生成部31、ショベル状態特定部32、及びアクチュエータ駆動部33を有する。ショベル100bについても同様である。
画像生成部31は、表示装置D1で表示される画像を含む周囲画像を生成するように構成されている。周囲画像は、表示装置D1での表示の際に利用される画像である。典型的には、周囲画像は、仮にキャビン10内に操作者がいたならば操作者が見ることができたショベル100の周囲の様子を表す画像である。本実施形態では、周囲画像は、撮像装置C1が撮像した画像に基づいて生成される。具体的には、画像生成部31は、後カメラC1B、前カメラC1F、左カメラC1L、及び右カメラC1Rのそれぞれが撮像した画像に基づき、周囲画像としての第1仮想視点画像を生成する。但し、画像生成部31は、後カメラC1B、前カメラC1F、左カメラC1L、及び右カメラC1Rの少なくとも1つが撮像した画像に基づき、周囲画像としての第1仮想視点画像を生成してもよい。第1仮想視点画像の仮想視点である第1仮想視点は、仮にキャビン10内の運転席に操作者が着座していたときの操作者の目の位置に対応する仮想操作者視点E1'(図4参照。)である。但し、仮想操作者視点E1'は、キャビン10の外にあってもよい。
本実施形態では、第1仮想視点である仮想操作者視点E1'の座標は、遠隔操作室RCの運転席DSに操作者OPが着座したときの操作者OPの目の位置である操作者視点E1(図4参照。)に基づいて導き出される。なお、操作者視点E1の座標は、遠隔コントローラ40から送信されてくる。画像生成部31は、操作室座標系における操作者視点E1の座標を、ショベル座標系における座標に変換することで、仮想操作者視点E1'の座標を導き出すことができる。但し、操作者視点E1の座標は、予め設定された固定値であってもよい。
また、本実施形態では、第1仮想視点画像は、第1仮想視点を取り囲む仮想的な円筒状の仮想投影面の内周面に投影された画像に相当する。仮想投影面は、第1仮想視点を取り囲む仮想的な球又は半球の内面であってもよく、第1仮想視点を取り囲む仮想的な直方体又は立方体の内面であってもよい。このように生成された第1仮想視点画像を見ることで、操作者OPは、ショベル100の周囲の状況を立体的に把握することができる。すなわち、操作者OPは、第1仮想視点画像を見ることで、例えば、ショベル100の前方に位置するダンプトラックの荷台の奥行き、地面にある盛り土の高さ、又は、地面にある穴の深さ等をより正確に把握できる。
表示装置D1で表示される第1仮想視点画像由来の画像は、画像生成部31が生成する第1仮想視点画像の一部である。
なお、表示装置D1がヘッドマウントディスプレイである場合、第1仮想視点画像の全領域に占める、表示装置D1で表示される画像の領域は、遠隔操作室RCの運転席DSに着座している操作者OPの視線の向きに基づいて決定されてもよい。この場合、操作者OPの視線の向きに関する情報は、遠隔コントローラ40から送信されてくる。画像生成部31は、撮像装置C1が出力する画像と、遠隔コントローラ40から送信されてくる操作者視点E1の座標とに基づいて周囲画像としての第1仮想視点画像を生成する。そして、画像生成部31は、遠隔コントローラ40から送信されてくる操作者OPの視線の向きに関する情報に基づき、生成した第1仮想視点画像の一部を部分周囲画像として切り出し、切り出した部分周囲画像を遠隔操作室RCにある表示装置D1に向けて送信する。
ショベル状態特定部32は、ショベル100の状態を特定するように構成されている。本実施形態では、ショベル100の状態は、ショベル100の位置と向きを含む。ショベル100の位置は、例えば、ショベル100における基準点R2の緯度、経度、及び高度である。ショベル状態特定部32は、測位装置18の出力に基づいてショベルの位置及び向きを特定する。
アクチュエータ駆動部33は、ショベル100に搭載されているアクチュエータを駆動するように構成されている。本実施形態では、アクチュエータ駆動部33は、遠隔コントローラ40から送信されてくる操作信号に基づき、電磁弁ユニット45に含まれる複数の電磁弁のそれぞれに対する作動信号を生成して出力する。
作動信号を受けた各電磁弁は、コントロールバルブユニット17における対応する制御弁のパイロットポートに作用するパイロット圧を増減させる。その結果、各制御弁に対応する油圧アクチュエータは、制御弁のストローク量に応じた速度で動作する。
次に、遠隔操作室RCに設置されている遠隔コントローラ40が有する機能について説明する。遠隔コントローラ40は、機能ブロックとして、操作者状態特定部41、画像合成部42、及び操作信号生成部43を有する。
操作者状態特定部41は、遠隔操作室RCにいる操作者OPの状態を特定するように構成されている。操作者OPの状態は、操作者OPの目の位置と視線の向きを含む。操作者状態特定部41は、室内撮像装置C2の出力に基づいて操作者OPの目の位置及び視線の向きを特定する。具体的には、操作者状態特定部41は、室内撮像装置C2が撮像した画像に各種画像処理を施し、操作室座標系における操作者OPの目の位置の座標を操作者視点E1(図4参照。)の座標として特定する。また、操作者状態特定部41は、室内撮像装置C2が撮像した画像に各種画像処理を施し、操作室座標系における操作者OPの視線の向きを特定する。
操作者状態特定部41は、遠隔操作室RCに設置されたLIDAR、又は、表示装置D1としてのヘッドマウントディスプレイに取り付けられた慣性計測装置等、室内撮像装置C2以外の他の装置の出力に基づいて操作者視点E1の座標及び操作者OPの視線の向きを導き出してもよい。なお、慣性計測装置は、測位装置を含んでいてもよい。
そして、操作者状態特定部41は、通信装置T2を通じ、操作者視点E1の座標及び操作者OPの視線の向きに関する情報をショベル100に向けて送信する。
画像合成部42は、コントローラ30から送信されてくる部分周囲画像と、別の画像とを合成して合成画像を生成するように構成されている。
別の画像は、設計面情報DIに基づいて生成される画像である設計面画像であってもよい。本実施形態では、画像合成部42は、遠隔コントローラ40を構成している不揮発性記憶装置に予め記憶されている設計面情報DIに基づいて設計面の位置を表すコンピュータグラフィックス等の図形を、設計面画像として、部分周囲画像に重畳表示させる。設計面は、ショベル100を用いた掘削作業が完了したときの地面である。操作者は、設計面を見ることで、掘削作業が完了する前であっても、掘削作業が完了したときのショベル100の周囲の状態を把握できる。この場合、画像合成部42は、ショベル状態特定部32が特定したショベルの位置及び向きに基づき、部分周囲画像における、設計面画像を重畳表示すべき位置を決定する。
操作信号生成部43は、操作信号を生成するように構成されている。本実施形態では、操作信号生成部43は、操作センサ29の出力に基づいて操作信号を生成するように構成されている。
次に、情報センタ200に設置されているコントローラ50が有する機能について説明する。コントローラ50は、各種演算を実行する演算装置である。本実施形態では、コントローラ50は、コントローラ30及び遠隔コントローラ40と同様、CPU及びメモリを含むマイクロコンピュータで構成されている。そして、コントローラ50の各種機能は、CPUがメモリに格納されたプログラムを実行することで実現される。
本実施形態では、コントローラ50は、機能ブロックとして、判定部51、操作予測部52、及び操作介入部53を有する。
判定部51は、ショベル100の周囲の状況に関し、ショベル100の操作者に通知すべき事項があるか否かを判定するように構成されている。本実施形態では、判定部51は、ショベル100に取り付けられた情報取得装置としての撮像装置C1が撮像した画像、ショベル100の位置、姿勢、及び動作内容の少なくとも1つに基づき、ショベル100の操作者に通知すべき事項があるか否かを判定するように構成されている。判定部51は、撮像装置C1が撮像した画像に基づき、ショベル100の位置、姿勢、及び動作内容の少なくとも1つを判定できるように構成されていてもよい。また、判定部51は、撮像装置C3が撮像した画像又は施工地形情報(地形データ)に基づき、ショベル100の操作者に通知すべき事項があるか否かを判定するように構成されていてもよい。更に、判定部51は、撮像装置C3が撮像した画像に基づき、他の建設機械の位置、姿勢、及び動作内容等の少なくとも1つを判定できるように構成されていてもよい。判定部51は、撮像装置C1及び撮像装置C3によって取得された画像から導き出されるショベル100の周辺の状況とショベル100の位置、姿勢、及び動作内容とに基づきショベル100の操作者に通知すべき事項があるか否かを判定してもよい。通知すべき事項があるか否かは、過去の事例と照らし合わせ、同一、若しくは、類似の状況の有無により判定されてもよい。
例えば、判定部51は、表示装置D1に表示される画像がカバーする範囲ZNの外側に人が存在することを検知した場合、操作者に通知すべき事項があると判定する。例えば、判定部51は、図5に示すように、ショベル100の左後方に人PSが存在することを検知した場合に、操作者に通知すべき事項があると判定する。この場合、判定部51は、上部旋回体3に取り付けられたLIDAR、超音波センサ、ミリ波レーダ、又は赤外線センサ等の情報取得装置としての物体検知装置の出力に基づいて人PSを検知してもよい。或いは、判定部51は、作業現場に設置された情報取得装置としての撮像装置C3が撮像した画像に基づいて人PSを検知してもよい。この場合、撮像装置C3は、例えば、作業現場に設置されたポールの先端に取り付けられた半天球カメラである。なお、撮像装置C3は、他の作業機械に取り付けられた撮像装置であってもよく、作業現場の上空を飛行するマルチコプタ(ドローン)等の飛行体に取り付けられた撮像装置であってもよい。また、撮像装置C3は、LIDAR、超音波センサ、ミリ波レーダ、又は赤外線センサ等の他の情報取得装置であってもよい。表示装置D1に表示される画像がカバーする範囲ZNの内側に人が存在することを検知した場合についても同様である。
或いは、判定部51は、表示装置D1に表示される画像がカバーする範囲ZNの外側に電線が存在することを検知した場合、操作者に通知すべき事項があると判定してもよい。例えば、判定部51は、図5(A)に示すように、ショベル100の上方に電線ECが存在することを検知した場合に、操作者に通知すべき事項があると判定する。この場合、判定部51は、物体検知装置の出力に基づいて電線ECを検知してもよい。或いは、判定部51は、撮像装置C3が撮像した画像に基づいて電線ECを検知してもよい。表示装置D1に表示される画像がカバーする範囲ZNの内側に電線が存在することを検知した場合についても同様である。
或いは、判定部51は、施工地形情報(地形データ)に基づき、ショベル100の前方に下り坂が存在することを検知した場合、操作者に通知すべき事項があると判定する。例えば、判定部51は、図5(A)に示すように、ショベル100の前方に下り坂DHが存在することを検知した場合に、操作者に通知すべき事項があると判定する。この場合、判定部51は、物体検知装置の出力に基づいて下り坂DHを検知してもよい。或いは、判定部51は、撮像装置C3が撮像した画像に基づいて下り坂DHを検知してもよい。或いは、判定部51は、コントローラ50に付属している不揮発性記憶媒体等に予め記憶されている施工地形情報(地形データ)に基づいて下り坂DHを検知してもよい。
ショベル100の操作者に通知すべき事項があると判定した場合、判定部51は、操作者の注意を喚起する。本実施形態では、判定部51は、その通知すべき事項に関する情報を遠隔コントローラ40に向けて送信する。遠隔コントローラ40の画像合成部42は、判定部51から受信した情報に関する画像を部分周囲画像上に重畳表示させる。
操作予測部52は、遠隔コントローラ40から受信した操作信号に基づき、所定時間後の操作信号を予測するように構成されている。通信遅延による操作応答性の低下、すなわち、遠隔操作室RCにおける操作者OPによる操作がショベル100の動きに反映されるまでの遅延を抑制するためである。所定時間は、例えば、数ミリ秒〜数十ミリ秒である。例えば、操作予測部52は、過去の所定時間における操作信号(操作レバーの傾斜角度)の推移に基づき、所定時間後の操作信号を予測する。例えば、操作予測部52は、過去の所定時間において操作レバーの傾斜角度が増加傾向にあったことを検知した場合、所定時間後の傾斜角度が現在の傾斜角度より大きくなると予測する。
そして、操作予測部52は、遠隔コントローラ40から受信した操作信号をそのままショベル100に向けて送信する代わりに、予測した操作信号(以下、「予測操作信号」とする。)をショベル100に向けて送信する。
この構成により、操作予測部52は、実質的に、遠隔操作室RCで生成された操作信号を遅延なしでショベル100に伝えることができる。
操作介入部53は、遠隔操作室RCにおける操作者OPによる操作に介入するように構成されている。本実施形態では、判定部51は、ショベル100に取り付けられた撮像装置C1が撮像した画像に基づき、操作者OPによる操作に介入すべきか否かを判定するように構成されている。
例えば、操作介入部53は、ショベル100とショベル100の周囲にある物体とが接触するおそれがあることを検知した場合、操作者OPによる操作に介入すべきであると判定する。例えば、操作介入部53は、ショベル100の左方に人が存在することを検知し、且つ、左旋回操作(左操作レバーを左方に倒す操作)が開始されたことを検知した場合、操作者OPによる操作に介入すべきであると判定する。この場合、操作介入部53は、左旋回操作に基づいて生成された操作信号を無効にし、上部旋回体3が左旋回しないようにする。なお、操作介入部53は、物体検知装置の出力に基づいてショベル100とショベル100の周囲にある物体とが接触するおそれがあることを検知してもよい。或いは、判定部51は、撮像装置C3が撮像した画像に基づいてショベル100とショベル100の周囲にある物体とが接触するおそれがあることを検知してもよい。このようにして操作者に通知すべき事項があると判定された場合には、コントローラ30は、操作信号に基づき、ショベル100の停止又は減速等の制動制御を行うように構成されていてもよい。
その後、操作者は、例えば、操作レバーを一旦中立に戻す、或いは、解除ボタンを押す等の操作を行うことで、すなわち、解除条件を満たすことで、ショベル100の停止又は減速等の制動制御を解除することができる。なお、解除条件は、ショベル100が停止状態であることを含んでいてもよい。
上述のような構成により、施工支援システムSYSは、遠隔操作室RCにいる操作者OPが、遠隔地にあるショベル100を遠隔操作できるようにする。その際に、施工支援システムSYSは、ショベル100に取り付けられた撮像装置C1が撮像した画像に基づいて生成される周囲画像を操作者OPがリアルタイムに視認できるようにする。具体的には、施工支援システムSYSは、表示装置D1としてのマルチディスプレイに、主に撮像装置C1が撮像した画像に基づいて生成された周囲画像の一部を表示させることができる。或いは、施工支援システムSYSは、操作者OPが着用している表示装置D1としてのヘッドマウントディスプレイに、主に撮像装置C1が撮像した画像に基づいて生成された周囲画像の一部を表示させることができる。表示装置D1で表示された画像を見た操作者OPは、あたかもキャビン10内でショベル100を操作しているかのような臨場感を得ることができる。或いは、仮想操作者視点E1'がキャビン10の外にある場合、例えば、キャビン10より数メートル前方の位置にある場合には、操作者OPは、あたかもキャビン10の外においてバケット6のすぐ近くでショベル100を操作しているかのような臨場感を得ることができる。
また、施工支援システムSYSは、遠隔操作室RCに設置されている室内撮像装置C2が撮像した画像に基づき、操作者OPの目の位置及び顔(視線)の向きを特定できるように構成されていてもよい。そして、施工支援システムSYSは、操作者OPの目の位置及び顔(視線)の向きの変化に応じ、表示装置D1としてのヘッドマウントディスプレイに表示される画像の内容を変化させるように構成されていてもよい。具体的には、施工支援システムSYSは、操作者OPの目の位置及び顔(視線)の向きの変化に応じ、第1視点画像のどの領域を表示させるかを決定するように構成されていてもよい。そのため、操作者OPは、見たい方向に顔を向けるだけで、見たい方向の画像を見ることができる。
次に、図9を参照し、判定部51が画像から様々な判定結果を導き出す際に利用するニューラルネットワーク401について説明する。
図9に示す例では、ニューラルネットワーク401は、入力層及び出力層の間に一層以上の中間層(隠れ層)を有する、いわゆるディープニューラルネットワークである。中間層は、入力層に近いほど上位層となり、出力層に近いほど下位層となる。ニューラルネットワーク401では、各中間層を構成する複数のニューロンのそれぞれに関し、各ニューロンと下位層におけるニューロンとの間の接続強度を表す重み付けパラメータが規定されている。そして、各層のニューロンは、上位層の複数のニューロンからの入力値のそれぞれに上位層のニューロン毎に規定される重み付けパラメータを乗じた値の総和を、閾値関数を通じて、下位層のニューロンに出力するように構成されている。図9に示す例では、ニューラルネットワーク401は、畳み込みニューラルネットワークである。畳み込みニューラルネットワークは、畳み込み及びプーリングを適用したニューラルネットワークである。
そして、ニューラルネットワーク401では、機械学習を通じて、上述の重み付けパラメータの最適化が行われる。図9に示す例では、深層学習(ディープラーニング)を通じて上述の重み付けパラメータの最適化が行われる。
入力信号xとして、撮像装置C1にて撮像されたショベル100の全周囲にわたる範囲の検出データ(例えば入力画像)が入力される。出力信号yとして、予め規定されている複数のシーンのそれぞれが発生している確率(予測確率)を出力することができる。確率が高いシーン(状況)が、ショベルが存在する現場のシーンとして選択される。このようにして、表示装置D1では表示されない範囲を考慮して、ショベル100の作業現場に配置されている物等を認識することができる。その結果、ショベル100が存在するシーン(状況)を導き出すことができる。入力画像は、例えば、撮像装置C1が撮像した画像であり、入力信号x1、x2、・・・、xNは、入力画像を構成する各画素の画素値である。複数のシーンは、例えば、シーン1(ショベル100の近くに人PSが存在するシーン(状況))、シーン2(ショベル100の上方に電線ECが存在するシーン(状況))、及び、シーン3(ショベル100の前方に下り坂DHが存在するシーン(状況))等を含む。出力信号y1、y2、・・・、yNは、シーン1、シーン2、・・・、シーンNが発生している確率である。そして、ショベルが存在する現場として選択されたシーンの危険度が、過去のデータ等に基づき算出される。
判定部51は、例えば、シーン1の危険度に関わる確率が所定の閾値を上回る場合に、ショベル100の操作者に通知すべき事項があると判定し、且つ、その通知すべき事項の内容が、ショベル100の近くに人が存在することであると判定する。このようにして、判定部51は、表示装置D1では表示されない範囲であっても、周囲の物体の存在や状況を操作者へ知らせることができる。
ニューラルネットワーク401は、操作介入部53が画像から判定結果を導き出す際に利用されてもよい。この場合、操作介入部53は、例えば、シーンx(左旋回操作が開始されるとショベル100とショベル100の周囲にある物体とが接触するおそれがあるシーン)の確率が所定の閾値を上回る場合に、操作者OPによる左旋回操作に介入すべきであると判定する。
次に、図10を参照し、表示装置D1に表示される画像の構成例について説明する。図10は、表示装置D1に表示される画像の構成例を示す。
表示装置D1は、9つのモニタで構成されるマルチディスプレイである。9つのモニタは、中央モニタD1a、上モニタD1b、下モニタD1c、左モニタD1d、右モニタD1e、左上モニタD1f、右上モニタD1g、左下モニタD1h、及び右下モニタD1iを含む。
中央モニタD1aには、中央範囲ZNa(図5(A)及び図5(B)参照。)で表される空間の状況を捉えた画像が表示され、上モニタD1bには、上範囲ZNb(図5(A)参照。)で表される空間の状況を捉えた画像が表示され、下モニタD1cには、下範囲ZNc(図5(A)参照。)で表される空間の状況を捉えた画像が表示され、左モニタD1dには、左範囲ZNd(図5(B)参照。)で表される空間の状況を捉えた画像が表示され、右モニタD1eには、右範囲ZNe(図5(B)参照。)で表される空間の状況を捉えた画像が表示される。左上モニタD1f、右上モニタD1g、左下モニタD1h、及び右下モニタD1iについても同様である。
また、図10に示す例では、表示装置D1に表示される画像は、画像G1〜画像G5を含む。画像G1〜画像G5は、コントローラ50の判定部51からの情報を受信した遠隔コントローラ40の画像合成部42が、部分周囲画像上に重畳表示する画像である。
画像G1及び画像G2は、判定部51がショベル100の左後方に人PS(図5参照。)が存在することを検知した場合に表示される。画像G1は、ショベル100の近くに人PSがいることを「操作者に通知すべき事項」としてショベル100の操作者OPに知らせるためのテキストメッセージである。但し、画像G1は、ショベル100の近くに人PSがいることを操作者OPに知らせるためのアイコンであってもよい。画像G2は、検知された人PSがショベル100の左後方にいることを操作者OPに知らせるための矢印である。
画像G3及び画像G4は、判定部51がショベル100の上方に電線EC(図5(A)参照。)が存在することを検知した場合に表示される。画像G3は、ショベル100の上方に電線ECがあることを「操作者に通知すべき事項」としてショベル100の操作者OPに知らせるためのテキストメッセージである。但し、画像G3は、ショベル100の上方に電線ECがあることを操作者OPに知らせるためのアイコンであってもよい。画像G4は、検知された電線ECがショベル100の上方にあることを操作者OPに知らせるための矢印である。また、表示装置D1に表示された画像に、電線ECの画像等の注意喚起すべき対象物の画像が含まれている場合には、その対象物の画像は、枠画像等により強調表示されてもよい。
画像G5は、判定部51がショベル100の前方に下り坂DH(図5(A)参照。)が存在することを検知した場合に表示される。画像G5は、ショベル100の前方に下り坂DHがあることを「操作者に通知すべき事項」としてショベル100の操作者OPに知らせるためのテキストメッセージである。但し、画像G5は、ショベル100の前方に下り坂DHがあることを操作者OPに知らせるためのアイコンであってもよい。
このように、施工支援システムSYSは、表示装置D1に表示された部分周囲画像からだけでは分かり難い環境情報を操作者OPに確実に提示することができる。すなわち、施工支援システムSYSは、表示装置D1に表示された部分周囲画像からだけでは分かり難い環境情報に関し、操作者OPの注意を喚起することができる。環境情報は、例えば、ショベル100の左後方に人PSがいること、ショベル100の上方に電線ECがあること、及び、ショベル100の前方が下り坂DHになっていること等を含む。
なお、施工支援システムSYSは、表示装置D1に表示された部分周囲画像からだけでは分かり難い操作情報を操作者OPに確実に伝えることができるように構成されていてもよい。すなわち、施工支援システムSYSは、部分周囲画像上に操作情報を重畳表示するように構成されていてもよい。操作情報は、例えば、騒音レベル及び機械振動レベル等を含む。この場合、判定部51は、上部旋回体3に取り付けられた集音装置A1の出力に基づいて騒音レベルを検知してもよい。また、判定部51は、上部旋回体3に取り付けられた振動センサ(図示せず。)の出力に基づいて機械振動レベルを検知してもよい。そして、判定部51は、例えば、騒音レベルが所定の閾値を上回った場合に、騒音レベルに関する情報を部分周囲画像上に重畳表示する。機械振動レベルについても同様である。
また、施工支援システムSYSは、操作者情報を操作者OPに確実に伝えることができるように構成されていてもよい。操作者情報は、例えば、操作者OPに関する情報を含む。操作者OPに関する情報は、例えば、操作者OPの疲労に関する情報、操作者OPの体調に関する情報、操作者OPが運転席DSから離れたか否かに関する情報、及び、操作者OPの挙動に関する情報を含む。操作者OPの挙動に関する情報は、操作者OPが居眠りをしているか否かに関する情報、及び、操作者OPがよそ見をしているか否かに関する情報を含む。この場合、判定部51は、遠隔操作室RCに設置された情報取得装置としての室内撮像装置C2が撮像した画像に基づいて操作者OPに関する情報を取得する。そして、判定部51は、例えば、操作者OPの疲労度が高いことを検知した場合、表示装置D1に所定のアイコン等を表示させることで操作者OPの注意を喚起した上で、休憩を取ることを薦めるメッセージを操作者OPに提示する。
操作者情報は、他の操作者に関する情報であってもよい。この場合、判定部51は、他の遠隔操作室RCに設置された室内撮像装置C2が撮像した画像に基づいて他の操作者に関する情報を取得する。そして、判定部51は、例えば、他の操作者が運転席DSから離れたことを検知した場合に、その旨を操作者OPに提示する。
次に、図11を参照し、表示装置D1に表示される画像の別の構成例について説明する。図11は、表示装置D1に表示される画像の別の構成例を示す。
図11に示す例では、表示装置D1に表示される画像は、画像G10を含む。図11は、明瞭化のため、画像G10の拡大図を左上に示している。画像G10は、作業の段取りに関する画像であり、画像G11及び画像G12を含む。具体的には、画像G10は、作業の進捗状況を表す画像である。画像G11は、ショベル100の位置及び向きを表す図形である。画像G12は、作業対象となる地面の範囲を示す図形である。より具体的には、画像G12は、画像G12a〜画像G12cを含む。画像G12aは、掘削が完了した範囲を表し、画像G12bは、掘削が行われている範囲を表し、画像G12cは、掘削が行われていない範囲を表す。図11は、画像G12aをクロスパターンで表し、画像G12bを斜線パターンで表し、画像G12cをドットパターンで表している。
遠隔コントローラ40の画像合成部42は、ショベル100の上部旋回体3に取り付けられた測位装置18の出力に基づき、画像G11の表示位置及び向きを決定する。また、画像合成部42は、設計面情報DIに基づき、画像G12の輪郭を決定する。また、画像合成部42は、撮像装置C1が撮像した画像に基づき、画像G12a〜画像G12cのそれぞれの範囲を決定する。なお、画像合成部42は、ショベル100に取り付けられた姿勢検出センサの出力に基づいて導き出される掘削アタッチメントの所定部位の位置の推移から、作業対象となる地面の現在の深さを導き出してもよい。掘削アタッチメントの所定部位は、例えば、バケット6の爪先である。この場合、画像合成部42は、画像G12a〜画像G12cを表示する代わりに、作業対象となる地面の現在の深さをヒートマップ形式で表示してもよい。また、画像合成部42は、撮像装置C1が撮像した画像に基づき、作業対象となる地面の現在の深さをヒートマップ形式で表示してもよい。
上述の構成により、施工支援システムSYSは、遠隔操作室RCにいる操作者OPが、遠隔地にあるショベル100を遠隔操作できるようにする。その際に、施工支援システムSYSは、ショベル100に取り付けられた撮像装置C1が撮像した画像に基づいて生成される周囲画像を操作者OPがリアルタイムに視認できるようにする。具体的には、施工支援システムSYSは、撮像装置C1が撮像した画像に基づいて生成された周囲画像の一部を表示装置D1に表示させることができる。表示装置D1で表示された画像を見た操作者OPは、あたかもキャビン10内でショベル100を操作しているかのような臨場感を得ることができる。
また、施工支援システムSYSは、表示装置D1としてのヘッドマウントディスプレイに取り付けられている慣性計測装置の出力に基づき、操作者OPの目の位置及び顔(視線)の向きを特定できるように構成されていてもよい。この場合、慣性計測装置は、測位装置を含んでいてもよい。そして、施工支援システムSYSは、操作者OPの目の位置及び顔(視線)の向きの変化に応じ、表示装置D1に表示される画像の内容を変化させるように構成されていてもよい。そのため、操作者OPは、見たい方向に顔を向けるだけで、見たい方向の画像を見ることができる。
また、上述の施工支援システムSYSでは、画像生成部31、ショベル状態特定部32、及びアクチュエータ駆動部33(図8参照。)は、ショベル100に搭載されたコントローラ30に配置されている。但し、画像生成部31、ショベル状態特定部32、及びアクチュエータ駆動部33は、遠隔コントローラ40に配置されていてもよく、コントローラ50に配置されていてもよく、コントローラ30、遠隔コントローラ40、及びコントローラ50の少なくとも2つに分散して配置されていてもよい。
また、上述の施工支援システムSYSでは、操作者状態特定部41、画像合成部42、及び操作信号生成部43(図8参照。)は、遠隔操作室RCに配置された遠隔コントローラ40に配置されている。但し、操作者状態特定部41、画像合成部42、及び操作信号生成部43は、コントローラ30に配置されていてもよく、コントローラ50に配置されていてもよく、コントローラ30、遠隔コントローラ40、及びコントローラ50の少なくとも2つに分散して配置されていてもよい。
また、上述の施工支援システムSYSでは、判定部51、操作予測部52、及び操作介入部53(図8参照。)は、情報センタ200に設置されたコントローラ50に配置されている。但し、判定部51、操作予測部52、及び操作介入部53は、コントローラ30に配置されていてもよく、遠隔コントローラ40に配置されていてもよく、コントローラ30、遠隔コントローラ40、及びコントローラ50の少なくとも2つに分散して配置されていてもよい。
次に、図12を参照し、ショベル100の施工支援システムSYSの別の構成例について説明する。図12は、施工支援システムSYSの別の構成例を示す概略図である。
図12に示す施工支援システムSYSは、情報センタ200を介さずにショベル100と遠隔操作室RCとの間で無線通信が行われる点で、図7及び図8に示す施工支援システムSYSと異なるが、その他の点で、図7及び図8に示す施工支援システムSYSと共通している。
図12に示す施工支援システムSYSでは、図8に示す情報センタ200に設置されたコントローラ50における判定部51、操作予測部52、及び操作介入部53(図8参照。)は、コントローラ30に配置されている。但し、判定部51、操作予測部52、及び操作介入部53は、遠隔コントローラ40に配置されていてもよく、コントローラ30及び遠隔コントローラ40に分散して配置されていてもよい。
この構成により、図12に示す施工支援システムSYSは、図7及び図8に示す施工支援システムSYSと同様に、遠隔操作室RCにいる操作者OPが、遠隔地にあるショベル100を遠隔操作できるようにする。
上述のように、本発明の実施形態に係るショベル100は、下部走行体1と、下部走行体1に旋回可能に搭載される上部旋回体3と、上部旋回体3に取り付けられた撮像装置C1とを有する。ショベル100の施工支援システムSYSは、撮像装置C1が撮像した画像に基づいて周囲画像を生成する演算装置としてのコントローラ30と、ショベル100に取り付けられ或いはショベル100の外部にある情報取得装置と、ショベル100の外部にある操作装置26と、ショベル100の外部にあり、且つ、周囲画像が表示される表示装置D1とを有する。情報取得装置は、例えば、撮像装置C1、室内撮像装置C2、撮像装置C3、又は物体検知装置等である。そして、施工支援システムSYSは、情報取得装置が取得した情報に基づいて操作者OPの注意を喚起するように構成されている。
この構成により、施工支援システムSYSは、遠隔操作室RCにいる操作者OPがショベル100の周囲の状況をより的確に把握できるようにする。その結果、操作者OPは、注意すべき点を的確に把握した上で、ショベル100を遠隔操作することができる。
施工支援システムSYSは、ショベル100に取り付けられた情報取得装置としての撮像装置C1の出力に基づく環境情報を表示して操作者の注意を喚起するように構成されていてもよい。環境情報は、例えば、ショベル100の近くに人がいること、ショベル100の上方に電線があること、及び、ショベルの前方が下り坂になっていること等を含む。典型的には、環境情報は、表示装置D1に表示される画像がカバーする範囲ZN(図5参照。)の外側の環境に関する情報である。但し、環境情報は、範囲ZNの内側の環境に関する情報であってもよい。環境情報を表示して操作者の注意を喚起するか否かは、ショベル100若しくは管理装置の何れかにおいて判定されてもよい。具体的には、環境情報を表示して操作者の注意を喚起するか否かは、コントローラ30に配置された判定部51において判定されてもよい。但し、環境情報を表示して操作者の注意を喚起するか否かは、情報センタ200で判定されてもよく、遠隔操作室RCで判定されてもよい。
施工支援システムSYSは、ショベル100若しくはショベル100の外部の何れかにある情報取得装置としての室内撮像装置C2の出力に基づく操作者情報を表示して操作者の注意を喚起するように構成されていてもよい。操作者情報は、例えば、操作者OPに関する情報を含む。操作者OPに関する情報は、例えば、操作者OPの疲労に関する情報、操作者OPの体調に関する情報、操作者OPが運転席DSから離れたか否かに関する情報、及び、操作者OPの挙動に関する情報を含む。操作者OPの挙動に関する情報は、操作者OPが居眠りをしているか否かに関する情報、及び、操作者OPがよそ見をしているか否かに関する情報を含む。この場合、情報取得装置は、操作者OPに取り付けられた生体センサ、又は、運転席DSの座面に取り付けられた感圧センサ等であってもよい。操作者情報を表示して操作者の注意を喚起するか否かは、ショベル100において判定されてもよい。具体的には、操作者情報を表示して操作者の注意を喚起するか否かは、コントローラ30に配置された操作者状態特定部41において判定されてもよい。但し、環境情報を表示して操作者の注意を喚起するか否かは、情報センタ200で判定されてもよく、遠隔操作室RCで判定されてもよい。
表示装置D1には、作業の段取りに関する情報が表示されてもよい。作業の段取りに関する情報は、例えば、図11に示すような作業の進捗状況を表す画像である。
この構成により、施工支援システムSYSは、遠隔操作室RCにいる操作者OPがショベル100の周囲の状況をより的確に把握できるようにすることに加え、操作者OPが作業の進捗状況を把握できるようにする。
施工支援システムSYSは、他の機械に搭載された情報取得装置が取得した情報に基づいて操作者の注意を喚起するように構成されていてもよい。他の機械は、例えば、他のショベルであってもよく、マルチコプタ若しくは飛行船等の飛行体であってもよい。他の機械に搭載された情報取得装置は、他のショベルに取り付けられた撮像装置、又は、飛行体に取り付けられた撮像装置等である。
この構成により、施工支援システムSYSは、遠隔操作室RCにいる操作者OPがショベル100の周囲の状況をより的確に把握できるようにする。
以上、本発明の好ましい実施形態について詳説した。しかしながら、本発明は、上述した実施形態に制限されることはない。上述した実施形態は、本発明の範囲を逸脱することなしに、種々の変形又は置換等が適用され得る。また、別々に説明された特徴は、技術的な矛盾が生じない限り、組み合わせが可能である。
例えば、上述の実施形態では、ショベル100に取り付けられている撮像装置C1は、ショベル100に搭載されているコントローラ30に接続されている。しかしながら、撮像装置C1は、通信装置T1に直接接続されていてもよい。すなわち、撮像装置C1が撮像した画像は、コントローラ30を経由せずに、遠隔操作室RC又は情報センタ200に向けて送信されてもよい。この場合、遠隔操作室RCに設置された遠隔コントローラ40、又は、情報センタ200に設置されたコントローラ50は、撮像装置C1から送信されてくる画像に基づいて周囲画像を生成するように構成されていてもよい。
また、上述の実施形態では、撮像装置C1は、複数台の単眼カメラで構成されているが、1台若しくは複数台の半天球カメラ、又は、1台若しくは複数台の全天球カメラで構成されていてもよい。また、撮像装置C1は、キャビン10内に設置されたカメラを含んでいてもよい。
また、上述の実施形態では、施工支援システムSYSは、表示装置D1に画像を表示させることによって、操作者OPの注意を喚起するように構成されているが、音出力装置A2から音を出力させることによって操作者OPの注意を喚起するように構成されていてもよく、運転席DSに設置された振動発生装置を動作させることによって操作者OPの注意を喚起するように構成されていてもよい。