JP2021136462A - 作業機械の遠隔操作システム - Google Patents

Abstract

【課題】画像の伝送経路の異常の有無を遠隔地の操作者に認識させること。【解決手段】作業機械の遠隔操作システムは、第１撮像範囲の第１画像、及び少なくとも一部が第１撮像範囲に重複する第２撮像範囲の第２画像を受信する画像データ受信部と、第１撮像範囲と第２撮像範囲との重複範囲に状態が変化する物体が含まれた第１画像及び第２画像を表示装置に表示させる表示制御部と、を作業機械の遠隔地に備える。【選択図】図２

Description

本開示は、作業機械の遠隔操作システムに関する。

作業機械に係る技術分野において、作業機械を遠隔操作する技術が知られている。作業機械の遠隔操作において、作業機械が稼働する作業現場の画像が撮像装置により撮像される。撮像装置により撮像された画像は、遠隔地に送信され、遠隔地に配置されている表示装置に表示される。遠隔地の操作者は、表示装置に表示された画像を見ながら、作業機械を遠隔操作する。特許文献１には、撮像装置が旋回体の運転室に配置され、運転室の前方の画像を撮像する技術が開示されている。

特開２０１９−０６８２３６号公報

作業機械から遠隔地への画像の伝送経路に異常が発生する可能性がある。画像の伝送経路に異常が発生したにもかかわらず、遠隔地の操作者が画像の伝送経路の異常を認識しない状態で遠隔操作を継続すると、作業現場の生産性が低下する可能性がある。

本開示は、画像の伝送経路の異常の有無を遠隔地の操作者に認識させることを目的とする。

本開示に従えば、第１撮像範囲の第１画像、及び少なくとも一部が前記第１撮像範囲に重複する第２撮像範囲の第２画像を受信する画像データ受信部と、前記第１撮像範囲と前記第２撮像範囲との重複範囲に状態が変化する物体が含まれた前記第１画像及び前記第２画像を表示装置に表示させる表示制御部と、を前記作業機械の遠隔地に備える、作業機械の遠隔操作システムが提供される。

本開示によれば、画像の伝送経路の異常の有無を遠隔地の操作者に認識させることができる。

図１は、実施形態に係る作業機械の遠隔操作システムを示す模式図である。 図２は、実施形態に係る作業機械を示す斜視図である。 図３は、実施形態に係る作業機械を示す側面図である。 図４は、実施形態に係る作業機械を示す平面図である。 図５は、実施形態に係る遠隔操作室を示す図である。 図６は、実施形態に係る作業機械の遠隔操作システムを示す機能ブロック図である。 図７は、実施形態に係る第１画像処理部の処理を説明するための図である。 図８は、実施形態に係る第２画像処理部の処理を説明するための図である。 図９は、実施形態に係る表示制御部の処理を説明するための図である。 図１０は、実施形態に係る作業機械の遠隔操作方法を示すフローチャートである。 図１１は、実施形態に係る画像の伝送経路の診断方法を説明するための図である。 図１２は、実施形態に係る画像の伝送経路の診断方法を説明するための図である。 図１３は、実施形態に係る画像の伝送経路の診断方法を説明するための図である。 図１４は、実施形態に係るコンピュータシステムを示すブロック図である。

以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

実施形態においては、「左」、「右」、「前」、「後」、「上」、及び「下」の用語を用いて各部の位置関係について説明する。これらの用語は、作業機械１の旋回体３の中心を基準とした相対位置又は方向を示す。

［遠隔操作システム］
図１は、実施形態に係る作業機械１の遠隔操作システム１００を示す模式図である。遠隔操作システム１００は、作業現場で稼動する作業機械１を遠隔操作する。作業現場として、鉱山又は採石場が例示される。

遠隔操作システム１００の少なくとも一部は、遠隔操作室２００に配置される。遠隔操作室２００は、作業現場から離れた遠隔地に設置される。遠隔操作システム１００は、遠隔操作装置４０と、表示装置５０と、制御装置６０とを備える。

遠隔操作装置４０は、遠隔操作室２００に配置される。遠隔操作装置４０は、遠隔操作室２００において操作者に操作される。操作者は、操縦シート４５に着座した状態で、遠隔操作装置４０を操作することができる。

表示装置５０は、遠隔操作室２００に配置される。表示装置５０は、作業現場の画像を表示する。遠隔操作室２００の操作者は、作業現場の状況を直接視認することができない。遠隔操作室２００の操作者は、表示装置５０を介して作業現場の状況を視認することができる。

操作者は、表示装置５０に表示される作業現場の画像を見ながら、遠隔操作装置４０を操作する。作業機械１は、遠隔操作装置４０によって遠隔操作される。

制御装置６０は、遠隔操作室２００に配置される。制御装置６０は、コンピュータシステムを含む。

作業機械１は、制御装置３００を備える。制御装置３００は、コンピュータシステムを含む。

制御装置６０と制御装置３００とは、通信システム４００を介して通信する。通信システム４００として、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）、携帯電話通信網、及び衛星通信網が例示される。通信システム４００は、通信されるデータを中継する中継局を含んでもよい。

［作業機械］
図２は、実施形態に係る作業機械１を示す斜視図である。図３は、実施形態に係る作業機械１を示す側面図である。図４は、実施形態に係る作業機械１を示す平面図である。実施形態においては、作業機械１が積込機械の一種である油圧ショベルであることとする。作業機械１は、作業現場において稼働する。作業機械１は、作業対象の掘削作業を実施する。作業対象として、土砂又は鉱石が例示される。また、作業現場において、運搬車両の一種であるダンプトラックが稼働する。作業機械１は、ダンプトラックに積荷を積み込む積込作業を実施する。積荷として、掘削作業により掘削された掘削物が例示される。

図２、図３、及び図４に示すように、作業機械１は、走行体２と、走行体２に支持される旋回体３と、旋回体３に取り付けられる作業機４と、作業機４を駆動する油圧シリンダ５と、撮像装置３０とを備える。

走行体２は、旋回体３を支持した状態で走行する。旋回体３は、作業機械１の車体である。走行体２は、旋回体３の下方に配置される。走行体２は、旋回体３を旋回可能に支持する。走行体２は、駆動輪２Ａと、従動輪２Ｂと、駆動輪２Ａ及び従動輪２Ｂに支持される履帯２Ｃとを有する。駆動輪２Ａ及び従動輪２Ｂのそれぞれは、回転軸ＤＸを中心に回転する。駆動輪２Ａ、従動輪２Ｂ、及び履帯２Ｃのそれぞれは、一対設けられる。駆動輪２Ａの回転により、履帯２Ｃが回転する。履帯２Ｃが回転することにより、走行体２が走行する。

旋回体３は、走行体２に支持された状態で旋回軸ＲＸを中心に旋回可能である。旋回軸ＲＸは、上下方向に延伸する。旋回体３は、運転室３Ａと、ロアデッキ３Ｂと、ステップ３Ｃと、アッパデッキ３Ｄとを有する。運転室３Ａは、作業者が搭乗可能な旋回体３の内部空間である。運転室３Ａは、旋回体３の前部且つ上部に配置される。ロアデッキ３Ｂは、旋回体３の後部且つ下部に配置される。アッパデッキ３Ｄは、旋回体３の前部且つ上部に配置される。ステップ３Ｃは、ロアデッキ３Ｂとアッパデッキ３Ｄとを繋ぐ。アッパデッキ３Ｄは、運転室３Ａを囲むように配置される。アッパデッキ３Ｄの少なくとも一部は、運転室３Ａの前方に配置される。ロアデッキ３Ｂ、ステップ３Ｃ、及びアッパデッキ３Ｄのそれぞれに、柵状の手すり３Ｅが配置される。

ロアデッキ３Ｂ、ステップ３Ｃ、及びアッパデッキ３Ｄのそれぞれは、作業者が通行可能な通路を含む。作業者は、ロアデッキ３Ｂ、ステップ３Ｃ、及びアッパデッキ３Ｄを通行して、運転室３Ａに搭乗することができる。

また、旋回体３は、ラダー３Ｆを有する。ラダー３Ｆは、アッパデッキ３Ｄに繋がる。

作業機４は、旋回体３の前部に取り付けられる。作業機４は、旋回軸ＲＸよりも前方に配置される。作業機４は、前方に延伸するように動作することができる。作業機４は、旋回体３に連結されるブーム４Ａと、ブーム４Ａに連結されるアーム４Ｂと、アーム４Ｂに連結されるバケット４Ｃとを含む。ブーム４Ａの基端部は、ピンを介して旋回体３の前部に連結される。アーム４Ｂの基端部は、ピンを介してブーム４Ａの先端部に連結される。バケット４Ｃの基端部は、ピンを介してアーム４Ｂの先端部に連結される。バケット４Ｃは、先端刃４Ｄを有する。バケット４Ｃにより作業対象が掘削される。

ブーム４Ａは、ブーム回転軸ＡＸを中心に回転可能に旋回体３の前部に連結される。アーム４Ｂは、アーム回転軸ＢＸを中心に回転可能にブーム４Ａに連結される。バケット４Ｃは、バケット回転軸ＣＸを中心に回転可能にアーム４Ｂに連結される。

ブーム回転軸ＡＸとアーム回転軸ＢＸとバケット回転軸ＣＸとは、平行である。ブーム回転軸ＡＸ、アーム回転軸ＢＸ、及びバケット回転軸ＣＸのそれぞれは、旋回体３の車幅方向に延伸する。

実施形態において、作業機械１は、ローディングショベルである。ローディングショベルとは、バケット４Ｃの先端刃４Ｄが前方を向くようにバケット４Ｃがアーム４Ｂに取り付けられている油圧ショベルをいう。

油圧シリンダ５は、ブーム４Ａを駆動するブームシリンダ５Ａと、アーム４Ｂを駆動するアームシリンダ５Ｂと、バケット４Ｃを駆動するバケットシリンダ５Ｃとを含む。ブームシリンダ５Ａの基端部は、旋回体３に連結される。ブームシリンダ５Ａの先端部は、ブーム４Ａに連結される。アームシリンダ５Ｂの基端部は、ブーム４Ａに連結される。アームシリンダ５Ｂの先端部は、アーム４Ｂに連結される。バケットシリンダ５Ｃの基端部は、ブーム４Ａに連結される。バケットシリンダ５Ｃの先端部は、バケット４Ｃに連結される。

［撮像装置］
撮像装置３０は、作業現場を撮像して作業現場の画像を取得する。撮像装置３０は、旋回体３に配置される。

撮像装置３０により取得される作業現場の画像として、作業機械１の作業対象の画像、作業機械１の少なくとも一部の画像、作業現場に存在する構造物の画像、作業機械１とは別の作業機械の画像、及び作業現場で働く作業者の画像が例示される。実施形態において、作業機械１の作業対象の画像は、作業機４の掘削対象の画像を含む。

撮像装置３０は、光学系と、光学系を通過した光を受光するイメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。

実施形態において、撮像装置３０は、旋回体３に配置され第１撮像範囲Ｍ１を撮像する第１撮像装置３１と、旋回体３に配置され第２撮像範囲Ｍ２を撮像する第２撮像装置３２とを含む。第１撮像装置３１及び第２撮像装置３２のそれぞれは、旋回体３に固定される。第１撮像装置３１と第２撮像装置３２との相対位置は固定される。第２撮像装置３２は、第１撮像装置３１による第１撮像範囲Ｍ１の撮像と並行して、第２撮像範囲Ｍ２を撮像する。

旋回体３の上下方向において、第２撮像装置３２は第１撮像装置３１よりも下方に配置される。すなわち、旋回体３の上下方向において、第２撮像装置３２の光学系の入射面は、第１撮像装置３１の光学系の入射面よりも下方に配置される。

旋回体３の左右方向において、第１撮像装置３１は第２撮像装置３２と等しい位置に配置される。旋回体３の左右方向は、旋回体３の車幅方向に相当する。すなわち、旋回体３の左右方向において、第１撮像装置３１の光学系の入射面は、第２撮像装置３２の光学系の入射面と等しい位置に配置される。

旋回体３の前後方向において、第１撮像装置３１は第２撮像装置３２よりも後方に配置される。すなわち、旋回体３の前後方向において、第１撮像装置３１の光学系の入射面は、第２撮像装置３２の光学系の入射面よりも後方に配置される。

実施形態において、上下方向は、旋回軸ＲＸと平行な方向である。左右方向は、ブーム回転軸ＡＸと平行な方向である。前後方向は、ブーム回転軸ＡＸ及び旋回軸ＲＸの両方と直交する方向である。走行体２の接地面を基準として旋回体３が存在する方向が上方であり、上方の逆方向が下方である。旋回軸ＲＸを基準として左右方向の一方が右方であり、右方の逆方向が左方である。旋回軸ＲＸを基準として作業機４が存在する方向が前方であり、前方の逆方向が後方である。

第１撮像装置３１は、旋回体３の前方を撮像する。第１撮像範囲Ｍ１は、旋回体３の前方に設定される。第２撮像装置３２は、旋回体３の前方を撮像する。第２撮像範囲Ｍ２は、旋回体３の前方に設定される。図３に示すように、第２撮像範囲Ｍ２の少なくとも一部は、第１撮像範囲Ｍ１よりも下方に設定される。実施形態において、第２撮像範囲Ｍ２は、旋回体３の前方の下側に設定される。図４に示すように、第２撮像範囲Ｍ２の少なくとも一部は、第１撮像範囲Ｍ１よりも右方に設定される。

第１撮像範囲Ｍ１は、旋回体３の前方空間ＳＰ１を含む。前方空間ＳＰ１は、運転室３Ａの前方の空間、運転室３Ａの前側斜め上方の空間、前側斜め下方の空間、前側斜め左方の空間、及び前側斜め右方の空間を含む。

第２撮像範囲Ｍ２は、前方空間ＳＰ１よりも下方の前側下方空間ＳＰ２を含む。前側下方空間ＳＰ２は、運転室３Ａよりも前側下方の空間である。前側下方空間ＳＰ２は、走行体２の前方の空間を含む。また、前側下方空間ＳＰ２は、前方空間ＳＰ１よりも右方の空間を含む。

第２撮像範囲Ｍ２は、作業機械１による掘削作業において好適な画像が得られるように設定される。第２撮像範囲Ｍ２は、例えば旋回体３の前方の下側（足元）から地山又は崖のような掘削対象を含むように設定される。また、第２撮像範囲Ｍ２は、例えば掘削作業を実施するバケット４Ｃを含むように設定される。なお、第２撮像範囲Ｍ２は、上下方向において運転室３Ａよりも前方且つ運転室３Ａと実質的に同じ高さの空間を含むように設定されてもよい。なお、第２撮像範囲Ｍ２は、上下方向において運転室３Ａよりも前方且つ運転室３Ａよりも上方の空間を含むように設定されてもよい。

第１撮像装置３１は、運転室３Ａの内側に配置される。実施形態において、第１撮像装置３１は、運転室３Ａの前部且つ上部に配置される。第１撮像装置３１は、運転室３Ａのフロントガラスを介して、旋回体３の前方空間ＳＰ１を撮像する。なお、第１撮像装置３１は、運転室３Ａの後部に配置されてもよいし、運転室３Ａの下部に配置されてもよい。

第２撮像装置３２は、旋回体３のアッパデッキ３Ｄに配置される。アッパデッキ３Ｄの少なくとも一部は、運転室３Ａの前方に配置される。第２撮像装置３２は、旋回体３の前方のアッパデッキ３Ｄの下面に配置される。

第１撮像装置３１は、第１撮像装置３１の光学系の光軸ＯＡ１が前後方向に延伸するように、運転室３Ａに配置される。第２撮像装置３２は、第２撮像装置３２の光学系の光軸ＯＡ２が前方に向かって下方に傾斜するように、アッパデッキ３Ｄの下面に配置される。また、図４に示すように、第２撮像装置３２は、第２撮像装置３２の光学系の光軸ＯＡ２が前方に向かって右方に傾斜するように、アッパデッキ３Ｄの下面に配置される。

作業機４の少なくとも一部が第１撮像範囲Ｍ１に含まれる。すなわち、第１撮像範囲Ｍ１は、作業機４の少なくとも一部を含むように設定される。作業機４のバケット４Ｃは、所定の可動範囲において上下方向に移動する。第１撮像範囲Ｍ１は、上下方向に移動するバケット４Ｃを含むように設定される。

また、作業機械１の作業対象の少なくとも一部が第１撮像範囲Ｍ１に含まれる。第１撮像範囲Ｍ１は、作業機械１の作業対象の少なくとも一部を含むように設定される。

走行体２の少なくとも一部が第２撮像範囲Ｍ２に移動可能である。すなわち、第２撮像範囲Ｍ２は、走行体２の少なくとも一部を含むことができるように設定される。走行体２の回転軸ＤＸとブーム回転軸ＡＸとが平行になるように旋回体３が旋回した場合、第２撮像範囲Ｍ２は、走行体２の履帯２Ｃの前部を含むように設定される。なお、例えば旋回体３の旋回角度により、走行体２が第２撮像範囲Ｍ２に含まれない場合がある。

また、第２撮像範囲Ｍ２は、下方に移動した作業機４のバケット４Ｃを含むように設定される。上述のように、バケット４Ｃは、所定の可動範囲において上下方向に移動する。第２撮像範囲Ｍ２は、可動範囲の下部に移動されたバケット４Ｃを含むように設定される。

また、第２撮像範囲Ｍ２は、作業機械１の作業対象の少なくとも一部を含むように設定される。

また、第２撮像範囲Ｍ２は、走行体２が走行する地面ＧＲを含むように設定される。

実施形態において、第１撮像範囲Ｍ１と第２撮像範囲Ｍ２の少なくとも一部とは重複する。図３に示すように、第１撮像範囲Ｍ１の下部と第２撮像範囲Ｍ２の上部とが重複する。図４に示すように、第１撮像範囲Ｍ１の右部と第２撮像範囲Ｍ２の左部とが重複する。

以下の説明において、第１撮像装置３１により撮像された第１撮像範囲Ｍ１の画像を適宜、第１画像Ｐ１、と称し、第２撮像装置３２により撮像された第２撮像範囲Ｍ２の画像を適宜、第２画像Ｐ２、と称する。

［遠隔操作室］
図５は、実施形態に係る遠隔操作室２００を示す図である。図５に示すように、遠隔操作室２００に遠隔操作装置４０及び表示装置５０が配置される。

遠隔操作装置４０は、操縦シート４５に着座した操作者に操作される。操作者は、表示装置５０の表示画面と正対するように操縦シート４５に着座する。操作者は、表示装置５０の表示画面を見ながら、遠隔操作装置４０を操作する。

遠隔操作装置４０が操作されることにより生成された操作信号は、制御装置６０及び通信システム４００を介して作業機械１の制御装置３００に送信される。制御装置３００は、通信システム４００を介して取得した操作信号に基づいて、作業機械１を動作させる。作業機械１の動作は、走行体２の動作、旋回体３の動作、及び作業機４の動作の少なくとも一つを含む。

走行体２の動作は、走行体２の前進動作及び後進動作を含む。旋回体３の動作は、旋回体３の左旋回動作及び右旋回動作を含む。作業機４の動作は、ブーム４Ａの上げ動作、ブーム４Ａの下げ動作、アーム４Ｂのダンプ動作、アーム４Ｂの掘削動作、バケット４Ｃの掘削動作、及びバケット４Ｃのダンプ動作を含む。

遠隔操作装置４０は、旋回体３及び作業機４の動作のために操作される左作業レバー４１及び右作業レバー４２と、走行体２の動作のために操作される左走行ペダル４３及び右走行ペダル４４とを含む。左作業レバー４１は、操作者の左手により操作される。右作業レバー４２は、操作者の右手により操作される。左走行ペダル４３は、操作者の左足により操作される。右走行ペダル４４は、操作者の右足により操作される。

左作業レバー４１は、操縦シート４５の左方に配置される。右作業レバー４２は、操縦シート４５の右方に配置される。一例として、左作業レバー４１が前後方向に操作されることにより、アーム４Ｂがダンプ動作又は掘削動作する。左作業レバー４１が左右方向に操作されることにより、旋回体３が左旋回動作又は右旋回動作する。右作業レバー４２が左右方向に操作されることにより、バケット４Ｃが掘削動作又はダンプ動作する。右作業レバー４２が前後方向に操作されることにより、ブーム４Ａが下げ動作又は上げ動作する。なお、左作業レバー４１が前後方向に操作されたときに旋回体３が右旋回動作又は左旋回動作し、左作業レバー４１が左右方向に操作されたときにアーム４Ｂがダンプ動作又は掘削動作してもよい。左作業レバー４１の操作方向及び右作業レバー４２の操作方向と作業機４の動作との関係は任意である。

左走行ペダル４３及び右走行ペダル４４は、操縦シート４５の前側下方に配置される。左走行ペダル４３は、右走行ペダル４４の左方に配置される。左走行ペダル４３が操作されることにより、走行体２の左側の履帯２Ｃが前進動作又は後進動作する。右走行ペダル４４が操作されることにより、走行体２の右側の履帯２Ｃが前進動作又は後進動作する。

また、遠隔操作室２００には、作業機械１の稼働状況を示す作業機械稼働データを表示する第１モニタ装置５０１と、作業機械１に搭載されている電気機器を作動させるために操作される操作スイッチ５０２とが配置される。第１モニタ装置５０１は、作業機械稼働データとして、例えば作業機械１に搭載されているエンジンの燃料の残量、エンジンの冷却液の温度、油圧シリンダ５を駆動するための作動油の温度、及び走行体２の走行速度を表示する。操作スイッチ５０２は、作業機械１に搭載されている電気機器として、例えば作業機械１に設けられている前照灯を作動させる。

表示装置５０は、作業機械１から送信された第１画像Ｐ１及び第２画像Ｐ２を表示する。第１画像Ｐ１及び第２画像Ｐ２は、制御装置３００及び通信システム４００を介して、遠隔操作システム１００の制御装置６０に送信される。制御装置６０は、通信システム４００を介して取得した第１画像Ｐ１及び第２画像Ｐ２を表示装置５０に表示させる。表示装置５０は、第１画像Ｐ１とともに第２画像Ｐ２を表示する。実施形態において、表示装置５０は、第２画像Ｐ２を第１画像Ｐ１の一部に重複するように表示する。

表示装置５０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイを含む。実施形態において、表示装置５０は、隣接するように配置された複数のフラットパネルディスプレイを含む。実施形態において、表示装置５０は、中央ディスプレイ５１と、中央ディスプレイ５１の左側に配置される左ディスプレイ５２と、中央ディスプレイ５１の右側に配置される右ディスプレイ５３と、中央ディスプレイ５１の上側に配置される上ディスプレイ５４と、中央ディスプレイ５１の下側に配置される下ディスプレイ５５とを含む。

表示装置５０に表示される第１画像Ｐ１は、操作者が作業機械１の運転室３Ａに設けられている運転シートに着座したと仮定したときの操作者の前方空間の視界に相当する画像である。遠隔操作室２００の操作者は、作業機械１の運転シートに実際に着座している感覚を得ることができる。

遠隔操作室２００の操作者は、遠隔操作装置４０を操作して作業機４を動作させて、作業対象を掘削する。作業機４のバケット４Ｃにより掘削された掘削物は、積荷としてダンプトラックに積み込まれる。

実施形態において、ダンプトラックは、作業現場の管制施設から送信される制御指令に基づいて走行する無人ダンプトラックである。遠隔操作室２００には、作業現場における無人ダンプトラックの稼働状況を示すダンプトラック稼働データを表示する第２モニタ装置５０３が配置される。無人ダンプトラックには、無人ダンプトラックの位置データを検出する位置センサが配置される。位置センサは、全地球航法衛星システム（Global Navigation Satellite System：ＧＮＳＳ）を利用して無人ダンプトラックの絶対位置を検出する。第２モニタ装置５０３は、ダンプトラック稼働データとして、作業現場で稼動する複数の無人ダンプトラックのそれぞれの位置を表示する。また、操作者は、第２モニタ装置５０３に設けられている入力装置を操作して、無人ダンプトラックを停車させたり発車させたりすることができる。

また、遠隔操作室２００には、作業機４のガイダンスデータを表示する第３モニタ装置５０４が配置される。ガイダンスデータとして、作業対象の目標設計面と作業機４との相対距離、作業対象の形状、及び作業対象の鉱石分布が例示される。

［制御装置］
図６は、実施形態に係る作業機械１の遠隔操作システム１００を示す機能ブロック図である。図６に示すように、遠隔操作システム１００は、遠隔地に配置される通信装置６と、通信装置６に接続される制御装置６０と、制御装置６０に接続される遠隔操作装置４０と、制御装置６０に接続される表示装置５０とを備える。また、遠隔操作システム１００は、作業機械１に配置される通信装置７と、通信装置７に接続される制御装置３００と、制御装置３００に接続される撮像装置３０と、制御装置３００に接続されるセンサ７０と、制御装置３００により制御される走行体２と、制御装置３００により制御される旋回体３と、制御装置３００により制御される油圧シリンダ５とを備える。撮像装置３０は、第１撮像装置３１と、第２撮像装置３２とを含む。センサ７０は、位置センサ７１と、姿勢センサ７２と、角度センサ７３とを含む。

制御装置３００は、走行体制御部３０１と、旋回体制御部３０２と、作業機制御部３０３と、画像データ送信部３０４と、センサデータ送信部３０５とを有する。

走行体制御部３０１は、制御装置６０から送信された遠隔操作装置４０の操作信号を受信する。走行体制御部３０１は、遠隔操作装置４０の操作信号に基づいて、走行体２の動作を制御する制御信号を出力する。

旋回体制御部３０２は、制御装置６０から送信された遠隔操作装置４０の操作信号を受信する。旋回体制御部３０２は、遠隔操作装置４０の操作信号に基づいて、旋回体３の動作を制御する制御信号を出力する。

作業機制御部３０３は、制御装置６０から送信された遠隔操作装置４０の操作信号を受信する。作業機制御部３０３は、遠隔操作装置４０の操作信号に基づいて、作業機４の動作を制御する制御信号を出力する。作業機４を制御する制御信号は、油圧シリンダ５を制御する制御信号を含む。

画像データ送信部３０４は、撮像装置３０により取得された作業現場の画像を制御装置６０に送信する。画像データ送信部３０４は、第１撮像範囲Ｍ１の第１画像Ｐ１を第１撮像装置３１から取得し、第２撮像範囲Ｍ２の第２画像Ｐ２を第２撮像装置３２から取得する。画像データ送信部３０４は、第１画像Ｐ１及び第２画像Ｐ２を制御装置６０に送信する。

センサデータ送信部３０５は、作業機械１に搭載されているセンサ７０の検出データを制御装置６０に送信する。実施形態において、センサ７０は、旋回体３の位置を検出する位置センサ７１、旋回体３の姿勢を検出する姿勢センサ７２、及び作業機４の角度を検出する角度センサ７３を含む。位置センサ７１は、全地球航法衛星システム（Global Navigation Satellite System：ＧＮＳＳ）を利用して旋回体３の絶対位置を検出する。位置センサ７１は、旋回体３に設けられたＧＮＳＳ受信機を含む。姿勢センサ７２は、水平面に対する旋回体３の傾斜角度を検出する。姿勢センサ７２は、旋回体３に設けられた慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を含む。角度センサ７３は、作業機４の角度を検出する。角度センサ７３は、旋回体３に対するブーム４Ａの角度を検出するブーム角度センサ、ブーム４Ａに対するアーム４Ｂの角度を検出するアーム角度センサ、及びアーム４Ｂに対するバケット４Ｃの角度を検出するバケット角度センサを含む。

通信装置７は、通信システム４００を介して通信装置６と通信する。通信装置７は、通信装置６を介して制御装置６０から送信された遠隔操作装置４０の操作信号を受信して、制御装置３００に出力する。通信装置７は、画像データ送信部３０４から受信した第１撮像範囲Ｍ１の第１画像Ｐ１及び第２撮像範囲Ｍ２の第２画像Ｐ２を遠隔地の通信装置６に送信する。通信装置７は、第１画像Ｐ１の画像データ及び第２画像Ｐ２の画像データを圧縮するエンコーダを含む。第１画像Ｐ１及び第２画像Ｐ２のそれぞれは、圧縮された状態で、通信装置７から通信装置６に送信される。

通信装置６は、通信システム４００を介して通信装置７と通信する。通信装置６は、遠隔操作装置４０が操作されることにより生成された操作信号を通信装置７に送信する。通信装置６は、通信装置７を介して制御装置３００から送信された第１画像Ｐ１及び第２画像Ｐ２を受信して、制御装置６０に出力する。通信装置６は、圧縮された第１画像Ｐ１の画像データ及び第２画像Ｐ２の画像データを復元するデコーダを含む。第１画像Ｐ１及び第２画像Ｐ２は、復元された状態で、通信装置６から制御装置６０に出力される。

制御装置６０は、操作信号送信部６１と、画像データ受信部６２と、第１画像処理部６３と、第２画像処理部６４と、表示制御部６５とを有する。

操作信号送信部６１は、作業機械１を遠隔操作する操作信号を送信する。遠隔操作装置４０が操作者に操作されることにより、作業機械１を遠隔操作する操作信号が生成される。操作信号送信部６１は、遠隔操作装置４０の操作信号を制御装置３００に送信する。

画像データ受信部６２は、第１画像Ｐ１及び第２画像Ｐ２を受信する。画像データ受信部６２は、通信装置６のデコーダにより復元された第１画像Ｐ１及び第２画像Ｐ２を取得する。

第１画像処理部６３は、画像データ受信部６２により受信された第１画像Ｐ１を分割する。

図７は、実施形態に係る第１画像処理部６３の処理を説明するための図である。図７に示すように、画像データ受信部６２により第１画像Ｐ１が取得される。第１画像Ｐ１は、旋回体３の前方空間ＳＰ１の画像である。第１画像Ｐ１には、バケット４Ｃを含む作業機４の一部が映っている。また、第１画像Ｐ１には、旋回体３の前方の作業対象が映っている。また、第１画像Ｐ１には、アッパデッキ３Ｄの手すり３Ｅが映っている。

第１画像処理部６３は、第１画像Ｐ１を複数の画像に分割する。第１画像処理部６３は、第１画像Ｐ１を、中央ディスプレイ５１に表示させるための画像Ｐ１１と、左ディスプレイ５２に表示させるための画像Ｐ１２と、右ディスプレイ５３に表示させるための画像Ｐ１３と、上ディスプレイ５４に表示させるための画像Ｐ１４と、下ディスプレイ５５に表示させるための画像Ｐ１５とに分割する。

第２画像処理部６４は、画像データ受信部６２により受信された第２画像Ｐ２からインポーズ画像Ｐ２Ｓを生成する。

図８は、実施形態に係る第２画像処理部６４の処理を説明するための図である。図８に示すように、画像データ受信部６２により第２画像Ｐ２が取得される。第２画像Ｐ２は、運転室３Ａの前側下方空間ＳＰ２の画像である。第２画像Ｐ２には、走行体２の履帯２Ｃの前部が映っている。また、第２画像Ｐ２には、バケット４Ｃを含む作業機４の一部が映っている。また、第２画像Ｐ２には、走行体２が走行する地面ＧＲの一部が映っている。第２撮像装置３２の第２撮像範囲Ｍ２に旋回体３は配置されない。第２画像Ｐ２には、アッパデッキ３Ｄ及び手すり３Ｅを含む旋回体３は映らない。

第２画像処理部６４は、第２画像Ｐ２を縮小してインポーズ画像Ｐ２Ｓを生成する。

表示制御部６５は、第１画像Ｐ１及び第２画像Ｐ２を表示装置５０に表示させる。表示制御部６５は、第１画像Ｐ１とともに第２画像Ｐ２を表示装置５０に表示させる。実施形態において、表示制御部６５は、第２画像Ｐ２が第１画像Ｐ１の一部に重複するように、第１画像Ｐ１とともに第２画像Ｐ２を表示装置５０に表示させる。

図９は、実施形態に係る表示制御部６５の処理を説明するための図である。図９に示すように、表示制御部６５は、第１画像Ｐ１の一部である画像Ｐ１１を中央ディスプレイ５１に表示させる。表示制御部６５は、第１画像Ｐ１の一部である画像Ｐ１２を左ディスプレイ５２に表示させる。表示制御部６５は、第１画像Ｐ１の一部である画像Ｐ１３を右ディスプレイ５３に表示させる。表示制御部６５は、第１画像Ｐ１の一部である画像Ｐ１４を上ディスプレイ５４に表示させる。表示制御部６５は、第１画像Ｐ１の一部である画像Ｐ１５を下ディスプレイ５５に表示させる。

表示制御部６５は、第２画像Ｐ２から生成されたインポーズ画像Ｐ２Ｓを第１画像Ｐ１の下部に重畳させて表示装置５０に表示させる。実施形態において、表示制御部６５は、インポーズ画像Ｐ２Ｓを画像Ｐ１５に重畳させて下ディスプレイ５５に表示させる。

なお、実施形態において、表示制御部６５は、旋回体３の姿勢を示す車体データ画像Ｐ３、作業機４の姿勢を示す作業機データ画像Ｐ４、ダンプトラックに積み込まれる積荷の重量を示す積荷データ画像Ｐ５、及びバケット４Ｃの先端刃４Ｄの位置を示すバケットデータ画像Ｐ６を表示装置５０に表示させる。

表示制御部６５は、姿勢センサ７２の検出データに基づいて、水平面に対する旋回体３の傾斜角度を算出する。表示制御部６５は、車体データ画像Ｐ３として、旋回体３の傾斜角度を示すシンボル画像を表示装置５０に表示させる。実施形態において、車体データ画像Ｐ３は、上ディスプレイ５４に表示される。

また、表示制御部６５は、角度センサ７３の検出データに基づいて、作業機４の姿勢を算出する。表示制御部６５は、作業機データ画像Ｐ４として、作業機４の姿勢を示すアニメーション画像を表示装置５０に表示させる。実施形態において、作業機データ画像Ｐ４は、右ディスプレイ５３に表示される。

また、表示制御部６５は、バケット４Ｃに保持された積荷の重量を検出する重量センサ（不図示）の検出データに基づいて、ダンプトラックに積み込まれる積荷の重量を算出する。表示制御部６５は、積荷データ画像Ｐ５として、積荷の重量を示すインジケータ画像を表示装置５０に表示させる。実施形態において、積荷データ画像Ｐ５は、右ディスプレイ５３に表示される。

また、表示制御部６５は、角度センサ７３の検出データに基づいて、バケット４Ｃの先端刃４Ｄの上下方向の位置を算出する。表示制御部６５は、バケットデータ画像Ｐ６として、バケット４Ｃの先端刃４Ｄの上下方向の位置を示すインジケータ画像を表示装置５０に表示させる。実施形態において、バケットデータ画像Ｐ６は、右ディスプレイ５３に表示される。

［遠隔操作方法］
図１０は、実施形態に係る作業機械１の遠隔操作方法を示すフローチャートである。以下、第１画像Ｐ１及び第２画像Ｐ２の処理方法について主に説明する。なお、上述のように、遠隔操作装置４０が操作されることにより、制御装置６０の操作信号送信部６１から制御装置３００に作業機械１を遠隔操作する操作信号が送信される。

第１撮像装置３１は、旋回体３の前方空間ＳＰ１を含む第１撮像範囲Ｍ１を撮像する。第２撮像装置３２は、旋回体３の前側下方空間ＳＰ２を含む第２撮像範囲Ｍ２を撮像する。画像データ送信部３０４は、通信装置７及び通信システム４００を介して、第１画像Ｐ１及び第２画像Ｐ２を制御装置６０に送信する。第１画像Ｐ１及び第２画像Ｐ２のそれぞれは、圧縮された状態で、作業機械１から制御装置６０に送信される（ステップＳＡ１）。

画像データ受信部６２は、作業機械１から送信された第１画像Ｐ１及び第２画像Ｐ２を、通信装置６を介して受信する。画像データ受信部６２は、復元された第１画像Ｐ１及び第２画像Ｐ２を受信する。

第１画像処理部６３は、第１画像Ｐ１を画像Ｐ１１と画像Ｐ１２と画像Ｐ１３と画像Ｐ１４と画像Ｐ１５とに分割する（ステップＳＢ１）。

第２画像処理部６４は、第２画像Ｐ２からインポーズ画像Ｐ２Ｓを生成する（ステップＳＢ２）。

なお、ステップＳＢ１の処理の前にステップＳＢ２の処理が実施されてもよいし、ステップＳＢ１の処理とステップＳＢ２の処理とが並行して実施されてもよい。

表示制御部６５は、表示装置５０に第１画像Ｐ１を表示させる。表示制御部６５は、中央ディスプレイ５１に画像Ｐ１１を表示させ、左ディスプレイ５２に画像Ｐ１２を表示させ、右ディスプレイ５３に画像Ｐ１３を表示させ、上ディスプレイ５４に画像Ｐ１４を表示させ、下ディスプレイ５５に画像Ｐ１５を表示させる。

また、表示制御部６５は、表示装置５０に表示された第１画像Ｐ１の一部に、第２画像Ｐ２をインポーズさせる。すなわち、表示装置５０は、第２画像Ｐ２を第１画像Ｐ１の一部に重複するように表示する。第２画像Ｐ２は、第１画像Ｐ１の下部にインポーズされる。第２画像Ｐ２のインポーズ画像Ｐ２Ｓが、下ディスプレイ５５において画像Ｐ１５に重畳するように表示される（ステップＳＢ３）。

［画像の伝送経路の診断方法］
次に、画像の伝送経路の診断方法について説明する。作業機械から遠隔地への画像の伝送経路に異常が発生する可能性がある。画像の伝送経路の異常の原因として、撮像装置３０のイメージセンサの異常、通信装置７の異常、通信システム４００の少なくとも一部の異常、及び通信装置６の異常が例示される。遠隔操作システム１００は、画像の伝送経路の異常の有無を診断する。遠隔操作システム１００は、画像の伝送経路に異常が有る場合、遠隔地の操作者に認識させる。

図１１は、実施形態に係る画像の伝送経路の診断方法を説明するための図である。上述のように、第１撮像装置３１は、作業機械１の周辺の第１撮像範囲Ｍ１を撮像する。第２撮像装置３２は、作業機械１の周辺の第２撮像範囲Ｍ２を撮像する。第１撮像範囲Ｍ１と第２撮像範囲Ｍ２の一部とは重複する。第１撮像装置３１及び第２撮像装置３２のそれぞれは、旋回体３に配置される。第１撮像装置３１と第２撮像装置３２と旋回体３との相対位置は固定される。また、第１撮像範囲Ｍ１と第２撮像範囲Ｍ２との相対位置は固定される。

画像の伝送経路の診断は、第１撮像範囲Ｍ１と第２撮像範囲Ｍ２との重複範囲ＭＤに状態が変化する物体が含まれた第１撮像範囲Ｍ１の第１画像Ｐ１及び第２撮像範囲Ｍ２の第２画像Ｐ２に基づいて実施される。実施形態において、物体の状態は、物体の位置である。画像の伝送経路の診断において、位置が変化する物体が使用される。

画像の伝送経路の診断に使用される物体は、第１撮像装置３１の第１撮像範囲Ｍ１及び第２撮像装置３２の第２撮像範囲Ｍ２と相対移動する。画像の伝送経路の診断は、重複範囲ＭＤに位置が変化する物体が含まれた第１画像Ｐ１及び第２画像Ｐ２に基づいて実施される。

画像の伝送経路の診断に使用される第１画像Ｐ１と第２画像Ｐ２とは、同時点で撮像された画像である。

実施形態において、画像の伝送経路の診断に使用される物体は、旋回体３に取り付けられた作業機４である。遠隔操作装置４０が操作されることにより、遠隔地の操作信号送信部６１から作業機械１に操作信号が送信される。作業機４は、遠隔地から送信された操作信号に基づいて動作する。作業機４は、遠隔地から送信された操作信号に基づいて第１撮像範囲Ｍ１及び第２撮像範囲Ｍ２と相対移動する。

作業機４の動作により、作業機４の少なくとも一部が第１撮像範囲Ｍ１及び第２撮像範囲Ｍ２と相対移動し、重複範囲ＭＤに含まれる場合がある。図１１に示すように、例えばバケット４Ｃが重複範囲ＭＤに含まれる場合がある。作業機４の動作により、重複範囲ＭＤにおいてバケット４Ｃの位置が変化する。

作業機械１の通信装置７は、第１撮像範囲Ｍ１と第２撮像範囲Ｍ２との重複範囲ＭＤに位置が変化するバケット４Ｃが含まれた第１撮像範囲Ｍ１の第１画像Ｐ１及び第２撮像範囲Ｍ２の第２画像Ｐ２を遠隔地の制御装置６０に送信する。

制御装置６０の画像データ受信部６２は、第１画像Ｐ１及び第２画像Ｐ２を受信する。表示制御部６５は、位置が変化するバケット４Ｃが第１撮像範囲Ｍ１と第２撮像範囲Ｍ２との重複範囲ＭＤに含まれた第１画像Ｐ１及び第２画像Ｐ２を表示装置５０に表示させる。表示制御部６５は、第１画像Ｐ１とともに第２画像Ｐ２を表示装置５０に表示させる。

図１２及び図１３のそれぞれは、実施形態に係る画像の伝送経路の診断方法を説明するための図である。図１２は、画像の伝送経路が正常であるときの表示装置５０を示す。図１３は、画像の伝送経路の少なくとも一部が異常であるときの表示装置５０を示す。バケット４Ｃは、操作信号送信部６１から作業機械１に送信された操作信号に基づいて移動する。

図１２に示すように、第１画像Ｐ１の伝送経路及び第２画像Ｐ２の伝送経路のそれぞれが正常であるとき、表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２のそれぞれにおいて、バケット４Ｃの位置は変化する。すなわち、画像の伝送経路が正常であるとき、第１画像Ｐ１及び第２画像Ｐ２のそれぞれにおいて、バケット４Ｃは、操作信号に基づいて移動する。

図１３に示すように、例えば第１画像Ｐ１の伝送経路が正常であり第２画像Ｐ２の伝送経路が異常であるとき、表示装置５０に表示された第１画像Ｐ１においてはバケット４Ｃの位置が変化するものの、表示装置５０に表示された第２画像Ｐ２においてはバケット４Ｃの位置が変化しない。すなわち、第１画像Ｐ１の伝送経路が正常であり第２画像Ｐ２の伝送経路が異常であるとき、第１画像Ｐ１においてバケット４Ｃは操作信号に基づいて移動するものの、第２画像Ｐ２においてバケット４Ｃは移動しない。

また、第２画像Ｐ２の伝送経路が正常であり第１画像Ｐ１の伝送経路が異常であるとき、第２画像Ｐ２においてはバケット４Ｃの位置が変化するものの、第１画像Ｐ１においてはバケット４Ｃの位置が変化しない。

このように、遠隔操作室２００の操作者が遠隔操作装置４０を操作して作業機４を動作させたとき、表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２のそれぞれにおいて、バケット４Ｃの位置が変化する場合、第１画像Ｐ１の伝送経路及び第２画像Ｐ２の伝送経路のそれぞれが正常であると診断される。

遠隔操作室２００の操作者が遠隔操作装置４０を操作して作業機４を動作させたとき、表示装置５０に表示された第１画像Ｐ１においてはバケット４Ｃの位置が変化するものの、第２画像Ｐ２においてはバケット４Ｃの位置が変化しない場合、第１画像Ｐ１の伝送経路は正常であり、第２画像Ｐ２の伝送経路は異常であると診断される。

遠隔操作室２００の操作者が遠隔操作装置４０を操作して作業機４を動作させたとき、表示装置５０に表示された第２画像Ｐ２においてはバケット４Ｃの位置が変化するものの、第１画像Ｐ１においてはバケット４Ｃの位置が変化しない場合、第２画像Ｐ２の伝送経路は正常であり、第１画像Ｐ１の伝送経路は異常であると診断される。

なお、画像の伝送経路の診断に使用される物体は、作業機４でなくてもよい。物体は、例えば地面ＧＲでもよい。遠隔操作装置４０が操作されることにより、走行体２は、遠隔地から送信された操作信号に基づいて動作する。走行体２が走行すると、地面ＧＲが第１撮像範囲Ｍ１及び第２撮像範囲Ｍ２と相対移動する。

遠隔操作室２００の操作者が遠隔操作装置４０を操作して走行体２を動作させたとき、表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２のそれぞれにおいて、地面ＧＲの位置が変化する場合、第１画像Ｐ１の伝送経路及び第２画像Ｐ２の伝送経路のそれぞれが正常であると診断される。

遠隔操作室２００の操作者が遠隔操作装置４０を操作して走行体２を動作させたとき、表示装置５０に表示された第１画像Ｐ１においては地面ＧＲの位置が変化するものの、第２画像Ｐ２においては地面ＧＲの位置が変化しない場合、第１画像Ｐ１の伝送経路は正常であり、第２画像Ｐ２の伝送経路は異常であると診断される。

遠隔操作室２００の操作者が遠隔操作装置４０を操作して走行体２を動作させたとき、表示装置５０に表示された第２画像Ｐ２においては地面ＧＲの位置が変化するものの、第１画像Ｐ１においては地面ＧＲＴの位置が変化しない場合、第２画像Ｐ２の伝送経路は正常であり、第１画像Ｐ１の伝送経路は異常であると診断される。

また、遠隔操作装置４０が操作されることにより、旋回体３は、遠隔地から送信された操作信号に基づいて動作する。旋回体３が旋回すると、地面ＧＲが第１撮像範囲Ｍ１及び第２撮像範囲Ｍ２と相対移動する。遠隔操作室２００の操作者が遠隔操作装置４０を操作して旋回体３を動作させたとき、表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２のそれぞれにおける地面ＧＲの位置の変化に基づいて、第１画像Ｐ１の伝送経路の異常の有無及び第２画像Ｐ２の伝送経路の異常の有無が診断される。

なお、画像の伝送経路の診断に使用される物体は、操作信号に基づいて第１撮像範囲Ｍ１及び第２撮像範囲Ｍ２と相対移動する物体でなくてもよい。例えば、作業機械１とは別の作業機械が作業現場に存在する場合において、別の作業機械の少なくとも一部が重複範囲ＭＤに配置された場合、表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２に基づいて、画像の伝送経路の異常の有無が診断される。また、作業現場を走行する自動車が存在する場合において、自動車の少なくとも一部が重複範囲ＭＤに配置された場合、表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２に基づいて、第１画像Ｐ１の伝送経路の異常の有無及び第２画像Ｐ２の伝送経路の異常の有無が診断される。

なお、物体の位置の変化は、物体の姿勢の変化を含む。画像の伝送経路の診断において、姿勢が変化する物体が使用されてもよい。例えばバケット４Ｃがバケット回転軸ＣＸを中心に回転することにより、バケット４Ｃの姿勢が変化する。第１撮像装置３１及び第２撮像装置３２とバケット４Ｃとの相対位置によっては、第１撮像装置３１及び第２撮像装置３２がバケット４Ｃの位置の変化を捉えることが困難となりバケット４Ｃの姿勢（回転状態）を捉えることができる場合がある。そのような場合、画像の伝送経路の診断において、姿勢が変化する物体（バケット４Ｃ）が使用されてもよい。

なお、物体の状態は、物体の外観でもよい。例えば点滅するランプが重複範囲ＭＤに配置された場合、第１画像Ｐ１の伝送経路及び第２画像Ｐ２の伝送経路のそれぞれが正常であれば、第１画像Ｐ１及び第２画像Ｐ２のそれぞれにおいてランプは点滅する。一方、例えば第１画像Ｐ１の伝送経路が正常であり、第２画像Ｐ２の画像の伝送経路が異常である場合、第１画像Ｐ１においてランプは点滅するものの、第２画像Ｐ２においてランプは点滅しない。第２画像Ｐ２の伝送経路が正常であり、第１画像Ｐ１の伝送経路が異常である場合、第２画像Ｐ２においてランプは点滅するものの、第１画像Ｐ１においてランプは点滅しない。表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２のそれぞれのランプの外観（点滅状態）に基づいて、第１画像Ｐ１の伝送経路の異常の有無及び第２画像Ｐ２の伝送経路の異常の有無が診断される。

［コンピュータシステム］
図１４は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の制御装置６０及び制御装置３００のそれぞれは、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述の制御装置６０の機能及び制御装置３００の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、作業機械１の周辺の第１撮像範囲Ｍ１の第１画像Ｐ１、及び少なくとも一部が第１撮像範囲Ｍ１に重複する第２撮像範囲Ｍ２の第２画像Ｐ２を受信することと、状態が変化する物体が第１撮像範囲Ｍ１と第２撮像範囲Ｍ２との重複範囲ＭＤに配置されたときの第１画像Ｐ１及び第２画像Ｐ２を表示装置５０に表示させることと、を実行することができる。

［効果］
以上説明したように、実施形態によれば、状態が変化する物体が第１撮像範囲Ｍ１と第２撮像範囲Ｍ２との重複範囲ＭＤに含まれた第１画像Ｐ１及び第２画像Ｐ２が表示装置５０に表示される。遠隔操作室２００の操作者は、表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２のそれぞれの物体の状態に基づいて、画像の伝送経路の異常の有無を認識することができる。

画像の伝送経路の診断に使用される物体が、操作信号に基づいて動作する物体であることにより、遠隔操作室２００の操作者は、遠隔操作装置４０を操作することにより、物体の状態を変化させることができる。遠隔操作室２００の操作者は、任意のタイミングで、画像の伝送経路の診断を実施することができる。遠隔操作室２００の操作者は、例えば始業点検のタイミングで、画像の伝送経路の診断を実施することができる。

画像の伝送経路の診断に使用される物体が作業機４であることにより、遠隔操作室２００の操作者は、高頻度で画像の伝送経路の診断を実施することができる。作業対象の掘削作業を実施する場合、作業機４は高頻度で動作される。したがって、画像の伝送経路の診断に使用される物体が作業機４であることにより、遠隔操作室２００の操作者は、高頻度で画像の伝送経路の診断を実施することができる。

［その他の実施形態］
上述の実施形態においては、物体を含む第１画像Ｐ１及び第２画像Ｐ２が表示装置５０に表示され、遠隔操作室２００の操作者が、表示装置５０に表示された第１画像Ｐ１及び第２画像Ｐ２のそれぞれの物体の状態に基づいて、画像の伝送経路の異常の有無を診断することとした。制御装置６０が画像の伝送経路の異常の有無の診断を実施してもよい。制御装置６０は、作業機械１から送信された第１画像Ｐ１及び第２画像Ｐ２のそれぞれを画像処理して、第１画像Ｐ１及び第２画像Ｐ２のそれぞれから物体を抽出する。制御装置６０は、第１画像Ｐ１の物体の状態と第２画像Ｐ２の物体の状態とを比較して、画像の伝送経路の異常の有無の診断を実施してもよい。

上述の実施形態において、旋回体３の上下方向において、第２撮像装置３２は第１撮像装置３１よりも下方に配置されることとした。旋回体３の上下方向において、第２撮像装置３２は第１撮像装置３１よりも上方に配置されてもよいし、第１撮像装置３１と等しい位置に配置されてもよい。

上述の実施形態において、旋回体３の左右方向において、第１撮像装置３１は第２撮像装置３２と等しい位置に配置されることとした。旋回体３の左右方向において、第１撮像装置３１は第２撮像装置３２よりも左方に配置されてもよいし、右方に配置されてもよい。

上述の実施形態において、旋回体３の前後方向において、第１撮像装置３１は第２撮像装置３２よりも後方に配置されることとした。旋回体３の前後方向において、第１撮像装置３１は第２撮像装置３２よりも前方に配置されてもよいし、第２撮像装置３２と等しい位置に配置されてもよい。

上述の実施形態において、第１撮像装置３１と第２撮像装置３２とが上下方向又は左右方向に隣接して配置され、第１撮像装置３１の光軸ＯＡ１の角度と第２撮像装置３２の光軸ＯＡ２の角度とが上下方向において異なるように配置されてもよい。また、第１撮像装置３１と第２撮像装置３２とが上下方向又は左右方向に隣接して配置され、第１撮像装置３１の光軸ＯＡ１の角度と第２撮像装置３２の光軸ＯＡ２の角度とが左右方向において異なるように配置されてもよい。

上述の実施形態において、第２画像Ｐ２のインポーズ画像Ｐ２Ｓは、第１画像Ｐ１の下部に重複するように表示されることとした。インポーズ画像Ｐ２Ｓは、第１画像Ｐ１の上部に重複するように表示されてもよいし、第１画像Ｐ１の左部に重複するように表示されてもよいし、第１画像Ｐ１の右部に重複するように表示されてもよい。

上述の実施形態において、第１画像Ｐ１と第２画像Ｐ２とは重複しなくてもよい。第１画像Ｐ１と第２画像Ｐ２とが表示装置５０に並んで表示されてもよい。

上述の実施形態において、第１撮像装置３１は、運転室３Ａの外側に配置されてもよい。第１撮像装置３１は、旋回体３に配置されていればよい。

上述のように、作業現場において無人ダンプトラックが稼働する場合がある。無人ダンプトラックは、作業現場の管制施設から送信される制御指令に基づいて走行する。上述の実施形態において、撮像装置３０により撮像された画像が、作業現場の管制施設に送信され、管制施設に設置されている表示装置に表示されてもよい。管制施設は、作業機械１の遠隔地に配置される。管制施設に存在する作業現場の管理者は、撮像装置３０により撮像された画像を見ることができる。

上述の実施形態において、旋回体３（車体）は運転室３Ａを有することとした。旋回体３に運転室３Ａは無くてもよい。旋回体３に運転室３Ａが存在しない場合、第１撮像装置３１は、旋回体３の前部に配置される。

上述の実施形態において、表示装置５０は、複数のディスプレイ（５１，５２，５３，５４，５５）を有することとした。表示装置５０は、１つのディスプレイにより構成されてもよい。また、ディスプレイは、フラットパネルディスプレイでもよいし、曲面パネルディスプレイでもよい。

なお、上述の実施形態においては、作業機械１がローディングショベルであることとした。作業機械１はバックホウでもよい。また、上述の実施形態においては、作業機械１が車体として旋回体３を備えることとしたが、作業機械１の車体は旋回体でなくてもよい。作業機械１は、作業機を有する作業機械であればよく、ブルドーザでもよいし、ホイールローダでもよい。

１…作業機械、２…走行体、２Ａ…駆動輪、２Ｂ…従動輪、２Ｃ…履帯、３…旋回体（車体）、３Ａ…運転室、３Ｂ…ロアデッキ、３Ｃ…ステップ、３Ｄ…アッパデッキ、３Ｅ…手すり、３Ｆ…ラダー、４…作業機、４Ａ…ブーム、４Ｂ…アーム、４Ｃ…バケット、４Ｄ…先端刃、５…油圧シリンダ、５Ａ…ブームシリンダ、５Ｂ…アームシリンダ、５Ｃ…バケットシリンダ、６…通信装置、７…通信装置、３０…撮像装置、３１…第１撮像装置、３２…第２撮像装置、４０…遠隔操作装置、４１…左作業レバー、４２…右作業レバー、４３…左走行ペダル、４４…右走行ペダル、４５…操縦シート、５０…表示装置、５１…中央ディスプレイ、５２…左ディスプレイ、５３…右ディスプレイ、５４…上ディスプレイ、５５…下ディスプレイ、６０…制御装置、６１…操作信号送信部、６２…画像データ受信部、６３…第１画像処理部、６４…第２画像処理部、６５…表示制御部、７０…センサ、７１…位置センサ、７２…姿勢センサ、７３…角度センサ、１００…遠隔操作システム、２００…遠隔操作室、３００…制御装置、３０１…走行体制御部、３０２…旋回体制御部、３０３…作業機制御部、３０４…画像データ送信部、３０５…センサデータ送信部、４００…通信システム、５０１…第１モニタ装置、５０２…操作スイッチ、５０３…第２モニタ装置、５０４…第３モニタ装置、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、ＡＸ…ブーム回転軸、ＢＸ…アーム回転軸、ＣＸ…バケット回転軸、ＧＲ…地面、ＲＸ…旋回軸、Ｍ１…第１撮像範囲、Ｍ２…第２撮像範囲、ＭＤ…重複範囲、ＯＡ１…光軸、ＯＡ２…光軸、Ｐ１…第１画像、Ｐ１１…画像、Ｐ１２…画像、Ｐ１３…画像、Ｐ１４…画像、Ｐ１５…画像、Ｐ２…第２画像、Ｐ２Ｓ…インポーズ画像、Ｐ３…車体データ画像、Ｐ４…作業機データ画像、Ｐ５…積荷データ画像、Ｐ６…バケットデータ画像、ＳＰ１…前方空間、ＳＰ２…前側下方空間。

Claims (6)

1. 第１撮像範囲の第１画像、及び少なくとも一部が前記第１撮像範囲に重複する第２撮像範囲の第２画像を受信する画像データ受信部と、
   前記第１撮像範囲と前記第２撮像範囲との重複範囲に作業機械の作業機が含まれた前記第１画像及び前記第２画像を表示装置に表示させる表示制御部と、を前記作業機械の遠隔地に備える、
   作業機械の遠隔操作システム。
2. 前記作業機械は、
   前記第１撮像範囲を撮像する第１撮像装置と、
   少なくとも一部が前記第１撮像範囲に重複する第２撮像範囲を撮像する第２撮像装置と、
   前記第１撮像範囲の第１画像及び前記第２撮像範囲の第２画像を前記遠隔地に送信する通信装置と、を備える、
   請求項１に記載の作業機械の遠隔操作システム。
3. 前記作業機械を遠隔操作する操作信号を送信する操作信号送信部を備え、
   前記作業機は、前記操作信号に基づいて前記第１撮像範囲及び前記第２撮像範囲と相対移動する、
   請求項１又は請求項２に記載の作業機械の遠隔操作システム。
4. 前記作業機械を遠隔操作する操作信号を送信する操作信号送信部を備え、
   前記作業機は、前記操作信号に基づいて動作する、
   請求項１から請求項３のいずれか一項に記載の作業機械の遠隔操作システム。
5. 前記第１画像と前記第２画像とは、同時点で撮像される、
   請求項１から請求項４のいずれか一項に記載の作業機械の遠隔操作システム。
6. 前記表示制御部は、前記第２画像が前記第１画像の一部に重複するように前記表示装置に表示させる、
   請求項１から請求項５のいずれか一項に記載の作業機械の遠隔操作システム。

Images