JP2022062950A - 作業機械の制御装置 - Google Patents

Abstract

【課題】アタッチメントの所定部位を撮像装置で撮像する場合において、撮像装置の姿勢の頻繁な変更を抑制しながら所定部位が撮像されない状態の発生を抑制することができ、操作性を向上させることができる作業機械の制御装置を提供する。【解決手段】作業機械１０の実機制御装置１００は、作業機械１０の連結中心Ｃ１が所定高さ範囲Ｈを上下方向の一方に外れると推定される状態にあるか否かを判定し、連結中心Ｃ１が所定高さ範囲Ｈを上下方向の一方に外れると推定される状態にあるときには、撮像装置１１２の視野角範囲が外れる方向に変更されるように、駆動装置１５０を制御する。【選択図】図２Ａ

Description

本発明は、作業機械の遠隔操作を支援するための作業機械の制御装置に関する。

従来、作業機械の制御装置として特許文献１に記載されたものが知られている。この制御装置は、油圧ショベルに搭載されたカメラと、カメラの視野角範囲を変更する２つのモータと、２つのモータを制御するコントローラと、ブーム、アーム及びバケットの角度を検出する３つのセンサなどを備えている。この制御装置は、作業機械の遠隔操作中、カメラで撮像された画像を含む信号を遠隔操室に送信するものであり、それにより、この画像が遠隔操作室のモニタに表示されることで、オペレータによる作業機械の遠隔操作が可能になる。

この制御装置では、作業機械の遠隔操作中、３つのセンサの検出信号に基づき、カメラの中心からバケットの先端までの直線を引き、この直線とカメラの視野角範囲内との関係から、バケットの先端がカメラの視野角範囲内に位置しているか否かが判定される。そして、バケットの先端がカメラの視野角範囲から外れているときには、カメラの視野角範囲がその最大値になるように変更される。次いで、バケットの先端が変更後の視野範囲に入っているか否かが再度判定され、バケットの先端が変更後のカメラの視野角範囲から外れているときには、バケットの先端がカメラの視野角範囲内に入るように、カメラの角度が制御される。

特開平９－２７０９４５号公報

上記従来の制御装置によれば、バケットの先端がカメラの視野角範囲から外れているか否かの判定が、カメラの視野角範囲の変更前と変更後において２段階で実施される関係上、バケットの位置変化が大きい場合には、カメラの角度変更に時間を要してしまい、バケットの先端がカメラで撮像されない状態が発生してしまうことになる。さらに、バケットの位置変化が大きい場合には、カメラの角度が頻繁に変更される可能性があり、その場合には、モニタに表示される映像が頻繁に変動するのに伴い、オペレータがバケットの先端を認識するのが困難になってしまう。この問題は、バケットの先端部を撮像する場合に限らず、ブーム、アーム及びバケットなどのアタッチメントの所定部位を撮像する場合にも発生する。

本発明は、上記課題を解決するためになされたもので、アタッチメントの所定部位を撮像装置で撮像する場合において、撮像装置の姿勢の頻繁な変更を抑制しながら所定部位が撮像されない状態の発生を抑制することができ、操作性を向上させることができる作業機械の制御装置を提供することを目的とする。

上記目的を達成するために、請求項１に係る発明は、作業機械の遠隔操作を支援するために、作業機械に設けられた撮像装置によって作業機械の前方における所定の視野角範囲内の画像を撮像し、画像を含む信号を遠隔地点に送信する作業機械の制御装置であって、作業機械に設けられ、撮像装置の姿勢を変更することにより、撮像装置の視野角範囲を変更する駆動装置と、作業機械のアタッチメントの所定部位が作業機械を基準としたときの第１高さと第１高さよりも下方の第２高さとの間の所定高さ範囲を上下方向の一方に外れると推定される状態にあるか否かを判定する判定部と、判定部の判定結果に基づき、アタッチメントの所定部位が所定高さ範囲を上下方向の一方に外れると推定される状態にあるときには、撮像装置の視野角範囲が外れる方向に変更されるように、駆動装置を制御する制御部と、を備えていることを特徴とする。

この作業機械の制御装置によれば、判定部により、作業機械のアタッチメントの所定部位が作業機械を基準としたときの第１高さと第１高さよりも下方の第２高さとの間の所定高さ範囲を上下方向の一方に外れると推定される状態にあるか否かが判定される。そして、制御部により、アタッチメントの所定部位が所定高さ範囲を上下方向の一方に外れると推定される状態にあるときには、撮像装置の視野角範囲が外れる方向に変更されるように、駆動装置が制御される。このように、アタッチメントの所定部位が所定高さ範囲を外れると推定される状態にあるときに、撮像装置の視野角範囲が変更されるので、従来と異なり、撮像装置の視野角範囲を迅速に変更することができ、アタッチメントの所定部位が撮像されない状態の発生を抑制することができる。また、アタッチメントの所定部位が所定高さ範囲を外れない限り、撮像装置の視野角範囲が変更されないので、撮像装置によって撮像された画像の頻繁な変動を抑制することができる。以上により、作業機械を遠隔操作する際の操作性を向上させることができる。

請求項２に係る発明は、請求項１に記載の作業機械の制御装置において、制御部は、撮像装置の視野角範囲を上下方向の一方に変更するときの速度を、アタッチメントの所定部位の移動速度に応じて決定することを特徴とする。

この作業機械の制御装置によれば、制御部により、撮像装置の視野角範囲を上下方向の一方に変更するときの速度が、アタッチメントの所定部位の移動速度に応じて制御されるので、撮像装置の視野角範囲を、アタッチメントの所定部位の移動速度に応じた速度で変更することができる。それにより、アタッチメントの所定部位が撮像されない状態の発生をより確実に抑制することができ、作業機械を遠隔操作する際の操作性をさらに向上させることができる。

請求項３に係る発明は、請求項１又は２に記載の作業機械の制御装置において、駆動装置は、撮像装置の視野角範囲を、アタッチメントの所定部位が所定高さ範囲内にあるときに所定部位を撮像可能な基準範囲と、中心が基準範囲の中心よりも第１所定角度分、上側の上側範囲と、中心が基準範囲の中心よりも第２所定角度分、下側の下側範囲との間で変更可能に構成され、基準範囲の上側部と上側範囲の下側部は互いに重なり合うように構成されているとともに、基準範囲の下側部と下側範囲の上側部は互いに重なり合うように構成されていることを特徴とする。

この作業機械の制御装置によれば、撮像装置の視野角範囲が、アタッチメントの所定部位が所定高さ範囲内にあるときに所定部位を撮像可能な基準範囲と、中心が基準範囲の中心よりも第１所定角度分、上側の上側範囲と、中心が基準範囲の中心よりも第２所定角度分、下側の下側範囲との間で変更可能に構成されている。そして、基準範囲の上側部と上側範囲の下側部は互いに重なり合うように構成されているとともに、基準範囲の下側部と下側範囲の上側部は互いに重なり合うように構成されているので、撮像装置の視野角範囲の切換前後において、作業機械を遠隔操作するオペレータにおいて死角が発生するのを回避することができる。それにより、高い操作性を確保することができる。

請求項４に係る発明は、請求項３に記載の作業機械の制御装置において、撮像装置は、作業機械のキャビン内に配置され、上側範囲及び下側範囲はそれぞれ、アタッチメントの所定部位が所定高さ範囲を上方及び下方に外れた際に、所定部位をキャビンの窓を介して撮像可能な範囲に設定されていることを特徴とする。

この作業機械の制御装置によれば、撮像装置が作業機械のキャビン内に配置されている。さらに、上側範囲及び下側範囲はそれぞれ、アタッチメントの所定部位が所定高さ範囲を上方及び下方にそれぞれ外れた際に、所定部位をキャビンの窓を介して撮像可能な範囲に設定されているので、アタッチメントの所定部位が所定高さ範囲を上方及び下方にそれぞれ外れた場合でも、作業機械を遠隔操作するオペレータは、アタッチメントの所定部位の画像を、作業機械のキャビンから眺めた画像として参照することができる。それにより、キャビンを基準として、撮像装置の視野角範囲の変更前後における画像の連続性をオペレータに認識させることができ、作業機械を遠隔操作する際の高い操作性を確保することができる。

請求項５に係る発明は、請求項３に記載の作業機械の制御装置において、制御部は、撮像装置の視野角範囲が基準範囲と上側範囲との間で変更される際、撮像装置によって撮像された画像において、第１標識画像を基準範囲の上側部と上側範囲の下側部の互いに重なり合う部分に重畳して表示するとともに、撮像装置の視野角範囲が基準範囲と下側範囲との間で変更される際、撮像装置によって撮像された画像において、第２標識画像を基準範囲の上側部と上側範囲の下側部の互いに重なり合う部分に重畳して表示する画像制御をさらに実行することを特徴とする。

この作業機械の制御装置によれば、制御部により画像制御がさらに実行される。この画像制御では、撮像装置の視野角範囲が基準範囲と上側範囲との間で変更される際、撮像装置によって撮像された画像において、第１標識画像が基準範囲の上側部と上側範囲の下側部の互いに重なり合う部分に表示される。これに加えて、撮像装置の視野角範囲が基準範囲と下側範囲との間で変更される際、撮像装置によって撮像された画像において、第２標識画像が基準範囲の上側部と上側範囲の下側部の互いに重なり合う部分に重畳して表示される。したがって、これらの第１標識画像及び第２標識画像を基準として、撮像装置の視野角範囲が基準範囲と上側範囲との間で変更される際、及び、準範囲と下側範囲との間で変更される際において、変更中及び変更前後における画像の連続性をオペレータに認識させることができ、作業機械を遠隔操作する際の高い操作性を確保することができる。

請求項６に係る発明は、請求項１ないし５のいずれかに記載の作業機械の制御装置において、判定部は、アタッチメントの所定部位の高さが第１高さ及び第２高さの一方の高さとの距離が所定値以下になっているとともに、所定部位が一方の高さに向かって移動する際の移動速度が所定速度以上であるときには、アタッチメントの所定部位が所定高さ範囲を上下方向の一方に外れると推定される状態にあると判定することを特徴とする。

この作業機械の制御装置によれば、所定部位の高さと第１高さ又は第２高さとの距離、及び所定部位が第１高さ又は第２高さに向かう際の移動速度に基づいて、アタッチメントの所定部位が所定高さ範囲を外れそうな状態にあるか否かが判定されるので、その判定を精度よく実施することができる。

本発明の一実施形態に係る作業機械の制御装置及び遠隔操作システムの構成を模式的に示す図である。 作業機械のアタッチメントの所定部位が所定高さ範囲内にある状態を示す側面図である。 撮像装置の視野角範囲が基準範囲に設定されている状態を示す図である。 作業機械のアタッチメントの所定部位が所定高さ範囲よりも上方にある状態を示す側面図である。 撮像装置の視野角範囲が上側範囲に設定されている状態を示す図である。 作業機械のアタッチメントの所定部位が所定高さ範囲よりも下方にある状態を示す側面図である。 撮像装置の視野角範囲が下側範囲に設定されている状態を示す図である。 駆動制御処理を示すフローチャートである。 駆動条件判定処理を示すフローチャートである。 切換条件判定処理を示すフローチャートである。 画像制御処理を示すフローチャートである。

以下、図面を参照しながら、本発明の一実施形態に係る制御装置及び遠隔操作支援システムについて説明する。図１に示すように、本実施形態の遠隔操作支援システム１は、複数の作業機械１０（１つのみ図示）及び遠隔操作装置２０などで構成されている。

作業機械１０及び遠隔操作装置２０は、ネットワーク４を介して相互に通信可能に構成されている。なお、ネットワーク４は、無線ネットワーク又は有線ネットワークで構成される。この遠隔操作装置２０は、オペレータが作業機械１０を遠隔操作するためのものであり、遠隔操作室２内に設けられている。図１に示すように、遠隔操作装置２０は、遠隔制御装置２００、遠隔入力インターフェース２１０及び遠隔出力インターフェース２２０などを備えている。

遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータ及びソフトウェアを読み取り、このデータを対象として当該ソフトウェアにしたがった演算処理を実行する。

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。この遠隔操作機構２１１には、走行用操作装置、旋回用操作装置、ブーム用操作装置、アーム用操作装置及びバケット用操作装置などが含まれており、各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバーは、作業機械１０の下部走行体１１を動かすために操作される。

旋回用操作装置の操作レバーは、作業機械１０の旋回機構を動かすために操作され、ブーム用操作装置の操作レバーは、作業機械１０のブームシリンダを動かすために操作される。アーム用操作装置の操作レバーは作業機械１０のアームシリンダを動かすために操作され、バケット用操作装置の操作レバーは作業機械１０のバケットシリンダを動かすために操作される。

また、遠隔出力インターフェース２２０は、画像出力装置２２１、遠隔無線通信機器２２２及び図示しないスピーカなどを備えている。画像出力装置２２１は、モニタで構成されている。この遠隔出力インターフェース２２０では、後述する画像信号が遠隔無線通信機器２２２を介して受信された場合、画像信号内の画像が画像出力装置２２１に対して出力される。

図１に示すように、作業機械１０は、実機制御装置１００、実機入力インターフェース１１０、実機出力インターフェース１２０、作動機構１４０及び駆動装置１５０などを備えている。なお、本実施形態では、実機制御装置１００が制御装置、判定部及び制御部に相当する。

この実機制御装置１００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行するとともに、後述する駆動制御処理などを実行する。

作業機械１０は、クローラショベルタイプの建設機械であり、クローラ式の下部走行体１１と、下部走行体１１に旋回機構を介して旋回可能に搭載されている上部旋回体１２と、動力源としての内燃機関（図示せず）などを備えている。上部旋回体１２の前方左側部にはキャビン１３（運転室）が設けられている。上部旋回体１２の前方中央部には作業アタッチメント１４０が設けられている。

実機入力インターフェース１１０は、実機操作機構１１１、撮像装置１１２及びセンサ装置１１３などを備えている。実機操作機構１１１は、キャビン１３の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の実機操作レバーを備えている。遠隔操作機構２１１の操作態様に応じた信号を受信し、当該受信信号に基づいて当該実機操作レバーを動かす駆動機構またはロボットがキャビン１３に設けられている。

撮像装置１１２は、例えばキャビン１３の内部に設置されたカメラで構成されており、前方窓１３ａ及び天井窓１３ｂを介して作動機構１４０の少なくとも一部を含む環境を撮像する。

センサ装置１１３は、ブーム角度センサ、アーム角度センサ及び撮像装置角度センサなどで構成されている。このブーム角度センサは、ブーム角度を検出するものであり、このブーム角度は、上部旋回体１２に対するブーム１４１の角度である。

また、アーム角度センサは、アーム角度を検出するものであり、このアーム角度は、ブーム１４１に対するアーム１４２の角度である。さらに、撮像装置角度センサは、撮像装置角度を検出するものであり、この撮像装置角度は、駆動装置１５０によって変更される撮像装置１１２の光軸の角度である。

実機出力インターフェース１２０は、遠隔操作装置２０との間で無線通信を実行するための実機無線通信機器１２１を備えている。

作動機構としての作業アタッチメント１４０は、ブーム１４１、アーム１４２及びバケット１４３を備えている。ブーム１４１は、上部旋回体１２に起伏可能に装着されており、ブームシリンダによって駆動されることにより水平軸回りに回動し、それにより、ブーム角が変更される。

また、アーム１４２は、ブーム１４１の先端に回動可能に連結されており、アームシリンダによって駆動されることによって水平軸回りに回動し、それにより、アーム角が変更される。さらに、バケット１４３は、アーム１４２の先端に回動可能に連結されており、バケットシリンダによって駆動されることにより、アーム１４２に対して水平軸回りに回動する。

一方、駆動装置１５０は、撮像装置１１２の姿勢を変更するものであり、図示しないモータ及びギヤ機構などで構成されている。駆動装置１５０は、後述するように、実機制御装置１００によって制御されることにより、撮像装置１１２の姿勢（角度）を、図２Ａに示す基準姿勢と、図３Ａに示す上側姿勢と、図４Ａに示す下側姿勢との間で３段階に変更する。

撮像装置１１２の姿勢が図２Ａに示す基準姿勢になっている場合、撮像装置１１２の光軸は作業機械１０の底面と並行になるとともに、その際の撮像装置１１２の視野角範囲である基準範囲Ｒ１は、図２Ｂに示すようになる。すなわち、基準範囲Ｒ１の左右両端がキャビン１３の前方窓１３ａの左右両端よりも外側になり、上端が前方窓１３ａの上端とほぼ一致するとともに、下端が前方窓１３ａの上下方向における中央よりも若干下側の位置になるように構成されている。

また、基準範囲Ｒ１は、図２Ａに示すように、作業機械１０の底面からの第１高さｈ１とこれよりも低い第２高さｈ２との間の範囲を所定高さ範囲Ｈ（＝ｈ１－ｈ２）とした場合において、アーム１４２に対するバケット１４３の連結部の中心（以下「連結中心」という）Ｃ１がこの所定高さ範囲Ｈ内に位置しているときには、連結中心Ｃ１を撮像可能な範囲に設定されている。なお、本実施形態では、連結中心Ｃ１がアタッチメントの所定部位に相当する。

一方、撮像装置１１２の姿勢が図３Ａに示す上側姿勢になっている場合、撮像装置１１２の光軸は、撮像装置１１２の姿勢が基準姿勢にある場合と比べて、第１所定角度θ１分、図中の斜め左上がりに傾斜した状態になり、それに伴い、撮像装置１１２の視野角範囲である上側範囲Ｒ２は、図３Ｂに示すようになる。

すなわち、上側範囲Ｒ２の左右両端がキャビン１３の前方窓１３ａ及び天井窓１３ｂの左右両端よりも外側になり、天井窓１３ｂ全体をカバーするとともに、下端が前方窓１３ａの上側の位置になる。これと同時に、上側範囲Ｒ２の下側部は、基準範囲Ｒ１の上側部と重複した状態となる。

また、上側範囲Ｒ２は、上述した連結中心Ｃ１が、所定高さ範囲Ｈよりも高い位置にあって天井窓１３ｂ及び前方窓１３ａの上下方向における中央よりも上側から見える位置にある場合には、この連結中心Ｃ１を撮像可能な範囲に設定されている。

一方、撮像装置１１２の姿勢が図４Ａに示す下側姿勢になっている場合、撮像装置１１２の光軸は、撮像装置１１２の姿勢が基準姿勢にある場合と比べて、第２所定角度θ２分、図中の斜め左下がりの状態になり、それに伴い、撮像装置１１２の視野角範囲である下側範囲Ｒ３は、図４Ｂに示すようになる。

すなわち、下側範囲Ｒ３の左右両端がキャビン１３の前方窓１３ａの左右両端よりも外側になり、上端が前方窓１３ａの上下方向における中央よりも若干上側の位置になるとともに、下端が前方窓１３ａの下端とほぼ一致する状態になる。これと同時に、下側範囲Ｒ３のほぼ上半部が基準範囲Ｒ１のほぼ下半部と重複した状態となる。

また、下側範囲Ｒ３は、上述した連結中心Ｃ１が、所定高さ範囲Ｈよりも低い位置にあって前方窓１３ａから見える位置にある場合には、この連結中心Ｃ１を撮像可能な範囲に設定されている。

次に、図５を参照しながら、駆動制御処理について説明する。この駆動制御処理は、駆動装置１５０を制御することにより、撮像装置１１２の姿勢を、前述した基準姿勢、上側姿勢及び下側姿勢の間で３段階に変更するものであり、実機制御装置１００によって所定周期で実行される。

同図に示すように、まず、駆動条件判定処理が実行される（図５／ＳＴＥＰ１）。この駆動条件判定処理は、以下に述べる３つの駆動制御処理の実行条件を判定するものであり、その詳細については後述する。

次いで、上側駆動制御フラグＦ＿ＵＰＰＥＲが「１」であるか否かが判定される（図５／ＳＴＥＰ２）。この上側駆動制御フラグＦ＿ＵＰＰＥＲは、以下に述べる上側駆動制御処理の実行条件が成立しているか否かを表すものである。

この判定が肯定（図５／ＳＴＥＰ２…ＹＥＳ）で、上側駆動制御処理の実行条件が成立しているときには、上側駆動制御処理が実行される（図５／ＳＴＥＰ３）。この上側駆動制御処理では、撮像装置１１２の姿勢を基準姿勢から上側姿勢に変更するように、駆動装置１５０が制御される。

その際、撮像装置１１２の姿勢変更速度は、連結中心Ｃ１の移動速度Ｖに応じて制御される。具体的には、連結中心Ｃ１の移動速度Ｖが大きいほど、撮像装置１１２の姿勢変更速度がより大きくなるように制御される。この場合、連結中心Ｃ１の移動速度Ｖは、前述したセンサ装置１１３の検出信号に基づいて算出される。以上のように、上側駆動制御処理が実行された後、本処理が終了する。

一方、上述した判定が否定（図５／ＳＴＥＰ２…ＮＯ）で、上側駆動制御処理の実行条件が不成立であるときには、下側駆動制御フラグＦ＿ＤＯＷＮが「１」であるか否かが判定される（図５／ＳＴＥＰ４）。この下側駆動制御フラグＦ＿ＤＯＷＮは、以下に述べる下側駆動制御処理の実行条件が成立しているか否かを表すものである。

この判定が肯定（図５／ＳＴＥＰ４…ＹＥＳ）で、下側駆動制御処理の実行条件が成立しているときには、下側駆動制御処理が実行される（図５／ＳＴＥＰ５）。この下側駆動制御処理では、撮像装置１１２の姿勢を基準姿勢から下側姿勢に変更するように、駆動装置１５０が制御される。

その際、撮像装置１１２の姿勢変更速度は、上側駆動制御処理と同様に制御される。すなわち、連結中心Ｃ１の移動速度Ｖが大きいほど、撮像装置１１２の姿勢変更速度がより大きくなるように制御される。以上のように、下側駆動制御処理が実行された後、本処理が終了する。

一方、前述した判定が否定（図５／ＳＴＥＰ４…ＮＯ）で、下側駆動制御処理の実行条件が不成立であるときには、基準駆動制御フラグＦ＿ＣＥＮＴＥＲが「１」であるか否かが判定される（図５／ＳＴＥＰ６）。この基準駆動制御フラグＦ＿ＣＥＮＴＥＲは、以下に述べる基準駆動制御処理の実行条件が成立しているか否かを表すものである。

この判定が肯定（図５／ＳＴＥＰ６…ＹＥＳ）で、基準駆動制御処理の実行条件が成立しているときには、基準駆動制御処理が実行される（図５／ＳＴＥＰ７）。この下側駆動制御処理では、撮像装置１１２の姿勢を下側姿勢又は上側姿勢から基準姿勢に変更するように、駆動装置１５０が制御される。

その際、撮像装置１１２の姿勢変更速度（すなわち回転角速度）は、上側駆動制御処理及び下側駆動制御処理と同様に制御される。すなわち、連結中心Ｃ１の移動速度Ｖが大きいほど、撮像装置１１２の姿勢変更速度がより大きくなるように制御される。以上のように、基準駆動制御処理が実行された後、本処理が終了する。

一方、上述した判定が否定（図５／ＳＴＥＰ６…ＮＯ）で、基準駆動制御処理の実行条件が不成立であるときには、そのまま本処理が終了する。

次に、図６及び図７を参照しながら、前述した駆動条件判定処理について説明する。この駆動条件判定処理では、図６に示すように、まず、上側駆動制御フラグＦ＿ＵＰＰＥＲが「１」であるか否かが判定される（図６／ＳＴＥＰ１０）。

この判定が否定（図６／ＳＴＥＰ１０…ＮＯ）で、上側駆動制御処理の実行条件が不成立であるときには、下側駆動制御フラグＦ＿ＤＯＷＮが「１」であるか否かが判定される（図６／ＳＴＥＰ１１）。この判定が否定（図６／ＳＴＥＰ１１…ＮＯ）で、下側駆動制御処理の実行条件が不成立であるときには、基準駆動制御フラグＦ＿ＣＥＮＴＥＲが「１」であるか否かが判定される（図６／ＳＴＥＰ１２）。

この判定が否定（図６／ＳＴＥＰ１２…ＮＯ）で、基準駆動制御処理の実行条件が不成立であるときには、切換条件判定処理が実行される（図６／ＳＴＥＰ１３）。この切換条件判定処理は、撮像装置１１２の姿勢を、前述した基準姿勢、上側姿勢及び下側姿勢の間で切り換える条件が成立したか否かを判定するものであり、具体的には、図７に示すように実行される。

同図に示すように、まず、撮像装置１１２が基準姿勢にあるか否かが判定される（図７／ＳＴＥＰ３０）。この判定が肯定（図７／ＳＴＥＰ３０…ＹＥＳ）で、撮像装置１１２が基準姿勢にあるときには、上側切換条件が成立しているか否かが判定される（図７／ＳＴＥＰ３１）。この上側切換条件は、前述した上側駆動制御処理の実行条件である。

この場合、以下の（ｆ１）～（ｆ２）の条件がいずれも成立しているときには、上側切換条件が成立していると判定され、それ以外のときには、上側切換条件が不成立であると判定される。
（ｆ１）前述した連結中心Ｃ１の移動速度Ｖにおいて、Ｖ≧Ｖｒｅｆが成立していること。
（ｆ２）連結中心Ｃ１の高さｈｃにおいて、ｈ１－ｈｃ≦αが成立していること。

この場合、連結中心Ｃ１の移動速度Ｖ及び高さｈｃはいずれも、前述したセンサ装置１１３の検出結果に基づいて算出される。また、移動速度Ｖは、速度の絶対値として算出される。さらに、上記のＶｒｅｆは、正の所定速度であり、αは正の所定値である。以上の（ｆ１）～（ｆ２）がいずれも成立している場合には、連結中心Ｃ１が、前述した所定高さ範囲Ｈを上側に外れると推定される状態にあることになる。

上述した判定が肯定（図７／ＳＴＥＰ３１…ＹＥＳ）で、上側切換条件が成立しているときには、それを表すために、上側駆動制御フラグＦ＿ＵＰＰＥＲに設定される（図７／ＳＴＥＰ３２）。その後、本処理が終了する。

一方、上述した判定が否定（図７／ＳＴＥＰ３１…ＮＯ）で、上側切換条件が不成立であるときには、下側切換条件が成立しているか否かが判定される（図７／ＳＴＥＰ３３）。この下側切換条件は、前述した下側駆動制御処理の実行条件である。

この場合、以下の（ｆ３）～（ｆ４）の条件がいずれも成立しているときには、下側切換条件が成立していると判定され、それ以外のときには、下側切換条件が不成立であると判定される。
（ｆ３）Ｖ≧Ｖｒｅｆが成立していること。
（ｆ４）ｈｃ－ｈ２≦αが成立していること。

以上の（ｆ３）～（ｆ４）の条件がいずれも成立している場合には、連結中心Ｃ１が前述した所定高さ範囲Ｈを下側に外れると推定される状態にあることになる。なお、以上の（ｆ１）及び（ｆ３）の条件において、移動速度の絶対値Ｖと比較する所定値を互いに異なる値に設定してもよい。さらに、以上の（ｆ２）及び（ｆ４）の条件において、値ｈ１－ｈｃ及び値ｈｃ－ｈ２と比較する所定値を互いに異なる値に設定してもよい。

上述した判定が肯定（図７／ＳＴＥＰ３３…ＹＥＳ）で、下側切換条件が成立しているときには、それを表すために、下側駆動制御フラグＦ＿ＤＯＷＮが「１」に設定される（図７／ＳＴＥＰ３４）。その後、本処理が終了する。

一方、上述した判定が否定（図７／ＳＴＥＰ３４…ＮＯ）で、下側切換条件が不成立であるときには、そのまま本処理が終了する。

一方、前述した判定が否定（図７／ＳＴＥＰ３０…ＮＯ）で、撮像装置１１２が基準姿勢にないとき、すなわち、撮像装置１１２が上側姿勢又は下側姿勢にあるときには、基準切換条件が成立しているか否かが判定される（図７／ＳＴＥＰ３５）。

この基準切換条件は、撮像装置１１２の姿勢を上側姿勢又は下側姿勢から基準姿勢に切り換えるための上側駆動制御処理の実行条件である。この場合、以下の（ｆ５）～（ｆ６）の条件がいずれも成立しているとき、又は以下の（ｆ７）～（ｆ８）の条件がいずれも成立しているときには、基準切換条件が成立していると判定され、それ以外のときには、基準切換条件が不成立であると判定される。

（ｆ５）Ｖ≧Ｖｒｅｆが成立していること。
（ｆ６）ｈｃ－ｈ１≦αが成立していること。
（ｆ７）Ｖ≧Ｖｒｅｆが成立していること。
（ｆ８）ｈ２－ｈｃ≦αが成立していること。

なお、以上の（ｆ５）及び（ｆ７）の条件において、移動速度の絶対値Ｖと比較する所定値を互いに異なる値に設定してもよい。さらに、以上の（ｆ６）及び（ｆ８）の条件において、値ｈｃ－ｈ１及び値ｈ２－ｈｃと比較する所定値を互いに異なる値に設定してもよい。

上述した判定が肯定（図７／ＳＴＥＰ３５…ＹＥＳ）で、基準切換条件が成立しているときには、それを表すために、基準駆動制御フラグＦ＿ＣＥＮＴＥＲが「１」に設定される（図７／ＳＴＥＰ３６）。その後、本処理が終了する。

一方、上述した判定が否定（図７／ＳＴＥＰ３５…ＮＯ）で、基準切換条件が不成立であるときには、そのまま本処理が終了する。

図６に戻り、切換条件判定処理（図６／ＳＴＥＰ１３）を以上のように実行した後、駆動条件判定処理が終了する。

一方、前述した判定が肯定（図６／ＳＴＥＰ１２…ＹＥＳ）で、基準駆動制御処理の実行条件が成立しているとき、すなわち基準駆動制御処理が実行中であるときには、撮像装置１１２の姿勢が基準姿勢に到達したか否かが判定される（図６／ＳＴＥＰ１４）。

この判定が肯定（図６／ＳＴＥＰ１４…ＹＥＳ）で、撮像装置１１２の姿勢が基準姿勢に到達したときには、基準駆動制御処理を終了すべきであると判定され、それを表すために、基準駆動制御フラグＦ＿ＣＥＮＴＥＲが「０」に設定される（図６／ＳＴＥＰ１５）。その後、本処理が終了する。一方、上記の判定が否定（図６／ＳＴＥＰ１４…ＮＯ）で、撮像装置１１２の姿勢が基準姿勢に到達していないときには、そのまま本処理が終了する。

一方、前述した判定が肯定（図６／ＳＴＥＰ１１…ＹＥＳ）で、下側駆動制御処理の実行条件が成立しているとき、すなわち下側駆動制御処理が実行中であるときには、撮像装置１１２の姿勢が下側姿勢に到達したか否かが判定される（図６／ＳＴＥＰ１６）。

この判定が肯定（図６／ＳＴＥＰ１６…ＹＥＳ）で、撮像装置１１２の姿勢が下側姿勢に到達したときには、下側駆動制御処理を終了すべきであると判定され、それを表すために、下側駆動制御フラグＦ＿ＤＯＷＮが「０」に設定される（図６／ＳＴＥＰ１７）。その後、本処理が終了する。一方、上記の判定が否定（図６／ＳＴＥＰ１６…ＮＯ）で、撮像装置１１２の姿勢が下側姿勢に到達していないときには、そのまま本処理が終了する。

一方、前述した判定が肯定（図６／ＳＴＥＰ１０…ＹＥＳ）で、上側駆動制御処理の実行条件が成立しているとき、すなわち上側駆動制御処理が実行中であるときには、撮像装置１１２の姿勢が上側姿勢に到達したか否かが判定される（図６／ＳＴＥＰ１８）。

この判定が肯定（図６／ＳＴＥＰ１８…ＹＥＳ）で、撮像装置１１２の姿勢が上側姿勢に到達したときには、上側駆動制御処理を終了すべきであると判定され、それを表すために、上側駆動制御フラグＦ＿ＵＰＰＥＲが「０」に設定される（図６／ＳＴＥＰ１９）。その後、本処理が終了する。一方、上記の判定が否定（図６／ＳＴＥＰ１８…ＮＯ）で、撮像装置１１２の姿勢が上側姿勢に到達していないときには、そのまま本処理が終了する。

次に、図８を参照しながら、画像制御処理について説明する。この画像制御処理は、撮像装置１１２によって撮像された画像に対して、第１標識線Ｌ１及び第２標識線Ｌ２の重畳などを実行するものであり、実機制御装置１００によって所定周期で実行される。なお、本実施形態では、第１標識線Ｌ１が第１標識画像に相当し、第２標識線Ｌ２が第２標識画像に相当する。

図８に示すように、まず、撮像装置１１２によって撮像された画像（以下「撮像画像」という）が読み込まれる（図８／ＳＴＥＰ５０）。

次いで、標識線重畳処理が実行される（図８／ＳＴＥＰ５１）。この標識線重畳処理では、上記の撮像画像に対して、第１標識線Ｌ１及び第２標識線Ｌ２の少なくとも一方が重畳される。この第１標識線Ｌ１は、所定高さ範囲Ｈの上限である第１高さｈ１を示す線であり、第２標識線Ｌ２は、所定高さ範囲Ｈの下限である第２高さｈ２を示す線である。

例えば、撮像装置１１２の姿勢が前述した基準姿勢になっている場合、図２Ｂに示すように、第１標識線Ｌ１及び第２標識線Ｌ２がそれぞれ、基準範囲Ｒ１内の撮像画像の上側部及び下側部に重畳される。

また、撮像装置１１２の姿勢が前述した上側姿勢になっている場合、図３Ｂに示すように、第１標識線Ｌ１が、上側範囲Ｒ２の基準範囲Ｒ１とオーバーラップしている領域に重畳される。

さらに、撮像装置１１２の姿勢が前述した下側姿勢になっている場合、図４Ｂに示すように、第２標識線Ｌ２が下側範囲Ｒ３の上側部の、基準範囲Ｒ１とオーバーラップしている領域に重畳される。

また、前述した上側駆動制御処理の実行により、撮像装置１１２の姿勢が基準姿勢から上側姿勢に変化し、撮像装置１１２の視野角範囲が基準範囲Ｒ１から上側範囲Ｒ２に変化する間においては、第１標識線Ｌ１が撮像装置１１２の撮像画像に常に重畳される。

これと同様に、前述した基準駆動制御の実行により、撮像装置１１２の姿勢が上側姿勢から基準姿勢に変化し、撮像装置１１２の視野角範囲が上側範囲Ｒ２から基準範囲Ｒ１に変化する間においても、第１標識線Ｌ１が撮像装置１１２の撮像画像に常に重畳される。

一方、前述した下側駆動制御処理の実行により、撮像装置１１２の姿勢が基準姿勢から下側姿勢に変化し、撮像装置１１２の視野角範囲が基準範囲Ｒ１から下側範囲Ｒ３に変化する間においては、第２標識線Ｌ２が撮像装置１１２の撮像画像に常に重畳される。

これと同様に、前述した基準駆動制御の実行により、撮像装置１１２の姿勢が下側姿勢から基準姿勢に変化し、撮像装置１１２の視野角範囲が下側範囲Ｒ３から基準範囲Ｒ１に変化する間においても、第２標識線Ｌ２が撮像装置１１２の撮像画像に常に重畳される。

以上のように、標識線重畳処理では、撮像装置１１２の撮像画像に対して、第１標識線Ｌ１及び第２標識線Ｌ２の少なくとも一方が重畳される。

次いで、上記のように第１標識線Ｌ１及び第２標識線Ｌ２の少なくとも一方が重畳された撮像画像を含む画像信号が、遠隔操作装置２０の遠隔制御装置２００に対して送信される（図８／ＳＴＥＰ５２）。その後、本処理が終了する。

このように、画像信号が遠隔操作装置２０の遠隔制御装置２００に対して送信された場合、画像信号の撮像画像が遠隔操作装置２０の画像出力装置２２１からオペレータ３に出力される。それにより、オペレータ３は、連結中心Ｃ１付近の画像を視認しながら作業機械１０を遠隔操作することができる。

以上のように、本実施形態の実機制御装置１００によれば、上側切換条件が成立し、連結中心Ｃ１が所定高さ範囲Ｈを上側に外れると推定される場合には、上側駆動制御処理が実行される。それにより、撮像装置１１２の視野角範囲が基準範囲Ｒ１から上側範囲Ｒ２に変更される。また、下側切換条件が成立し、連結中心Ｃ１が所定高さ範囲Ｈを下側に外れると推定される場合には、下側駆動制御処理が実行される。それにより、撮像装置１１２の視野角範囲が基準範囲Ｒ１から下側範囲Ｒ３に変更される。

このように、連結中心Ｃ１が所定高さ範囲Ｈを外れると推定される状態にある場合、撮像装置１１２の視野角範囲が基準範囲Ｒ１から上側範囲Ｒ２又は下側範囲Ｒ３に変更されるので、従来と異なり、撮像装置１１２の視野角範囲を迅速に変更することができ、連結中心Ｃ１が撮像されない状態の発生を抑制することができる。さらに、連結中心Ｃ１が所定高さ範囲Ｈを外れない限り、撮像装置１１２の視野角範囲が変更されないので、撮像装置１１２によって撮像された画像の頻繁な変動を抑制することができる。

また、上側駆動制御処理及び下側駆動制御処理における撮像装置１１２の姿勢変更速度が、連結中心Ｃ１の移動速度Ｖが大きいほど、より大きくなるように制御されるので、連結中心Ｃ１が撮像されない状態の発生をより確実に抑制することができる。

さらに、基準範囲Ｒ１の上側部と上側範囲Ｒ２の下側部は互いに重なり合うように構成されているとともに、基準範囲Ｒ１の下側部と下側範囲Ｒ３の上側部は互いに重なり合うように構成されているので、撮像装置１１２の視野角範囲の切換前後において、作業機械１０を遠隔操作するオペレータ３において死角が発生するのを回避することができる。

一方、撮像装置１１２が作業機械１０のキャビン１３内に配置され、上側範囲Ｒ２及び下側範囲Ｒ３はそれぞれ、連結中心Ｃ１が所定高さ範囲Ｈを上方及び下方にそれぞれ外れた際に、連結中心Ｃ１をキャビン１３の前方窓１３ａ及び天井窓１３ｂを介して撮像可能な範囲に設定されているので、連結中心Ｃ１が所定高さ範囲Ｈを上方及び下方にそれぞれ外れた場合でも、作業機械１０を遠隔操作するオペレータ３は、連結中心Ｃ１付近の画像を、作業機械１０のキャビン１３から眺めた画像として参照することができる。それにより、キャビン１３を基準として、撮像装置１１２の視野角範囲の変更前後における画像の連続性をオペレータ３に認識させることができる。

また、画像制御処理では、撮像装置１１２の視野角範囲が基準範囲Ｒ１と上側範囲Ｒ２との間で変更される際、撮像画像において、第１高さｈ１を示す第１標識線Ｌ１が基準範囲Ｒ１の上側部と上側範囲Ｒ２の下側部の互いに重なり合う部分に表示される。これに加えて、撮像装置１１２の視野角範囲が基準範囲Ｒ１と下側範囲Ｒ３との間で変更される際、撮像画像において、第２高さｈ２を示す第２標識線を基準範囲Ｒ１の上側部と上側範囲Ｒ２の下側部の互いに重なり合う部分に重畳して表示される。したがって、これらの第１標識線Ｌ１及び第２標識線を基準として、撮像装置１１２の視野角範囲が基準範囲Ｒ１と上側範囲Ｒ２との間で変更される際、及び、基準範囲Ｒ１と下側範囲Ｒ３との間で変更される際において、変更中及び変更前後における撮像画像の連続性をオペレータ３に認識させることができる。

また、上側切換条件の成立／不成立の判定及び下側切換条の成立／不成立の判定はいずれも、連結中心Ｃ１の高さｈｃと第１高さｈ１又は第２高さｈ２との距離、及び連結中心Ｃ１の移動速度Ｖに基づいて実行されるので、これらの判定を精度よく実施することができる。以上により、オペレータ３が作業機械１０を遠隔操作する際の操作性を向上させることができる。

なお、実施形態は、制御装置として、実機制御装置１００を用いた例であるが、これに代えて、遠隔操作室２に設けられた遠隔制御装置２００を制御装置として用いてもよく、ネットワーク４を介して作業機械１０と通信可能に設けられたサーバ（図示せず）を制御装置として用いてもよい。

また、実施形態は、判定部として、作業機械１０に設けられた実機制御装置１００を用いた例であるが、これに代えて、遠隔操作室２に設けられた遠隔制御装置２００を判定部として用いてもよく、ネットワーク４を介して作業機械１０と通信可能に設けられたサーバ（図示せず）を判定部として用いてもよい。

さらに、実施形態は、制御部として、作業機械１０に設けられた実機制御装置１００を用いた例であるが、これに代えて、遠隔操作室２に設けられた遠隔制御装置２００を制御部として用いてもよく、ネットワーク４を介して作業機械１０と通信可能に設けられたサーバ（図示せず）を制御部として用いてもよい。

一方、実施形態は、連結中心Ｃ１を作業機械のアタッチメントの所定部位とした例であるが、これに代えて、バケット１４３の先端部又は所定部位をアタッチメントの所定部位としてもよく、アーム１４２の所定部位をアタッチメントの所定部位としてもよい。

また、撮像装置１１２の視野角範囲を基準範囲Ｒ１から上側範囲Ｒ２に変更する際の速度が、撮像装置１１２の視野角範囲を基準範囲Ｒ１から下側範囲Ｒ３に変更する際の速度よりも速くなるように、実機制御装置１００が駆動装置１５０を制御するように構成してもよく、その逆になるように、実機制御装置１００が駆動装置１５０を制御するように構成してもよい。

さらに、第１所定角度θ１は、撮像装置１１２の視野角範囲を基準範囲Ｒ１から上側範囲Ｒ２に切り換えた際に、連結中心Ｃ１が上側範囲Ｒ２の所定領域に位置するような角度に設定され、第２所定角度θ２は、撮像装置１１２の視野角範囲を基準範囲Ｒ１から下側範囲Ｒ３に切り換えた際に、連結中心Ｃ１が下側範囲Ｒ３の所定領域に位置するような角度に設定されていればよい。

また、実施形態は、第１標識画像として第１高さｈ１を示す線である第１標識線Ｌ１を用い、第２標識画像として第２高さｈ２を示す線である第２標識線Ｌ２を用いた例であるが、第１標識線Ｌ１と第２標識線Ｌ２がそれぞれ第１高さｈ１と第２標識線Ｌ２に一致することは必須ではない。例えば、第１標識線Ｌ１を第１高さｈ１に対して上下方向にずれた位置に表示してもよく、第２標識線Ｌ２を第２高さｈ２に対して上下方向にずれた位置に表示してもよい。また、第１標識画像と第２標識画像は、第１標識線Ｌ１や第２標識線Ｌ２に示されるような線に代えて、形状を有する図形（例えば、矩形、円形、三角形など）としてもよい。

１０ 作業機械
１３ キャビン
１３ａ 前方窓（キャビンの窓）
１３ｂ 天井窓（キャビンの窓）
１００ 実機制御装置（制御装置、判定部、制御部）
１１２ 撮像装置
１５０ 駆動装置
Ｃ１ 連結中心（アタッチメントの所定部位）
ｈｃ 連結中心の高さ（アタッチメントの所定部位の高さ）
Ｖ 連結中心の移動速度（アタッチメントの所定部位の移動速度）
Ｖref 所定速度
ｈ１ 第１高さ
ｈ２ 第２高さ
Ｈ 所定高さ範囲
α 所定値
Ｒ１ 基準範囲
Ｒ２ 上側範囲
Ｒ３ 下側範囲
θ１ 第１所定角度
θ２ 第２所定角度
Ｌ１ 第１標識線（第１標識画像）
Ｌ２ 第２標識線（第２標識画像）

Claims (6)

1. 作業機械の遠隔操作を支援するために、当該作業機械に設けられた撮像装置によって当該作業機械の前方における所定の視野角範囲内の画像を撮像し、当該画像を含む信号を遠隔地点に送信する作業機械の制御装置であって、
   前記作業機械に設けられ、前記撮像装置の姿勢を変更することにより、前記撮像装置の前記視野角範囲を変更する駆動装置と、
   前記作業機械のアタッチメントの所定部位が当該作業機械を基準としたときの第１高さと当該第１高さよりも下方の第２高さとの間の所定高さ範囲を上下方向の一方に外れると推定される状態にあるか否かを判定する判定部と、
   当該判定部の判定結果に基づき、前記アタッチメントの前記所定部位が前記所定高さ範囲を上下方向の一方に外れると推定される状態にあるときには、前記撮像装置の前記視野角範囲が当該外れる方向に変更されるように、前記駆動装置を制御する制御部と、
   を備えていることを特徴とする作業機械の制御装置。
2. 請求項１に記載の作業機械の制御装置において、
   前記制御部は、前記撮像装置の前記視野角範囲を上下方向の一方に変更するときの速度を、前記アタッチメントの前記所定部位の移動速度に応じて決定することを特徴とする作業機械の制御装置。
3. 請求項１又は２に記載の作業機械の制御装置において、
   前記駆動装置は、前記撮像装置の前記視野角範囲を、前記アタッチメントの前記所定部位が前記所定高さ範囲内にあるときに当該所定部位を撮像可能な基準範囲と、中心が当該基準範囲の中心よりも第１所定角度分、上側の上側範囲と、中心が当該基準範囲の中心よりも第２所定角度分、下側の下側範囲との間で変更可能に構成され、
   前記基準範囲の上側部と前記上側範囲の下側部は互いに重なり合うように構成されているとともに、前記基準範囲の下側部と前記下側範囲の上側部は互いに重なり合うように構成されていることを特徴とする作業機械の制御装置。
4. 請求項３に記載の作業機械の制御装置において、
   前記撮像装置は、前記作業機械のキャビン内に配置され、
   前記上側範囲及び前記下側範囲はそれぞれ、前記アタッチメントの前記所定部位が前記所定高さ範囲を上方及び下方に外れた際に、当該所定部位を前記キャビンの窓を介して撮像可能な範囲に設定されていることを特徴とする作業機械の制御装置。
5. 請求項３に記載の作業機械の制御装置において、
   前記制御部は、前記撮像装置の前記視野角範囲が前記基準範囲と前記上側範囲との間で変更される際、前記撮像装置によって撮像された前記画像において、第１標識画像を前記基準範囲の上側部と前記上側範囲の下側部の互いに重なり合う部分に重畳して表示するとともに、前記撮像装置の前記視野角範囲が前記基準範囲と前記下側範囲との間で変更される際、前記撮像装置によって撮像された前記画像において、第２標識画像を前記基準範囲の上側部と前記上側範囲の下側部の互いに重なり合う部分に重畳して表示する画像制御をさらに実行することを特徴とする作業機械の制御装置。
6. 請求項１ないし５のいずれかに記載の作業機械の制御装置において、
   前記判定部は、前記アタッチメントの前記所定部位の高さが前記第１高さ及び前記第２高さの一方の高さとの距離が所定値以下になっているとともに、前記所定部位が当該一方の高さに向かって移動する際の移動速度が所定速度以上であるときには、前記アタッチメントの前記所定部位が前記所定高さ範囲を上下方向の一方に外れると推定される状態にあると判定することを特徴とする作業機械の制御装置。

Images