JP2022081069A - 作業車両 - Google Patents

Abstract

【課題】操縦者の熟練度に関係なく、ブームの先端を所定の移動経路に沿って移動させることができる作業車両を提供する。【解決手段】クレーン１の制御装置２４は、ブームカメラ９ｂに対するブームの先端の位置またはブームの旋回中心の位置と、ブームの姿勢情報Ｉｐと、画像の画角情報Ｉｉと、ブームカメラ９ｂが撮影したクレーン１の周囲を上方から撮影した画像Ｐとを取得し、表示装置２１に画像Ｐを表示させ、表示画面の座標系におけるブームの先端座標Ｂおよび表示画面の座標系におけるブームの旋回中心座標Ｃを算出し、画像Ｐ上で設定されたブームの先端の目標位置の表示画面の座標系における目標座標Ｔを算出し、ブームの先端が目標座標Ｔに所定の移動経路で到達するように前記アクチュエータのクレーン装置用操作具の現在操作位置座標Ｐａ、目標操作位置座標Ｐｂおよび操作順を表示する。【選択図】図３

Description

本発明は、作業車両に関する。

従来、作業車両である移動式クレーンを用いて荷物を搬送する場合、前記移動式クレーンの操縦者は、前記クレーンのブームを操作するための旋回用操作具、起伏用操作具、伸縮用操作具、荷物を吊り上げ、吊り下げるためのウインチ用操作具等の複数の操作具を操作する必要がある。また、前記移動式クレーンの操縦者は、複数の操作具を同時に操作して、作業現場の構造物等に荷物が接触しないように移動式クレーンを操作しなくてはならない。このように構成される移動式クレーンは、操縦者の技量と作業現場の状況によっては目標位置までの荷物の搬送が難しい場合があった。そこで、作業現場の３Ｄマップ上で表示された荷物の移動経路に基づいてクレーンの操作に関する情報を表示するクレーンが知られている。例えば、特許文献１の如くである。

特許文献１に記載のクレーンは、ブーム先端のステレオカメラ等で取得した作業現場の三次元情報に基づいて吊荷（荷物）の三次元情報を抽出する。更に、前記クレーンは、前記作業現場の三次元情報に基づいて平面図を作成する。次に、前記クレーンは、前記平面図上で移動経路を算出する。前記クレーンは、算出した前記移動経路に沿って吊荷を移動させるために必要な操作に関する情報を表示させる。

特許文献１に記載のクレーンは、前記吊荷を移動させるために必要な操作に関する情報を旋回台の旋回角度の変化量、ブームの伸縮長さの変化量および起伏角度の変化量としてそれぞれ数値で表示する。前記クレーンの操縦者は、前記旋回台および前記ブームが表示された数値に基づいた姿勢になるように移動速度の異なるアクチュエータが割り当てられた各操作具をそれぞれ操作する。しかし、熟練度が低い操縦者は、割り当てられているアクチュエータの移動速度に応じた各操作具の操作量を直感的に判断することが難しい。従って、特許文献１に記載の前記クレーンは、前記吊荷を移動させるために必要な操作に関する情報を表示しても、操縦者の熟練度によって操作が難しい場合があった。

特開２０１８－９５３６９号公報

本発明の目的は、操縦者の熟練度に関係なく、ブームの先端を所定の移動経路に沿って移動させることができる作業車両の提供を目的とする。

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。

本発明の一実施形態に係る作業車両は、走行体に旋回台を介して起伏可能なブームが設けられた作業車両と、前記作業車両の周囲を上方から撮影する撮影装置と、前記撮影装置が撮影した画像を表示し、且つ外部から指定された表示画面上の任意の位置の座標を出力可能な表示装置と、前記作業車両のアクチュエータを制御する制御装置と、を備える。

前記制御装置は、前記撮影装置に対する前記ブームの先端の位置または前記ブームの旋回中心の位置と、前記ブームの姿勢情報と、前記画像の画角情報と、前記撮影装置が撮影した前記作業車両の周囲を上方から撮影した画像とを取得し、前記表示装置に前記画像を表示させ、前記表示画面の座標系における前記ブームの先端の座標および前記表示画面の座標系における前記ブームの旋回中心の座標を算出し、前記画像上で設定された前記ブームの先端の目標位置の前記表示画面の座標系における座標を算出し、前記ブームの先端が前記目標位置に直線経路で到達するように前記アクチュエータの各操作具の現在操作位置および目標操作位置を表示する。

上述の構成では、前記作業車両の制御装置は、前記撮影装置が撮影した前記作業車両の周囲を含む画像において、前記作業車両の旋回中心の座標と前記ブームの先端の座標とを算出する。前記制御装置は、前記作業車両の旋回中心の座標と前記ブームの先端の座標とを算出することにより、前記表示装置の表示画面における所定の位置を原点とする直交座標系である前記表示画面の座標系を前記移動式クレーンの旋回中心を基準とするクレーン座標系に変換することができる。

従って、前記作業車両の操縦者は、前記画像上で前記作業車両の周囲の状況をリアルタイムで確認しながら前記ブームの先端の前記目標位置を前記画像上で設定することができる。また、前記制御装置は、前記ブームの先端が前記目標位置に所定の移動経路で到達するように前記アクチュエータを操作する前記各操作具の操作に関する情報である各操作具の現在操作位置および目標操作位置を表示する。前記操縦者は、前記作業車両によって作業現場の状況をリアルタイムで把握しつつ、前記各操作具の操作に関する情報に基づく容易な操作で前記ブームの先端を前記目標位置まで移動させることができる。従って、前記作業車両は、習熟度の低い操縦者であっても移動速度の異なる前記アクチュエータが割り当てられた各操作具の操作量を視覚的に把握することができる。これにより、前記作業車両は、前記操縦者の熟練度に関係なく、前記ブームの先端を前記所定の移動経路に沿って移動させることができる。

他の観点によれば、本発明の作業車両は、以下の構成を含むことが好ましい。前記制御装置は、前記アクチュエータの各操作具の操作順を表示する。

上述の構成では、前記制御装置は、前記ブームの先端が前記目標位置に所定の移動経路で到達するように前記アクチュエータを操作する前記各操作具の操作順を更に表示する。前記操縦者は、前記作業車両によって作業現場の状況をリアルタイムで把握しつつ、前記各操作具の操作量に加えて操作順に従う容易な操作で前記ブームの先端を前記目標位置まで移動させることができる。これにより、前記作業車両は、前記操縦者の熟練度に関係なく、前記ブームの先端を前記所定の移動経路に沿って移動させることができる。

他の観点によれば、本発明の作業車両は、以下の構成を含むことが好ましい。前記撮影装置は、前記ブームの先端に設けられる。前記制御装置は、前記画像の中心位置を前記ブームの先端位置とし、前記ブームの起伏角度、前記ブームの伸縮長さ、前記ブームの旋回角度および前記ブームの形状寸法等を含む前記ブームの姿勢情報から前記表示画面の座標系における前記ブームの先端の座標および前記表示画面の座標系における前記ブームの旋回中心の座標を算出する。

上述の構成では、前記画像が前記ブームの先端位置から撮影されているので、前記制御装置は、前記画像における単位長さと撮影距離毎の対応する部分の実際の長さとの比率等の情報を含む画角情報と前記ブームの姿勢情報とから、前記表示画面の座標系における前記ブームの先端の座標および前記表示画面の座標系における前記ブームの旋回中心の座標を算出することができる。従って、前記操縦者は、前記作業車両によって作業現場の状況をリアルタイムで把握しつつ、前記各操作具の操作に関する情報に基づく容易な操作で前記ブームの先端を前記目標位置まで移動させることができる。これにより、前記作業車両は、前記操縦者の熟練度に関係なく、前記ブームの先端を前記所定の移動経路に沿って移動させることができる。

他の観点によれば、本発明の作業車両は、以下の構成を含むことが好ましい。前記制御装置は、前記撮影装置が撮影した画像から前記ブームの先端部の画像を検出し、前記ブームの先端部の画像の向きおよび大きさと、前記ブームの姿勢情報とから前記表示画面の座標系における前記ブームの旋回中心の座標および前記表示画面の座標系における前記ブームの先端の座標を算出する。

上述の構成では、前記制御装置は、予め取得している前記ブームの先端部の画像との比較等により、撮影装置が撮影した前記作業車両を含む画像から前記表示画面の座標系における前記ブームの旋回中心の座標と前記ブームの先端部の座標とを自動的に検出する。前記制御装置は、前記ブームの旋回中心の座標を基準として前記画像上で指定された前記ブームの先端の前記目標位置の座標を容易に算出することができる。また、前記操縦者は、前記作業車両によって作業現場の状況をリアルタイムで把握しつつ、前記各操作具の操作に関する情報に基づく容易な操作で前記ブームの先端を前記目標位置まで移動させることができる。これにより、前記作業車両は、前記操縦者の熟練度に関係なく、前記ブームの先端を前記所定の移動経路に沿って移動させることができる。

他の観点によれば、本発明の作業車両は、以下の構成を含むことが好ましい。前記作業車両は、前記ブームの旋回中心の絶対座標または前記ブームの先端の絶対座標を検出する第１ＧＮＳＳ受信機と、前記ブームの延伸方向の方位を検出する方位センサと、前記撮影装置の絶対座標を検出する第２ＧＮＳＳ受信機と、を備える。前記制御装置は、前記第１ＧＮＳＳ受信機の検出値と、前記第２ＧＮＳＳ受信機の検出値と、前記方位センサの検出値と、前記ブームの姿勢情報とを取得し、前記ブームの旋回中心の絶対座標と、前記ブームの先端の絶対座標とを算出する。

上述の構成では、前記制御装置は、前記ブームの旋回中心の絶対座標または前記ブームの先端の絶対座標と前記ブームの延伸方向の方位と前記撮影装置の絶対座標と、前記撮影装置の画角情報と、前記ブームの姿勢情報とから、前記ブームの先端の絶対座標を算出する。また、前記制御装置は、前記撮影装置の絶対座標と前記撮影装置の画角情報とに基づいて前記表示画面の座標系における旋回中心の座標と前記ブームの先端の座標とを算出する。前記操縦者は、前記作業車両によって作業現場の状況をリアルタイムで把握しつつ、前記各操作具の操作に関する情報に基づく容易な操作で前記ブームの先端を前記目標位置まで移動させることができる。これにより、前記作業車両は、前記操縦者の熟練度に関係なく、前記ブームの先端を前記所定の移動経路に沿って移動させることができる。

他の観点によれば、本発明の作業車両は、以下の構成を含むことが好ましい。前記各アクチュエータの操作具の目標操作位置は、図形によって表示される。

上述の構成では、前記制御装置は、前記各操作具の操作に関する情報を図形によって前記操縦者に伝達する。具体的には、前記制御装置は、前記図形の位置によって前記アクチュエータの前記各操作具の現在操作位置、操作順および目標操作位置を表示する。前記操縦者は、前記作業車両によって作業現場の状況をリアルタイムで把握しつつ、表示されている前記各操作具の前記現在操作位置に対する前記目標操作位置および前記操作順に従って前記各操作具を操作することで前記ブームの先端を前記目標位置まで移動させることができる。これにより、前記作業車両は、前記操縦者の熟練度に関係なく、前記ブームの先端を前記所定の移動経路に沿って移動させることができる。

他の観点によれば、本発明の作業車両は、以下の構成を含むことが好ましい。前記表示装置は、前記アクチュエータの操作具を操作可能に構成される。

上述の構成では、前記表示装置は、前記各操作具の操作に関する情報を視認しながら前記各操作具を操作することができる。前記操縦者は、前記作業車両によって作業現場の状況をリアルタイムで把握しつつ、前記各操作具の前記現在操作位置を表示装置に表示されている前記各操作具の前記目標操作位置に容易且つ正確に変更することができる。これにより、前記作業車両は、前記操縦者の熟練度に関係なく、前記ブームの先端を前記所定の移動経路に沿って移動させることができる。

他の観点によれば、本発明の作業車両は、以下の構成を含むことが好ましい。前記制御装置は、他の作業車両の座標を取得すると、前記他の作業車両の位置を前記目標位置とする。

上述の構成では、前記制御装置は、前記他の作業車両の位置を目標位置として前記ブームの先端を前記所定の移動経路で移動させるために必要な前記各操作具の操作に関する情報を前記表示装置に表示する。前記操縦者は、前記作業車両によって作業現場の状況をリアルタイムで把握しつつ、表示されている前記各操作具の前記現在操作位置に対する前記目標操作位置および前記操作順に従って前記各操作具を操作することで前記ブームの先端を前記他の作業車両まで移動させることができる。これにより、前記作業車両は、前記操縦者の熟練度に関係なく、前記ブームの先端を前記所定の移動経路に沿って移動させることができる。

本明細書で使用される専門用語は、特定の実施形態のみを定義する目的で使用されるのであって、前記専門用語によって発明を制限する意図はない。他に定義されない限り、本明細書で使用される全ての用語（技術用語及び科学用語を含む）は、本発明が属する技術分野の当業者によって一般的に理解される意味と同じ意味を有する。一般的に使用される辞書に定義された用語は、関連する技術及び本開示の文脈における意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的に定義されていない限り、理想的または過度に形式的な意味で解釈されることはない。

本発明の説明においては、いくつもの技術および工程が開示されていると理解される。これらの各々は、個別の利益を有し、他に開示された技術の１つ以上、または、場合によっては全てと共に使用することもできる。したがって、明確にするために、本発明の説明では、不要に個々のステップの可能な組み合わせをすべて繰り返すことを控える。しかしながら、本明細書及び特許請求の範囲は、そのような組み合わせがすべて本発明の範囲内であることを理解して読まれるべきである。

以下の説明では、本発明の完全な理解を提供するために多数の具体的な例を述べる。しかしながら、当業者は、これらの具体的な例がなくても本発明を実施できることが明らかである。よって、以下の開示は、本発明の例示として考慮されるべきであり、本発明を以下の図面または説明によって示される特定の実施形態に限定することを意図するものではない。

本発明の一実施形態によれば、作業車両は、操縦者の熟練度に関係なく、ブームの先端を所定の移動経路に沿って移動させることができる。

本発明に係るクレーンの全体構成を示す全体図。 本発明の第１実施形態に係るクレーンの制御構成を示すブロック図。 本発明の第１実施形態に係る画像処理装置による制御構成を示す模式図。 本発明の第１実施形態に係るクレーンにおけるブーム先端の移動方向とクレーン装置用操作具の目標操作位置が表示されている画面を示すブロック図。 本発明の第１実施形態に係るクレーンにおけるブーム先端がクレーン装置用操作具の操作によって移動している状態とクレーン装置用操作具の操作状態が表示されている画面を示すブロック図。 本発明の第２実施形態に係るクレーンとクレーンの撮影装置を示す図。 本発明の第２実施形態に係るクレーンの制御構成を示すブロック図。 本発明の第２実施形態に係る画像処理装置の制御構成を示すブロック図。 本発明の第３実施形態に係るクレーンの制御構成を示すブロック図。 本発明の第３実施形態に係る画像処理装置の制御構成を示すブロック図。

以下に、図１から図４とを用いて、本発明の第１実施形態に係る作業車両であるクレーン１について説明する。なお、本実施形態においては、ラフテレーンクレーンついて説明を行うが、オールテレーンクレーン、トラッククレーン、高所作業車等の旋回台を介して起伏可能なブームが設けられた作業車両であればよい。

図１と図２とに示すように、クレーン１は、任意の場所に移動可能な移動式クレーンである。クレーン１は、車両２、クレーン装置６、撮影装置であるブームカメラ９ｂ、表示装置２１（図２参照）、入力装置２２、画像処理装置２３、制御装置２４（図２参照）を有する。

車両２は、クレーン装置６を搬送する走行体である。車両２は、複数の車輪３を有し、エンジン４を動力源として走行する。車両２には、アウトリガ５が設けられている。アウトリガ５は、車両２の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとから構成されている。

クレーン装置６は、荷物Ｗをワイヤロープによって吊り上げる作業装置である。クレーン装置６は、旋回台７、ブーム９、メインフックブロック１０、サブフックブロック１１、起伏用油圧シリンダ１２、メインウインチ１３、メインワイヤロープ１４、サブウインチ１５、サブワイヤロープ１６、キャビン２０およびクレーン装置用センサ１７等を具備する。

旋回台７は、クレーン装置６を旋回可能に構成する回転装置である。旋回台７は、円環状の軸受を介して車両２のフレーム上に設けられる。旋回台７は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台７には、アクチュエータである油圧式の旋回用油圧モータ８が設けられている。旋回台７は、旋回用油圧モータ８によって一方向と他方向とに旋回可能に構成されている。

ブーム９は、荷物Ｗを吊り上げ可能な状態にメインワイヤロープ１４およびサブワイヤロープ１６を支持する可動支柱である。ブーム９は、複数のブーム部材から構成されている。ブーム９は、ベースブーム部材の基端が旋回台７の略中央に揺動可能に設けられている。ブーム９は、各ブーム部材をアクチュエータである伸縮用油圧シリンダ９ａ（図２参照）で移動させることで軸方向に伸縮自在に構成されている。また、ブーム９には、撮影装置であるブームカメラ９ｂ、およびジブ９ｃが設けられている。ブームカメラ９ｂが撮影した画像は、表示装置２１に表示される。

メインフックブロック１０とサブフックブロック１１とは、荷物Ｗを吊るものである。メインフックブロック１０には、メインワイヤロープ１４が巻き掛けられる複数のフックシーブと、荷物Ｗを吊るメインフック１０ａとが設けられている。サブフックブロック１１には、荷物Ｗを吊るサブフック１１ａが設けられている。

起伏用油圧シリンダ１２は、ブーム９を起立および倒伏させ、ブーム９の姿勢を保持するアクチュエータである。起伏用油圧シリンダ１２は、シリンダ部の端部が旋回台７に起伏自在に連結され、ロッド部の端部がブーム９のベースブーム部材に揺動自在に連結されている。

メインウインチ１３とサブウインチ１５とは、メインワイヤロープ１４とサブワイヤロープ１６との繰り入れ（巻き上げ）および繰り出し（巻き下げ）を行うものである。メインウインチ１３は、メインワイヤロープ１４が巻きつけられるメインドラムがアクチュエータである図示しないメイン用油圧モータによって回転されるように構成されている。サブウインチ１５は、サブワイヤロープ１６が巻きつけられるサブドラムがアクチュエータである図示しないサブ用油圧モータによって回転されるように構成されている。

クレーン装置６には、旋回用油圧モータ８、伸縮用油圧シリンダ９ａ、起伏用油圧シリンダ１２、メインウインチ１３およびサブウインチ１５をそれぞれ制御するために必要な複数のクレーン装置用センサ１７を有している。複数のクレーン装置用センサ１７は、対応するアクチュエータまたは対応するアクチュエータの制御弁に設けられている。複数のクレーン装置用センサ１７は、各アクチュエータの作動量等を検出する。また、クレーン装置用センサ１７の検出値は、ブーム９の姿勢情報Ｉｐに含まれる。

キャビン２０は、操縦席を覆う筐体である。キャビン２０は、旋回台７に搭載されている。図示しない操縦席が設けられている。操縦席には、車両２を走行操作するための走行用操作具１８、クレーン装置６の旋回用油圧モータ８を操作する旋回用操作具、伸縮用油圧シリンダを操作する伸縮用操作具、起伏用油圧シリンダ１２を操作する起伏用操作具、メインウインチ１３を操作するメイン用操作具およびサブウインチ１５を操作するサブ用操作具を含むクレーン装置用操作具１９、表示装置２１、入力装置２２等が設けられている（図２参照）。

表示装置２１は、ブームカメラ９ｂが撮影した画像Ｐを表示する。表示装置２１は、画面上から入力可能なタッチパネル機能を有する液晶モニタ等から構成されている。表示装置２１は、クレーン１の操縦者が視認可能な位置に配置されている。表示装置２１は、画像Ｐをブームカメラ９ｂから取得可能に構成されている。表示装置２１には、ブームカメラ９ｂが撮影した画像Ｐ、ブームカメラ９ｂが撮影した画像Ｐに基づいて算出されたクレーン１に関する情報、およびクレーン装置用操作具１９の操作に関する情報が表示される（図４参照）。クレーン装置用操作具１９の操作に関する情報は、ブーム９の現在の姿勢におけるクレーン装置用操作具１９の操作位置である現在操作位置、ブーム９の先端を目標位置に移動させるためのクレーン装置用操作具１９の操作位置である目標操作位置に関する情報である。なお、クレーン装置用操作具１９の操作に関する情報は、クレーン装置用操作具１９の操作順に関する情報を含んでいてもよい。

入力装置２２は、ブーム９の先端の目標位置およびクレーン装置用操作具１９の操作信号を入力する。また、入力装置２２は、ブームカメラ９ｂの操作信号を入力する。本実施形態において、入力装置２２は、画面上から入力可能なタッチパネルで構成されている表示装置２１が入力装置２２を構成している。入力装置２２は、表示装置２１の画面上において画像Ｐが表示されている範囲の任意の位置をブーム９の先端の目標位置として入力することができる。つまり、入力装置２２である表示装置２１は、画面上において画像Ｐが表示されている範囲の任意の位置の座標を画像処理装置２３等に出力可能に構成されている。また、入力装置２２は、表示装置２１の画面上のクレーン装置用操作具１９の操作に関する情報が表示されている範囲の任意の位置をクレーン装置用操作具１９の目標操作位置として入力することができる。つまり、入力装置２２である表示装置２１は、クレーン装置用操作具１９を操作可能に構成されている。

画像処理装置２３は、ブームカメラ９ｂが撮影した画像Ｐ（図４参照）を処理する。画像処理装置２３は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。本実施形態において、画像処理装置２３は、表示装置２１に設けられている。画像処理装置２３は、表示装置２１、入力装置２２等の動作を制御したり画像データを処理したりするために種々のプログラムおよびデータが格納されている。画像処理装置２３は、制御装置２４に接続されている。つまり、画像処理装置２３は、電気的に制御装置２４に含まれるものとする。なお、画像処理装置２３は、制御装置２４と一体に構成されていてもよい。

図３に示すように、画像処理装置２３は、表示装置２１に接続されている。画像処理装置２３は、入力装置２２である表示装置２１において表示画面から入力された目標位置の位置を、前記表示画面における所定の位置を原点とする直交座標系である前記表示画面の座標系（以下、単に「表示画面の座標系」と記す）における目標座標Ｔとして取得することができる。更に、画像処理装置２３は、表示画面に表示されているクレーン装置用操作具１９（図２参照）の現在の操作位置を表示画面の座標系における現在操作位置座標Ｐａとして取得することができる。画像処理装置２３は、制御装置２４からクレーン装置用操作具１９の現在の操作位置に対応する現在操作信号Ｓａを取得することができる。更に、画像処理装置２３は、ブーム９（図１参照）の先端を目標位置に所定の移動経路Ｒ（図４参照）で移動させるために必要なクレーン装置用操作具１９の目標の操作位置に対応する目標操作信号Ｓｂを取得することができる。画像処理装置２３は、制御装置２４からブーム９の起伏角度、ブーム９の伸縮長さ、ブーム９の旋回角度およびブーム９の形状寸法等を含むブーム９の姿勢情報Ｉｐを取得することができる。画像処理装置２３は、表示装置２１からブームカメラ９ｂの操作信号を取得することができる。

画像処理装置２３は、取得した表示画面の座標系におけるクレーン装置用操作具１９（図２参照）の現在操作位置座標Ｐａに基づいてクレーン装置用操作具１９の現在操作信号Ｓａを生成することができる。画像処理装置２３は、取得したクレーン装置用操作具１９の現在操作信号Ｓａに基づいて表示画面の座標系におけるクレーン装置用操作具１９の現在操作位置座標Ｐａを算出することができる。同様に、画像処理装置２３は、取得したクレーン装置用操作具１９の目標操作信号Ｓｂに基づいて表示画面の座標系におけるクレーン装置用操作具１９の目標操作位置座標Ｐｂを算出することができる。画像処理装置２３は、取得したブームカメラ９ｂの操作信号に基づいてブームカメラ９ｂの制御信号を生成することができる。

画像処理装置２３は、生成したクレーン装置用操作具１９（図２参照）の現在操作信号Ｓａを制御装置２４に送信することができる。画像処理装置２３は、算出した表示画面の座標系におけるクレーン装置用操作具１９の現在操作位置座標Ｐａ、目標操作位置座標Ｐｂにクレーン装置用操作具１９を示す図形またはクレーン装置用操作具１９の操作位置を示す図形を表示することができる。つまり、画像処理装置２３は、表示装置２１にクレーン装置用操作具１９の操作に関する情報であるクレーン装置用操作具１９の現在の操作位置、クレーン装置用操作具１９の目標の操作位置を表示することができる。画像処理装置２３は、生成したブームカメラ９ｂの操作信号をブームカメラ９ｂに送信することができる。なお、画像処理装置２３は、表示装置２１にクレーン装置用操作具１９の操作順を表示するように構成されていてもよい。

図３に示すように、画像処理装置２３は、ブームカメラ９ｂが撮影した画像Ｐにおける単位長さと撮影距離毎の対応する部分の実際の長さとの比率等の情報を含む画角情報Ｉｉを有している。画像処理装置２３は、ブームカメラ９ｂの画角情報Ｉｉとブーム９の姿勢情報Ｉｐとからクレーン１の旋回中心を基準とするクレーン座標系におけるブーム９の変換先端座標Ｂｃ、ブーム９の変換旋回中心座標Ｃｃおよびブーム９の先端の変換目標座標Ｔｃを算出することができる。

画像処理装置２３は、ブームカメラ９ｂがブーム９（図１参照）の先端に設けられていることから、画像Ｐの中心位置をブーム９の先端位置として表示画面の座標系におけるブーム９の先端座標Ｂを算出する。次に、画像処理装置２３は、ブーム９の姿勢情報Ｉｐに基づいて、クレーン１の設置面を基準とするブームカメラ９ｂの高さを算出する。画像処理装置２３は、ブームカメラ９ｂの画角情報Ｉｉとブームカメラ９ｂの高さとブーム９の姿勢情報Ｉｐとから、表示画面の座標系におけるブーム９の旋回中心座標Ｃを算出する。画像処理装置２３は、算出した先端座標Ｂおよび旋回中心座標Ｃの位置を表示装置２１（図２参照）に表示されている画像Ｐに重畳表示させる。なお、旋回中心座標Ｃは、画像Ｐの範囲に含まれていない場合、画像Ｐに表示されない。

画像処理装置２３は、ブームカメラ９ｂの高さおよびブームカメラ９ｂの画角情報Ｉｉから表示画面の座標系におけるブーム９の先端座標Ｂおよびブーム９の旋回中心座標Ｃをブーム９の旋回中心を原点とするクレーン座標系における変換先端座標Ｂｃおよび変換旋回中心座標Ｃｃに変換する。

また、画像処理装置２３は、表示装置２１から入力された目標位置の表示画面の座標系における目標座標Ｔを取得する。更に、画像処理装置２３は、画像Ｐに重畳表示した先端座標Ｂから目標座標Ｔまでの所定の移動経路Ｒ（図４参照）を画像Ｐに重畳表示する。画像処理装置２３は、ブームカメラ９ｂの高さおよびブームカメラ９ｂの画角情報Ｉｉから目標座標Ｔをクレーン座標系の座標である変換目標座標Ｔｃに変換する。画像処理装置２３は、変換先端座標Ｂｃ、変換旋回中心座標Ｃｃおよび変換目標座標Ｔｃを制御装置２４に送信する。

画像処理装置２３は、制御装置２４から取得したクレーン装置用操作具１９の現在操作信号Ｓａ、目標操作信号Ｓｂに基づいて、表示画面の座標系におけるクレーン装置用操作具１９の現在操作位置座標Ｐａ、目標操作位置座標Ｐｂを算出する。画像処理装置２３は、算出した表示画面の座標系におけるクレーン装置用操作具１９の現在操作位置座標Ｐａにクレーン装置用操作具１９を示す図形を表示する。同様に、画像処理装置２３は、算出した表示画面の座標系におけるクレーン装置用操作具１９の目標操作位置座標Ｐｂにクレーン装置用操作具１９を示す図形を表示する。つまり、画像処理装置２３は、ブーム９の先端を現在位置から所定の移動経路Ｒで目標位置に移動させるためのクレーン装置用操作具１９の操作量、操作方向および移動順を表示する。

図２と図３とに示すように、制御装置２４は、クレーン１の各アクチュエータを制御する。制御装置２４は、キャビン２０内に設けられている。制御装置２４は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。制御装置２４は、アクチュエータ、切換え弁、クレーン装置用センサ１７等の動作を制御したり画像データを処理したりするために種々のプログラムおよびデータが格納されている。制御装置２４には、画像処理装置２３が含まれている。

制御装置２４は、走行用操作具１８およびクレーン装置用操作具１９に接続されている。制御装置２４は、走行用操作具１８、クレーン装置用操作具１９のそれぞれの操作信号を取得することができる。制御装置２４は、走行用操作具１８の操作により生成される操作信号に基づいて、車両２の制御信号を生成する。同様に、制御装置２４は、クレーン装置用操作具１９の操作により生成される操作信号に基づいて、クレーン装置６の制御信号を生成する。制御装置２４は、生成した制御信号をクレーン装置６の各アクチュエータに送信することができる。制御装置２４は、クレーン装置用センサ１７に接続されている。制御装置２４は、クレーン装置用センサ１７の検出値に基づいて各アクチュエータを制御することができる。また、制御装置２４は、クレーン装置用センサ１７によってブーム９の姿勢情報Ｉｐを取得することができる。

制御装置２４は、画像処理装置２３に有線または無線で接続されている。制御装置２４は、画像処理装置２３にブーム９の姿勢情報Ｉｐを送信することができる。制御装置２４は、画像処理装置２３からクレーン座標系におけるブーム９の先端の座標である変換先端座標Ｂｃ、ブーム９の旋回中心の座標である変換旋回中心座標Ｃｃおよびブーム９の先端の変換目標座標Ｔｃを取得することができる。

制御装置２４は、取得した変換先端座標Ｂｃと変換目標座標Ｔｃから、現在のブーム９の姿勢におけるクレーン装置用操作具１９の現在操作信号Ｓａおよびブーム９の先端が所定の速度で所定の移動経路Ｒに沿って変換目標座標Ｔｃに到達するためのクレーン装置用操作具１９の目標操作信号Ｓｂを生成することができる。制御装置２４は、生成したクレーン装置用操作具１９の現在操作信号Ｓａ、目標操作信号Ｓｂを画像処理装置２３に送信することができる。つまり、制御装置２４は、荷物Ｗを所定の速度で所定の移動経路Ｒに沿って移動させるためのクレーン装置用操作具１９の操作量および操作方向を算出することができる。なお、本実施形態において、所定の移動経路Ｒは、変換先端座標Ｂｃから変換目標座標Ｔｃまでを直線で結んだ経路とする（図４参照）。また、制御装置２４は、クレーン装置用操作具１９の各操作具の操作順を算出するように構成されていてもよい。

このように構成されるクレーン１は、走行用操作具１８の操作によって車両２を任意の位置に移動させることができる。また、クレーン１は、クレーン装置用操作具１９の操作によって、ブーム９を旋回、起伏、伸縮させることで荷物Ｗを任意の位置に搬送することができる。また、クレーン１は、クレーン装置用操作具１９の操作によって、メインウインチ１３等で荷物Ｗを吊り上げたり吊り下げたりすることができる。一方、クレーン１は、ブーム９の先端が画像Ｐに基づいて設定された目標位置に所定の移動経路Ｒに沿って移動するためのクレーン装置用操作具１９の操作信号を生成することができる。

なお、入力装置２２、表示装置２１および画像処理装置２３は、キャビン２０から着脱可能な遠隔操作端末として構成されていてもよい。遠隔操作端末は、通信装置等をさらに備え、画像処理装置２３と制御装置２４との間で通信可能に構成されている。これにより、クレーン１は、キャビン２０から離隔した位置からブーム９を操作することができる。

以下に、図３から図５を用いて、画像処理装置２３および制御装置２４による画像処理について説明する。なお、ブームカメラ９ｂが撮影する画像Ｐには、クレーン１の周囲の作業現場が含まれている。クレーン１は、荷物Ｗをサブウインチ１５によって所定の高さまで吊り上げた状態であるものとする。

図４と図５とに示すように、表示装置２１（図３参照）には、ブームカメラ９ｂが撮影した画像Ｐが表示される画像表示エリアと、旋回用油圧モータ８を操作する旋回用操作具、伸縮用油圧シリンダを操作する伸縮用操作具、起伏用油圧シリンダ１２を操作する起伏用操作具、メインウインチ１３を操作するメイン用操作具およびサブウインチ１５を操作するサブ用操作具の各操作位置を表示する操作具表示エリアと、を有する。

操作具表示エリアには、クレーン装置用操作具１９毎の可動範囲と、クレーン装置用操作具１９を構成する旋回用操作具の現在操作位置Ｐ１ａ、伸縮用操作具の現在操作位置Ｐ２ａ、起伏用操作具の現在操作位置Ｐ３ａ、メイン用操作具の現在操作位置Ｐ４ａおよびサブ用操作具の現在操作位置Ｐ５ａを示す図形（黒塗丸印参照）が表示されている。また、操作具表示エリアには、ブーム９の先端を目標位置まで移動させるための旋回用操作具の目標操作位置Ｐ１ｂ、伸縮用操作具の目標操作位置Ｐ２ｂ、起伏用操作具の目標操作位置Ｐ３ｂ、メイン用操作具の目標操作位置Ｐ４ｂおよびサブ用操作具の目標操作位置Ｐ５ｂを図形（二点鎖線丸印参照）で表示することができる。

図３に示すように、画像処理装置２３は、ブームカメラ９ｂが撮影したクレーン１のブーム９の先端からの画像Ｐを単位時間毎に取得する。合わせて、画像処理装置２３は、制御装置２４からブーム９の姿勢情報Ｉｐを単位時間毎に取得する。画像処理装置２３は、取得した画像Ｐ（図４、図５参照）を表示装置２１の画像表示エリアに表示させる。操縦者は、ブーム９の先端の目標位置を画像Ｐ上から入力する。画像処理装置２３は、入力された目標位置の表示画面の座標系における目標座標Ｔを算出する。

画像処理装置２３は、画像Ｐの中心位置をブーム９の先端位置として表示画面の座標系におけるブーム９の先端座標Ｂを算出する。次に、画像処理装置２３は、表示画面の座標系におけるブーム９の旋回中心座標Ｃを算出する。図４と図５に示すように画像処理装置２３は、算出した先端座標Ｂ、旋回中心座標Ｃおよび目標座標Ｔの位置を画像Ｐに重畳表示させる。さらに、画像処理装置２３は、画像Ｐに重畳表示した先端座標Ｂから目標座標Ｔまでの所定の移動経路Ｒを画像Ｐに重畳表示する。なお、本実施形態に置いて、画像Ｐには、旋回中心座標Ｃが含まれていない。従って、旋回中心座標Ｃは、画像Ｐに表示されていない。

図３に示すように、画像処理装置２３は、ブームカメラ９ｂの高さおよびブームカメラ９ｂの画角情報Ｉｉからクレーン座標系における変換先端座標Ｂｃ、変換旋回中心座標Ｃｃおよび変換目標座標Ｔｃを算出する。画像処理装置２３は、変換旋回中心座標Ｃｃ、変換目標座標Ｔｃおよび変換目標座標Ｔｃを制御装置２４に送信する。なお、本実施形態においてクレーン座標系は、直交座標としているが極座標でもよい。

制御装置２４は、変換旋回中心座標Ｃｃと変換先端座標Ｂｃとに基づいて、ブーム９の先端を所定の移動経路Ｒで変換目標座標Ｔｃに移動させるためのクレーン装置用操作具１９の目標操作信号Ｓｂを生成する。制御装置２４は、生成したクレーン装置用操作具１９の目標操作信号Ｓｂを画像処理装置２３に送信する。画像処理装置２３は、制御装置２４から取得したクレーン装置用操作具１９の目標操作信号Ｓｂに基づいて、表示画面の座標系におけるクレーン装置用操作具１９の目標操作位置座標Ｐｂを算出する。

画像処理装置２３は、操作具表示エリアにおける旋回用操作具の目標操作位置Ｐ１ｂ、伸縮用操作具の目標操作位置Ｐ２ｂ、起伏用操作具の目標操作位置Ｐ３ｂ、メイン用操作具の目標操作位置Ｐ４ｂおよびサブ用操作具の目標操作位置Ｐ５ｂを示す図形を表示する。

なお、画像処理装置２３は、旋回用操作具、伸縮用操作具、起伏用操作具、メイン用操作具およびサブ用操作具の操作順を表示してもよい。例えば、画像処理装置２３は、各操作具の操作具表示エリアに各操作具の操作順を（１）（２）、（３）・・の様に数字で表示している。画像処理装置２３は、複数の操作具を同時に操作する場合、同時に操作する操作具に同一の操作順を示すように表示する。本実施形態において、画像処理装置２３は、同時に操作する伸縮用操作具とメイン用操作具とに同じ操作順「（２）」を表示している。

このように構成することで、クレーン１は、画像Ｐで周囲の状況を確認しながらブーム９の目標位置を設定することができる。またクレーン１は、ブーム９の先端を目標位置に移動させるために必要なクレーン装置用操作具１９の操作量、操作方向を視覚的に認識することができる。また、クレーン１は、クレーン装置用操作具１９の操作順を表示することで、各操作具の操作量、操作方向に加えて操作順を視覚的に認識することができる。

図５に示すように、制御装置２４は、クレーン装置用操作具１９に含まれるクレーン装置用操作具１９が操作されると操作具毎に現在操作信号Ｓａを取得する。制御装置２４は、取得した現在操作信号Ｓａを画像処理装置２３に送信する。画像処理装置２３は、制御装置２４から取得したクレーン装置用操作具１９の現在操作信号Ｓａに基づいて、表示画面の座標系におけるクレーン装置用操作具１９の現在操作位置座標Ｐａを算出する。画像処理装置２３は、算出したクレーン装置用操作具１９の現在操作位置座標Ｐａを操作後のクレーン装置用操作具１９の新たな現在操作位置座標Ｐａとして、現在操作位置座標Ｐａにクレーン装置用操作具１９を示す図形を表示する。

このように構成することで、クレーン１は、クレーン装置用操作具１９の操作に伴って、表示装置２１に表示されているクレーン装置用操作具１９を示す図形が移動する。これにより、クレーン１の操縦者は、クレーン１の周辺の状況およびクレーン装置用操作具１９の目標操作位置に対する現在操作位置の差異を確認しながらクレーン装置用操作具１９を操作することができる。

画像処理装置２３は、操作具表示エリアに表示されている旋回用操作具の現在操作位置Ｐ１ａ、伸縮用操作具の現在操作位置Ｐ２ａ、起伏用操作具の現在操作位置Ｐ３ａ、メイン用操作具の現在操作位置Ｐ４ａおよびサブ用操作具の現在操作位置Ｐ５ａを示す図形のうち少なくとも一つが移動されると、移動された図形の表示画面の座標系における座標を対応する操作具の現在操作位置座標Ｐａとして現在操作信号Ｓａを生成する。画像処理装置２３は、生成した現在操作信号Ｓａを制御装置２４に送信する。制御装置２４は、取得した現在操作信号Ｓａに基づいて対応するアクチュエータに制御信号を送信する。

このように構成することで、クレーン１は、表示装置２１の画面上の図形の移動に伴ってブーム９の先端が移動する。クレーン１は、表示装置２１の画面上で伸縮用操作具の現在操作位置Ｐ１ａを示す図形、伸縮用操作具の現在操作位置Ｐ２ａを示す図形、起伏用操作具の現在操作位置Ｐ３ａを示す図形、メイン用操作具の現在操作位置Ｐ４ａを示す図形およびサブ用操作具の現在操作位置Ｐ５ａを示す図形を目標操作位置座標Ｐｂまで移動させることで、クレーン１の周辺の状況を確認しながらブーム９の先端を所定の移動経路Ｒで目標位置まで移動させることができる。

従って、クレーン１の操縦者は、表示装置２１に表示されている画像Ｐ上でクレーン１の周囲の状況をリアルタイムで確認しながらブーム９の先端の目標位置を画像Ｐ上で設定することができる。また、画像処理装置２３は、ブーム９の先端に設けられたブームカメラ９ｂによって撮影された画像Ｐの中心位置をブーム９の先端位置として、クレーン座標系における変換先端座標Ｂｃ、変換旋回中心座標Ｃｃおよび変換目標座標Ｔｃを算出する。さらに、画像処理装置２３は、ブーム９の先端が目標位置に直線の移動経路Ｒで到達するように各アクチュエータを操作するクレーン装置用操作具１９の現在操作位置および目標操作位置を表示する。前記操縦者は、クレーン１によって作業現場の状況をリアルタイムで把握しつつ、クレーン装置用操作具１９の操作に関する情報に基づく容易な操作でブーム９の先端を目標位置まで移動させることができる。従って、前記クレーン１は、習熟度の低い操縦者であっても移動速度の異なる前記アクチュエータが割り当てられた各操作具の操作量を視覚的に把握することができる。なお、画像処理装置２３は、クレーン装置用操作具１９の操作順を表示するように構成されていてもよい。これにより、クレーン１は、操縦者の熟練度に関係なく、ブーム９の先端を直線の移動経路Ｒに沿って移動させることができる。

次に、図６から図８を用いて、本発明の第２実施形態に係るクレーン１Ａについて説明する。なお、以下の実施形態に係るクレーン１Ａは、図１から図５に示すクレーン１が適用されるものとして、その説明で用いた名称、図番、符号を用いることで、同じものを指す。よって、以下の実施形態において、既に説明した実施形態と同様の点に関してはその具体的説明を省略し、相違する部分を中心に説明する。

図６に示すように、クレーン１Ａは、撮影装置２５、遠隔操作端末２８（図７参照）、画像処理装置３０（図７参照）を有する。撮影装置２５は、クレーン１Ａおよび作業現場におけるクレーン１Ａの周囲を撮影する。撮影装置２５は、無人飛行体２６、カメラ２７を備える。

無人飛行体２６は、制御信号によって遠隔操作および自立飛行可能な自立型無人飛行体（ドローン）である。無人飛行体２６は、例えば、複数のプロペラを有するマルチコプターである。無人飛行体２６は、遠隔操作端末２８の制御信号等を送受信可能に構成されている。これにより、無人飛行体２６は、遠隔操作端末２８によって任意の位置に移動可能に構成されている。なお、無人飛行体２６は、クレーン１Ａのブーム９等に取り付けられたビーコン、画像処理装置３０が検出したブーム９の画像、ブーム９に設けられたＡＲタグ等を追従するように構成されていてもよい。

カメラ２７は、無人飛行体２６に設けられている。カメラ２７は、無人飛行体２６の鉛直下方を撮影するように構成されている。カメラ２７は、遠隔操作端末２８からの制御信号等を取得可能に構成されている。また、カメラ２７は、撮影した画像データを画像処理装置３０に送信可能に構成されている。これにより、カメラ２７は、遠隔操作端末２８によって、撮影の開始、停止、撮影方向の決定、ズーム等の操作を行うことができる。

遠隔操作端末２８は、無人飛行体２６およびカメラ２７の操作を行う操作端末である。遠隔操作端末２８は、キャビン２０に配置されている。遠隔操作端末２８は、携帯可能な筐体に無人飛行体２６の操作具およびカメラ２７の操作具が設けられている。つまり、遠隔操作端末２８は、キャビン２０の外部に持ち運び可能な携帯操作端末として構成されている。遠隔操作端末２８は、操作具の操作によって無人飛行体２６をクレーン１Ａの上方に配置し、任意の位置でホバリングさせることができる。遠隔操作端末２８は、無人飛行体２６およびカメラ２７に制御信号を送受信可能に構成されている。また、遠隔操作端末２８は、クレーン１Ａの制御装置２４に入力信号、操作信号等を送受信可能に構成されている。遠隔操作端末２８には、表示装置２１が設けられている。表示装置２１は、遠隔操作端末２８と別に独立してキャビン２０に配置されていてもよい。

図７に示すように、通信機２９は、画像データ、制御信号を送受信するものである。通信機２９は、遠隔操作端末２８に設けられている。通信機２９は、画像処理装置３０との間で撮影装置２５の無人飛行体２６およびカメラ２７の制御信号を送受信することができる。また、通信機２９は、カメラ２７が撮影した画像Ｐを画像処理装置３０に送信することができる。通信機２９は、無人飛行体２６およびカメラ２７のとの間で制御信号を送受信することができる。通信機２９は、カメラ２７が撮影した画像Ｐを受信することができる。

画像処理装置３０は、遠隔操作端末２８に設けられている。画像処理装置３０は、表示装置２１に接続されている。画像処理装置３０は、表示装置２１から無人飛行体２６およびカメラ２７の操作信号を取得することができる。画像処理装置３０は、表示装置２１から入力された無人飛行体２６の操作信号に基づいて無人飛行体２６の制御信号を生成する。同様に、画像処理装置３０は、表示装置２１から入力されたカメラ２７の操作信号に基づいてカメラ２７の制御信号を生成する。画像処理装置３０は、通信機２９に接続されている。画像処理装置３０は、生成した制御信号を、通信機２９を介して無人飛行体２６またはカメラ２７に送信する。

画像処理装置３０は、予め保持している学習モデルに基づいて、カメラ２７が撮影した画像Ｐからブーム９の先端部を検出する。画像処理装置３０は、本実施形態において、画像Ｐのカラーヒストグラムによるベクトル化、オートエンコーダによるベクトル化および局所特徴量によるベクトル化等を併用してそれぞれのベクトル化による特徴量の算出を行う。カラーヒストグラムによるベクトル化は、色の強度と出現頻度を特徴量としてベクトル化する手法である。オートエンコーダによるベクトル化は、オートエンコーダの中間層を、画像Ｐを代表する特徴量とする手法である。オートエンコーダは、３層ニューラルネットにおいて、入力層と出力層に同じデータを用いて教師あり学習をさせたものである。局所特徴量によるベクトル化は、ＫＡＺＥ局所特徴量を用いて画像Ｐをベクトル化する手法である。

画像処理装置３０は、画像Ｐのカラーヒストグラムによるベクトル化、オートエンコーダによるベクトル化および局所特徴量によるベクトル化により、３つの特徴量を算出する。なお、特徴量としては、画像Ｐに含まれる輝度値、エッジのヒストグラム、色とエッジの相関関数等でもよい。また、画像処理装置３０は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）等の画像Ｐの局所特徴量を算出するようにしてもよい。

次に、図８を用いて、クレーン１Ａの画像処理装置３０におけるブーム９の先端部分とブーム９の延伸方向との検出について説明する。画像処理装置３０は、基準画像保持部３０ａ、判定画像検出部３０ｂ、姿勢判定部３０ｃを有している。画像処理装置３０は、ブーム９の先端の所定範囲を教師あり学習させた学習モデルを有している。画像処理装置３０は、カメラ２７が撮影した画像Ｐの３つの特徴量からブーム９の先端部分とブーム９の延伸方向とを検出することができる。

図８に示すように、基準画像保持部３０ａは、画像処理装置３０の一部であり、ブーム９の先端部分の基準画像Ｉｓを予め保持している。基準画像Ｉｓは、ブーム９の先端部分を判定するための基準となる画像である。基準画像Ｉｓは、任意に定めた基準姿勢でのブーム９の先端部分の画像の少なくとも一部の画像から構成される。つまり、基準画像Ｉｓは、ブーム９の先端部分の基準姿勢を示す画像である。本実施形態において、基準姿勢は、所定の姿勢におけるブーム９とする。つまり、基準画像Ｉｓは、所定の起伏角度、伸縮長さおよび所定の旋回角度におけるブーム９の先端部分を所定距離だけ離隔した上方から所定の姿勢の撮影装置２５で撮影した画像の少なくとも一部から構成されている。

判定画像検出部３０ｂは、画像処理装置３０の一部であり、現在の画像Ｐから基準画像Ｉｓに該当する部分の画像を判定画像Ｉｊとして検出する。判定画像Ｉｊは、ブーム９の先端部分の基準姿勢に対する現在の画像Ｐにおけるブーム９の先端部分の画像である。つまり、判定画像Ｉｊは、現在の画像Ｐにおけるブーム９の先端部分の基準画像Ｉｓに対する相対的な姿勢を算出するための画像である。判定画像Ｉｊは、現在の画像Ｐにおけるブーム９の先端部分の少なくとも一部の画像から構成される。

判定画像検出部３０ｂは、選択した基準画像Ｉｓの特徴点を算出することができる。さらに、判定画像検出部３０ｂは、現在の画像Ｐから特徴点を算出することができる。判定画像検出部３０ｂは、基準画像Ｉｓの特徴点と現在の画像Ｐの特徴点とを比較し、現在の画像Ｐから基準画像Ｉｓに該当する部分を判定画像Ｉｊとして検出することができる。

姿勢判定部３０ｃは、画像処理装置３０の一部であり、現在のブーム９の延伸方向の方位Ｄを判定する。姿勢判定部３０ｃは、基準画像Ｉｓと判定画像Ｉｊとの比較から基準画像Ｉｓに対する判定画像Ｉｊの形状、向きおよび傾きを算出可能に構成されている。姿勢判定部３０ｃは、表示画面の座標系における基準画像Ｉｓの各部の座標と、表示画面の座標系における判定画像Ｉｊの各部の座標とから、ブーム９の先端部分の基準姿勢に対する現在の表示画面の座標系におけるブーム９の先端座標Ｂとブーム９の延伸方向の方位Ｄを算出することができる。

画像処理装置３０は、検出したブーム９の先端部分の画像Ｐにおける大きさ、ブーム９の延伸方向、ブーム９の起伏角度、ブーム９の伸縮長さ、ブーム９の旋回角度およびブーム９の形状寸法等のブーム９の姿勢情報Ｉｐとから、表示画面の座標系におけるブーム９の旋回中心の座標である旋回中心座標Ｃとを算出することができる。画像処理装置３０は、算出した先端座標Ｂ、旋回中心座標Ｃ、ブーム９の方位Ｄを表示装置２１に表示されている画像Ｐに重畳表示させる。

画像処理装置３０は、表示画面の座標系におけるブーム９の先端座標Ｂ、ブーム９の旋回中心座標Ｃおよびブーム９の姿勢情報Ｉｐから、表示画面の座標系をブーム９の旋回中心を原点とするクレーン座標系に変換することができる。画像処理装置３０は、表示画面の座標系における先端座標Ｂおよび旋回中心座標Ｃをクレーン座標系における変換先端座標Ｂｃおよび変換旋回中心座標Ｃｃに変換する。画像処理装置３０は、変換先端座標Ｂｃ、変換旋回中心座標Ｃｃおよび変換目標座標Ｔｃを制御装置２４に送信する。

クレーン１Ａは、画像処理装置３０によって画像処理を行う場合、撮影装置２５の無人飛行体２６を搬送開始前のブーム９の先端の上方でホバリングさせる（図６参照）。無人飛行体２６は、ブーム９が移動してもブーム９が移動する前のホバリング位置を維持する。この際、画像処理装置３０は、自動的に検出、または操縦者によって指定された建造物等の目標物の画面上の位置が変動しないように揺れ補正を行っているものとする。

画像処理装置３０は、通信機２９を介してカメラ２７が撮影したクレーン１Ａの上方からの画像Ｐと撮影装置２５の位置、姿勢等に関する情報とを単位時間毎に取得する（図４参照）。合わせて、画像処理装置３０は、制御装置２４からブーム９の姿勢情報Ｉｐを単位時間毎に取得する。画像処理装置３０は、取得した画像Ｐを表示装置２１に表示させる。

画像処理装置３０は、カメラ２７が撮影した最新の画像Ｐからブーム９の先端部の画像である判定画像Ｉｊを検出する。画像処理装置３０には、様々なクレーン１Ａのブーム９先端部分の画像からＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて検出されたブーム９の先端部分の画像である基準画像Ｉｓが予め格納されている（図４参照）。

画像処理装置３０は、基準画像Ｉｓに基づいてＣＮＮを用いた画像分類により、最新の画像Ｐからブーム９の先端部の画像である判定画像Ｉｊを検出する。画像処理装置３０は、検出した判定画像Ｉｊとブーム９の姿勢情報Ｉｐとから判定画像Ｉｊにおけるブーム９の軸線の方位Ｄと、前記軸線上のブーム９の先端の位置を表示画面の座標系で示した先端座標Ｂと、ブーム９の旋回中心を表示画面の座標系で示した旋回中心座標Ｃを算出する。

具体的には、画像処理装置３０は、ブーム９の姿勢情報Ｉｐであるブーム９先端の幅、ブーム９の起伏角度およびブーム９の伸縮長さから、ブーム９を上方から撮影した表示画面の座標系におけるブーム９の先端から基端までの長さを算出する。画像処理装置３０は、算出した先端座標Ｂと軸線の方位Ｄとブーム９の先端から基端までの長さから旋回中心座標Ｃを算出する。これにより、画像処理装置３０は、先端座標Ｂ、旋回中心座標Ｃ、軸線の方位Ｄおよびブーム９の姿勢情報Ｉｐとから、表示画面の座標系を、ブーム９の旋回中心を原点とするクレーン座標系に変換することができる。画像処理装置３０は、表示画面の座標系における先端座標Ｂおよび旋回中心座標Ｃをクレーン座標系における変換先端座標Ｂｃおよび変換旋回中心座標Ｃｃに変換する。なお、本実施形態においてクレーン座標系は、直交座標としているが、極座標でもよい。

操縦者は、ブーム９の先端の目標位置を画像Ｐ上に入力する。操縦者は、画像Ｐに表示されているクレーン１Ａのブーム９と、荷物Ｗの吊り上げ位置および荷物Ｗの設置位置との状況をクレーン１Ａの上方から確認しながら目標位置を設定する。これにより、操縦者は、作業現場内の建造物の配置を踏まえて障害物を避けた搬送経路を直感的に設定することができる。

このように構成することで、画像処理装置３０は、カメラ２７が撮影したクレーン１Ａおよびクレーン１Ａの周囲を含む画像Ｐにおいて、予め取得しているブーム９の先端部の画像Ｐとの比較等により、クレーン１Ａの旋回中心座標Ｃとブーム９の先端座標Ｂとを自動的に算出する。制御装置２４は、画像処理装置３０によってブーム９の旋回中心座標Ｃと先端座標Ｂとを算出することにより、表示画面の座標系をクレーン１Ａの旋回中心を基準とするクレーン座標系に変換することができる。

なお、上述の実施形態において、画像Ｐには、ＡＲマーカが含まれていてもよい。画像処理装置３０は、画像Ｐに含まれるブーム９の形状からブーム９の先端座標Ｂ、旋回中心座標Ｃ等を算出している。しかしながら、ブーム９の一部に設けられているＡＲマーカの画像が画像Ｐに含まれている場合、画像処理装置３０は、画像Ｐ内のＡＲマーカの位置からブーム９の先端座標Ｂおよび旋回中心座標Ｃを算出することができる。また、画像処理装置３０は、ＡＲマーカのヨー角から旋回中心座標Ｃを算出することができる。また、画像処理装置３０は、ＡＲマーカのロール角およびピッチ角から起伏角度を算出することができる。

次に、図９と図１０とを用いて、本発明の第３実施形態に係るクレーン１Ｂについて説明する。なお、以下の実施形態に係るクレーン１Ｂは、図１から図８に示すクレーン１、Ａ１が適用されるものとして、その説明で用いた名称、図番、符号を用いることで、同じものを指す。

図９に示すように、クレーン１Ｂは、任意の場所に移動可能な移動式クレーンである。クレーン１Ｂは、車両２、クレーン装置６、撮影装置２５、表示装置２１、第１ＧＮＳＳ受信機３１、方位センサ３２、第２ＧＮＳＳ受信機３３、通信機３４、画像処理装置３０、制御装置２４を有する。

第１ＧＮＳＳ受信機３１は、全球測位衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）を構成する受信機である。第１ＧＮＳＳ受信機３１は、衛星から測距電波を受信し、受信機の絶対座標である緯度、経度、標高を算出するものである。第１ＧＮＳＳ受信機３１は、ブーム９の旋回中心に設けられている。クレーン１Ｂは、第１ＧＮＳＳ受信機３１によって、ブーム９の旋回中心の絶対座標を取得することができる。なお、本実施形態において、第１ＧＮＳＳ受信機３１は、ブーム９の旋回中心の絶対座標を検出しているが、ブーム９の姿勢を特定することができる位置であればよい。例えば、第１ＧＮＳＳ受信機３１は、ブーム９の先端の絶対座標を検出する構成でもよい。

方位センサ３２は、方位を検出するものである。方位センサ３２は、ＭＲセンサ、ＭＩセンサ等の地磁気センサ、２つのアンテナを有するＧＮＳＳ受信機等から構成される。方位センサ３２は、ブーム９の延伸方向の方位を検出する。方位センサ３２は、ブーム９の旋回中心またはブーム９の先端に設けられている。方位センサ３２は、第１ＧＮＳＳ受信機３１が兼用する構成でもよい。

第２ＧＮＳＳ受信機３３は、全球測位衛星システムを構成する受信機である。第２ＧＮＳＳ受信機３３は、衛星から測距電波を受信し、受信機の絶対座標である緯度、経度、標高を算出するものである。第２ＧＮＳＳ受信機３３は、撮影装置２５の無人飛行体２６に設けられている。クレーン１Ｂは、第２ＧＮＳＳ受信機３３によって、無人飛行体２６に設けられているカメラ２７の絶対座標を取得することができる。

通信機３４は、第１ＧＮＳＳ受信機３１が算出した絶対座標を受信することができる。通信機３４は、第２ＧＮＳＳ受信機３３が算出した絶対座標を受信することができる。

図１０に示すように、画像処理装置３０は、カメラ２７が撮影した画像Ｐを処理する。画像処理装置３０は、第１ＧＮＳＳ受信機３１が受信した旋回中心の絶対座標である絶対旋回中心座標Ｃａと、方位センサ３２が算出したブーム９の延伸方向の方位Ｄと、第２ＧＮＳＳ受信機３３が受信したカメラ２７の絶対座標である絶対カメラ座標Ｉａと、ブーム９の姿勢情報Ｉｐとから表示画面の座標系を絶対座標系に変換することができる。画像処理装置３０は、ブーム９の先端の絶対座標である絶対先端座標Ｂａを算出することができる。また、画像処理装置３０は、変換式を用いて表示装置２１に入力されたブーム９の先端の目標座標Ｔから絶対目標座標Ｔａを算出することができる。画像処理装置３０は、算出した絶対目標座標Ｔａを、制御装置２４に送信する。

クレーン１Ｂは、画像処理装置３０によって画像処理を行う場合、撮影装置２５の無人飛行体２６を搬送開始前のブーム９の先端の上方でホバリングさせる（図６参照）。無人飛行体２６は、ブーム９が移動してもブーム９が移動する前のホバリング位置を維持する。この際、画像処理装置３０は、自動的に検出、または操縦者によって指定された建造物等の目標物の画面上の位置が変動しないように揺れ補正を行っているものとする。

クレーン１Ｂの画像処理装置３０は、通信機３４を介してカメラ２７が撮影したクレーン１Ｂの上方からの画像Ｐを単位時間毎に取得する。合わせて、画像処理装置３０は、制御装置２４からブーム９の姿勢情報Ｉｐを単位時間毎に取得する。画像処理装置３０は、取得した画像Ｐを表示装置２１に表示させる。

画像処理装置３０は、第１ＧＮＳＳ受信機３１から絶対旋回中心座標Ｃａを取得し、方位センサ３２からブーム９の延伸方向の方位Ｄを取得し、第２ＧＮＳＳ受信機３３から絶対カメラ座標Ｉａを取得する。画像処理装置３０は、絶対カメラ座標Ｉａと絶対旋回中心座標Ｃａとの位置関係に基づいて、絶対旋回中心座標Ｃａとブーム９の延伸方向の方位Ｄとブーム９の姿勢情報Ｉｐとから絶対先端座標Ｂａを算出する。

画像処理装置３０は、操縦者が表示装置２１の画面上から入力した目標座標Ｔを算出する。画像処理装置３０は、絶対カメラ座標Ｉａと、カメラ２７の画角情報Ｉｉとに基づいて、算出した目標座標Ｔから絶対目標座標Ｔａを算出する。画像処理装置３０は、算出した絶対目標座標Ｔａを制御装置２４に送信する。

このように構成することで、制御装置２４は、ブーム９の絶対旋回中心座標Ｃａとブーム９の延伸方向の方位Ｄと絶対カメラ座標Ｉａと、カメラ２７の画角情報Ｉｉと、ブーム９の姿勢情報Ｉｐとから、絶対先端座標Ｂａを算出する。また、制御装置２４は、絶対カメラ座標Ｉａとカメラ２７の画角情報Ｉｉとに基づいて表示画面の座標系における座標を絶対座標に変換する変換式を算出する。これにより、表示画面の座標系を絶対座標系に変換することができる。

なお、上述の各実施形態において、クレーン１、１Ａ、１Ｂは、表示装置２１に表示された画像Ｐ上で目標位置を設定するように構成されているが、他の作業車両の座標を含む位置情報を取得すると、前記他の作業車両の座標を目標座標Ｔとする構成でもよい。

本発明の他の実施形態として、他の作業車両（例えば、クレーン、高所作業車、トラック等）がＧＮＳＳ受信機を備えている場合、クレーン１、１Ａ、１Ｂの制御装置２４は、通信機等を介して他の作業車両が有しているＧＮＳＳ受信機から位置情報を取得できるように構成してもよい。また、他の作業車両がＡＲマーカを有している場合、クレーン１、１Ａ、１Ｂの制御装置２４は、撮影装置２５によってＡＲマーカを撮影することで他の作業車両の位置情報を取得できるように構成してもよい。制御装置２４は、取得した他の作業車両の位置情報からクレーン１、１Ａ、１Ｂのクレーン座標系における他の作業車両の座標である変換目標座標Ｔｃを算出する。また、制御装置２４は、ブーム９の先端が所定の速度で所定の移動経路Ｒに沿って変換目標座標Ｔｃに到達するためのクレーン装置用操作具１９の操作信号を生成する。

制御装置２４は、前記他の作業車両を目標位置としてブーム９の先端を所定の移動経路Ｒで移動させるために必要なクレーン装置用操作具１９の操作に関する情報を表示装置２１に表示する。前記操縦者は、撮影装置２５によって作業現場の状況をリアルタイムで把握しつつクレーン１、１Ａ、１Ｂを操作することができる。また、操縦者は、クレーン装置用操作具１９の現在操作位置に対する目標操作位置および操作順に従ってクレーン装置用操作具１９を操作することでブーム９の先端を前記他の作業車両まで移動させることができる。これにより、作業車両は、操縦者の熟練度に関係なく、ブーム９の先端を所定の移動経路Ｒに沿って移動させることができる。

なお、上述の各実施形態において、クレーン１、１Ａ、１Ｂの制御装置２４は、クレーン装置用操作具１９の操作または表示装置２１におけるクレーン装置用操作具１９の位置を表す図形の移動が行われている間、クレーン装置６の各アクチュエータに制御信号を送信する。しかしながら、制御装置２４は、ブーム９の先端が所定の移動経路Ｒから所定距離以上離隔するとブーム９の移動を停止させたり、その旨を報知したりする構成でもよい。

また、上述の各実施形態において、クレーン１、１Ａ、１Ｂの画像処理装置は、表示装置２１に各操作具の現在操作位置、目標操作位置を図形で表示しているがこれに限定するものではない。画像処理装置は、各操作具の現在操作位置および目標操作位置をレベルインジケータによる表示、矢印による表示、図形の形状および色の変更等、現在操作位置と目標操作位置とを区別して視認できる形態で表示する構成であればよい。

また、上述の各実施形態において、クレーン１、１Ａ、１Ｂの制御装置２４は、各操作具の現在操作位置が目標操作位置に一致したことを図形、色、文字またはアイコン等の表示、音による報知、操作具の振動、操作具の固定、操作具の操作抵抗の増加等によって操縦者に伝えるように構成されていてもよい。

また、上述の各実施形態において、制御装置２４は、前記他の作業車両を目標位置としてブーム９の先端を所定の移動経路Ｒで移動させるために必要なクレーン装置用操作具１９の操作に関する情報を表示装置２１に表示する。しかしながら、制御装置２４は、ＡＲマーカ等を用いてクレーン１、１Ａ、１Ｂとの位置関係を認識することができれば、人、地物を目標位置として設定してもよい。

上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。

１ クレーン
６ クレーン装置
９ ブーム
９ｂ ブームカメラ
１７ クレーン装置用センサ
１８ 走行用操作具
１９ クレーン装置用操作具
２１ 表示装置
２２ 入力装置
２３ 画像処理装置
２４ 制御装置
Ｐ 画像
Ｃ 旋回中心座標
Ｂ 先端座標
Ｔ 目標座標
Ｓａ 現在操作信号
Ｓｂ 現在操作信号
Ｐａ 現在操作位置座標
Ｐｂ 目標操作位置座標

Claims (8)

1. 走行体に旋回台を介して起伏可能なブームが設けられた作業車両と、
   前記作業車両の周囲を上方から撮影する撮影装置と、
   前記撮影装置が撮影した画像を表示し、且つ外部から指定された表示画面上の任意の位置の座標を出力可能な表示装置と、
   前記作業車両のアクチュエータを制御する制御装置と、を備え、
   前記制御装置は、
   前記撮影装置に対する前記ブームの先端の位置または前記ブームの旋回中心の位置と、前記ブームの姿勢情報と、前記画像の画角情報と、前記撮影装置が撮影した前記作業車両の周囲を上方から撮影した画像とを取得し、前記表示装置に前記画像を表示させ、前記表示画面の座標系における前記ブームの先端の座標および前記表示画面の座標系における前記ブームの旋回中心の座標を算出し、前記画像上で設定された前記ブームの先端の目標位置の前記表示画面の座標系における座標を算出し、前記ブームの先端が前記目標位置に所定の移動経路で到達するように前記アクチュエータの各操作具の現在操作位置および目標操作位置を表示する、作業車両。
2. 前記制御装置は、前記アクチュエータの各操作具の操作順を表示する、請求項１に記載の作業車両。
3. 前記撮影装置は、
   前記ブームの先端に設けられ、
   前記制御装置は、
   前記画像の中心位置を前記ブームの先端位置とし、前記ブームの姿勢情報から前記表示画面の座標系における前記ブームの先端の座標および前記表示画面の座標系における前記ブームの旋回中心の座標を算出する請求項１または請求項２に記載の作業車両。
4. 前記制御装置は、
   前記撮影装置が撮影した画像から前記ブームの先端部の画像を検出し、前記ブームの先端部の画像の向きおよび大きさと、前記ブームの姿勢情報とから前記表示画面の座標系における前記ブームの旋回中心の座標および前記表示画面の座標系における前記ブームの先端の座標を算出する、請求項１または請求項２に記載の作業車両。
5. 前記ブームの旋回中心の絶対座標または前記ブームの先端の絶対座標を検出する第１ＧＮＳＳ受信機と、
   前記ブームの延伸方向の方位を検出する方位センサと、
   前記撮影装置の絶対座標を検出する第２ＧＮＳＳ受信機と、を備え、
   前記制御装置は、
   前記第１ＧＮＳＳ受信機の検出値と、前記第２ＧＮＳＳ受信機の検出値と、前記方位センサの検出値と、前記ブームの姿勢情報とを取得し、前記ブームの旋回中心の絶対座標と、前記ブームの先端の絶対座標とを算出する請求項１または請求項２に記載の作業車両。
6. 前記各アクチュエータの操作具の操作位置は、図形によって表示される請求項１から請求項５のいずれか一項に記載の作業車両。
7. 前記表示装置は、
   前記アクチュエータの操作具を操作可能に構成される請求項１から請求項６のいずれか一項に記載の作業車両。
8. 前記制御装置は、
   他の作業車両の座標を取得すると、前記他の作業車両の位置を前記目標位置とする請求項１から請求項７のいずれか一項に記載の作業車両。
   
   

Images