JP2021127185A - 吊荷監視装置、クレーン、吊荷監視方法及びプログラム - Google Patents

Abstract

【課題】オペレータに吊荷の移動先を知らせて、クレーン作業の安全性を高めることができる吊荷監視装置、クレーン、吊荷監視方法及びプログラムを提供する。【解決手段】吊荷監視装置１は、ブーム先端部の位置を取得するブーム位置取得部２２と、吊荷の位置を取得する吊荷位置取得部２３と、ブーム位置取得部２２が取得したブーム先端部の位置及び、吊荷位置取得部２３が取得した吊荷の位置に基づいて、クレーン装置を操作するための操作レバーが第一位置にあると仮定した場合の、一定期間の吊荷の第一軌跡と、操作レバーが第一位置とは別の第二位置にあると仮定した場合の、一定期間の吊荷の第二軌跡とを予測する軌跡予測部２５と、軌跡予測部２５が予測した第一軌跡と第二軌跡に基づいて吊荷移動領域を決定する吊荷移動領域決定部２６と、吊荷移動領域決定部２６が決定した吊荷移動領域に基づいて吊荷移動情報を報知する表示部４０と、を備える。【選択図】図２

Description

本発明は、吊荷監視装置、クレーン、吊荷監視方法及びプログラムに関する。

クレーンには、吊荷を監視するために、吊荷監視装置が装備されたものがある。

例えば、特許文献１には、吊荷を掛けるフックとの距離に応じて倍率が変更されるズームレンズを有するカメラと、クレーンのキャビン内に設けられ、カメラが撮像した画像を表示部と、を備える吊荷監視装置が開示されている。

また、特許文献２には、吊荷の、ブームの先端に対する振れ幅を検出する振れ幅センサと、クレーン装置の操作レバーの操作位置を検出する操作レバーセンサと、振れ幅センサが検出した振れ幅と操作レバーセンサが検出した操作位置を表示する表示部と、を備える吊荷監視装置が開示されている。

特開２００１−２３６９号公報 特開平９−４８５８６号公報

クレーンでは、吊荷が障害物に接触したり衝突したりすることを防ぐ必要がある。そこで、オペレータに将来の吊荷の移動先を知らせて、接触、衝突を防止できる吊荷監視装置が望まれている。

しかし、特許文献１に記載の吊荷監視装置は、表示部に一定の大きさの、吊荷の画像が表示されるだけである。このため、クレーンのオペレータ自身が、障害物への接触、衝突を防ぐために、吊荷の移動先を予測して、その移動先を監視する必要がある。

特許文献２に記載の吊荷監視装置は、吊荷の振れ幅と操作レバーの操作位置が、棒グラフ状に表示されるだけである。このため、特許文献２に記載の吊荷監視装置でも、オペレータ自身が、吊荷の移動先を予測して、その移動先を監視する必要がある。

本発明は上記の課題を解決するためになされたもので、オペレータに吊荷の移動先を知らせて、クレーン作業の安全性を高めることができる吊荷監視装置、クレーン、吊荷監視方法及びプログラムを提供することを目的とする。

上記の目的を達成するため、本発明の第一の観点に係る吊荷監視装置は、
クレーン装置のブーム先端部の位置を取得するブーム位置取得部と、
前記ブーム先端部に吊り下げられた吊荷の位置を取得する吊荷位置取得部と、
前記ブーム位置取得部が取得した前記ブーム先端部の位置及び、前記吊荷位置取得部が取得した前記吊荷の位置に基づいて、前記クレーン装置を操作するための操作レバーが第一位置にあると仮定した場合の、一定期間の前記吊荷の第一軌跡と、前記操作レバーが前記第一位置とは別の第二位置にあると仮定した場合の、前記一定期間の前記吊荷の第二軌跡とを予測する軌跡予測部と、
前記軌跡予測部が予測した前記第一軌跡と前記第二軌跡に基づいて吊荷移動領域を決定する吊荷移動領域決定部と、
前記吊荷移動領域決定部が決定した前記吊荷移動領域に基づいて吊荷移動情報を報知する報知部と、
を備える。

前記軌跡予測部は、前記ブーム位置取得部が取得した前記ブーム先端部の位置及び、前記吊荷位置取得部が取得した前記吊荷の位置に基づいて、前記操作レバーが前記第一位置にあると仮定した場合の、前記一定期間よりも短期間に前記吊荷がたどる第一短期間軌跡と、前記操作レバーが前記第二位置にあると仮定した場合の、前記短期間に前記吊荷がたどる第二短期間軌跡とを予測し、
前記吊荷移動領域決定部は、前記軌跡予測部が予測した前記第一短期間軌跡及び、前記第二短期間軌跡に基づいて、監視領域を決定し、
前記報知部は、前記監視領域の情報を報知すると良い。

さらに、前記軌跡予測部は、前記ブーム先端部の位置、前記吊荷の位置及び、前記操作レバーの操作量に対する前記吊荷の将来位置を学習した学習済みモデルを用いて、前記ブーム位置取得部が取得した前記ブーム先端部の位置、前記吊荷位置取得部が取得した前記吊荷の位置及び、前記操作レバーの位置から、前記一定期間又は前記一定期間よりも短期間の、前記吊荷の軌跡を予測すると良い。

前記吊荷位置取得部が取得した前記吊荷の位置の変化から、前記吊荷の移動方向を算出する移動方向算出部をさらに備え、
前記吊荷移動領域決定部は、前記移動方向算出部が算出した前記移動方向に基づいて、前記吊荷移動領域を決定すると良い。

前記吊荷を撮像するカメラをさらに備え、
前記報知部は、前記カメラが撮像した画像に、前記吊荷移動領域決定部が決定した前記吊荷移動領域を示す画像を重畳して表示する表示部を有すると良い。

前記吊荷移動領域決定部が決定した前記吊荷移動領域に前記吊荷の移動の障害となる障害物があるか否かを検出する障害物検出部をさらに備え、
前記報知部は、前記障害物検出部が障害物を検出した場合に、障害物があることを報知すると良い。

本発明の第二の観点に係るクレーンは、本発明の第一の観点に係る吊荷監視装置を備える。

本発明の第三の観点に係る吊荷監視方法は、
クレーン装置のブーム先端部の位置を取得するブーム位置取得ステップと、
前記ブーム先端部に吊り下げられた吊荷の位置を取得する吊荷位置取得ステップと、
前記ブーム位置取得ステップで取得した前記ブーム先端部の位置及び、前記吊荷位置取得ステップで取得した前記吊荷の位置に基づいて、前記クレーン装置を操作するための操作レバーが第一位置にあると仮定した場合の、一定期間の前記吊荷の第一軌跡と、前記操作レバーが前記第一位置とは別の第二位置にあると仮定した場合の、前記一定期間の前記吊荷の第二軌跡とを予測する軌跡予測ステップと、
前記軌跡予測ステップで予測した前記第一軌跡と前記第二軌跡に基づいて吊荷移動領域を決定する吊荷移動領域決定ステップと、
前記吊荷移動領域決定ステップで決定した前記吊荷移動領域に基づいて吊荷移動情報を報知する報知ステップと、
を備える。

本発明の第四の観点に係るプログラムは、本発明の第三の観点に係る吊荷監視方法をコンピュータに実行させるためのプログラムである。

本発明の構成によれば、吊荷移動領域決定部が、操作レバーが第一位置にあると仮定した場合の吊荷の第一軌跡と、操作レバーが第一位置とは別の第二位置にあると仮定した場合の吊荷の第二軌跡とに基づいて吊荷移動領域を決定する。このため、吊荷移動領域決定部は、第一位置と第二位置の間で操作レバーが操作されたとしても、吊荷がとどまる領域を吊荷移動領域とすることができる。その結果、吊荷監視装置は、より正確な吊荷の移動先を予測することができる。さらに、報知部が吊荷移動領域に基づいて吊荷移動情報を報知するので、吊荷の移動先をオペレータに知らせることができる。その結果、クレーン作業の安全性が高まる。

実施の形態に係る吊荷監視装置が装備されるラフテレーンクレーンの側面図である。 実施の形態に係る吊荷監視装置の構成を示すブロック図である。 吊荷監視装置が備えるカメラが撮像した画像の一例を示す図である。 吊荷監視装置が備える制御部のハードウエアの構成の一例を示す概略図である。 吊荷監視装置が備える軌跡予測部のニューラルネットワーク部の概略図である。 （ａ）吊荷監視装置が備える記憶部に記憶された第一位置情報テーブルの構成を示す概略図である。（ｂ）同記憶部に記憶された第二位置情報テーブルの構成を示す概略図である。 吊荷監視装置が算出する吊荷移動領域と監視領域の一例を示す図である。 吊荷監視装置が実施する吊荷監視処理のフローチャートである。

以下、本発明の実施の形態に係る吊荷監視装置、クレーン、吊荷監視方法及びプログラムについて図面を参照して詳細に説明する。なお、図中、同一又は同等の部分には同一の符号を付す。

実施の形態に係る吊荷監視装置は、ラフテレーンクレーンの吊荷を監視するカメラが撮像した画像を表示する表示部を備える。この吊荷監視装置は、ラフテレーンクレーンでのクレーン作業を容易にするため、この表示部に吊荷の移動先の情報である吊荷移動情報を表示する。

まず、図１を参照して、吊荷監視装置が装備されるラフテレーンクレーンの構成について説明する。続いて、図２−図７を参照して、吊荷監視装置の構成について説明する。次に、図８を参照して、吊荷監視装置が実施する吊荷監視処理について説明する。

図１は、実施の形態に係る吊荷監視装置１が装備されるラフテレーンクレーン１００の側面図である。

図１に示すように、ラフテレーンクレーン１００は、旋回体１１０、ブーム１２０、ウインチ１３０及び、キャビン１４０を備えている。

旋回体１１０は、走行体１０１の上に旋回可能に設けられている。また、旋回体１１０には、ブーム１２０が設けられている。これにより、旋回体１１０は、ブーム１２０を走行体１０１に対して旋回させる。

一方、ブーム１２０は、旋回体１１０に対して起伏可能に設けられている。また、ブーム１２０は、テレスコピック式であり、伸縮可能である。その先端には、ブームヘッド１２１が設けられている。これにより、ブーム１２０は、旋回体１１０に対して起立すると共に、伸長して所望の位置にブームヘッド１２１を移動させる。

ブームヘッド１２１には、ロープ１２２が掛け回された、図示しないシーブを有する。ロープ１２２の先端には、吊荷を吊るためのフック１２３が接続されている。そして、フック１２３は、ブームヘッド１２１から垂下する。

ウインチ１３０は、旋回体１１０に設けられ、ロープ１２２を巻き上げ又は、巻き下げする。これにより、ウインチ１３０は、ロープ１２２の先端にあるフック１２３を昇降する。その結果、フック１２３に吊荷２００が吊られると、吊荷２００が昇降する。なお、本明細書では、ウインチ１３０、上述した旋回体１１０及び、ブーム１２０は、吊荷２００を移動するための装置である。このため、これらをクレーン装置ともいう。

これに対して、キャビン１４０には、ラフテレーンクレーン１００を操作するオペレータが搭乗する。キャビン１４０には、ラフテレーンクレーン１００を操作するため、図示しない表示パネルと、複数の操作レバーと、が設けられている。

ここで、複数の操作レバーとは、旋回体１１０を旋回させる旋回レバー、ブーム１２０を起伏させる起伏レバー、ブーム１２０を伸縮させる伸縮レバー、ウインチ１３０に巻き上げ、巻き下げ動作をさせる巻き上げレバーのことである。以下、個別の機能を説明する場合を除いて、操作レバーというものとする。

表示パネルには、各センサにより検出された旋回体１１０及び、ブーム１２０等の機械の状態が表示される。詳細には、ラフテレーンクレーン１００は、旋回体１１０の旋回角度を検出する旋回角度検出センサ１４１と、ブーム１２０が起伏したときの、その角度を検出するブーム角度検出センサ１４２と、ブーム１２０が伸縮したときのブーム１２０の長さを検出するブーム長さ検出センサ１４３と、を備えている。これらセンサは、定期的に旋回体１１０の旋回角度、ブーム１２０の起伏角度、ブーム１２０の長さを検出して、その検出結果を表示パネルに送信する。また、後述する吊荷監視装置１に送信する。表示パネルは、受信した旋回体１１０の旋回角度、ブーム１２０の起伏角度、ブーム１２０の長さのデータを機械の状態として表示する。

各操作レバーは、中立位置から倒されることにより、旋回体１１０、ブーム１２０及びウインチ１３０が旋回、起伏、伸縮、巻き上げ等の各動作を行わせる。そして、操作レバーが倒される方向により、各動作の方向を変化させる。例えば、旋回レバーであれば、操作レバーの倒される方向に応じて旋回の方向が切り替わる。起伏レバーであれば、操作レバーの倒される方向に応じてブーム１２０が起立又は倒伏する。

また、各操作レバーは、倒されたときのその位置に応じて旋回、起伏、伸縮、巻き上げ等の各動作の速度を変更させる。

各操作レバーには、その操作状態を表示パネルに表示するため、位置検出センサ、すなわち、旋回レバー位置検出センサ１５１、起伏レバー位置検出センサ１５２、伸縮レバー位置検出センサ１５３及び、巻き上げレバー位置検出センサ１５４が設けられている。各操作レバーは、これら位置検出センサによって、その位置が検出される。そして、検出された位置は、表示パネルに送信される。また、後述する吊荷監視装置１に送信される。

一方、キャビン１４０は、旋回体１１０上の、ブーム１２０の末端近傍に配置されている。このため、キャビン１４０は、ブーム１２０の先端にある吊荷２００から離れている。また、キャビン１４０には、上述したように、旋回体１１０及び、ブーム１２０等の機械の状態が表示される表示パネルが設けられている。

しかし、表示パネルには、吊荷２００の詳細な状態は表示されない。このため、キャビン１４０にオペレータが搭乗したとき、そのオペレータが吊荷２００の正確な位置を把握することが難しく、また、その移動方向を正確に予測することも難しい。その結果、操作レバーそれぞれを操作して、吊荷２００を正確に移動させることは容易ではない。

そこで、操作を容易にするため、ラフテレーンクレーン１００には、吊荷移動情報を報知する吊荷監視装置１が装備されている。続いて、図２−図６を参照して、吊荷監視装置１の構成について説明する。

図２は、実施の形態に係る吊荷監視装置１の構成を示すブロック図である。図３は、吊荷監視装置１が備えるカメラ１０が撮像した画像の一例を示す図である。図４は、吊荷監視装置１が備える制御部２０のハードウエアの構成の一例を示す概略図である。図５は、吊荷監視装置１が備える軌跡予測部２５のニューラルネットワーク部２５０の概略図である。図６（ａ）は、吊荷監視装置１が備える記憶部３０に記憶された第一位置情報テーブル２５５の構成を示す概略図である。図６（ｂ）は、その記憶部３０に記憶された第二位置情報テーブル２５６の構成を示す概略図である。図７は、吊荷監視装置１が算出する吊荷移動領域Ａ１と監視領域Ａ２の一例を示す図である。

図２に示すように、吊荷監視装置１は、吊荷２００を撮像するカメラ１０と、吊荷２００の軌跡を予測する処理、吊荷移動領域Ａ１を決定する処理等の各種処理を行う制御部２０と、制御部２０の処理で使用されるデータ及びプログラム等が格納された記憶部３０と、カメラ１０が撮像した画像及び制御部２０が決定した監視領域を表示する表示部４０と、を備えている。

カメラ１０は、図１に示すように、ブームヘッド１２１に設置されている。カメラ１０は、図示しないレンズを下に向け、ブームヘッド１２１から垂下するロープ１２２とフック１２３を撮像する。これにより、カメラ１０は、図３に示すように、フック１２３に吊り下げられた吊荷２００を撮像する。カメラ１０は、撮像した画像を、図２に示す制御部２０に送信する。

一方、吊荷監視装置１は、図４に示すように、吊荷監視プログラムを実行するＣＰＵ（Central Processing Unit）３００と、吊荷監視プログラムを展開するメモリ３１０と、カメラ１０及び旋回レバー位置検出センサ１５１、起伏レバー位置検出センサ１５２等の各種センサと接続するためのＩ／Ｏポート３２０と、を備えている。これらの構成のうち、制御部２０は、ＣＰＵ３００が記憶部３０に格納された吊荷監視プログラムを実行することにより実現されている。これにより、制御部２０は、ソフトウエアとして構成される処理ブロックを有する。

詳細には、制御部２０は、図２に示すように、旋回レバー、起伏レバー、伸縮レバー及び巻き上げレバーの位置情報を取得する操作情報取得部２１と、ブームヘッド１２１の位置を取得するブーム位置取得部２２と、吊荷２００の位置を取得する吊荷位置取得部２３と、吊荷２００の移動方向を算出する移動方向算出部２４と、吊荷２００の軌跡を予測する軌跡予測部２５と、算出された吊荷２００の移動方向及び予測された吊荷２００の軌跡から吊荷移動領域Ａ１を決定する吊荷移動領域決定部２６と、決定された吊荷移動領域Ａ１を示す画像を合成する画像合成部２７と、吊荷移動領域Ａ１に障害物があるか否かを検出する障害物検出部２８と、を有している。

操作情報取得部２１には、上述した旋回レバー位置検出センサ１５１、起伏レバー位置検出センサ１５２、伸縮レバー位置検出センサ１５３及び、巻き上げレバー位置検出センサ１５４から、これらセンサが検出した、各操作レバーの座標が定期的に送信される。操作情報取得部２１は、これら座標を受信して、各操作レバーの座標を取得する。操作情報取得部２１は、座標を取得する毎に、取得した各操作レバーの座標をブーム位置取得部２２と軌跡予測部２５に送信する。

これに対して、ブーム位置取得部２２には、上述した旋回角度検出センサ１４１、ブーム角度検出センサ１４２及び、ブーム長さ検出センサ１４３から、これらセンサが検出した角度、長さ等の各データが定期的に送信される。ブーム位置取得部２２は、これらのデータを受信する。そして、ブーム位置取得部２２は、これらのデータを受信する毎に、旋回体１１０の旋回中心を原点とし、走行体１０１の前後方向をＸ軸、走行体の左右方向をＹ軸、上下方向をＺ軸とするＸＹＺ座標系の、ブームヘッド１２１先端部の座標を算出する。これにより、ブーム位置取得部２２は、ブームヘッド１２１先端部の座標を取得する。なお、この座標のことを、以下、単にブームヘッド１２１の座標という。

ブーム位置取得部２２は、ブームヘッド１２１の座標を取得する毎に、その座標を、吊荷位置取得部２３に送信する。また、軌跡予測部２５に送信する。さらに、ブーム位置取得部２２は、旋回角度検出センサ１４１の旋回角度データを画像合成部２７に送信する。

吊荷位置取得部２３は、ブームヘッド１２１の座標を受信する毎に、吊荷２００の座標を取得する。その座標は、カメラ１０とブームヘッド１２１の座標から得る。

詳細には、吊荷位置取得部２３は、ブームヘッド１２１の座標を受信する毎に、カメラ１０が撮像した画像データをカメラ１０から取得する。吊荷位置取得部２３は、取得した画像に二値化、輪郭線抽出等の画像処理を施して、フック１２３が撮像された画像部分を抽出する。そして、抽出したフック１２３の画像部分から、その画像部分の重心Ｃと複数の特徴箇所を特定する。例えば、吊荷位置取得部２３は、特徴箇所として図３に示す上面視略矩形状のフック１２３の四隅を特定する。吊荷位置取得部２３は、画像部分の重心Ｃと特徴箇所の画像内座標を求める。ここで、画像内座標とは、カメラ１０の撮像素子が有する画素を単位とする画像内での座標のことである。

一方、上述した記憶部３０には、測量データ２３１が記憶されている。ここで、測量データ２３１には、カメラ１０のレンズの画角データ、撮像素子の画素数、画素大きさ等の画素データ及び、フック１２３の上記複数の特徴箇所の間の距離の実測値が含まれている。吊荷位置取得部２３は、この測量データ２３１を読み出し、読み出した測量データ２３１と、求めた画像部分の重心Ｃと特徴箇所の画像内座標と、を用いて、三角測量の手法により、カメラ１０の画像素子に対する実際のフック１２３の重心Ｃ、上記の特徴箇所の位置を求める。

吊荷位置取得部２３は、求めた位置と受信したブームヘッド１２１の座標から、フック１２３の座標を求める。吊荷位置取得部２３は、求めたフック１２３の座標が吊荷２００の座標と同じであると仮定して、フック１２３の座標を吊荷２００の座標とする。これにより、吊荷位置取得部２３は、吊荷２００の座標を取得する。

吊荷位置取得部２３は、吊荷２００の座標を取得する毎に、その座標を記憶部３０に格納する。さらに、その座標を移動方向算出部２４、軌跡予測部２５、吊荷移動領域決定部２６及び画像合成部２７に送信する。

移動方向算出部２４は、吊荷位置取得部２３から吊荷２００の座標を受信する。また、記憶部３０から、吊荷２００の前回座標を読み出す。そして、移動方向算出部２４は、読み出した前回座標と受信した座標から吊荷２００の移動方向を求める。また、移動速度を求める。移動方向算出部２４は、求めた吊荷２００の移動方向、移動速度のデータを吊荷移動領域決定部２６に送信する。

軌跡予測部２５は、吊荷位置取得部２３から吊荷２００の座標を受信し、また、ブーム位置取得部２２からブームヘッド１２１の座標を受信する。軌跡予測部２５は、受信した吊荷２００の座標とブームヘッド１２１の座標を用いて、吊荷２００が将来に取り得る軌跡を予測する。軌跡予測部２５は、吊荷２００の軌跡を予測するため、図５に示すニューラルネットワーク部２５０を有する。

ニューラルネットワーク部２５０は、ニューロンと呼ばれるノード２５１を複数個、有している。そして、そのノード２５１とノード２５１が結合している。これにより、ニューラルネットワーク部２５０は、入力層２５２、隠れ層２５３及び出力層２５４を有する。

記憶部３０には、図２に示すように、ノード２５１間の結合の重みパラメータである重みθが記憶されている。この重みθは、ニューラルネットワーク部２５０に、実験により求めた教師データを学習させることにより、求められた重みである。

詳細には、教師データであるブームヘッド１２１の座標、吊荷２００の座標、及び、そのときの各操作レバーが操作されたときの操作レバー座標が入力層２５２に入力され、かつ、教師データの、これら座標に対する、その後の吊荷２００の位置を示す座標群、すなわち、吊荷２００の軌跡が出力層２５４から出力される状態に、ニューラルネットワーク部２５０を予め学習させておく。重みθは、そのときの学習済みニューラルネットワーク部２５０が有するノード２５１間の結合の重みである。

なお、重みθは、記憶部３０とネットワークを経由して接続されたサーバーが有する、ニューラルネットワーク部２５０と同じ構成のニューラルネットワーク部を学習させることにより、得た重みであっても良い。

軌跡予測部２５は、この重みθを記憶部３０から読み出し、ニューラルネットワーク部２５０のノード２５１間を結合の重みを、読み出した重みθに設定する。これにより、軌跡予測部２５は、ブームヘッド１２１の座標、吊荷２００の座標、各操作レバーの座標に対して、その後の吊荷２００の座標を予測する学習済みモデルを構築する。

軌跡予測部２５は、構築された学習済みモデルを用いて、オペレータが操作レバーをある方向に倒しているときに、その直後、その方向に操作レバーを倒すことを想定した第一軌跡と、その直後にその方向と反対の方向に操作バーを戻すことを想定した第二軌跡と、を予測する。

軌跡予測部２５は、まず、第一軌跡を予測する。軌跡予測部２５は、第一軌跡を予測するため、ブーム位置取得部２２から受信したブームヘッド１２１の座標と吊荷位置取得部２３から受信した吊荷２００の座標を、図５に示すニューラルネットワーク部２５０の入力層２５２に入力する。

さらに、軌跡予測部２５は、図２に示す記憶部３０から、吊荷２００の第一軌跡を求めるときに想定する各操作レバーの座標を含む第一位置情報テーブル２５５を読み出して、各操作レバーの座標を入力層２５２に入力する。

ここで、第一位置情報テーブル２５５について説明する。第一位置情報テーブル２５５の構成を図６に示す。
なお、図６では、各操作レバーのプッシュ方向の座標を＋、プル方向の座標を−で示している。さらに、中立位置にあるときの各操作レバーの座標を数値０、最もプッシュ方向又はプル方向にある最大操作量のときの、各操作レバーの座標を数値１００としている。

第一位置情報テーブル２５５は、図６に示すように、各操作レバーがその位置へ操作されると想定される想定座標と、その想定座標を適用する各操作レバーの現在位置座標範囲と、が対応付けられている。そして、第一位置情報テーブル２５５は、操作レバーがある位置から最大位置まで操作されることを想定するため、想定座標が各操作レバーの最大操作量である１００に設定されている。また、操作レバーがある方向に操作された状態からその方向にさらに操作されることを想定するため、各操作レバーの現在座標と現在位置座標範囲の正負の符号が同じに設定されている。さらに、中立位置から操作されている操作レバーだけが、その直後、操作されることを想定しているため、現在位置座標範囲が中立位置以外の座標にある操作レバーについて、想定座標を１００にしている。

なお、ラフテレーンクレーン１００では、通常、吊荷２００を吊り上げ、移動するときに、ブーム１２０を伸縮動作させないことから、図６では、現在座標範囲が＋１００から−１００にあるときの、伸縮レバーの想定座標を０としている。

一方、軌跡予測部２５には、上述した操作情報取得部２１から各操作レバーの座標が送信される。軌跡予測部２５は、その各操作レバーの座標を受信し、読み出した第一位置情報テーブル２５５から、その受信した座標に対応する、各操作レバーの想定座標を選び出す。これにより、第一位置情報テーブル２５５を用いることで、ニューラルネットワーク部２５０の入力層２５２に入力される各操作レバーの想定座標が決定される。

図５に戻って、ニューラルネットワーク部２５０の入力層２５２に各操作レバーの想定座標が入力され、かつ上述したブームヘッド１２１の座標と吊荷２００の座標が入力されると、出力層２５４は、各操作レバーが入力層２５２に入力された想定座標に操作されたとした場合の、将来の吊荷２００の位置を示す座標群、すなわち第一軌跡を出力する。このとき、軌跡予測部２５は、出力層２５４から、一定期間、例えば１０秒間の吊荷２００の軌跡データを取得する。そして、取得した吊荷２００の軌跡データを吊荷移動領域決定部２６に送信する。

さらに、軌跡予測部２５は、第一軌跡を求めた後、第二軌跡を求める。

詳細には、記憶部３０には、第二軌跡を得るための第二位置情報テーブル２５６が記憶されている。第二位置情報テーブル２５６は、図６に示すように、第一位置情報テーブル２５５と同じく、想定座標と現在位置座標範囲とが対応付けられている。第二位置情報テーブル２５６では、操作レバーがある方向に操作された状態からその反対の方向に操作されることを想定するため、各操作レバーの想定座標と現在位置座標範囲の正負の符号が逆に設定されている。そして、その反対の方向に操作レバーが最大位置まで操作されることを想定するため、想定座標が数値１００の大きさに設定されている。

図２に戻って、軌跡予測部２５は、記憶部３０から第二位置情報テーブル２５６を読み出し、読み出した第二位置情報テーブル２５６から、操作情報取得部２１から受信した各操作レバーの座標に対応する、各操作レバーの想定座標を選び出す。そして、軌跡予測部２５は、選び出した各操作レバーの想定座標を、ブームヘッド１２１の座標、吊荷２００の座標と共に、ニューラルネットワーク部２５０の入力層２５２に入力する。そして、軌跡予測部２５は、出力層２５４から第二軌跡を取得する。このときも、軌跡予測部２５は、出力層２５４から一定期間の軌跡データを取得する。軌跡予測部２５は、その軌跡データを吊荷移動領域決定部２６に送信する。

軌跡予測部２５は、より正確な軌跡を求めるため、同様の処理をもう一度繰り返して、出力層２５４から再度、第一軌跡、第二軌跡を取得する。このとき、軌跡予測部２５は、上記一定期間よりも短い短期間、例えば、２秒間の軌跡データを出力層２５４から取得する。軌跡予測部２５は、取得した第一軌跡と第二軌跡の短期間軌跡データを吊荷移動領域決定部２６に送信する。なお、本明細書では、第一軌跡と第二軌跡の短期間軌跡のことを、第一短期間軌跡、第二短期間軌跡ともいう。

吊荷移動領域決定部２６は、移動方向算出部２４が送信する吊荷２００の移動方向、移動速度のデータを受信する。さらに、吊荷位置取得部２３が送信する吊荷２００の座標を受信する。吊荷移動領域決定部２６は、受信した吊荷２００の座標を始点に、吊荷２００が上記一定期間、受信した移動速度のまま、受信した移動方向に移動すると仮定して、その吊荷２００の将来位置の座標を求める。そして、吊荷移動領域決定部２６は、将来位置の座標を終点とする基準線Ｂを求める。

また、吊荷移動領域決定部２６は、軌跡予測部２５からの第一軌跡の軌跡データと、第二軌跡の軌跡データを受信する。そして、吊荷移動領域決定部２６は、図７に示すように、第一軌跡、第一軌跡の始点と上記基準線Ｂの始点を結ぶ線分、基準線Ｂ及び、基準線Ｂの終点と第一軌跡の終点を結ぶ線分で囲まれる領域を吊荷移動領域Ａ１とする。

吊荷移動領域決定部２６は、第二軌跡についても同様に、第二軌跡、第二軌跡の始点と上記基準線Ｂの始点を結ぶ線分、基準線Ｂ及び、基準線Ｂの終点と第二軌跡の終点を結ぶ線分で囲まれる領域を上記の吊荷移動領域Ａ１に加え、新たな吊荷移動領域Ａ１とする。

吊荷移動領域決定部２６は、決定した吊荷移動領域Ａ１を特定するための座標データを求め、その座標データを、図２に示す画像合成部２７と障害物検出部２８に送信する。

吊荷移動領域決定部２６は、さらに、軌跡予測部２５から第一軌跡と第二軌跡の短期間軌跡データを受信し、受信した短期間軌跡データに対して同様の処理を行う。この処理では、基準線Ｂとして、短期間軌跡データと同じ期間、例えば２秒間に、吊荷２００が移動方向算出部２４から受信した移動方向、移動速度で移動したと仮定した線を用いる。これにより、吊荷移動領域決定部２６は、図７に示す各操作レバーを操作中に監視すべき監視領域Ａ２を決定する。吊荷移動領域決定部２６は、監視領域Ａ２を特定するための座標データを求め、その座標データを、図２に示す画像合成部２７と障害物検出部２８に送信する。

画像合成部２７は、カメラ１０から画像データを取得し、吊荷位置取得部２３と同様の手法で、カメラ１０が撮像した画像内のフック１２３の画像部分を抽出し、その画像部分の重心Ｃの画像内座標を求める。そして、画像合成部２７は、上面から視たときのフック１２３の重心Ｃに吊荷２００があると仮定する。画像合成部２７は、フック１２３の画像部分の重心Ｃの画像内座標に吊荷２００のＸＹＺ座標系の座標を割り当てる。

一方、画像合成部２７は、記憶部３０から、測量データ２３１を読み出し、その測量データ２３１の画角データを用いて、フック１２３の高さでの、矩形状の撮像領域の長手方向、短手方向の長さが、上記ＸＹＺ座標系でいくらの長さになるのか、を換算する。また、画像合成部２７は、ブーム位置取得部２２から旋回角度を受信して、その旋回角度から、ＸＹＺ座標系のＸ軸、Ｙ軸に対する撮像領域の長手方向、短手方向の傾斜を算出する。そして、画像合成部２７は、フック１２３の画像部分の重心Ｃの画像内座標に対する撮像領域の四隅の画像内座標、フック１２３の画像部分の重心Ｃに割り当てられたＸＹＺ座標系の座標、換算した撮像領域の長手方向及び短手方向のＸＹＺ座標系での長さ、傾きを用いて、撮像領域の四隅にＸＹＺ座標系の座標を割り当てる。画像合成部２７は、この割り当てを用いて、ＸＹＺ座標系の座標を画素内座標に変換する変換テーブルを作成する。

画像合成部２７は、作成した変換テーブルに基づいて、吊荷移動領域決定部２６が決定した吊荷移動領域Ａ１と監視領域Ａ２を、カメラ１０が撮像した画像に描画する。これにより、画像合成部２７は、吊荷移動領域Ａ１と監視領域Ａ２の画像をカメラ１０が撮像した画像に合成する。画像合成部２７は、合成した画像を表示部４０に送信する。また、画像合成部２７は、作成した変換テーブルを障害物検出部２８に送信する。

障害物検出部２８は、画像合成部２７から上記変換テーブルを受信する。また、カメラ１０から画像データを受信する。さらに、障害物検出部２８は、吊荷移動領域決定部２６から監視領域Ａ２の座標データを受信する。障害物検出部２８は、受信した変換テーブルと監視領域Ａ２の座標データから、カメラ１０の画像での監視領域Ａ２の画像内座標を求める。そして、受信したカメラ１０の画像の、監視領域Ａ２に相当する領域で明確な輪郭線があるか否かを判定する。障害物検出部２８は、明確な輪郭線を検出した場合、監視領域Ａ２に吊荷２００の障害物となりうる物体があるとして、注意信号を表示部４０に送信する。

表示部４０は、図示しないが、液晶ディスプレイとブザーを備える。表示部４０は、その液晶ディスプレイに、画像合成部２７から送信された、吊荷移動領域Ａ１と監視領域Ａ２が描画された画像を表示する。これにより、表示部４０は、オペレータに、吊荷２００の移動方向を知らせる。なお、本明細書では、表示部４０は、オペレータに報知する機器であることから、報知部ともいう。

また、表示部４０は、障害物検出部２８から送信された注意信号を受信したときに、ブザーから警告音を発生させる。これにより、表示部４０は、オペレータに注意を促す。

次に、図８を参照して、吊荷監視装置１が実施する吊荷監視装置処理について説明する。以下の説明では、吊荷監視装置１に図示しない起動ボタンが設けられているものとする。また、実験により、ある時間でのブームヘッド１２１の座標、吊荷２００の座標、及び、そのときの各操作レバーが操作されたときの操作レバー座標に対する、その後の吊荷２００の座標を計測して、教師データを作成しておくものとする。さらに、その教師データを用いてニューラルネットワーク部２５０を学習させ、重みθを得ておくものとする。また、得た重みθを記憶部３０に格納しておくものとする。

図８は、実施の形態に係る吊荷監視装置１が実施する吊荷監視処理のフローチャートである。

まず、ラフテレーンクレーン１００のオペレータは、吊荷監視装置１の起動ボタンを押して、吊荷監視装置１を起動させる。これにより、ＣＰＵ３００によって吊荷監視プログラムが実行される。これにより、吊荷監視処理のフローが開始される。

吊荷監視処理のフローが開始されると、制御部２０は、図８に示すように、操作レバーとブームヘッドの座標を取得する（ステップＳ１）。

詳細には、制御部２０は、旋回レバー位置検出センサ１５１、起伏レバー位置検出センサ１５２、伸縮レバー位置検出センサ１５３及び、巻き上げレバー位置検出センサ１５４の出力データを受信して、各操作レバーの座標を取得する。また、制御部２０は、旋回角度検出センサ１４１、ブーム角度検出センサ１４２、ブーム長さ検出センサ１４３の出力データを受信し、受信した出力データから、ブームヘッド１２１の座標を算出する。これにより、その座標を取得する。なお、本明細書では、この工程のことをブーム位置取得ステップという。

次に、制御部２０は、吊荷２００の座標を取得する（ステップＳ２）。詳細には、制御部２０は、上述した三角測量の手法により、ブームヘッド１２１に設けられたカメラ１０に対するフック１２３の位置を求める。続いて、制御部２０は、ブームヘッド１２１の座標がカメラ１０の撮像素子の座標であると仮定して、ステップＳ１で取得したブームヘッド１２１の座標からフック１２３の座標を求める。制御部２０は、フック１２３の座標が吊荷２００の座標であると仮定して、フック１２３の座標を吊荷２００の座標とする。これにより、吊荷２００の座標を取得する。制御部２０は、取得した吊荷２００の座標を記憶部３０に記憶させる。なお、本明細書では、この工程のことを吊荷位置取得ステップという。

次に、制御部２０は、クレーン作業が行われることにより吊荷２００の監視が必要であるか否かを判定するため、操作レバーが中立位置以外の座標にあるか否かを判定する（ステップＳ３）。

制御部２０は、操作レバーが中立位置の座標にあると判定した場合（ステップＳ３のＮｏ）、ステップＳ１に戻り、旋回レバー位置検出センサ１５１、起伏レバー位置検出センサ１５２等からの次回検出結果の出力があるまで待機する。

一方、制御部２０は、操作レバーが中立位置の座標にないと判定した場合ステップＳ３のＹｅｓ）、吊荷の移動方向を算出する（ステップＳ４）。この算出では、制御部２０は、記憶部３０から前回の吊荷２００の座標を読み出し、ステップＳ２の吊荷２００の座標と比較することにより、移動方向を得る。

続いて、制御部２０は、一定期間の吊荷２００軌跡を予測する（ステップＳ５）。この予測では、制御部２０は、まず、記憶部３０に記憶されている重みθを読み出し、読み出した重みθを、ニューラルネットワーク部２５０のノード２５１間の結合に適用することにより、吊荷２００の軌跡を予測する学習済みモデルを構築する。次に、制御部２０は、その学習済みモデルを用いて、吊荷２００の上述した第一軌跡と第二軌跡の２つの軌跡を求める。

第一軌跡の予測について説明すると、制御部２０は、記憶部３０から第一位置情報テーブル２５５を読み出し、ステップＳ１で取得した各操作レバーの座標に対応する各操作レバーの、直後に操作される可能性のある想定座標を選択する。

続いて、制御部２０は、選択した想定座標、ステップＳ１で取得したブームヘッドの座標及び、ステップＳ２で取得した吊荷２００の座標を、ニューラルネットワーク部２５０の入力層２５２に入力する。出力層２５４は、各操作レバーが入力層２５２に入力された想定座標に操作されたとした場合の、その後の吊荷２００の軌跡、すなわち、第一軌跡を出力する。制御部２０は、出力層２５４から、一定期間、の吊荷２００の軌跡データを取得する。

第二軌跡の予測では、制御部２０は、記憶部３０から第二位置情報テーブル２５６を読み出す。その後の、第二軌跡をニューラルネットワーク部２５０の出力層２５４から取得するまでの処理は、第二位置情報テーブル２５６を用いることを除いて、第一軌跡の場合と同じである。制御部２０は、第二位置情報テーブル２５６を用いることにより、第二軌跡の軌跡データを取得する。なお、本明細書では、第一軌跡、第二軌跡を予測する工程のことを、軌跡予測ステップという。

続いて、制御部２０は、短期間の吊荷２００軌跡を予測する（ステップＳ６）。この予測では、ステップＳ５と同様の処理で、ステップＳ５の一定期間よりも短い期間の吊荷２００の軌跡を予測する。例えば、一定期間が１０秒の場合、短期間は、２秒とする。また、ステップＳ５と同様に、第一位置情報テーブル２５５、第二位置情報テーブル２５６それぞれを用いて、第一軌跡、第二軌跡に対応する２つの短期間軌跡を求める。

次に、制御部２０は、吊荷移動領域Ａ１と監視領域Ａ２を決定する（ステップＳ７）。この決定では、ステップＳ２で取得した吊荷２００の座標を始点に、ステップＳ４で求めた吊荷２００の移動方向へ延在する直線を基準線Ｂとする。そして、制御部２０は、その基準線ＢとステップＳ５で取得した第一軌跡又は第二軌跡との間の領域を、吊荷移動領域Ａ１とする。また、制御部２０は、基準線ＢとステップＳ６で取得した短期間軌跡それぞれとの間の領域を、監視領域Ａ２とする。なお、本明細書では、監視領域Ａ２を決定する工程のことを、吊荷移動領域決定ステップという。

吊荷移動領域Ａ１と監視領域Ａ２を決定すると、制御部２０は、その吊荷移動領域Ａ１と監視領域Ａ２を表示部４０に表示する。また、制御部２０は、監視領域Ａ２を監視する（ステップＳ８）。

詳細には、制御部２０は、カメラ１０で撮像した画像に、吊荷移動領域Ａ１と監視領域Ａ２を示す画像を合成し、合成した画像を表示部４０に表示する。また、制御部２０は、吊荷２００と同様の高さにある物体を検出するため、画像処理を用いて、監視領域Ａ２に明確な輪郭線がないか監視する。制御部２０は、明確な輪郭線があると判定した場合、吊荷２００に干渉する物体があるおそれがあるとして、ブザーに警告音を発生させる。

この監視は、新たな監視領域Ａ２が決定されるまで続ける。なお、本明細書では、吊荷移動領域Ａ１を表示部４０に表示させる工程のことを、オペレータに報知する工程であることから、報知ステップという。

制御部２０は、吊荷移動領域Ａ１と監視領域Ａ２を表示部４０に表示した後、起動ボタンが再度押されていないかを確認する（ステップＳ９）。起動ボタンが再度押されてない場合（ステップＳ９のＮｏ）、ステップＳ１に戻る。そして、再び旋回レバー位置検出センサ１５１、起伏レバー位置検出センサ１５２等からの出力があるまで待機する。これにより、吊荷監視処理を続ける。

一方、起動ボタンが再度押されている場合（ステップＳ９のＹｅｓ）、吊荷監視処理を終了させる。

なお、吊荷監視処理では、ステップＳ４の吊荷２００の移動方向の算出の後に、ステップＳ５の吊荷２００の軌跡の予測を行っているが、吊荷２００の移動方向の算出の前に吊荷２００の軌跡の予測を行っても良い。

また、ステップＳ５の吊荷２００の軌跡の予測で、第一軌跡を第二軌跡の前に求めているが、第一軌跡を第二軌跡の後に求めても良い。短期間軌跡の予測も、同様の順序であっても良い。

一定期間が１０秒、短期間が２秒の例を挙げているが、一定期間よりも短期間が短いことを示す例示であり、この関係を満たす限りにおいて、具体的時間は任意である。

以上のように、実施の形態に係る吊荷監視装置１では、吊荷移動領域決定部２６が、操作レバーが特定の方向に操作されると仮定した場合の吊荷２００の第一軌跡と、操作レバーが特定の方向と反対の方向に操作されると仮定した場合の吊荷２００の第二軌跡とに基づいて吊荷移動領域Ａ１を決定する。このため、吊荷移動領域決定部２６は、操作レバーが特定の方向とその反対の方向の両方向に操作された場合でも、吊荷２００が移動する領域を予測することができる。その結果、吊荷監視装置１は、より正確な吊荷２００の移動先を予測できる。

また、吊荷移動領域決定部２６が決定した吊荷移動領域Ａ１の画像を表示部４０が表示するので、吊荷２００の移動先をオペレータが容易に知ることができる。オペレータによる吊荷２００の移動先の予測を補助することができるので、クレーン作業の安全性が高い。

吊荷移動領域決定部２６が、より短期間の軌跡に基づいて監視領域Ａ２を決定し、障害物検出部２８が、監視領域Ａ２の障害物の有無を監視するので、障害物があったとしても、その回避が容易である。

以上、本発明の実施の形態を説明したが、本発明は上記の実施の形態に限定されるものではない。例えば、上記実施の形態では、第一位置情報テーブル２５５、第二位置情報テーブル２５６は、中立位置から倒されている操作レバーだけが、その直後、操作されることを想定した設定である。しかし、本発明はこれに限定されない。本発明では、中立位置から倒されている操作レバーだけが第一軌跡、第二軌跡の予測対象ではない。中立位置にある操作レバーが操作されることを想定して、第一軌跡、第二軌跡を予測しても良い。

また、実施の形態では、第一位置情報テーブル２５５、第二位置情報テーブル２５６の想定座標が＋１００又は−１００である。換言すると、操作レバーの操作方向に最大、又は反対方向に最大の想定座標である。しかし、本発明はこれに限定されない。想定座標は、操作レバーが操作される可能性のある範囲であれば良く、第一位置情報テーブル２５５の想定座標と第二位置情報テーブル２５６の想定座標の間に予測時現在の操作レバーの座標が位置することが望ましい。さらに、第一位置情報テーブル２５５の想定座標と第二位置情報テーブル２５６の想定座標の間、中央に、予測時現在の操作レバーの座標が位置することがより望ましい。

実施の形態では、ラフテレーンクレーン１００に装備されていることから、旋回レバー、起伏レバー、巻き上げレバーが吊荷２００の軌跡予測で操作されると仮定される操作レバーである。しかし、本発明はこれに限定されない。トラッククレーン等、装備されるクレーンの種類に応じて、軌跡予測で操作されると仮定される操作レバーが実施の形態と異なっていても良い。例えば、伸縮レバーが軌跡予測で操作されると仮定される操作レバーであっても良い。また、旋回レバー、起伏レバー、巻き上げレバー、伸縮レバーのうち、特定の操作レバーだけが、軌跡予測で操作されると仮定される操作レバーであっても良い。この場合、特手の操作レバーは１つだけでも良いし、複数であっても良い。

上記実施の形態では、軌跡予測部２５が、第一位置情報テーブル２５５、第二位置情報テーブル２５６に基づいて、各操作レバーが操作されると想定する座標を決めているが、第一位置情報テーブル２５５、第二位置情報テーブル２５６に基づくか否かは任意である。各操作レバーが操作される想定位置を決めることができれば良いので、例えば、予測時現在の各操作レバーの中立位置からの操作量に対する割合で、各操作レバーの想定位置を決めても良い。

上記の実施の形態では、軌跡予測部２５が、短期間の吊荷２００の軌跡を予測している。また、吊荷移動領域決定部２６がその短期間の吊荷２００の軌跡に基づいて、監視領域Ａ２を決定している。しかし、本発明はこれに限定されない。吊荷監視装置１では、短期間の吊荷２００の軌跡の予測と監視領域Ａ２の決定は任意である。吊荷監視装置１では、軌跡予測部２５が、少なくとも一定期間の吊荷２００の第一軌跡と第二軌跡が予測すれば良い。この場合、吊荷移動領域決定部２６が、少なくとも第一軌跡と第二軌跡に基づいて吊荷移動領域Ａ１を決定し、かつ、表示部４０が、吊荷移動領域Ａ１に基づいて吊荷移動情報を報知すれば良い。ここで、吊荷移動情報とは、吊荷２００の移動方向、移動先の位置、領域等の移動に関する情報のことである。このような形態であっても、吊荷２００の移動先をオペレータに知らせることができる。

上記の実施の形態では、表示部４０が液晶ディスプレイとブザーを備えている。しかし、本発明はこれに限定されない。液晶ディスプレイとブザーは、吊荷移動領域Ａ１に基づいて吊荷移動情報を報知する、或いは、監視領域Ａ２の情報を報知すると良い。このため、液晶ディスプレイとブザーは、例えば、光を点灯、点滅させるランプに置き換えられても良い。なお、監視領域Ａ２の情報とは、監視領域Ａ２の位置、監視領域Ａ２内の物体の有無等、監視領域Ａ２に関する情報のことである。

上記実施の形態では、吊荷位置取得部２３が、画像処理、三角測量の手法により、吊荷２００の座標を求めているが、吊荷２００の座標の具体的な取得手段は任意である。例えば、吊荷監視装置１が変位計又は距離計を備え、それら変位計又は距離計が吊荷２００の座標を求めても良い。吊荷監視装置１が高度計を含む測位計を備え、高度計が吊荷２００のＺ座標、測位計が吊荷２００のＸ座標、Ｙ座標を求めても良い。

上記実施の形態では、制御部２０が障害物検出部２８を備えるが、障害物検出部２８の有無は任意である。また、障害物検出部２８が輪郭線を検出することで、障害物を検出するが、レーザー変位計により、障害物を検出しても良い。

上記実施の形態では、吊荷監視装置１がラフテレーンクレーン１００に装備されているが、吊荷監視装置１はクレーン装置を備える装置、機器全般に適用可能である。例えば、トラッククレーン等の移動式クレーン、タワークレーン、門型クレーン、ケーブルクレーンにも適用可能である。

１…吊荷監視装置、１０…カメラ、２０…制御部、２１…操作情報取得部、２２…ブーム位置取得部、２３…吊荷位置取得部、２４…移動方向算出部、２５…軌跡予測部、２６…吊荷移動領域決定部、２７…画像合成部、２８…障害物検出部、３０…記憶部、４０…表示部、５０…警報部、１００…ラフテレーンクレーン、１０１…走行体、１１０…旋回体、１２０…ブーム、１２１…ブームヘッド、１２２…ロープ、１２３…フック、１３０…ウインチ、１４０…キャビン、１４１…旋回角度検出センサ、１４２…ブーム角度検出センサ、１４３…ブーム長さ検出センサ、１５１…旋回レバー位置検出センサ、１５２…起伏レバー位置検出センサ、１５３…伸縮レバー位置検出センサ、１５４…巻き上げレバー位置検出センサ、２００…吊荷、２３１…測量データ、２５０…ニューラルネットワーク部、２５１…ノード、２５２…入力層、２５３…隠れ層、２５４…出力層、２５５…第一位置情報テーブル、２５６…第二位置情報テーブル、３００…ＣＰＵ、３１０…メモリ、３２０…Ｉ／Ｏポート、Ａ１…吊荷移動領域、Ａ２…監視領域、Ｂ…基準線、Ｃ…重心、θ…重み

Claims (9)

1. クレーン装置のブーム先端部の位置を取得するブーム位置取得部と、
   前記ブーム先端部に吊り下げられた吊荷の位置を取得する吊荷位置取得部と、
   前記ブーム位置取得部が取得した前記ブーム先端部の位置及び、前記吊荷位置取得部が取得した前記吊荷の位置に基づいて、前記クレーン装置を操作するための操作レバーが第一位置にあると仮定した場合の、一定期間の前記吊荷の第一軌跡と、前記操作レバーが前記第一位置とは別の第二位置にあると仮定した場合の、前記一定期間の前記吊荷の第二軌跡とを予測する軌跡予測部と、
   前記軌跡予測部が予測した前記第一軌跡と前記第二軌跡に基づいて吊荷移動領域を決定する吊荷移動領域決定部と、
   前記吊荷移動領域決定部が決定した前記吊荷移動領域に基づいて吊荷移動情報を報知する報知部と、
   を備える吊荷監視装置。
2. 前記軌跡予測部は、前記ブーム位置取得部が取得した前記ブーム先端部の位置及び、前記吊荷位置取得部が取得した前記吊荷の位置に基づいて、前記操作レバーが前記第一位置にあると仮定した場合の、前記一定期間よりも短期間に前記吊荷がたどる第一短期間軌跡と、前記操作レバーが前記第二位置にあると仮定した場合の、前記短期間に前記吊荷がたどる第二短期間軌跡とを予測し、
   前記吊荷移動領域決定部は、前記軌跡予測部が予測した前記第一短期間軌跡及び、前記第二短期間軌跡に基づいて、監視領域を決定し、
   前記報知部は、前記監視領域の情報を報知する、
   請求項１に記載の吊荷監視装置。
3. 前記軌跡予測部は、前記ブーム先端部の位置、前記吊荷の位置及び、前記操作レバーの操作量に対する前記吊荷の将来位置を学習した学習済みモデルを用いて、前記ブーム位置取得部が取得した前記ブーム先端部の位置、前記吊荷位置取得部が取得した前記吊荷の位置及び、前記操作レバーの位置から、前記一定期間又は前記一定期間よりも短期間の、前記吊荷の軌跡を予測する、
   請求項１又は２に記載の吊荷監視装置。
4. 前記吊荷位置取得部が取得した前記吊荷の位置の変化から、前記吊荷の移動方向を算出する移動方向算出部をさらに備え、
   前記吊荷移動領域決定部は、前記移動方向算出部が算出した前記移動方向に基づいて、前記吊荷移動領域を決定する、
   請求項１から３のいずれか１項に記載の吊荷監視装置。
5. 前記吊荷を撮像するカメラをさらに備え、
   前記報知部は、前記カメラが撮像した画像に、前記吊荷移動領域決定部が決定した前記吊荷移動領域を示す画像を重畳して表示する表示部を有する、
   請求項１から４のいずれか１項に記載の吊荷監視装置。
6. 前記吊荷移動領域決定部が決定した前記吊荷移動領域に前記吊荷の移動の障害となる障害物があるか否かを検出する障害物検出部をさらに備え、
   前記報知部は、前記障害物検出部が障害物を検出した場合に、障害物があることを報知する、
   請求項１から５のいずれか１項に記載の吊荷監視装置。
7. 請求項１から６のいずれか１項に記載の吊荷監視装置を備えるクレーン。
8. クレーン装置のブーム先端部の位置を取得するブーム位置取得ステップと、
   前記ブーム先端部に吊り下げられた吊荷の位置を取得する吊荷位置取得ステップと、
   前記ブーム位置取得ステップで取得した前記ブーム先端部の位置及び、前記吊荷位置取得ステップで取得した前記吊荷の位置に基づいて、前記クレーン装置を操作するための操作レバーが第一位置にあると仮定した場合の、一定期間の前記吊荷の第一軌跡と、前記操作レバーが前記第一位置とは別の第二位置にあると仮定した場合の、前記一定期間の前記吊荷の第二軌跡とを予測する軌跡予測ステップと、
   前記軌跡予測ステップで予測した前記第一軌跡と前記第二軌跡に基づいて吊荷移動領域を決定する吊荷移動領域決定ステップと、
   前記吊荷移動領域決定ステップで決定した前記吊荷移動領域に基づいて吊荷移動情報を報知する報知ステップと、
   を備える吊荷監視方法。
9. 請求項８に記載の吊荷監視方法をコンピュータに実行させるためのプログラム。

Images