JP2018115078A - リフトクレーンのための光学検出システム - Google Patents

Abstract

【課題】クレーン構成要素の状態を判定、制御する方法を提供する。【解決手段】クレーンが、下部走行体と、下部走行体上に取り付けられていてブームを含んでいる上部構造体と、ブームから延びているケーブルと、ケーブルに連結されている吊り上げ器具と、光学検出システム１２０と、を含んでいる。光学検出システム１２０は、画像をキャプチャーするように構成されている画像キャプチャーデバイス１４０と、キャプチャー画像内に、吊り上げ器具、ケーブル、吊り上げ器具に連結されている吊り荷、クレーンから離れている物体、及びマーカー、から選択されている１つ又はそれ以上の物体を検出するように構成されている光学検出コンピュータ１２２と、を含んでいる。コンピュータ２２は、更に、１つ又はそれ以上の検出された物体を分析するように、及び当該１つ又はそれ以上の検出された物体の分析に基づいてクレーン構成要素の状態を判定する。【選択図】図４

Description

以下の記述は、光学検出システム及び軌道分析システムを有する吊り上げ車両、例えばクレーン、に関する。

リフトクレーンは、動作中に様々な運動を経験するよう制御されることがある。例えば、リフトクレーンは、概して、下部走行体ユニット及び下部走行体ユニットへ回転可能に取り付けられている上部構造体を含んでいるものである。上部構造体はブームを含んでおり、ブームは、左旋回運動又は右旋回運動を生じさせるために上部構造と共にクレーンの垂直軸を中心に回転可能であり、ブームアップ（起上）運動又はブームダウン（伏倒）運動を生じさせるために水平軸を中心に回転可能であり、また伸縮運動ではブーム軸に沿って伸展可能又は収縮可能である。加えて、ホイストを作動させて吊り荷を上げ下げするようケーブルを巻き取ったり又は繰り出したりすることもできる。

リフトクレーンの動作中は望ましくない状態を回避するべく細心の注意が払われなければならない。望ましくない状態の一つは一般にツー・ブロッキングと称されている。ツー・ブロッキングは、ケーブルに取付けられている吊り上げフック又は吊り上げフックブロックの様な下部ブロックが、ブーム先端部のシーブ、上部ブロック、又はブームの別の部分と接触してしまう点まで上昇させられたときに起こる。この接触はクレーンの特定の構造要素内の応力を増加させ、それにより性能に影響が出て不安定な状態を生じさせることにならないとも限らない。

ツー・ブロッキングが起こる可能性がある又は既に起こってしまったという状況を識別又は分析するのにセンサが使用されることがある。その様なセンサの１つは、ブーム先端又はその付近に配置されている接触センサ又は近接センサである。このセンサは、下部ブロックがセンサに接触してくると当該下部ブロックの存在を検出することができる。ツー・ブロック状況を検出するための別のセンサには、下部ブロックの接近を例えば音波エネルギーセンサ又は赤外線センサによって感知する非接触型センサがあるだろう。しかしながら、これらのツー・ブロック検出センサは、可動部分上に位置決めされていて、機械的干渉及び衝撃を受けやすく、また長期使用に適した耐久性があるわけではない。

別の望ましくない状態は、揺動する吊り荷又は下部ブロックである。これは、吊り荷が下部ブロックへ接続されていて吊り上げ動作中に地表面から浮いているときに起こることがある。揺動は、ブームを動かすときの慣性、振動、風、又は他の類似の力から生じることがある。揺動する吊り荷を解決するために、クレーン操作者はブームを旋回させるか又は揺動が小さくなるまでブームを安定状態に保つように試みようとするのが典型的であろう。しかしながら、このプロセスは時間を消費するし多大な操作者技量を要することもある。

更に別の望ましくない状態は、ケーブルの状態が劣化している場合又は操作者が吊り上げ動作で使用中のケーブルの型式を把握していない場合に起こる。例えば、通常の摩耗及び引裂下にケーブルはほつれ始めることもある。ケーブル状態は目視検査によって検出されているのが現状である。しかしながら、一部の条件では、ケーブル状態は予想されるより速く劣化が進んでいるのに検査まで検出されないままになってしまうこともある。加えて、目視検査は人的エラーを被りやすい。他の例では、ケーブルの型式が操作者に容易に明らかにならないということもある。例えば、ケーブルが合成であるか、ロープであるか、又は他の種類の材料又は構造であるか、が操作者に明白でないこともある。ケーブルの型式は負荷制限の様な吊り上げパラメータに影響を及ぼす。

危険物又は潜在的障害物がクレーンの近傍、特に見込まれる吊り上げ区域内又はブーム及び／又は吊り荷の進行経路内、に在るときにも望ましくない状態が発生することがある。クレーン操作者は、クレーン及び吊り荷の運動を観察している監視人との連絡に頼っているのが現状である。しかしながら、その様な観察及び連絡は的確でなかったり人的エラーを被りやすかったりする。

米国特許出願第１４／９７４，８１２号に記載されていて本願と共同所有されている別のシステムも開発されており、そこではクレーンの周囲の区域の３Ｄ空間の作業空間がモデル化されるようになっている。その様なシステムでは、作業現場を表す座標データと禁止容積を表す障害物データがメモリに記憶される。ブームの場所を表すブームデータもメモリに記憶される。システムは、座標データ、障害物データ、及びブームデータに基づいてブームの運動を制限してブームが禁止容積へ進入してゆかないようにする。しかしながら、その様なシステムでは、作業空間の３Ｄモデル化は、クレーンが通常の使用のために操作される前に行なわれている。

米国特許出願第１４／９７４，８１２号

従って、物体を光学的に検出し、検出された物体の分析に基づいてクレーン構成要素の状態を判定するためのシステム及び方法を提供することが望ましい。加えて、判定された状態に基づいてクレーン動作を制御するのが望ましいであろう。

１つの態様によれば、クレーンが、下部走行体ユニットと、下部走行体ユニット上に取り付けられていてブームを含んでいる上部構造体と、を含んでいる。クレーンは、更に、ブームの自由端から延びているケーブルと、ケーブルに連結されていてブームから吊るされている吊り上げ器具と、光学検出システムと、を含んでいる。光学検出システムは、吊り上げ器具が配置される視野を有するように位置決めされていて画像をキャプチャーするように構成されている画像キャプチャーデバイス、を含んでいる。光学検出システムは、更に、プロセッサ及びコンピュータ可読記憶媒体を有する光学検出コンピュータを含んでおり、当該光学検出コンピュータは、キャプチャー画像内に、吊り上げ器具、ケーブル、吊り上げ器具に連結されている吊り荷、クレーンから離れている物体、及びマーカー、から選択されている１つ又はそれ以上の物体を検出するように構成されている。光学検出コンピュータは、更に、当該１つ又はそれ以上の検出された物体を分析するように、及び当該１つ又はそれ以上の検出された物体の分析に基づいてクレーン構成要素の状態を判定するように、構成されている。

別の態様によれば、クレーンのクレーン構成要素の状態を判定する方法が提供されている。クレーンは、下部走行体ユニットと、下部走行体ユニット上に取り付けられていてブームを含んでいる上部構造体と、ブームの自由端から延びているケーブルと、ケーブルに連結されている吊り上げ器具と、光学検出システムと、を含んでいる。光学検出システムは、吊り上げ器具が配置される視野を有するように位置決めされていて画像をキャプチャーするように構成されている画像キャプチャーデバイス、を含んでいる。光学検出システムは、更に、プロセッサ及びコンピュータ可読記憶媒体を有する光学検出コンピュータを含んでいる。方法は、光学検出コンピュータを用いて、キャプチャー画像内に、吊り上げ器具、ケーブル、吊り上げ器具に連結されている吊り荷、クレーンから離れている物体、及びマーカー、から選択されている１つ又はそれ以上の物体を検出する段階を含んでいる。方法は、更に、光学検出コンピュータを用いて、当該１つ又はそれ以上の検出された物体を分析する段階と、光学検出コンピュータを用いて、当該１つ又はそれ以上の検出された物体の分析に基づいてクレーン構成要素の状態を判定する段階と、を含んでいる。

別の態様によれば、クレーン動作を制御する方法が提供されている。クレーンは、下部走行体ユニットと、下部走行体ユニット上へ取り付けられていてブームを含んでいる上部構造体と、ブームの自由端から延びているケーブルと、ケーブルに連結されている吊り上げ器具と、光学検出システムと、を含んでいる。光学検出システムは、吊り上げ器具が配置される視野を有するように位置決めされていて画像をキャプチャーするように構成されている画像キャプチャーデバイス、を含んでいる。光学検出システムは、更に、プロセッサ及びコンピュータ可読記憶媒体を有する光学検出コンピュータを含んでいる。方法は、光学検出コンピュータを用いて、キャプチャー画像内に、吊り上げ器具、ケーブル、吊り上げ器具に連結されている吊り荷、クレーンから離れている物体、及びマーカー、から選択されている１つ又はそれ以上の物体を検出する段階を含んでいる。方法は、更に、光学検出コンピュータを用いて、当該１つ又はそれ以上の検出された物体を分析する段階と、光学検出コンピュータを用いて、当該１つ又はそれ以上の検出された物体の分析に基づいてクレーン構成要素の状態を判定する段階と、を含んでいる。方法は、更に、クレーン制御システムを用いて、判定された状態に基づいてクレーン動作を制御する段階を含んでいる。

本発明のこれら及び他の特徴及び利点は、付随の特許請求の範囲と併せて以下の詳細な説明から自明であろう。

ここに説明されている或る実施形態によるクレーンの側面図である。 ここに説明されている或る実施形態によるクレーン制御システムのブロック線図である。 ここに説明されている或る実施形態による光学検出システムのブロック線図である。 ここに説明されている或る実施形態による光学検出システム及びクレーン制御システムをひとまとめに示す線図である。 ここに説明されている或る実施形態による、図４の光学検出システムを有するリフトクレーンの側面図である。 ここに説明されている或る実施形態による光学検出システムによってキャプチャーされた画像及び検出された物体の表現である。 ここに説明されている或る実施形態による光学検出システムによって検出された物体を示す表現である。 ここに説明されている実施形態による光学検出システムと共に使用するための異なるマーカーの実施例を示している。 ここに説明されている或る実施形態による、図４の光学検出システムを有するクレーンの側面図であり、視線を示している。 ここに説明されている或る実施形態による光学検出システムによって異なる距離にてキャプチャーされた画像の表現を示している。 ここに説明されている或る実施形態による複数の画像キャプチャーデバイスを有している図４の光学検出システムを有するリフトクレーンの側面図である。 ここに説明されている或る実施形態による光学検出システムによって画像内にキャプチャーされた異なるケーブルの表現である。 ここに説明されている或る実施形態による光学検出システムによってキャプチャーされた画像の上から見た表現である。 ここに説明されている或る実施形態による、横揺れ又は揺動状態にある吊り上げ器具を示す側面図である。 ここに説明されている或る実施形態による、揺動する吊り上げ器具についての終点計算と表示の一例を示す側面図である。 ここに説明されている或る実施形態による光学検出システムの所望される動作区域を示している。 ここに説明されている或る実施形態による、クレーン構成要素の状態を判定する方法を示すブロック線図である。 ここに説明されている或る実施形態による、クレーン動作を制御する方法を示すブロック線図である。

本デバイスは、様々な形式での具現化の余地はあるものの、現時点で好適とされる実施形態が図に示されており、それら実施形態を以下に説明してゆくことにし、ついては本開示はデバイスの一例示と見なされるべきであって示されている特定の実施形態に限定されるものではないことを理解しておきたい。

図１は、クレーン１０の側面図である。クレーン１０は、例えば、限定するわけではないが、オールテレーンクレーン、ラフテレーンクレーン、産業用クレーン、又はブームトラック、を含む移動式クレーンとすることができる。とはいえ、ここに説明されている実施形態は移動式クレーンに限定されない。例えば、本願の実施形態は同様にクローラークレーン又はタワークレーンとされてもよい。

図１を参照して、クレーン１０は、上部構造体１４をその上に支持している下部走行体ユニット１２を含んでいてもよい。１つの実施形態では、下部走行体ユニット１２は、複数の車輪を有する輸送可能な車台であってもよい。上部構造体１４は、限定するわけではないが伸縮式ブーム１６を含むブーム１６を含んでいる。上部構造体１４は、更に、操作者運転室１８を含んでいてもよい。１つの実施形態では、上部構造体１４は下部走行体ユニット１２上に回転可能に取り付けられている。但し、他の実施形態では、下部走行体は、例えば、一例として連続軌道システムを有するクローラークレーンの下部構造又はタワークレーンのタワーであってもよいと理解している。更に、上部構造体は、例えば、一例として格子ブームを含むクローラークレーンの上部構造又はジブ組立体を含むタワークレーンの上部構造であってもよいと理解している。

クレーン１０は、様々なクレーン動作を実施するように構成されている。１つの実施形態では、クレーン動作には、伸縮式ブームの伸展及び収縮（ブームアウト、ブームイン）、ブームの揺動又は旋回（ブームレフト、ブームライト）、ブームの起上及び伏倒（ブームアップ、ブームダウン）、及びホイストのケーブル巻き上げ及び繰り出し（ケーブルイン、ケーブルアウト）が含まれる。クレーン１０は、操作者からの入力に応じてクレーン動作を実施することができる。例えば、操作者は、運転室１８に身を置いて、クレーン動作を制御するための様々なレバー、スイッチ、ノブ、タッチスクリーン制御部、など、を操作することができる。但し、様々なレバー、スイッチ、ノブ、などは、リフトクレーン１０の周りに分散されていてもよく、運転室１８に限定されないものと理解している。

図２を参照して、リフトクレーン１０は、随意的には、クレーン動作を制御するために様々なクレーン構成要素へ動作可能に接続されているクレーン制御システム２０を含んでいる。例えば、クレーン制御システム２０は、上部構造体１４へ動作可能に接続されていて、１つ又はそれ以上のコントローラ又はアクチュエータを制御してブーム旋回動作（即ち、下部走行体ユニット１２上で上部構造体１４を回転させること）、ブームの伸縮、ブームの起伏、及びケーブルの巻き上げ及び繰り出し、を制御させることができる。

クレーン制御システム２０は、中央処理ユニット（ＣＰＵ）及び／又はグラフィックス処理ユニット（ＧＰＵ）の様なプロセッサ又はマイクロプロセッサ２４を有するコンピュータ２２を含んでいる。コンピュータ２２は、更に、プロセッサ２４へ動作可能及び通信可能に接続されているコンピュータ可読記憶媒体２６を含んでいる。コンピュータ可読記憶媒体２６は、非一時的であり、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、プログラマブルメモリ、ハードディスクドライブ、ソリッドステートドライブ、光学式記憶媒体、フラッシュメモリ、又は何れかの他の型式の揮発性又は不揮発性メモリ又はストレージデバイス、とすることができる。コンピュータ可読記憶媒体２６は、プロセッサ２４にプログラム命令を実行又は遂行させるために、また１つの実施形態ではプログラム命令の実行に応じてコンピュータ２２に様々なクレーン動作を制御させるために、コンピュータ２２によって実施されることになるプログラム命令を記憶するように構成されている。１つの実施形態では、コンピュータ２２は、更に、クレーン動作を制御するために様々なクレーン構成要素と関連付けられている１つ又はそれ以上のコントローラ３６を含んでいるか又はコントローラ３６へ動作可能及び通信可能に接続されていてもよい。例えば、１つ又はそれ以上のコントローラ３６は、クレーン動作を制御するために１つ又はそれ以上のモーターの動作を制御することができる。加えて、コンピュータ可読記憶媒体２６は、ネットワークを通じて接続されているコンピュータシステムの間で分散されていてもよく、コンピュータ可読コード又はプログラム命令は非集中的な方式で記憶され実行されるようになっていてもよい。

クレーン制御システム２０は、更に、入力／出力（Ｉ／Ｏ）ユニット２８と、ディスプレイアダプタを介するディスプレイスクリーンの様なユーザーディスプレイ３０と、ユーザー入力インターフェース３２と、を含んでいてもよく、ユーザー入力インターフェース３２は、１つ又はそれ以上のコントローラと、キーボード、マウス、タッチスクリーン又はパッド、マイクロフォン、ジョイスティック、などの様な関連付けられているユーザー入力デバイスと、を含んでいて、Ｉ／Ｏユニット２８へ密接に連結されていてもよい。１つの実施形態では、ユーザー入力デバイス３２及びユーザーディスプレイ３０は、例えばタッチスクリーンディスプレイとして組み合わされていてもよい。クレーン制御システム２０は、更に、クレーン１０についての情報を記録するように、及び当該情報を処理及び／又は記憶のためにコンピュータ２２へ送信するように、構成されている１つ又はそれ以上のセンサ３４を含んでいてもよい。例えば、クレーン１０上の適した位置に配置されている様々なセンサ３４が、ブーム長さ、ブーム角度、ブーム揺動、ホイスト動作、吊り荷、及び圧力を、従来のセンサ及び感知技法を使用して計測するようになっていてもよい。クレーン制御システム２０は、更に、様々なクレーン構成要素と通信するため、及び様々なクレーン構成要素の制御及び運動以外にも上記異なるクレーン動作を制御するために、クレーン動作コントローラ３６の１つ又はそれ以上を含んでいるか又はそれらへ動作可能及び通信可能に接続されていてもよい。制御される運動には、様々な構成要素を停止、始動、阻止、加速、又は減速させること、を含めることができる。以上のクレーン制御システム２０の様々な機構は、コンピュータ２２へ動作可能及び通信可能に接続されていてもよいし、又はコンピュータ２２の一部として実装されていてもよい。

図３を参照して、クレーン１０は、更に、光学検出システム１２０を含んでいる。以下に更に説明されている様に、光学検出システム１２０は、キャプチャー画像内で、クレーン構成要素、吊り荷、マーカー、及びクレーン１０の近傍にあって遠隔に位置する障害物又は物体、の様な様々な物体を検出するように構成されている。次いで、光学検出システム１２０は、検出された物体を分析し、様々な物体の分析に基づいて、検出された物体及び／又はクレーン構成要素のステータス又は状態を判定することができる。１つの実施形態では、以下に更に説明されている様に、クレーン構成要素は、例えば、吊り上げ器具３８、ケーブル４０、吊り上げ器具３８に連結されている吊り荷４４（ここでは負荷時吊り上げ器具４１とも呼称されている）、及びブーム先端部又はシーブ４２、のうちの１つ又はそれ以上であってもよい。例えば、光学検出システム１２０は、吊り上げ器具３８の基準点からの距離を判定することによって下部の吊り上げ器具３８がツー・ブロック状態にあるか、ツー・ブロック状態にないか、又はツー・ブロック状態に近づきつつあるかどうかを判定したり、吊るされている吊り荷４４及び／又は吊り上げ器具３８が動いているかどうかを判定して吊るされている吊り荷４４及び／又は吊り上げ器具３８の軌道に関する情報を提供したり、ケーブル４０の状態、例えば、ほつれや他の摩耗又は損傷の指示、ケーブル４０の基準点から延びている距離又は長さ、ケーブル４０の型式など、を判定したり、遠隔物体４６（図９を参照されたし）又は障害物がクレーン１０の周囲の区域に入っているかどうか、クレーン構成要素と当該遠隔物体４６との相対距離、及びクレーン構成要素から当該遠隔物体４６までの距離、を判定したりすることができる。１つの実施形態では、そこからケーブル４０の距離又は長さが計測されることになる基準点及びそこから吊り上げ器具３８までの距離が判定されることになる基準点は、例えば画像キャプチャーデバイス１４０又はブーム先端部４２であってもよい。他の適した所望のクレーン構成要素又は場所を操作者に選択させることも同様に構想される。

図４を参照して、光学検出システム１２０は、更に、様々なクレーン動作を、例えばクレーン構成要素の判定された状態又はステータスに応じて所望の方式で制御するために、クレーン制御システム２０と通信していてもよい。代替的又は追加的に、光学検出システム１２０は、様々な物体が検出されている及び／又は動いていることを、又はクレーン構成要素又は物体の状態又はステータスを、判定された状態又はステータスに基づき、出力デバイスを介して操作者に注意喚起するようになっていてもよい。注意喚起は、例えば、音声、視覚、又は触覚による注意喚起、例えば振動による注意喚起など、であってもよい。

再度図３を参照して、１つの実施形態では、光学検出システム１２０は、プロセッサ又はマイクロプロセッサ１２４、及びプロセッサ１２４へ動作可能及び通信可能に接続されているコンピュータ可読記憶媒体１２６、を有するコンピュータ１２２を含んでいる。プロセッサ１２４及びコンピュータ可読記憶媒体１２６は、クレーン制御システム２０に関して以上に説明されているプロセッサ２４及びコンピュータ可読記憶媒体２６と同様又は同一のデバイスとして実装されていてもよい。

光学検出システム１２０は、更に、入力／出力（Ｉ／Ｏ）ユニット１２８と、ディスプレイアダプタを介するディスプレイスクリーンの様なユーザーディスプレイ１３０と、ユーザー入力インターフェース１３２と、を含んでいてもよく、ユーザー入力インターフェース１３２は、１つ又はそれ以上のコントローラと、キーボード、マウス、タッチスクリーン又はパッド、マイクロフォン、ジョイスティック、などの様な関連付けられているユーザー入力デバイスと、を含んでいて、Ｉ／Ｏユニット１２８へ密接に連結されていてもよい。１つの実施形態では、ユーザー入力デバイス１３２及びユーザーディスプレイ１３０は、例えばタッチスクリーンディスプレイとして組み合わされていてもよい。光学検出システム１２０は、更に、リフトクレーン１０についての情報を記録するように、及び当該情報を処理及び／又は記憶のために光学検出コンピュータ１２２へ送信するように、構成されている１つ又はそれ以上のセンサ１３４を含んでいてもよい。ここに説明されている光学検出システム１２０の様々な機構は、コンピュータ１２２へ動作可能及び通信可能に接続されていてもよいし、又はコンピュータ１２２の一部として実装されていてもよい。

再度図４を参照して、１つの実施形態では、光学検出システム１２０のコンピュータ１２２は、クレーン制御システム２０のコンピュータ２２相手に、従来の通信プロトコルを使用している送受信機及び受信機の様な従来の通信インターフェースを介して通信するように構成されている。従って、情報は、クレーン制御システム２０のコンピュータ２２と光学検出システム１２０のコンピュータ１２２の間で電子的に通信されることができる。別の実施形態では、クレーン制御システム２０と光学検出システム１２０はリソースを共有してもよい。例えば、クレーン制御システム２０と光学検出システム１２０は、共通のコンピュータ、プロセッサ、コンピュータ可読記憶媒体、（Ｉ／Ｏ）ユニット、入力デバイス、又はディスプレイ、を使用していてもよい。１つの実施形態では、光学検出システム１２０がクレーン制御システム２０へ一体化され、それらが同一物となっていてもよい。１つの実施形態では、クレーン制御システム２０に関して以上に説明されているセンサ３４は、代わりに、光学検出システム１２０の一部であってもよく、而して光学検出システムのコンピュータ１２２へ動作可能及び通信可能に接続されていてもよい。センサ３４から受信される情報は、その後、光学検出システム１２０のプロセッサ１２４及びコンピュータ可読記憶媒体１２６よってそれぞれ処理及び／又は記憶されることになる。

光学検出システム１２０は、更に、限定するわけではないがクレーン構成要素、吊り荷、マーカー、及びクレーン１０の近傍にあって遠隔に位置する障害物又は物体の様な、様々な物体の画像又は映像をキャプチャーするように構成されている画像キャプチャーデバイス１４０を含んでいる。１つの実施形態では、画像キャプチャーデバイス１４０は、デジタルカメラ、ビデオカメラ、ステレオカメラ、ＬｉＤＡＲセンサ、可視光カメラ、紫外線（ＵＶ）カメラ、赤外線（ＩＲ）カメラ、の様なカメラ、及び物体認識のために画像又は一連の画像をキャプチャーすることのできる他の適切なデバイス、とすることができる。１つの実施形態では、画像キャプチャーデバイス１４０は、固定視野性能及び／又は動的ズーム性能を備えて構成されている。画像キャプチャーデバイス１４０は、画像キャプチャーデバイス１４０によってキャプチャーされた画像又は映像を光学検出コンピュータ１２２へ送信しプロセッサ１２４による処理のためにコンピュータ可読記憶媒体１２６に記憶させることができるように、コンピュータ１２２へ動作可能及び通信可能に接続されている。１つの実施形態では、画像キャプチャーデバイス１４０と光学検出コンピュータ１２２は一ユニットとして実装されていてもよい。画像キャプチャーデバイス１４０は、単数として言及されているが、互いへ接続されている上記画像キャプチャーデバイスの１つ又はそれ以上を指す場合もあると理解している。例えば、画像キャプチャーデバイス１４０は、何れかの個別画像キャプチャーデバイス１４０の視野を超える視野にわたって画像をキャプチャーするために、上記画像キャプチャーデバイスを２つ以上含んでいる場合もある。

１つの実施形態では、光学検出システム１２０、特に光学検出コンピュータ１２２は、画像キャプチャーデバイス１４０によってキャプチャーされた画像内に様々な物体を検出することができる。光学検出コンピュータ１２２は、キャプチャー画像内のその様な物体の１つ又はそれ以上を、光学検出システム１２０のコンピュータ可読記憶媒体１２６に記憶されている従来の物体認識ソフトウェアを使用して検出することができる。従来の物体認識ソフトウェアは、キャプチャーされた画像又は映像内の物体を検出する又は差別化するための、当業者に理解されている従来の物体検出方法又はアルゴリズムを使用していてもよい。１つの実施形態では、光学検出コンピュータ１２２は、明るさの不連続性を使用する稜線検出の様な認識アルゴリズムを使用している物体認識ソフトウェアを介して物体を検出するようになっていてもよい。但し、本開示はその様な検出技法に限定されるものではなく、ここに説明されている光学検出システム１２０と共に使用するための他の物体検出又は認識技法も構想されると理解している。従って、１つの実施形態では、光学検出システム１２０は、キャプチャー画像内で、画像内のキャプチャーされた物体に対応している稜線、形状、外形、色、パターン、などを検出することができる。

１つの実施形態では、光学検出コンピュータ１２２によって検出される物体は、マーカー１４２又は目標（例えば図８を見られたし）であってもよい。キャプチャー画像内の容易に視認可能なマーカー１４２の検出は、マーカー１４２が配置されているクレーン構成要素又は他の物体の検出を支援することができる。マーカー１４２は、例えば、水平又は十字の線の様なパターン、物体を背景から見分けるための特定の色を有する被覆、固有の形状、光、周囲から見分けることのできる固有識別子、又はそれらの何らかの組合せ、とすることができる。例えば、マーカー１４２は、蛍光マーカー、反射マーカー、又は背景に対するコントラストを増加させる他の視認性の高いマーカーであってもよい。マーカー１４２は、クレーン構成要素、吊り荷、又は遠隔に位置する物体の様な物体上に配置させることができる。従って、一部の実施形態では、マーカー１４２を検出することによって、光学検出システム１２０は更にマーカー１４２が配置されている物体を検出することができる。

代替的又は追加的に、光学検出コンピュータ１２２は、時間に対して撮られた一連のキャプチャー画像の分析を経て物体を検出するようになっていてもよい。一連のキャプチャー画像が互いと比較され、物体は光学検出コンピュータ１２２によって、例えばキャプチャー画像の中に識別される形状又は色の位置の変化を識別することにより検出されることになる。例えば、画像キャプチャーデバイス１４０に向かう運動又は画像キャプチャーデバイス１４０から離れる運動を示唆する認識の変化は、物体の存在を示唆するものであろう。また、画像キャプチャーデバイス１４０の視野を横切る運動は物体の存在を示唆するものであろう。従って、光学検出コンピュータ１２２は、一連のキャプチャー画像の分析に応じてその様な物体を検出することができる。ここに説明されている物体認識技法は独立に使用されてもよいし、又は互いと組み合わせて使用されてもよいものと理解している。

光学検出コンピュータ１２２は、更に、画像キャプチャーデバイス１４０によって画像内にキャプチャーされた物体を分析することができる。１つの実施形態では、光学検出コンピュータ１２２は、以上に説明されている検出された物体を分析する。光学検出コンピュータ１２２は、キャプチャーされた一画像、複数画像、又は映像内の物体を分析して、例えば、キャプチャー画像内に検出されている特定の物体を識別したり、検出された物体の位置又は相対位置を識別したり、又は物体が動いているかどうかを判定したりすることができる。１つの実施形態では、分析は、例えば、キャプチャー画像を記憶画像と比較すること、キャプチャー画像内の検出された物体を記憶画像内の既知の物体と比較すること、及びキャプチャー画像内の物体の検出されたサイズ、形状、又は色を記憶画像内の物体のサイズ、形状、又は色と比較すること、を含んでいてもよい。分析は、更に、検出された物体の既定の区分にわたって延びているピクセルの数又は検出された物体とキャプチャー画像内の基準点の間に延びているピクセルの数の分析、又は検出された物体に対するキャプチャー画像内のピクセル位置を識別すること、を含んでいてもよい。キャプチャー画像内の基準点は、例えば、画像の中の固定点、画像キャプチャーデバイス１４０の視野の中のクレーン上の事前に選択されている点、又はキャプチャー画像内の別の検出された物体であってもよい。以上に説明されている分析は実施例として供されているものであり、キャプチャー画像と記憶画像の間での異なった比較を含む他の分析が同様に光学検出コンピュータ１２２によって実施されてもよいものと理解している。

１つの実施形態では、画像キャプチャーデバイス１４０の位置が既知である場合、光学検出コンピュータ１２２は検出された物体を分析して検出された物体の位置を判定することができる。例えば、光学検出コンピュータ１２２は、検出された物体のピクセル位置又は検出された物体の選択された部分のピクセル位置に基づいて位置をルックアップすることができる。別の実施形態では、物体が検出され画像キャプチャーデバイス１４０の中心線に対して特定の角度にあると判定された場合、当該特定の角度に対応している位置を表が与えるようになっていてもよい。また、検出された物体の、画像キャプチャーデバイス１４０又はクレーン構成要素（例えば、ブーム先端部のシーブ又は先端）に対する位置、距離、及び／又は角度を判定するのに既知の幾何学的関数及び三角関数を使用することもできるであろう。

１つの実施形態では、検出された物体を識別するために、光学検出コンピュータ１２２は、キャプチャー画像又はキャプチャー画像内の検出された物体を、既知の物体をその中に有している記憶画像又は既知の物体単独の記憶画像と比較することができる。１つの実施形態では、例えば、検出された物体の形状、サイズ、色、又はパターンのうちの１つ又はそれ以上が、既知の物体の形状、サイズ、色、又はパターンのうちの１つ又はそれ以上と比較されてもよい。更にキャプチャー画像内の検出された物体の位置が記憶画像内の既知の物体の位置と比較されてもよい。光学検出コンピュータ１２２が、検出された物体は記憶された物体に一致していることを見出せば、光学検出コンピュータ１２２は、次いで、検出された物体を記憶されている既知の物体に対応しているとして識別することができる。例えば、検出された物体が記憶されている吊り上げ器具画像に一致することが判明すれば、光学検出コンピュータ１２２は検出された物体を吊り上げ器具であるとして識別することができる。同様に、検出されたマーカー１４２が記憶されているマーカーに一致していると判明すれば、光学検出コンピュータ１２２は検出されたマーカー１４２を特定の既知のマーカーであるとして識別することができる。

１つの実施形態では、記憶画像内の既知の物体は、それと関連付けられている追加情報がメモリ１２６に記憶されていてもよい。従って、検出された物体が既知の物体に対応しているとして識別されると、追加情報もまた、検出され今や識別済みの物体と関連付けることができる。追加情報は、限定するわけではないが、製品の型式及び識別情報、位置情報、寸法、重量、サービス情報、及び／又は他のクレーン構成要素の様な他の物体との関連付け、を含んでいてもよい。例えば、既知のマーカーは、それと関連付けられている追加情報として、既知のマーカーが吊り荷４４と関連付けられることを指示する追加情報を有していてもよい。追加情報は、更に、吊り荷４４の重量を含んでいてもよい。而して、検出されたマーカー１４２が既知のマーカーに対応しているとして識別されれば、光学検出コンピュータ１２２は、次いで、検出されたマーカー１４２を吊り荷と関連付け、マーカー１４２が配置されている物体を吊り荷として識別し、吊り荷の重量をメモリから取り出し、及び／又は吊り荷の重量をクレーン制御システム２０へ提供することができる。

１つの実施形態では、検出された物体が動いているかどうかを判定するために、光学検出コンピュータ１２２は、順次的にキャプチャーされた画像を分析し、各画像内の検出された物体の位置を（例えば、ピクセル位置によって）比較及び識別することができる。従って、検出された物体の位置の変化が検出されると、検出された物体が動いているかどうかが判定されることになる。これから、光学検出コンピュータ１２２は、物体の軌道、運動の方向、速度、及び／又は加速度を判定及び／又は予測することができる。つまり、光学検出コンピュータ１２２は、画像又は映像のフレームを時間の関数として分析して、物体の先のステータスと現在のステータスを判定し、連続する軌道又は進路を予測することもできる。これらの判定は、次いで、クレーン制御システム２０へ通信されてもよい。図４に示されている様に、クレーン制御システム２０は、次いで、光学検出コンピュータ１２２から受信される判定に基づいて所望の方式で１つ又はそれ以上のコントローラ３６を制御することによって、補正的又は補償的クレーン動作を実施することができる。

１つの実施形態では、光学検出コンピュータ１２２は、下部のフックブロックの様な下部の吊り上げ器具３８が、ツー・ブロック状態（即ち、下部の吊り上げ器具が上部の吊り上げ器具又はブーム先端部４２と接触した状態）にあるか、ツー・ブロック状態にないか、又はツー・ブロック状態に近づいているかどうかを判定するように構成されている。従って、光学検出コンピュータ１２２は、非機械式のアンチ・ツー・ブロック機能を提供することができる。例えば、図５に示されている様に、クレーン１０は、ケーブル４０に吊るされている吊り上げ器具３８を含んでいてもよい。吊り上げ器具３８は、１つの実施形態では、吊り上げられるべき吊り荷４４に係合するように構成されている。１つの実施形態では、画像キャプチャーデバイス１４０は、ブーム１６の遠位端のブーム先端部４２又はその付近に取り付けられていてもよい。画像キャプチャーデバイス１４０は、吊り上げ器具３８に向かって方向決めされていて、吊り上げ器具３８を含む視野で画像をキャプチャーするように構成されている。

図６は、画像キャプチャーデバイス１４０によってキャプチャーされた画像の描写である。光学検出コンピュータ１２２は、キャプチャー画像を分析してキャプチャー画像内で１つ又はそれ以上の物体を検出することができる。例えば、光学検出コンピュータ１２２は、図６に示されている様に、キャプチャー画像内で吊り上げ器具３８を検出することができる。１つの実施形態では、光学検出コンピュータ１２２は、随意的には、物体の周りの区域Ａ_１、Ａ_２、Ａ_ｉ．．．を定義しており、更なる画像分析は当該の定義されている区域に限定されることになる。代替的又は追加的に、光学検出コンピュータ１２２は、図７に示されている様に、区域Ａ_２内に吊り上げ器具３８に接続されている吊り荷４４の存在を検出し、及び／又は区域Ａ_３内に吊り上げ器具３８と吊り荷４４をひとまとめに検出することができる。理解されている様に、１つの実施形態では、吊り荷４４が吊り上げ器具３８に連結されている場合、吊り上げ器具３８と吊り荷４４は単一物体又は単一クレーン構成要素と見なされていてもよく、また以上に指摘されている様にここでは負荷時吊り上げ器具４１と呼称されることもある。

画像キャプチャーデバイス１４０は、光学検出コンピュータ１２２を介して、以上に説明されている技法の何れか又は当業者によく知られている他の適した技法を使用して吊り上げ器具３８を検出することができる。例えば、エッジ認識アルゴリズムが適用されてもよいし、及び／又は吊り上げ器具３８は容易に見分けることのできるマーカー１４２が提供されていてもよい。

図８を参照して、ここに説明されている実施形態では、異なるマーカー１４２を光学検出コンピュータ１２２によって検出することもできる。１つの実施形態では、以上に詳述されている様に、マーカー１４２は、キャプチャー画像を分析する際に光学検出コンピュータ１２２によって識別させることができる固有の形状、固有の色、見分けることのできるパターン、光、周囲との見分けのつく固有識別子、又はそれらの何らかの組合せ、とすることができる。但し、ここに説明されている実施形態は、これらのマーカー１４２に限定されず、画像キャプチャーデバイス１４０によってキャプチャーされ光学検出コンピュータ１２２によって認識され得る際立って特徴的な表示を提供する他の適したマーカーも同様に構想される。

１つの実施形態では、１つ又はそれ以上のマーカー１４２は、更に、光学検出コンピュータ１２２による吊り荷検出を支援するために吊り荷４４の様な物体上に配置されてもよい。１つの実施形態では、光学検出コンピュータ１２２は、以上に詳述されている方式で、コンピュータ可読記憶媒体１２６に記憶されている既知のマーカーをキャプチャー画像と比較することができる。記憶されているマーカーの１つに一致しているマーカー１４２がキャプチャー画像内に見つけられると、光学検出コンピュータ１２２は、例えば既知のマーカーと関連付けられている追加情報により、吊り荷が存在していると判定することができる。代替的又は追加的に、以上に説明されている様にマーカー１４２ひいては物体（例えば吊り荷）は、従来のパターン認識アルゴリズムを使用して識別されることになる。

また、以上に説明されている複数の検出方法は一体に使用されてもよいし又はセンサから受信される他の情報と共に使用されてもよい。例えば、圧力センサがケーブル４０に支持されている吊り荷４４を検出するようになっていてもよい。この情報が以上の検出方法と併せて使用されて、吊り上げ器具３８又は吊り荷４４の存在が確証されるようになっていてもよい。更には、操作者が吊り上げ器具３８及び／又は吊り荷４４の存在を確証するための入力をコンピュータ１２２へ提供するようにしてもよい。加えて、光学検出コンピュータ１２２又はクレーン制御システム２０は、光学検出システム１２０によって検出され又は判定された吊り荷４４についての情報を、予想吊り荷に又は圧力センサ又は他の適した技法を介してクレーン制御システム２０によって検出された吊り荷と比較するようになっていてもよい。別の実施形態では、圧力センサ又は他の適した技法によって検出された吊り荷が予想吊り荷と比較されてもよい。クレーン制御システム２０は、予想吊り荷が検出された又は計測された吊り荷と相違する場合は注意喚起を提供するようになっていてもよい。

図９は、画像キャプチャーデバイス１４０によって画像内にキャプチャーさせることのできる物体の一例を示している。その後、物体は、以上に説明されている様に光学検出コンピュータ１２２によって検出されることになる。例えば、図９を参照して、破線矢印として示されている視線Ｌ１、Ｌ２によって指示されている様に、画像キャプチャーデバイス１４０は、画像内に、画像キャプチャーデバイス１４０の視野の中に位置している、吊り上げ器具３８及び人物の様な遠隔に位置する別の物体４６をキャプチャーすることができる。キャプチャー画像が光学検出コンピュータ１２２によって分析され、物体が検出されることになる。例えば、光学検出コンピュータ１２２は、ケーブル４０上に配置されている吊り上げ器具３８及びクレーン１０の近傍に位置する人物の様な他の物体４６を検出することができる。

加えて、ブーム先端部４２と吊り上げ器具３８又は他の物体の間の距離「Ｄ」が光学検出コンピュータ１２２によって測定又は計算されるようになっていてもよい。図１０は、キャプチャー画像内の認識される第１のサイズを有している吊り上げ器具３８の図である。第１のサイズＳ１は、第１の距離から視認した場合のサイズに対応するものである。図１０は、更に、画像キャプチャーデバイス１４０によって画像内にキャプチャーされたものとしての、認識される第２のサイズＳ２を有する吊り上げ器具３８の表現も示している。第２のサイズＳ２は、第２の距離から視認した場合の吊り上げ器具３８のサイズに対応している。つまり、吊り上げ器具３８のサイズの認識は、吊り上げ器具３８が位置決めされている画像キャプチャーデバイス１４０からの距離に基づくわけである。第１のサイズと第２のサイズの間の比を使えば、画像キャプチャーデバイス１４０からの距離を判定することができる。例えば、１つの実施形態では、対応する既知の認識されるサイズと関連付けられている２つの距離がクレーン制御システム２０へ入力され、他の距離が内挿又は外挿されてもよい。別の実施形態では、距離は、キャプチャー画像内のピクセルサイズに対応しているスケールを割り当てること、及びキャプチャー画像内のピクセルを数えること、によって計算されてもよい。１つの実施形態では、吊り上げ器具３８の画像キャプチャーデバイス１４０からの距離は、吊り上げ器具３８からブーム先端部４２までの距離と実質的に同じである。吊り上げ器具３８とブーム先端部４２の間の距離を判定することによって、ツー・ブロック状態に近づいていることを検出することができる。例えば、判定された距離が記憶されている又は入力された既定閾値距離より小さければ、光学検出コンピュータ１２２は、ツー・ブロック状態の公算が不適切にも高いと判定することができる。代替的又は追加的に、判定された距離と閾値距離との比較は、判定された距離が閾値距離に近づいてゆき閾値距離の既定距離に入れば、ツー・ブロック状態に近づいていることを指示することになる。また、判定された距離が閾値距離を既定量だけ超えていれば、吊り上げ器具３８はツー・ブロック状態にないと判定されることになる。

別の実施形態では、ブーム先端４２又は画像キャプチャーデバイス１４０と吊り上げ器具３８の間の距離を計算するというのではなしに、以下に説明されている様に、第１のサイズＳ１と第２のサイズＳ２の比が光学検出コンピュータ１２２によって使用されて、吊り上げ器具３８のブーム先端部４２又は画像キャプチャーデバイス１４０に対する近接度又は相対距離が判定されることになる。１つの実施形態では、第１のサイズＳ１と第２のサイズＳ２は、物体の選択された部分での寸法、例えば吊り上げ器具３８の中心線での幅であってもよい。１つの実施形態では、サイズは、光学検出コンピュータ１２２によって、例えばキャプチャー画像内の物体の選択された部分での線に沿ったピクセル数として、判定されてもよい。１つの実施形態では、第１のサイズは、ブーム先端４２又は画像キャプチャーデバイス１４０からの閾値距離、即ちブーム先端部４２又は画像キャプチャーデバイス１４０から吊り上げ器具３８までの最小許容距離、での吊り上げ器具３８のサイズに対応していてもよい。第１のサイズＳ１対第２のサイズＳ１の比が１より大きければ、吊り上げ器具はツー・ブロック状態にないことが示唆される。比が１に等しい場合は、吊り上げ器具３８は画像キャプチャーデバイス１４０からの閾値距離にあると判定される。比が１より小さければ、光学検出コンピュータは、ツー・ブロッキング状態の公算が不適切にも高い又はツー・ブロッキング状態にあると判定することになる。吊り上げ器具がツー・ブロッキング状態にあるか、ツー・ブロッキング状態にないか、又はツー・ブロッキング状態に近づいているかどうかを判定するのに、他の適した比の値が使用されてもよいものと理解している。

他の距離が、同様に、認識計算によって判定されてもよい。例えば、離間されているクレーン構成要素間の距離、物体間の距離、又は吊り上げ器具３８の上面の総サイズ又は表面積が更に判定されてもよい。クレーン構成要素と遠隔に位置する物体４６との間の距離が更に判定されてもよい。

図１１を参照して、１つの実施形態では、複数の画像キャプチャーデバイス１４０が、リフトクレーン１０上の異なる場所に位置決めされていてもよい。例えば、画像キャプチャーデバイス１４０は、ブーム１６に沿って、又は運転室１８上に、又は下部走行体ユニット１２の前端に、位置決めされていてもよい。これらの画像キャプチャーデバイス１４０は、吊り上げ器具３８及び／又は吊り荷４４（図７）の画像又は映像をキャプチャーするように吊り上げ器具３８及び／又は吊り荷４４に向かって方向決めされていてもよいし、所望に応じ異なる区域に、又は異なるクレーン構成要素に、又は異なる物体に、方向決めされていてもよい。１つの実施形態では、吊り上げ器具３８とブーム先端４２の間の距離の計算は、他の画像キャプチャーデバイス（即ち、ブーム先端に位置決めされていないもの）によってキャプチャーされた画像に基づいて実施されていてもよい。計算は、例えば、画像キャプチャーデバイス１４０からの異なる距離にて異なるサイズが認識されるという上述の方法を使用することによって実施されていてもよい。また、異なる画像キャプチャーデバイス１４０からキャプチャーされた画像を使用して計測された距離を、ブーム先端の画像キャプチャーデバイス１４０によってキャプチャーされた画像に基づいて計算された距離に照らしてクロスチェックし、システムが正しく機能していることを確証するようにしてもよい。

吊り上げ器具３８が検出されていて、吊り上げ器具３８の、ブーム先端４２、画像キャプチャーデバイス１４０、又は他のクレーン構成要素までの距離が既知である場合、光学検出システム１２０はクレーン制御システム２０と協働して、ツー・ブロッキング状態の公算を回避又は制限することができる。例えば、閾値距離は、光学検出システム１２０又はクレーン制御システム２０のコンピュータ可読記憶媒体２６、１２６に記憶されていてもよい。距離「Ｄ」は、光学検出コンピュータ１２２によって定期的な時間間隔にて計算され、続いて、記憶されている閾値距離と比較されてもよい。

計算された距離が閾値距離に等しい場合、クレーン制御システム２０はクレーン動作を制御して、吊り上げ器具３８のブーム先端部４２又は他のクレーン構成要素へのそれ以上の近づきを実質的に制限又は阻止させることができる。例えば、クレーン制御システム２０は、ホイスト（図示せず）の動作を制御して、ケーブル４０の更なる巻き上げ又は巻き取りをロックアウトする又は阻止することができる。クレーン制御システム２０は、更に、吊り上げ基部３８のブーム先端４２への近づきを生じさせるはずのブームの伸縮（即ちブーム伸展）を制御することもできる。吊り上げ器具３８とブーム先端４２の間の閾値距離が満たされたとき、例えばクレーン制御システム２０はブーム伸展動作の操作をロックアウトして、操作者がブーム１６を伸展させることができないようにしてもよい。代替的又は追加的に、以上に論じられている注意喚起の１つ又はそれ以上を通じて、クレーン操作者が検出された状態を注意喚起されるようになっていてもよい。

更に、吊り上げ器具３８とブーム先端４２の間の閾値距離が満たされるか又は閾値距離が近迫している場合、クレーン制御システム２０は補正的又は補償的な措置を講じるようになっていてもよい。例えば、クレーン制御システム２０はホイストを制御して、ホイストにケーブル４０の既定の長さを繰り出させるようにしてもよいし、又は伸縮ブーム１６を制御して閾値距離を維持するべく既定距離だけ引き込ませるようにしてもよい。補正的措置は、例えば、吊り荷が吊り上げ器具３８に取り付けられているか否かに基づいて決められてもよい。以上の実施例は閾値距離に言及しているが、これらの実施例は、更に、相対距離を認識されるサイズＳ１、Ｓ２の比に基づいて判定するという上記実施形態に適用されてもよいものと理解している。

１つの実施形態では、以上に指摘されている様に、検出される物体は、クレーン１０から遠隔に位置しているがなおも画像キャプチャーデバイス１４０の視野の中にある遠隔物体４６であってもよい。その様な物体は、例えば、作業機材、供給品、従業員、又は作業現場に典型的に見られる他の物体であってもよい。１つの実施形態では、吊り上げ器具３８に連結されていない吊り荷４４も同様に遠隔物体４６となり得る。光学検出コンピュータ１２２は、遠隔物体４６を分析し、遠隔物体４６のクレーン１０に対する位置、また１つの実施形態ではクレーン構成要素に対する位置、を判定することができる。相対位置は、例えば、吊り上げ器具３８、ケーブル４０、又は負荷時吊り上げ器具４１の様な特定のクレーン構成要素からの距離又は画像キャプチャーデバイス１４０からの距離であってもよく、例えば光学検出コンピュータ１２２を用いたキャプチャー画像内のピクセルの分析によって判定されてもよい。光学検出システム１２０に記憶されている表が、例えばキャプチャー画像内の各ピクセルに関係するスケール情報を含んでいてもよい。スケール情報は、画像キャプチャーデバイス１４０の位置に依存して変わっていてもよい。距離は、また同様に、クレーン制御システム２０へ入力されている必要な位置データを用いて幾何学的に計算されてもよい。

別の実施形態では、光学検出コンピュータ１２２は、クレーン構成要素の様な検出された物体の遠隔物体４６に対する位置を監視することができる。クレーン制御システム２０は、１つ又はそれ以上のクレーン構成要素の動作を、遠隔物体４６の１つ又はそれ以上のクレーン構成要素に対する位置又は距離に基づいて制御することができる。例えば、クレーン制御システム２０は、遠隔物体４６からの既定距離内でクレーン構成要素を動かしてしまうことになるクレーン構成要素の動作を回避することができる。１つの実施形態では、クレーン制御システム２０は、遠隔物体４６から遠ざかるようにクレーン構成要素を制御することができる。また一方、別の実施形態では、遠隔物体４６が例えば光学検出コンピュータ１２２又はユーザー入力によって連結されていない吊り荷４４であるとして識別されれば、クレーン制御システム２０は、連結されていない吊り荷４４付近の構成要素を、吊り上げ器具３８への連結に向けて位置決めするように又は吊り荷４４が吊り上げ器具３８から取り外された後なら連結されていない吊り荷から遠ざけて位置決めするように、クレーン構成要素の動作を制御することができる。

図１２は、ここに説明されている或る実施形態による、画像キャプチャーデバイス１４０によってキャプチャーされた画像の表現であり、異なるケーブル型式を示している。図１３は、ここに説明されている或る実施形態による、画像キャプチャーデバイス１４０によってキャプチャーされた画像であって、ブーム先端部４２又はその付近に取り付けられている画像キャプチャーデバイス１４０の視点から見たケーブル４０上の吊り上げ器具３８の画像の表現である。

図１２及び図１３を参照して、光学検出システム１２０は、ケーブル４０の画像をキャプチャー及び分析して、例えばケーブル又はロープの型式、サイズ、及び状態を判定することができる。ケーブル４０のキャプチャー画像はコンピュータ１２２によって分析されてもよい。ケーブル４０の型式は、例えばキャプチャー画像を既知の型式のケーブルの記憶画像と比較することによって判定されてもよい。代替的又は追加的に、ケーブル４０の画像は、検査又は確証のためにディスプレイ３０、１３０を介して操作者に表示されてもよい。ケーブル４０は、例えば、金属ケーブル、ロープ、合成媒体、懸垂手段、又は他の適した吊り上げ媒体とすることができる。

異なる型式のケーブル４０は、クレーン制御システム２０及び／又は光学検出システム１２０のコンピュータ２２、１２２に記憶されている異なる動作パラメータを有していてもよい。例えば、第１の型式のケーブル４０は、第１の荷重制限と関連付けられており、方や第２の型式のケーブル４０は第２の荷重制限と関連付けられていてもよい。検出されたケーブル４０は光学検出コンピュータ１２２によって分析されて、検出されたケーブルが既知のケーブルに対応しているとして識別されるようになっていてもよい。次いで、検出されたケーブル４０には既知のケーブルの異なる動作パラメータが関連付けられることになる。

従って、クレーン制御システム２０は、検出された型式のケーブル４０と関連付けられている荷重制限に基づいてクレーン動作を制御することができる。例えば、吊り上げ器具３８に取り付けられている吊り荷が検出されたケーブル４０と関連付けられている荷重制限を超過していると判定されれば、クレーン制御システム２０は、ホイストによるケーブル４０のそれ以上の巻き上げをロックアウトして吊り荷が吊り上げられないようにしてもよい。同様に、ブームアップ及びブーム伸展の操作をクレーン制御システム２０によってロックアウトして、吊り荷４４の吊り上げが阻止されるようにしてもよい。物体認識技法を使用しているケーブル型式判定のための他の従来方法も同様に使用することができる。

また、光学検出コンピュータ１２２は、ケーブル４０のキャプチャー画像を分析して、例えば、ほつれ、不完全さ、又はケーブル４０の性能に悪影響を及ぼしかねない他のケーブル状態、を検出することもできる。ケーブル状態は、例えばコンピュータ１２２が検出されたケーブル４０のキャプチャー画像を、動作にとって適した状態又は好適な状態にあるケーブルの記憶画像と比較することによって検出することができる。物体認識技法を使用している従来方法がまた同様に実施されてもよい。ケーブル４０が、光学検出コンピュータ１２２によって、ほつれ、不完全さ、などを有していると判定されれば、その様な判定がクレーン制御システム２０へ通信され、するとクレーン制御システム２０は、ほつれた又は不完全なケーブル４０によって影響を受けてしまうことになるクレーン動作をロックアウトすることができる。例えば、ホイストの巻き上げ動作、ブームアップ、及びブーム伸展の動作がロックアウトされることになる。

加えて、吊り上げ器具３８とブーム先端４２の間の距離を判定するのに、ケーブル４０の物体検出が光学検出コンピュータ１２２によって使用されてもよい。例えば、図１３を参照して、光学検出コンピュータ１２２は、画像キャプチャーデバイス１４０からの異なる距離にて異なるケーブル直径又は異なるケーブル厚さを検出することができる。つまり、例えば、上から見て、画像キャプチャーデバイス１４０によってキャプチャーされたケーブル４０の画像は、画像キャプチャーデバイス１４０に近い位置例えばブーム先端部４２又はその付近ではより大きい直径又は厚さを有しているケーブル４０を、また画像キャプチャーデバイス１４０から遠い別の位置例えば吊り上げ器具３８では縮小された直径又は厚さを有しているケーブル４０を、示すことであろう。認識される直径又は厚さの変化と距離との関係性の様な或る特定の既知の情報を用いれば、厚さ又は直径の比を使用して吊り上げ器具３８のブーム先端４２に対する距離又は相対距離を計算することができる。この計算された距離が、上述の様に吊り上げ器具３８とブーム先端部４２又は画像キャプチャーデバイス１４０の間の閾値距離と比較されて、ツー・ブロック条件の公算が回避又は低減されるようにしてもよい。

図１４は、揺動状態にある吊り上げ器具３８及びケーブル４０の一例を示している。慣性、重力、風、又はブーム運動の様な、様々な要因が吊り上げ器具３８を揺動させることがある。１つの実施形態では、以上に説明されている様に、光学検出コンピュータ１２２は、一連のキャプチャー画像内の検出された物体を分析して物体が動いているかどうかを判定することができる。従って、１つの実施形態では、光学検出コンピュータは、更に、例えば揺動している吊り上げ器具３８及び／又は吊り上げ器具３８に取り付けられている吊り荷、を検出するように構成されている。１つの実施形態では、吊り上げ器具３８の様な検出された物体の所望の又は予想される場所Ａ_{ｄｅｓｉｒｅｄ}が実際の場所Ａｌと比較されて、検出された物体が揺動しているかどうかが判定されることになる。

光学検出コンピュータ１２２は、ここに説明されている或る実施形態によれば、任意の所与の時点での吊り上げ器具３８又は負荷時吊り上げ器具４１の軌道を分析するように構成されている。１つの実施形態では、吊り上げ器具３８の軌道を判定するために、コンピュータ１２２は、以上に説明されている物体認識技法を使用して、吊り上げ器具３８の先にキャプチャーされた画像と吊り上げ器具３８の現在又は直近の画像との比較を実施する。コンピュータ１２２は、物体即ち吊り上げ器具３８を識別すると、時間に対する吊り上げ器具３８の位置に基づいて吊り上げ器具３８の動きを判定することができる。従って、コンピュータ１２２は、所与の時間に亘る速度及び加速度、吊り上げ器具３８の運動の方向、及びその現在のベクトル、を計算することができる。揺動している負荷時吊り上げ器具４１又はキャプチャー画像内に検出される他の動いている物体について同様の計算が光学検出コンピュータ１２２によってなされてもよい。その様な情報は、操作者が見るためのディスプレイユニット３０、１３０へ出力されてもよい。

図１５を参照して、光学検出コンピュータ１２２は、更に、吊り上げ器具３８及び／又は吊り荷４４の揺動経路の終点４８を予測することができる。例えば、光学検出コンピュータ１２２は、揺動している吊り上げ器具３８及び／又は吊り荷４４を振り子の様な動きをすると考えてもよい。吊り上げ器具３８又は吊り荷４４の距離、加速度、及び速度が、以上に詳述されている様に判定されることになる。次いで、当該距離、加速度、及び速度に基づいて、揺動している吊り上げ器具３８又は吊り荷４４の予測される終点４８が光学検出コンピュータ１２２によって判定されることになる。速度は、例えば以上に説明されている物体認識方法を使用して、吊り上げ器具３８又は吊り荷４４の経時的な水平方向変位を計測することによって計算することができる。予測される終点４８は、操作者が見るためのディスプレイ３０、１３０へ出力されてもよい。以上に説明されている軌道及び終点の分析は、例えば限られた作業空間では衝突を回避するうえで有用であろう。

１つの実施形態では、光学検出コンピュータ１２２は、軌道及び予測される終点の情報をクレーン制御システム２０へ通信し、するとクレーン制御システム２０は吊り上げ器具３８の揺動を補償するように様々なクレーン動作を制御することができる。例えば、クレーン制御システム２０は、軌道及び予測される終点の情報４８に応じてブーム１６を伸展又は旋回するように操作することができる。操作者は、このクレーン制御システム２０の機能性を所望に応じてオンにしたりオフにしたりすることができる。他のクレーン構成要素がクレーン制御システム２０によって制御されて、吊り上げ器具３８又は吊り荷４４の揺動を低減する方式で動かされたり又は動くのを停止されたりするようになっていてもよい。

図１６を参照して、光学検出コンピュータ１２２は、更に、動作区域５０を設定することができる。動作区域５０は、画像キャプチャーデバイス１４０のうちの１つ、例えばブーム先端部４２又はその付近に取り付けられている画像キャプチャーデバイス１４０、の視野であってもよい。１つの実施形態では、動作区域５０は、吊り上げ器具３８又は負荷時吊り上げ器具４１の揺動が制限されるべき最適区域を定義している。光学検出コンピュータ１２２は、以上の実施形態に説明されている様に吊り上げ器具３８又は負荷時吊り上げ器具４１の揺動を検出することができる。光学検出コンピュータ１２２は、更に、以上に説明されている様に揺動している物体の終点４８を予測することができる。そうすると、光学検出コンピュータ１２２は、揺動している吊り上げ器具３８又は負荷時吊り上げ器具４１の実際の位置を、又は揺動している吊り上げ器具３８又は負荷時吊り上げ器具４１の予測される終点４８を、動作区域５０の境界と比較することができる。揺動している吊り上げ器具３８又は負荷時吊り上げ器具４１が境界の外に延びていれば又は境界の外に延びると予測されれば、クレーン制御システム２０は、揺動を低減するために、ブーム長さ、ホイスト、又はブーム旋回の様なクレーン動作を制御することができる。代替的又は追加的に、光学検出システム１２０又はクレーン制御システム２０は操作者にその様な状態を注意喚起してもよい。

図１７は、或る実施形態による、クレーン構成要素の状態を判定する方法２００を示すブロック線図である。この方法は、光学検出コンピュータ１２２を用いて、キャプチャー画像内に、吊り上げ器具３８、ケーブル４０、吊り上げ器具３８に連結されている吊り荷４４、クレーンから離れている物体４６、及びマーカー１４２、から選択されている１つ又はそれ以上の物体を検出する段階２１０を含んでいる。方法は、更に、光学検出コンピュータ１２２を用いて、当該１つ又はそれ以上の検出された物体を分析する段階２２０と、光学検出コンピュータ１２２を用いて、当該１つ又はそれ以上の検出された物体の分析に基づいてクレーン構成要素の状態を判定する段階２３０と、を含んでいる。

図１８は、クレーン動作を制御する方法３００を示すブロック線図である。この方法は、光学検出コンピュータ１２２を用いて、キャプチャー画像内に、吊り上げ器具３８、ケーブル４０、吊り上げ器具３８に連結されている吊り荷４４、クレーンから離れている物体４６、及びマーカー１４２、から選択されている１つ又はそれ以上の物体を検出する段階３１０を含んでいる。方法は、更に、光学検出コンピュータ１２２を用いて、当該１つ又はそれ以上の検出された物体を分析する段階３２０と、光学検出コンピュータ１２２を用いて、当該１つ又はそれ以上の検出された物体の分析に基づいてクレーン構成要素の状態を判定する段階３３０と、クレーン制御システム２０を用いて、判定された状態に基づいてクレーン動作を制御する段階３４０と、を含んでいる。

以上の実施形態では、光学検出システム１２０は、クレーン制御システム２０から分離されていても又はクレーン制御システム２０と一体化されていてもどちらでもよい。１つの実施形態では、光学検出システム１２０は、検出された物体及び状態について例えばディスプレイ１３０を介して操作者に注意喚起するように構成されている独立型システムである。光学検出システム１２０がクレーン制御システム２０と一体化されているか又はクレーン制御システム２０へ動作可能及び通信可能に接続されているという実施形態では、クレーン制御システム２０は、光学検出システム１２０の出力に応じて様々なクレーン動作を制御するようになっていてもよい。

本光学システム及び／又はクレーン制御システムには、従来のクレーンコンピュータと比較して、追加の計算能力が含まれているものと構想している。従って、１つ又はそれ以上のより高い能力の又は追加の、マイクロコントローラ、マイクロプロセッサ、電子制御ユニット、又は他の処理手段がシステムに組み入れられていてもよい。

ここに説明されている特定のプロセス、方法、分析、計算、及び／又は判定はクレーン制御システム２０又は光学検出システム１２０（光学検出コンピュータ１２２を含む）の一方にて実施されるものとして言及されているかもしれないが、本実施形態はこれらの構成に限定されないものと理解している。つまり、ここに説明されているプロセス、方法、分析、計算、及び／又は判定は、一部の実施形態では、クレーン制御システム２０と光学検出システム１２０の間で互換可能に実施することができ、即ち、クレーン制御システム２０と光学検出システム１２０のどちらか一方によって実施されてもよいし又はそれら両方によって実施されてもよいわけであり、たとえ或る特有のプロセス、方法、分析、計算、又は判定がここでその様に明示的に記述されていなくても、それはクレーン制御システム２０と光学検出システム１２０の間で互換可能に実施され得る、ということである。同様に、構成要素の仕様、センサデータ、などの様な情報もクレーン制御システム２０か又は光学検出システム１２０のどちらかへ互換可能に入力され得るものと理解している。

一貫性と理解を図るうえで、様々な方法、プロセス、分析、計算、又は判定、並びに様々なデータ又は情報の入力は、光学検出システム１２０又は光学検出コンピュータ１２２によって実施される又は光学検出システム１２０又は光学検出コンピュータ１２２へ入力されるものとしてここに説明されているかもしれない。しかしながら、以上に詳述されている様に、光学検出システム１２０とクレーン制御システム２０は、リソース又は構成要素を共有していてもよいし、又は互換可能に動作していてもよいし、又は同一物であってもよいわけである。従って、方法、プロセス、分析、計算、判定が、データ又は情報の入力を含め、光学検出システム１２０又は光学検出コンピュータ１２２によって実施される又は光学検出システム１２０又は光学検出コンピュータ１２２へ入力されるというここでの記述は、その様なプロセス、方法、分析、計算、判定、若しくはデータ又は情報の入力が同じくクレーン制御システム２０によって実施される又はクレーン制御システム２０へ入力されるということを含むものと理解している。

更には、ここに説明されているシステムは動力供給型のシステムであると理解している。加えて、以上に説明されている様々な構成要素間の通信は有線又は無線のどちらであってもよい。

以上の実施形態では、「吊り上げ器具」又は「フックブロック」という用語は、本開示を、吊り荷に係合し吊り荷を吊り上げるための装置のみに限定するものではないと理解している。むしろ、これらの用語は、更に、例えば、建物解体用鉄球、クラムシェルバケット、及びケーブルによって吊るされる他の類似のエンドエフェクタを含む。

以上の実施形態の何れかからの様々な特徴は、ここに説明されている他の実施形態と一体に使用可能であるものと理解している。

ここに参照されている全ての特許は、本開示の本文内で明確に指示されていようがいまいが、これによりここにその全体を参考文献として援用する。

本開示では、原文の冠詞「ａ」又は「ａｎ」の対訳である「一」、「或る」という語は単数形及び複数形のどちらも含むものと捉えられたい。逆に、複数物品への何らかの言及は、該当する場合には、単数形を含むものとする。

上記からは、本開示の新規性のある概念の真髄及び範囲から逸脱することなく数多くの修正型及び変形型が達成され得るということが観取されるであろう。示されている特定の実施形態に関しては何らの限定も意図されず、また推察されてもならない、ということを理解しておきたい。本開示は、特許請求の範囲の範囲内に入る全てのその様な修正型を網羅するものとする。

１０ クレーン
１２ 下部走行体
１４ 上部構造体
１６ ブーム
１８ 運転室
２０ クレーン制御システム
２２ コンピュータ
２４ プロセッサ
２６ コンピュータ可読記憶媒体
２８ 入力／出力（Ｉ／Ｏ）ユニット
３０ ユーザーディスプレイ
３２ ユーザー入力デバイス
３４ センサ
３６ コントローラ
３８ 吊り上げ器具
４０ ケーブル
４１ 負荷時吊り上げ器具
４２ ブーム先端部又はブームシーブ
４４ 吊り荷
４６ 遠隔物体
４８ 揺動経路の終点
５０ 動作区域
１２０ 光学検出システム
１２２ 光学検出コンピュータ
１２４ プロセッサ
１２６ メモリ
１２８ 入力／出力（Ｉ／Ｏ）ユニット
１３０ ユーザーディスプレイ
１３２ ユーザー入力インターフェース
１３４ センサ
１４０ 画像キャプチャーデバイス
１４２ マーカー
２００ クレーン構成要素の状態を判定する方法
２１０ 光学検出コンピュータを用いて、キャプチャー画像内で１つ又はそれ以上の物体を検出する
２２０ 光学検出コンピュータを用いて、１つ又はそれ以上の検出された物体を分析する
２３０ 光学検出コンピュータを用いて、１つ又はそれ以上の検出された物体の分析に基づいてクレーン構成要素の状態を判定する
３００ クレーン動作を制御する方法
３１０ 光学検出コンピュータを用いて、キャプチャー画像内で１つ又はそれ以上の物体を検出する
３２０ 光学検出コンピュータを用いて、１つ又はそれ以上の検出された物体を分析する
３３０ 光学検出コンピュータを用いて、１つ又はそれ以上の検出された物体の分析に基づいてクレーン構成要素の状態を判定する
３４０ 判定された状態に基づいてクレーン動作を制御する
Ａ_１、Ａ_２、Ａ_ｉ 区域
Ｄ 物体間距離
Ｌ１、Ｌ２ 視線
Ｓ１、Ｓ２ サイズ
Ａｌ 実際の場所
Ａ_{ｄｅｓｉｒｅｄ} 所望の又は予想される場所

Claims (20)

1. 下部走行体と、
   前記下部走行体上に取り付けられていてブームを含んでいる上部構造体と、
   前記ブームの自由端から延びているケーブルと、
   前記ケーブルに連結されて前記ブームから吊るされている吊り上げ器具と、
   光学検出システムと、
   を備えているクレーンであって、
   前記光学検出システムは、
   前記吊り上げ器具が配置されている視野を有するように位置決めされていて画像をキャプチャーするように構成されている画像キャプチャーデバイスと、
   プロセッサ及びコンピュータ可読記憶媒体を備える光学検出コンピュータであって、
   前記キャプチャー画像内で、前記吊り上げ器具、前記ケーブル、前記吊り上げ器具に連結されている吊り荷、当該クレーンから離れている物体、及びマーカー、から選択されている１つ又はそれ以上の物体を検出し、
   前記１つ又はそれ以上の検出された物体を分析し、
   前記１つ又はそれ以上の検出された物体の前記分析に基づいてクレーン構成要素の状態を判定するようにされている、光学検出コンピュータと、
   を備えている、クレーン。
2. 前記画像キャプチャーデバイスはカメラを含んでいる、請求項１に記載のクレーン。
3. 前記クレーン構成要素についての前記判定される状態は、ツー・ブロック状態、ツー・ブロック状態でないこと、ツー・ブロック状態に近づいていること、前記クレーン構成要素の揺動、ケーブルの状態、ケーブルの型式、前記ケーブルの長さ、前記吊り上げ器具の基準点からの距離、前記クレーン構成要素の前記遠隔物体に対する相対位置、及び前記クレーン構成要素と前記遠隔物体の間の距離、のうちの１つ又はそれ以上を含んでいる、請求項１に記載のクレーン。
4. 前記クレーン構成要素の揺動の前記判定される状態は、前記クレーン構成要素の前記揺動の判定される軌道を更に含んでいる、請求項３に記載のクレーン。
5. 前記クレーン構成要素の前記揺動の前記判定される軌道は、前記クレーン構成要素の動きの予測される終点を含んでいる、請求項４に記載のクレーン。
6. 状態を判定される前記クレーン構成要素は、前記吊り上げ器具、前記吊り荷に連結されている前記吊り上げ器具、及び前記ケーブル、のうちの１つ又はそれ以上である、請求項１に記載のクレーン。
7. 前記光学検出コンピュータは、前記検出された物体を分析して、前記検出された物体が既知の物体に対応していること、前記検出された物体の位置、前記キャプチャー画像内の、前記検出された物体の既定の区分にわたって延びているピクセルの数又は前記検出された物体と既定の基準点の間に延びているピクセルの数、及び前記キャプチャー画像内の前記検出された物体に対するピクセル位置、のうちの１つ又はそれ以上を識別する、請求項１に記載のクレーン。
8. 前記既知の物体は該既知の物体と関連付けられている追加情報を含み、該追加情報は前記コンピュータ可読記憶媒体に記憶されている、請求項７に記載のクレーン。
9. 前記追加情報は、前記検出された物体が前記既知の物体に対応しているとして識別されると、当該検出された物体と関連付けられる、請求項８に記載のクレーン。
10. 前記検出された物体は、前記クレーン構成要素上に配置されたマーカーである、請求項９に記載のクレーン。
11. 前記光学検出システムに動作可能に連結されているクレーン制御システムであって、クレーン動作を制御するように構成されているクレーン制御システム、を更に備えている請求項１に記載のクレーン。
12. 前記クレーン制御システムは、前記クレーン構成要素の前記判定された状態に応じてクレーン動作を制御するように構成されている、請求項１１に記載のクレーン。
13. 前記光学検出システムは、更に、動作区域、揺動しているクレーン構成要素の軌道、及び前記揺動しているクレーン構成要素の動きの終点を判定し、クレーン制御システムは、前記動作区域、前記軌道、及び前記動きの終点のうちの１つ又はそれ以上に基づいてクレーン動作を制御するように構成されている、請求項１１に記載のクレーン。
14. 前記クレーン構成要素の前記判定された状態を操作者へ表示するように構成されているディスプレイ、を更に備えている請求項１に記載のクレーン。
15. 下部走行体ユニット、前記下部走行体ユニット上に取り付けられていてブームを含んでいる上部構造体、前記ブームの自由端から延びているケーブル、前記ケーブルに連結されている吊り上げ器具、及び、前記吊り上げ器具が配置される視野を有するように位置決めされていて画像をキャプチャーするように構成されている画像キャプチャーデバイスと、プロセッサ及びコンピュータ可読記憶媒体を備えている光学検出コンピュータと、を備えている光学検出システム、を備えているクレーンのクレーン構成要素の状態を判定する方法であって、
    前記光学検出コンピュータを用いて、前記キャプチャー画像内で、前記吊り上げ器具、前記ケーブル、前記吊り上げ器具に連結されている吊り荷、前記クレーンから離れている物体、及びマーカー、から選択されている１つ又はそれ以上の物体を検出する段階と、
    前記光学検出コンピュータを用いて、前記１つ又はそれ以上の検出された物体を分析する段階と、
    前記光学検出コンピュータを用いて、前記１つ又はそれ以上の検出された物体の前記分析に基づいてクレーン構成要素の状態を判定する段階と、
    を備えている方法。
16. 前記分析する段階は、前記検出された物体を前記吊り上げ器具又は前記吊り上げ器具に連結されている前記吊り荷として識別する段階を更に備え、前記判定する段階は、前記識別済みの検出された物体と基準点の間の距離を判定する段階を更に備えている、請求項１５に記載の方法。
17. 前記判定する段階は、ツー・ブロック状態、ツー・ブロック状態に近づいていること、又はツー・ブロック状態でないこと、を判定する段階を更に備えている、請求項１６に記載の方法。
18. 前記分析する段階は、前記検出された物体を前記ケーブルとして識別する段階を更に備え、前記判定する段階は、ケーブルの状態、ケーブルの型式、又はケーブルの長さ、のうちの１つ又はそれ以上を判定する段階を更に備えている、請求項１５に記載の方法。
19. 前記分析する段階は、前記検出された物体を遠隔物体として識別する段階を更に備え、前記判定する段階は、前記クレーン構成要素の前記遠隔物体までの距離、又は前記クレーン構成要素の前記遠隔物体に対する位置、のうちの１つ又はそれ以上を判定する段階を更に備えている、請求項１５に記載の方法。
20. 下部走行体ユニット、前記下部走行体ユニット上に取り付けられていてブームを含んでいる上部構造体、前記ブームの自由端から延びているケーブル、前記ケーブルに連結されている吊り上げ器具、前記吊り上げ器具が配置される視野を有するように位置決めされていて画像をキャプチャーするように構成されている画像キャプチャーデバイスと、プロセッサ及びコンピュータ可読記憶媒体を備えている光学検出コンピュータと、を備えている光学検出システム、及び前記光学検出システムへ動作可能に連結されているクレーン制御システム、を備えているクレーンの動作を制御する方法であって、
    前記光学検出コンピュータを用いて、前記キャプチャー画像内で、前記吊り上げ器具、前記ケーブル、前記吊り上げ器具に連結されている吊り荷、前記クレーンから離れている物体、及びマーカー、から選択されている１つ又はそれ以上の物体を検出する段階と、
    前記光学検出コンピュータを用いて、前記１つ又はそれ以上の検出された物体を分析する段階と、
    前記光学検出コンピュータを用いて、前記１つ又はそれ以上の検出された物体の前記分析に基づいてクレーン構成要素の状態を判定する段階と、
    前記クレーン制御システムを用いて、前記判定された状態に基づいてクレーン動作を制御する段階と、
    を備えている方法。