JP2023011875A - クレーン上のブームの角度についての光学的な検出及び分析 - Google Patents

Abstract

【課題】ブームの位置、特にブームの旋回角度と起上角度のうちの１つ又はそれ以上、を判定するための画像ベースの検出及び分析システムを提供する。【解決手段】クレーンは、下部走行体と、下部走行体に連結されブームを含んでいる上部構造体と、光学検出システムと、を備え、当該光学検出システムは、下部走行体と上部構造体のうちの１つ又はそれ以上の画像をキャプチャーするように構成される画像キャプチャーデバイスを含む画像キャプチャー組立体と、光学制御システムと、を含んでいる。光学制御システムは、キャプチャー画像内に下部走行体、上部構造体、及びマーカーから選択される１つ又はそれ以上の物体を検出し、検出された物体を分析し、分析に基づきブームのステータスを判定するように構成されている。光学検出システム、及びブームのステータスを判定するための方法も同様に提供されている。【選択図】図４

Description

本願は、クレーン上のブームのステータスを判定するための１つ又はそれ以上のクレーン構成要素の検出及び分析に関し、詳細にはブームの旋回角度又は起上角度を判定するための光学的な検出及び分析に関する。

移動式クレーンの様なクレーンは、典型的には、下部構造又は下部走行体と下部構造上に取り付けられている上部構造又は上部構造体を含んでいる。下部構造は、例えば、フレームと、フレームへ取り付けられているサスペンションと、サスペンションへ取り付けられているタイヤと、１つ又はそれ以上のアウトリガーであって実質的に水平方向に選択的に伸展及び収縮可能であるアーム及びアームに連結されている実質的に垂直方向に選択的に伸展及び収縮可能であるジャッキをそれぞれが有しているアウトリガーと、を含んでいる。上部構造は、垂直軸周りに回転するように下部構造上に回転可能に取り付けられていることもある。上部構造は、例えば、ブームと、操作者運転室と、カウンターウェイト組立体と、ロープを巻き取ったり巻き戻したりするためのホイストと、を含んでいるであろう。上部構造は、更に、上記構成要素が取り付けられている回転台を含んでいる。

クレーンは数多くの運動を遂行できる。例えば、上部構造はブームを含め、左又は右に揺動又は旋回する（即ち、垂直軸を中心に反時計回り又は時計回りに回転する）ことができ、ブームは起きる又は伏せる（即ち、水平軸に対する角度を増加又は減少させる）ことができ、ブームは伸縮自在に伸展又は収縮することができる。

上述のものを含め、様々なクレーン構成要素は、クレーン構成要素のステータスを判定するために監視されることがある。クレーン構成要素を検出するには、典型的に、近接センサ、ロードセル、ＲＦＩＤセンサ、など、の様なセンサを使用することができる。例えば、近接センサが、アウトリガーが完全伸展状態又は完全収縮状態にあるかどうかや、カウンターウェイトが適正に位置決めされているかどうか、を検出していることもある。一部のクレーン構成要素は例えば操作者又は監視者によって目視で検出されていることもある。

監視が必要とされる或る特定のクレーン構成要素はブームである。特にブームの位置は監視されることがある。ブームの位置とは、ブームの旋回角度、ブームの起上角度、ブームの長さ、又はそれらの組合せ、をいうこともある。上述の様に、ブームは典型的には、旋回角度を変えるために垂直軸を中心に回転可能であり、起上角度を変えるために水平軸を中心に回転可能であり、長さを変えるために長手方向軸に沿って伸展及び収縮可能である。ブームの位置の変化、即ち、ブームの旋回角度、起上角度、又は長さの変化は、クレーンの荷重容量に対する変化を生じさせることになる。従って、操作者がブームの位置を把握していることが有利である。

ブームの位置は、操作者又は監視者によって目視で監視されているか、又は１つ又はそれ以上のセンサを用いて監視されているのが現状である。その様なセンサには、近接センサ、リミットスイッチ、回転センサ、磁気センサ、など、が含められる。しかしながら、ブームの位置の手作業又は目視による検査は、時間を消費したり、不正確であったりする。そのうえセンサは時間が経つと通常の摩耗のせいで失陥したり信頼性が乏しくなったりする可能性もある。

以上より、ブームの位置、特にブームの旋回角度と起上角度のうちの１つ又はそれ以上、を判定するための画像ベースの検出及び分析システムを提供するのが望ましい。

１つの態様によれば、クレーンが、下部走行体と、下部走行体に連結されていてブームを含んでいる上部構造体と、光学検出システムと、を含んでいる。光学検出システムは、下部走行体と上部構造体のうちの１つ又はそれ以上の画像をキャプチャーするように構成されている１つ又はそれ以上の画像キャプチャーデバイスを有する画像キャプチャー組立体と、光学制御システムと、を含んでいる。光学制御システムは、キャプチャー画像内に、下部走行体、上部構造体、及びマーカー、から選択されている１つ又はそれ以上の物体を検出し、当該１つ又はそれ以上の検出された物体を分析して、当該１つ又はそれ以上の検出された物体の分析に基づいてブームのステータスを判定するように構成されている。

別の態様によれば、下部走行体と、下部走行体上に取り付けられていてブームを有している上部構造体と、を有するクレーンのための光学検出システムが提供されている。システムは、下部走行体、上部構造体、又はそれら両方、の画像をキャプチャーするように構成されている１つ又はそれ以上の画像キャプチャーデバイスを有する画像キャプチャー組立体と、光学制御システムと、を含んでいる。光学制御システムは、キャプチャー画像内に、下部走行体、上部構造体、及びマーカー、から選択されている１つ又はそれ以上の物体を検出し、当該１つ又はそれ以上の検出された物体を分析して、当該１つ又はそれ以上の検出された物体の分析に基づいてブームのステータスを判定するように構成されている。

別の態様によれば、クレーン上のブームのステータスを判定する方法が、画像キャプチャー組立体を用いて、クレーン下部走行体、クレーン上部構造体、又はそれら両方、の画像をキャプチャーする段階と、光学制御システムを用いて、キャプチャー画像内に１つ又はそれ以上の物体を検出する段階において、当該１つ又はそれ以上の物体は、クレーン下部走行体、クレーン上部構造体、及びマーカー、のうちの１つ又はそれ以上を含んでいる、検出する段階と、光学制御システムを用いて、当該検出された物体を分析する段階と、光学制御システムを用いて、当該検出された物体の分析に基づいてブームのステータスを判定する段階と、を含んでいる。

本開示の他の目的、特徴、及び利点は、次に続く説明を添付図面と関連付けて考察することから自明となるものであり、図面中、同様の符号は同様の部分、要素、構成要素、段階、及びプロセスを表す。

一実施形態によるクレーンの側面図である。 図１のクレーンの上面図である。 一実施形態によるクレーン制御システムのブロック線図である。 一実施形態による光学検出システムのブロック線図である。 一実施形態による、ブーム上の異なる位置に設置されている画像キャプチャー組立体を有するクレーンの側面図である。 一実施形態による、ブームが第１の旋回角度にある場合に図５のブームの下面に位置決めされている画像キャプチャー組立体によってキャプチャーされた画像の略図である。 一実施形態による、ブームが第２の旋回角度にある場合に図５のブームの下面に位置決めされている画像キャプチャー組立体によってキャプチャーされた画像の略図である。 一実施形態による、ブームが第３の旋回角度にある場合に図５のブームの下面に位置決めされている画像キャプチャー組立体によってキャプチャーされた画像の略図である。 一実施形態による、ブームが第１の旋回角度にある場合に図５のブームの上面に位置決めされている画像キャプチャー組立体によってキャプチャーされた画像の略図である。 一実施形態による、ブームが第２の旋回角度にある場合に図５のブームの上面に位置決めされている画像キャプチャー組立体によってキャプチャーされた画像の略図である。 一実施形態による、ブームが第３の旋回角度にある場合に図５のブームの上面に位置決めされている画像キャプチャー組立体によってキャプチャーされた画像の略図である。 一実施形態による、ブームが第１の起上角度にある場合に図５のブームの下面に位置決めされている画像キャプチャー組立体によってキャプチャーされた画像の略図である。 一実施形態による、ブームが第２の起上角度にある場合に図５のブームの下面に位置決めされている画像キャプチャー組立体によってキャプチャーされた画像の略図である。 一実施形態による、ブームが第１の起上角度にある場合に図５のブームの上面に位置決めされている画像キャプチャー組立体によってキャプチャーされた画像の略図である。 一実施形態による、ブームが第２の起上角度にある場合に図５のブームの上面に位置決めされている画像キャプチャー組立体によってキャプチャーされた画像の略図である。 一実施形態による、光学検出システムを有するクレーンの上面図を示す図である。 一実施形態による、第１の起上角度に位置決めされているブームから見たクレーン上のマーカーの一例を示している。 一実施形態による、第２の起上角度に位置決めされているブームから見たクレーン上のマーカーの一例を示している。 一実施形態による、第３の起上角度に位置決めされているブームから見たクレーン上のマーカーの一例を示している。 一実施形態による、クレーン上のブームのステータスを判定する方法を示すブロック線図である。

本開示は様々な形態での具現化の余地があるとはいえ、図面には１つ又はそれ以上の実施形態が示されており以下ではそれら実施形態を説明してゆくが、ついては本開示は単に例示と見なされるべきであって本開示を説明され又は描かれている何れかの特定の実施形態に限定しようとするものではないことを理解しておきたい。

図１は、ここに説明されている一実施形態によるクレーン１０の側面図であり、図２は、図１のクレーン１０の上面図である。図１及び図２を参照して、クレーン１０は、限定するわけではないが、ラフテレーンクレーン、オールテレーンクレーン、トラック搭載型クレーン、又は産業用クレーン、の様な移動式クレーンとすることができる。クレーン１０は、概して、下部走行体又は下部構造１２と上部構造体又は上部構造１４のようなクレーン構成要素を含んでいる。一実施形態では、下部走行体１２は、様々なクレーン構成要素、例えばフレーム１６、複数のタイヤの様な地面係合要素１８、及びフレーム１６と地面係合要素１８の間に相互接続されているサスペンション（図示せず）など、を含むことができる。下部走行体１２は、更に、１つ又はそれ以上のアウトリガー組立体２０の様な他のクレーン構成要素を含んでいてもよい。一実施形態では、各アウトリガー組立体２０は、地面又は他の支持面に係合するように及び係合解除するように概ね垂直方向に可動であるジャッキ２２を含んでいる。各アウトリガー組立体２０は、更に、フレーム１６に向かって及びフレーム１６から離れて伸展するように概ね水平方向に可動であるアーム２４を含んでいてもよい。一実施形態では、アーム２４は、アウトリガーボックスの様な固定部と固定部に対して可動である１つ又はそれ以上の伸縮部とを有する伸縮式アームである。各ジャッキ２２はそれぞれのアーム２４へ取り付けられていてもよい。

上部構造体１４は下部走行体１２に連結されている。一実施形態では、上部構造体１４は下部走行体１２へ回転可能に連結されていて下部走行体１２に対して垂直軸「Ａ」（図１を見られたし）周りに回転するように構成されている。一実施形態では、上部構造体１４は、更に、クレーン構成要素、例えば、回転台２６、操作者運転室２８、カウンターウェイト組立体３０、ブーム３２、ロープ３６を巻き取ったり巻き戻したりするためのホイスト３４、及びロープ３６へ接続されているフックブロック３７、を含むことができる。別の実施形態では、カウンターウェイト組立体３０は下部走行体１２へ取り付けられている。

一実施形態では、ブーム３２は、油圧伸縮式ブームの様な伸縮式ブームとすることができる。ブーム３２は、基部３８と、基部３８に対して伸縮自在に伸展及び収縮するように構成されている１つ又はそれ以上の入れ子になった伸縮部４０と、を含むことができる。１つ又はそれ以上の伸縮部４０は、例えば、線形アクチュエータ（図示せず）によって駆動されていてもよい。ロープ３６は、ホイスト３４から概ねブーム３２に沿って延び、更にブーム先端３３から延びることができる。ロープ３６には、ホイスト３４と反対側のロープ３６の遠位端にフックブロック３７が接続されている。

本開示は以上に説明されている型式の移動式クレーンに限定されるものではないと理解している。例えば、クレーン１０は、クローラークレーン、タワークレーン、又は、旋回方向又は起上方向のうちの１つ又はそれ以上の方向において可動であるブームを有する他の吊り上げ装置であってもよい。例えば、タワークレーンでは、下部構造又は下部走行体はタワーの形態をしているし、上部構造又は上部構造体はタワーの頂部に連結されているだろう。ブームは上部構造体上にジブとして形成されていてもよい。

図３を参照して、クレーン１０は更にクレーン制御システム３００を含むことができる。クレーン制御システム３００は、操作者からの入力を受信するように構成されている、操作ノブ、レバー、スイッチ、ボタン、ジョイスティック、タッチスクリーン入力、タッチパッド、キーボード、キーパッド、など、の様な１つ又はそれ以上の入力デバイス３１０を含んでいてもよい。１つ又はそれ以上の入力デバイス３１０は、入力デバイス３１０にて受信される入力に応じてクレーン構成要素の運動を制御するように構成されているアクチュエータ（図示せず）へ動作可能に接続されている。例えば、１つ又はそれ以上の入力デバイス３１０は、ブーム３２及び回転台２６の旋回運動、ブーム３２の起上運動、ブーム３２の伸縮運動(伸展／収縮)、ホイスト３４へのロープ３６の巻き取り又は巻き取り、又はアウトリガー組立体２０の運動、を制御するための入力を受信するようになっていてもよい。入力を受信したことに応じて、アクチュエータ（図示せず）は、ブーム３２、ホイスト３４、アウトリガー２０、又は他のクレーン構成要素の運動を所望の方式で制御するように作動されることになる。アクチュエータは、例えば、線形アクチュエータ、回転式アクチュエータ、駆動モータ、及び当業者に知られている他の適したアクチュエータとすることができる。

一実施形態では、クレーン制御システム３００は、コンピュータプロセッサ３１４、コンピュータ可読記憶媒体３１６、１つ又はそれ以上の入力デバイス３１０を含んでいるユーザーインターフェース３１８、及び通信インターフェース３２０、を含むことができる。クレーン制御システム３００は、運転室２８内に配置されていてもよいし、又は運転室２８から遠隔に配置されていてもよい。一部の実施形態では、クレーン制御システム３００の構成要素は、クレーン１０の異なる部分内に分散されていてもよいし、クレーン１０から遠隔のデバイス上に分散されていてもよい。コンピュータ可読記憶媒体３１６は、それがコンピュータプロセッサ３１４と通信することができるようにコンピュータプロセッサ３１４へ動作可能に連結されている。コンピュータ可読記憶媒体３１６は、コンピュータプロセッサ３１４によって実行されると当該コンピュータプロセッサ３１４に諸機能を実施又は遂行するための１つ又はそれ以上の信号を生成させる命令３２２を記憶している。コンピュータ可読記憶媒体３１６は、更に、クレーン１０の動作に関係する情報を記憶していてもよい。ユーザーインターフェース３１８は、操作者がコンピュータプロセッサ３１４と対話することができるように、コンピュータプロセッサ３１４へ動作可能に連結されている。例えば、ユーザーインターフェース３１８を通して、操作者はクレーン１０の動作に関係する情報を得ることができ、またコンピュータプロセッサ３１４に或る機能を実施するための１つ又はそれ以上の信号を生成させることができる。操作者は、更に、情報をユーザーインターフェース３１４へ又は１つ又はそれ以上の入力デバイス３１０へ入力してコンピュータプロセッサ３１４に制御信号を生成させ、それを通信インターフェース３２０を介してアクチュエータ（図示せず）の１つ又はそれ以上へ送信させて、クレーン構成要素の運動を制御又は阻止させるようにすることもできる。一実施形態では、コンピュータ可読記憶媒体３１６に記憶されている命令３２２がユーザーインターフェース３１８からの入力情報の受信に応じてコンピュータプロセッサ３１４によって実行され、或る機能がコンピュータプロセッサ３１４によって実施されて入力情報を制御信号に変換するようになっていてもよい。

図４を参照して、クレーン１０は、更に、光学検出システム４００を含んでいる。一実施形態では、光学検出システム４００は、１つ又はそれ以上の画像キャプチャー組立体４１０と、当該１つ又はそれ以上の画像キャプチャー組立体４１０へ動作可能に且つ通信可能に接続されている光学制御システム４０２と、を含んでいる。光学制御システム４０２は、以上にクレーン制御システム３００に関して説明されているものに類似した、コンピュータプロセッサ４１２、コンピュータ可読記憶媒体４１４、及び通信インターフェース４１６を含んでいる。光学制御システム４０２が同じくユーザーインターフェース４１８を含むのは随意である。コンピュータ可読記憶媒体４１４は命令４２０を記憶しており、命令４２０は、コンピュータプロセッサ４１２によって実行されたときに、１つ又はそれ以上の機能を実施するための１つ又はそれ以上の信号をコンピュータプロセッサ４１２に生成させる。代替的又は追加的に、光学検出システム４００は、光学検出システム４００とクレーン制御システム３００が共通のコンピュータプロセッサ、コンピュータ可読記憶媒体、ユーザーインターフェース、及び通信インターフェース、のうちの１つ又はそれ以上を共有するような具合に、クレーン制御システム３００へ動作可能に且つ通信可能に連結されていてもよい。一実施形態では、光学制御システム４０２とクレーン制御システム３００は同一物であってもよい。一実施形態では、光学検出システム４００の構成要素は、個別の画像キャプチャー組立体４１０と同じ場所に配置されていてもよいし、中央集中的な場所に配置されていてそれら画像キャプチャー組立体４１０へ従来の通信インターフェース経由で通信可能に接続されていてもよいし、又は両者のうちで分散されていてもよい。

ここに説明されている特定のプロセス、方法、分析、計算、及び／又は判定はクレーン制御システム３００又は光学検出システム４００（光学制御システム４０２を含む）の一方にて実施されるものとして言及されているかもしれないが、本実施形態はこれらの構成に限定されないものと理解している。つまり、ここに説明されているプロセス、方法、分析、計算、及び／又は判定は、一部の実施形態では、クレーン制御システム３００と光学検出システム４００の間で互換可能に実施することができ、即ち、クレーン制御システム３００と光学検出システムのどちらか一方によって実施されてもよいし又はそれら両方によって実施されてもよいわけであり、たとえ或る固有のプロセス、方法、分析、計算、又は判定がここでその様に明示的に記述されていなくても、それはクレーン制御システム３００と光学検出システム４００の間で互換可能に実施され得る、ということである。同様に、構成要素の仕様、センサデータ、などの様な情報もクレーン制御システム３００か又は光学検出システム４００のどちらにも互換可能に入力され得るものと理解している。

一貫性と理解を図るうえで、様々な方法、プロセス、分析、計算、又は判定、並びに様々なデータ又は情報の入力は、光学検出システム４００若しくは光学制御システム４０２によって実施される、又は光学検出システム４００若しくは光学制御システム４０２へ入力されるものとしてここに説明されているかもしれない。しかしながら、以上に詳述されている様に、光学検出システム４００とクレーン制御システム３００は、リソース又は構成要素を共有していてもよいし、又は互換可能に動作していてもよいし、又は同一物であってもよいわけである。従って、方法、プロセス、分析、計算、判定が、データ又は情報の入力を含め、光学検出システム４００若しくは光学制御システム４０２によって実施される、又は光学検出システム４００若しくは光学制御システム４０２へ入力されるというここでの記述は、その様なプロセス、方法、分析、計算、判定、若しくはデータ又は情報の入力が同じくクレーン制御システム３００によって実施される、又はクレーン制御システム３００へ入力されるということ含むものと理解される。

一実施形態では、１つ又はそれ以上の画像キャプチャー組立体４１０は、例えば、上部構造体１４側に、下部走行体１２側に、又は両方に取り付けられていてもよい。上部構造体１４上の１つ又はそれ以上の画像キャプチャー組立体４１０を取り付けるのに適した場所は、限定するわけではないが、回転台２６、運転室２８、ブーム３２、カウンターウェイト３０、又はこれらの構成要素の間の他の中間構造又は接続構造を含む。一実施形態では、画像キャプチャー組立体４１０はジンバル又は類似の装置へ取り付けられている。各画像キャプチャー組立体４１０は、所望視野にわたる画像をキャプチャーするように構成されている１つ又はそれ以上の画像キャプチャーデバイス４２２を含むことができる。一実施形態では、画像キャプチャーデバイス４２２は、デジタルカメラ、ビデオカメラ、ステレオカメラの様なカメラ、ＬｉＤＡＲセンサ、可視光カメラ、赤外線（ＩＲ）カメラ、紫外線（ＵＶ）カメラ、及び物体認識のために画像をキャプチャーすることのできる他の適したデバイス、とすることができる。例えば、一実施形態では、画像キャプチャー組立体４１０は、広角カメラの様な単一のカメラであってもよいし、又は代わりに、ある視野にわたる単数又は複数の画像をキャプチャーするために互いと連携して動作するカメラの組合せであってもよい。

光学検出システム４００は、１つ又はそれ以上の物体の画像をキャプチャーするように、画像内にキャプチャーされた１つ又はそれ以上の物体を検出し、検出された物体を分析して、クレーン構成要素、クレーンシステム、クレーン、又は一連のクレーンのステータスを例えば該分析に基づいて判定するように構成されている。そして、クレーン制御システム３００は、操作者や他の従業員に判定されたステータスに対する注意を喚起し、及び／又は判定されたステータスに応じてクレーン制御機能を実施することができる。注意喚起は、例えば、操作者への音声、視覚、又は触覚（振動を含む）による信号又は警報として提供されていてもよい。代替的又は追加的に、クレーン制御機能を実施するためにクレーン制御システム３００は判定されたステータスに基づいてアクチュエータを、ひいては所望のクレーン構成要素の運動（始動及び停止を含む）を、制御する制御信号を生成するようになっていてもよい。

前記ステータスは、例えば、クレーン構成要素の絶対位置、相対位置、運動、存在、速さ、加速度、寸法、及び、伸展長さ又は収縮長さ、とすることができるだろう。他のステータスには、例えば、構成要素の型式及び構成要素の物理的構成を含めることができる。また、ステータスは、クレーン構成要素の実働状態としてもよく、そうするとそれには、例えば、摩耗、損傷、又は構成要素の整備、補修、又は取換えの必要性、の指示が含まれるだろう。これらの例は網羅的ではなく、他のステータスの判定も想定されるものと理解している。

光学検出システム４００は、キャプチャー画像内の物体を検出することができ、一部の実施形態では、限定するわけではないが当業者に知られていて理解されているような技法を含む１つ又はそれ以上の物体認識技術を含め、１つ又はそれ以上の検出方法を使用してクレーン構成要素のステータスを判定することもできる。一部の実施形態では、光学検出システム４００は、画像キャプチャー組立体４１０によってキャプチャーされた画像を分析し、明るさの不連続性を使用する稜線検出の様な光学的認識アルゴリズムを使用して物体を光学的に検出することができる。光学的認識アルゴリズムは、メモリ４１４に記憶されていてもよく、及び／又はコンピュータプロセッサ４１２によって、例えば光学検出システム４００の光学制御システム４０２にて、実行されるようになっていてもよい。光学検出システム４００は、物体の稜線又は端を上記稜線検出を使用して検出し、次いで、ステータスを判定するために、構成要素の検出された稜線又は端のピクセル位置に基づいて構成要素の位置をルックアップすることができる。例えば、画像にキャプチャーされた視野内で、光学制御システム４０２を較正してキャプチャー画像中の１つ又はそれ以上のピクセルに位置又は距離を割り当てるようにしてもよい。そうすると物体の検出された稜線又は端と関連付けられるピクセルをそれらピクセルに割り当てられた位置又は距離と比較して、物体の検出された稜線又は端の位置又は距離を求めることができる。

代替的又は追加的に、コンピュータ可読記憶媒体４１４には１つ又はそれ以上の記憶画像を記憶させておいてもよい。記憶画像は、画像キャプチャー組立体４００からのキャプチャー画像と同じ視野内でキャプチャーされていて視野内に識別される既知の物体を有していてもよい。そうすると、キャプチャー画像を記憶画像と比較して、例えば或る特定の構成要素の存在又は不在を検出することができる。クレーン構成要素を以上に説明されている方式で検出することもできる。そして、光学検出システム４００は、キャプチャー画像を、例えばキャプチャー画像と記憶画像の中の検出された物体の相対位置を比較することによって、又はキャプチャー画像と記憶画像の中の検出された物体の相対的な状態若しくは外観を比較することによって分析することができる。次いで光学検出システム４００は、当該比較に基づいて、クレーン構成要素である検出された物体のステータスを判定することができる。その様な実施形態では、画像キャプチャー組立体４１０は、記憶画像が撮られた視点に密接に対応する視点にて物体の画像をキャプチャーするように位置決めされてもよい。そうすれば記憶画像とキャプチャー画像の間で精確な比較を行うことができる。

他の実施形態では、物体の端又は稜線の場所を、画像キャプチャー組立体４１０の視野内の検出されたピクセル位置に基づいてリアルタイムで計算することができる。例えば物体の端又は稜線が画像キャプチャー組立体４１０の中心線に対して或る特定の角度にあると判定された場合、表が当該特定の角度に対応している延長を与えるようになっていてもよい。他の実施形態では、検出された端又は稜線は、或る特定のピクセル位置にあったとすると、その場所がシステム４００によってチャート上でルックアップされて当該特定のピクセル位置に対応している延長が与えられるようになっていてもよい。他の実施形態では、物体の端又は稜線の相対場所が検出され次第、物体の物理的長さが三角法又は幾何学の様な一般的に知られている技法を使用して計算されるようになっていてもよい。

代替的又は追加的に、光学検出システム４００は、或る物体上に配置されている視認可能なターゲット又はマーカー４２（図５及び図６を見られたし）の様な物体を検出することもできる。その様な検出を通して、光学検出システム４００はマーカー４２を分析してマーカー４２を識別し、クレーン構成要素のステータス、例えば、クレーン構成要素の位置、クレーン構成要素の運動、及び／又はクレーン構成要素の存在、を判定することができる。一実施形態では、マーカー４２は水平な線であってもよいが、同様に他のパターンが使用されていてもよい。他の実施形態では、マーカー４２は、下部走行体１２の様な物体上の色被覆であってもよい。光学検出システム４００は、マーカー４２を、従来のパターン認識アルゴリズムを使用して検出することができる。パターン認識アルゴリズムは、メモリに記憶されていてもよく、及び／又は、光学検出システム４００の光学制御システム４０２のプロセッサによって及び／又は個別画像キャプチャー組立体４１０にて実行されるようになっていてもよい。一実施形態では、複数の既知のマーカーがコンピュータ可読記憶媒体４１４に記憶されていて、画像内のキャプチャーされたマーカー４２が既知のマーカーと比較されるようになっていてもよい。検出されたマーカー４２が既知のマーカーと一致していると判明した場合、光学検出システム４００は検出されたマーカー４２を既知のマーカーに対応しているとして識別することができる。

光学検出システム４００は、既知のマーカーと関連付けられている追加情報４２４を、例えばコンピュータ可読記憶媒体４１４に記憶させていてもよい。そうすると、検出されるマーカー４２を分析するとき、光学検出システム４００は、検出されたマーカー４２を既知のマーカーに対応しているとして識別すると、既知のマーカーと関連付けられている追加情報４２４を取り出し、取り出された追加情報を検出されたマーカー４２と関連付けることができる。追加情報４２４は、例えば、位置情報又は構成要素固有情報、例えば、マーカー４２が配置されているクレーン構成要素又は物体の型式、物体の識別情報、製品仕様書、識別情報、など、を含んでいてもよい。逆に、光学検出システム４００は、以前に検出された又は検出されると予想されるマーカー４２の不在を検出するかもしれず、そうすると検出されたマーカー４２の不在に基づいてステータスを判定することになる。

従って、以上の実施形態では、光学検出システム４００はキャプチャー画像内で１つ又はそれ以上の物体を検出するように構成されている。これらの実施形態の各々では、キャプチャー画像内の物体を検出するとき、光学検出システム４００は物体を画像内の背景から差別化するように構成されている。一部の実施形態では、検出される物体はクレーン構成要素又はクレーン構成要素上のマーカーであってもよく、マーカーは、当該クレーン構成要素を背景から差別化するのに助けとなる特別な色及び／又はパターンで被覆されている構成要素の一区分であってもよい。例えば、蛍光マーカー、反射マーカー、又はクレーン構成要素の背景に対するコントラストを増加させる他の視認性の高いマーカー、を使用することができる。従って、ここに説明されている技法を使用して、光学検出システム４００は物体検出時にキャプチャー画像内で、例えば、形状、外形、サイズ、固有寸法、配置向き、色、パターン、又はそれらの組合せを検出することができる。更に、検出された物体間の間隔又は検出された物体の部分間の間隔を検出することもできる。

一実施形態では、マーカー４２の視認可能部分を１つ又はそれ以上の画像キャプチャー組立体４１０によって画像内にキャプチャーさせることができる。光学制御システム４０２は、次いで、キャプチャーされたマーカー画像４２を画像の視認可能部分を表すコードへ変換することができる。例えば、マーカー４２が、画像キャプチャー組立体４１０にとって視認可能である線を５本含んでいてそれらの線が画像キャプチャー組立体４１０によってキャプチャーされたとすると、光学制御システム４０２は、画像（即ちマーカー４２のキャプチャー画像）を５という数字コードへ変換するようになっていてもよい。パターンは、或る計測値に直接対応していて例えば各線が１フィート（３０．４８センチメートル）ずつ間隔を空けられているというのでもよいし、又は他の既定の計測単位だけ間隔を空けられていてもよく、そうすると数字コードが直接的な計測値となる。一部の実施形態では、数字コードはマーカー４２と関連付けられている情報をルックアップするための表と比較されてもよい。別の実施形態では、マーカー４２は、物体の定性的又は定量的な位置に対応している物体上の場所に配置させることができる。例えば、マーカー４２がクレーン構成要素上に配置されていて画像キャプチャー組立体４１０の視野の中へ入ってゆくと、マーカー４２は光学検出システム４００によって検出され、例えば以上に詳述されている様に記憶されているマーカーとの比較によって識別されることになる。検出されたマーカー４２が記憶されている既知のマーカーに一致すれば、光学制御システム４０２は次いで既知のマーカー４２と関連付けられている何らかの追加情報４２４を識別し、取り出し、当該追加情報を検出されたマーカー４２と関連付けことができる。

上記検出方法の各々を掲示されている他の方法と組み合わせて、クレーン構成要素のステータスを判定する代わりの又は冗長的な方法を支援する、バックアップする、及び／又は与えることもできる。例えば、マーカー４２は概して計測のために使用し、そのうえで当該計測を検証するためにクレーン構成要素の端又は稜線検出を使用することもできる。一実施形態では、マーカー４２が隠れていて画像キャプチャー組立体４１０がマーカー４２の一部分を見失った場合に、クレーン構成要素の検出される稜線又は端は、キャプチャー又は検出されているマーカー４２と矛盾する読み取りを与えるかもしれず、すると光学検出システム４００は起こり得る問題に対する注意を操作者に喚起する、ということを想定している。

而して、一実施形態では、光学検出システム４００、具体的には光学制御システム４０２は、物体認識ソフトウェアを使用してキャプチャー画像内のクレーン構成要素及び／又はマーカー４２の様な様々な物体を検出し、検出された物体を分析し、検出された物体の分析に基づいてクレーン又はクレーン構成要素のステータスを判定することができる。ステータスを判定されるクレーン構成要素は、キャプチャー画像内で物体として検出されたクレーン構成要素であってもよいし別個のクレーン構成要素であってもよい。

物体認識ソフトウェアはコンピュータ可読記憶媒体４１４に記憶されていてもよい。一実施形態では、物体認識ソフトウェアは、キャプチャーされた画像又は映像内の物体を検出する又は差別化するうえで当業者に理解されている従来の方法を使用している従来式である。本開示はここに説明されている物体認識技術に限定されるものでなく他の既知の物体認識技術又はアルゴリズムを使用することもできるものと理解している。

一実施形態では、光学制御システム４０２は、キャプチャー画像内の物体を検出するように構成されており、検出される物体は、下部走行体１２、上部構造体１４、又はマーカー４２のうちの１つ又はそれ以上とすることができる。一実施形態では、光学制御システム４０２は、検出された物体を、例えば検出された物体を有するキャプチャー画像を既知の物体を有する記憶画像と比較することによって、分析することができる。検出された物体そのものを同様に既知の物体の記憶画像と比較することもできるものと想定している。別の実施形態では、光学制御システム４０２は、検出された物体を有するキャプチャー画像をクレーン１０の記憶された幾何学的に正確なモデルと比較することによって、検出された物体を分析することができる。別の実施形態では、光学検出システム４０２は、例えば１つ又はそれ以上の検出された物体の相対的な位置を判定するためのアルゴリズムを実行することによって、検出された物体を分析することができる。記憶画像及び記憶された幾何学的に正確なモデルは、クレーン制御システム３００又は光学検出システム４００のコンピュータ可読記憶媒体３１６、４１４にそれぞれ記憶されていてもよい。

記憶されている既知の物体は、それと関連付けられている追加情報を有していてもよい。従って、光学制御システム４０２が検出された物体を既知の物体と一致するとして識別すると、光学制御システム４０２は次いで当該追加情報を検出された物体と関連付けることができる。追加情報は、例えば、ブームについての旋回及び起上の角度情報を含む位置情報であってもよい。

光学制御システム４０２は、クレーン構成要素のステータスを、１つ又はそれ以上の検出された物体の分析に基づいて判定することができる。一実施形態では、クレーン構成要素はブーム３２であり、ステータスは例えばブーム３２の位置である。判定されるブーム３２の位置は、ブーム３２の旋回角度及びブーム３２の起上角度のうちの１つ又はそれ以上を含んでいてもよい。

図５は、一実施形態によるクレーン１０の側面図である。以上に説明されている様に、光学検出システム４００は、クレーン１０上の異なる場所に配置されている１つ又はそれ以上の画像キャプチャー組立体４１０を含むことができる。例えば、一実施形態では、画像キャプチャー組立体４１０は、ブーム３２の下面５２又はブーム３２の上面５４に位置決めされている。ブーム３２の下面５２に位置決めされた画像キャプチャー組立体４１０は、ある方向に例えば下部走行体１２に向かって方向決めされている視線Ｌ１を有し、ブーム３２の上面５４に位置決めされた画像キャプチャー組立体４１０は、別の方向に例えば上部構造体１４に向かって又は上部構造体１４に沿って方向決めされている視線Ｌ２を有している。一実施形態では、単一の画像キャプチャー組立体４１０がブーム上に位置決めされている。但し、複数の画像キャプチャー組立体４１０が同様にブーム３２上に位置決めされていてもよいものと想定している。

図６－図８は、ブーム３２が異なる旋回角度に位置決めされている場合の、ブーム３２の下面５２に位置決めされている画像キャプチャー組立体４１０からのキャプチャー画像の略図の例である。一実施形態では、画像キャプチャー組立体４１０は、下部走行体１２がキャプチャー画像内でブーム３２の全旋回範囲にわたって映るように十分に広い視野を有している。

一実施形態によれば、光学制御システム４０２は、例えば以上に説明されている物体認識技術のうちの１つを使用して、キャプチャー画像内に下部走行体１２を検出することができる。例えば、一実施形態では、下部走行体１２の視認可能な部分の形状、外形、サイズ、固有寸法、配置向き、色、パターン、など、のうちの１つ又はそれ以上がキャプチャー画像内で検出される。下部走行体１２の実際の形状、外形、及び／又はサイズの様な、幾つかの特性は一定のままであるが、検出された下部走行体１２の検出される形状、外形、及び／又はサイズは、例えば図６－図８に示されている様に、旋回角度が変化するにつれてキャプチャー画像内で変わってゆくものと理解される。下部走行体１２の固有寸法は、例えばキャプチャー画像内で下部走行体１２の検出された稜線の様な２つの基準点間のピクセルを数えることによって、検出することができる。

光学制御システム４０２は、キャプチャー画像内の検出された下部走行体１２を、コンピュータ可読記憶媒体３１６又は４１４に記憶されている記憶画像内の既知の下部走行体と比較することができる。一実施形態では、光学制御システム４０２は、検出された下部走行体１２を既知の下部走行体の複数の記憶画像と比較して、例えば検出された下部走行体１２に対応している既知の下部走行体を識別することができる。一実施形態では、既知の下部走行体の記憶画像は較正プロセスを通して取得されるようになっていてもよく、当該較正プロセスでは、上部構造体１４が下部走行体１２に対して既知の旋回角度に回転され、画像が画像キャプチャー組立体４１０によってキャプチャーされ、較正中に撮られたキャプチャー画像は対応する旋回角度と共にメモリ３１６又は４１４に記憶される。

既知の下部走行体は、それと関連付けられている追加情報をコンピュータ可読記憶媒体３１６又は４１４に有していてもよい。追加情報は、例えば、既知の下部走行体に対応しているブーム旋回角度を含んでいてもよい。つまり、各既知の下部走行体はそれと関連付けられている固有ブーム旋回角度を有していてもよい。従って、光学制御システム４０２が検出された下部走行体１２を記憶画像内の既知の下部走行体に対応しているとして識別すれば、光学制御システム４０２は、ブーム旋回角度を含む追加情報を検出された下部走行体１２に関連付けることができる。この方式では、光学制御システム４０２はブーム３２の旋回角度を判定することができる。

一実施形態では、光学制御システム４０２によって実施される比較は、例えば検出された下部走行体１２のキャプチャー画像を既知の下部走行体の記憶画像の上に重ね合わせて、例えば検出された下部走行体１２と実質的に同じ形状、外形、サイズ、配置向き、固有寸法、パターン、色、など、又はそれらの何らかの組合せ、を有している既知の下部走行体を見つけることによって実施されてもよい。代替的又は追加的に、比較は、検出された下部走行体１２の形状、外形、サイズ、配置向き、固有寸法、パターン、色、などを、既知の下部走行体のそれらと比較することであってもよく、例えばキャプチャー画像内の検出された下部走行体と記憶画像内の既知の下部走行体それぞれのピクセル位置を比較することによるものでもよい。

別の実施形態では、光学制御システム４０２は、キャプチャー画像内の検出された下部走行体１２をコンピュータ可読記憶媒体３１６又は４１４に記憶されているクレーン１０の幾何学的に正確なモデルと比較することができる。光学制御システム４０２が検出された下部走行体１２をクレーンの幾何学的に正確なモデルの下部走行体に対応しているとして識別すれば、光学制御システム４０２はブーム旋回角度を含む追加情報を検出された下部走行体１２と関連付けることができる。この方式では、光学制御システム４０２はブーム３２の旋回角度を判定することができる。

更に別の実施形態では、光学制御システム４０２は、コンピュータ可読記憶媒体３１６又は４１４に記憶されているアルゴリズムを実行してブーム３２の旋回角度を判定することができる。更に図６－図８を参照して、例えば、光学制御システム４０２は画像内でブーム３２の配置向きに対応している固定軸ＦＡを提供するようになっていてもよい。固定軸ＦＡは、旋回角度が変化していってもキャプチャー画像内で固定方向に延びている。光学制御システム４０２はキャプチャー画像内に検出された軸ＤＡも提供することができる。検出された軸ＤＡは、例えば検出された下部走行体１２の軸として検出されていてもよい。すると光学制御システム４０２は固定軸ＦＡと検出された軸ＤＡの間の角度ａ１を判定することによってブーム３２の旋回角度を判定することができる。

固定軸ＦＡ及び検出された軸ＤＡは、表示デバイス上にキャプチャー画像と共に表示されてもよいし、又は代わりに、コンピュータ可読記憶媒体３１６又は４１４内に提供されて、表示されること無しにクレーン制御システム３００又は光学制御システム４０２で分析されてもよいと理解される。加えて、図６－図８は概して固定軸ＦＡを運転室２８の軸として示している。但し、本開示はそれに制限されない。例えば、固定軸ＦＡは、ブーム３２の長手方向軸であってもよいし、又は上部構造体１４の軸であってもよい。

図９－図１１は、ブーム３２が異なる旋回角度に位置決めされている場合の、ブーム３２の上面５４に位置決めされている画像キャプチャー組立体４１０からキャプチャーされた画像の略図の例である。一実施形態では、画像キャプチャー組立体４１０は、上部構造体１２がキャプチャー画像内にブーム３２の全旋回範囲にわたって映るように十分に広い視野を有している。

一実施形態によれば、光学制御システム４０２は、例えば以上に説明されている物体認識技術のうちの１つを使用して、キャプチャー画像内で上部構造体１４を検出することができる。例えば、一実施形態では、上部構造体１４の視認可能な部分の形状、外形、サイズ、配置向き、固有寸法、パターン、色、など、がキャプチャー画像内で検出されることになる。随意的に、光学制御システム４０２は、更に、運転室２８、カウンターウェイト組立体３０、及びブーム３２の様な、上部構造体１４の個別クレーン構成要素を検出することもできる。更にまた、下部走行体１２の上部構造体１４に対する配置向きに加え下部走行体１２の視認可能部分を検出することもできる。以上に説明されている様に、下部走行体１２の視認可能部分の検出された形状、外形、サイズ、配置向き、寸法、パターン、色、などは、旋回角度が変化してゆくとキャプチャー画像内で変化することになる。つまり、ブーム３２の旋回角度及び位置に依存して、下部走行体１２の認識がキャプチャー画像内で変化する。

光学制御システム４０２は、キャプチャー画像内の検出された上部構造体１４、又は下部走行体１２と上部構造体１４との相対的配置向きを、コンピュータ可読記憶媒体３１６又は４１４に記憶されている記憶画像内の既知の上部構造体１４、又は下部走行体と上部構造体との既知の相対的配置向きと比較することができる。一実施形態では、光学制御システム４０２は、検出された上部構造体１４又は検出された相対的配置向きを既知の上部構造体の複数の記憶画像又は相対的配置向きと比較して、例えば、検出された上部構造体１４、又は下部走行体１２と上部構造体１４との検出された相対的配置向きに対応している既知の上部構造体、又は相対的配置向きを識別することができる。

既知の上部構造体、又は下部走行体と上部構造体との既知の相対的配置向きは、それと関連付けられている追加情報をコンピュータ可読記憶媒体３１６又は４１４に有していてもよい。追加情報は、例えば、既知の上部構造体又は相対的配置向きに対応しているブーム旋回角度を含んでいてもよい。つまり、各既知の上部構造体又は相対的配置向きは、それと関連付けられている固有ブーム旋回角度を有していてもよい。従って、光学制御システム４０２が検出された上部構造体１４又は下部走行体１２と上部構造体１４との相対的配置向きを、記憶画像内の既知の上部構造体１４又は相対的配置向きに対応するとして識別すれば、光学制御システム４０２は、ブーム旋回角度を含む追加情報を検出された上部構造体１４へ関連付けることができる。この方式では、光学制御システム４０２はブーム３２の旋回角度を判定することができる。

一実施形態では、光学制御システム４０２によって実施される比較は、例えば上部構造体１４のキャプチャー画像又は下部走行体１２と上部構造体１４との相対的配置向きを既知の上部構造体又は相対的配置向きの上に重ね合わせて、例えば検出された上部走行体１４又は下部走行体１２と上部構造体１４との検出された相対的配置向きと実質的に同じ形状、外形、サイズ、配置向き、固有寸法、パターン、色、など、又はそれらの何らかの組合せ、を有している既知の上部構造体又は相対的配置向きを見つけることによって実施されてもよい。代替的又は追加的に、比較は、検出された上部構造体１４の形状、外形、サイズ、配置向き、固有寸法、パターン、色、などを、既知の上部構造体のそれら又は相対的配置向きと比較することであってもよく、例えばキャプチャー画像内の検出された上部構造体及び相対配置向きと記憶画像内の既知の上部構造体及び相対的配置向きそれぞれのピクセル位置を比較することによるものでもよい。

別の実施形態では、光学制御システム４０２は、キャプチャー画像内の検出された上部構造体１４又は下部走行体と上部構造体の検出された相対的配置向きを、コンピュータ可読記憶媒体３１６又は４１４に記憶されているクレーンの幾何学的に正確なモデルと比較することができる。光学制御システム４０２が検出された上部構造体１４又は検出された相対的配置向きをクレーンの幾何学的に正確なモデルの上部構造体又は相対的配置向きに対応しているとして識別すれば、光学制御システム４０２はブーム旋回角度を含む追加情報を検出された上部構造体１４又は下部走行体１２と上部構造体１４の相対的配置向きと関連付けることができる。この方式では、光学制御システム４０２はブーム３２の旋回角度を判定することができる。

更に別の実施形態では、光学制御システム４０２は、コンピュータ可読記憶媒体３１６又は４１４に記憶されているアルゴリズムを実行してブーム３２の旋回角度を判定することができる。更に図９－図１１を参照して、例えば、光学制御システム４０２は、キャプチャー画像内に、ブーム３２の配置向きに対応している固定軸ＦＡを提供することができる。固定軸ＦＡは、旋回角度が変化していってもキャプチャー画像内で固定方向に延びる。光学制御システム４０２は、更に、キャプチャー画像内に検出された軸ＤＡを提供することができる。検出された軸ＤＡは、例えば検出された下部走行体１２の軸として検出される。光学制御システム４０２は固定軸ＦＡと検出された軸ＤＡの間の角度を測定することによってブーム３２の旋回角度を判定することができる。

図１２及び図１３は、ブームが異なる起上角度に位置決めされている場合の、ブーム３２の下面５２上に位置決めされている画像キャプチャー組立体４１０からのキャプチャー画像の略図の例である。

図１２及び図１３を参照して、光学制御システム４０２はキャプチャー画像内で下部走行体１２を検出するように構成されている。ブーム３２の起上角度が変化するにつれて、検出される下部走行体１２の認知される寸法又はサイズが変化する。例えば、図１２を参照すると、ブーム３２が第１の起上角度にある場合、下部搬送体１２はキャプチャー画像内に第１の幅Ｗ１を有しているものとして検出されている。図１３を参照すると、ブーム３２が第１の起上角度より大きい第２の起上角度にある場合、下部走行体１２はキャプチャー画像内に第１の幅Ｗ１より小さい第２の幅Ｗ２を有しているものとして検出されている。

一実施形態では、光学制御システム４０２は、キャプチャー画像内の検出された下部走行体１２をコンピュータ可読記憶媒体３１６又は４１４に記憶されている記憶画像内の既知の下部走行体と比較することによって当該検出された下部走行体１２を分析する。一実施形態では、光学制御システム４０２は、検出された下部走行体１２を既知の下部走行体の複数の記憶画像と比較して、例えば検出された下部走行体１２に対応している既知の下部走行体を識別することができる。

既知の下部走行体は、それと関連付けられている追加情報をコンピュータ可読記憶媒体３１６又は４１４に有していてもよい。追加情報は、例えば、既知の下部走行体画像に対応しているブームの起上角度を含んでいてもよい。つまり、記憶画像内の各既知の下部走行体は、それと関連付けられている固有ブーム起上角度を有していてもよい。従って、光学制御システム４０２が検出された下部走行体１２を記憶画像内の既知の下部走行体に対応しているとして識別すれば、光学制御システム４０２はブーム起上角度を含む追加情報を検出された下部走行体１２へ関連付けることができる。この方式では、光学制御システム４０２はブーム３２の起上角度を判定することができる。

一実施形態では、光学制御システム４０２によって実施される比較は、例えば検出された下部走行体１２のキャプチャー画像を既知の下部走行体１２の記憶画像の上に重ね合わせて、例えば検出された下部走行体１２と実質的に同じ形状、外形、サイズ、配置向き、固有寸法、パターン、色、など、又はそれらの何らかの組合せ、を有している既知の下部走行体を見つけることによって実施されてもよい。代替的又は追加的に、比較は、検出された下部走行体１２の形状、外形、サイズ、配置向き、固有寸法、パターン、色、などを、既知の下部走行体のそれらと比較することであってもよく、例えばキャプチャー画像内の検出された下部走行体と記憶画像内の既知の下部走行体それぞれのピクセル位置を比較することによるものでもよい。

別の実施形態では、光学制御システム４０２は、下部走行体１２が検出されているキャプチャー画像をクレーン１０の幾何学的に正確なモデルと比較することができる。光学制御システム４０２が検出された下部走行体１２をクレーンの幾何学的に正確なモデルの下部走行体に対応しているとして識別すれば、光学制御システム４０２はブーム起上角度を含む追加情報を検出された下部走行体１２と関連付けることができる。この方式では、光学制御システム４０２はブーム３２の起上角度を判定することができる。

更に別の実施形態では、光学制御システム４０２は、コンピュータ可読記憶媒体３１６又は４１４に記憶されているアルゴリズムを実行してブーム３２の起上角度を判定することができる。例えば、図１２及び１３を参照して、一実施形態では、検出された下部走行体１２の検出されるサイズ（及び寸法）は、ブーム３２の起上角度の変化と共に変化する。光学制御システム４０２は、例えば検出されるサイズ又は寸法の変化を、キャプチャー画像内の検出された下部走行体１２の部分であるピクセル数の変化を数えることによって計測することができる。ピクセル数の変化がブーム角度の変化に相関付けられるようになっていてもよい。その様な関係性は、例えばコンピュータ可読記憶媒体３１６又は４１４内の表に記憶されていてもよい。従って、初期ブーム角度が既知でありピクセル数とブーム起上角度の間の関係性が既知である場合、光学制御システム４０２は検出された下部走行体１２と関連付けられるピクセル数の変化に基づいてブーム起上角度を判定することができる。一実施形態では、ピクセル数の変化は、キャプチャー画像内の下部走行体１２の幅Ｗ１、Ｗ２の様な既定寸法に亘っていてもよい。

図１４及び１５は、ブーム３２が異なる起上角度に位置決めされている場合の、ブーム３２の上面５４上に位置決めされている画像キャプチャー組立体４１０からのキャプチャー画像の略図の例である。

図１４及び１５を参照して、光学制御システム４０２はキャプチャー画像内で上部構造体１４を検出するように構成されている。一実施形態では、運転室２８、カウンターウェイト組立体３０、及びブーム３２の様な、上部構造体１４の個別クレーン構成要素も同様に検出することができる。ブーム３２の起上角度が変化するにつれて、キャプチャー画像内の検出された上部構造体１４の認知される又は検出される寸法又はサイズが変化する。例えば、図１４を参照すると、ブーム３２が第１の起上角度にある場合、上部構造体１４はキャプチャー画像内に第１の高さＨ１を有するもとして検出されている。図１５を参照すると、ブーム３２が第１の起上角度より大きい第２の起上角度にある場合、上部構造体１４はキャプチャー画像内に第１の高さＨ１とは異なる第２の高さＨ２を有しているものとして検出されている。上部構造体１４の他の検出されるサイズ又は寸法も同様に起上角度の変化と共に変わってゆくであろう。

一実施形態では、光学制御システム４０２はキャプチャー画像内の検出された上部構造体１４をコンピュータ可読記憶媒体３１６又は４１４に記憶されている記憶画像内の既知の上部構造体と比較することによって、当該検出された上部構造体１４を分析する。一実施形態では、光学制御システム４０２は、検出された上部構造体１４を既知の下部走行体の複数の記憶画像と比較して、例えば検出された上部構造体１４に対応している既知の上部構造体を識別することができる。

既知の上部構造体は、それと関連付けられている追加情報をコンピュータ可読記憶媒体３１６又は４１４内に有していてもよい。追加情報は、例えば既知の上部構造体画像に対応しているブームの起上角度を含んでいてもよい。つまり、記憶画像内の各既知の上部構造体はそれと関連付けられている固有ブーム起上角度を有していてもよい。従って、光学制御システム４０２が検出された上部構造体１４を記憶画像内の既知の上部構造体に対応しているとして識別すれば、光学制御システム４０２は、ブーム起上角度を含む追加情報を検出された上部構造体１４へ関連付けることができる。この方式では光学制御システム４０２はブーム３２の起上角度を判定することができる。

一実施形態では、光学制御システム４０２によって実施される比較は、例えば検出された上部構造体１４のキャプチャー画像を既知の上部構造体１４の記憶画像の上に重ね合わせて、例えば検出された上部構造体１４と実質的に同じ形状、外形、サイズ、配置向き、固有寸法、パターン、色、など、又はそれらの何らかの組合せ、を有している既知の上部構造体を見つけることによって実施されてもよい。代替的又は追加的に、比較は、検出された上部構造体１４の形状、外形、サイズ、配置向き、固有寸法、パターン、色、などを、既知の下部走行体のそれらと比較することであってもよく、例えばキャプチャー画像内の検出された上部構造体と記憶画像内の既知の上部構造体それぞれのピクセル位置を比較することによるものでもよい。

別の実施形態では、光学制御システム４０２は、上部構造体１４が検出されているキャプチャー画像をクレーン１０の幾何学的に正確なモデルと比較することができる。光学制御システム４０２が検出された上部構造体１４をクレーンの幾何学的に正確なモデルの上部構造体に対応しているとして識別すれば、光学制御システム４０２は、ブーム起上角度を含む追加情報を検出された上部構造体１４と関連付けることができる。この方式では、光学制御システム４０２はブーム３２の起上角度を判定することができる。

更に別の実施形態では、光学制御システム４０２は、コンピュータ可読記憶媒体３１６又は４１４に記憶されているアルゴリズムを実行してブーム３２の起上角度を判定することができる。例えば、図１４及び１５を参照して、一実施形態では、検出された上部構造体１４の検出されるサイズ（及び寸法）は、ブーム３２の起上角度の変化と共に変化する。光学制御システム４０２は、例えば、検出されるサイズ又は寸法の変化を、キャプチャー画像内の検出された上部構造体１４の部分であるピクセル数の変化を数えることによって計測することができる。ピクセル数の変化がブーム角度の変化に相関付けられるようになっていてもよい。その様な関係性は、例えばコンピュータ可読記憶媒体３１６又は４１４内の表に記憶されていてもよい。従って、初期ブーム角度が既知でありピクセル数とブーム起上角度の間の関係性が既知である場合、光学制御システム４０２は検出された上部構造体１４と関連付けられるピクセル数の変化に基づいてブーム起上角度を判定することができる。一実施形態では、ピクセル数の変化は、キャプチャー画像内の上部構造体１４の高さＨ１、Ｈ２の様な既定寸法に亘っていてもよい。

別の実施形態では、マーカー４２がクレーン１０上に配置されていて光学制御システム４０２によってキャプチャー画像内に検出されるようにすることができる。検出されたマーカー４２を分析することによってブーム３２の起上角度を判定することができる。

図１６は、クレーン１０の上面図を表している略図である。一実施形態では、画像キャプチャー組立体４１０はブーム３２上に位置決めされていて上部構造体１４に沿った視線Ｌ２を有することができる。画像キャプチャー組立体４１０の視野はブーム３２の全起上角度範囲を通して上部構造体１４の一部分を含むことができる。一実施形態では、マーカー４２は起上角度の範囲全体を通して画像キャプチャー組立体４１０の視野内に配置されている。一実施形態では、マーカー４２はブーム３２の裏に配置されている。

図１７－図１９は、ブーム３２が異なる起上角度にある場合に、画像キャプチャー組立体４１０によって撮られる画像内にマーカー４２がどの様にキャプチャーされるかを表している、視野内のマーカー４２の例である。一実施形態では、マーカー４２は目盛り５６を含んでいてもよい。起上角度が変化してゆく際、マーカー４２が画像キャプチャー組立体４１０によって視認されると、画像にキャプチャーされ、同様に変化してゆく。例えば、検出される目盛り５６間距離Ｓ１、Ｓ２、Ｓ３又は検出されるマーカー４２の高さＨ１、Ｈ２、Ｈ３は、異なるブーム起上角度で撮られるキャプチャー画像内で変化するであろう。一実施形態では、キャプチャー画像内に検出されている目盛り５６間距離又はマーカー４２の高さの増加はブーム起上角度の増加に対応している。但し本開示はその様な構成に限定されるものではなく、キャプチャー画像内の検出されている目盛り５６間距離又はマーカー４２の高さがブーム起上角度の増加と共に減少するような具合に、マーカー４２が異なった配列の目盛りを有しているか又は画像キャプチャー組立体４１０に対して異なった位置決めをされていてもよいものと理解している。一実施形態では、起上角度が変化してゆくにつれマーカー４２の諸部分が隠れてしまう又は露出してしまうようになっていてもよい。

一実施形態では、光学制御システム４０２は、キャプチャー画像内の検出されたマーカー４２をコンピュータ可読記憶媒体３１６又は４１４に記憶されている記憶画像内の既知のマーカーと比較することによって、当該検出されたマーカー４２を分析する。一実施形態では、光学制御システム４０２は、検出されたマーカー４２を既知のマーカー４２の複数の記憶画像と比較して、例えば検出されたマーカー４２に対応している既知のマーカー４２を識別することができる。

既知のマーカーは、それと関連付けられている追加情報をコンピュータ可読記憶媒体３１６又は４１４に有していてもよい。追加情報は、例えば、既知のマーカー画像に対応しているブーム３２の起上角度を含んでいてもよい。つまり記憶画像内の各既知のマーカーは、それと関連付けられている固有ブームの起上角度を有していてもよい。従って、光学制御システム４０２が検出されたマーカー４２を記憶画像内の既知のマーカーに対応しているとして識別すれば、光学制御システム４０２はブーム起上角度を含む追加情報を検出されたマーカー４２へ関連付けることができる。この方式では、光学制御システム４０２はブーム３２の起上角度を判定することができる。

一実施形態では、光学制御システム４０２によって実施される比較は、例えば検出されたマーカー４２のキャプチャー画像を既知のマーカーの記憶画像の上に重ね合わせて、例えば検出されたマーカー４２と実質的に同じ形状、外形、サイズ、配置向き、固有寸法、パターン、色、など、又はそれらの何らかの組合せ、を有している既知のマーカーを見つけることによって実施されてもよい。代替的又は追加的に、比較は、検出されたマーカー４２の形状、外形、サイズ、配置向き、固有寸法、パターン、色、などを、既知のマーカーのそれらと比較することであってもよく、例えばキャプチャー画像内の検出されたマーカーと記憶画像内の既知のマーカーそれぞれのピクセル位置を比較することによるものでもよい。

図２０は、一実施形態による、クレーン上のブームのステータスを判定する方法５００を示すブロック線図である。方法は、画像キャプチャー組立体４１０を用いて、クレーン下部走行体１２、クレーン上部構造体１４、又はそれら両方、の画像をキャプチャーする段階５１０と、光学制御システム４０２を用いて、キャプチャー画像内の１つ又はそれ以上の物体を検出する段階５２０と、を含んでおり、当該１つ又はそれ以上の物体は、クレーン下部走行体１２、クレーン上部構造体１４、及びマーカー４２、のうちの１つ又はそれ以上を含んでいる。当該方法は、更に、光学制御システム４０２を用いて、検出された物体を分析する段階５３０と、光学制御システム４０２を用いて、検出された物体の分析に基づいてブーム３２のステータスを判定する段階５４０と、を含んでいる。

従って、以上の実施形態では、画像キャプチャー組立体がクレーン構成要素又はマーカーの様な物体の一画像又は一連の画像をキャプチャーし、すると画像は光学検出システム４００によって分析されてクレーン構成要素のステータス又は状態が判定されることになる。ステータスを判定されるクレーン構成要素は、キャプチャー画像からの検出されたクレーン構成要素であってもよいし、又は別体のクレーン構成要素であってもよい。一部の実施形態では、操作者はステータスに対する注意を喚起され、判定されたステータスに応じてブーム運動の様なクレーン動作の制御又は阻止又はそれら両方がクレーン制御システム３００によって行われることになる。一実施形態では、光学検出システム４００は、下部走行体、上部構造体、及びマーカーのうちの１つ又はそれ以上のキャプチャー画像を用いて、ブーム３２の位置に関係するステータスを判定することができる。例えば、キャプチャー画像内に下部走行体及び／又は上部構造体を検出することによって、ブーム３２の旋回角度及び起上角度を判定することができる。別の実施形態では、キャプチャー画像内にマーカー４２を検出することによってブーム３２の起上角度を判定することができる。

以上の実施形態では、光学検出システム４００は、近接センサの様なセンサの使用無しに、旋回角度及び起上角度を含むブーム３２の位置を判定することができる。別の実施形態では、光学検出システム４００はブーム３２の旋回角度及び起上角度を判定するように様々な既知のセンサと連携して動作することができる。例えば、光学検出システム４００がブーム位置に関係するセンサデータを確証するようになっていてもよいし、又はその逆であってもよい。

ここに参照されている全ての特許は、本開示の本文内で明確に指示されていようがいまいが、これによりここにその全体を参考文献と援用する。

本開示では、原文の冠詞「ａ」又は「ａｎ」の対訳である「一」、「或る」という語は単数形及び複数形のどちらも含むものと捉えられたい。逆に、複数物品への何らかの言及は、該当する場合には、単数形を含むものとする。加えて、以上の実施形態のうちの何れかの実施形態の特徴は適切であればここに説明されている他の実施形態の特徴と併せて使用されてもよいし、当該他の実施形態に実施されてもよいし、又は当該他の実施形態の特徴に置き換えられてもよいと理解している。

上記からは、本発明の新規性のある概念の真髄及び範囲から逸脱することなく数多くの修正型及び変形型が達成され得るということが観取されるであろう。示されている特定の実施形態に関しては何らの限定も意図されず、また推察されてもならない、ということを理解しておきたい。本開示は、付随の特許請求の範囲によって、当該特許請求の範囲の範囲内に入る全てのその様な修正型を網羅するものとする。

１０ クレーン
１２ 下部走行体
１４ 上部構造体
１６ フレーム
１８ 地面係合要素
２０ アウトリガー組立体
２２ ジャッキ
２４ アーム
２６ 回転台
２８ 操作者運転室
３０ カウンターウェイト組立体
３２ ブーム
３３ ブーム先端
３４ ホイスト
３６ ロープ
３７ フックブロック
３８ 基部部分
４０ 伸縮部分
４２ マーカー
５２ ブームの下面
５４ ブームの上面
５６ 目盛り
３００ クレーン制御システム
３１０ 入力デバイス
３１４ コンピュータプロセッサ
３１６ コンピュータ可読記憶媒体
３１８ ユーザーインターフェース
３２０ 通信インターフェース
３２２ 命令
４００ 光学検出システム
４０２ 光学制御システム
４１０ 画像キャプチャー組立体
４１２ コンピュータプロセッサ
４１４ コンピュータ可読記憶媒体
４１６ 通信インターフェース
４１８ ユーザーインターフェース
４２０ 命令
４２２ 画像キャプチャーデバイス
４２４ 追加情報
５００ クレーン上のブームのステータスを判定する方法
５１０ 画像キャプチャー組立体用いて、クレーン下部走行体、クレーン上部構造体、又はそれら両方、の画像をキャプチャーする
５２０ 光学制御システムを用いて、キャプチャー画像内の１つ又はそれ以上の物体を検出する
５３０ 光学制御システムを用いて、検出された物体を分析する
５４０ 光学制御システム４０２を用いて、検出された物体の分析に基づいてブーム３２のステータスを判定する
Ａ 垂直軸
Ｌ１、Ｌ２ 視線
ＦＡ 固定軸
ＤＡ 検出された軸
ａ１ 固定軸ＦＡと検出された軸ＤＡの間の角度
Ｗ１、Ｗ２ 下部走行体の幅
Ｈ１、Ｈ２ 上部構造体の高さ
Ｓ１、Ｓ２、Ｓ３ 目盛り間距離
Ｈ１、Ｈ２、Ｈ３ マーカーの高さ

Claims (20)

1. 下部走行体と、
   前記下部走行体に連結されていて、ブームを含んでいる上部構造体と、
   前記下部走行体と前記上部構造体のうちの１つ又はそれ以上の画像をキャプチャーするように構成されている１つ又はそれ以上の画像キャプチャーデバイスを備える画像キャプチャー組立体、及び光学制御システムを有する光学検出システムと、を備え、
   前記光学制御システムは、
   前記キャプチャー画像内で、前記下部走行体、前記上部構造体、及びマーカー、から選択されている１つ又はそれ以上の物体を検出し、
   前記１つ又はそれ以上の検出された物体を分析し、
   前記１つ又はそれ以上の検出された物体の前記分析に基づいて前記ブームのステータスを判定するように構成されている、クレーン。
2. 前記１つ又はそれ以上の画像キャプチャーデバイスはカメラを含んでいる、請求項１に記載のクレーン。
3. 前記ブームの前記判定されたステータスは、前記ブームの起上角度と前記ブームの旋回角度のうちの１つ又はそれ以上から選択されている、請求項１に記載のクレーン。
4. 前記光学制御システムの分析は、前記キャプチャー画像内の前記１つ又はそれ以上の検出された物体を記憶画像内の既知の物体と比較することを含んでいる、請求項１に記載のクレーン。
5. 前記光学制御システムは、前記比較に基づいて、関連付けられている追加情報を取り出し、前記判定されたステータスは前記追加情報に基づいている、請求項４に記載のクレーン。
6. 前記追加情報はブーム起上角度とブーム旋回角度のうちの１つ又はそれ以上を含んでいる、請求項５に記載のクレーン。
7. 前記比較は、前記１つ又はそれ以上の検出された物体の検出される形状、外形、サイズ、固有寸法、配置向き、パターン、又は色、のうちの１つ又はそれ以上に基づいている、請求項４に記載のクレーン。
8. 前記光学制御システムの分析は、前記キャプチャー画像内の前記検出された物体を前記クレーンの幾何学的に正確なモデルと比較することを含んでいる、請求項１に記載のクレーン。
9. 前記光学制御システムの分析は、アルゴリズムを実行してブーム起上角度又はブーム旋回角度のうちの１つ又はそれ以上を計算することを含んでいる、請求項１に記載のクレーン。
10. ブームへ動作可能に連結されていて、前記判定されたステータスに基づいて１つ又はそれ以上のクレーン動作を制御又は阻止するように構成されているクレーン制御システムを更に備えている、請求項１に記載のクレーン。
11. 下部走行体と、前記下部走行体上に取り付けられていてブームを有している上部構造体と、を有するクレーンのための光学検出システムであって、
    前記下部走行体、前記上部構造体、又はそれら両方、の画像をキャプチャーするように構成されている１つ又はそれ以上の画像キャプチャーデバイスを備える画像キャプチャー組立体と、
    光学制御システムであって、
    前記キャプチャー画像内で、前記下部走行体、前記上部構造体、及びマーカー、から選択されている１つ又はそれ以上の物体を検出し、
    前記１つ又はそれ以上の検出された物体を分析し、
    前記１つ又はそれ以上の検出された物体の前記分析に基づいて前記ブームのステータスを判定するように構成されている、光学制御システムと、
    を備えている、光学検出システム。
12. 前記光学制御システムの分析は、前記キャプチャー画像内の前記１つ又はそれ以上の検出された物体を記憶画像内の既知の物体と比較することを含んでいる、請求項１１に記載の光学検出システム。
13. 前記光学制御システムの分析は、前記キャプチャー画像内の前記１つ又はそれ以上の検出された物体を前記クレーンの幾何学的に正確なモデルと比較することを含んでいる、請求項１１に記載の光学検出システム。
14. 前記光学制御システムの分析は、アルゴリズムを実行してブーム起上角度又はブーム旋回角度のうちの１つ又はそれ以上を計算することを含んでいる、請求項１１に記載の光学検出システム。
15. 前記ブームの前記判定されたステータスは、前記ブームの旋回角度と前記ブームの起上角度のうちの１つ又はそれ以上である、請求項１１に記載の光学検出システム。
16. クレーン上のブームのステータスを判定する方法であって、
    画像キャプチャー組立体を用いて、クレーン下部走行体、クレーン上部構造体、又はそれら両方、の画像をキャプチャーする段階と、
    光学制御システムを用いて、前記キャプチャー画像内の１つ又はそれ以上の物体を検出する段階であって、前記１つ又はそれ以上の物体は、前記クレーン下部走行体、前記クレーン上部構造体、及びマーカー、のうちの１つ又はそれ以上を含んでいる、検出する段階と、
    前記光学制御システムを用いて、前記検出された物体を分析する段階と、
    前記光学制御システムを用いて、前記検出された物体の前記分析に基づいて前記ブームのステータスを判定する段階と、
    を備えている方法。
17. 前記分析する段階は、前記キャプチャー画像内の前記１つ又はそれ以上の検出された物体を記憶画像内の既知の物体と比較する段階を更に備えている、請求項１６に記載の方法。
18. 前記分析する段階は、前記キャプチャー画像内の前記１つ又はそれ以上の検出された物体を前記クレーンの幾何学的に正確なモデルと比較する段階を更に備えている、請求項１６に記載の方法。
19. 前記分析する段階は、アルゴリズムを実行してブーム起上角度又はブーム旋回角度のうちの１つ又はそれ以上を計算する段階を更に備えている、請求項１６に記載の方法。
20. 前記ブームの前記判定されたステータスは、前記ブームの旋回角度と前記ブームの起上角度のうちの１つ又はそれ以上である、請求項１６に記載の方法。

Images